Modulo requests de Pytho (EJEMPLOS)

Este es uno de mis modulo preferidos por su sencillez y gran potencia, para que veas lo fácil que es, solo necesitamos dos lineas, la tercera es para validar la conexión.

Ejemplo:

import requests
html = requests.get('https://noteando.com/')
html.encoding = 'utf-8'
print (html.status_code) # Si respondo 200 es que todo esta OK

 

El modulo requests de python se utiliza para conectarnos a diferentes paginas por diversos motivos.

Este ejemplo se basa a la hora de hacer algún bot o script el cual queremos que pase lo mas desbastecido posible.

Para hacer esto tenemos que crear una cabecera convincente y no esta de mas añadir un referer a nuestra cabecera.

import requests

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'

referer = 'https://noteando.com/'

header = {'User-Agent': user_agent , 'referer': referer }
 
html = requests.get('https://noteando.com/test-referer.php', headers = header, verify=False, stream=True)
html.encoding = 'utf-8'
print (html.text) # Aquí veras el código fuente de la pagina

Información Añadida:

El User-Agent: Esta es una información que les tramite nuestro navegador a pagina que estamos visitando para mejorar nuestra experiencia como usuario entre otras funciones.

El referer: Le informa a la pagina de donde llegamos, es decir la pagina donde hemos hecho click para llegar aquí.

 

Y Ahora con Proxys:

import requests

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'

referer = 'https://noteando.com/'

http_proxy  = "http://10.10.1.10:3128"
https_proxy = "https://10.10.1.11:1080"
ftp_proxy   = "ftp://10.10.1.10:3128"

proxyDict = { 
              "http"  : http_proxy, 
              "https" : https_proxy, 
              "ftp"   : ftp_proxy
            }


header = {'User-Agent': user_agent , 'referer': referer }
 
html = requests.get('https://noteando.com/test-referer.php', headers = header, verify=False, stream=True , proxies = proxyDict)
print (html) # Aquí veras el código fuente de la pagina