Python基于scrapy采集数据时使用代理服务器的方法

yipeiwu_com5年前服务器

本文实例讲述了Python基于scrapy采集数据时使用代理服务器的方法。分享给大家供大家参考。具体如下:

# To authenticate the proxy, 
#you must set the Proxy-Authorization header. 
#You *cannot* use the form http://user:pass@proxy:port 
#in request.meta['proxy']
import base64
proxy_ip_port = "123.456.789.10:8888"
proxy_user_pass = "awesome:dude"
request = Request(url, callback=self.parse)
# Set the location of the proxy
request.meta['proxy'] = "http://%s" % proxy_ip_port
# setup basic authentication for the proxy
encoded_user_pass=base64.encodestring(proxy_user_pass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

希望本文所述对大家的python程序设计有所帮助。

相关文章

Python多进程与服务器并发原理及用法实例分析

Python多进程与服务器并发原理及用法实例分析

本文实例分析了Python多进程与服务器并发原理及用法。分享给大家供大家参考,具体如下: 进程 什么是进程 进程:正在进行的一个过程或者说一个任务。而负责执行任务则是cpu。 进程与程序...

Ffmpeg为视频添加一个循环播放的背景音乐参数详解

ffmpeg -i out3.mp4 -i music3D.wav -filter_complex [1:a]aloop=loop=-1:s...

在Mac OS上使用mod_wsgi连接Python与Apache服务器

一、安装mod_wsgi 3.4: ./configure --with-apxs=/Users/levin/dev/apache2.2.27/bin/apxs --with-pyt...

通过Python使用saltstack生成服务器资产清单

通过Python使用saltstack生成服务器资产清单

SaltStack是一个服务器基础架构集中化管理平台,具备配置管理、远程执行、监控等功能,一般可以理解为简化版的puppet和加强版的func。SaltStack基于Python语言实现...

python实现简单http服务器功能

python实现简单http服务器功能

背景 写一个python脚本,实现简单的http服务器功能: 1.浏览器中输入网站地址:172.20.52.163:20014 2.server接到浏览器的请求后,读取本地的index....