Python基于scrapy采集数据时使用代理服务器的方法

yipeiwu_com6年前服务器

本文实例讲述了Python基于scrapy采集数据时使用代理服务器的方法。分享给大家供大家参考。具体如下:

# To authenticate the proxy, 
#you must set the Proxy-Authorization header. 
#You *cannot* use the form http://user:pass@proxy:port 
#in request.meta['proxy']
import base64
proxy_ip_port = "123.456.789.10:8888"
proxy_user_pass = "awesome:dude"
request = Request(url, callback=self.parse)
# Set the location of the proxy
request.meta['proxy'] = "http://%s" % proxy_ip_port
# setup basic authentication for the proxy
encoded_user_pass=base64.encodestring(proxy_user_pass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

希望本文所述对大家的python程序设计有所帮助。

相关文章

Python获取服务器信息的最简单实现方法

本文实例讲述了Python获取服务器信息的最简单实现方法。分享给大家供大家参考。具体如下: 主要核心代码如下: sUrl = 'http://www.163.com' sock =...

用Python实现一个简单的能够上传下载的HTTP服务器

用Python实现一个简单的能够上传下载的HTTP服务器

#!/usr/bin/env python #coding=utf-8 # modifyDate: 20120808 ~ 20120810 # 原作者为:bones7456,...

ffmpeg 多个音频合并 混音 截取 拆分操作详解

1 多个mp3文件合并成一个mp3文件一种方法是连接到一起ffmpeg64.exe -i "concat:123.mp3|124.mp3" -acodec copy output....

在Apache服务器上同时运行多个Django程序的方法

在同一个 Apache 实例中运行多个 Django 程序是完全可能的。 当你是一个独立的 Web 开发人员并有多个不同的客户时,你可能会想这么做。 只要像下面这样使用 VirtualH...

Nginx服务器上安装并配置PHPMyAdmin的教程

一、 准备工作: 1. 如果mysql的root账号为空,需要设置root密码 CentOS下默认安装的mysql服务器,里面的root账号默认密码为空,首先为root设置一个密码 #m...