Python使用scrapy采集时伪装成HTTP/1.1的方法

yipeiwu_com7年前Python基础

本文实例讲述了Python使用scrapy采集时伪装成HTTP/1.1的方法。分享给大家供大家参考。具体如下:

添加下面的代码到 settings.py 文件

复制代码 代码如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'

保存以下代码到单独的.py文件
复制代码 代码如下:
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class PageGetter(ScrapyHTTPPageGetter):
    def sendCommand(self, command, path):
        self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
     protocol = PageGetter

希望本文所述对大家的Python程序设计有所帮助。

相关文章

对pandas读取中文unicode的csv和添加行标题的方法详解

pandas这个库就是这么智能。有了dateframe格式一切都好办了。相比csv库对中文支持就渣了。 reader = pd.read_csv(leg2CsvReadFile, del...

Python使用matplotlib绘制余弦的散点图示例

Python使用matplotlib绘制余弦的散点图示例

本文实例讲述了Python使用matplotlib绘制余弦的散点图。分享给大家供大家参考,具体如下: 一 代码 import numpy as np import pylab as...

对YOLOv3模型调用时候的python接口详解

对YOLOv3模型调用时候的python接口详解

需要注意的是:更改完源程序.c文件,需要对整个项目重新编译、make install,对已经生成的文件进行更新,类似于之前VS中在一个类中增加新函数重新编译封装dll,而python接口...

python文本数据处理学习笔记详解

python文本数据处理学习笔记详解

最近越发感觉到限制我对Python运用、以及读懂别人代码的地方,大多是在于对数据的处理能力。 其实编程本质上就是数据处理,怎么把文本数据、图像数据,通过python读入、切分等,变成一个...

Python入门篇之文件

Python入门篇之文件

文件处理的函数和方法 使用Open()函数可打开文件,语法格式如下: 复制代码 代码如下: file_handler = open(filename,[,mode[,bufsize]]...