Python使用scrapy采集时伪装成HTTP/1.1的方法

yipeiwu_com7年前Python基础

本文实例讲述了Python使用scrapy采集时伪装成HTTP/1.1的方法。分享给大家供大家参考。具体如下:

添加下面的代码到 settings.py 文件

复制代码 代码如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'

保存以下代码到单独的.py文件
复制代码 代码如下:
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class PageGetter(ScrapyHTTPPageGetter):
    def sendCommand(self, command, path):
        self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
     protocol = PageGetter

希望本文所述对大家的Python程序设计有所帮助。

相关文章

如何通过50行Python代码获取公众号全部文章

如何通过50行Python代码获取公众号全部文章

前言 我们平时阅读公众号的文章会遇到一个问题——阅读历史文章体验不好。 我们知道爬取公众号的方式常见的有两种:通过搜狗搜索去获取,缺点是只能获取最新的十条推送文章。通过微信公众号的素材管...

PyCharm+Qt Designer+PyUIC安装配置教程详解

PyCharm+Qt Designer+PyUIC安装配置教程详解

Qt Designer用于像VC++的MFC一样拖放、设计控件 PyUIC用于将Qt Designer生成的.ui文件转换成.py文件 Qt Designer和PyUIC都包含在PyQt...

python简单鼠标自动点击某区域的实例

功能:间隔5毫秒,快速点击屏幕某区域,循环45000000次 from ctypes import * import time time.sleep(5) for i in rang...

Python实现自动为照片添加日期并分类的方法

Python实现自动为照片添加日期并分类的方法

本文实例讲述了Python实现自动为照片添加日期并分类的方法。分享给大家供大家参考,具体如下: 小时候没怎么照相,所以跟别人说小时候特别帅他们都不信。小外甥女出生了,我给买了个照相机,让...

python 字典修改键(key)的几种方法

python 字典修改键(key)的几种方法

python中获取字典的key列表和value列表 # -*- coding: utf-8 -*- # 定义一个字典 dic = {'剧情': 11, '犯罪': 10, '动作...