快速搭建scrapy开发环境
注：不同的电脑上所带有环境不同，安装方式有些许差别
1、成功安装python并添加环境变量
2、安装pip
3、安装scrapy
解压成功后进入pip目录下命令安装pip
python setup.py install
安装成功后查看pip版本信息
pip安装成功后安装scrapy
pip install scrapy
pip管理非常类似Linux
如果不出意外的话会安装成功，有时候会提示安装失败的情况如下图所示：
提示缺失模块管理
下面是所有的twisted的版本
这里采用的是在线安装的方式
pip install twisted==17.5
后面的是版本号这里我们安装17.5版本
安装成功
接下来继续安装scrapy 安装成功并创建一个scrapy项目
pip install scrapy
1.爬取豆瓣top250书籍 import requests import json import csv from bs4 import BeautifulSoup books =...
背景 最近公司在做消息推送，那么自然就会产生很多接口，测试的过程中需要调用接口，我就突然觉得是不是可以自己写一个测试框架？ 说干就干，由于现有的接口测试工具Jmeter、SoupUI等学...
装饰器这东西我看了一会儿才明白，在函数外面套了一层函数，感觉和java里的aop功能很像；写了2个装饰器日志的例子， 第一个是不带参数的装饰器用法示例，功能相当于给函数包了层异常处理，第...
装饰器基本概念 大家都知道装饰器是一个很著名的设计模式，经常被用于 AOP (面向切面编程)的场景，较为经典的有插入日志，性能测试，事务处理，Web权限校验， Cache等。 Pytho...
由于requests是http类接口的核心，因此封装前考虑问题比较多： 1. 对多种接口类型的支持； 2. 连接异常时能够重连； 3. 并发处理的选择； 4. 使用方便，容易维护； 当前...