Window环境下Scrapy开发环境搭建

yipeiwu_com6年前Python基础

快速搭建scrapy开发环境

注:不同的电脑上所带有环境不同,安装方式有些许差别

1、成功安装python并添加环境变量
2、安装pip
3、安装scrapy

解压成功后进入pip目录下命令安装pip

python setup.py install

安装成功后查看pip版本信息
这里写图片描述
pip安装成功后安装scrapy

pip install scrapy

pip管理非常类似Linux

如果不出意外的话会安装成功,有时候会提示安装失败的情况如下图所示:
这里写图片描述 

提示缺失模块管理
下面是所有的twisted的版本

这里写图片描述 

这里采用的是在线安装的方式

pip install twisted==17.5

后面的是版本号这里我们安装17.5版本
这里写图片描述 

安装成功
接下来继续安装scrapy 安装成功并创建一个scrapy项目

pip install scrapy

这里写图片描述

相关文章

PHP统计代码行数的小代码

本文实例为大家分享了PHP统计代码行数的具体代码,供大家参考,具体内容如下 想统计一下项目中一共有多少行代码,结果没找到什么好的工具,就自己写了一个。 效率不怎么样。 <&#...

python使用tornado实现登录和登出

本文实例为大家分享了tornado实现登录和登出的具体代码,供大家参考,具体内容如下 main.py如下: import tornado.httpserver import torn...

Python重新加载模块的实现方法

importlib 模块的作用 模块,是一个一个单独的py文件 包,里面包含多个模块(py文件) 动态导入模块,这样就不用写那么多的import代码, 典型的例子: 自动同步服务,每个网...

探究Python多进程编程下线程之间变量的共享问题

 1、问题: 群中有同学贴了如下一段代码,问为何 list 最后打印的是空值?   from multiprocessing import Process, M...

Python使用稀疏矩阵节省内存实例

推荐系统中经常需要处理类似user_id, item_id, rating这样的数据,其实就是数学里面的稀疏矩阵,scipy中提供了sparse模块来解决这个问题,但scipy.spar...