Window环境下Scrapy开发环境搭建

yipeiwu_com6年前Python基础

快速搭建scrapy开发环境

注:不同的电脑上所带有环境不同,安装方式有些许差别

1、成功安装python并添加环境变量
2、安装pip
3、安装scrapy

解压成功后进入pip目录下命令安装pip

python setup.py install

安装成功后查看pip版本信息
这里写图片描述
pip安装成功后安装scrapy

pip install scrapy

pip管理非常类似Linux

如果不出意外的话会安装成功,有时候会提示安装失败的情况如下图所示:
这里写图片描述 

提示缺失模块管理
下面是所有的twisted的版本

这里写图片描述 

这里采用的是在线安装的方式

pip install twisted==17.5

后面的是版本号这里我们安装17.5版本
这里写图片描述 

安装成功
接下来继续安装scrapy 安装成功并创建一个scrapy项目

pip install scrapy

这里写图片描述

相关文章

Python中使用第三方库xlutils来追加写入Excel文件示例

目前还没有更好的方法来追写Excel,lorinnn在网上搜索到以及之后用到的方法就是使用第三方库xlutils来实现了这个功能,主体思想就是先复制一份Sheet然后再次基础上追加并保存...

Python编写一个优美的下载器

Python编写一个优美的下载器

本文实例为大家分享了Python编写下载器的具体代码,供大家参考,具体内容如下 #!/bin/python3 # author: lidawei # create: 2016-...

利用Python画ROC曲线和AUC值计算

利用Python画ROC曲线和AUC值计算

前言 ROC(Receiver Operating Characteristic)曲线和AUC常被用来评价一个二值分类器(binary classifier)的优劣。这篇文章将先简单的介...

Python增量循环删除MySQL表数据的方法

Python增量循环删除MySQL表数据的方法

需求场景: 有一业务数据库,使用MySQL 5.5版本,每天会写入大量数据,需要不定期将多表中“指定时期前“的数据进行删除,在SQL SERVER中很容易实现,写几个WHILE循环就搞...

在django中使用自定义标签实现分页功能

在django中使用自定义标签实现分页功能

效果演示:   github地址:https://github.com/mncu/django_projects/tree/master/django_projects/pag...