Window环境下Scrapy开发环境搭建

yipeiwu_com7年前Python基础

快速搭建scrapy开发环境

注:不同的电脑上所带有环境不同,安装方式有些许差别

1、成功安装python并添加环境变量
2、安装pip
3、安装scrapy

解压成功后进入pip目录下命令安装pip

python setup.py install

安装成功后查看pip版本信息
这里写图片描述
pip安装成功后安装scrapy

pip install scrapy

pip管理非常类似Linux

如果不出意外的话会安装成功,有时候会提示安装失败的情况如下图所示:
这里写图片描述 

提示缺失模块管理
下面是所有的twisted的版本

这里写图片描述 

这里采用的是在线安装的方式

pip install twisted==17.5

后面的是版本号这里我们安装17.5版本
这里写图片描述 

安装成功
接下来继续安装scrapy 安装成功并创建一个scrapy项目

pip install scrapy

这里写图片描述

相关文章

pandas获取groupby分组里最大值所在的行方法

pandas获取groupby分组里最大值所在的行方法 如下面这个DataFrame,按照Mt分组,取出Count最大的那行 import pandas as pd df = pd....

Python实现的快速排序算法详解

本文实例讲述了Python实现的快速排序算法。分享给大家供大家参考,具体如下: 快速排序基本思想是:通过一趟排序将要排序的数据分割成独立的两部分,其中一部分的所有数据都比另外一部分的所有...

使用python为mysql实现restful接口

最近在做游戏服务分层的时候,一直想把mysql的访问独立成一个单独的服务DBGate,原因如下: 请求收拢到DBGate,可以使DBGate变为无状态的,方便横向扩展 当请求量或者存储量...

实例讲解Python中SocketServer模块处理网络请求的用法

SocketServer创建一个网络服务框架。它定义了类来处理TCP,UDP, UNIX streams 和UNIX datagrams上的同步网络请求。 一、Server Types...

Django 请求Request的具体使用方法

Django 请求Request的具体使用方法

1 URL路径参数 在定义路由URL时,使用正则表达式提取参数的方法从URL中获取请求参数,Django会将提取的参数直接传递到视图的传入参数中。 未命名参数按顺序传递, 如 url...