windows7 32、64位下python爬虫框架scrapy环境的搭建方法

yipeiwu_com7年前Python爬虫

适用于python 2.7 64位安装

一、操作系统:WIN7 64位

二、python版本:2.7 64位(scrapy目前不支持3.x)

不确定位数的,看图

三、安装相关软件(可以从我的百度网盘下载:链接: https://pan.baidu.com/s/1MzHNALJcRePSoaEqBQvGAQ 提取码: xd5e )

我配置环境的时候是直接pip install scrapy安装的,但是在过程中出现一些错误,发现是由于以下软件安装失败导致的。所以请先安装这4个相关软件再安装scrapy。

一定要注意看看,你的python是不是64位的,位数一样才可以哈。否则要报错滴。

  1. pywin32-218.win-amd64-py2.7.exe   下载网站: https://sourceforge.net/projects/pywin32/files/pywin32/
  2. pyOpenSSL-0.13.1.win-amd64-py2.7.exe   官方主页:http://pypi.python.org/pypi/pyOpenSSL
  3. lxml-3.6.4-cp27-cp27m-win_amd64.whl   下载网站: http://www.lfd.uci.edu/~gohlke/pythonlibs/
  4. VCForPython27.msi

安装验证:cmd进入python控制中心,注意大小写敏感

import win32com
import OpenSSL
import lxml

如果没有报错,证明安装成功

四、安装scrapy:

使用pip命令

pip install scrapy

验证安装:cmd输入scrapy

scrapy

如果没有报错,如下图。证明安装成功

32位win7的安装过程和上述类似,只是文件不同。

相关文章

浅析Python3爬虫登录模拟

使用Python爬虫登录系统之后,能够实现的操作就多了很多,下面大致介绍下如何使用Python模拟登录。 我们都知道,在前端的加密验证,只要把将加密环境还原出来,便能够很轻易地登录。 首...

python编程实现12306的一个小爬虫实例

python编程实现12306的一个小爬虫实例

本文思路主要来源于实验楼的教程,但是一些具体的一些细节是我自己发现的,比如哪里获得站点对应的3位英文编号,怎么获得这个查询的url 本文用到的库主要有requests(获取url的内容)...

Python爬虫_城市公交、地铁站点和线路数据采集实例

Python爬虫_城市公交、地铁站点和线路数据采集实例

城市公交、地铁数据反映了城市的公共交通,研究该数据可以挖掘城市的交通结构、路网规划、公交选址等。但是,这类数据往往掌握在特定部门中,很难获取。互联网地图上有大量的信息,包含公交、地铁等数...

使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例

熟悉Java的jsoup包的话,对于Python的BeautifulSoup库应该很容易上手。 复制代码 代码如下:#coding: utf-8import sysimport urll...

python爬取酷狗音乐排行榜

本文为大家分享了python爬取酷狗音乐排行榜的具体代码,供大家参考,具体内容如下 #coding=utf-8 from pymongo import MongoClient im...