windows7 32、64位下python爬虫框架scrapy环境的搭建方法

yipeiwu_com7年前Python爬虫

适用于python 2.7 64位安装

一、操作系统:WIN7 64位

二、python版本:2.7 64位(scrapy目前不支持3.x)

不确定位数的,看图

三、安装相关软件(可以从我的百度网盘下载:链接: https://pan.baidu.com/s/1MzHNALJcRePSoaEqBQvGAQ 提取码: xd5e )

我配置环境的时候是直接pip install scrapy安装的,但是在过程中出现一些错误,发现是由于以下软件安装失败导致的。所以请先安装这4个相关软件再安装scrapy。

一定要注意看看,你的python是不是64位的,位数一样才可以哈。否则要报错滴。

  1. pywin32-218.win-amd64-py2.7.exe   下载网站: https://sourceforge.net/projects/pywin32/files/pywin32/
  2. pyOpenSSL-0.13.1.win-amd64-py2.7.exe   官方主页:http://pypi.python.org/pypi/pyOpenSSL
  3. lxml-3.6.4-cp27-cp27m-win_amd64.whl   下载网站: http://www.lfd.uci.edu/~gohlke/pythonlibs/
  4. VCForPython27.msi

安装验证:cmd进入python控制中心,注意大小写敏感

import win32com
import OpenSSL
import lxml

如果没有报错,证明安装成功

四、安装scrapy:

使用pip命令

pip install scrapy

验证安装:cmd输入scrapy

scrapy

如果没有报错,如下图。证明安装成功

32位win7的安装过程和上述类似,只是文件不同。

相关文章

Python网络爬虫出现乱码问题的解决方法

关于爬虫乱码有很多各式各样的问题,这里不仅是中文乱码,编码转换、还包括一些如日文、韩文 、俄文、藏文之类的乱码处理,因为解决方式是一致的,故在此统一说明。 网络爬虫出现乱码的原因 源...

python爬虫系列Selenium定向爬取虎扑篮球图片详解

python爬虫系列Selenium定向爬取虎扑篮球图片详解

前言: 作为一名从小就看篮球的球迷,会经常逛虎扑篮球及湿乎乎等论坛,在论坛里面会存在很多精美图片,包括NBA球队、CBA明星、花边新闻、球鞋美女等等,如果一张张右键另存为的话真是手都点...

python爬虫增加访问量的方法

看着自己少得可怜的访问量,突然有一个想用爬虫刷访问量的想法,主要也是抱着尝试的心态,学习学习。 其实市面上有一些软件可以代刷流量 比如 流量精灵,使用感确实比我们自己写的代码要好一些 第...

python urllib爬取百度云连接的实例代码

python urllib爬取百度云连接的实例代码

翻看自己以前写的程序,发现写过一个爬取盘多多百度云资源的东西,完全是当时想看变形金刚才自己写的,而且当时第一次接触python大概写了有2天才搞出来这个程序,学习python语言,可以看...

python实现知乎高颜值图片爬取

导入相关包 import time import pydash import base64 import requests from lxml import etree from...