windows10系统中安装python3.x+scrapy教程

yipeiwu_com6年前Python基础

官网下载就好, https://www.python.org/downloads/release/python-352/

用installer下载比较方便,它直接把环境变量都帮你配了。

当然也可以在本站下载 https://www.jb51.net/softs/416037.html

升级pip

安装好之后在cmd里执行

python -m pip install -upgrade pip

把pip提到最新版本

下载lxml

lxml是解析网页用的,scrapy依赖于它,它是一个第三方的库,这里推荐一个python第三方库的网站

http://www.lfd.uci.edu/~gohlke/pythonlibs/ ,里边都是编译好的,windows下python使用者的福利。

Ctrl+F定位一下lxml

注意:打开网址后ctrl+F,搜索LXML,选择对应版本,一般是win32,而不选win_arm64,即使电脑是win64

下载好之后,cmd进入下载目录,直接用pip安装

pip install lxml-3.6.4-cp35-cp35m-win_32.whl

安装scrapy

pip安装最方便

pip install scrapy

查看版本

scrapy version

输出应该是Scrapy 1.2.1,也是官网的最新版本。

可能遇到的问题

以下内容汇总了csdn和stackoverflow部分内容

1.Python error: Unable to find vcvarsall.bat

安装MinGW(实测)

1、下载安装MinGW,下载地址为:点击打开链接

2、在MinGW的安装目录下找到bin文件夹,找到mingw32-make.exe,复制一份更名为make.exe

3、把MinGW的路径添加到环境变量path中,比如我把MinGW安装到D:\MinGW\中,就把D:\MinGW\bin添加到path中;

4、在<python安装目录>\distutils(需要在python安装目录下ctrl+f一下distutils)增加文件distutils.cfg,在文件里输入

[build] 
compiler=mingw32  

保存;

2、error: command‘gcc'failed: No such file or directory 

解决方案是将D:\MinGW\lib再添加到PATH中。

3、ValueError: Unknown MS Compiler version 1900

Cygwinccompiler.py中

get_msvcr()函数

elif msc_ver == '1600': 
  # VS2010 / MSVC 10.0 
  return ['msvcr100'] 

后面,添加以下内容

elif msc_ver == '1700': 
  # Visual Studio 2012 / Visual C++ 11.0 
  return ['msvcr110'] 
elif msc_ver == '1800': 
  # Visual Studio 2013 / Visual C++ 12.0 
  return ['msvcr120'] 
elif msc_ver == '1900': 
  # Visual Studio 2015 / Visual C++ 14.0 
  # "msvcr140.dll no longer exists" http://blogs.msdn.com/b/vcblog/archive/2014/06/03/visual-studio-14-ctp.aspx 
  return ['vcruntime140'] 

然后将python3.5文件夹下的vcruntime140.dll复制到D:\MinGW\mingw32\lib下

4、TypeError: unorderable types: NoneType() >= str()   

重启一下试试

5、error: The 'pyasn1' distribution was not found and is required by service-identity

在运行一下setup.py试试

以上就是本文的全部内容了,希望对大家学习python能够有所帮助。

相关文章

解决python中遇到字典里key值为None的情况,取不出来的问题

在python 命令行界面里,是可以去取key为None的value值。 在脚本里面就取不出了,可以用如下的方式解决。 hosts = {"a":"111", "None":b, "...

Python3.7 pyodbc完美配置访问access数据库

Python3.7 pyodbc完美配置访问access数据库

环境 win2008 r2 64为系统 python3.7、pyodbc 安装好python3.7以后,那么就需要安装pyodbc了。 数据库连接 数据库连接网上大致有两种方法,一种是使...

用Python从零实现贝叶斯分类器的机器学习的教程

用Python从零实现贝叶斯分类器的机器学习的教程

朴素贝叶斯算法简单高效,在处理分类问题上,是应该首先考虑的方法之一。 通过本教程,你将学到朴素贝叶斯算法的原理和Python版本的逐步实现。 更新:查看后续的关于朴素贝叶斯使用技巧的文章...

python通过urllib2爬网页上种子下载示例

通过urllib2、re模块抓种子 思路 1.用程序登录论坛(如果需要登录才能访问的版块) 2.访问指定版块 3.遍历帖子(先取指定页,再遍历页面所有帖子的url) 4.循环访问所有帖子...

爬山算法简介和Python实现实例

一、爬山法简介 爬山法(climbing method)是一种优化算法,其一般从一个随机的解开始,然后逐步找到一个最优解(局部最优)。 假定所求问题有多个参数,我们在通过爬山法逐步获得最...