windows下搭建python scrapy爬虫框架步骤

yipeiwu_com6年前Python爬虫

网络上现有的windows下搭建scrapy教程都比较旧,一般都是咔咔咔安装一堆软件,太麻烦,这是因为scrapy框架用到好多不同的模块,其实查阅最新的官网scrapy文档,在windows下搭建scrapy框架,官方文档是建议使用集成包的,以免安装太过复杂而出现问题,首先百度scrapy,就可以找到scrapy的官方文档

1、找到windows下的框架安装的文档教程,这里建议我们安装Anaconda或者Miniconda集成包,下面我选择安装Miniconda安装包来安装scrapy框架

2、百度Miniconda python集成安装包,根据自己的python版本和windows版本选择对应的安装包下载即可

3、下载完成后进入安装界面,全程下一步即可

4、在cmd窗口中用conda list 命令检验conda是否安装成功

5、如果检验命令无效,检查下环境变量里是否有正确的读取路径,如果还是不行,尝试重新安装

6、使用 conda install -c conda-forge scrapy 命令安装scrapy框架

7、

等待框架的各个组件下载安装完成,安装界面很炫酷哦
等待框架的各个组件下载安装完成,安装界面很炫酷哦

8、最后一步,使用 scrapy startproject tutorial 命令生成scrapy爬虫模版,然后就可以根据文档对scrapy爬虫模版进行改写来完成我们自己的网络爬虫了,大功告成!!!

总结:以上就是关于在WIN下安装python爬虫框架的步骤教学,感谢大家的阅读和对【听图阁-专注于Python设计】的支持。

相关文章

python2使用bs4爬取腾讯社招过程解析

目的:获取腾讯社招这个页面的职位名称及超链接 职位类别 人数 地点和发布时间 要求:使用bs4进行解析,并把结果以json文件形式存储 注意:如果直接把python列表没有序列化为jso...

python爬虫常用的模块分析

本文对Python爬虫常用的模块做了较为深入的分析,并以实例加以深入说明。分享给大家供大家参考之用。具体分析如下: creepy模块 某台湾大神开发的,功能简单,能够自动抓取某个网站的所...

scrapy spider的几种爬取方式实例代码

本节课介绍了scrapy的爬虫框架,重点说了scrapy组件spider。 spider的几种爬取方式: 爬取1页内容 按照给定列表拼出链接爬取多页 找到‘下一页'标签进行...

python爬虫获取新浪新闻教学

python爬虫获取新浪新闻教学

一提到python,大家经常会提到爬虫,爬虫近来兴起的原因我觉得主要还是因为大数据的原因,大数据导致了我们的数据不在只存在于自己的服务器,而python语言的简便也成了爬虫工具的首要语言...

Python如何抓取天猫商品详细信息及交易记录

本文实例为大家分享了Python抓取天猫商品详细信息及交易记录的具体代码,供大家参考,具体内容如下 一、搭建Python环境 本帖使用的是Python 2.7 涉及到的模块:spynne...