python3实现爬取淘宝美食代码分享
yipeiwu_com5年前
环境: ubuntu16.04 python3.5 python库: selenium, pyquery,pymongo, re 要求: 设置×××面浏览器访问,并将商品列表存入mo...
python爬虫之自动登录与验证码识别
yipeiwu_com5年前
在用爬虫爬取网站数据时，有些站点的一些关键数据的获取需要使用账号登录，这里可以使用requests发送登录请求，并用Session对象来自动处理相关Cookie。 另外在登录时，有些网站...
使用Python抓取豆瓣影评数据的方法
yipeiwu_com5年前
抓取豆瓣影评评分 正常的抓取 分析请求的url https://movie.douban.com/subject/26322642/comments?start=20&limit=...
Python爬取成语接龙类网站
yipeiwu_com5年前
介绍 本文将展示如何利用Python爬虫来实现诗歌接龙。 该项目的思路如下： 利用爬虫爬取诗歌，制作诗歌语料库； 将诗歌分句，形成字典：键（key）为该句首字的拼音，值（value）为...
使用Scrapy爬取动态数据
yipeiwu_com5年前
对于动态数据的爬取，可以选择selenium和PhantomJS两种方式，本文选择的是PhantomJS。 网址： https://s.taobao.com/search?q=笔记本电...
Python爬虫之正则表达式的使用教程详解
yipeiwu_com5年前
正则表达式的使用 re.match(pattern,string,flags=0) re.match尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回...
Python 利用scrapy爬虫通过短短50行代码下载整站短视频
yipeiwu_com5年前
近日，有朋友向我求助一件小事儿，他在一个短视频app上看到一个好玩儿的段子，想下载下来，可死活找不到下载的方法。这忙我得帮，少不得就抓包分析了一下这个app，找到了视频的下载链接，帮他解...
python3 爬取图片的实例代码
yipeiwu_com5年前
具体代码如下所示： #coding=utf8 from urllib import request import re import urllib,os url='http://t...
Python爬虫将爬取的图片写入world文档的方法
yipeiwu_com5年前
作为初学爬虫的我，无论是爬取文字还是图片，都可以游刃有余的做到，但是爬虫所爬取的内容往往不是单独的图片或者文字，于是我就想是否可以将图文保存至world文档里，一开始使用了如下方法保存图...
Python爬取商家联系电话以及各种数据的方法
yipeiwu_com5年前
上次学会了爬取图片，这次就想着试试爬取商家的联系电话，当然，这里纯属个人技术学习，爬取过后及时删除，不得用于其它违法用途，一切后果自负。 首先我学习时用的是114黄页数据。 下面四个是用...
