python爬取网站数据保存使用的方法
yipeiwu_com5年前
编码问题因为涉及到中文，所以必然地涉及到了编码的问题，这一次借这个机会算是彻底搞清楚了。问题要从文字的编码讲起。原本的英文编码只有0~255，刚好是8位1个字节。为了表示各种不同的语言，自...
python爬虫入门教程之糗百图片爬虫代码分享
yipeiwu_com5年前
学习python少不了写爬虫，不仅能以点带面地学习、练习使用python，爬虫本身也是有用且有趣的，大量重复性的下载、统计工作完全可以写一个爬虫程序完成。用python写爬虫需要pytho...
简单的Python抓taobao图片爬虫
yipeiwu_com5年前
写了一个抓taobao图片的爬虫，全是用if，for，while写的，比较简陋，入门作品。从网页http://mm.taobao.com/json/request_top_list.htm...
零基础写python爬虫之HTTP异常处理
yipeiwu_com5年前
先来说一说HTTP的异常处理问题。当urlopen不能够处理一个response时，产生urlError。不过通常的Python APIs异常如ValueError,TypeError等也...
Python实现爬取知乎神回复简单爬虫代码分享
yipeiwu_com5年前
看知乎的时候发现了一个 “如何正确地吐槽” 收藏夹，里面的一些神回复实在很搞笑，但是一页一页地看又有点麻烦，而且每次都要打开网页，于是想如果全部爬下来到一个文件里面，是不是看起来很爽，并且...
python实现的一只从百度开始不断搜索的小爬虫
yipeiwu_com5年前
文中用到了BeautifulSoup这个库， 目的是处理html文档分析的， 因为我只是提取了title的关键字，所以可以用正则表达式代替， 还有一个库是jieba， 这个库是中文分词的作用， 再有一...
零基础写python爬虫之爬虫的定义及URL构成
yipeiwu_com5年前
一、网络爬虫的定义网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站...
零基础写python爬虫之使用urllib2组件抓取网页内容
yipeiwu_com5年前
版本号：Python2.7.5，Python3改动较大，各位另寻教程。所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器...
python爬取51job电子书信息并入库的实现代码
yipeiwu_com5年前
入门级爬虫：只抓取书籍名称，信息及下载地址并存储到数据库数据库工具类：DBUtil.pyimport pymysql class DBUtils(object):...
使用Python编写简单网络爬虫抓取视频下载资源
yipeiwu_com5年前
我第一次接触爬虫这东西是在今年的5月份，当时写了一个博客搜索引擎，所用到的爬虫也挺智能的，起码比电影来了这个站用到的爬虫水平高多了！回到用Python写爬虫的话题。Python一直是我主要...
