python爬取网站数据保存使用的方法
yipeiwu_com5年前
编码问题因为涉及到中文，所以必然地涉及到了编码的问题，这一次借这个机会算是彻底搞清楚了。问题要从文字的编码讲起。原本的英文编码只有0~255，刚好是8位1个字节。为了表示各种不同的语言，自...
零基础写python爬虫之HTTP异常处理
yipeiwu_com5年前
先来说一说HTTP的异常处理问题。当urlopen不能够处理一个response时，产生urlError。不过通常的Python APIs异常如ValueError,TypeError等也...
Python实现爬取知乎神回复简单爬虫代码分享
yipeiwu_com5年前
看知乎的时候发现了一个 “如何正确地吐槽” 收藏夹，里面的一些神回复实在很搞笑，但是一页一页地看又有点麻烦，而且每次都要打开网页，于是想如果全部爬下来到一个文件里面，是不是看起来很爽，并且...
零基础写python爬虫之爬虫的定义及URL构成
yipeiwu_com5年前
一、网络爬虫的定义网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站...
零基础写python爬虫之使用urllib2组件抓取网页内容
yipeiwu_com5年前
版本号：Python2.7.5，Python3改动较大，各位另寻教程。所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器...
python爬取51job电子书信息并入库的实现代码
yipeiwu_com5年前
入门级爬虫：只抓取书籍名称，信息及下载地址并存储到数据库数据库工具类：DBUtil.pyimport pymysql class DBUtils(object):...
使用Python编写简单网络爬虫抓取视频下载资源
yipeiwu_com5年前
我第一次接触爬虫这东西是在今年的5月份，当时写了一个博客搜索引擎，所用到的爬虫也挺智能的，起码比电影来了这个站用到的爬虫水平高多了！回到用Python写爬虫的话题。Python一直是我主要...
PHP 高并发和大流量框架解决方案
yipeiwu_com5年前
一、高并发的概念在互联网时代，并发，高并发通常是指并发访问。也就是在某个时间点，有多少个访问同时到来。二、高并发架构相关概念1、QPS (每秒查询率) : 每秒钟请求或者查询的数量，在互联网领域，指每...
