本文实例讲述了python3抓取中文网页的方法。分享给大家供大家参考。具体如下：
#! /usr/bin/python3.2
import sys
import urllib.request
req = urllib.request.Request('http://www.baidu.com')
response = urllib.request.urlopen(req)
the_page = response.read()
type = sys.getfilesystemencoding()
#转换成本地系统编码
print(the_page.decode(type))
希望本文所述对大家的Python程序设计有所帮助。
python的版本经过了python2.x和python3.x等版本，无论哪种版本，关于python爬虫相关的知识是融会贯通的，【听图阁-专注于Python设计】关于爬虫这个方便整理过很...
这篇文章主要介绍了python爬虫 正则表达式解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 - re.I # 忽略大小...
这篇文章主要介绍了爬虫代理池Python3WebSpider源代码测试过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 元类属性...
分析 使用CrawlSpider结合LinkExtractor和Rule爬取网页信息 LinkExtractor用于定义链接提取规则，一般使用allow参数即可 LinkExtrac...
本文实例讲述了Python3爬虫爬取百姓网列表并保存为json功能。分享给大家供大家参考，具体如下： python3爬虫之爬取百姓网列表并保存为json文件。这几天一直在学习使用pyth...