本文实例讲述了python3抓取中文网页的方法。分享给大家供大家参考。具体如下：
#! /usr/bin/python3.2
import sys
import urllib.request
req = urllib.request.Request('http://www.baidu.com')
response = urllib.request.urlopen(req)
the_page = response.read()
type = sys.getfilesystemencoding()
#转换成本地系统编码
print(the_page.decode(type))
希望本文所述对大家的Python程序设计有所帮助。
如果你还在为python的各种urllib和urlibs，cookielib 头疼，或者还还在为python模拟登录和抓取数据而抓狂，那么来看看我们推荐的requests，python采...
前言 本来打算写的标题是XPath语法，但是想了一下Python中的解析库lxml，使用的是Xpath语法，同样也是效率比较高的解析方法，所以就写成了XPath语法和lxml库的用法 X...
前言 上次使用了BeautifulSoup库爬取电影排行榜，爬取相对来说有点麻烦，爬取的速度也较慢。本次使用的lxml库，我个人是最喜欢的，爬取的语法很简单，爬取速度也快。 本次爬取的豆...
操作：输入带分页的地址，去掉最后面的数字，设置一下起始页数和终点页数 功能：下载对应页码的所有页面并储存为HTML文件，以当前时间命名 代码： # -*- coding: utf-8...
涉及到详情页爬取 目录结构: kaoshi_bqg.py import scrapy from scrapy.spiders import Rule from scrapy.lin...