本文实例讲述了python3抓取中文网页的方法。分享给大家供大家参考。具体如下：
#! /usr/bin/python3.2
import sys
import urllib.request
req = urllib.request.Request('http://www.baidu.com')
response = urllib.request.urlopen(req)
the_page = response.read()
type = sys.getfilesystemencoding()
#转换成本地系统编码
print(the_page.decode(type))
希望本文所述对大家的Python程序设计有所帮助。
本文实例讲述了Python视频爬虫实现下载头条视频功能。分享给大家供大家参考，具体如下： 一、需求分析 抓取头条短视频 思路： 分析网页源码，查找解析出视频资源url（查看源代码，搜mp...
本文实例讲述了Python打印scrapy蜘蛛抓取树结构的方法。分享给大家供大家参考。具体如下： 通过下面这段代码可以一目了然的知道scrapy的抓取页面结构，调用也非常简单 #!/...
本文实例讲述了Python实现的爬取百度文库功能。分享给大家供大家参考，具体如下： # -*- coding: utf-8 -*- from selenium import webd...
本文实例讲述了Python使用scrapy抓取网站sitemap信息的方法。分享给大家供大家参考。具体如下： import re from scrapy.spider import...
Python是个好工具，但是也有其固有的一些缺点。最近在学习网页爬虫时就遇到了这样一种问题，中文网站爬取下来的内容往往中文显示乱码。看过我之前博客的同学可能知道，之前爬取的一个学校网页就...