本文实例讲述了python3抓取中文网页的方法。分享给大家供大家参考。具体如下：
#! /usr/bin/python3.2
import sys
import urllib.request
req = urllib.request.Request('http://www.baidu.com')
response = urllib.request.urlopen(req)
the_page = response.read()
type = sys.getfilesystemencoding()
#转换成本地系统编码
print(the_page.decode(type))
希望本文所述对大家的Python程序设计有所帮助。
一提到python，大家经常会提到爬虫，爬虫近来兴起的原因我觉得主要还是因为大数据的原因，大数据导致了我们的数据不在只存在于自己的服务器，而python语言的简便也成了爬虫工具的首要语言...
用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。 爬虫在开发过程...
上篇关于爬虫的文章，我们讲解了如何运用Python的requests及BeautifuiSoup模块来完成静态网页的爬取，总结过程，网页爬虫本质就两步： 1、设置请求参数（url，hea...
一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途，从数据挖掘到监测和自动测试，Scrapy完全...
在这篇文章中，我们将分析一个网络爬虫。 网络爬虫是一个扫描网络内容并记录其有用信息的工具。它能打开一大堆网页，分析每个页面的内容以便寻找所有感兴趣的数据，并将这些数据存储在一个数据库中，...