本文实例讲述了python3抓取中文网页的方法。分享给大家供大家参考。具体如下：
#! /usr/bin/python3.2
import sys
import urllib.request
req = urllib.request.Request('http://www.baidu.com')
response = urllib.request.urlopen(req)
the_page = response.read()
type = sys.getfilesystemencoding()
#转换成本地系统编码
print(the_page.decode(type))
希望本文所述对大家的Python程序设计有所帮助。
项目内容： 用Python写的糗事百科的网络爬虫。 使用方法： 新建一个Bug.py文件，然后将代码复制到里面后，双击运行。 程序功能： 在命令提示行中浏览糗事百科。 原理解...
CrawlSpider 作用：用于进行全站数据爬取 CrawlSpider就是Spider的一个子类 如何新建一个基于CrawlSpider的爬虫文件 sc...
本文实例为大家分享了python抓取网页中链接的静态图片的具体代码，供大家参考，具体内容如下 # -*- coding:utf-8 -*- #http://tieba.baid...
本文实例为大家分享了python爬取微信公众号文章的具体代码，供大家参考，具体内容如下 # -*- coding: utf-8 -*- import requests from bs...
什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，...