本文实例讲述了python3抓取中文网页的方法。分享给大家供大家参考。具体如下：
#! /usr/bin/python3.2
import sys
import urllib.request
req = urllib.request.Request('http://www.baidu.com')
response = urllib.request.urlopen(req)
the_page = response.read()
type = sys.getfilesystemencoding()
#转换成本地系统编码
print(the_page.decode(type))
希望本文所述对大家的Python程序设计有所帮助。
分析 使用CrawlSpider结合LinkExtractor和Rule爬取网页信息 LinkExtractor用于定义链接提取规则，一般使用allow参数即可 LinkExtrac...
直接上代码： 复制代码 代码如下:#!/usr/bin/python# -*- coding: utf-8 -*- import urllib import os,datetime,st...
刚才好无聊，突然想起来之前做一个课表的点子，于是百度了起来。 刚开始，我是这样想的：在写微信墙的时候，用到了urllib2【两行代码抓网页】，那么就只剩下解析html了。于是百度：pyt...
使用Python爬虫登录系统之后，能够实现的操作就多了很多，下面大致介绍下如何使用Python模拟登录。 我们都知道，在前端的加密验证，只要把将加密环境还原出来，便能够很轻易地登录。 首...
最近学习Python，于是就用Python写了一个抓取Discuz!用户名的脚本，代码很少但是很搓。思路很简单，就是正则匹配title然后提取用户名写入文本文档。程序以百度站长社区为例(...