本文实例讲述了python3抓取中文网页的方法。分享给大家供大家参考。具体如下：
#! /usr/bin/python3.2
import sys
import urllib.request
req = urllib.request.Request('http://www.baidu.com')
response = urllib.request.urlopen(req)
the_page = response.read()
type = sys.getfilesystemencoding()
#转换成本地系统编码
print(the_page.decode(type))
希望本文所述对大家的Python程序设计有所帮助。
爬虫具有域名切换、信息收集以及信息存储功能。 这里讲述如何构建基础的爬虫架构。 1、urllib库：包含从网络请求数据、处理cookie、改变请求头和用户处理元数据的函数。是python...
本文实例讲述了Python抓取淘宝下拉框关键词的方法。分享给大家供大家参考。具体如下： import urllib2,re for key in open('key.txt'):...
本文实例讲述了Python3使用requests包抓取并保存网页源码的方法。分享给大家供大家参考，具体如下： 使用Python 3的requests模块抓取网页源码并保存到文件示例：...
本文实例讲述了python实现爬虫抓取小说功能。分享给大家供大家参考，具体如下： # -*- coding: utf-8 -*- from bs4 import BeautifulS...
前言 python中常用的写爬虫的库常有urllib2、requests,对于大多数比较简单的场景或者以学习为目的，可以用这两个库实现。这里有一篇我之前写过的用urllib2+Beaut...