本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：
下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。 1. 网络爬虫的定义 网络蜘蛛是通过网页的链接地址来寻找网页的...
前言 一直想好好学习一下Python爬虫，之前断断续续的把Python基础学了一下，悲剧的是学的没有忘的快。只能再次拿出来滤了一遍，趁热打铁，通过实例来实践下，下面这篇文章主要介绍了关于...
执行效果如下： from tkinter import * import urllib.request import gzip import json from tkinter...
python模拟登陆网页主要使用到urllib、urllib2、cookielib及BeautifulSoup等基本模块，当然进阶阶段我们还可以使用像requests等更高级一点的模块。...
前言 网络爬虫也称为网络蜘蛛、网络机器人，抓取网络的数据。其实就是用Python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好。一般爬取数据的目的主要是用来做数据分析，或者公司项目...