本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：
下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
你好 由于你是游客 无法查看本文 请你登录再进 谢谢合作。。。。。 当你在爬某些网站的时候 需要你登录才可以获取数据 咋整？ 莫慌 把这几招传授给你 让你以后从容应对 登录的常见方...
使用Python爬虫登录系统之后，能够实现的操作就多了很多，下面大致介绍下如何使用Python模拟登录。 我们都知道，在前端的加密验证，只要把将加密环境还原出来，便能够很轻易地登录。 首...
本文实例主要是实现爬取一个网页上的图片地址，具体如下。 读取一个网页的源代码： import urllib.request def getHtml(url): html=urll...
前言 qq music上的音乐还是不少的，有些时候想要下载好听的音乐，但有每次在网页下载都是烦人的登录什么的。于是，来了个qqmusic的爬虫。至少我觉得for循环爬虫，最核心的应该就是...
python爬取数据保存为Json格式 代码如下： #encoding:'utf-8' import urllib.request from bs4 import Beautiful...