本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：
下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
1、首先找到一个在线成语网站 2、查看网页结构，定义正则式看一下要抓的成语的标签有什么特点，查看源码，可以发现要抓的成语都在<a>标签中，如:<a href="/cy0...
熟悉Java的jsoup包的话，对于Python的BeautifulSoup库应该很容易上手。 复制代码 代码如下:#coding: utf-8import sysimport urll...
实现网页的键盘输入操作 from selenium.webdriver.common.keys import Keys 动态网页有时需要将鼠标悬停在某个元素上，相应的列表选项才能显...
使用Chrome、python3.7、requests库和VSCode进行爬取马蜂窝黄鹤楼的文字评论(http://www.mafengwo.cn/poi/5426285.html)。...
最近也是学习了一些爬虫方面的知识。以我自己的理解，通常我们用浏览器查看网页时，是通过浏览器向服务器发送请求，然后服务器响应以后返回一些代码数据，再经过浏览器解析后呈现出来。而爬虫则是通过...