本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：
下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
Python 爬虫之超链接 url中含有中文出错及解决办法 python3.5 爬虫错误： UnicodeEncodeError: 'ascii' codec can't encod...
用正则表达式爬取猫眼电影top100，具体内容如下 #!/usr/bin/python # -*- coding: utf-8 -*- import json # 快速导...
本文实例为大家分享了python爬虫实现中英翻译词典的具体代码，供大家参考，具体内容如下 通过根据某平台的翻译资源，提取出翻译信息，并展示出来，包括输入，翻译，输出三个过程，主要利用py...
最近在学习Python3网络爬虫开发实践（崔庆才 著）刚好也学习到他使用代理爬取公众号文章这里，但是照着他的代码写，出现了一些问题。在这里我用到了这本书的前面讲的一些内容进行了完善。（作...
除了C/C++以外，我也接触过不少流行的语言，PHP、java、javascript、python，其中python可以说是操作起来最方便，缺点最少的语言了。 前几天想写爬虫，后来跟朋友...