本文实例讲述了python抓取百度首页的方法。分享给大家供大家参考。具体实现方法如下：
import urllib
def downURL(url,filename):
try:
fp=urllib.urlopen(url)
except:
print('download error')
return 0
op=open(filename,'wb')
while 1:
s=fp.read()
if not s:
break
op.write(s)
fp.close()
op.close()
return 1
downURL("http://www.baidu.com","C:\\url.txt")
希望本文所述对大家的Python程序设计有所帮助。
最近在使用爬虫爬取数据时，经常会返回403代码，大致意思是该IP访问过于频繁，被限制访问。限制IP访问网站最常用的反爬手段了，其实破解也很容易，就是在爬取网站是使用代理即可，这个IP被限...
网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是Http请求头中的一...
前言 国家统计局网站上有相对比较齐的行政区划码，对于一些网站来说这是非常基础的数据，所以写了个Python程序将这部分数据抓取下来。 注意：抓取下来以后还要进行简单的人工的整理 示例代码...
最近学习了一些爬虫技术，想做个小项目检验下自己的学习成果，在逛某东的时候，突然给我推荐一个TT的产品，点击进去浏览一番之后就产生了抓取TT产品，然后进行数据分析，看下那个品牌的TT卖得最...
首先是准备工作 Python 2.7.11：下载python Pycharm：下载Pycharm 其中python2和python3目前同步发行，我这里使用的是python2作为环境。P...