本文实例讲述了python抓取百度首页的方法。分享给大家供大家参考。具体实现方法如下：
import urllib
def downURL(url,filename):
try:
fp=urllib.urlopen(url)
except:
print('download error')
return 0
op=open(filename,'wb')
while 1:
s=fp.read()
if not s:
break
op.write(s)
fp.close()
op.close()
return 1
downURL("http://www.baidu.com","C:\\url.txt")
希望本文所述对大家的Python程序设计有所帮助。
前言 提起selenium想必大家都不陌生，作为一款知名的Web自动化测试框架，selenium支持多款主流浏览器，提供了功能丰富的API接口，经常被我们用作爬虫工具来使用。但是sele...
目标网站： 首先获取第一页的数据，这里关键要切换到iframe里 打印一下 获取剩下的页数，这里在点击下一页之前需要设置一个延迟，不然会报错。 结果： 一共37页，爬取完...
会用到的功能的简单介绍 1、from bs4 import BeautifulSoup #导入库 2、请求头herders headers={'User-Agent': 'Mo...
目的：在百度贴吧输入关键字和要查找的起始结束页，获取帖子里面楼主所发的图片 思路： 获取分页里面的帖子链接列表 获取帖子里面楼主所发的图片链接列表 保存图片到本地 注意事...
所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习urllib2。 urllib2是Python2.x自带...