本文实例讲述了python抓取百度首页的方法。分享给大家供大家参考。具体实现方法如下：
import urllib
def downURL(url,filename):
try:
fp=urllib.urlopen(url)
except:
print('download error')
return 0
op=open(filename,'wb')
while 1:
s=fp.read()
if not s:
break
op.write(s)
fp.close()
op.close()
return 1
downURL("http://www.baidu.com","C:\\url.txt")
希望本文所述对大家的Python程序设计有所帮助。
分析 使用CrawlSpider结合LinkExtractor和Rule爬取网页信息 LinkExtractor用于定义链接提取规则，一般使用allow参数即可 LinkExtrac...
以豆瓣为例，访问https://www.douban.com/contacts/list 来查看自己关注的人，要登录才能查看。 如果用requests.get()方法获取这个http，没...
1.爬虫的工作原理 网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从...
获取首页元素信息： 目标 test_URL：http://www.xxx.com.cn/ 首先检查元素，a 标签下是我们需要爬取得链接，通过获取链接路径，定位出我们需要的信息 sou...
如果URL中存在中文，而你却不对它做任何处理，他不会达到你所想的那样，因此我们需要将中文部分进行处理，要用到urllib.parse模块中的quote将中文转化成URL所需的编码，url...