python抓取网站的图片并下载到本地的方法

yipeiwu_com5年前Python爬虫

实例如下所示:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import re
import urllib,urllib2;
#通过url获取网页
def getHtml(url):
 # 要设置请求头,让服务器知道不是机器人
 user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
 headers = {'User-Agent': user_agent}
 request=urllib2.Request(url,headers=headers);
 page = urllib2.urlopen(request);
 html = page.read()
 return html
#通过正则表达式来获取图片地址,并下载到本地
def getImg(html):
 reg = r'src="(.+?\.jpg)"'
 imgre = re.compile(reg)
 imglist = imgre.findall(html)
 x = 0
 for imgurl in imglist:
  print imgurl;
  #通过urlretrieve函数把数据下载到本地的D:\\images,所以你需要创建目录
  urllib.urlretrieve(imgurl, 'D:\\images\\%s.jpg' % x)
  x = x + 1
html = getHtml("http://www.qiushibaike.com/imgrank/")
getImg(html)

以上这篇python抓取网站的图片并下载到本地的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

python爬虫获取京东手机图片的图文教程

python爬虫获取京东手机图片的图文教程

如题,首先当然是要打开京东的手机页面 因为要获取不同页面的所有手机图片,所以我们要跳转到不同页面观察页面地址的规律,这里观察第二页页面 由观察可以得到,第二页的链接地址很有可能是...

通过selenium抓取某东的TT购买记录并分析趋势过程解析

通过selenium抓取某东的TT购买记录并分析趋势过程解析

最近学习了一些爬虫技术,想做个小项目检验下自己的学习成果,在逛某东的时候,突然给我推荐一个TT的产品,点击进去浏览一番之后就产生了抓取TT产品,然后进行数据分析,看下那个品牌的TT卖得最...

利用Python爬取可用的代理IP

利用Python爬取可用的代理IP

前言 就以最近发现的一个免费代理IP网站为例:http://www.xicidaili.com/nn/。在使用的时候发现很多IP都用不了。 所以用Python写了个脚本,该脚本可以把能用...

python3爬虫获取html内容及各属性值的方法

今天用到BeautifulSoup解析爬下来的网页数据 首先导入包from bs4 import BeautifulSoup 然后可以利用urllib请求数据 记得要导包 impor...

Python爬取读者并制作成PDF

学了下beautifulsoup后,做个个网络爬虫,爬取读者杂志并用reportlab制作成pdf.. crawler.py 复制代码 代码如下: #!/usr/bin/env pyth...