python抓取网站的图片并下载到本地的方法

yipeiwu_com6年前Python爬虫

实例如下所示:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import re
import urllib,urllib2;
#通过url获取网页
def getHtml(url):
 # 要设置请求头,让服务器知道不是机器人
 user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
 headers = {'User-Agent': user_agent}
 request=urllib2.Request(url,headers=headers);
 page = urllib2.urlopen(request);
 html = page.read()
 return html
#通过正则表达式来获取图片地址,并下载到本地
def getImg(html):
 reg = r'src="(.+?\.jpg)"'
 imgre = re.compile(reg)
 imglist = imgre.findall(html)
 x = 0
 for imgurl in imglist:
  print imgurl;
  #通过urlretrieve函数把数据下载到本地的D:\\images,所以你需要创建目录
  urllib.urlretrieve(imgurl, 'D:\\images\\%s.jpg' % x)
  x = x + 1
html = getHtml("http://www.qiushibaike.com/imgrank/")
getImg(html)

以上这篇python抓取网站的图片并下载到本地的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python爬虫包BeautifulSoup学习实例(五)

本文为大家分享了Python爬虫包BeautifulSoup学习实例,具体内容如下 BeautifulSoup 使用BeautifulSoup抓取豆瓣电影的一些信息。 # -*- c...

python实现多线程行情抓取工具的方法

思路 借助python当中threading模块与Queue模块组合可以方便的实现基于生产者-消费者模型的多线程模型。Jimmy大神的tushare一直是广大python数据分析以及业...

Python3爬虫全国地址信息

PHP方式写的一团糟所以就用python3重写了一遍,所以因为第二次写了,思路也更清晰了些。 提醒:可能会有502的错误,所以做了异常以及数据库事务处理,暂时没有想到更好的优化方法,所以...

零基础写python爬虫之爬虫框架Scrapy安装配置

零基础写python爬虫之爬虫框架Scrapy安装配置

前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识, 用来解决简单的贴吧下载,绩点运算自然不在话下。 不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点。...

使用Python抓取豆瓣影评数据的方法

使用Python抓取豆瓣影评数据的方法

抓取豆瓣影评评分 正常的抓取 分析请求的url https://movie.douban.com/subject/26322642/comments?start=20&limit=...