python抓取网站的图片并下载到本地的方法

yipeiwu_com5年前Python爬虫

实例如下所示:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import re
import urllib,urllib2;
#通过url获取网页
def getHtml(url):
 # 要设置请求头,让服务器知道不是机器人
 user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
 headers = {'User-Agent': user_agent}
 request=urllib2.Request(url,headers=headers);
 page = urllib2.urlopen(request);
 html = page.read()
 return html
#通过正则表达式来获取图片地址,并下载到本地
def getImg(html):
 reg = r'src="(.+?\.jpg)"'
 imgre = re.compile(reg)
 imglist = imgre.findall(html)
 x = 0
 for imgurl in imglist:
  print imgurl;
  #通过urlretrieve函数把数据下载到本地的D:\\images,所以你需要创建目录
  urllib.urlretrieve(imgurl, 'D:\\images\\%s.jpg' % x)
  x = x + 1
html = getHtml("http://www.qiushibaike.com/imgrank/")
getImg(html)

以上这篇python抓取网站的图片并下载到本地的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

python爬虫模拟浏览器的两种方法实例分析

python爬虫模拟浏览器的两种方法实例分析

本文实例讲述了python爬虫模拟浏览器的两种方法。分享给大家供大家参考,具体如下: 爬虫爬取网站出现403,因为站点做了防爬虫的设置 一、Herders 属性 爬取CSDN博客 i...

python实现的爬取电影下载链接功能示例

本文实例讲述了python实现的爬取电影下载链接功能。分享给大家供大家参考,具体如下: #!/usr/bin/python #coding=UTF-8 import sys impo...

实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250

实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250

安装部署Scrapy 在安装Scrapy前首先需要确定的是已经安装好了Python(目前Scrapy支持Python2.5,Python2.6和Python2.7)。官方文档中介绍了三种...

Python爬取读者并制作成PDF

学了下beautifulsoup后,做个个网络爬虫,爬取读者杂志并用reportlab制作成pdf.. crawler.py 复制代码 代码如下: #!/usr/bin/env pyth...

python爬虫爬取笔趣网小说网站过程图解

python爬虫爬取笔趣网小说网站过程图解

首先:文章用到的解析库介绍 BeautifulSoup: Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱,通过解析...