python抓取网站的图片并下载到本地的方法

yipeiwu_com7年前Python爬虫

实例如下所示:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import re
import urllib,urllib2;
#通过url获取网页
def getHtml(url):
 # 要设置请求头,让服务器知道不是机器人
 user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
 headers = {'User-Agent': user_agent}
 request=urllib2.Request(url,headers=headers);
 page = urllib2.urlopen(request);
 html = page.read()
 return html
#通过正则表达式来获取图片地址,并下载到本地
def getImg(html):
 reg = r'src="(.+?\.jpg)"'
 imgre = re.compile(reg)
 imglist = imgre.findall(html)
 x = 0
 for imgurl in imglist:
  print imgurl;
  #通过urlretrieve函数把数据下载到本地的D:\\images,所以你需要创建目录
  urllib.urlretrieve(imgurl, 'D:\\images\\%s.jpg' % x)
  x = x + 1
html = getHtml("http://www.qiushibaike.com/imgrank/")
getImg(html)

以上这篇python抓取网站的图片并下载到本地的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?

详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?

今年五一放了四天假,很多人不再只是选择周边游,因为时间充裕,选择了稍微远一点的景区,甚至出国游。各个景点成了人山人海,拥挤的人群,甚至去卫生间都要排队半天,那一刻我突然有点理解灭霸的行为...

Python爬虫基础之XPath语法与lxml库的用法详解

Python爬虫基础之XPath语法与lxml库的用法详解

前言 本来打算写的标题是XPath语法,但是想了一下Python中的解析库lxml,使用的是Xpath语法,同样也是效率比较高的解析方法,所以就写成了XPath语法和lxml库的用法 X...

Python实现抓取页面上链接的简单爬虫分享

Python实现抓取页面上链接的简单爬虫分享

除了C/C++以外,我也接触过不少流行的语言,PHP、java、javascript、python,其中python可以说是操作起来最方便,缺点最少的语言了。 前几天想写爬虫,后来跟朋友...

python网络爬虫 Scrapy中selenium用法详解

python网络爬虫 Scrapy中selenium用法详解

引入 在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过...

selenium+python设置爬虫代理IP的方法

1. 背景 在使用selenium浏览器渲染技术,爬取网站信息时,一般来说,速度是很慢的。而且一般需要用到这种技术爬取的网站,反爬技术都比较厉害,对IP的访问频率应该有相当的限制。所以...