python爬虫自动创建文件夹的功能

yipeiwu_com6年前Python爬虫

该爬虫应用了创建文件夹的功能:

#file setting
folder_path = "D:/spider_things/2016.4.6/" + file_name +"/"
if not os.path.exists(folder_path):
os.makedirs(folder_path)

上面代码块的意思是:

"os.path.exists(folder_path)"用来判断folder_path这个路径是否存在,如果不存在,就执行“os.makedirs(folder_path)”来创建这个路径

补充:下面看下Python 爬虫 —— 文件及文件夹操作

0. 文件名、路径信息、拓展名等

#取文件后缀
>>> os.path.splitext("/root/a.py")
('/root/a', '.py')
#取目录与文件名
>>> os.path.split("/root/a.py")
('/root', 'a.py')
>>> os.path.basename("/root/a.py")
'a.py'
>>> os.path.dirname('/root/a.py')
'/root'

1. 遍历文件夹及重命名

import os
import sys
path = 'D:/emojis'
# os.walk 返回的是一个三元组
for (path, dirs, files) in os.walk(path):
  for filename in files:
    newname = "emoji_" +filename
    os.rename(os.path.join(path, filename) , os.path.join(path, new_name))

总结

以上所述是小编给大家介绍的python爬虫自动创建文件夹的功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对【听图阁-专注于Python设计】网站的支持!

相关文章

Python 爬虫爬取指定博客的所有文章

自上一篇文章 Z Story : Using Django with GAE Python 后台抓取多个网站的页面全文 后,大体的进度如下: 1.增加了Cron: 用来告诉程序每隔30分...

基于python框架Scrapy爬取自己的博客内容过程详解

基于python框架Scrapy爬取自己的博客内容过程详解

前言 python中常用的写爬虫的库常有urllib2、requests,对于大多数比较简单的场景或者以学习为目的,可以用这两个库实现。这里有一篇我之前写过的用urllib2+Beaut...

总结python爬虫抓站的实用技巧

总结python爬虫抓站的实用技巧

前言 写过的这些脚本有一个共性,都是和web相关的,总要用到获取链接的一些方法,累积不少爬虫抓站的经验,在此总结一下,那么以后做东西也就不用重复劳动了。 1.最基本的抓站 impor...

零基础写python爬虫之爬虫的定义及URL构成

一、网络爬虫的定义网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站...

Python使用Selenium爬取淘宝异步加载的数据方法

淘宝的页面很复杂,如果使用分析ajax或者js的方式,很麻烦 抓取淘宝‘美食'上面的所有食品信息 spider.py #encoding:utf8 import re from s...