python爬虫自动创建文件夹的功能

yipeiwu_com6年前Python爬虫

该爬虫应用了创建文件夹的功能:

#file setting
folder_path = "D:/spider_things/2016.4.6/" + file_name +"/"
if not os.path.exists(folder_path):
os.makedirs(folder_path)

上面代码块的意思是:

"os.path.exists(folder_path)"用来判断folder_path这个路径是否存在,如果不存在,就执行“os.makedirs(folder_path)”来创建这个路径

补充:下面看下Python 爬虫 —— 文件及文件夹操作

0. 文件名、路径信息、拓展名等

#取文件后缀
>>> os.path.splitext("/root/a.py")
('/root/a', '.py')
#取目录与文件名
>>> os.path.split("/root/a.py")
('/root', 'a.py')
>>> os.path.basename("/root/a.py")
'a.py'
>>> os.path.dirname('/root/a.py')
'/root'

1. 遍历文件夹及重命名

import os
import sys
path = 'D:/emojis'
# os.walk 返回的是一个三元组
for (path, dirs, files) in os.walk(path):
  for filename in files:
    newname = "emoji_" +filename
    os.rename(os.path.join(path, filename) , os.path.join(path, new_name))

总结

以上所述是小编给大家介绍的python爬虫自动创建文件夹的功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对【听图阁-专注于Python设计】网站的支持!

相关文章

python爬取百度贴吧前1000页内容(requests库面向对象思想实现)

此程序以李毅吧为例子,以面向对象的设计思想实现爬取保存网页数据,暂时并未用到并发处理,以后有机会的话会加以改善 首先去百度贴吧分析贴吧地址栏中url后的参数,找到分页对应的参数p...

python智联招聘爬虫并导入到excel代码实例

这篇文章主要介绍了python智联招聘爬虫并导入到excel代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 写了一个智联招聘的...

python爬虫中get和post方法介绍以及cookie作用

首先确定你要爬取的目标网站的表单提交方式,可以通过开发者工具看到。这里推荐使用chrome。 这里我用163邮箱为例 打开工具后再Network中,在Name选中想要了解的网站,右侧...

python使用tornado实现简单爬虫

本文实例为大家分享了python使用tornado实现简单爬虫的具体代码,供大家参考,具体内容如下 代码在官方文档的示例代码中有,但是作为一个tornado新手来说阅读起来还是有点困难的...

python抓取需要扫微信登陆页面

python抓取需要扫微信登陆页面

  一,抓取情况描述 1.抓取的页面需要登陆,以公司网页为例,登陆网址https://app-ticketsys.hezongyun.com/index.php ,(该网页登...