Python使用Scrapy保存控制台信息到文本解析

yipeiwu_com6年前Python基础

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name 

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log 

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

相关文章

Python使用POP3和SMTP协议收发邮件的示例代码

Python使用POP3和SMTP协议收发邮件的示例代码

先来了解一下收/发邮件有哪些协议: SMTP协议 SMTP(Simple Mail Transfer Protocol),即简单邮件传输协议。相当于中转站,将邮件发送到客户端。 POP...

简单说明Python中的装饰器的用法

简单说明Python中的装饰器的用法

装饰器对与Python新手以至于熟悉Python的人都是一个难理解, 难写的东西. 那么今天就分享一下我对Python 装饰器的理解 所谓装饰器仅仅是一种语法糖, 可作用的对象可以是函数...

Python的语言类型(详解)

Python 是强类型的动态脚本语言 。 强类型:不允许不同类型相加 动态:不使用显示数据类型声明,且确定一个变量的类型是在第一次给它赋值的时候 脚本语言:一般也是解释型语言,运行代码只...

Python Tensor FLow简单使用方法实例详解

Python Tensor FLow简单使用方法实例详解

本文实例讲述了Python Tensor FLow简单使用方法。分享给大家供大家参考,具体如下: 1、基础概念 Tensor表示张量,是一种多维数组的数据结构。Flow代表流,是指张量之...

python海龟绘图实例教程

本文以实例形式介绍了python turtle模块即海龟绘图的使用方法,对于需要进行图形编程的朋友相信会有一定的借鉴价值。 python turtle模块简介:  python...