Python使用Scrapy保存控制台信息到文本解析

yipeiwu_com7年前Python基础

在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:

scrapy crawl spider_name 

这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:

但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。

如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。

此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们查看。

命令如下:

D:\>scrapy crawl spder_name -s LOG_FILE=scrapy.log 

总结

以上就是本文关于Python使用Scrapy保存控制台信息到文本解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

相关文章

python实现图片中文字分割效果

python实现图片中文字分割效果

本文实例为大家分享了python实现图片中文字分割的具体代码,供大家参考,具体内容如下 1、原始图片(包含数字): 结果图: 2、原始图片(包含文字): 结果图: 3、代码如下:...

Python获取文件ssdeep值的方法

本文实例讲述了Python获取文件ssdeep值的方法,分享给大家供大家参考。具体方法如下: 首先,得到ssdeep值,需要先import ssdeep 在ubuntu上安装pyssde...

Flask模板引擎之Jinja2语法介绍

Jinja是组成Flask的模板引擎。可能你还不太了解它是干嘛的,但你对下面这些百分号和大括号肯定不陌生: {% block body %} <ul> {% for...

python opencv之分水岭算法示例

python opencv之分水岭算法示例

本文介绍了python opencv之分水岭算法示例,分享给大家,具体如下: 目标 使用分水岭算法对基于标记的图像进行分割 使用函数cv2.watershed() 原理:...

Django的用户模块与权限系统的示例代码

一 导言 设计一个好的用户系统往往不是那么容易,Django提供的用户系统可以快速实现基本的功能,并可以在此基础上继续扩展以满足我们的需求。 先看看Django的用户系统都提供哪些功能...