scrapy-redis的安装部署步骤讲解

yipeiwu_com5年前Python基础

先说下自己的环境,redis是部署在centos上的,爬虫运行在windows上,

1. 安装redis

yum install -y redis

2. 修改配置文件

vi /etc/redis.conf

将 protected-mode no解注释,否则的话,在不设置密码情况下远程无法连接redis

3. 重启redis

systemctl restart redis

4. 关闭防火墙

systemctl stop firewalld.service

5. 开始创建scrapy-redis的相关,和普通的scrapy一样的创建,只不过修改setting.py文件,添加一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py文件

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self, response):
    print(1111)
    pass

7. 可以执行这个爬虫了

scrapy runspider example.py

8. 进入redis 

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

即可看到爬虫开始运行了

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对【听图阁-专注于Python设计】的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

Pandas+Matplotlib 箱式图异常值分析示例

我就废话不多说了,直接上代码吧! # -*- coding: utf-8 -*- import pandas as pd import matplotlib.pyplot as...

Python数据结构之顺序表的实现代码示例

Python数据结构之顺序表的实现代码示例

顺序表即线性表的顺序存储结构。它是通过一组地址连续的存储单元对线性表中的数据进行存储的,相邻的两个元素在物理位置上也是相邻的。比如,第1个元素是存储在线性表的起始位置LOC(1),那么第...

python实现诗歌游戏(类继承)

本文实例为大家分享了python实现诗歌游戏的具体代码,供大家参考,具体内容如下 具体游戏有:根据上句猜下句、猜作者、猜朝代、猜诗名等 如果有更好玩儿的游戏,不妨自己写一下 1.首先,先...

Numpy中的mask的使用

Numpy中的mask的使用

numpy中矩阵选取子集或者以条件选取子集,用mask是一种很好的方法 简单来说就是用bool类型的indice矩阵去选择, mask = np.ones(X.shape[0],...

Python处理PDF及生成多层PDF实例代码

Python提供了众多的PDF支持库,本文是在Python3环境下,试用了两个库来完成PDF的生成的功能。PyPDF对于读取PDF支持较好,但是没找到生成多层PDF的方法。Reportl...