scrapy自定义pipeline类实现将采集数据保存到mongodb的方法

yipeiwu_com7年前Python基础

本文实例讲述了scrapy自定义pipeline类实现将采集数据保存到mongodb的方法。分享给大家供大家参考。具体如下:

# Standard Python library imports
# 3rd party modules
import pymongo
from scrapy import log
from scrapy.conf import settings
from scrapy.exceptions import DropItem
class MongoDBPipeline(object):
  def __init__(self):
    self.server = settings['MONGODB_SERVER']
    self.port = settings['MONGODB_PORT']
    self.db = settings['MONGODB_DB']
    self.col = settings['MONGODB_COLLECTION']
    connection = pymongo.Connection(self.server, self.port)
    db = connection[self.db]
    self.collection = db[self.col]
  def process_item(self, item, spider):
    err_msg = ''
    for field, data in item.items():
      if not data:
        err_msg += 'Missing %s of poem from %s\n' % (field, item['url'])
    if err_msg:
      raise DropItem(err_msg)
    self.collection.insert(dict(item))
    log.msg('Item written to MongoDB database %s/%s' % (self.db, self.col),
        level=log.DEBUG, spider=spider)
    return item

希望本文所述对大家的python程序设计有所帮助。

相关文章

python 循环遍历字典元素的简单方法

一个简单的for语句就能循环字典的所有键,就像处理序列一样: In [1]: d = {'x':1, 'y':2, 'z':3} In [2]: for key in d: ....

基于Python pip用国内镜像下载的方法

异常信息: Retrying (Retry(total=2, connect=None, read=None, redirect=None)) after connection br...

pycharm 使用心得(九)解决No Python interpreter selected的问题

pycharm 使用心得(九)解决No Python interpreter selected的问题

初次安装完PyCharm后,新建项目时,遇到了No Python interpreter selected的问题。 意思是说没有找到Python解释器。那我们添加Python解释器即可...

python实现的jpg格式图片修复代码

最近为客户修复损坏的jpg写的,效果还可以,但不保证适用任何情况。 如果你有损坏照片,不妨试一试,如果可以使用给我留个言哦。 复制代码 代码如下: # -*- coding: utf8...

python下setuptools的安装详解及No module named setuptools的解决方法

前言 python下的setuptools带有一个easy_install的工具,在安装python的每三方模块、工具时很有用,也很方便。 安装setuptools前先安装pip,请参...