通过pykafka接收Kafka消息队列的方法

yipeiwu_com7年前Python基础

没有Kafka环境,所以也没有进行验证。感觉今后应该能用到,所以借抄在此,备查。

pykafka使用示例,自动消费最新消息,不重复消费:

# -* coding:utf8 *-
from pykafka import KafkaClient
 
host = '192.168.200.38'
client = KafkaClient(hosts="%s:9092" % host)
 
print client.topics
 
# 生产者
# topicdocu = client.topics['task_pull']
# producer = topicdocu.get_producer()
# for i in range(4):
#   print i
#   producer.produce('test message ' + str(i ** 2))
# producer.stop()
 
# 消费者
topic = client.topics['task_push']
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, consumer_id='test')
for message in consumer:
  if message is not None:
    print message.offset, message.value

以上这篇通过pykafka接收Kafka消息队列的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

使用python opencv对目录下图片进行去重的方法

版本: 平台:ubuntu 14 / I5 / 4G内存 python版本:python2.7 opencv版本:2.13.4 依赖: 如果系统没有python,则需要进行安装 sudo...

Python闭包和装饰器用法实例详解

本文实例讲述了Python闭包和装饰器用法。分享给大家供大家参考,具体如下: Python的装饰器的英文名叫Decorator,作用是完成对一些模块的修饰。所谓修饰工作就是想给现有的模块...

简单易懂的python环境安装教程

简单易懂的python环境安装教程

今天开始学习python,首先环境安装 1.在https://www.python.org/downloads/下载python2.X或者3.X(ps:这里建议下载32位的python...

pygame库实现俄罗斯方块小游戏

pygame库实现俄罗斯方块小游戏

本文实例为大家分享了pygame库实现俄罗斯方块小游戏的具体代码,供大家参考,具体内容如下 import random,time,pygame,sys from pygame.loc...

python 输出上个月的月末日期实例

如下所示: import dateutil def before_month_lastday(ti): today=dateutil.parser.parse(str(ti))...