Python测试Kafka集群(pykafka)实例

yipeiwu_com7年前Python基础

生产者代码:

# -* coding:utf8 *- 
from pykafka import KafkaClient 
 
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host) 
 
print client.topics 
 
# 生产者 
topicdocu = client.topics['my-topic'] 
producer = topicdocu.get_producer() 
for i in range(100): 
  print i 
  producer.produce('test message ' + str(i ** 2)) 
producer.stop()

消费者代码:

# -* coding:utf8 *- 
from pykafka import KafkaClient 
 
host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host) 
 
print client.topics 
 
# 消费者 
topic = client.topics['my-topic'] 
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, auto_commit_interval_ms=1, 
                   consumer_id='test') 
for message in consumer: 
  if message is not None: 
    print message.offset, message.value 

以上这篇Python测试Kafka集群(pykafka)实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

如何运行Python程序的方法

如何运行Python程序的方法

安装完python之后,我们可以做两件事情, 1.将安装目录中的Doc目录下的python331.chm使用手册复制到桌面上,方便学习和查阅 2.将Python安装路径我的是C:\Pyt...

python使用正则表达式来获取文件名的前缀方法

在我们处理文件的时候,会遇到这样的一种场景,我们需要对某个文件进行操作,然后生成与原文件名相同的文件(只是文件格式改变)。那么这个时候就可以使用正则表达式来匹配我们所需要的字符串。 实现...

python中logging模块的一些简单用法的使用

python中logging模块的一些简单用法的使用

用Python写代码的时候,在想看的地方写个print xx 就能在控制台上显示打印信息,这样子就能知道它是什么了,但是当我需要看大量的地方或者在一个文件中查看的时候,这时候print就...

python实现提取百度搜索结果的方法

本文实例讲述了python实现提取百度搜索结果的方法。分享给大家供大家参考。具体实现方法如下: # coding=utf8 import urllib2 import string...

python实现简单ftp客户端的方法

本文实例讲述了python实现简单ftp客户端的方法。分享给大家供大家参考。具体实现方法如下: #!/usr/bin/python # -*- coding: utf-8 -*- i...