kafka-python批量发送数据的实例

yipeiwu_com7年前Python基础

如下所示:

from kafka import KafkaClient
from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目,这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

Python实现的微信红包提醒功能示例

本文实例讲述了Python实现的微信红包提醒功能。分享给大家供大家参考,具体如下: #coding=utf-8 import itchat from itchat.content i...

python中的yield使用方法

今天在看其他同事的代码时,发现一个没使用过的python关键字 :yield       先问了一下同事,听他说了几句,有个模糊的印象,...

Python读取stdin方法实例

Python读取stdin方法实例

Python中常用到的两种标准化输入方式:分别sys.stdin和input,两者使用方式大致相同,但是总的来说sys.stdin使用方式更加多样化一些,下面就例子说明两者之间的使用差别...

python 删除字符串中连续多个空格并保留一个的方法

如下所示: ' '.join(line.split()) 例如:'line dd',运行line.split()得到只有两个元素的列表['line','dd'] 以上这篇pytho...

解决pyinstaller打包exe文件出现命令窗口一闪而过的问题

解决pyinstaller打包exe文件出现命令窗口一闪而过的问题

用pyinstaller打包的exe文件打开时,命令窗口一闪而过,并且未出现GUI界面,也看不到错误信息,然后去网上搜相关的信息,最多的两种说法: 1.添加raw_input()或者os...