kafka-python批量发送数据的实例

yipeiwu_com6年前Python基础

如下所示:

from kafka import KafkaClient
from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
  '''
    向kafka解析队列发送数据
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM为topic的partition的数目,这样保证批量发送的数据均匀的落在kafka的partition中。

以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

python实现简单socket通信的方法

本文实例讲述了python实现简单socket通信的方法。分享给大家供大家参考,具体如下: 刚刚开始接触python,实现了一个helloworld程序---关于udp协议的socket...

Tensorflow之构建自己的图片数据集TFrecords的方法

学习谷歌的深度学习终于有点眉目了,给大家分享我的Tensorflow学习历程。 tensorflow的官方中文文档比较生涩,数据集一直采用的MNIST二进制数据集。并没有过多讲述怎么构建...

python 读取dicom文件,生成info.txt和raw文件的方法

目标:利用python读取dicom文件,并进行处理生成info.txt和raw文件 实现:通过pydicom读取dicom文件 代码: import numpy import py...

Python获取时间戳代码实例

1、获取秒级时间戳与毫秒级时间戳、微秒级时间戳 import time import datetime t = time.time() print (t) #...

python中 chr unichr ord函数的实例详解

python中 chr unichr ord函数的实例详解 chr()函数用一个范围在range(256)内的(就是0~255)整数作参数,返回一个对应的字符。unichr()跟它一样,...