node连接kafka中大量数据的写入稳定性的的疑问
最近接手一个需求需要将node接收的数据 直接写入kafka,但是网上找了node-rdkafka 的客户端, 测试了下: 如果连续每个请求创建一个tcp连接,很快系统就提示拒绝创建连接,线程数过高, 如果复用一个tcp连接,很快它又会很快write到极限,写入会被阻塞住。。。 我现在不知道怎么处理这个东西了,没有思路。。。 有大牛处理过这一块么?怎么把这个连接 高可用话?敬请各位大牛赐教,或者有什么解决方案。!~!~ 小弟在此先行谢过!~!~
8 回复
弄个池子试试呢?
@ipengyo 我也想过这个方案,但是有点不知道怎么下手。。。
我怎么没有遇见这样问题? 可能我数据量小
@liangtongzhuo 您那边采用的那种连接方式?我自己测试的时候用的,直接for 循环3000次疯狂往里面塞的。。很快就炸了!~!~
@LastKing kafka-node 这个库, 150 台服务器往里塞 = =。
@liangtongzhuo 我想问下,您这边 是每次都开的连接么?每次都是新建一个producer 线程么?因为我看他的api 是在producer 处于ready 状态之后才能进行插入操作…
我只用一个 producer,按照官方例子来的。
node-rdkafka 应该还行吧 暴雪出品