望云阁

望云阁

RabbitMQ和Kafka到底怎么选?

前言 开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个? Rabbi


gxq926  37  2021-08-16 阅读全文

Kafka 原理以及分区分配策略剖析

一、简介 Apache Kafka 是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列【Message Queue】)。 流处理平台有以下3个特性: 可以让你发布和订阅流式的记录。这一方面


gxq926  46  2021-08-16 阅读全文

Kafka重复消费的原因和解决方案

在解释Kafka重复消费出现原因之前,列举一下Kafka中与消费者有关的几个重要配置参数。 enable.auto.commit:表示消费者会周期性自动提交消费的offset。默认值true。 aut


gxq926  55  阅读全文

Kafka如何消息不丢失

数据丢失的原因 生产者丢失消息的情况 生产者(Producer) 调用send方法发送消息之后,消息可能因为网络问题并没有发送过去。 解决方法: 不能认为在调用send方法发送消息之后消息消息发送成功


gxq926  42  2021-07-16 阅读全文

Kafka设计解析之Kafka Stream

本文介绍了Kafka Stream的背景,如Kafka Stream是什么,什么是流式计算,以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构,并行模型,状态存储,以


gxq926  63  阅读全文

对 Kafka 和 Pulsar 进行性能测试后,拉卡拉将消息平台统一换成了 Pulsar

拉卡拉支付成立于 2005 年,是国内领先的第三方支付企业,致力于整合信息科技,服务线下实体,从支付切入,全维度为中小微商户的经营赋能。2011 年成为首批获得《支付业务许可证》企业的一员,2019


gxq926  161  2021-06-21 阅读全文

Kafka之时间轮

kafka是一个分布式消息中间件,其高可用高吞吐的特点是大数据领域首选的消息中间件,Kafka是分布式消息队列的顺序读写文件分段组织串联起来思想的鼻祖,包括RocketMq这些消息队列都是借鉴了Kaf


gxq926  54  2021-06-18 阅读全文

一文理解Kafka如何保证消息顺序性

针对消息有序的业务需求,还分为全局有序和局部有序。 全局有序:一个Topic下的所有消息都需要按照生产顺序消费。 局部有序:一个Topic下的消息,只需要满足同一业务字段的要按照生产顺序消费。例如:T


gxq926  63  2021-06-09 阅读全文

Kafka数据每5分钟同步到Hive

1.概述 最近有同学留言咨询Kafka数据落地到Hive的一些问题,今天笔者将为大家来介绍一种除Flink流批一体以外的方式(流批一体下次再单独写一篇给大家分享)。 2.内容 首先,我们简单来描述一下


gxq926  43  2021-06-03 阅读全文

Kafka 是什么?有什么应用场景?

1、kafka是什么? Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。 2、产生背景 Kafka是一个消息系统,用作


gxq926  59  2021-06-03 阅读全文