望云阁

望云阁

一文理解Kafka如何保证消息顺序性

针对消息有序的业务需求,还分为全局有序和局部有序。 全局有序:一个Topic下的所有消息都需要按照生产顺序消费。 局部有序:一个Topic下的消息,只需要满足同一业务字段的要按照生产顺序消费。例如:T


gxq926  2021-06-09 阅读全文

Kafka数据每5分钟同步到Hive

1.概述 最近有同学留言咨询Kafka数据落地到Hive的一些问题,今天笔者将为大家来介绍一种除Flink流批一体以外的方式(流批一体下次再单独写一篇给大家分享)。 2.内容 首先,我们简单来描述一下


gxq926  16  2021-06-03 阅读全文

Kafka 是什么?有什么应用场景?

1、kafka是什么? Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。 2、产生背景 Kafka是一个消息系统,用作


gxq926  13  2021-06-03 阅读全文