望云阁

望云阁

Kafka 万亿级消息实践之资源组流量掉零故障排查分析

一、Kafka 集群部署架构 为了让读者能与小编在后续的问题分析中有更好的共鸣,小编先与各位读者朋友对齐一下我们 Kafka 集群的部署架构及服务接入 Kafka 集群的流程。 为了避免超大集群我们按


gxq926  2022-05-23 阅读全文

如何在Docker中列出容器

要仅显示正在运行的容器,请使用给定命令: docker ps 要显示所有容器,请使用给定命令: docker ps -a 要显示最新创建的容器 (包括所有状态),请使用给定命令: docker ps


gxq926  76  2022-02-23 阅读全文

Docker资源限制

 默认情况下,一个容器是没有任何资源限制的,它能够耗尽当前主机内核能够调度给容器的所有资源,就像拥有饥饿者能力的猪头帝一样,永远吃不饱。这显然是不合理的,因为资源吃多了会被制裁的。在 linux 系统


gxq926  66  2022-02-22 阅读全文

docker实现mysql主从复制

一、概述 1、原理 master服务器将数据的改变记录二进制binlog日志,当master上的数据发生改变时,则将其改变写入二进制日志中; slave服务器会在一定时间间隔内对master二进制日志


gxq926  369  2021-08-30 阅读全文

RabbitMQ和Kafka到底怎么选?

前言 开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个? Rabbi


gxq926  529  2021-08-16 阅读全文

Kafka 原理以及分区分配策略剖析

一、简介 Apache Kafka 是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列【Message Queue】)。 流处理平台有以下3个特性: 可以让你发布和订阅流式的记录。这一方面


gxq926  876  2021-08-16 阅读全文

ElasticSearch在linux环境中集成IK分词器

1.简介 ElasticSearch默认自带的分词器,是标准分词器,对英文分词比较友好,但是对中文,只能把汉字一个个拆分。而elasticsearch-analysis-ik分词器能针对中文词项颗粒度


gxq926  662  2021-08-09 阅读全文

MPP大规模并行处理架构详解

面试官:说下你知道的MPP架构的计算引擎? 这个问题不少小伙伴在面试时都遇到过,因为对MPP这个概念了解较少,不少人都卡壳了,但是我们常用的大数据计算引擎有很多都是MPP架构的,像我们熟悉的Impal


gxq926  536  阅读全文