望云阁

望云阁

【Hadoop】HDFS的运行原理

简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Go


gxq926  17  阅读全文

Hadoop集群--Eclipse开发环境设置

1、Hadoop开发环境简介 1.1 Hadoop集群简介   Java版本:jdk-6u31-linux-i586.bin   Linux系统:CentOS6.0   Hadoop版本:hadoop


gxq926  23  阅读全文

深入理解Flink-On-Yarn模式

1. 前言 Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式,本文分析两种模式及启动流程。 下图展示了Flink-On-Yarn模式


gxq926  13  2021-06-03 阅读全文

Kafka数据每5分钟同步到Hive

1.概述 最近有同学留言咨询Kafka数据落地到Hive的一些问题,今天笔者将为大家来介绍一种除Flink流批一体以外的方式(流批一体下次再单独写一篇给大家分享)。 2.内容 首先,我们简单来描述一下


gxq926  16  2021-06-03 阅读全文

Kafka 是什么?有什么应用场景?

1、kafka是什么? Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。 2、产生背景 Kafka是一个消息系统,用作


gxq926  13  2021-06-03 阅读全文

如何在CDP中部署Flink1.12

1、安装Flink 1.准备Flink1.12的csd文件,并放置到Cloudera Manager Server服务器的/opt/cloudera/csd目录下,然后重启Cloudera Manag


gxq926  15  2021-06-03 阅读全文

如何使用authzmigrator 工具迁移Sentry权限到Ranger

1.文档编写目的 Cloudera 提供两类 Sentry 迁移工具: Replication Manager:在定制 Hive 复制作业的时候,勾选import both Hive object a


gxq926  17  2021-06-02 阅读全文

Hue编辑器无法提交中文异常解决

1、问题描述 1.环境描述 CM和CDP集群版本为7.1.4,Hue版本为4.5.0 2.问题描述 Hue使用编辑器提交中文内容报错'ascii' codec can't de


gxq926  19  2021-06-01 阅读全文

Flink on K8s的一些方案推荐

第一种方案,是平台自己去构建和管理任务的镜像。 优点是:平台方对于构建镜像,以及运行实时任务整体流程自我掌控,具体问题能够及时修正。 缺点是:需要对 Docker 以及 K8S 相关技术要有一定了解,


gxq926  16  2021-06-01 阅读全文

Flink on k8s 的容器化流程

第一步,实时平台的 Flink Jar 任务提交,Flink Jar 任务版本管理,Docker Flink 任务镜像构建,上传镜像到 Docker 镜像仓库; 第二步,任务启动; 第三步,yaml


gxq926  18  2021-06-01 阅读全文

Flink 保存点之回溯时间

流处理通常被大家与动态数据关联起来,相应的系统差不多会在数据被创造出来的那一刻就立刻对其进行处理或响应。像延迟、吞吐量、水印和处理迟到的数据等等都是大家讨论得最多的流处理话题,通常是关注现在,而不是过


gxq926  17  阅读全文

Pulsar 介绍与部署

Apache Pulsar 是灵活的发布-订阅消息系统(Flexible Pub/Sub messaging),采用计算与存储分离的架构。雅虎在 2013 年开始开发 Pulsar ,于 2016 年


gxq926  24  2021-05-31 阅读全文

阿里云开源PolarDB for PostgreSQL数据库

在5月29日举办的2021阿里云开发者大会上,阿里云宣布了“阿里云数据库开源计划”,并率先开源了 PolarDB for PostgreSQL 分布式版,采用的开源许可证为 Apache 2.0 Li


gxq926  17  2021-05-31 阅读全文

k8s 和 Docker 到底是什么关系?

简要介绍: 官方定义1:Docker是一个开源的应用容器引擎,开发者可以打包他们的应用及依赖到一个可移植的容器中,发布到流行的Linux机器上,也可实现虚拟化。 官方定义2:k8s是一个开源的容器集群


gxq926  19  阅读全文

蚂蚁集团自研数据库OceanBase即将开源

蚂蚁集团自研数据库OceanBase将于近期开源代码,时间最早可锁定至6月1日。届时,广大数据库开发人员及相关从业者将可以通过OceanBase官网、GitHub等渠道下载体验OceanBase源码。


gxq926  21  2021-05-30 阅读全文

Linux MySQL 5.7初始化

环境: centos7.9 初始化随机密码 mysqld --initialize 或者 service mysql start (自动初始化) 初始化空密码 mysqld --initialize-


gxq926  22  2021-05-28 阅读全文

mysqld.service holdoff time over, scheduling restart.解决方法

环境: centos7.4 + mysql5.7.17 启动mysql报错: mysqld.service holdoff time over, scheduling restart. 报错原因: M


gxq926  23  阅读全文

Apache Flink 1.13.0 正式发布,流处理应用更加简单高效!

Flink 1.13 发布了!Flink 1.13 包括了超过 200 名贡献者所提交的 1000 多项修复和优化。 这一版本中,Flink 的一个主要目标取得了重要进展,即让流处理应用的使用像普通应


gxq926  49  2021-05-20 阅读全文

Flink sql connector Mysql示例

需要额外下载jar包: mysql-connector-java-8.0.20.jar flink-connector-jdbc_2.11-1.12.0.jar 下载之后将jar放入到flink-1.


gxq926  70  2021-04-15 阅读全文

Debezium 1.5.0.CR1版本发布,Oracle Connector已经稳定

Oracle连接器一直处于孵化状态,但是最近的努力帮助为连接器带来了新的功能和稳定性。至此,我们已经感觉到连接器已经准备就绪,因此在此版本中,我们正式将Oracle连接器从孵化升级为稳定。 社区的巨大


gxq926  101  阅读全文