望云阁

望云阁

如何在CDP中部署Flink1.12

1、安装Flink 1.准备Flink1.12的csd文件,并放置到Cloudera Manager Server服务器的/opt/cloudera/csd目录下,然后重启Cloudera Manag


gxq926  203  2021-06-03 阅读全文

如何使用authzmigrator 工具迁移Sentry权限到Ranger

1.文档编写目的 Cloudera 提供两类 Sentry 迁移工具: Replication Manager:在定制 Hive 复制作业的时候,勾选import both Hive object a


gxq926  311  2021-06-02 阅读全文

Hue编辑器无法提交中文异常解决

1、问题描述 1.环境描述 CM和CDP集群版本为7.1.4,Hue版本为4.5.0 2.问题描述 Hue使用编辑器提交中文内容报错'ascii' codec can't de


gxq926  170  2021-06-01 阅读全文

Flink on K8s的一些方案推荐

第一种方案,是平台自己去构建和管理任务的镜像。 优点是:平台方对于构建镜像,以及运行实时任务整体流程自我掌控,具体问题能够及时修正。 缺点是:需要对 Docker 以及 K8S 相关技术要有一定了解,


gxq926  208  2021-06-01 阅读全文

Flink on k8s 的容器化流程

第一步,实时平台的 Flink Jar 任务提交,Flink Jar 任务版本管理,Docker Flink 任务镜像构建,上传镜像到 Docker 镜像仓库; 第二步,任务启动; 第三步,yaml


gxq926  284  2021-06-01 阅读全文

Flink 保存点之回溯时间

流处理通常被大家与动态数据关联起来,相应的系统差不多会在数据被创造出来的那一刻就立刻对其进行处理或响应。像延迟、吞吐量、水印和处理迟到的数据等等都是大家讨论得最多的流处理话题,通常是关注现在,而不是过


gxq926  266  阅读全文

Pulsar 介绍与部署

Apache Pulsar 是灵活的发布-订阅消息系统(Flexible Pub/Sub messaging),采用计算与存储分离的架构。雅虎在 2013 年开始开发 Pulsar ,于 2016 年


gxq926  486  2021-05-31 阅读全文

阿里云开源PolarDB for PostgreSQL数据库

在5月29日举办的2021阿里云开发者大会上,阿里云宣布了“阿里云数据库开源计划”,并率先开源了 PolarDB for PostgreSQL 分布式版,采用的开源许可证为 Apache 2.0 Li


gxq926  172  2021-05-31 阅读全文

k8s 和 Docker 到底是什么关系?

简要介绍: 官方定义1:Docker是一个开源的应用容器引擎,开发者可以打包他们的应用及依赖到一个可移植的容器中,发布到流行的Linux机器上,也可实现虚拟化。 官方定义2:k8s是一个开源的容器集群


gxq926  211  阅读全文

蚂蚁集团自研数据库OceanBase即将开源

蚂蚁集团自研数据库OceanBase将于近期开源代码,时间最早可锁定至6月1日。届时,广大数据库开发人员及相关从业者将可以通过OceanBase官网、GitHub等渠道下载体验OceanBase源码。


gxq926  204  2021-05-30 阅读全文

Linux MySQL 5.7初始化

环境: centos7.9 初始化随机密码 mysqld --initialize 或者 service mysql start (自动初始化) 初始化空密码 mysqld --initialize-


gxq926  175  2021-05-28 阅读全文

mysqld.service holdoff time over, scheduling restart.解决方法

环境: centos7.4 + mysql5.7.17 启动mysql报错: mysqld.service holdoff time over, scheduling restart. 报错原因: M


gxq926  346  阅读全文

Apache Flink 1.13.0 正式发布,流处理应用更加简单高效!

Flink 1.13 发布了!Flink 1.13 包括了超过 200 名贡献者所提交的 1000 多项修复和优化。 这一版本中,Flink 的一个主要目标取得了重要进展,即让流处理应用的使用像普通应


gxq926  241  2021-05-20 阅读全文

Flink sql connector Mysql示例

需要额外下载jar包: mysql-connector-java-8.0.20.jar flink-connector-jdbc_2.11-1.12.0.jar 下载之后将jar放入到flink-1.


gxq926  249  2021-04-15 阅读全文

Debezium 1.5.0.CR1版本发布,Oracle Connector已经稳定

Oracle连接器一直处于孵化状态,但是最近的努力帮助为连接器带来了新的功能和稳定性。至此,我们已经感觉到连接器已经准备就绪,因此在此版本中,我们正式将Oracle连接器从孵化升级为稳定。 社区的巨大


gxq926  355  阅读全文

Flink Mysql connector CDC1.2版本发布更新

该版本升级支持Flink1.12.1版本。并升级了几个重要特性 1、支持从特定的MySQL Binlog位置读取 2、支持“initial”,“earliest-offset”,“latest-off


gxq926  522  阅读全文
基于 Flink SQL 构建流批一体的 ETL 数据集成

基于 Flink SQL 构建流批一体的 ETL 数据集成

数据仓库与数据集成 数据仓库是一个集成的(Integrated),面向主题的(Subject-Oriented),随时间变化的(Time-Variant),不可修改的(Nonvolatile)数据集合


gxq926  667  阅读全文

OrientDB两实体关系最短路径算法

SELECT expand(path) FROM (  SELECT shortestPath($from, $to) AS path    LET      $from = (SELECT FROM


gxq926  543  2021-02-24 阅读全文

OrientDB相关

OrientDB目前版本为3.1.8版本,支持分布式部署。修复了分布式查询超时的bug,修改了默认语言设置,在数据库级别添加分析信息。 1、根据全局配置向SELECT查询添加超时。 2、使用单个索引条


gxq926  422  2021-02-24 阅读全文

MySQL Explain详解

在日常工作中,我们会有时会开慢查询去记录一些执行时间比较久的SQL语句,找出这些SQL语句并不意味着完事了,些时我们常常用到explain这个命令来查看一个这些SQL语句的执行计划,查看该SQL语句有


gxq926  1147  2020-08-03 阅读全文