-
Apache doris binlog load使用方法
Apache Doris Binlog Load使用方法及示例1. 安装配置 Mysql 安装Mysql 快速使用Docker安装配置Mysql,具体参照下面的连接 https://segmentfault.com/a/1190000021523570 如果是在物理机上安装可以参考下面的连接: 在 CentOS 7 中安装 MySQL 8 的教程详解 开启Mysql binlog 进入 Docker 容器或者物理机上修改/etc/my....…
-
Apache Doris Grafana监控指标介绍
Apache Doris Grafana监控指标介绍整个集群重点关注的几个指标: 集群 FE JVM 堆统计 集群BE内存使用情况概览 Max Replayed journal id BDBJE Write Tablet调度情况 BE IO统计 BE Compaction Score Query Statistic这部分查询请求数及响应时间 BE BC(Base Compaction)和CC(Compaction Cumulate)1.总览视图1.1 Doris FE状态...…
-
Apache Doris 数据备份及恢复
Apache Doris 数据备份及恢复Apache Doris 支持将当前数据以文件的形式,通过 broker 备份到远端存储系统中,之后可以通过恢复命令,从远端存储系统中将数据恢复到任意 Doris 集群。通过这个功能,Doris 可以支持将数据定期的进行快照备份。也可以通过这个功能,在不同集群间进行数据迁移。使用该功能,需要部署对应远端存储的 broker,如 HDFS 等。可以通过 SHOW BROKER; 查看当前部署的 brokerBroker 是 Doris 集群中一种可选进...…
-
Apache Doris 删除数据恢复
Apache Doris 删除数据恢复Apache Doris为了避免误操作造成的灾难,支持对误删除的数据库/表/分区进行数据恢复,在drop table或者 drop database之后,Doris不会立刻对数据进行物理删除,而是在 Trash 中保留一段时间(默认1天),管理员可以通过RECOVER命令对误删除的数据进行恢复1.数据恢复命令## 恢复 databaseRECOVER DATABASE db_name;## 恢复 tableRECOVER TABLE [db_name....…
-
Apache Doris 元数据运维
Apache Doris 元数据运维1. 元数据恢复Apache Doris在实际使用中可能是因为某些原因 FE(Frontend)出现无法启动 bdbje、FE 之间元数据无法同步等问题。故障表现包括:无法进行元数据写操作、没有 MASTER 等等,这时就需要手动恢复 FE。 重要提示 当前元数据的设计是无法向后兼容的。即如果新版本有新增的元数据结构变动(可以查看 FE 代码中的 FeMetaVersion.java 文件中是否有新增的 VERSION),那么在升级到新版本后,通常是...…
-
Apache Doris 实战指南
第一部分 Apache Doris 使用入门1.1 Apache Doris 介绍Apache Doris 架构及组件介绍 1.2 Apache Doris 安装1.2.1 Doris 编译安装部署手册Apache Doris 环境编译安装部署 Apache Doris 升级手册 使用supervisor实现Apache Doris进程自动拉起1.2.2 Doris FE 高可用及负载均衡Apache Doris FE使用ProxySQL实现负载均衡 1.3. Apache Doris 模...…
-
Apache Doris 数据导出
Apache Doris 数据导出1.概述Apache Doris为了方便用将Doris的数据导出到其他系统, 提供了两种将数据导出的方式: Export 方式: Export 是 Doris 提供的一种将数据导出的功能。该功能可以将用户指定的表或分区的数据,以文本的格式,通过 Broker 进程导出到远端存储上,如 HDFS/BOS 等。 查询结果集导出方式: 查询结果集的导出是使用 SELECT INTO OUTFILE 命令进行查询结果的导出操作。...…
-
Apache Doris On ElasticSearch 使用
Apache Doris On ElasticSearch 使用1.概述Doris-On-ES将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合,提供更完善的OLAP分析场景解决方案: ES中的多index分布式Join查询 Doris和ES中的表联合查询,更复杂的全文检索过滤 注意: Doris On ES对ES的版本要求ES主版本大于5,ES在2.x之前和5.x之后数据的扫描方式不同,目前支持仅5.x之后的 目前Doris O...…
-
基于Apache doris怎么构建数据中台(九)-数据安全
基于Apache doris怎么构建数据中台(九)-数据安全数据安全有对立的两方面的含义:一是数据本身的安全,主要是指采用现代密码算法对数据进行主动保护,如数据保密、数据完整性、双向强身份认证等,二是数据防护的安全,主要是采用现代信息存储手段对数据进行主动防护,如通过磁盘阵列、数据备份、异地容灾等手段保证数据的安全,数据安全是一种主动的包含措施,数据本身的安全必须基于可靠的加密算法与安全体系,主要是有对称算法与公开密钥密码体系两种,数据处理的安全是指如何有效的防止数据在录入、处理、统计或打...…
-
Spark Doris Connector设计方案
Spark Doris Connector设计方案Spark Doris Connector 是Doris在0.12版本中推出的新功能。用户可以使用该功能,直接通过Spark对Doris中存储的数据进行读写,支持SQL、Dataframe、RDD等方式。从Doris角度看,将其数据引入Spark,可以使用Spark一系列丰富的生态产品,拓宽了产品的想象力,也使得Doris和其他数据源的联合查询成为可能1.技术选型在早期的方案中,我们直接将Doris的JDBC接口提供给Spark。对于JDB...…
-
Flink Doris Connector设计方案
Flink Doris Connector设计方案从Doris角度看,将其数据引入Flink,可以使用Flink一系列丰富的生态产品,拓宽了产品的想象力,也使得Doris和其他数据源的联合查询成为可能从我们业务架构出发和业务需求,我们选择了Flink作为我们架构的一部分,用于数据的ETL及实时计算框架,社区目前支持Spark doris connector,因此我们参照Spark doris connector 设计开发了Flink doris Connector。1.技术选型一开始我们选...…
-
Apache Doris 数据导入之INSERT
Apache Doris 数据导入之INSERT1. 概述Insert Into 语句的使用方式和 MySQL 等数据库中 Insert Into 语句的使用方式类似。但在 Doris 中,所有的数据写入都是一个独立的导入作业。所以这里将 Insert Into 也作为一种导入方式介绍。主要的 Insert Into 命令包含以下两种; INSERT INTO tbl SELECT … INSERT INTO tbl (col1, col2, …) VALUES (1, 2, …), ...…
-
Apache Doris Colocate Join 原理及使用
Apache Doris Colocate Join 原理及使用1. 概述Colocation Join 是在 Doris 0.9 版本中引入的新功能。旨在为某些 Join 查询提供本地性优化,来减少数据在节点间的传输耗时,加速查询。我们都知道 Join 的常见连接类型分为以下几种: INNER JOIN OUTER JOIN CROSS JOIN SEMI JOIN ANTI JOINJoin 的常见算法实现包含以下几种: Nested Loop Join Sort Mer...…
-
Apache Doris Bucket Shuffle Join 原理及使用
Apache Doris Bucket Shuffle Join 原理及使用1. 概述Bucket Shuffle Join 是在 Doris 0.14 版本中正式加入的新功能。旨在为某些 Join 查询提供本地性优化,来减少数据在节点间的传输耗时,来加速查询。Bucket Shuffle Join 和 Colocate Join的区别在于:Colocate Join是本地计算,不会产生网络传输,而Bucket Shuffle Join是本地性优化,减少网络传输,还是回产生网络传输。2.名...…
-
数据治理方案
数据治理方案1. 为什么要做数据治理 随着移动互联网的兴起,线下商业活动逐渐开始向线上化发展,数据的产生速度有了极大的提升。越来越多的公司开始认识到数据的重要性,并将其打造成为公司的核心资产,从而驱动业务的发展。在数据相关的领域中,“数据治理”这个话题近两年尤为火热,很多公司特别是大型互联网公司都在做一些数据治理的规划和动作。 为什么要做数据治理?因为在数据产生、采集、加工、存储、应用到销毁的全过程中,每个环节都可能会引入各种质量、效率或安全相关的问题。在公...…
-
Apache Doris SQL 日志审计
Apache Doris SQL 日志审计1. 介绍Doris 的审计日志插件是在 FE 的插件框架基础上开发的。是一个可选插件。用户可以在运行时安装或卸载这个插件。该插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中,以方便用户通过 SQL 对审计日志进行查看和分析。这里的数据其实是Doris FE log目录下的 fe.audit.log 文件中的数据2. 安装部署2.1 编译在 Doris 代码目录下执行sh build_plugin.sh编译完成后会在 fe_plu...…
-
Apache doris 数据更新操作
layout: posttitle: “Apache Doris 数据更新操作”date: 2021-09-30description: “Apache Doris 数据更新操作”tag: Apache DorisApache Doris 数据更新操作1. 介绍Doris 数据更新目前只在Unique Key 模型上,其他模型不支持数据更新操作,更新操作有两种方式: REPLACE方式:这种方式和聚合模型中的Replace原理一致,只要表中存在相同key的值,会采用Replace方式替换...…
-
Apache Doris RuntimeFilter 原理及使用
Apache Doris RuntimeFilter 原理及使用1. 介绍Runtime Filter 是在 Doris 0.15 版本中正式加入的新功能。旨在为某些 Join 查询在运行时动态生成过滤条件,来减少扫描的数据量,避免不必要的I/O和网络传输,从而加速查询。Runtime Filter 目前不支持所有外表,只支持 Doris 内部的表Runtime Filter主要用于优化针对大表的join,如果左表的数据量太小,或者右表的数据量太大,则Runtime Filter可能不会取...…
-
Apache Doris 动态分区介绍及使用方法
Apache Doris 动态分区介绍及使用方法1. 介绍在某些使用场景下,用户会将表按照天进行分区划分,每天定时执行例行任务,这时需要使用方手动管理分区,否则可能由于使用方没有创建分区导致数据导入失败,这给使用方带来了额外的维护成本。通过动态分区功能,用户可以在建表时设定动态分区的规则。FE 会启动一个后台线程,根据用户指定的规则创建或删除分区。用户也可以在运行时对现有规则进行变更动态分区是在 Doris 0.12 版本中引入的新功能。旨在对表级别的分区实现生命周期管理(TTL),减少用...…
-
Apache Doris Sequence介绍及使用方法
Apache Doris Sequence介绍及使用方法Sequence列目前只支持Uniq模型,Uniq模型主要针对需要唯一主键的场景,可以保证主键唯一性约束,但是由于使用REPLACE聚合方式,在同一批次中导入的数据,替换顺序不做保证。替换顺序无法保证则无法确定最终导入到表中的具体数据,存在了不确定性。为了解决这个问题,Doris支持了sequence列,通过用户在导入时指定sequence列,相同key列下,REPLACE聚合类型的列将按照sequence列的值进行替换,较大值可以替...…