-
Flink 使用 sql 读取 kafka 利用doris flink connector写入到doris表中
Flink 使用 SQL 读取 Kafka 利用Doris Flink Connector写入到Doris表中这次我们演示的是整合Flink Doris Connector 到 Flink 里使用,通过Flink Kafka Connector,通过SQL的方式流式实时消费Kafka数据,利用Doris Flink Connector将数据插入到Doris表中。这里的演示我们是用过Flink SQL Client来进行的,1. 准备条件这里我们使用的环境是 Doris-0.14.7 d...…
-
Apache Doris Routine Load数据导入使用方法
Apache Doris Routine Load数据导入使用方法1.概要Routine load 功能为用户提供了一种自动从指定数据源进行数据导入的功能。Routine Load 是支持用户提交一个常驻的导入任务,通过不断的从指定的数据源读取数据,将数据导入到 Doris 中。目前仅支持通过无认证或者 SSL 认证方式,从 Kakfa 导入的数据。Routine load是一种同步的数据导入方式。Routine load 支持导入的数据类型: 文本 和 JSON两种格式2. 原理FE 通...…
-
Apache Doris Datax DorisWriter扩展使用方法
Apache Doris Datax DorisWriter扩展使用方法DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能为了更好的扩展Apache doris生态,为do...…
-
Apache Doris Stream Load数据导入
Apache Doris Stream load 数据导入1.概要Stream load 是一个同步的导入方式,用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。Stream load 主要适用于导入本地文件,或通过程序导入数据流中的数据。Broker load 支持文件类型:文本和JSON两个格式的数据2. 原理Stream Load请求FE和BE两种方式,连...…
-
Apache Doris Broker 数据导入
Apache Doris Broker数据导入1.概要Broker load 是一个异步的导入方式,支持的数据源取决于 Broker 进程支持的数据源。用户需要通过 MySQL 协议 创建 Broker load 导入,并通过查看导入命令检查导入结果主要适用于以下场景: 外部数据源(如 HDFS等)读取数据,导入到Doris中。 数据量在 几十到百GB 级别。 主要用于数据迁移,或者定时批量导入Broker load 支持文件类型:PARQUET、ORC、CSV格式2. 原理用户在...…
-
Apache Doris 数据导入总览
Apache Doris 数据导入总览1.导入总览介绍Apache Doris 的数据导入功能是提供用户将数据导入到 Doris 中,导入成功之后,用户可以通过 Mysql 客户端使用SQL对数据进行查询分析。Doris 为满足不同场景的数据数据导入需求,提供了一下几种数据导入方式,每种数据导入方式都支持不同的数据源,存在不同的使用方式:同步,异步,每种导入方式也支持不同的数据格式:CSV,JSON,Parquet、ORC等1.1 Broker Load方式这种方式需要安装一个 Doris...…
-
Apache Doris 升级手册
Apache Doris 升级手册Doris 可以通过滚动升级的方式,平滑进行升级。升级顺序是先升级BE,再升级FE,不能颠倒升级顺序。Doris保证BE向后兼容FE。升级的过程可以分为: 测试 Doris BE 升级的正确性, 测试 Doris FE 元数据兼容, 滚动升级 观察升级后的集群服务 注: 1.为了保证在集群升级过程中,Doris服务是可用的,建议Doris集群 在高可用部署的情况下进行。即数据 3 副本,FE 高可用情况下。 2.Doris 不支持跨两位版本升...…
-
Apache Doris 环境安装部署
Apache Doris 环境安装部署这里以百度的Doris发行版 Palo-0.14.13版本为例进行演示编译安装部署1. Doris编译1.1 docker 镜像下载这里我们使用的最新镜像Apache doris 0.14.0及百度发布的Palo-0.14.7及之前的版本都是要在Docker 1.2版本下编译,之后的在Docker 1.3.1下编译1.3.1 版本 Docker 镜像下载$ docker pull apache/incubator-doris:build-env-1.3...…
-
Apache Doris常见问题答疑(二)
Q:show backends/frontends 查看到的信息不完整A:在执行如 show backends/frontends 等某些语句后,结果中可能会发现有部分列内容不全。比如show backends结果中看不到磁盘容量信息等。通常这个问题会出现在集群有多个FE的情况下,如果用户连接到非Master FE节点执行这些语句,就会看到不完整的信息。这是因为,部分信息仅存在于Master FE节点。比如BE的磁盘使用量信息等。所以只有在直连Master FE后,才能获得完整信息。当然,...…
-
Apache Doris常见问题答疑(一)
Q:invalid cluster id: xxxxA:这个错误可能会在show backends 或 show frontends 命令的结果中出现。通常出现在某个FE或BE节点的错误信息列中。这个错误的含义是,Master FE向这个节点发送心跳信息后,该节点发现心跳信息中携带的 cluster id和本地存储的 cluster id不同,所以拒绝回应心跳。Doris的 Master FE 节点会主动发送心跳给各个FE或BE节点,并且在心跳信息中会携带一个cluster_id。clus...…
-
基于Apache-doris怎么构建数据中台(八)-数仓管理
这次主要是讲述doris的数仓怎么管理 整个数仓管理系统是依赖于之前讲的数据中台第二部分数据资产管理中的元数据管理,主要是围绕Apache doris进行,不牵涉其他的数仓平台。这里只介绍了我们数仓管理建设的功能,数仓管理的规范可以参照另外一篇文章怎么进行数据仓库分层设计及设计规范数仓分层模型数仓分层模型的好处:1、数据结构化更清晰:每一个数据分层都有它的作用域和职责,在使用表的时候能更方便地定位和理解。2、数据血缘追踪:提供给外界使用的是一张业务表,但是这张业务表可能来源很多张表。如果有...…
-
神仙打架海底捞火了
这两天Apache Doris 和StarRocks(原Dorisdb)之间进行了一张激烈的辩论StarRocks发表的星辰大海 StarRocks开源——携手未来,星辰大海!拉了一帮大佬来站台,不过视频很快就删掉了。社区也针对StarRocks发表了自己的回应,具体回应信息如下:你们想知道的一切,都在这里了社区的回应可以说有理有据,不吭不卑,讲清楚了整个事情的来龙去脉,也解惑了社区很多小伙伴关于Apache doris和Dorisdb的疑惑,同时SegmentFault 思否也对整个事...…
-
Apache Doris ODBC mysql外表注意事项
前面一篇文章介绍了Apache doris ODBC外表使用方式,这里要说的是在使用Mysql的ODBC外表的时候要注意事项: mysql数据库及表的字符集一定要是用UTF8,不要使用UTF8mb4,目前doris ODBC外表只支持UTF8编码 在doris BE节点配置conf/odbcinst.ini,这里配置[MySQL Driver]Description = ODBC for MySQLDriver = /usr/lib/libmyodbc8w.s...…
-
基于Apache Doris怎么构建数据中台(七)-数据指标管理
指标体系定义指标体系是将零散单点的具有相互联系的指标,系统化的组织起来,通过单点看全局,通过全局解决单点的问题。它主要由指标和体系两部分组成。指标是指将业务单元细分后量化的度量值,它使得业务目标可描述、可度量、可拆解,它是业务和数据的结合,是统计的基础,也是量化效果的重要依据。指标主要分为结果型和过程型: 结果型指标 用于衡量用户发生某个动作后所产生的结果,通常是延后知道的,很难进行干预。结果型指标更多的是监控数据异常,或者是监控某个场景下用户需求是否被满足 过程型指标 用户在做某个动...…
-
Apache Doris Windows 下 fe 开发环境搭建
Apache Doris Windows 下 fe 开发环境搭建1.环境准备JDK1.8+ , Intellj IDEA1.linux上编译好fe前端代码,主要目的是获取自动生成的代码,加入到前段工程里面去用于在idea中编译fe工程在linux下,进入到源码目录,执行下面的命令:$ sh build.sh --clean --fe然后将 gensrc目录打包,拿出来,如下图2.在windows下解压gensrc.tar.gz,解压后的目录如下图:3.进入build/java,将红色框出...…
-
Apache Doris BE 开发环境搭建
Apache Doris BE 开发环境搭建前期准备工作本教程是在Ubuntu 20.04下进行的 下载doris源代码 下载地址为:apache/incubator-doris: Apache Doris (Incubating) (github.com) 安装GCC 8.3.1+,Oracle JDK 1.8+,Python 2.7+,确认 gcc, java, python 命令指向正确版本, 设置 JAVA_HOME 环境变量 安装其他依...…
-
Apache doris 排序键及ShortKey Index
1.排序列的原理Apache Doris中为加速查询,在内部组织并存储数据时,会把表中数据按照指定的列进行排序,这部分用于排序的列(可以是一个或多个列),可以称之为Sort Key。明细模型中Sort Key就是指定的用于排序的列(即 DUPLICATE KEY 指定的列),聚合模型中Sort Key列就是用于聚合的列(即 AGGREGATE KEY 指定的列),唯一主键模型中Sort Key就是指定的满足唯一性约束的列(即 UNIQUE KEY 指定的列)。下图中的建表语句中Sort K...…
-
Apache Doris社区之星
一个人可能走得更快,但是一群人会走得更远。在开源过程中,你会结识志同道合的朋友,获得朋友的认可与支持,甚至能够与自己崇拜的业界大佬共同交流。是不是想想就让人感到兴奋?所谓“一荣俱荣,一损俱损”,开源社区的发展离不开开源者的贡献,开源者的诉求、成长、交流以及思想也需要依赖开源社区,开源领域的发展与每一位开发者都息息相关。如果有自己的想法,就动手去实现,通过开源可以为人们带来各种超乎想象力的事情。感谢社区的认可,后续我也会更积极的参与到社区建设中,一起将Doris做的更好…
-
自己开源的一个大数据BI可视化系统(支持Apache Doris)
介绍这是一个可自由拖拽的BI可视化系统后端框架使用了若依去年疫情期间没事随手写的一个,如果你觉得好,别忘了加个星,谢谢这个完全支持Apache doris功能 按项目管理数据看板 看板具备分享功能 可以自由拖拽实现数据看板 自由拖拽实现图表开发 提供数据报表开发工具 提供sql开发控制台 数据下钻(按维度下钻) 数据源管理 元数据管理 用户管理目录结构:mobile :手机端,手机端只是查看,不具备设计功能ui:pc端doc:这里是数据库脚本编译进入到前端页面目录(ui...…
-
Flink Mysql CDC结合Doris flink connector实现数据实时入库
Flink Mysql CDC结合Doris flink connector实现数据实时入库Apache doris通过扩展支持通过 Flink 读写 doris 数仓中的数据表,目前 doris 支持 Flink 1.11.x ,1.12.x,1.13.x,Scala版本:2.12.x目前Flink doris connector目前控制入库通过两个参数: sink.batch.size :每多少条写入一次,默认100条 sink.batch.interval :每个多少秒写入一下,...…