-
基于Apache doris怎么构建数据中台(一)-什么是数据中台
这是数据中台系列的第一篇文章，主要阐述数据中台概念，从技术和业务视觉看数据中台及数据中台要解决的问题1.什么是数据中台数据是从业务系统产生的，而业务系统也需要数据分析的结果，那么是否可以把业务系统的数据存储和计算能力抽离，由单独的数据处理平台提供存储和计算能力？这样不仅可以简化业务系统的复杂性，还可以让各个系统采用更合适的技术，专注做本身擅长的事。这个专用的数据处理平台即数据中台。数据中台是一个用技术连接大数据计算存储能力，用业务连接数据应用场景能力的平台。“连接能力”是数据中台的精髓。作...…
-
如何构建公司的数据指标体系
如何构建公司的数据指标体系概述在数据化管理中，数据指标是业务中的核心内容，然而指标管理中总会出现许多问题。指标管理系统在一定程度上可以帮助实现规范化管理，但是针对不同的业务场景与需求，数据管理还应当灵活应变，在实际的业务中我们需要的并不是数据,而是数据背后映射的业务洞察.在业务发展过程中,会产生大量的数据,单看数据是没有价值的,只有和业务相结合转化为信息,再经过处理才能体现起价值.对于业务数据而言,通常分为两项:其一是维度,其二是度量,或者说是指标,这两项构成了我们数据分析的基础.对于结构...…
-
怎么进行数据仓库分层设计及设计规范
1.数据仓库分层模型设计数据平台将数据分为操作数据层（ODS）、公共维度模型层（CDM）(其中公共维度模型层包括明细数据层（DWD）和汇总数据层（DWS）)、应用数据层（ADS）分层设计的好处：对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因： 清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据血缘追踪：简单来讲可以这样理解，我们最终给业务呈现的是一张能直接使用的张业务表，但是它...…
-
Apache Doris fe配置参数说明
Doris FE配置参数该文档主要介绍 FE 的相关配置项。FE 的配置文件 fe.conf 通常存放在 FE 部署路径的 conf/ 目录下。 而在 0.14 版本中会引入另一个配置文件 fe_custom.conf。该配置文件用于记录用户在运行是动态配置并持久化的配置项。FE 进程启动后，会先读取 fe.conf 中的配置项，之后再读取 fe_custom.conf 中的配置项。fe_custom.conf 中的配置项会覆盖 fe.conf 中相同的配置项。fe_custom.conf...…
-
Apache doris BE配置参数说明
BE 配置项该文档主要介绍 BE 的相关配置项。BE 的配置文件 be.conf 通常存放在 BE 部署路径的 conf/ 目录下。 而在 0.14 版本中会引入另一个配置文件 be_custom.conf。该配置文件用于记录用户在运行是动态配置并持久化的配置项。BE 进程启动后，会先读取 be.conf 中的配置项，之后再读取 be_custom.conf 中的配置项。be_custom.conf 中的配置项会覆盖 be.conf 中相同的配置项。查看配置项用户可以通过访问 BE 的 W...…
-
Apache Doris在蜀海供应链数仓建设中的实践
概述最早接触doris是在2020年初，当时是为了解决在海量数据上实时高并发查询的问题，当时调研了很多框架，在使用这Doris之前我的架构和其他公司的架构基本差不多，Hadoop，Hive，Spark，Presto，但是这些都满足不了我的需求，在调研Clickhouse的时候，发现了Doris，看网上介绍从性能上，并发性及易用性上都非常好。在深度做了测试之后给我的是更大的惊喜，我之后就将我的架构全部转向以doris为核心去构建。同时也深度参与到社区，提了一些RP去改进Doris。业务介绍蜀...…
-
Apache Doris 错误代码说明
Doris错误代码表 错误码 错误信息 1005 创建表格失败，在返回错误信息中给出具体原因 1007 数据库已经存在，不能创建同名的数据库 1008 数据存不存在，无法删除 1044 数据库对用户未授权，不能访问 1045 用户名及密码不匹配，不能访问系统 ...…
-
使用 Grafana 监控 Apache Doris
Prometheus服务端安装Prometheus 是一个开放性的监控解决方案，用户可以非常方便的安装和使用 Prometheus 并且能够非常方便的对其进行扩展。为了能够更加直观的了解 Prometheus Server，接下来我们将在本地部署并运行一个 Prometheus Server实例，通过 Node Exporter 采集当前主机的系统资源使用情况。 并通过 Grafana 创建一个简单的可视化仪表盘。Prometheus 基于 Golang 编写，编译后的软件包，不依赖于任何...…
-
Apache Doris FE元数据故障运维
Doris是一个非常优秀的MPP数据仓库，在前两天线上出现一个问题，我三个FE，出现了一个FE挂掉，然后我重启启动不起来，我备份这个FE元数据后，将这个节点元数据清除掉，使用--先删除ALTER SYSTEM DROP FOLLOWER "FE:9010"--在添加ALTER SYSTEM ADD FOLLOWER "FE:9010"删除改节点，然后在使用–helper方式把该节点作为一个新的FE加入到集群中，但是这时候启动会报错，同时会导致Master FE挂掉，具体异常信息如下repI...…
-
使用supervisor实现Apache Doris进程自动拉起
supervisor安装1.使用yum命令安装(推荐) yum install epel-release yum install -y supervisor systemctl enable supervisord # 开机自启动 systemctl start supervisord # 启动supervisord服务 systemctl status supervisord # 查看supervisord服务状态 ps -ef|grep supervisord # 查看是否存在supe...…
-
NGINX多个VUE项目使用独立二级域名部署
因为项目前后端分离部署，多个项目前端使用同一个nginx发布，每个项目对应不同的二级域名dsp项目 : http://dsp.xxxx.combi项目：http://bi.xxxx.com\1. 在vue.config.js文件下找到publicPath配置，添加如下配置（vuecli2就是config文件夹下的assetsPublicPath配置）publicPath: process.env.NODE_ENV === "production" ? "/bi/" : "/bi/",2.修...…
-
Apache Doris 安装部署
此文档是笔记方式，没有详细整理，仅供参考安装部署1.下载Doris的安装包cd /optwget https://dist.apache.org/repos/dist/dev/incubator/doris/0.12.0-rc03/apache-doris-0.12.0-incubating-src.tar.gz解压安装tar -zxvf apache-doris-0.12.0-incubating-src.tar.gzcd apache-doris-0.12.0-incubating-s...…
-
Apache DORIS安装使用测试报告
这是很早之前写的一个笔记，仅供大家参考，如果你想学习和使用doris，也可以直接和我联系。Drois介绍Doris是基于 MPP 的交互式 SQL 数据仓库，主要用于解决报表和多维分析问题名词解释 Frontend（FE）：Doris 系统的元数据和调度节点。在导入流程中主要负责导入任务的调度工作。 Backend（BE）：Doris 系统的计算和存储节点。在导入流程中主要负责数据写入及存储。 Spark ETL：在导入流程中主要负责数据的 ETL 工作，包括全局字典构建（BITMA...…
