Apache Doris单机部署指南：从安装到调优-代码聚汇网

Apache Doris单机部署指南：从安装到调优

Apache DorisMPP数据库单机部署

|难度：普通|阅读约 16 分钟

1. 为什么选择Apache Doris单机部署

在数据爆炸式增长的时代，企业需要处理的数据量呈指数级上升。作为一名长期从事大数据架构设计的工程师，我亲历过从Hadoop生态到MPP数据库的技术演进。Apache Doris作为一款开源的MPP分析型数据库，在实时分析场景中展现出独特优势。

单机部署是每个Doris新手必经的第一课。与分布式部署相比，单机模式具有以下不可替代的价值：

学习成本低：无需配置多节点网络环境，10分钟即可完成基础环境搭建
资源消耗少：8GB内存即可流畅运行，适合个人开发者笔记本环境
故障排查简单：所有组件运行在同一节点，日志集中管理
功能完整性：单机版支持完整的SQL语法和接口，与生产环境保持兼容

我在指导团队新人时发现，90%的部署问题都源于基础环境配置不当。本文将基于Ubuntu 22.04 LTS环境，带你完整走通从安装到验证的全流程，并针对网络上的高频报错给出经过验证的解决方案。

提示：虽然本文以Ubuntu为例，但核心步骤同样适用于CentOS等主流Linux发行版，差异部分会特别说明

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 环境准备与依赖安装

2.1 硬件资源规划

即使是单机部署，合理的资源分配也直接影响运行稳定性。建议配置：

bash复制CPU：4核以上（实测2核会出现查询排队）
内存：8GB起步（重要参数限制见下文）
磁盘：SSD存储，至少50GB可用空间

2.2 系统环境配置

首先更新系统并安装基础工具链：

bash复制sudo apt update && sudo apt upgrade -y
sudo apt install -y vim net-tools telnet lsof tar wget curl

关键系统参数调整（需root权限）：

bash复制# 修改limits.conf
echo "* soft nofile 65535" | sudo tee -a /etc/security/limits.conf
echo "* hard nofile 65535" | sudo tee -a /etc/security/limits.conf

# 调整内核参数
echo "vm.max_map_count=2000000" | sudo tee -a /etc/sysctl.conf
sudo sysctl -p

2.3 Java环境部署

Doris依赖JDK 8/11，推荐使用OpenJDK：

bash复制sudo apt install -y openjdk-11-jdk

验证安装：

bash复制java -version
# 应输出类似：openjdk version "11.0.22" 2024-01-16

如果系统存在多版本JDK，需设置默认版本：

bash复制sudo update-alternatives --config java

3. Doris二进制包部署

3.1 版本选择与下载

截至2024年，推荐使用2.0.x稳定版：

bash复制wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.4-bin-x64.tar.gz

校验文件完整性：

bash复制sha512sum apache-doris-2.0.4-bin-x64.tar.gz
# 对比官网公布的校验值

3.2 目录结构与解压

创建专用部署目录：

bash复制mkdir -p /opt/doris && cd /opt/doris
tar zxvf ~/apache-doris-2.0.4-bin-x64.tar.gz --strip-components=1

关键目录说明：

code复制├── apache_hdfs_broker  # HDFS桥接组件
├── be                  # Backend节点
├── fe                  # Frontend节点
├── udf                 # 用户自定义函数
└── webroot             # Web界面静态资源

3.3 配置FE节点

修改fe/conf/fe.conf核心参数：

properties复制http_port = 8030
rpc_port = 9020
query_port = 9030
mysql_service_port = 9030

# 内存配置（8GB机器示例）
java_mem_options = "-Xmx4096m -Xms4096m -XX:+UseMembar -XX:SurvivorRatio=8"

启动FE服务：

bash复制./fe/bin/start_fe.sh --daemon

验证启动：

bash复制curl http://127.0.0.1:8030/api/bootstrap
# 正常返回：{"msg":"success","code":0}

3.4 配置BE节点

修改be/conf/be.conf关键参数：

properties复制be_port = 9060
webserver_port = 8040
heartbeat_service_port = 9050
brpc_port = 8060

# 存储路径配置（SSD路径）
storage_root_path = /opt/doris/storage;medium:ssd

首次启动前创建存储目录：

bash复制mkdir -p /opt/doris/storage

启动BE服务：

bash复制./be/bin/start_be.sh --daemon

4. 集群初始化与验证

4.1 连接FE控制台

使用MySQL客户端连接：

bash复制mysql -h127.0.0.1 -P9030 -uroot

4.2 添加BE节点

在MySQL客户端执行：

sql复制ALTER SYSTEM ADD BACKEND "127.0.0.1:9050";

查看节点状态：

sql复制SHOW PROC '/backends'\G

健康状态应为Alive且LastStartTime正常。

4.3 基础功能测试

创建测试数据库：

sql复制CREATE DATABASE demo;
USE demo;

CREATE TABLE test_table(
    id INT,
    name VARCHAR(50)
) DISTRIBUTED BY HASH(id) BUCKETS 10;

INSERT INTO test_table VALUES(1,'Doris'),(2,'SingleNode');
SELECT * FROM test_table;

5. 高频报错解决方案

5.1 FE启动失败：Address already in use

典型表现：

code复制ERROR: fail to start frontend because port 8030 is already in use

解决方案：

bash复制# 查找占用进程
lsof -i :8030
# 终止冲突进程或修改fe.conf中的端口号

5.2 BE注册失败：Backend not found

错误日志：

code复制backend [127.0.0.1:9050] does not exist in cluster

处理步骤：

在FE节点执行：

sql复制ALTER SYSTEM DROP BACKEND "127.0.0.1:9050";

bash复制rm -rf /opt/doris/storage/*

重新添加BE节点

5.3 查询内存不足：Memory limit exceeded

报错信息：

code复制Memory limit exceeded: limit=2.00 GB, used=2.12 GB

优化方案：

修改be.conf：

properties复制mem_limit = 80%  # 不超过物理内存80%

对于复杂查询增加会话级内存限制：

sql复制SET exec_mem_limit = 8589934592;  # 8GB

5.4 磁盘空间不足：No space left on device

预防措施：

定期清理过期数据：

sql复制SET GLOBAL enable_auto_compaction = true;

监控磁盘使用：

bash复制df -h /opt/doris/storage

6. 生产环境进阶配置

6.1 监控系统集成

配置Prometheus监控：

yaml复制# prometheus.yml 新增job
- job_name: "doris"
  static_configs:
    - targets: ["127.0.0.1:8040"]  # BE metrics端口
    - targets: ["127.0.0.1:8030"]  # FE metrics端口

关键监控指标：

doris_fe_query_latency_ms：查询延迟
doris_be_tablet_num：分片数量
doris_fe_connection_total：连接数

6.2 性能调优参数

be.conf优化建议：

properties复制# 并发控制
max_compaction_threads = 4
download_worker_count = 8

# 查询优化
disable_streaming_preaggregations = false
enable_parallel_merge = true

6.3 备份恢复策略

创建远程存储仓库：

sql复制CREATE REPOSITORY `backup_repo`
WITH BROKER `hdfs_broker`
ON LOCATION "hdfs://namenode:8020/doris_backup"
PROPERTIES (
    "username" = "hdfs_user",
    "password" = "password123"
);

执行全量备份：

sql复制BACKUP SNAPSHOT demo.demo_snapshot
TO `backup_repo`
ON (demo.test_table);

7. 日常维护指南

7.1 日志分析技巧

关键日志路径：

code复制/opt/doris/fe/log/fe.warn.log  # FE警告日志
/opt/doris/be/log/be.INFO     # BE运行日志

常见日志模式：

WARN: fail to get replica：通常表示BE节点通信异常
INFO: finish to report tablet：正常心跳上报
ERROR: invalid column type：DDL语句类型错误

7.2 升级注意事项

滚动升级步骤：

先升级所有FE节点
逐个升级BE节点
验证各组件版本：

sql复制SHOW FRONTENDS\G
SHOW BACKENDS\G

7.3 资源隔离方案

通过Resource Group实现：

sql复制CREATE RESOURCE GROUP rg_bi
TO (
    user1,
    user2
) WITH (
    "cpu_share" = "400",
    "mem_limit" = "50%"
);

在团队协作环境中，这种配置可以避免分析查询影响核心业务。