1. 项目概述
在大数据生态系统中,Hive作为数据仓库工具扮演着重要角色。本文将详细介绍在Kylin X86系统上,基于Hadoop 3.2.2伪分布式环境部署Hive 3.1.2的全过程,并使用MariaDB替代默认的Derby作为元数据库。这种配置方案特别适合需要多会话访问的生产环境。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备
2.1 前置条件检查
在开始安装前,请确保已满足以下条件:
- 操作系统:Kylin X86(其他Linux发行版也可参考)
- Java环境:JDK 1.8已安装并配置
- Hadoop环境:Hadoop 3.2.2伪分布式已部署
- 用户权限:建议使用hadoop用户操作
提示:可以通过
java -version和hadoop version命令验证环境是否就绪
2.2 安装包获取
Hive 3.1.2安装包可从Apache官网获取:
code复制wget http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
建议将安装包存放在统一目录,如/data/hadoop/,便于后续管理。
3. Hive安装与配置
3.1 解压与目录设置
执行以下命令完成基础安装:
bash复制cd /data/hadoop/
tar -zvxf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin hive-3.1.2
chown -R hadoop:hadoop hive-3.1.2
3.2 环境变量配置
编辑/etc/profile文件,添加以下内容:
bash复制export HIVE_HOME=/data/hadoop/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin
执行source /etc/profile使配置生效。
3.3 配置文件修改
3.3.1 hive-env.sh配置
bash复制cd conf/
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
添加以下内容:
bash复制export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-8.ky10.x86_64
export HADOOP_HOME=/data/hadoop/hadoop-3.2.2
export HIVE_CONF_DIR=/data/hadoop/hive-3.1.2/conf
3.3.2 hive-site.xml配置
bash复制cp hive-default.xml.template hive-site.xml
vim hive-site.xml
替换为以下精简配置:
xml复制<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" hr
