路易·罗莎1. 为什么需要从MySQL抽取JSON数据并写入HDFS？
在企业数据架构中，MySQL经常作为业务系统的核心数据库，而HDFS则是大数据分析的存储基石。当MySQL表中存储的是JSON格式数据时（比如用户行为日志、设备传感器数据等半结构化信息），直接将其导入HDFS进行分析会遇到三个典型问题：
- 格式兼容性问题：大多数大数据工具（如Hive、Spark）更擅长处理结构化文本（如CSV/TXT），原始JSON需要额外解析
- 存储效率问题：JSON的冗余字符（引号、括号等）会占用额外存储空间
- 查询性能问题：直接查询HDFS中的JSON文件比查询结构化文本慢3-5倍
我在电商公司的真实案例：用户画像数据以JSON格式存在MySQL，每天新增500GB数据。最初直接同步JSON到HDFS，导致Hive查询平均耗时8秒；改用NIFI转换为制表符分隔的TXT后，同样查询仅需1.7秒。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与基础配置
2.1 组件版本要求
- Apache NiFi：1.12.0+（本文使用1.16.3）
- MySQL：5.7+（需开启binlog）
- Hadoop：3.x（本文使用3.3.4）
- JDBC驱动：mysql-connector-java-8.0.28.jar
实测发现：NiFi 1.16.x对JSON处理新增了JoltTransformJSON处理器，但基础场景用EvaluateJsonPath更轻量
2.2 关键依赖配置
在NiFi的lib目录放入以下文件：
bash复制# MySQL驱动
cp mysql-connector-java-8.0.28.jar /opt/nifi/nifi-current/lib/
# Hadoop配置文件
cp /opt/hadoop/etc/hadoop/core-site.xml /opt/nifi/nifi-current/conf/
cp /opt/hadoop/etc/hadoop/hdfs-site.xml /opt/nifi/nifi-current/conf/
创建DBCP连接池时，建议设置这些参数：
properties复制Max Wait Time = 500 ms
Max Total Connections = 8
Validation Query = SELECT 1
3. 处理器链详细设计
3.1 完整处理流程
mermaid复制graph LR
A[QueryDatabaseTable] --> B[ConvertAvroToJSON]
B --> C[SplitJson]
C --> D[EvaluateJsonPath]
D --> E[ReplaceText]
E --> F[PutHDFS]
3.2 核心处理器配置详解
3.2.1 QueryDatabaseTable
配置示例：
properties复制Database Connection Pool = MySQL_ConnectionPool
SQL Query = SELECT id, json_data FROM user_behavior
Fetch Size = 1000
避坑指南：
- 大数据量时务必设置Fetch Size（默认0会全量加载内存）
- 增量同步需配置"Maximum-value Columns"
3.2.2 ConvertAvroToJSON
关键参数：
properties复制JSON Container Options = array
Wrap Single Record = true
3.2.3 SplitJson
配置建议：
properties复制JsonPath Expression = $.*
注意：当JSON数组元素超过1万时，建议拆分到多个FlowFile
3.2.4 EvaluateJsonPath（核心）
动态属性配置示例：
properties复制userId = $.user.id
action = $.behavior.action
timestamp = $.timestamp
特殊处理技巧：
- 处理日期字段时添加表达式：
$.event_time|format('yyyy-MM-dd HH:mm:ss') - 空值处理设置：
Null Value Representation = empty string
3.2.5 ReplaceText（最易错环节）
正则表达式配置：
properties复制Regular Expression = (?s)(^.*$)
Replacement Value = ${userId}\t${action}\t${timestamp}
常见问题排查：
- 字段顺序错乱 → 检查动态属性命名一致性
- 分隔符被转义 → 使用
\\t替代\t - 内容被截断 → 调整
Maximum Buffer Size（默认1MB）
3.2.6 PutHDFS优化配置
高性能写入参数：
properties复制Directory = /data/user_behavior
Conflict Resolution Strategy = replace
Compression codec = snappy
Hadoop Configuration Resources = /opt/hadoop/etc/hadoop/core-site.xml,/opt/hadoop/etc/hadoop/hdfs-site.xml
4. 性能调优实战
4.1 基准测试对比
| 配置项 | 原始JSON | 转换后TXT |
|---|---|---|
| 存储空间 | 78GB | 43GB |
| Hive查询耗时 | 12.3s | 2.1s |
| 同步吞吐量 | 3.2MB/s | 8.7MB/s |
4.2 并发优化技巧
-
线程池设置：
bash复制# nifi.properties配置 nifi.flowcontroller.threadcount=16 nifi.processor.schedulertimer.driven.threadcount=32 -
处理器并发配置：
- QueryDatabaseTable：1并发（避免锁表）
- SplitJson：4并发
- ReplaceText：8并发
-
批次处理优化：
properties复制# ReplaceText中设置 Evaluation Mode = Entire Text
4.3 错误处理方案
建议添加错误处理路由：
code复制EvaluateJsonPath
-> failure -> LogAttribute -> PutFile（原始JSON备份）
ReplaceText
-> failure -> UpdateAttribute（标记错误类型）-> PutHDFS（error目录）
5. 生产环境验证方案
5.1 数据一致性检查
使用Hive进行校验：
sql复制-- 原始计数
SELECT COUNT(*) FROM json_table;
-- 转换后计数
SELECT COUNT(*) FROM txt_table;
-- 字段值抽样比对
SELECT
a.user_id,
b.user_id
FROM json_table a
JOIN txt_table b ON a.user_id = b.user_id
TABLESAMPLE(100 ROWS);
5.2 监控指标配置
在NiFi监控面板重点关注：
- Queue Size > 1000时告警
- Process Time > 5s/FlowFile时优化
- 通过Prometheus监控HDFS写入延迟
6. 进阶应用场景
6.1 动态字段处理
当JSON结构不确定时，改用JoltTransformJSON：
json复制[
{
"operation": "shift",
"spec": {
"*": {
"id": "&1.id",
"*": "&1.&"
}
}
}
]
6.2 与Kafka集成
在PutHDFS前添加PublishKafka处理器：
properties复制Kafka Brokers = kafka1:9092,kafka2:9092
Topic Name = user_behavior_txt
Message Demarcator = \n
6.3 定时增量同步
配置QueryDatabaseTable的调度策略：
properties复制Scheduling Strategy = CRON driven
Run Schedule = 0 0/15 * * * ?
Maximum-value Columns = update_time
最近在金融风控项目中实施该方案，每天处理2.3TB的JSON交易数据，相比直接存储JSON节省了41%的HDFS存储成本，Spark作业运行时间从47分钟缩短到9分钟。最关键的是ReplaceText处理环节要提前做好字段映射测试，我们曾因一个字段类型不匹配导致整天的数据需要重新同步。