1. 电信数据清洗项目概述
电信运营商每天都会产生海量的通话记录数据，这些原始数据往往存在格式混乱、信息缺失等问题。作为一名长期从事大数据处理的工程师，我经常需要对这些数据进行清洗和结构化处理。本次分享的MapReduce电信数据清洗案例，就是基于Hadoop平台实现的一个典型应用场景。
这个项目的主要功能是：将原始的通话记录日志文件（包含主叫号码、被叫号码、通话时间戳等基础信息）与MySQL数据库中的用户信息表、地区编码表进行关联查询，最终输出结构化的完整通话记录。整个过程涉及HDFS文件操作、MapReduce编程、MySQL JDBC连接等核心技术点。
2. 项目架构设计解析
2.1 数据处理流程设计
整个项目的核心处理流程可以分为三个关键阶段：
-
数据准备阶段：
- 原始通话记录存储在HDFS的
/user/test/input/a.txt路径 - 用户信息存储在MySQL的
userphone表 - 地区编码信息存储在MySQL的
allregion表
- 原始通话记录存储在HDFS的
-
Map阶段：
- 在Mapper的setup()方法中预先加载MySQL数据到内存
- 在map()方法中对每条通话记录进行解析和关联查询
- 输出结构化的PhoneLog对象
-
输出阶段：
- 由于不需要聚合计算，直接设置
job.setNumReduceTasks(0) - 结果写入HDFS的
/user/test/output目录
- 由于不需要聚合计算，直接设置
提示：这种"小表join大表"的场景非常适合在Map阶段做数据关联，避免了Shuffle过程的数据传输开销。
2.2 关键技术选型考量
选择纯MapReduce方案而非Hive或Spark主要基于以下考虑：
- 教学示范目的：更清晰地展示底层处理逻辑
- 定制化需求：需要特殊的时间戳转换和字段拼接逻辑
- 环境限制：客户环境仅部署了基础Hadoop集群
- 性能权衡：数据量在TB级以下时MR仍有优势
3. 核心代码实现详解
3.1 数据库连接管理
DBHelper类采用单例模式管理MySQL连接，关键设计点包括：
java复制// 使用静态代码块预先加载JDBC驱动
static {
try {
Class.forName(driver);
} catch (Exception ex) {
ex.printStackTrace();
}
}
// 获取连接时检查是否已存在可用连接
public static Connection getConnection() {
if (conn == null) {
try {
conn = DriverManager.getConnection(url, username, password);
} catch (SQLException e) {
e.printStackTrace();
}
return conn;
}
return conn;
}
注意事项：
- 生产环境应改用连接池（如HikariCP）
- 需要处理连接失效后的重连机制
- 密码应使用配置中心管理而非硬编码
3.2 自定义Writable实现
PhoneLog类实现了Hadoop的WritableComparable接口，关键点包括：
java复制@Override
public void write(DataOutput out) throws IOException {
out.writeUTF(userA); // 序列化用户名A
out.writeUTF(userB); // 序列化用户名B
// 其他字段序列化...
}
@Override
public void readFields(DataInput in) throws IOException {
userA = in.readUTF(); // 反序列化用户名A
userB = in.readUTF(); // 反序列化用户名B
// 其他字段反序列化...
}
设计考量：
- 使用UTF编码处理字符串字段
- 精确控制各字段的读写顺序
- 实现compareTo()方法用于排序
3.3 Mapper核心逻辑
MyMapper类包含两个关键方法：
java复制// 预处理阶段加载维度表数据
@Override
protected void setup(Context context) {
Connection conn = DBHelper.getConnection();
Statement stmt = conn.createStatement();
// 加载用户信息到userMap
ResultSet rs = stmt.executeQuery("SELECT * FROM userphone");
while (rs.next()) {
userMap.put(rs.getString(2), rs.getString(3));
}
// 加载地区信息到addressMap
rs = stmt.executeQuery("SELECT * FROM allregion");
while (rs.next()) {
addressMap.put(rs.getString(2), rs.getString(3));
}
}
// 处理每条通话记录
@Override
protected void map(LongWritable key, Text value, Context context) {
String[] fields = value.toString().split(",");
if (fields.length == 6) {
// 关联查询用户信息
String trueName1 = userMap.get(fields[0]);
String trueName2 = userMap.get(fields[1]);
// 转换时间戳
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
String startTime = sdf.format(Long.parseLong(fields[2]) * 1000);
// 计算通话时长
long timeLen = Long.parseLong(fields[3]) - Long.parseLong(fields[2]);
// 构建输出对象
pl.SetPhoneLog(trueName1, trueName2, fields[0], fields[1],
startTime, endTime, timeLen, address1, address2);
context.write(pl, NullWritable.get());
}
}
4. 环境配置与部署
4.1 Hadoop集群启动
项目运行前需要确保Hadoop环境就绪：
bash复制# 启动HDFS
start-dfs.sh
# 启动YARN
start-yarn.sh
# 检查服务状态
jps
常见问题排查：
- 端口冲突：检查50070、8088等端口是否被占用
- 权限问题：确保对HDFS目录有读写权限
- 内存不足：调整yarn-site.xml中的资源参数
4.2 项目打包与提交
使用Maven构建项目并提交作业：
bash复制mvn clean package
hadoop jar telecom-cleaner.jar com.LogMR /user/test/input /user/test/output
打包注意事项：
- 包含所有依赖项生成uber jar
- 配置文件应打包到jar中或使用-distributedCache
- 指定mainClass避免运行时参数错误
5. 性能优化实践
5.1 内存缓存优化
对于频繁访问的维度表数据，可以采用以下优化策略：
- 缓存预热：在setup()中预加载全部数据
- LRU缓存：使用LinkedHashMap实现最近最少使用淘汰
- 分区缓存：按Mapper所在节点缓存本地数据
5.2 并行度调优
通过以下参数优化任务并行度：
java复制// 设置Map任务数（根据输入文件大小）
job.setNumMapTasks(10);
// 调整每个Map任务的内存
conf.set("mapreduce.map.memory.mb", "2048");
// 启用推测执行
conf.setBoolean("mapreduce.map.speculative", true);
5.3 数据倾斜处理
当某些号码通话记录特别多时，可以采用：
- 二次分区：自定义Partitioner
- 局部聚合：在Map端先做combiner
- 随机前缀：对热点key添加随机后缀
6. 生产环境经验分享
在实际部署这类电信数据清洗系统时，我总结了以下经验：
- 数据质量监控：添加计数器统计无效记录比例
- 异常重试机制：对数据库连接失败等情况实现自动重试
- 增量处理支持：基于时间戳过滤实现增量更新
- 元数据管理：使用Hive Metastore统一管理表结构
一个典型的改进版本会引入：
- 使用HBase替代MySQL存储维度数据
- 增加Avro序列化提高IO效率
- 实现自动化调度和工作流管理
这个项目虽然基于教学示例，但涵盖了生产环境中大数据处理的多个核心环节。我在实际工作中发现，理解这些底层原理对于处理复杂数据场景非常有帮助。