Educoder实战：基于HBase与MapReduce的旅游数据价格洞察

1. 从零开始理解旅游数据价格分析

第一次接触旅游数据价格分析时，我完全不明白为什么要用HBase和MapReduce这么复杂的技术。直到自己尝试用Excel处理了10万条酒店数据后，电脑卡了半小时才反应过来——原来这就是大数据的威力啊！

旅游行业每天产生的数据量惊人，一个中等规模的在线旅游平台，单日新增的酒店价格数据就可能超过百万条。传统的关系型数据库在处理这类数据时，就像用勺子舀海水一样力不从心。而HBase作为Hadoop生态中的分布式数据库，天生就是为海量数据存储设计的。它采用列式存储结构，查询速度极快，特别适合我们这种需要频繁按城市维度统计价格的需求。

MapReduce则是处理这些数据的利器。它的工作原理其实很简单：把大数据拆分成小块（Map阶段），然后合并计算结果（Reduce阶段）。就像我们要统计全校学生的平均身高，可以先把任务分给各个班级（Map），等各班算出平均值后再汇总（Reduce）。这种"分而治之"的思路，让原本需要几小时的计算任务能在几分钟内完成。

2. 环境准备与数据导入

2.1 搭建Hadoop集群

在实际操作前，我们需要准备好运行环境。如果你是第一次接触Hadoop生态，建议先用Docker快速搭建一个测试环境。这里我分享一个亲测可用的docker-compose配置：

yaml复制version: '3'
services:
  namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8
    container_name: namenode
    ports:
      - "9870:9870"
    volumes:
      - namenode:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=test
  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8
    container_name: datanode
    depends_on:
      - namenode
    volumes:
      - datanode:/hadoop/dfs/data
    environment:
      - SERVICE_PRECONDITION=namenode:9870
  hbase:
    image: harisekhon/hbase:1.4
    container_name: hbase
    depends_on:
      - namenode
      - datanode
    ports:
      - "16010:16010"
    environment:
      - HBASE_MANAGES_ZK=true
volumes:
  namenode:
  datanode:

启