CMU 15445数据库课程Project 1：存储引擎实现解析

1. 项目背景与课程概述

CMU 15445是卡耐基梅隆大学计算机科学系开设的著名数据库系统课程，被全球计算机专业学生视为数据库领域的"黄金标准"。2025年秋季版本的Project 1作为课程第一个实践项目，主要考察学生对现代数据库存储引擎核心机制的理解与实现能力。

我在完成这个项目的过程中，深刻体会到它设计的精妙之处——通过实现一个简化但完整的存储管理器，让学生从零开始理解B+树索引、缓冲池管理、页面组织等数据库底层关键技术。与市面上大多数"玩具级"课程项目不同，15445的Project 1具有工业级的代码规范和性能要求，其代码框架直接脱胎于CMU数据库研究组的开源项目Terrier。

2. 项目核心任务解析

2.1 存储引擎架构设计

Project 1要求实现的核心组件包括：

• 磁盘管理器（Disk Manager）
• 缓冲池（Buffer Pool）
• 页面布局（Page Layout）
• 并行控制（Concurrency Control）

其中缓冲池的实现最为关键，需要处理：

1. 页面替换策略（LRU-K算法）
2. 脏页回写机制
3. 页面锁定协议

cpp复制class BufferPoolManager {
 public:
  Page *FetchPage(page_id_t page_id);
  bool UnpinPage(page_id_t page_id, bool is_dirty);
  bool FlushPage(page_id_t page_id);
  Page *NewPage(page_id_t *page_id);
  bool DeletePage(page_id_t page_id);
 private:
  std::list<frame_id_t> free_list_;
  std::unordered_map<page_id_t, frame_id_t> page_table_;
  std::vector<Page> pages_;
};

2.2 关键技术实现要点

2.2.1 LRU-K页面置换算法

与操作系统课程中常见的LRU不同，数据库系统通常采用LRU-K算法：

• 记录每个页面最近K次访问的时间戳
• 计算当前时间与第K次最近访问时间的间隔
• 选择间隔最大的页面进行置换

python复制def lru_k_evict(self):
    candidate = None
    max_interval = 0
    for page in self.page_list:
        if len(page.access_history) < self.k:
            continue
        interval = current_time - page.access_history[-self.k]
        if interval > max_interval:
            max_interval = interval
            candidate = page
    return candidate

2.2.2 页面锁实现

需要考虑的锁粒度问题：

• 页面级锁 vs 记录级锁
• 意向锁的引入（IS/IX锁）
• 死锁检测与预防策略

重要提示：在实现锁管理器时，务必注意锁升级的顺序（S→X），错误的锁升级顺序会导致死锁概率大幅增加。

3. 开发环境与工具链

3.1 推荐开发环境

• 操作系统：Ubuntu 22.04 LTS（WSL2也可）
• 编译器：GCC 11+ 或 Clang 14+
• 构建工具：CMake 3.24+
• 调试工具：GDB + CGDB前端

3.2 测试框架使用技巧

课程提供的Google Test框架包含约50个测试用例：

bash复制# 运行特定测试套件
./test/buffer_pool_manager_test --gtest_filter=BufferPoolManagerTest.LRU_K_Eviction

# 生成覆盖率报告
lcov --capture --directory . --output-file coverage.info
genhtml coverage.info --output-directory coverage_report

4. 性能优化实战记录

4.1 缓冲池命中率提升

通过调整LRU-K参数获得的性能对比：

4.2 锁竞争优化策略

1. 锁分解（Lock Splitting）：

   • 将单个全局锁拆分为多个细粒度锁
   • 例如为每个页面维护独立的锁

2. 乐观并发控制：

   • 读操作不加锁
   • 写操作通过版本号检查冲突

5. 常见问题与解决方案

5.1 内存泄漏排查

使用Valgrind检测的典型命令：

bash复制valgrind --leak-check=full --show-leak-kinds=all \
         --track-origins=yes --log-file=valgrind.out \
         ./test/buffer_pool_manager_test

常见泄漏场景：

1. 未释放的页面对象
2. 锁管理器中的残留条目
3. 事务处理中的资源未释放

5.2 测试用例失败分析

高频失败测试：

1. ConcurrentInsertTest：通常由锁实现错误导致
2. LRUKReplacerTest：历史记录维护不完整
3. ParallelBufferPoolManagerTest：线程同步问题

调试技巧：

gdb复制# 设置条件断点
b buffer_pool_manager.cc:132 if page_id == 0xbadf00d

# 查看锁状态
p lock_manager_->lock_table_[page_id]

6. 项目扩展与进阶

完成基础要求后，可以尝试：

1. 实现预取（Prefetch）机制
2. 添加压缩页面支持
3. 集成WAL（Write-Ahead Logging）
4. 实现SSD优化版本

一个简单的预取实现示例：

cpp复制void BufferPoolManager::PrefetchPages(const std::vector<page_id_t>& page_ids) {
    std::async([this, page_ids] {
        for (auto pid : page_ids) {
            FetchPage(pid);
        }
    });
}

在完成这个项目的过程中，最深刻的体会是：数据库系统的精妙之处往往隐藏在看似简单的接口背后。比如缓冲池的FetchPage()操作，需要考虑页面置换、脏页回写、并发访问等复杂因素，这些都是在理论课上难以完全领会的实战经验。建议后续学习者不要急于通过测试用例，而是多思考每个设计决策背后的权衡取舍。