1. 数据库一体机的起源与Britton-Lee的开创性贡献
数据库一体机这个概念在今天看来已经不再新鲜,但在上世纪80年代,它却是一项革命性的技术创新。1979年,两家几乎同时成立的公司——Britton-Lee和Teradata,共同开创了这个全新的计算机品类。有趣的是,虽然现在大多数人将Teradata视为数据库机的先驱,但实际上Britton-Lee才是第一个成功量产商业数据库机的公司。
Britton-Lee的创始人大卫·布里顿和杰弗里·李都曾在硅谷传奇存储公司Memorex任职,这段经历让他们对存储设备有着深刻理解。当时的关系型数据库面临严重的性能问题,特别是在小型机上运行时,往往只能支持少数几个并发用户。这种背景下,他们决定通过专用硬件来解决数据库性能瓶颈。
提示:数据库一体机从诞生之初就强调"智能"特性,其核心价值在于通过软硬件协同设计,创造出超越用户预期的性能表现。这个理念至今仍是数据库一体机产品的核心竞争力。
2. IDM数据库机的架构设计与技术突破
2.1 革命性的"近数据计算"理念
Britton-Lee在1981年推出的IDM(Intelligent Database Machine)系列产品采用了极具前瞻性的架构设计。从图3所示的IDM 500架构图中可以看出,它本质上是一种数据库加速外设,需要作为"后端"连接到主机系统。这种设计完美体现了早期数据库机的核心理念——让计算归计算,让数据处理归数据处理。
IDM最创新的地方在于实现了现代存储界追求的"近数据计算"(Near-Data Computing)理念。传统架构需要将大量原始数据传输到主机内存,由CPU进行过滤处理,这会导致严重的I/O瓶颈。而IDM内部集成了专用处理器和硬件加速器,能够在数据离开机箱前就完成过滤操作,大幅减少了网络带宽占用。
2.2 完整的数据库系统实现
IDM并非简单的硬件加速器,而是包含了完整的数据库系统。它具有并发控制、审计日志、崩溃恢复等完整的数据库功能,主机系统则主要负责查询和报表等用户界面功能。这种分工明确的架构设计,即使在今天看来也颇具参考价值。
在实际应用中,IDM表现出了卓越的性能。图10展示的测试数据显示,在某些场景下,IDM 500的性能表现远超当时的传统数据库系统。这种性能优势使得Britton-Lee在1983年就成功销售了约200台IDM数据库机,客户包括AT&T、杜邦、高盛等知名企业。
3. 技术路线的分歧与Sybase的诞生
3.1 硬件与软件的技术路线之争
随着硬件技术的快速发展,Britton-Lee内部出现了严重的技术路线分歧。首席架构师鲍勃·爱泼斯坦认为,硬件性能的提升使得专用数据库硬件的必要性降低,应该将优化重点转向软件层面。他预见到了客户端/服务器架构的巨大潜力,但这一想法未能获得创始人支持。
1984年,爱泼斯坦带领部分核心团队成员离开Britton-Lee,在后院创立了Sybase。这家公司后来开发出了著名的Sybase数据库系统,在90年代一度挑战Oracle的市场地位。这段历史引发了一个有趣的假设:如果Britton-Lee当时接受了爱泼斯坦的建议,数据库市场的格局可能会完全不同。
3.2 Britton-Lee的衰落与启示
坚持硬件路线的Britton-Lee虽然在1985年成功上市,并在1987年达到销售高峰(累计销售675套系统),但很快就面临市场形势的急剧变化。1987年,公司营收约2500万美元,亏损却高达900万美元。1988年,两位创始人宣布辞职,公司最终在1990年被Teradata收购。
这一兴衰历程揭示了一个重要规律:在数据库领域,硬件与软件的进化速度决定了技术路线的成败。当硬件进化速度超过软件时,数据库机受到关注;当软件进化速度超过硬件时,数据库机就会陷入困境。这种交替领先的现象,至今仍在影响数据库技术的发展方向。
4. 数据库一体机的现代复兴与演进
4.1 Oracle Exadata的突破性创新
进入21世纪后,Oracle的Exadata为数据库一体机带来了真正的复兴。与早期产品不同,Exadata基于通用硬件构建,通过Smart SCAN、混合列压缩等专用软件特性实现加速。它将数据库一体机的应用场景从OLAP扩展到OLTP,大幅拓展了市场空间。
Exadata的成功关键在于平衡了通用性和专用性:硬件采用标准服务器和InfiniBand网络,软件层面则针对数据库工作负载进行深度优化。这种"通用硬件+专用软件特性"的架构,成为第二代数据库一体机的典型代表。
4.2 云和恩墨zData的创新实践
中国的云和恩墨公司推出的zData产品,代表了数据库一体机发展的第三阶段。zData采用"通用硬件+通用软件"架构,通过软件定义存储技术为多种数据库提供高性能支持。它实现了几个重要创新:
- 网络技术支持从InfiniBand到RoCE的演进,提高了配置灵活性
- 硬件平台支持Intel、AMD、海光、鲲鹏等多种处理器
- 数据库支持扩展到Oracle、MySQL、PostgreSQL等数十种产品
这种设计使用户能够构建统一的数据库资源池,大幅简化了基础设施架构。图8展示了zData产品的演进路线,体现了数据库一体机向更开放、更通用方向发展的趋势。
5. 数据库一体机的技术演进规律与未来展望
5.1 三个时代的架构演进
从历史发展来看,数据库一体机经历了三个明显的技术演进阶段:
-
专用硬件+专用软件时代(Teradata、Britton-Lee):完全定制的硬件和软件栈,性能优异但成本高昂,扩展性有限。
-
通用硬件+专用软件特性时代(Exadata):采用商用服务器硬件,通过数据库软件的特殊优化实现加速,平衡了性能和成本。
-
通用硬件+通用软件时代(zData):完全基于标准化硬件,通过智能软件层适配多种数据库,实现最大程度的灵活性和成本效益。
5.2 核心技术的持续创新
观察这些产品的技术路线,可以发现几个持续创新的方向:
- 计算下推:从Britton-Lee的"近数据计算"到Exadata的Smart SCAN,将计算任务尽可能靠近数据存储的位置执行
- 智能卸载:将适合的工作负载卸载到专用处理器或存储节点执行,减轻主机负担
- 资源池化:从专用设备向共享资源池演进,提高资源利用率
这些技术创新都是为了解决数据库系统永恒的性能挑战,只是随着硬件条件的变化,解决方案的重点在不断调整。
5.3 对当前技术选型的建议
基于历史经验,在选择数据库一体机解决方案时,建议考虑以下几个因素:
- 工作负载特性:OLTP和OLAP对系统架构有不同要求,需要匹配适合的产品
- 扩展性需求:预期数据增长速度和业务扩展需求决定了架构的弹性要求
- 技术锁定风险:过度依赖特定厂商的专用技术可能带来长期成本
- 运维复杂度:一体机应该降低而非增加运维难度
在实际部署中,我们往往需要在性能、成本和灵活性之间做出权衡。从Britton-Lee到zData的历史表明,最成功的解决方案通常能够准确把握技术发展的阶段性特征,在恰当的时机采用合适的技术路线。