引言
在当今数据驱动的时代，企业对数据库系统提出了更高要求：既需要高效处理联机事务处理（OLTP）业务，又需要对海量数据进行快速分析（OLAP），以支持实时决策。云原生HTAP（Hybrid Transactional/Analytical Processing，混合事务/分析处理）数据库应运而生，旨在统一这两种负载。阿里云自主研发的PolarDB，通过其In-Memory Column Index（IMCI，内存列存索引）技术，成功构建了云原生HTAP数据库系统。本白皮书的第一部分将深入解析PolarDB IMCI的核心基石：列式数据是如何存储与处理的，及其在数据处理和存储服务中的实现。
一、列式存储：架构的基石
传统行式数据库将同一行的所有列数据连续存储，适合频繁的增删改查事务。对于分析型查询，往往只涉及表中少数几列，行式存储会导致大量无关数据被加载进内存，造成I/O带宽和CPU缓存资源的巨大浪费。
PolarDB IMCI采用了纯列式存储（Columnar Storage）作为其分析加速的核心：
- 数据组织方式：表中的每一列数据被独立存储在一个连续的物理块中。例如，一张包含“订单ID”、“用户ID”、“商品ID”、“金额”、“时间”的表，在列存中，所有“金额”值会被集中存储在一起，形成一个独立的数据单元。
- 存储结构：IMCI的列式数据并非简单平铺，而是采用了高度优化的编码格式（如字典编码、行程编码等）和压缩算法。这不仅极大减少了磁盘和内存的占用，更重要的是，压缩后的数据在参与计算时通常可以无需解压或仅需部分解压，显著提升了CPU计算效率和内存带宽利用率。
- 与行存共存：PolarDB的HTAP架构并非取代原有行式存储（用于OLTP），而是新增了列式存储副本。数据通过日志流实时、异步地从行存同步到列存，从而保证分析查询能访问到近乎实时的数据，同时不影响前端事务处理的性能。
二、列式数据的处理：向量化执行引擎
高效的列式存储需要匹配专用的查询处理引擎才能发挥最大威力。PolarDB IMCI采用了业界先进的向量化执行引擎（Vectorized Execution Engine），摒弃了传统数据库一次处理一行的“火山模型”。
- 批处理模式：向量化引擎以“批”（Batch）为单位处理数据，每次操作处理列数据中的一个数据块（例如1024个值）。这与列式存储的物理布局完美契合，可以一次性将一列中的连续数据块加载到CPU缓存。
- SIMD指令优化：现代CPU提供的单指令多数据流（SIMD）指令，允许一条指令同时对多个数据执行相同操作。列存中连续、类型统一的数据是应用SIMD优化的理想场景。IMCI的引擎充分利用SIMD，对比较、聚合、算术运算等操作进行极致加速，将CPU的并行计算能力发挥到极致。
- 减少虚函数调用：向量化处理按列进行，整个批量的操作可以通过紧凑的循环完成，避免了传统行处理模型中大量的条件判断和虚函数调用开销，极大提升了CPU流水线的效率。
三、数据处理与存储服务：云原生的融合
PolarDB IMCI的列式数据存储与处理并非孤立存在，而是深度融入其云原生架构，构成统一、弹性、高可用的数据处理与存储服务。
- 计算与存储分离：PolarDB基于Cloud-Native架构，实现了计算节点（处理SQL请求、执行事务或分析）与存储节点（持久化数据）的分离。列式存储作为共享存储层的一部分，可以被所有计算节点（包括专用于OLAP的只读列存节点）高速访问。这种分离使得计算资源可以根据OLTP和OLAP的负载独立、弹性地扩缩容。
- 实时同步与服务化：行存与列存之间的数据同步通过高性能日志回放机制实现，延迟可低至毫秒级。对用户而言，列存数据作为一项“服务”透明可用。用户提交的分析查询，优化器会根据代价自动选择是访问行存还是列存索引，无需修改应用。
- 统一的服务体验：在PolarDB的HTAP服务中，用户通过一个统一的数据库端点（Endpoint）进行访问。系统内部自动将事务路由到行存计算节点，将复杂分析查询路由到搭载IMCI的列存计算节点。数据处理（计算）与数据存储（行/列存）作为后端一体化的服务提供，保障了数据强一致性和服务的连续性。
- 智能自适应：IMCI支持动态增减列，并能根据查询负载模式自动进行数据重组和优化，使得存储与处理服务具备自适应性。
结论
PolarDB IMCI通过创新的列式数据存储与向量化处理技术，为云原生数据库注入了强大的实时分析能力。列式存储以其高效压缩和IO友好性奠定了高性能分析的基础；向量化执行引擎则充分利用现代硬件特性，将列存的数据布局优势转化为极致的查询速度。这一切最终通过云原生的计算存储分离架构，被封装成弹性、透明、统一的数据处理与存储服务，使得企业能够在一个数据库系统中同时应对高并发事务与即席大数据分析的双重挑战，真正实现了HTAP的价值。
（此为白皮书系列第一部分，后续部分将深入探讨查询优化、资源隔离、实时一致性等关键技术。）
