基于 LMDB 实现零拷贝的 SQL 计算

内容摘要

• 文章探讨以 LMDB 作为基于 mmap 的 KV 存储后端，利用只读事务期间映射页地址保持不变的特性，让 SQL 查询结果直接借用底层页面以减少拷贝。 • LMDB 通过只读映射、影子分页、交替写入元数据页和读者表等机制保证快照一致性；写入事务不直接修改映射页，并在提交时写回文件。 • 以 SQLite 和 rusqlite 为例，文本字段通常会经历从页到寄存器缓冲区、再到拥有所有权的 String 的分配与拷贝；行借用值受下一次 next 调用限制，难以直接用于需要同时持有多行的树结构。 • 该方案仍面临缺页同步阻塞、IO 错误可能触发 SIGBUS、内存由内核管理等问题，并依赖热数据能够放入内存的前提。 文章讨论如何借助 LMDB 的稳定映射页和事务快照机制，在特定只读查询场景中实现 SQL 数据的零拷贝计算，同时指出其内存与错误处理限制。