向量索引
草稿 约 5 分钟阅读
向量索引
概述
向量索引(Vector Index)是将高维向量数据进行高效存储和相似性检索的数据结构,是 rag|RAG(检索增强生成)系统的核心基础设施。2026 年中,向量索引正从”功能可用”阶段进入”性能极致优化”阶段,量化压缩、硬件加速和新型索引结构成为竞争焦点。
工作原理
flowchart LR
Query[查询文本] --> Embed[Embedding 模型]
Embed --> QueryVec[查询向量]
QueryVec --> Index[向量索引]
Corpus[语料库文本] --> Embed2[Embedding 模型]
Embed2 --> Index
Index --> ANN[近似最近邻检索]
ANN --> TopK[Top-K 结果]
TopK --> Rerank[重排序]
Rerank --> Output[返回上下文]
核心挑战在于:高维向量空间中的精确最近邻检索计算成本极高,向量索引通过空间划分、量化压缩或图结构来加速近似最近邻(ANN)搜索,在检索速度和召回率之间取得平衡。
关键变体
| 变体 | 年份 | 代表项目 | 核心改进 |
|---|---|---|---|
| 倒排文件索引 | 2011 | IVF (Faiss) | 将向量空间聚类,先定位粗粒度区域再细搜 |
| 乘积量化 | 2013 | PQ (Faiss) | 将向量拆分为子向量分别量化,大幅降低存储 |
| 层级可导航小世界图 | 2016 | HNSW | 构建多层图结构,检索复杂度接近对数级 |
| 标量量化 | 2020 | SQ (Faiss) | 用 1-2 字节表示每个维度,进一步压缩 |
| TurboQuant | 2026 | turbovec | 基于 TurboQuant 的新型量化路径,可能在速度和内存上有数量级优势 |
最新进展
- 2026-06-09 | turbovec 持续爆发,单日 +1,729 star,总 star 达 9,207。TurboQuant 量化压缩技术路线表明,RAG 基础设施正从「精度优先」转向「效率与精度平衡」,边缘部署成为可能 | 来源: GitHub Trending
- 2026-06-08 | turbovec 以单日 1,554 star 爆发式增长登顶 GitHub Trending,基于 TurboQuant 的 Rust 向量索引库,反映 RAG 基础设施进入性能竞赛阶段 | 来源: GitHub Trending
相关概念
- rag — 检索增强生成,向量索引的核心应用场景
相关实体
- turbovec — 基于 TurboQuant 的新兴向量索引库
- open-notebook — RAG 应用层项目
来源引用
| 日期 | 报告 | 关键发现 |
|---|---|---|
| 2026-06-09 | GitHub Trending | turbovec +1,729★/日,TurboQuant 边缘 RAG 部署趋势 |
| 2026-06-08 | GitHub Trending | turbovec +1,554★/日,TurboQuant 量化向量索引 |