Solutions · Open Source

Argus RAG Studio

一个开源自托管平台,在一处覆盖 RAG 全生命周期——构建(Build)、检索/生成(Retrieve & Generate)、评估(Evaluate)与运维/部署(Operate & Deploy)。它不是"跑通一次的 RAG 演示":内置以数字度量质量的评估工具链、自动探索最优设置的配置扫描、反馈闭环,以及基于代理的远程部署,可在本地化与气隙(隔离网)环境中运行。

Apache License 2.0 · 开源GitHub 仓库产品介绍手册
5 种解析策略8 种分块策略5 种向量存储

01 · RAG 概念与整体流程

先了解 RAG 如何依据文档回答问题,再查看从准备到运维的完整流程。

什么是 RAG

RAG 先检索与问题相关的文档,并将检索内容作为上下文提供给大语言模型。用户可以通过答案附带的引用核对依据。

未使用 RAG 与使用 RAG — 索引(预先准备)与查询(实时)两条路径
未使用 RAG 与使用 RAG — 索引(预先准备)与查询(实时)两条路径点击图示可放大至原始尺寸。

RAG全流程

将文档整理为可检索的知识,查找问题所需的证据并生成答案。利用评估结果改进配置,再管理运行配置版本、服务状态与部署。

准备知识 → 依据证据回答 → 评估与改进 → 运行与扩展
准备知识 → 依据证据回答 → 评估与改进 → 运行与扩展点击图示可放大至原始尺寸。

02 · 准备可检索的文档

读取文档、处理敏感信息,再将内容转换为可检索的片段和向量。

构建

导入文档、选择知识库,再解析、分块和建立索引

导入文档 → 分配目标与任务 → 准备可检索内容 → 保存与检查
导入文档 → 分配目标与任务 → 准备可检索内容 → 保存与检查点击图示可放大至原始尺寸。

文档路由

文档路由在导入前确定文档所属的知识库。可将文件名、路径、元数据、嵌入相似度或LLM判断等规则组合为策略,并记录目标位置和决策依据。

选择目标 → 导入模式 → 路由规则 → 决策记录与检查
选择目标 → 导入模式 → 路由规则 → 决策记录与检查点击图示可放大至原始尺寸。

文档解析

文档解析从文件中提取可用于检索的文本与结构。根据文件类型和版式选择解析器,再将提取的Markdown表格、标题与阅读顺序同原件对照检查。

检查输入 → 选择解析器 → 提取文本与结构 → 索引前检查
检查输入 → 选择解析器 → 提取文本与结构 → 索引前检查点击图示可放大至原始尺寸。

面向韩语文档的处理管线

针对HWP/HWPX表格、扫描PDF、多栏版式和韩语句子边界选择处理路径。将提取结果与原件对照,并检查文档修订版本和图像标签后用于检索。

HWP表格、扫描页面、韩语句子、文档修订版本与图像标签的处理及检查
HWP表格、扫描页面、韩语句子、文档修订版本与图像标签的处理及检查点击图示可放大至原始尺寸。

PII脱敏

PII是可识别个人身份的信息。启用转换后,在分块和嵌入前,对解析文本中匹配配置规则的内容进行掩码处理。需检查漏检情况,并单独管理原始文件的存储与访问。

执行位置 → 脱敏前后 → 检测规则 → 错误处理与原件管理
执行位置 → 脱敏前后 → 检测规则 → 错误处理与原件管理点击图示可放大至原始尺寸。

文档分块

分块将文档划分为可检索的文本片段。块过大可能混入无关内容,过小则可能丢失必要上下文。根据文档选择边界、大小和重叠范围,再用检索结果检查效果。

划分文本块 → 选择边界策略 → 调整大小与重叠 → 预览和评估
划分文本块 → 选择边界策略 → 调整大小与重叠 → 预览和评估点击图示可放大至原始尺寸。

嵌入 — 转换为可检索的向量

嵌入配置决定知识库的向量空间。提供方、模型、维度与距离度量在创建知识库时即固定,之后变更需要重新索引。在隔离网络或 CI 中,无需嵌入服务器也能验证链路。

将文本块与问题转换为向量,并在兼容的模型空间中比较候选结果
将文本块与问题转换为向量,并在兼容的模型空间中比较候选结果点击图示可放大至原始尺寸。

03 · 检索依据并生成答案

从准备好的文档中找到相关依据,确定优先级,并生成带引用的答案。

检索与生成

查找与问题相关的证据,生成带引用的答案

从向量与词法并行检索到带引用的答案
从向量与词法并行检索到带引用的答案点击图示可放大至原始尺寸。

检索 — 如何找到依据

使用问题向量和问题中的词语检索候选文本块,再由RRF合并排名。集合范围和元数据过滤器限定结果,正文与元数据从PostgreSQL读取。

检索范围 → 向量与词项候选 → 正文读取与RRF → 证据文本块
检索范围 → 向量与词项候选 → 正文读取与RRF → 证据文本块点击图示可放大至原始尺寸。

重排序 — 广撒网,精挑选

重排结合问题重新评估已检索的候选内容并调整顺序。它无法找回候选列表中缺失的证据,修改重排设置无需重建索引。

候选文本块 → 结合问题评估 → 调整顺序并选择 → 重排器设置
候选文本块 → 结合问题评估 → 调整顺序并选择 → 重排器设置点击图示可放大至原始尺寸。

从内部文档到带引用的回答

将文档索引与问题处理分开配置,把检索到的依据作为生成上下文。

文档准备、索引构建、RRF 与重排序检索、带引用生成的四阶段架构
准备文档 → 构建索引 → 检索依据 → 生成引用回答点击图示可放大至原始尺寸。
1.准备文档
选择集合,解析文档并执行已启用的 PII 转换。
2.构建索引
保存文本块、元数据与向量,原始文档由对象存储管理。
3.检索依据
通过 RRF 合并向量和词法搜索排名,并按配置进行重排序。
4.生成引用回答
将检索段落提供给模型,并将流式回答中的引用标记关联到文本块。

PII 转换和外部推理服务为可选配置。引用标记会关联到检索文本块,但不保证每句话都准确。

查看GitHub文档与代码

04 · 评估并改进质量

检查检索与答案的质量,比较配置,并将经过验证的版本应用于生产环境。

评估 — 用数字衡量质量

检索无需 LLM,直接以 Hit Rate 与 MRR 计算;回答则由 LLM 评审在忠实性、相关性、正确性三个维度打分。配置扫描按是否需要重新索引划分搜索空间,留出集与过拟合标记用于验证优胜配置。

基准问题与预期来源、Hit Rate和MRR计算示例、LLM评估与留出集比较
基准问题与预期来源、Hit Rate和MRR计算示例、LLM评估与留出集比较点击图示可放大至原始尺寸。

评估与运维

评估质量,并管理设置、运行配置版本和运行状态

测量 → 优化 → 改进的闭环
测量 → 优化 → 改进的闭环点击图示可放大至原始尺寸。

将评估结果转化为运行配置

使用黄金数据集衡量质量,比较配置后管理流水线版本和服务部署。

基线评估、配置扫描、流水线版本管理与代理部署的四阶段流程
评估 → 比较配置 → 选择与版本管理 → 部署与观察点击图示可放大至原始尺寸。
1.评估基线质量
通过黄金问题记录 Hit Rate、MRR 和 LLM 评审指标。
2.比较配置
检查索引与查询扫描结果、留出集评分和过拟合标记。
3.选择与版本管理
审核并应用所选设置,将运行配置保存为流水线版本。
4.部署与观察
通过主机代理部署工作节点和推理服务,将追踪和反馈用于下一轮评估。

扫描只比较指定搜索范围内的配置。索引变更可能需要重新索引;应用推荐查询设置与部署服务是独立操作。

查看GitHub文档与代码

05 · 理解系统架构

了解服务与存储如何分工,完成前面介绍的文档处理、检索和评估。

概念图

API与工作进程连接文档准备和问题处理。PostgreSQL保存文本块及运行数据,S3/MinIO保存原件与图像,推理服务和主机代理负责相应的处理与部署。

Argus RAG Studio 系统构成
Argus RAG Studio 系统构成点击图示可放大至原始尺寸。

06 · 部署与扩展运维

理解基本流程后,继续了解隔离网络环境、智能体、集成与运维功能。

隔离网络部署

分别导入容器镜像和模型包,再通过各主机的Argus Agent部署工作进程与推理服务。离线运行需要预先准备内部镜像仓库、模型存储和本地端点。

Agent 远程部署与隔离网模型导入路径
Agent 远程部署与隔离网模型导入路径点击图示可放大至原始尺寸。

质量改进与隔离网络运行

将评估、检索训练、主机代理和图像审核连接到 RAG 流水线。

质量改进与隔离网络运行 — 评估与版本 · 检索训练 · 隔离部署 · 图像处理
将评估、检索训练、主机代理和图像审核连接到 RAG 流水线。点击图示可放大至原始尺寸。
1.评估与版本
比较留出集指标,分别应用索引变更并管理运行配置版本。
2.检索训练
审核合成三元组并连接外部训练和模型注册。
3.隔离部署
分别导入镜像与模型,通过主机代理部署服务。
4.图像处理
审核 OCR 标注、浏览图像并索引 VLM 分析内容。

离线运行需要预先准备的产物和本地端点。模型与容器镜像分离;更改嵌入可能需要重新索引。

查看GitHub文档与代码
Apache License 2.0 · 开源

以开源形式发布的 RAG 平台

Argus RAG Studio 以 Apache License 2.0 在 GitHub 上公开。后端(FastAPI)、前端(Next.js)以及独立的嵌入/重排服务器在内的整套 RAG 引擎全部开放,企业可以直接审计代码、按自身环境扩展,并在不向外部传输数据的情况下运维。

  • 无商用限制的 Apache 2.0
  • 可自行审计与扩展代码
  • 气隙·本地化自主运维