Argus RAG Studio
RAGパイプラインの構築（Build）・検索/生成（Retrieve & Generate）・評価（Evaluate）・運用/デプロイ（Operate & Deploy）を一か所で扱うオープンソースのセルフホスト型RAGプラットフォームです。「一度動くRAGデモ」ではなく、品質を数値で測る評価ハーネス、最適設定を自動探索するスイープ、フィードバック還流、エージェントベースの遠隔デプロイまで備え、オンプレミス・エアギャップ（閉域網）で運用できます。
RAG とは
LLM が単独で答えると、最新情報も根拠もありません。RAG は回答の前に自社の文書を検索し、見つけた根拠の上でのみ回答を組み立てます。
文書を入れれば、根拠付きの回答が返ります
社内規程・マニュアル・契約書をそのまま取り込み、質問に合う根拠を検索して [n] 引用付きの回答を生成します。すべての文が原文の位置まで遡れるため、担当者が根拠を確認したうえで業務に使えます。
概念図
構築・検索/生成・評価/運用の3つの面が単一のデータ面上で動作し、推論サーバーとデプロイは標準インターフェースで分離接続されます。
特徴と強み
測定 → 最適化 → 改善ループ
ゴールデンセット・Hit Rate/MRR・LLM-as-Judge 3軸で品質を数値化し、設定スイープがチャンク・検索モード・リランカーの最適な組み合わせを自動探索、ユーザーフィードバック👍/👎はゴールデンセットへ還流します — 自前構築RAGの多くが欠くループが標準機能です。
ハイブリッド検索＋引用付き回答
ベクトル（pgvector）とレキシカル（tsvector）をRRFで融合し、リランキング（LLM・インプロセス・cross-encoder）で並べ替え、[n] 引用付きの回答をSSEでストリーミングします。異種埋め込みのナレッジベースもフェデレーションクエリで一括検索できます。
韓国語・韓国文書に特化
HWP/HWPX専用Rustパーサー（rhwp）、kssによる韓国語文分割、VLM・OCR（PaddleOCR）によるスキャン文書パイプライン、AI-Hub互換アノテーションまで — 一般的なオープンソースRAGフレームワークにはない軸です。
エアギャップ・エージェント遠隔デプロイ
モデルをパック（pack）として搬入しデプロイ時に自動インストール。各ホストのエージェントがワーカー・埋め込み・リランカー・VLMサーバーを遠隔デプロイします。zotレジストリでコンテナまで完全オフライン — 金融・公共・防衛の網分離要件に対応します。
RAG の全工程を一枚で
収集から検索・生成・評価・運用・デプロイまで — ツールを継ぎ合わせず単一プラットフォームで管理します。
文書ルーティング — どのナレッジベースに入れるか
分類は文書が何であるかを示すだけで、どこに入れるかは決めません。ファイル名・パス・メタデータから埋め込み類似度や LLM の判断まで、ルーターを組み合わせて取り込み前に宛先を決定し、その判断をすべて記録します。
文書パース — 原本をテキストへ
同じ PDF でも、表が要となる文書とスキャン原稿では読み方が異なります。ファイル形式と品質要件に応じてパーサーを差し替え、どの経路を通っても表と見出しが残る一つの Markdown に集約します。
PII — インデックス前に消す
個人情報はパース直後にマスキングされ、マスキング済みの本文だけがチャンキング・埋め込み・インデックスに進みます。正規表現で足りない箇所は、チェックサム検証とサンドボックス上のユーザー関数が補います。
チャンキング — 検索が当たる単位
チャンクは検索が実際に照合する単位です。大きすぎると根拠がノイズに埋もれ、小さすぎると文が自立しません。文書の性格に合う境界戦略をコレクションごとに選びます。
埋め込み — 検索できるベクトルへ
埋め込み設定がコレクションのベクトル空間を決めます。プロバイダー・モデル・次元・距離指標はコレクション作成時に確定し、後から変更するには再インデックスが必要です。閉域網や CI では、埋め込みサーバーなしでも配線を検証できます。
検索 — 根拠を見つける仕組み
一つの質問がベクトル検索とレキシカル検索に分かれ、RRF で再び統合されます。その間、コレクション境界とメタデータフィルターが読み取れる範囲を強制し、ベクトルストアはコンテンツを移さずに差し替えられます。
リランキング — 広く探し、狭く選ぶ
一次検索は取りこぼさないことが目的なので候補を広く集めます。リランキングはその候補だけを精密に見て順序を入れ替えます。クエリ時点の設定なので変更しても再インデックスは不要で、リランカーが失敗しても検索は融合順で生き残ります。
評価 — 品質を数値で測る
検索は LLM なしで Hit Rate・MRR として計算し、回答は LLM 判定者が忠実性・関連性・正確性の 3 軸で採点します。設定スイープは再インデックスの要否で探索空間を分け、ホールドアウトと過学習フラグが優勝設定を検証します。
プラットフォームアーキテクチャ
フロントエンドダッシュボード・RAGバックエンド・推論サーバー・データストア/レジストリが有機的に連携し、推論・ワーカーはエージェントで分離デプロイして規模に応じて段階的に拡張します。
主要機能
インジェスト・解析・チャンクからハイブリッド検索・生成、評価・設定スイープ・検索ファインチューニング、バージョン・可観測性、エージェントデプロイ・エアギャップ、アノテーション・画像まで — RAG全周期の12本の柱を単一プラットフォームで提供します。
構築 · Build
文書を取り込み、読み取り、分割し、適切な知識ベースへ振り分ける段階
インジェストパイプライン
マルチフォーマット文書をアップロード→解析→チャンク→埋め込み→索引まで非同期ワーカーで処理します。
解析戦略5種
文書特性に合わせて解析戦略をコレクション単位で選択します（未導入時は自動フォールバック）。
チャンク戦略8種
検索品質を左右するチャンクを、表の保持・意味境界まで緻密に実装しました。
ナレッジベース設計 — fail-closed分離
コレクションをテーマの束ではなく、セキュリティ分離境界として設計しました。
検索 · 生成 · Retrieve & Generate
質問に合う根拠を探し、引用付きの回答を作る段階
ハイブリッド検索＆生成
意味とキーワードを並列検索して融合し、引用付きの回答を生成します。
モデルの柔軟性
埋め込み・リランカー・生成LLM・VLM・OCRをワークロードに合わせて入れ替えます。
評価 · 運用 · Evaluate & Operate
品質を数値で測り、バージョンで管理する段階
評価ハーネス
ゴールデンデータセットとLLMジャッジで品質を数値で測定します。
設定スイープ＆改善ループ
チャンク・検索モード・top-k・リランカーの組み合わせを自動探索し、リーダーボードで比較します。
パイプラインバージョン＆可観測性
検索・リランク・生成設定をバージョン可能な資産として扱い、すべてのクエリを計測します。
拡張 · デプロイ · Extend & Deploy
ドメインに合わせて調整し、どこへでもデプロイする段階
検索ファインチューニング
ドメイン用語・略語に合わせて埋め込み・リランカーをチューニングします。
エージェント遠隔デプロイ＆エアギャップ
各ホストのArgus Agentがワーカー・推論サーバーをデプロイし、閉域網へはモデルパックで搬入します。
アノテーション＆画像パイプライン
文書内の画像・スキャンをOCR・VLMで知識化します。
韓国語文書のためのパイプライン
HWP の結合表、スキャン PDF、脚注や段組み — 一般的な RAG フレームワークが取りこぼす文書を専用経路で処理します。
- rhwp — HWP/HWPX 専用 Rust パーサーで結合表の構造まで保持
- kss による韓国語の文分割 — 助詞・引用符を考慮した境界
- VLM・PaddleOCR — スキャン・図面・画像からテキストとキャプションを抽出
- AI-Hub 互換アノテーション — bbox+テキストのラベリング入出力
エアギャップまで届くデプロイ
中央のバックエンドが各ホストのエージェントへ遠隔デプロイし、モデルはパックとして持ち込みオフラインで提供します。金融・公共・防衛の網分離要件にそのまま対応します。
- servermgr → Agent :4501 — ワーカー・埋め込み・リランカー・検出・VLM を遠隔で設置・起動・停止
- GPU バリアント自動選択 — cpu・gpu(onnx)・gpu-torch
- zot OCI レジストリ — コンテナイメージまで完全オフライン
- モデルレジストリ — パック搬入後、デプロイ時に対象サーバーへ自動インストール
オープンソースで公開されるRAGプラットフォーム
Argus RAG Studio は Apache License 2.0 で GitHub に公開されます。バックエンド（FastAPI）・フロントエンド（Next.js）・スタンドアロンの埋め込み/リランカーサーバーまでRAGエンジン全体を公開し、企業がコードを直接検証し、自社環境に合わせて拡張し、データを外部に出さずに運用できます。
- 商用利用の制約がない Apache 2.0
- コードを直接検証・拡張可能
- エアギャップ・オンプレミスで自社運用