Kiến Trúc Hệ Thống & RAG Pipeline

Để đảm bảo khả năng trả lời chính xác, độ trễ thấp (< 600ms) và loại bỏ hoàn toàn hiện tượng suy diễn sai sự thật (hallucination), Knowledge Base Hub triển khai kiến trúc RAG nâng cao kết hợp giữa Dense Semantic Search, Sparse Keyword Search (BM25) và Cross-Encoder Reranker.

---

1. Sơ Đồ Kiến Trúc Chi Tiết

---

2. Chi Tiết Các Thành Phần Cốt Lõi

2.1. Semantic Chunking (Phân Đoạn Bảo Toàn Ngữ Nghĩa)

Khác với các công cụ tách đoạn văn thô sơ theo số lượng ký tự cố định (fixed-character chunking) dễ làm đứt gãy bảng dữ liệu, bộ Semantic Chunker của Pango AI tuân thủ các nguyên tắc:

• Bảo toàn bảng biểu (Table-Aware Chunking): Nhận diện các khối Markdown Table (|---|---|). Nếu một bảng biểu học phí hoặc thông số kỹ thuật nằm trọn trong một đoạn, hệ thống giữ nguyên tiêu đề cột và nội dung dòng để mô hình ngôn ngữ không bị mất ngữ cảnh thuộc tính.
• Ranh giới tiêu đề cấp bậc (Header Hierarchy): Tự động gắn các tiêu đề cha (ví dụ ## HỌC PHÍ > ### Khóa IELTS) vào phần đầu của từng chunk nhỏ để duy trì đầy đủ bối cảnh phân loại.
• Overlap trượt (Sliding Window Overlap): Duy trì độ gối đầu từ 100 - 150 tokens giữa các đoạn liền kề, đảm bảo không bỏ sót thông tin nằm giữa các ranh giới cắt.

2.2. Mô Hình Vector Embedding (1536 Chiều)

• Chuẩn hóa Vector: Toàn bộ văn bản sau khi cắt lát được đưa qua mô hình Embedding chất lượng cao (mặc định: text-embedding-3-small hoặc text-embedding-3-large với 1536 chiều vector không gian thực).
• Hỗ trợ Đa Ngôn Ngữ: Mô hình hiểu sâu sắc từ vựng tiếng Việt có dấu, không dấu, từ lóng và thuật ngữ chuyên ngành doanh nghiệp (Giáo dục, Tài chính, Bán lẻ, Y tế).

2.3. Tìm Kiếm Lai (Hybrid Search: Dense + Sparse)

Truy vấn của người dùng thường chứa cả ý nghĩa trừu tượng lẫn mã định danh cụ thể (ví dụ: "Học phí khóa IELTS 6.0 tại cơ sở HCM_HTP2"):

• Dense Retrieval (Ngữ nghĩa): Tìm kiếm các đoạn tài liệu có ý nghĩa tương đồng bằng khoảng cách Cosine trên vector database, hiệu quả cao với các câu hỏi diễn đạt tự nhiên.
• Sparse Retrieval (BM25): Tìm kiếm chính xác các từ khóa hiếm, mã SKU, mã cơ sở, số điện thoại hoặc mã học phần mà vector embedding thuần túy có thể bỏ sót.
• Reciprocal Rank Fusion (RRF): Kết hợp kết quả từ hai phương pháp để tạo danh sách Top-30 đoạn tài liệu ứng viên.

2.4. Cross-Encoder Reranker

• Danh sách 30 đoạn ứng viên được đưa qua mô hình Reranker tính toán mức độ phù hợp trực tiếp giữa câu hỏi và từng đoạn trích dẫn.
• Chỉ những đoạn văn có điểm phù hợp cao nhất (Top-K từ 3 đến 5) mới được chọn để đưa vào bộ nhớ ngữ cảnh của LLM.

---

3. Cấu Hình Vector DB & RAG Settings

Quản trị viên có thể tinh chỉnh toàn bộ các tham số của động cơ RAG thông qua giao diện Admin Settings:

Bảng Tham Số Cấu Hình Hệ Thống: