Tổng Quan Knowledge Base Hub (RAG)

Module 03: Knowledgebase Hub (RAG Data Engine)

Đơn vị phát triển: Pango AI Team • Phân hệ Chatbot AI

Định vị cốt lõi: Nơi tích hợp, quản lý và xử lý dữ liệu RAG
Mô hình triển khai: Dịch vụ SaaS tiêu chuẩn — hỗ trợ Custom riêng cho từng doanh nghiệp

Knowledgebase Hub là trung tâm tích hợp, quản lý và xử lý dữ liệu RAG (Retrieval-Augmented Generation) chuyên sâu do Pango AI Team phát triển.

Hệ thống kết nối các nguồn dữ liệu phân tán (Cơ sở dữ liệu nội bộ, ERP, CRM, văn bản chính sách, biểu phí dịch vụ) và cung cấp ngữ cảnh thông minh, tức thời cho Chatbot AI với độ chính xác cao, bảo toàn bảng biểu Markdown và trích dẫn nguồn xác thực.

1. Giao Diện Quản Trị Trung Tâm

Giao diện Quản trị Knowledge Base Hub cung cấp góc nhìn toàn cảnh về tình trạng lưu trữ vector, trạng thái đồng bộ các Collections, lịch sử các đợt nạp dữ liệu gần nhất và công cụ kiểm thử truy hồi trực tiếp.

Knowledge Base Hub Overview

Các Chỉ Số Trọng Yếu Trên Bảng Điều Khiển:

Vector Engine Status: Hệ quản trị cơ sở dữ liệu Vector chuyên dụng đang vận hành (PostgreSQL 18.4 pgvector, Milvus, hoặc Qdrant).
Active Collections: Số lượng danh mục tri thức chuyên biệt đang kích hoạt (Địa chỉ chi nhánh, Bảng giá khóa học, Quy trình nghiệp vụ SOP).
Search Capabilities: Trạng thái hoạt động của chế độ tìm kiếm kết hợp Hybrid Search (Dense Semantic + Sparse BM25) kèm bộ tái xếp hạng (Cross-Encoder Reranker).
Recent Ingestion Activity: Bảng thống kê các lô dữ liệu (batches) vừa được nạp từ hệ thống backend bên thứ ba qua API Ingestion.

2. Kiến Trúc Luồng Dữ Liệu RAG Pipeline

Quy trình xử lý dữ liệu từ lúc tiếp nhận nguồn thông tin thô đến khi tạo thành câu trả lời có căn cứ cho Chatbot được tự động hóa qua 6 giai đoạn:

Sơ Đồ Trực Quan (Interactive Flowchart)

Đang tạo biểu đồ trực quan...

Data Ingestion (Nạp dữ liệu): Tiếp nhận dữ liệu cấu trúc hoặc phi cấu trúc qua API POST /api/v1/thirdparty với header xác thực khóa x-api-key.
Semantic Chunking (Cắt lát thông minh): Phân đoạn tài liệu theo ranh giới đoạn văn Markdown, giữ nguyên cấu trúc các bảng biểu (Markdown Tables) phức tạp nhằm tránh cắt rời tiêu đề cột và giá trị dòng.
Vector Embedding: Sử dụng các mô hình nhúng (OpenAI text-embedding-3-small, text-embedding-3-large hoặc Custom Local Embedder) để chuyển hóa văn bản thành vector đa chiều.
Vector Indexing & Metadata Tagging: Lưu trữ vector vào không gian đa chiều kèm theo siêu dữ liệu lọc (metadata) để phục vụ lọc theo khu vực địa lý, mã danh mục, trạng thái hiệu lực.
Hybrid Retrieval (Truy hồi lai): Kết hợp giữa tìm kiếm tương đồng vector (Cosine Similarity) và tìm kiếm từ khóa chính xác (BM25 Full-text Search), sau đó đưa qua mô hình Cross-Encoder để tái xếp hạng (Rerank).
Context Augmentation: Đưa các đoạn trích dẫn có điểm tin cậy cao nhất vào System Prompt của Agent, giúp Agent trả lời tự tin, chính xác với nguồn gốc rõ ràng.

3. Khả Năng Mở Rộng: SaaS & Enterprise On-Premise

Knowledge Base Hub hỗ trợ hai mô hình triển khai linh hoạt:

Mô Hình Multi-tenant SaaS

Sẵn sàng tức thì: Tạo ngay các Collection tri thức thông qua giao diện Web trực quan.
Tự động mở rộng: Hạ tầng Vector DB và hàng đợi Ingestion tự động điều phối tài nguyên theo lưu lượng.
Quản lý API Key độc lập: Mỗi ứng dụng hoặc chi nhánh sở hữu API Key riêng với quyền truy cập vào từng Collection cụ thể.

Mô Hình Enterprise Dedicated / On-Premise

Bảo mật tuyệt đối: Cài đặt toàn bộ hạ tầng Vector DB (PostgreSQL pgvector, Qdrant) trên Virtual Private Cloud (VPC) hoặc máy chủ nội bộ của doanh nghiệp.
Tùy chỉnh Embedding Model: Tích hợp mô hình nhúng nội bộ chạy trên máy chủ GPU chuyên dụng (BGE-M3, PhoBERT) để dữ liệu nhạy cảm không rời khỏi mạng nội bộ.
Custom Ingestion Pipelines: Tích hợp trực tiếp các luồng Change Data Capture (CDC) từ Oracle, SQL Server, SAP hoặc Salesforce.

4. Danh Mục Tài Liệu Chi Tiết

Quý kỹ sư có thể tham khảo các tài liệu chi tiết theo lộ trình:

3.2 Kiến Trúc & Pipeline RAG: Tìm hiểu nguyên lý cắt lát (chunking), vector embeddings, và thuật toán Hybrid Search.
3.3 Đặc Tả API Nạp Dữ Liệu (Ingestion API): Hướng dẫn tích hợp endpoint POST /api/v1/thirdparty, cấu trúc body và quy tắc nạp dữ liệu chuẩn.
3.4 Case Study Thực Tế: Hệ Thống VUS: Hướng dẫn mẫu thực tế từ hệ thống Anh Văn Hội Việt Mỹ (.NET 8 C#, JSON, cURL, Python) với 3 collections: Cơ sở, Học phí và SOP.
3.5 Quản Lý Collections & Chunks: Xem chi tiết bản ghi, kiểm tra vector 1536 chiều, siêu dữ liệu và chỉnh sửa trực tiếp.
3.6 Giám Sát & Nhật Ký Ingestion Logs: Kiểm tra trạng thái xử lý các batch, hàng đợi staging và chẩn đoán lỗi nạp dữ liệu.
3.7 Semantic Retrieval Playground: Thử nghiệm truy hồi ngữ nghĩa, kiểm tra độ tương đồng và tối ưu hóa tham số Top-K.