Giám Sát & Nhật Ký Ingestion (Ingestion Logs)
Để đảm bảo tính liên tục của dữ liệu và hỗ trợ kỹ sư DevOps/Data Engineer nhanh chóng chẩn đoán các sự cố nạp dữ liệu từ hệ thống bên thứ ba, Knowledge Base Hub cung cấp hệ thống kiểm toán hai tầng: Nhật ký đợt nạp (Ingestion Activity Logs) và Hàng đợi tạm (Staging Logs).
1. Nhật Ký Các Đợt Nạp Dữ Liệu (Batch Activity Logs)
Mỗi khi một request gửi tới API POST /api/v1/thirdparty, hệ thống khởi tạo một phiên giao dịch nạp dữ liệu (Ingestion Batch) với mã Batch ID duy nhất.
Giao diện Ingestion Logs cho phép theo dõi toàn bộ trạng thái của các đợt nạp:
Các Chỉ Số Giám Sát Quan Trọng:
- Batch ID: Mã định danh duy nhất của lượt nạp dữ liệu.
- Target Collection: Tên bộ sưu tập đích tiếp nhận bản ghi.
- Records Count: Số lượng đối tượng tri thức được xử lý trong lô.
- Status: Trạng thái xử lý:
Success(Xanh lá): Toàn bộ dữ liệu đã được cắt lát và vector hóa thành công.Processing(Vàng): Đang trong hàng đợi tính toán vector embedding.Failed(Đỏ): Gặp sự cố cấu trúc JSON hoặc lỗi mạng bên thứ ba.
- Embedding Model: Tên mô hình nhúng thực hiện vector hóa (ví dụ:
text-embedding-3-small). - Processing Time (ms): Tổng thời gian hoàn tất từ lúc tiếp nhận request đến khi ghi thành công vào Vector DB.
- Timestamp: Thời điểm ghi nhận đợt nạp.
2. Hàng Đợi Tạm & Chẩn Đoán Lỗi (Staging Logs)
Trước khi được ghi vĩnh viễn vào Vector Database, các bản ghi thô đi qua vùng đệm Staging nhằm thực hiện kiểm tra cấu trúc (Schema Validation), làm sạch ký tự lạ và tính mã băm deduplication.
Giao diện Staging Logs giúp kỹ sư kiểm tra trạng thái của các bản ghi đang chờ xử lý hoặc các bản ghi bị từ chối do sai lệch cú pháp:
Cơ Chế Xử Lý Lỗi Tự Động (Auto-Recovery & Retry):
- Rate Limit từ Embedding Provider: Nếu dịch vụ embedding bên thứ ba tạm thời quá tải (
HTTP 429), hệ thống tự động giữ các bản ghi trong Staging Queue và kích hoạt cơ chế thử lại lũy tiến (Exponential Backoff Retry) mà không làm mất mát dữ liệu của doanh nghiệp. - Malformed Payload Isolation: Nếu 1 trong 50 bản ghi bị lỗi cú pháp, hệ thống chỉ cách ly bản ghi lỗi đó vào bảng Staging Failed, trong khi 49 bản ghi hợp lệ còn lại vẫn được nạp thành công, không làm gián đoạn toàn bộ batch.