Empirical Evaluation of Specialized Agentic Architectures in Retrieval-Augmented Generation

Tóm tắt

Các hệ thống Retrieval-Augmented Genewration (RAG) truyền thống thường gặp khó khăn trong việc xử lý các tác vụ phức tạp và truy vấn đa dạng. Nghiên cứu này thực hiện đánh giá thực nghiệm các kiến trúc Agentic RAG, tích hợp các tác nhân AI tự trị, nhằm khắc phục nhược điểm này. Mục tiêu của nghiên cứu là so sánh các kiến trúc Agentic RAG như thích ứng, điều chỉnh, đơn, dựa trên các chỉ số như độ chính xác, khả năng suy luận nhiều bước và tính thích ứng. Khung thực nghiệm của chúng tôi đo lường độ chính xác (tỷ lệ trùng khớp), khả năng suy luận nhiều bước (tỷ lệ trả lời đúng cho truy vấn đa bước), và tính thích ứng (điểm số thích ứng). Kết quả cho thấy, mặc dù tất cả các kiến trúc có hiệu suất tương đương trong việc xử lý truy vấn dễ và độ khó trung bình, nhưng kiến trúc Corrective Agent và Single-Agent có độ chính xác cao hơn đáng kể (5.0%) so với Adaptive Agent và RAG Baseline (0.0%) trong các bài toán dễ. Đặc biệt, điểm số thích ứng của Adaptive Agent và RAG Baseline cho thấy khả năng tối ưu hóa trong việc điều chỉnh độ khó truy vấn, với điểm số thích ứng đạt 1.000 cho cả hai. Tuy nhiên, các kết quả thống kê từ ANOVA cho thấy sự khác biệt giữa các kiến trúc không có ý nghĩa thống kê (p-value > 0.05). Chúng ta không thể bác bỏ giả thuyết không có sự khác biệt giữa các nhóm, tức là không có bằng chứng thống kê đủ mạnh để cho thấy rằng các kiến trúc Agentic RAG (Adaptive, Corrective, Single, và RAG Baseline) hoạt động khác nhau đáng kể trong các chỉ số đo lường (độ chính xác, suy luận nhiều bước, tính thích ứng).  Nghiên cứu làm sáng tỏ vai trò của tác nhân AI trong RAG, hướng tới các kiến trúc thông minh và linh hoạt hơn.