Cách tìm kiếm AI hoạt động

Tóm tắt — Tìm kiếm AI thường kết hợp một hệ thống tìm kiếm với một mô hình ngôn ngữ. Phía tìm kiếm tìm và sắp xếp các nguồn hữu ích. Phía mô hình đọc một tập tài liệu truy xuất có giới hạn rồi viết câu trả lời. Một số hệ thống chia câu hỏi khó thành các lượt tìm kiếm nhỏ hơn, kết hợp truy xuất theo từ khóa và theo ngữ nghĩa, xếp hạng lại ứng viên rồi hiển thị trích dẫn. Quy trình này có thể cải thiện độ mới và khả năng truy vết, nhưng vẫn có thể bỏ sót nguồn, hiểu sai bằng chứng hoặc viết một tuyên bố không được hỗ trợ.

Lời giải thích hữu ích ngắn nhất

Tìm kiếm web truyền thống thường trả về một tập kết quả đã xếp hạng. Tìm kiếm AI có thể thêm một lớp nữa: truy xuất bằng chứng và dùng mô hình tạo sinh để soạn câu trả lời trực tiếp.

Một pipeline tổng quát có thể bảo vệ được về mặt bằng chứng gồm:

1. khám phá hoặc tiếp nhận nguồn;
2. phân tích, lập chỉ mục và biểu diễn nội dung nguồn;
3. hiểu câu hỏi của người dùng;
4. tùy chọn chia câu hỏi thành các câu hỏi con;
5. truy xuất tài liệu hoặc đoạn văn ứng viên;
6. xếp hạng và xếp hạng lại các ứng viên;
7. đưa bằng chứng được chọn vào ngữ cảnh của mô hình;
8. tạo câu trả lời bị ràng buộc bởi ngữ cảnh đó và quy tắc sản phẩm;
9. gắn liên kết hoặc trích dẫn hỗ trợ;
10. đánh giá chất lượng, độ an toàn, độ mới và mức bất định.

Sản phẩm có thể bổ sung công cụ, feed thương mại, knowledge graph, cơ sở dữ liệu, tệp người dùng, vị trí, lịch sử hội thoại hoặc đầu vào camera trực tiếp. Sản phẩm cũng có thể bỏ qua hoặc kết hợp các giai đoạn. Pipeline này là một mô hình tư duy, không phải tuyên bố rằng Google, ChatGPT, Copilot, Perplexity hay sản phẩm khác dùng cấu trúc nội bộ giống hệt nhau.

1. Khám phá nguồn và crawl

Một câu trả lời AI chỉ có thể truy xuất từ các nguồn mà hệ thống có quyền tiếp cận. Nguồn có thể đi vào hệ thống qua:

• trình thu thập web đi theo liên kết và sitemap;
• chỉ mục web hiện có của nhà cung cấp dịch vụ tìm kiếm;
• tập dữ liệu được cấp phép hoặc từ đối tác;
• danh mục sản phẩm và feed có cấu trúc;
• cơ sở dữ liệu và kho tri thức chính chủ;
• tệp do người dùng tải lên;
• công cụ lấy một trang tại thời điểm có yêu cầu.

Tài liệu Cách Search hoạt động hiện hành của Google mô tả nền tảng tìm kiếm web theo ba bước: crawl, lập chỉ mục và phân phối. OpenAI có tài liệu tìm kiếm web mô tả một công cụ tìm kiếm có thể đưa thông tin web và nguồn được trích dẫn vào câu trả lời của mô hình. Đây là ví dụ về sản phẩm, không phải bằng chứng về một crawler chung hay chỉ mục dùng chung.

Đọc sâu hơn: crawler AI giải thích mục đích và cách kiểm soát crawler; phân tích nhật ký crawler AI giải thích điều mà một yêu cầu đã xác minh có thể và không thể chứng minh.

2. Lập chỉ mục, chunk và cách biểu diễn tri thức

Tài liệu đã lấy được phân tích và lưu trữ để có thể tìm kiếm hiệu quả. Một hệ thống có thể giữ nhiều dạng biểu diễn:

• chỉ mục đảo cho từ và trường dữ liệu;
• đoạn văn hoặc chunk để truy xuất tập trung;
• vector do mô hình embedding tạo ra;
• dữ kiện, thực thể, quan hệ và metadata có cấu trúc;
• tín hiệu về độ mới, ngôn ngữ, vị trí, chính sách, quyền truy cập và chất lượng;
• liên kết trở lại nguồn và vị trí ban đầu.

Kích thước và ranh giới chunk rất quan trọng vì bộ truy xuất có thể không bao giờ đưa toàn bộ tài liệu cho bộ tạo sinh. Một câu trả lời rõ ràng bị phân tán trong các phần không liên quan có thể khó được truy xuất thành một đơn vị mạch lạc.

Đọc sâu hơn: chia chunk, embedding và token cùng cửa sổ ngữ cảnh.

3. Hiểu truy vấn và fan-out

Hệ thống diễn giải yêu cầu, hội thoại, ngôn ngữ, vị trí và các ràng buộc. Nó có thể viết lại truy vấn, nhận diện thực thể hoặc phân rã một tác vụ phức tạp thành nhiều câu hỏi truy xuất.

Google nói rõ rằng AI Overviews và AI Mode có thể dùng query fan-out, tức thực hiện nhiều lượt tìm kiếm liên quan trên các chủ đề con và nguồn dữ liệu. Đây là hành vi đã được Google ghi nhận, không phải bằng chứng rằng mọi sản phẩm tìm kiếm AI đều mở rộng mọi truy vấn hoặc dùng một số lượng truy vấn con cố định.

Đọc sâu hơn: query fan-out và tìm kiếm ngữ nghĩa.

4. Truy xuất: từ vựng, vector hoặc kết hợp

Truy xuất là giai đoạn ưu tiên độ bao phủ để tạo một tập ứng viên có quy mô quản lý được.

• Truy xuất từ vựng ưu tiên từ chính xác và mẫu thuật ngữ. Cách này hữu ích với tên, mã, câu trích dẫn và thuật ngữ chính xác.
• Truy xuất vector so sánh các biểu diễn embedding và có thể tìm sự tương đồng ngữ nghĩa khi cách diễn đạt khác nhau.
• Truy xuất kết hợp chạy cả hai phương pháp rồi hợp nhất danh sách kết quả.

Tài liệu tìm kiếm kết hợp hiện hành của Microsoft là một ví dụ triển khai cụ thể: truy vấn văn bản và vector chạy cùng nhau, sau đó kết quả được hợp nhất. Nghiên cứu cũng cho thấy truy xuất từ vựng và ngữ nghĩa có thể tạo các tập ứng viên bổ trợ nhau, nhưng mức cải thiện phụ thuộc vào kho dữ liệu, truy vấn, mô hình và cách đánh giá.

Đọc sâu hơn: tìm kiếm vector và tìm kiếm kết hợp.

5. Xếp hạng và xếp hạng lại

Truy xuất ưu tiên độ bao phủ: tìm đủ ứng viên có khả năng phù hợp. Xếp hạng và xếp hạng lại ưu tiên độ chính xác: đưa các ứng viên hữu ích nhất cho câu hỏi này lên gần đầu.

Một hệ thống có thể:

• chấm điểm mức liên quan từ vựng;
• chấm điểm độ tương đồng vector;
• hợp nhất nhiều danh sách kết quả;
• áp dụng bộ lọc về độ mới, ngôn ngữ, địa lý, thẩm quyền, an toàn hoặc quyền truy cập;
• chỉ dùng mô hình ngữ nghĩa tốn kém hơn với các ứng viên hàng đầu;
• chọn các đoạn đa dạng bao phủ những phần khác nhau của tác vụ.

Tài liệu bộ xếp hạng ngữ nghĩa của Microsoft thể hiện rõ mẫu này: một tập kết quả ban đầu được chuyển sang giai đoạn hiểu ngôn ngữ tốn kém hơn để chấm điểm lại. Giới hạn và điểm số của sản phẩm đó không phải hằng số chung cho mọi hệ thống tìm kiếm AI.

Đọc sâu hơn: xếp hạng lại và xếp hạng đoạn văn.

6. Grounding và RAG

Các đoạn, dữ liệu hoặc kết quả công cụ được chọn được đưa vào ngữ cảnh khả dụng của mô hình. Sau đó, mô hình tạo câu trả lời dựa trên bằng chứng đó, chỉ dẫn của nó và mọi tri thức nội bộ được phép dùng.

Mẫu này thường được gọi là tạo sinh tăng cường truy xuất (RAG). Bản gốc bài nghiên cứu RAG mô tả cách kết hợp bộ nhớ tham số của mô hình với bộ nhớ phi tham số được truy xuất. Trong sản phẩm thực tế, “RAG” bao gồm nhiều thiết kế, từ một lượt tra cứu vector đến tìm kiếm nhiều giai đoạn, xếp hạng lại, công cụ và truy xuất lặp.

Grounded nên có nghĩa là câu trả lời bị ràng buộc bởi bằng chứng đã xác định. Không nên dùng từ này đồng nghĩa với “guaranteed true.” (bản dịch) «được bảo đảm là đúng». Bộ truy xuất có thể bỏ sót nguồn tốt nhất, nguồn có thể sai hoặc cũ, và bộ tạo sinh có thể diễn đạt sai nội dung nó nhận được.

Đọc sâu hơn: grounding và RAG.

7. Tạo câu trả lời và trích dẫn

Mô hình soạn câu trả lời phù hợp với giao diện: văn xuôi, các bước, bảng, liên kết, hình ảnh, thẻ sản phẩm hoặc bố cục tạo sinh khác. Sau đó, một lớp trích dẫn liên kết các tuyên bố hoặc đoạn văn với nguồn do sản phẩm lựa chọn.

Hãy tách riêng ba câu hỏi:

1. Nguồn có được truy xuất không? Có thể đã diễn ra một lượt lấy dữ liệu hoặc tạo ứng viên.
2. Nguồn có ảnh hưởng đến câu trả lời không? Ngữ cảnh khả dụng và đường đi tạo sinh có thể không quan sát được.
3. Trích dẫn hiển thị có hỗ trợ tuyên bố được gắn kèm không? Cần kiểm tra nguồn đối chiếu với chính xác câu tuyên bố.

Nghiên cứu về khả năng kiểm chứng của tìm kiếm tạo sinh đã phát hiện vấn đề về độ đầy đủ và mức hỗ trợ của trích dẫn trong các sản phẩm và mẫu năm 2023 được nghiên cứu. Hãy xem những phát hiện đó là một đợt kiểm tra có mốc thời gian, không phải tỷ lệ lỗi vĩnh viễn của hệ thống hiện nay.

Đọc sâu hơn: trích dẫn AI và được truy xuất, được nhắc, được trích dẫn.

8. Độ mới và mốc giới hạn tri thức

“Current” (bản dịch) «hiện hành» là một chuỗi quy trình, không phải công tắc. Câu trả lời có thể bị giới hạn bởi:

• thời điểm nguồn gốc thay đổi;
• thời điểm crawler hoặc trình kết nối lấy nguồn;
• thời điểm chỉ mục hoặc biểu diễn vector được làm mới;
• việc truy xuất có chạy cho yêu cầu này hay không;
• bộ nhớ đệm và lịch cập nhật sản phẩm;
• mốc giới hạn tri thức tham số của mô hình;
• việc mô hình có chọn bằng chứng mới thay vì các mẫu cũ hay không.

Truy xuất có thể cung cấp bằng chứng mới hơn mà không cần huấn luyện lại mô hình ngôn ngữ, nhưng không bảo đảm nguồn mới nhất đã được phát hiện, lập chỉ mục, truy xuất hoặc sử dụng. Luôn kiểm tra ngày và bằng chứng sơ cấp cho các quyết định nhạy cảm với thời gian.

Đọc sâu hơn: độ mới của nội dung và mốc giới hạn tri thức.

9. Tìm kiếm đa phương thức

Truy vấn và bằng chứng không nhất thiết phải là văn bản. Hệ thống có thể tiếp nhận và truy xuất hình ảnh, âm thanh, video, đầu vào camera hoặc tổ hợp giữa phương tiện và văn bản. Hệ thống có thể tạo biểu diễn văn bản và hình ảnh, nhận diện vật thể hoặc cảnh, mở rộng thành các truy vấn con rồi tạo câu trả lời ở nhiều định dạng.

Thông báo chính thức về AI Mode đa phương thức của Google mô tả việc dùng Lens và Gemini để hiểu một hình ảnh, nhận diện các thành phần của nó rồi thực hiện nhiều lượt tìm kiếm liên quan. Nội dung đó mô tả một triển khai và đợt phát hành sản phẩm, không phải tiêu chuẩn chung của mọi công cụ tìm kiếm AI.

Đọc sâu hơn: tìm kiếm đa phương thức.

10. Mức bất định và ảo giác

Mỗi giai đoạn đều có thể tạo ra bất định:

• khâu khám phá bỏ sót nguồn;
• khâu phân tích làm mất ngữ cảnh;
• chunk chia bằng chứng không hợp lý;
• bước phân rã truy vấn đặt sai câu hỏi con;
• truy xuất trả về đoạn có vẻ phù hợp nhưng thực ra không liên quan;
• xếp hạng lại đưa một nguồn không đầy đủ lên cao;
• bản thân nguồn sai hoặc lỗi thời;
• tạo sinh mâu thuẫn, suy rộng quá mức hoặc bịa thêm ngoài bằng chứng;
• vị trí trích dẫn ngụ ý một sự hỗ trợ không tồn tại.

Hồ sơ AI tạo sinh của NIST xem nội dung sai hoặc nhầm lẫn được trình bày một cách tự tin là một rủi ro thường được gọi là bịa đặt. RAG giảm một số dạng lỗi bằng cách cung cấp bằng chứng, nhưng cũng đưa thêm các dạng lỗi riêng trong truy xuất và tích hợp.

Đọc sâu hơn: ảo giác AI và theo dõi ảo giác AI.

Tóm tắt — Hệ thống tìm kiếm AI là một pipeline bằng chứng chịu ràng buộc về độ trễ và ngữ cảnh. Khâu thu thập nguồn tạo một kho dữ liệu có phiên bản; biểu diễn từ vựng, vector, đồ thị và công cụ hỗ trợ tạo ứng viên; lập kế hoạch truy vấn có thể phân nhánh; truy xuất tối ưu độ bao phủ; xếp hạng lại và lắp ráp ngữ cảnh tối ưu độ chính xác cùng mức bao phủ; bộ tạo sinh soạn câu trả lời theo chỉ dẫn; còn lớp quy nguồn ánh xạ các tuyên bố đầu ra trở lại nguồn. Chất lượng phải được đánh giá theo từng giai đoạn vì một câu trả lời cuối trôi chảy không thể cho biết bằng chứng đã mất ở đâu.

Xem tìm kiếm AI như một chuỗi cung ứng bằng chứng

Đầu ra chỉ có thể đáng tin cậy tương ứng với chuỗi đã tạo ra nó. Hãy ghi lại các giai đoạn thành một chuỗi nguồn gốc:

Không có chuỗi nguồn gốc này, “the AI got it wrong” (bản dịch) «AI đã làm sai» không phải là một chẩn đoán.

Thu thập nguồn rộng hơn hoạt động crawl

Crawl web chỉ là một đường thu thập. Tìm kiếm doanh nghiệp và tìm kiếm sản phẩm có thể kết hợp:

• chỉ mục web;
• trình kết nối tài liệu nội bộ;
• cơ sở dữ liệu và API;
• lượt tra cứu knowledge graph;
• feed thương mại, du lịch, địa phương hoặc ngành dọc khác;
• tệp người dùng và tệp đính kèm hội thoại;
• lệnh gọi công cụ trực tiếp.

Mỗi đường có quyền hạn, dấu thời gian, cách loại trùng lặp và nguồn gốc riêng. Một hệ thống có thể truy xuất cùng dữ kiện từ một trang web, feed và đồ thị với thời điểm cập nhật khác nhau. Vì vậy, “the source” (bản dịch) «nguồn» là một bản ghi có phiên bản, không chỉ là URL.

Lập chỉ mục nhiều dạng biểu diễn cho các nhiệm vụ khác nhau

Chỉ mục từ vựng giữ nguyên chuỗi chính xác và thống kê trường. Vector đặc mã hóa độ tương đồng phụ thuộc mô hình. Biểu diễn thưa được học có thể nối một phần hành vi ngữ nghĩa với hành vi từ vựng. Đồ thị giữ các thực thể và quan hệ tường minh. Metadata hỗ trợ bộ lọc, quyền hạn, ngôn ngữ, địa lý, ngày và lớp nguồn.

Không có dạng biểu diễn nào tốt nhất cho mọi trường hợp. Mã định danh sản phẩm chính xác, trích dẫn pháp lý và mã lỗi hưởng lợi từ đối sánh từ vựng. Cách diễn đạt lại và câu hỏi có liên quan về khái niệm có thể hưởng lợi từ truy xuất vector đặc. Các ràng buộc có cấu trúc nên được giữ tường minh thay vì suy ra từ khoảng cách vector.

Nghiên cứu về truy xuất kết hợp là bằng chứng hữu ích rằng tập ứng viên ngữ nghĩa và từ vựng có thể bổ trợ nhau trên một bộ dữ liệu đã kiểm thử. Nó không chứng minh một thiết kế hợp nhất sẽ thắng trên mọi kho dữ liệu.

Lập kế hoạch truy vấn làm thay đổi mục tiêu truy xuất

Một yêu cầu hội thoại có thể chứa nhiều tác vụ, phép so sánh ngầm, ràng buộc thời gian và ngữ cảnh tiếp nối. Việc lập kế hoạch có thể tạo ra:

• một truy vấn độc lập được viết lại;
• ràng buộc về thực thể có tên hoặc ý định;
• truy vấn con cho các khía cạnh riêng;
• lựa chọn loại nguồn hoặc công cụ;
• kế hoạch lặp trong đó bằng chứng sớm kích hoạt lượt truy xuất sau.

Query fan-out được Google ghi nhận là một ví dụ công khai. Bộ xếp hạng ngữ nghĩa của Microsoft Azure AI Search là một ví dụ có tài liệu khác về các biến thể viết lại truy vấn trước khi chấm điểm lại. Không suy diễn kiến trúc toàn nhà cung cấp từ bất kỳ triển khai nào trong hai ví dụ.

Tạo ứng viên và xếp hạng lại có mục tiêu khác nhau

Tạo ứng viên thường đủ rẻ để tìm trên một kho dữ liệu lớn và đủ rộng để giữ độ bao phủ. Xếp hạng lại tốn kém hơn, xem ít mục hơn và có thể đánh giá tương tác truy vấn–tài liệu sâu hơn.

Điều này tạo ra một giới hạn cứng: bộ xếp hạng lại không thể cứu một nguồn phù hợp mà bước truy xuất chưa từng đưa vào. Microsoft ghi rõ rằng bộ xếp hạng ngữ nghĩa của họ xếp hạng lại một tập đầu bảng hiện có thay vì tìm lại toàn bộ kho dữ liệu. Hệ thống khác có thể dùng độ sâu, mô hình và cách truy xuất lặp khác nhau.

Với nhà xuất bản, bài học thực tế không phải “write for a reranker.” (bản dịch) «viết cho bộ xếp hạng lại». Bài học là làm cho dữ kiện quan trọng dễ được khám phá, đủ độc lập để tồn tại sau khi chia chunk, chính xác ở nơi cần độ chính xác và rõ nghĩa mà không tách điều kiện giới hạn khỏi tuyên bố.

Lắp ráp ngữ cảnh là một bài toán phân bổ

Hệ thống có nhiều bằng chứng ứng viên hơn lượng có thể gửi cho bộ tạo sinh. Nó phải phân bổ ngân sách ngữ cảnh hữu hạn cho:

• chỉ dẫn hệ thống và an toàn;
• lịch sử hội thoại;
• định nghĩa và kết quả công cụ;
• nguồn được truy xuất;
• các chủ đề con đa dạng;
• metadata nguồn và dấu trích dẫn;
• không gian cho câu trả lời được tạo.

Loại trùng lặp, độ đa dạng đoạn, thứ tự, nén và cắt bớt có thể thay đổi nội dung mô hình nhìn thấy. Một nguồn có thể xếp hạng cao nhưng mất điều kiện giới hạn quyết định trong lúc chọn đoạn. Đó là lý do truy xuất ở cấp trang và mức hỗ trợ ở cấp câu trả lời là hai việc khác nhau.

Chất lượng grounding có nhiều chiều

Ít nhất hãy đánh giá:

1. Mức liên quan của truy xuất: các ứng viên có trả lời câu hỏi không?
2. Mức bao phủ của truy xuất: chúng có bao phủ mọi câu hỏi con quan trọng không?
3. Chất lượng nguồn: nguồn có đủ thẩm quyền cho tuyên bố và đủ mới không?
4. Độ trung thành: câu trả lời có nằm trong phạm vi bằng chứng được cung cấp không?
5. Tính đúng sự thật: tuyên bố có đúng khi đối chiếu với bằng chứng tham chiếu bên ngoài phù hợp không?
6. Hàm ý trích dẫn: mỗi nguồn được dẫn có hỗ trợ tuyên bố liên quan không?
7. Độ đầy đủ của trích dẫn: các tuyên bố quan trọng có thể kiểm chứng bên ngoài đã được dẫn nguồn chưa?
8. Hiệu chuẩn: câu trả lời có thể hiện bất định khi bằng chứng yếu hoặc xung đột không?

Một câu trả lời có thể trung thành với nguồn xấu mà vẫn sai sự thật. Nó có thể đúng nhờ bộ nhớ mô hình nhưng không được các trích dẫn hiển thị hỗ trợ. Hãy giữ các chiều đánh giá tách biệt.

Trích dẫn là một lớp sản phẩm, không phải bằng chứng nhân quả

Việc tạo trích dẫn có thể diễn ra trong khi tạo câu trả lời, sau khi tạo hoặc qua một lượt căn chỉnh tuyên bố–nguồn riêng. Giao diện công khai thường không cho biết đoạn nào được truy xuất đã vào ngữ cảnh mô hình, ảnh hưởng tới token nào hoặc vì sao một nguồn được ghi công hiển thị.

Vì vậy:

• một yêu cầu từ crawler là bằng chứng của yêu cầu đó, không phải trích dẫn;
• trích dẫn là quy nguồn hiển thị, không phải bằng chứng xếp hạng;
• danh sách nguồn không chứng minh mọi tuyên bố đều được hỗ trợ;
• thương hiệu được nhắc không nhất thiết là nguồn có liên kết;
• lượt nhấp là hành vi người dùng xảy ra sau đó, không phải bằng chứng về cách tạo sinh hoạt động.

Độ mới có nhiều đồng hồ

Theo dõi dấu thời gian riêng cho thời điểm nguồn được xuất bản, nguồn cập nhật, thu thập, phân tích, ghi chỉ mục, tạo embedding, truy xuất, tạo câu trả lời và đánh giá.

Nguồn cũ vẫn có thể đúng. Trang mới được crawl có thể chứa dữ kiện lỗi thời. Một lượt tìm kiếm trực tiếp có thể truy xuất biểu diễn được lưu đệm. Mô hình có mốc tri thức tham số cũ hơn vẫn có thể trả lời từ bằng chứng mới được truy xuất, nhưng lại quay về mẫu cũ khi truy xuất không đầy đủ.

Với câu trả lời nhạy cảm theo thời gian, bộ tạo sinh nên ưu tiên nguồn sơ cấp có ngày, hiển thị ngày hiệu lực, nêu xung đột và từ chối hoặc thêm điều kiện khi bằng chứng không thể giải quyết xung đột.

Truy xuất đa phương thức làm phát sinh vấn đề căn chỉnh

Hệ thống đa phương thức có thể lập chỉ mục hình ảnh và văn bản thành biểu diễn dùng chung hoặc liên kết, dùng mô hình thị giác để nhận diện vùng hay vật thể, chép lời âm thanh, lấy mẫu video và truy xuất xuyên phương thức. Hệ thống phải giữ quan hệ giữa một mục phương tiện, chú thích, trang xung quanh, dấu thời gian, người tạo và quyền đối với nguồn.

Hình ảnh tương tự về thị giác không nhất thiết là bằng chứng cho cùng một dữ kiện. Bản chép lời có thể bỏ qua điều kiện giới hạn trong hình ảnh. Vật thể bị cắt có thể mất bối cảnh toàn cảnh. Hãy đánh giá cả mức liên quan của truy xuất và grounding xuyên phương thức.

Chuyển phần chuyên sâu sang các bài nhánh

Hub này phụ trách kiến trúc từ đầu đến cuối. Các trang sau phụ trách chiều sâu triển khai:

• LLM và token/cửa sổ ngữ cảnh
• query fan-out
• chia chunk và embedding
• tìm kiếm ngữ nghĩa, tìm kiếm vector và tìm kiếm kết hợp
• xếp hạng đoạn văn và xếp hạng lại
• grounding và RAG
• trích dẫn AI
• độ mới và mốc giới hạn tri thức
• tìm kiếm đa phương thức
• ảo giác AI
• AI Overviews cho một ứng dụng dành riêng cho sản phẩm

Góc nhìn dành cho lãnh đạo

Tìm kiếm AI là một chuỗi hệ thống, nhà cung cấp, dữ liệu và quyết định, không phải một mô hình duy nhất. Rủi ro và cơ hội kinh doanh nằm trên toàn bộ chuỗi đó:

• rủi ro bao phủ: nguồn hữu ích vắng mặt hoặc không thể truy cập;
• rủi ro độ mới: đồng hồ nguồn và chỉ mục không phù hợp với quyết định;
• rủi ro truy xuất: bằng chứng liên quan không bao giờ tới mô hình;
• rủi ro tổng hợp: mô hình phóng đại hoặc bóp méo bằng chứng;
• rủi ro quy nguồn: trích dẫn bị thiếu, đặt sai hoặc không hỗ trợ tuyên bố;
• rủi ro đo lường: mức hiển thị, trích dẫn, traffic và chuyển đổi bị gộp làm một;
• rủi ro quản trị: không có chủ sở hữu nào có thể tái hiện hoặc sửa đường đi của câu trả lời.

Không phê duyệt “RAG added” (bản dịch) «đã thêm RAG» như một biện pháp kiểm soát độ chính xác hoàn chỉnh. Hãy yêu cầu đánh giá theo từng giai đoạn, chuỗi nguồn gốc, kiểm soát truy cập, tập kiểm thử có ngày, chuyển cấp cho con người với quyết định có tác động lớn, cùng đường khôi phục khi nguồn hoặc đầu ra sai.

Đối với chiến lược xuất bản, hãy tiếp tục đầu tư vào nội dung có thể crawl, có thể lập chỉ mục, rõ ràng, hiện hành và có nguồn tốt. Google nói rằng tính năng AI của họ không có yêu cầu kỹ thuật bổ sung nào ngoài điều kiện tham gia Search thông thường. Mức hiển thị vẫn là kết quả của sản phẩm, không phải quyền lợi có được nhờ markup.

Cách tìm kiếm AI hoạt động, bản cô đọng

1. Nguồn được crawl, kết nối, tải lên, cấp phép hoặc lấy qua công cụ.
2. Hệ thống phân tích nguồn thành trường có thể tìm, chunk, chỉ mục từ vựng, vector, thực thể và metadata.
3. Truy vấn được diễn giải và có thể được viết lại hoặc phân rã thành truy vấn con.
4. Truy xuất từ vựng, vector, đồ thị hoặc kết hợp tạo ứng viên.
5. Xếp hạng và xếp hạng lại chọn một tập bằng chứng nhỏ hơn, liên quan và đa dạng hơn.
6. RAG/grounding đưa bằng chứng được chọn vào ngữ cảnh hữu hạn của mô hình.
7. Mô hình tạo câu trả lời theo chỉ dẫn sản phẩm và an toàn.
8. Lớp quy nguồn hiển thị trích dẫn hoặc nguồn.
9. Độ mới phụ thuộc vào nhiều đồng hồ nguồn, chỉ mục, truy xuất và mô hình.
10. Mọi giai đoạn đều có thể lỗi; grounded và có trích dẫn không đồng nghĩa với chắc chắn đúng.

Kiến trúc của các nhà cung cấp khác nhau. Tài liệu công khai hỗ trợ một số phần của mô hình này, không hỗ trợ tuyên bố rằng mọi hệ thống thương mại đều triển khai cùng một pipeline.

Nguồn sơ cấp và nguồn nghiên cứu

Tài liệu nền tảng

• Google: Cách Search hoạt động — crawl, lập chỉ mục và phân phối làm nền tảng tìm kiếm web.
• Google: Tính năng AI và website của bạn — query fan-out, liên kết hỗ trợ, điều kiện về chỉ mục/đoạn trích và không có yêu cầu kỹ thuật bổ sung.
• Google: Tìm kiếm đa phương thức trong AI Mode — ví dụ sản phẩm kết hợp hiểu hình ảnh, nhận diện vật thể và fan-out.
• OpenAI: Công cụ tìm kiếm web — truy xuất web hiện hành, trích dẫn và hiển thị nguồn trong một sản phẩm API.
• Microsoft: Tìm kiếm kết hợp — truy xuất văn bản/vector đồng thời và hợp nhất kết quả.
• Microsoft: Bộ xếp hạng ngữ nghĩa — viết lại truy vấn và xếp hạng lại một tập ứng viên hiện có.
• Hồ sơ AI tạo sinh của NIST — khung quản trị rủi ro cho bịa đặt và các rủi ro AI tạo sinh khác.

Nghiên cứu có điều kiện

• Tạo sinh tăng cường truy xuất cho tác vụ NLP cần nhiều tri thức — kiến trúc RAG nền tảng và đánh giá trên các tác vụ được chỉ định.
• Truy xuất kết hợp từ vựng và ngữ nghĩa — bằng chứng truy xuất bổ trợ trên một bộ dữ liệu đã kiểm thử.
• Đánh giá khả năng kiểm chứng trong công cụ tìm kiếm tạo sinh — đợt kiểm tra năm 2023 có mốc thời gian về mức hỗ trợ và độ đầy đủ của trích dẫn; không phải tỷ lệ chung hiện hành.
• Bảy điểm lỗi khi xây dựng hệ thống RAG — bằng chứng dạng báo cáo kinh nghiệm rằng RAG kế thừa các dạng lỗi của truy xuất và mô hình.

Giải thích một hệ thống tìm kiếm AI mà không phóng đại

• Nêu sản phẩm, giao diện, quốc gia, cấp truy cập, ngày và chế độ truy vấn.
• Tách hành vi có tài liệu khỏi kiến trúc tổng quát hoặc suy luận.
• Xác định các đường thu thập nguồn và quy tắc truy cập của chúng.
• Ghi dấu thời gian nguồn, thu thập, chỉ mục, truy xuất và câu trả lời khi có.
• Phân biệt truy xuất tài liệu, truy xuất đoạn, ngữ cảnh mô hình và trích dẫn hiển thị.
• Nêu rõ truy xuất là từ vựng, vector, kết hợp, đồ thị, dựa trên công cụ hay chưa biết.
• Đánh giá truy xuất trước khi đánh giá tạo sinh.
• Kiểm tra từng tuyên bố quan trọng với nguồn được dẫn, không chỉ danh sách nguồn.
• Tách mức hiển thị trích dẫn, traffic giới thiệu và kết quả kinh doanh.
• Kiểm thử bằng chứng xung đột, thiếu, cũ và đối kháng.
• Cung cấp đường từ chối hoặc chuyển cấp khi bằng chứng không đủ.

Khung S-Q-R-G-C

S — Nguồn

Kho dữ liệu, feed, công cụ và phiên bản nào khả dụng? Ai kiểm soát quyền truy cập và độ mới?

Q — Kế hoạch truy vấn

Yêu cầu được diễn giải, viết lại, phân rã, lọc và định tuyến như thế nào?

R — Truy xuất và xếp hạng lại

Những dạng biểu diễn nào tạo ứng viên, và mô hình hoặc quy tắc nào thu hẹp tập đó?

G — Tạo sinh có grounding

Bằng chứng nào đi vào ngữ cảnh, chỉ dẫn nào ràng buộc mô hình và khi nào mô hình nên từ chối trả lời?

C — Trích dẫn và kiểm tra

Các tuyên bố được quy nguồn, xác minh, theo dõi, sửa chữa và đo lường như thế nào?

Dùng khung này để xác định vị trí bằng chứng và quyền sở hữu. Đừng biến nó thành một điểm số giả vờ rằng các phần nội bộ chưa biết đã được quan sát.

Câu trả lời lỗi ở đâu?

Nguồn có thẩm quyền có khả dụng với hệ thống không?

• Không hoặc chưa biết → kiểm tra crawl, trình kết nối, quyền hạn, feed và mức bao phủ chỉ mục.
• Có → tiếp tục.

Đoạn chính xác có được truy xuất cho truy vấn hoặc truy vấn con thực tế không?

• Không → kiểm tra lập kế hoạch truy vấn, chunk, bộ lọc, độ bao phủ từ vựng/vector và độ mới.
• Có → tiếp tục.

Xếp hạng lại và lắp ráp ngữ cảnh có giữ bằng chứng cùng điều kiện giới hạn mang tính quyết định không?

• Không → kiểm tra độ sâu ứng viên, độ đa dạng, cắt bớt, loại trùng lặp và thứ tự.
• Có → tiếp tục.

Câu trả lời có trung thành với bằng chứng được cung cấp không?

• Không → kiểm tra chỉ dẫn, hành vi mô hình, xung đột và logic từ chối trả lời.
• Có → tiếp tục.

Các trích dẫn hiển thị có hàm ý hỗ trợ những tuyên bố được gắn kèm không?

• Không → sửa cách căn chỉnh tuyên bố–nguồn và việc tạo trích dẫn.
• Có → đánh giá tính đúng sự thật, độ đầy đủ, hiệu chuẩn, an toàn và kết quả của người dùng.

Các cách làm sai trong tìm kiếm AI

• “The LLM searched the internet.” (bản dịch) «LLM đã tìm trên internet.» Hãy nêu công cụ tìm kiếm, chỉ mục, trình kết nối hoặc đường thu thập chưa biết thay vì gán mọi giai đoạn cho mô hình.
• “Vector search replaced keywords.” (bản dịch) «Tìm kiếm vector đã thay thế từ khóa.» Truy xuất chính xác và truy xuất ngữ nghĩa giải quyết các vấn đề bao phủ khác nhau; nhiều ví dụ sản phẩm kết hợp cả hai.
• “The top-ranked page becomes the citation.” (bản dịch) «Trang xếp hạng đầu trở thành trích dẫn.» Fan-out, truy xuất đoạn, xếp hạng lại và tạo sinh có thể tạo các tập nguồn khác nhau.
• “RAG eliminates hallucinations.” (bản dịch) «RAG loại bỏ ảo giác.» Truy xuất bổ sung bằng chứng và nguồn gốc nhưng có thể lỗi trước, trong và sau khi tạo sinh.
• “A citation proves support.” (bản dịch) «Một trích dẫn chứng minh sự hỗ trợ.» Hãy đọc đoạn được dẫn và đối chiếu với tuyên bố cụ thể.
• “Live search means current.” (bản dịch) «Tìm kiếm trực tiếp nghĩa là hiện hành.» Đồng hồ nguồn, thu thập, chỉ mục, truy xuất và bộ nhớ đệm có thể khác nhau.
• “All AI search engines use this exact pipeline.” (bản dịch) «Mọi công cụ tìm kiếm AI đều dùng chính xác pipeline này.» Hãy tách dữ kiện riêng của nhà cung cấp khỏi mô hình tư duy tổng quát.
• “One visibility number explains performance.” (bản dịch) «Một con số mức hiển thị giải thích hiệu suất.» Lượt nhắc, trích dẫn, lượt giới thiệu, chuyển đổi và câu trả lời dữ kiện đã sửa là các kết quả khác nhau.

Triệu chứng thường gặp và đường khôi phục

Hệ thống trích dẫn một trang không liên quan

• Xác minh: so sánh truy vấn, đoạn được truy xuất, tuyên bố được gắn và ngày của nguồn.
• Lớp có khả năng gây lỗi: kế hoạch truy vấn, truy xuất, xếp hạng lại hoặc quy nguồn.
• Khôi phục: cải thiện trường/chunk nguồn, kiểm thử truy xuất, xếp hạng lại và căn chỉnh tuyên bố–nguồn.

Nguồn đúng đã được lập chỉ mục nhưng không xuất hiện

• Xác minh: “indexed” (bản dịch) «được lập chỉ mục» trong hệ thống và phiên bản nào? Nguồn có đủ điều kiện cho sản phẩm, bộ lọc, locale và thời điểm này không?
• Lớp có khả năng gây lỗi: biểu diễn truy vấn, độ sâu ứng viên, bộ lọc hoặc xếp hạng lại.
• Khôi phục: tái hiện bằng một tập truy vấn có nhãn và kiểm tra từng giai đoạn; không suy ra hình phạt từ một đầu ra.

Câu trả lời dùng dữ kiện cũ dù có truy xuất trực tiếp

• Xác minh: dấu thời gian cập nhật nguồn, lấy dữ liệu, chỉ mục, bộ nhớ đệm, truy xuất và câu trả lời.
• Lớp có khả năng gây lỗi: metadata độ mới, xếp hạng, chọn ngữ cảnh hoặc quay về tri thức tham số.
• Khôi phục: ưu tiên nguồn sơ cấp có ngày, làm mới biểu diễn, hiển thị ngày và từ chối trả lời khi xung đột chưa được giải quyết.

Có trích dẫn nhưng trích dẫn không hỗ trợ tuyên bố

• Xác minh: đánh giá hàm ý theo từng tuyên bố.
• Lớp có khả năng gây lỗi: tạo sinh hoặc quy nguồn.
• Khôi phục: tạo câu trả lời từ các span bằng chứng tường minh, chạy lượt kiểm tra hỗ trợ riêng và xóa tuyên bố không được hỗ trợ thay vì thêm liên kết gần đó.

Đầu vào đa phương thức tạo sai vật thể hoặc ngữ cảnh

• Xác minh: kiểm tra vùng ảnh được chọn, OCR/bản chép lời, nhãn vật thể, trang xung quanh và truy vấn tiếp nối.
• Lớp có khả năng gây lỗi: cảm nhận, biểu diễn xuyên phương thức, truy xuất hoặc tạo sinh.
• Khôi phục: cho phép người dùng sửa, giữ bối cảnh toàn cảnh và truy xuất văn bản hoặc bằng chứng có cấu trúc để kiểm chứng chéo.

Kiểm thử pipeline theo từng giai đoạn

Kiểm thử độ bao phủ truy xuất

• Xây dựng một tập truy vấn có ngày cùng nguồn và đoạn liên quan đã biết.
• Đo xem bằng chứng kỳ vọng có vào tập ứng viên trước khi xếp hạng lại không.
• Phân nhóm lượt bỏ sót theo thuật ngữ chính xác, cách diễn đạt lại, thực thể, ngày, locale và phương thức.

Kiểm thử xếp hạng lại

• Giữ nguyên tập ứng viên và so sánh xem các đoạn mang tính quyết định có tồn tại trong tập đầu bảng được chọn không.
• Bao gồm câu hỏi nhiều phần, nơi độ đa dạng quan trọng hơn việc lặp lại một nguồn.

Kiểm thử độ trung thành

• Cung cấp cho người đánh giá câu trả lời và chính xác ngữ cảnh đã đưa cho mô hình.
• Đánh dấu các tuyên bố được hỗ trợ, bị phản bác và không được hỗ trợ.
• Kiểm thử xem hệ thống có từ chối khi ngữ cảnh không thể trả lời hay không.

Kiểm thử trích dẫn

• Kiểm tra riêng sự tồn tại, vị trí, hàm ý và độ đầy đủ của trích dẫn.
• Không coi một URL trong danh sách nguồn là bằng chứng hỗ trợ mọi câu trong câu trả lời.

Kiểm thử độ mới và xung đột

• Cập nhật một nguồn được kiểm soát, ghi mọi dấu thời gian của pipeline và quan sát thời điểm dữ kiện mới có thể được truy xuất và sử dụng.
• Cung cấp các nguồn xung đột có ngày và thẩm quyền khác nhau; đánh giá xem câu trả lời có nêu xung đột thay vì trộn chúng hay không.

Kiểm thử đa phương thức

• Dùng hình ảnh hoặc khung hình video có vật thể tương tự nhưng ngữ cảnh khác nhau.
• Xác minh việc chọn vật thể, trích xuất văn bản, truy xuất và quy nguồn ở từng giai đoạn.

Chỉ số giữ các giai đoạn tách biệt

Không bao giờ công bố một ngưỡng “good” (bản dịch) «tốt» chung nếu chưa xác định kho dữ liệu, tập truy vấn, người chấm, phiên bản mô hình, ngày, locale và tác vụ. Theo dõi cùng một hợp đồng đánh giá theo thời gian và thiết lập lại đường cơ sở sau thay đổi đáng kể về mô hình, chỉ mục hoặc sản phẩm.

Tiếp tục khám phá thư viện tìm kiếm AI

Thành phần pipeline

• Query fan-out
• Chia chunk
• Embedding
• Tìm kiếm ngữ nghĩa
• Tìm kiếm vector
• Tìm kiếm kết hợp
• Xếp hạng lại
• Grounding
• Tạo sinh tăng cường truy xuất
• Trích dẫn AI
• Độ mới của nội dung
• Mốc giới hạn tri thức
• Tìm kiếm đa phương thức
• Ảo giác AI

Nguồn sơ cấp và nghiên cứu

• Google: Tính năng AI và website của bạn
• OpenAI: Công cụ tìm kiếm web
• Microsoft: Tìm kiếm kết hợp
• Microsoft: Bộ xếp hạng ngữ nghĩa
• Bài nghiên cứu RAG nền tảng
• Hồ sơ AI tạo sinh của NIST

Bài viết này không tuyên bố kinh nghiệm ngôi thứ nhất của Patrick Stox hay việc triển khai riêng một hệ thống tìm kiếm AI. Nghiên cứu hiện có của Patrick/Ahrefs có thể hữu ích cho kết quả mức hiển thị AI được quan sát, nhưng không được dùng ở đây để khẳng định phần nội bộ chưa công bố của nhà cung cấp.

Tự kiểm tra: cách tìm kiếm AI hoạt động

Nhật ký thay đổi