Ngôn ngữ

Vibe Xếp hạng

Điều gì 'vibe xếp hạng' thực sự có nghĩa là — LLM-based reranking, đó hai-stage retrieval pipeline, điều gì Google và Bing thực ra làm, và cách optimize cho điều này.

Xuất bản lần đầu: 24 thg 6, 2026 · Cập nhật lần cuối: 8 thg 8, 2026 · Advanced
Ngôn ngữ
AIĐược viết bởiAI v2

"Vibe ranking" _(bản dịch)_ «Vibe xếp hạng» là practitioner shorthand — không an chính thức Google hoặc Bing term — cho LLM-based reranking: dùng một lớn language model để reorder retrieved tìm kiếm candidates by holistic, semantic judgment thay vì từ khóa overlap hoặc thô vector similarity. Đó real mechanism behind điều này là đó hai-stage retrieval pipeline (retrieve nhiều candidates cheaply, thì rerank một nhỏ set với an expensive model) và three reranking paradigms (pointwise, pairwise, listwise). Google DOJ-disclosed RankEmbed và pairwise patent, plus Bing Web IQ và Google được ghi lại Passage xếp hạng hệ thống, xác nhận LLMs và passage-cấp độ scoring là hiện tại deep trong xếp hạng — though neither vendor tiết lộ đó scoring function. Đó SEO takeaway: clear, có thẩm quyền, well-structured, factually grounded prose là defensible practice dưới an LLM reranker, không một guaranteed win.

TL;DR — “Vibe ranking” (bản dịch) «Vibe xếp hạng» là informal practitioner shorthand (by analogy với “vibe coding”) cho LLM-based reranking — không an chính thức Google hoặc Bing term. Đó real mechanism là đó hai-stage retrieval pipeline: cheap đầu tiên-stage retrieval (BM25 / bi-encoders) cho recall, thì an expensive second-stage reranker cho precision. LLM rerankers come trong three flavors — pointwise, pairwise, listwise — với pairwise và listwise outperforming pointwise trong đó research. Google DOJ-disclosed RankEmbed (LLM-trained) và một pairwise patent, plus Bing Web IQ passage-cấp độ evidence objects, xác nhận LLMs là deep trong xếp hạng — though neither xác nhận một discrete “LLM reranker” (bản dịch) «LLM reranker» stage by đó name. Đó SEO consequence là đó passage-cấp độ shift: của bạn paragraph competes so với các đối thủ’ paragraphs on holistic quality.

MỘT note on đó term trước we bắt đầu

Này bài viết dùng “vibe ranking” (bản dịch) «vibe xếp hạng» as editorial shorthand cho learned reranking dựa trên rộng relevance các tín hiệu; readers không nên treat điều này as một named tìm kiếm-hệ thống tiêu chuẩn. Evidence for this claim Vibe ranking is used in this article as informal editorial shorthand, not as a standardized research or vendor term. Scope: Terminology boundary for this article; the cited research supports retrieve-then-rerank architectures, not the phrase vibe ranking. Confidence: medium · Verified: Reimers and Gurevych: Sentence-BERT Research on sentence embeddings và cross-encoders hỗ trợ đó rộng hơn hai-stage retrieval và reranking architecture. Evidence for this claim Sentence-BERT research describes efficient bi-encoder retrieval and cross-encoder-style pair scoring, supporting a retrieve-then-rerank pattern. Scope: The paper's evaluated models and datasets; production ranking stacks may use different candidates, models, and signals. Confidence: high · Verified: Reimers and Gurevych: Sentence-BERT

Let me là upfront, vì I’d rather coin một hữu ích frame honestly hơn pretend đây là chính thức: “vibe ranking” (bản dịch) «vibe xếp hạng» không phải một term Google, Bing, hoặc bất kỳ công cụ tìm kiếm dùng. Điều này không xuất hiện trong của họ tài liệu, patents, hoặc engineer statements. đây là emerging practitioner shorthand, gần như certainly borrowed by analogy từ vibe coding (coined by Andrej Karpathy trong February 2025, popular đủ để become Collins Dictionary Word of đó Năm cho 2025).

I’m dùng điều này anyway vì đây là một good metaphor cho một real, well-được ghi lại mechanism — đó formal name cho mà là LLM-based reranking (cũng: neural reranking, passage reranking, pairwise/listwise xếp hạng). Đó “vibe” captures đó key khác biệt: an LLM đọc một passage holistically, như một human judge, rather hơn computing một similarity score từ surface features. Chỉ không quote điều này lại để me as điều gì đó Google đã nói. Điều này không.

Đó hai-stage retrieval pipeline

Này là đó part đó là đã đúng trong thời gian dài, well trước LLMs. Retrieval chạy trong hai stages vì bạn không thể afford để làm đó expensive điều để mọi thứ:

  • Stage 1 — retrieval (recall). MỘT fast, cheap phương thức — từ khóa matching với BM25, hoặc một bi-encoder đó turns các truy vấn và documents vào vectors — pulls lại một lớn candidate set (top 100–1000) trong milliseconds. Cheap, nhưng imprecise.
  • Stage 2 — reranking (precision). MỘT chậm hơn, hơn chính xác model re-scores đó nhỏ candidate set để tìm đó genuinely best handful. Này được dùng để là một cross-encoder; hiện tại điều này có thể là an LLM.

Vì sao bother với hai stages? Vì đó precise phương thức không quy mô. As Pinecone diễn đạt điều này, đang chạy BERT over 40M records on một GPU sẽ take “more than 50 hours,” (bản dịch) «hơn 50 hours,» versus dưới 100ms với vector tìm kiếm alone. Bạn retrieve broadly với đó cheap tool, thì spend đó expensive compute chỉ on đó survivors. Và cho AI các câu trả lời cụ thể, điều này matters twice over: “LLM recall degrades as we put more tokens in the context window.” (bản dịch) «LLM recall degrades as we put hơn tokens trong đó context window.» Feeding đó generator đó best 5 passages beats dumping 200 mediocre ones vào đó prompt.

Bi-encoder so với cross-encoder so với LLM, since này là đó toàn bộ spectrum:

  • Bi-encoders embed đó query và đó document riêng, so document vectors có thể là precomputed. Fast tại query time, nhưng they lose đó query↔document interaction.
  • Cross-encoders chạy đó query và document together qua một transformer. Far hơn chính xác, far chậm hơn — bạn không thể precompute.
  • LLM rerankers là đó cross-encoder ý tưởng taken để đó extreme: đầy đủ generative understanding, reasoning về relevance, quality, và tính đầy đủ — tại đó highest cost và latency of đó three.

Đó three reranking paradigms

Này là đó cốt lõi of “how LLMs actually rerank,” (bản dịch) «cách LLMs thực ra rerank,» và đây là nơi đó academic literature là solid. Có three ways để ask an LLM để xếp hạng:

  • Pointwise — score mỗi passage independently (“how relevant is this passage, 0–1?” (bản dịch) «cách relevant là này passage, 0–1?»). Đơn giản, parallelizable, nhưng LLMs là bad tại producing calibrated absolute scores, và đây là đó hầu hết expensive theo unit of quality.
  • Pairwise — cho thấy đó model hai passages và ask mà là tốt hơn cho đó query. Chạy twice với đó order đã đổi để cancel position bias. Này plays để một real LLM strength: as đó Pairwise Xếp hạng Prompting (PRP) authors put điều này, LLMs có “a sense of pairwise relative comparisons, which is much simpler than requiring calibrated pointwise relevance estimation.” (bản dịch) «một hợp lý of pairwise relative comparisons, mà là nhiều simpler hơn requiring calibrated pointwise relevance estimation.»
  • Listwise — hand đó model đó toàn bộ set và ask điều này để output một được xếp hạng permutation tại khi. Này là đó hầu hết “vibe-như” approach: một holistic judgment over đó set. RankGPT làm này với một sliding window over đó candidates.

Đó research consensus là đó pointwise là đó yếu option và pairwise/listwise win. ZeroEntropy benchmarking là blunt: “Pointwise LLM reranking is almost never worth it — 10x the cost and lower accuracy than specialized rerankers.” (bản dịch) «Pointwise LLM reranking là gần như không bao giờ worth điều này — 10x đó cost và thấp hơn độ chính xác hơn specialized rerankers.» Listwise LLM reranking có thể beat specialized cross-encoders, nhưng tại một steep latency/cost premium (của họ numbers: một listwise LLM tại NDCG@10 0,78 / 420ms / ~9x cost so với một specialized reranker tại 0,74 / 12ms).

Hai landmark kết quả worth knowing:

  • RankGPT (Sun et al., EMNLP 2023, “Is ChatGPT Good at Search?” (bản dịch) «Là ChatGPT Good tại Tìm kiếm?») showed đó “properly instructed LLMs can deliver competitive, even superior results to state-of-the-art supervised methods” (bản dịch) «properly instructed LLMs có thể deliver competitive, ngay cả superior kết quả để state-of-đó-art supervised các phương thức» — zero-shot. GPT-4 produced “remarkable results” (bản dịch) «remarkable kết quả» on TREC benchmarks, và đó authors distilled đó xếp hạng ability vào một nhiều nhỏ hơn model đó beat một 3B supervised baseline.
  • PRP (Qin et al.) showed FLAN-UL2 (20B) với pairwise prompting beating InstructGPT (175B) by >10% on TREC-DL2019 — và đang far hơn robust để input order hơn listwise RankGPT, mà collapsed từ NDCG@10 65,80 để 32,77 khi đó input order đã là reversed.

Điều gì Google và Bing là thực ra đang làm

Ở đây nơi I tách biệt confirmed từ speculation, vì đó khoảng trống matters.

Google — confirmed LLMs là trong xếp hạng; “reranker stage” (bản dịch) «reranker stage» unconfirmed.

  • RankEmbed là, theo DOJ antitrust testimony từ Pandu Nayak (disclosed sớm 2025, reported qua Search Engine Land), một “primary Google signal, trained with Large Language Models.” (bản dịch) «chính Google tín hiệu, trained với Lớn Language Models.» đây là một dual-encoder đó maps các truy vấn và các trang vào an embedding space và ranks by distance. Note: này là an LLM-trained retrieval/tín hiệu xếp hạng, không một discrete hai-stage “reranker” by đó academic definition. (DOJ trial testimony — court-disclosed, không một Google publication.)
  • Đó pairwise patent (US20250124067A1, “Method for Text Ranking with Pairwise Ranking Prompting,” (bản dịch) «Phương thức cho Text Xếp hạng với Pairwise Xếp hạng Prompting,» Google LLC, filed Oct 2024, published Apr 2025) mô tả chính xác đó pairwise approach trên: an LLM compares passage pairs, chạy twice cho position bias, được tổng hợp qua all-pairs, sliding window, hoặc sorting. MỘT patent là không một deployed feature — treat này as architecture Google có worked on, không confirmed production behavior.
  • MỘT passage-cấp độ xếp hạng hệ thống là officially được ghi lại — chỉ không đó quote này bài viết được dùng để cite. Google own hướng dẫn để Tìm kiếm xếp hạng các hệ thống lists một “Passage ranking system,” (bản dịch) «Passage xếp hạng hệ thống,» described ở đó as an AI hệ thống “we use to identify individual sections or ‘passages’ of a web page to better understand how relevant a page is to a search.” (bản dịch) «we dùng để identify riêng lẻ sections hoặc ‘passages’ of một web trang để tốt hơn understand cách relevant một trang là để một tìm kiếm.» đó là real, hiện tại sub-document granularity — nhưng Google text ties điều này để chung Tìm kiếm relevance, không để Gemini hoặc AI Overviews by name. (I checked đó AI Optimization Hướng dẫn trực tiếp by thô fetch, including một Wayback snapshot từ đó day này brief đã là researched — điều này contains không mention of “Gemini” hoặc “passage” tại all. An trước đó draft of này bài viết quoted một “Gemini… passage indexing” (bản dịch) «Gemini… passage lập chỉ mục» line as nếu điều này đã là on đó trang; điều này không và không bao giờ đã là. Đó đã là my lỗi, và I’ve corrected điều này ở đây.)

Điều gì Google có không published: bất kỳ mô tả of một distinct LLM reranking stage bên trong AI Overviews — không cross-encoder, không pairwise step, không listwise truyền confirmed trong đó trực tiếp pipeline, và không có gì đó names passage xếp hạng as part of đó pipeline cụ thể.

Bing — đó clearest chính thức xác nhận of passage-cấp độ, LLM-aware scoring.

Microsoft Web IQ (announced June 2026, Knut Risvik) là đó strongest on-record tín hiệu từ bất kỳ major engine. Của nó model layer bao gồm “our best-in-class embedding model, which defines how information is projected into a space where semantic similarity becomes computationally tractable,” (bản dịch) «của chúng ta best-trong-class embedding model, mà defines cách information là projected vào một space nơi semantic similarity becomes computationally tractable,» alongside tách biệt “models that are optimized for content understanding and ranking, trained not for isolated metrics but for how their outputs are used inside LLM-driven reasoning.” (bản dịch) «models đó là optimized cho nội dung understanding và xếp hạng, trained không cho isolated các chỉ số nhưng cho cách của họ outputs là dùng bên trong LLM-driven reasoning.» Đó cuối cùng phrase là về as close as anyone có come để officially confirming an LLM-aware reranking layer. Web IQ trả về passages và structured evidence objects, không đầy đủ documents, on đó principle of “fewer tokens in, better answers out, lower cost per call.” (bản dịch) «ít hơn tokens trong, tốt hơn các câu trả lời out, thấp hơn cost theo call.»

Bing trước đó “Evolving role of the index” (bản dịch) «Evolving role of đó chỉ mục» post (Có thể 2026) frames đó shift well: “Search indexing was built to help humans decide what to read. Grounding indexing is being built to help AI systems decide what to say.” (bản dịch) «Tìm kiếm lập chỉ mục đã là được xây dựng để help humans decide điều cần đọc. Grounding lập chỉ mục là đang được xây dựng để help AI các hệ thống decide điều cần chẳng hạn.»

Đó passage-cấp độ shift — đó part đó thực ra thay đổi của bạn SEO

Nếu bạn take một operational điều từ này bài viết, take này: đó unit of competition là moving từ đó document để đó passage. Google được ghi lại passage xếp hạng hệ thống và Bing evidence objects cả hai score discrete chunks. Combine đó với pairwise reranking, và của bạn riêng lẻ paragraph là đang compared head-để-head so với một đối thủ paragraph on đó giống nhau sub-topic.

Đó Search Engine Land cách diễn đạt of đó Google patent captures đó consequence: nội dung “doesn’t compete in isolation but undergoes relative evaluation against all surviving candidates.” (bản dịch) «không compete trong isolation nhưng undergoes relative evaluation so với all surviving candidates.» MỘT great trang với một yếu paragraph on một sub-topic có thể lose đó sub-topic để một weaker trang với một mạnh paragraph. Này là cũng vì sao đó modern agentic loop matters hơn bất kỳ single xếp hạng moment: AI tìm kiếm fans một câu hỏi out vào nhiều sub-các truy vấn, retrieves và reranks cho mỗi, và chạy một critic truyền. Nội dung của bạn có để survive repeatedly, không xếp hạng #1 khi.

Worth đang precise về: clear, self-contained passages là một defensible usability và retrieval practice regardless — họ là easier cho bất kỳ retriever để match và bất kỳ reader để dùng. Nhưng không nguồn ở đây proves một well-được viết passage universally wins bên trong an undisclosed reranker. Google và Bing xác nhận đó architecture operates tại passage granularity; neither publishes đó scoring function. Treat “write good passages” (bản dịch) «ghi good passages» as sound practice, không một guaranteed xếp hạng lever.

Này connects trực tiếp để đó rest of cách AI các câu trả lời nhận được xây dựng — passage xếp hạng, chunking, embeddings, vector tìm kiếm, và RAG/grounding là all upstream và downstream of đó reranking step.

Điều gì LLM rerankers favor (và đó honest caveat)

Synthesizing đó PRP research và practitioner analysis of đó pairwise patent, đó nội dung đó wins relative comparisons tends để share những traits:

  • Trực tiếp intent match — các câu trả lời đó query không có tangential padding.
  • Semantic tính đầy đủ — addresses all components of đó câu hỏi.
  • Factual density với clear provenance — checkable claims, có thể gán sources.
  • Clear, logically organized writing — structure đó model có thể follow.
  • Có thẩm quyền, trustworthy tone — và genuine subject expertise behind điều này.

Luca Tagliaferro đọc on đó patent sums lên đó mental shift: xếp hạng moves từ “absolute, deterministic relevance to relative, model-mediated probabilistic relevance.” (bản dịch) «absolute, deterministic relevance để relative, model-mediated probabilistic relevance.»

Đó caveat I sẽ không skip: có không single universal “vibe.” Research diagnosing LLM rerankers dưới fixed evidence pools được tìm thấy they exhibit “model-specific, non-uniform behavior that cannot be reduced to a single recognizable optimization strategy.” (bản dịch) «model-cụ thể, non-uniform behavior đó không thể là reduced để một single recognizable optimization strategy.» Llama implicitly diversifies; GPT increases redundancy; Qwen sits trong giữa. họ là cũng không lexical matchers — BM25 agreement đã là yếu (τ từ ~0,19 để ~0,41). So “optimize for the AI’s vibe” (bản dịch) «optimize cho đó AI vibe» là an oversimplification: bạn optimize cho genuinely clear, hoàn tất, well-sourced passages, vì đó là điều gì holds lên trên models — không cho một model quirks.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.