Panduan Retrieval-Augmented Generation (RAG)

original RAG architecture combined sebuah language model dengan informasi retrieved dari sebuah external indeks selama generation. Evidence for this claim The original RAG paper combined a pretrained sequence-to-sequence model with a non-parametric dense-vector index retrieved during generation. Scope: Lewis et al.'s 2020 RAG architecture and experiments, not every modern retrieval system. Confidence: high · Verified: 2026-07-14 Lewis et al.: Retrieval-Augmented Generation Modern platform documentation menggunakan yang sama broad retrieve-lalu-generate idea. Evidence for this claim Google Cloud describes RAG as retrieving relevant information from external knowledge sources and providing it to a model to improve generated responses. Scope: General RAG architecture in Google Cloud documentation; quality depends on retrieval, source quality, and generation. Confidence: high · Verified: 2026-07-14 Google Cloud: RAG overview

TL;DR — RAG (Retrieval-Augmented Generation) adalah how AI mesin pencari look things up sebelum mereka jawaban. alih-alih replying purely dari memory, sistem pertama retrieves relevant passages dari sebuah search indeks, lalu generates sebuah jawaban berdasarkan what ini ditemukan. itu’s why Google AI Overviews, ChatGPT Search, dan Perplexity dapat cite fresh halaman web — dan why menjadi di indeks masih penting.

What RAG adalah

sebuah model bahasa besar (sebuah LLM, thing behind ChatGPT dan similar alat) learns dari sebuah huge pile dari text selama training. tetapi itu training memiliki sebuah cutoff date, dan model dapat’t possibly memorize everything — so pada -nya own ini either doesn’t know recent atau niche facts, atau ini membuat something up itu sounds right.

RAG fixes itu oleh letting model look things up. When Anda tanyakan sebuah pertanyaan, sebuah RAG sistem melakukan two things di order:

1. Retrieval — ini searches sebuah indeks (like Google’s atau Bing’s) dan pulls back passages sebagian besar relevant untuk Anda pertanyaan.
2. Augmented generation — ini hands itu passages untuk LLM, which writes sebuah jawaban berdasarkan them dan biasanya menampilkan tautan untuk sources.

simplest cara untuk picture ini: alih-alih answering dari memory alone, AI melakukan -nya homework pertama.

sebuah quick contoh

tanyakan sebuah AI mesin pencari “what changed in the latest iPhone?” (terjemahan) “what changed di latest iPhone?” model wasn’t trained pada sebuah product itu launched last week. dengan RAG, ini searches web, retrieves sebuah few recent artikel, dan writes -nya jawaban dari itu — dengan citations Anda dapat click. Without RAG, ini akan either say ini doesn’t know atau guess.

mengapa ini penting untuk Anda

Here’s bagian itu surprises people: RAG doesn’t gunakan separate “AI index.” (terjemahan) “AI indeks.” Google AI Overviews retrieve dari Google’s normal search indeks. ChatGPT Search launched pada Bing’s indeks dan juga runs -nya own crawler (OAI-SearchBot) — OpenAI hasn’t said exactly how two adalah mixed today. Either cara, yang sama basics itu memiliki selalu mattered — menjadi dapat di-crawl, getting terindeks, writing clearly — adalah exactly what decides whether Anda konten dapat menjadi retrieved dan cited di sebuah AI jawaban.

lainnya thing untuk know: RAG reduces wrong jawaban (hallucinations) tetapi doesn’t eliminate them. AI dapat masih misread what ini retrieved. So menjadi clearest, sebagian besar direct source pada sebuah topic genuinely helps.

ingin nyata mechanics — embeddings, chunking, re-peringkat, naive vs. agentic RAG, dan SEO playbook? Switch untuk Advanced tab.

Lewis dan colleagues’ 2020 sistem paired sequence generation dengan dense retrieval dari sebuah non-parametric indeks. Evidence for this claim The original RAG paper combined a pretrained sequence-to-sequence model with a non-parametric dense-vector index retrieved during generation. Scope: Lewis et al.'s 2020 RAG architecture and experiments, not every modern retrieval system. Confidence: high · Verified: 2026-07-14 Lewis et al.: Retrieval-Augmented Generation Google Cloud’s saat ini overview defines RAG more broadly sebagai supplying retrieved external knowledge untuk sebuah model. Evidence for this claim Google Cloud describes RAG as retrieving relevant information from external knowledge sources and providing it to a model to improve generated responses. Scope: General RAG architecture in Google Cloud documentation; quality depends on retrieval, source quality, and generation. Confidence: high · Verified: 2026-07-14 Google Cloud: RAG overview

TL;DR — RAG adalah sebuah two-phase, inference-time pattern: retrieval (temukan relevant passages di sebuah external corpus) lalu augmented generation (feed itu passages untuk sebuah LLM untuk produce sebuah grounded, cited jawaban). weights tidak pernah perubahan — ini combines model’s parametric memory dengan non-parametric memory retrieved live. retrieval phase chains chunking → embeddings → pencarian vektor → re-peringkat → top-k. “Naive” (terjemahan) “Naive” RAG adalah retrieve-lalu-generate; advanced RAG menambahkan kueri rewriting dan re-peringkat; agentic RAG menambahkan iterative, multi-hop retrieval. Retrieval dapat ground jawaban tetapi melakukan not guarantee correctness; di one Gemma evaluation, insufficient context coincided dengan more incorrect jawaban. untuk SEO: there’s no separate AI indeks; crawlability, pengindeksan, dan passage-tingkat clarity adalah prerequisites untuk menjadi retrieved.

two phases (dan why “inference time” (terjemahan) “inference time” adalah whole poin)

Break acronym apart dan Anda memiliki model: Retrieval plus Augmented Generation. sebuah kueri comes di; sistem retrieves paling relevant passages dari sebuah external corpus; ini injects itu passages ke LLM’s context window; LLM generates sebuah jawaban grounded di them.

detail itu everyone gets wrong: ini happens di inference time, dan model’s weights adalah tidak pernah touched. RAG adalah not training dan ini adalah not fine-tuning. original 2020 paper dari Patrick Lewis dan colleagues di Facebook AI Research framed ini sebagai combining two jenis dari memory — parametric memory (knowledge baked ke weights selama training) dan non-parametric memory (knowledge retrieved live dari sebuah indeks). RAG menggunakan both di once. AWS puts practical case plainly: retraining sebuah foundation model untuk fresh atau domain-spesifik knowledge adalah expensive, dan “RAG is a more cost-effective approach to introducing new data to the LLM.” (terjemahan) “RAG adalah sebuah more cost-effective approach untuk introducing baru data untuk LLM.”

( naming, untuk what ini adalah worth, adalah sebuah accident. Lewis later admitted: “We definitely would have put more thought into the name had we known our work would become so widespread… We always planned to have a nicer sounding name, but when it came time to write the paper, no one had a better idea.” (terjemahan) “kami definitely akan memiliki put more thought ke name memiliki kami known kami berfungsi akan become so widespread… kami selalu planned untuk memiliki sebuah nicer sounding name, tetapi when ini came time untuk write paper, no one memiliki sebuah better idea.”)

Inside retrieval phase

“Retrieve the relevant passages” (terjemahan) “Retrieve relevant passages” adalah doing sebuah lot dari berfungsi di itu kalimat. di sebuah nyata sistem ini adalah sebuah pipeline:

1. Chunking. Documents get split ke retrievable pieces. Chunk size adalah sebuah nyata tradeoff — too kecil dan sebuah passage loses -nya context; too besar dan ini floods token budget dengan irrelevance. Strategies range dari fixed token counts (100/256/512) untuk recursive/sliding windows untuk “Small2Big” (terjemahan) “Small2Big” (retrieve sebuah kecil kalimat, kembalikan -nya parent chunk untuk generation).
2. Embeddings. setiap chunk adalah turned ke sebuah dense vector — sebuah numeric representation dari -nya meaning — so similarity adalah computed semantically, not oleh keyword match. ini adalah why konten tentang sebuah topic gets retrieved bahkan when ini doesn’t gunakan exact kueri phrasing.
3. pencarian vektor. kueri adalah embedded too, dan sistem menemukan chunks whose vectors sit closest untuk ini. sebagian besar production stacks run hybrid search — dense vector retrieval plus BM25 keyword search — because setiap catches recall lainnya misses.
4. Re-peringkat. sebuah separate model re-scores candidates oleh relevance untuk kueri dan reorders them, “effectively reducing the overall document pool.” (terjemahan) “effectively reducing overall document pool.” hanya top survivors membuat ini ke context.
5. Top-k ke prompt. best passages adalah concatenated dengan pengguna’s kueri dan handed untuk generator.

Chunking adalah fragile tautan. Anthropic identified itu “traditional RAG solutions remove context when encoding information” (terjemahan) “traditional RAG solusi hapus context when encoding informasi” — sebuah chunk pulled out dari -nya document loses surrounding context itu dibuat ini meaningful. mereka Contextual Retrieval technique (prepending chunk-spesifik context sebelum pengindeksan) reduced failed retrievals oleh 49%, dan oleh 67% combined dengan re-peringkat. itu’s sebuah strong signal itu chunking masalah adalah nyata — dan itu self-berisi, context-rich passages adalah easier untuk retrieve correctly.

Naive, advanced, dan agentic RAG

survey literature (Gao et al., 2023) splits RAG ke sebuah berguna taxonomy:

• Naive RAG — “a traditional process that includes indexing, retrieval, and generation.” (terjemahan) “sebuah traditional process itu mencakup pengindeksan, retrieval, dan generation.” Retrieve top-k once, generate once. ini “struggles with precision and recall, leading to the selection of misaligned or irrelevant chunks.” (terjemahan) “struggles dengan precision dan recall, leading untuk selection dari misaligned atau irrelevant chunks.”
• Advanced RAG — menambahkan “pre-retrieval and post-retrieval strategies.” (terjemahan) “pre-retrieval dan post-retrieval strategies.” Pre-retrieval: kueri rewriting dan better pengindeksan (including HyDE, where model generates sebuah hypothetical jawaban, embeds itu, dan retrieves documents itu look like jawaban alih-alih pertanyaan). Post-retrieval: re-peringkat dan context compression.
• Modular / agentic RAG — model retrieves, alasan tentang what’s masih missing, dan retrieves again, iterating di seluruh multiple hops. ini adalah saat ini state dari AI search. sebagai Michael King put ini: “The retrieve-once-then- generate pattern that defined the first wave is obsolete… Agentic RAG is now the default.” (terjemahan) “ retrieve-once-lalu- generate pattern itu defined pertama wave adalah obsolete… Agentic RAG adalah now default.”

ini penting untuk SEO because konten now memiliki untuk survive multiple retrieval rounds dan contradiction-memeriksa — not hanya sebuah single retrieval pass.

melakukan RAG eliminate hallucinations? No.

RAG dapat ground jawaban di retrieved sources, tetapi LLM dapat masih misread atau di atas-interpret what ini pulled. Google Research (ICLR 2025) documented sebuah counterintuitive hasil di one evaluation: Gemma produced incorrect jawaban pada 10,2% dari pertanyaan dengan no context dan 66,1% dengan insufficient context. researchers report itu models dapat “excel with sufficient context but fail to recognize when context is insufficient.” (terjemahan) “excel dengan sufficient context tetapi fail untuk recognize when context adalah insufficient.” Treat itu sebagai sebuah model- dan evaluation-spesifik warning, not proof itu retrieval universally causes worse jawaban. practical lesson adalah narrower: retrieval quality dan context sufficiency perlu untuk menjadi evaluated alih-alih assumed. Google operationalized finding sebagai sebuah LLM re-ranker di -nya Vertex AI RAG mesin.

RAG vs. fine-tuning

ini get conflated constantly, dan mereka’re fundamentally berbeda:

• RAG retrieves external informasi di kueri time. Weights unchanged. Best untuk fresh/changing informasi, citation requirements, dan cost. survey ditemukan “RAG consistently outperforms [unsupervised fine-tuning], for both existing knowledge encountered during training and entirely new knowledge.” (terjemahan) “RAG consistently outperforms [unsupervised fine-tuning], untuk both existing knowledge encountered selama training dan entirely baru knowledge.”
• Fine-tuning modifies model’s weights di sebuah separate training run. Best untuk changing style dan perilaku, atau teaching stable domain knowledge itu doesn’t perubahan.

Anda’d reach untuk RAG untuk membuat sebuah model know latest facts; Anda’d reach untuk fine-tuning untuk perubahan how ini talks.

RAG di wild: Google, ChatGPT, Perplexity

• Google AI Overviews. Google panggilan RAG “a technique (also known as grounding)… relying on our core Search ranking systems to retrieve relevant, up-to-date web pages from our Search index.” (terjemahan) “sebuah technique (juga known sebagai grounding)… relying pada kami core Search peringkat sistem untuk retrieve relevant, up-untuk-date web halaman dari kami Search indeks.” Two things ikuti. pertama, tidak ada separate AI indeks — “our generative AI features on Google Search are rooted in our core Search ranking and quality systems.” (terjemahan) “kami generative AI fitur pada Google Search adalah rooted di kami core Search peringkat dan quality sistem.” kedua, Google runs kueri fan-out: “concurrent, related queries generated by the model to request more information.” (terjemahan) “concurrent, related kueri generated oleh model untuk permintaan more informasi.” sebuah single pertanyaan dapat spawn multiple sub-kueri, setiap retrieving berbeda konten — so Anda konten memiliki untuk satisfy implied sub-pertanyaan, not hanya head kueri.
• ChatGPT Search. Launched (October 2024) dengan Bing sebagai -nya data partner, dan OpenAI’s own crawler documentation confirms OAI-SearchBot melakukan independent fetching dan pengindeksan untuk search citations, separate dari GPTBot’s training-crawl. OpenAI hasn’t published saat ini retrieval mix antara Bing dan -nya own indeks, dan OpenAI memiliki since positioned ChatGPT Search sebagai sebuah standalone competitor untuk Bing alih-alih sebuah wrapper sekitar ini — so treat “it’s basically Bing” (terjemahan) “ini adalah basically Bing” sebagai sebuah simplification. documented, actionable lever adalah narrower dan more durable: don’t block OAI-SearchBot di robots.txt, because itu’s crawler OpenAI itself names sebagai one itu indeks konten untuk search citations.
• Perplexity. dibangun pada hybrid retrieval (Vespa.ai — BM25 + dense) dengan custom embedding models dan sebuah strict re-peringkat threshold: oleh ketiga-party analysis, hanya top ~30% dari 60-plus retrieved sources survive untuk generation stage, dan “citations are not retrofitted post-generation — they are structurally assigned during context assembly.” (terjemahan) “citations adalah not retrofitted post-generation — mereka adalah structurally assigned selama context assembly.” Deep Research runs agentic loop di seluruh dozens dari searches.

What RAG berarti untuk SEO

Strip away jargon dan playbook adalah concrete:

• menjadi di indeks adalah prerequisite — full stop. No separate AI indeks berarti crawl → indeks → retrieve chain memiliki untuk menjadi intact. jika sebuah halaman dapat’t menjadi di-crawl dan terindeks, ini dapat’t menjadi retrieved ke sebuah AI jawaban. yang sama adalah benar untuk AI mesin itu bangun mereka own pools: AI crawler like OAI-SearchBot dan PerplexityBot memiliki untuk menjadi allowed untuk fetch Anda, atau Anda’re invisible untuk itu jawaban.
• Write self-berisi passages. RAG retrieves fragments, not whole halaman. sebagai iPullRank’s Francine Monahan put ini, AI sistem examine “fragments of pages rather than the page as a whole” (terjemahan) “fragments dari halaman rather daripada halaman sebagai sebuah whole” — so craft “stand-out passages and phrases” (terjemahan) “stand-out passages dan phrases” itu jawaban sebuah spesifik pertanyaan pada mereka own. ini adalah exactly H2/H3 structure dan jelas topic sentences baik SEO sudah rewards. Google explicitly says not untuk chop Anda konten ke tiny pieces untuk AI — well-structured konten chunks well pada -nya own.
• Cover sub-topics. kueri fan-out berarti one pertanyaan dapat trigger banyak retrievals. Depth di seluruh related sub-pertanyaan beats one halaman stuffed sekitar sebuah single keyword.
• Authority drives citation more daripada peringkat position. dari sebuah 8 000-citation analysis: “Strong organic search presence and broad web visibility leads to AI citations, not the other way around” (terjemahan) “Strong pencarian organik presence dan broad web visibilitas leads untuk AI citations, not lainnya cara sekitar” — dan “highly authoritative content from a lower-ranking page” (terjemahan) “highly authoritative konten dari sebuah lower-peringkat halaman” sometimes gets cited di atas sebuah less credible top-peringkat one. My own data lines up (dari my AI Overview citation research): mentions pada heavily-ditautkan halaman adalah strongest predictor dari AI Overview inclusion (ρ ≈ 0,70), dan branded web mentions correlated ~0,66 di seluruh 75 000 brands.
• Fresh konten memiliki sebuah edge. AI citations skew meaningfully fresher daripada organic hasil, so currency penting.

jika Anda ingin one-kalimat versi: RAG didn’t replace SEO — ini raised stakes pada bagian dari SEO itu adalah selalu tentang menjadi findable dan menjadi jelas.

AI summary

sebuah condensed take pada Advanced versi:

• RAG = Retrieval + Augmented Generation. Two phases di inference time: retrieve relevant passages dari sebuah external corpus, lalu feed them untuk sebuah LLM untuk generate sebuah grounded, cited jawaban. ** model’s weights tidak pernah perubahan** — ini adalah not training dan not fine-tuning.
• ini combines two memories: parametric (baked ke weights) + non-parametric (retrieved live). itu’s how AI jawaban cover informasi past training cutoff.
• Retrieval adalah sebuah pipeline: chunking → embeddings → pencarian vektor (sering hybrid dengan BM25) → re-peringkat → top-k passages ke prompt. Chunking adalah fragile tautan; context-rich passages retrieve better (Anthropic cut failed retrievals 49%).
• Three flavors: naive (retrieve-once), advanced (kueri rewriting, HyDE, re-peringkat), dan agentic (iterative multi-hop) — agentic adalah now AI-search default.
• ini reduces, not eliminates, hallucinations. dengan insufficient context, one model’s hallucination rate jumped 10,2% → 66,1% — buruk retrieval dapat beat no retrieval.
• RAG vs. fine-tuning: RAG untuk fresh/changing facts + citations + cost; fine-tuning untuk style/perilaku dan stable knowledge.
• mesin: Google AI Overviews retrieve dari core indeks (no separate AI indeks) dengan kueri fan-out; ChatGPT Search launched pada Bing’s indeks dan juga runs -nya own crawler, OAI-SearchBot — exact saat ini mix isn’t published, so don’t block OAI-SearchBot; Perplexity via hybrid retrieval dengan sebuah strict re-peringkat threshold dan citations assigned selama context assembly.
• SEO: menjadi dapat di-crawl + terindeks adalah prerequisite; write self-berisi passages; cover sub-topics (fan-out); authority/E-E-sebuah-T drives citation more daripada peringkat position; fresh konten memiliki sebuah edge.

Official documentation

Primary-source documentation dan definitions dari providers.

Google

• Google’s Guide untuk Optimizing untuk Generative AI fitur — defines RAG sebagai grounding di atas core Search indeks; covers kueri fan-out.
• AI Overviews dan AI Mode di Search — confirms no additional requirements beyond standard pengindeksan dan snippet eligibility.
• RAG dan grounding pada Vertex AI — Google Cloud’s retrieve-lalu-generate definition (Burak Gokturk).
• Deeper insights ke RAG: role dari sufficient context — Google Research (ICLR 2025) pada insufficient-context failure mode.

Microsoft / Azure

• RAG dan generative AI — Azure AI Search — RAG defined sebagai grounding di proprietary konten; kueri understanding, token constraints, dan move untuk agentic retrieval.

OpenAI

• Overview dari OpenAI crawler — confirms OAI-SearchBot melakukan independent fetching/pengindeksan untuk ChatGPT Search citations, separate dari GPTBot’s training crawl; doesn’t disclose saat ini mix dengan Bing’s indeks.

Anthropic

• Introducing Contextual Retrieval — chunk-context-loss masalah dan sebuah diukur fix (49% / 67% fewer failed retrievals).

AWS

• What adalah Retrieval-Augmented Generation? — clean three-stage explainer dan RAG-vs-retraining cost argument.

Foundational papers

• Retrieval-Augmented Generation untuk Knowledge-Intensive NLP Tasks — Lewis et al., NeurIPS 2020 ( original RAG paper; parametric vs. non-parametric memory).
• Retrieval-Augmented Generation untuk LLMs: sebuah Survey — Gao et al. ( naive / advanced / modular taxonomy, HyDE, re-peringkat).

Quotes dari source

pada—record statements dari providers dan original researchers. Deep tautan jump untuk quoted passage where available.

Google — RAG adalah grounding, di atas core indeks

• “A technique (also known as grounding) used to improve the quality, accuracy, and freshness of AI responses by relying on our core Search ranking systems to retrieve relevant, up-to-date web pages from our Search index.” (terjemahan) “sebuah technique (juga known sebagai grounding) digunakan untuk meningkatkan quality, accuracy, dan freshness dari AI respons oleh relying pada kami core Search peringkat sistem untuk retrieve relevant, up-untuk-date halaman web dari kami Search indeks.” — Google Search Central, AI optimization guide. Jump untuk quote
• “Our generative AI features on Google Search are rooted in our core Search ranking and quality systems.” (terjemahan) “kami generative AI fitur pada Google Search adalah rooted di kami core Search peringkat dan quality sistem.” — Google Search Central, AI optimization guide.

Google Cloud — retrieve-lalu-generate definition

• “Retrieval Augmented Generation (RAG), a technique developed to mitigate these challenges, first ‘retrieves’ facts about a question, then provides those facts to the model before it ‘generates’ an answer – this is what we mean by grounding.” (terjemahan) “Retrieval Augmented Generation (RAG), sebuah technique developed untuk mitigate ini challenges, pertama ‘retrieves’ facts tentang sebuah pertanyaan, lalu menyediakan itu facts untuk model sebelum ini ‘generates’ sebuah jawaban – ini adalah what kami berarti oleh grounding.” — Burak Gokturk, VP & GM, Cloud AI, Google Cloud (June 27, 2024). Jump untuk quote

** original RAG paper — parametric vs. non-parametric memory**

• “retrieval-augmented generation (RAG) — models which combine pre-trained parametric and non-parametric memory for language generation.” (terjemahan) “retrieval-augmented generation (RAG) — models which combine pre-trained parametric dan non-parametric memory untuk language generation.” — Lewis et al., NeurIPS 2020.

Patrick Lewis, lead author — pada name (via NVIDIA Blog, Rick Merritt)

• “We definitely would have put more thought into the name had we known our work would become so widespread.” (terjemahan) “kami definitely akan memiliki put more thought ke name memiliki kami known kami berfungsi akan become so widespread.”
• “We always planned to have a nicer sounding name, but when it came time to write the paper, no one had a better idea.” (terjemahan) “kami selalu planned untuk memiliki sebuah nicer sounding name, tetapi when ini came time untuk write paper, no one memiliki sebuah better idea.” Read coverage

Microsoft — RAG sebagai grounding di Anda konten

• “Retrieval-augmented generation (RAG) is a pattern that extends LLM capabilities by grounding responses in your proprietary content.” (terjemahan) “Retrieval-augmented generation (RAG) adalah sebuah pattern itu extends LLM capabilities oleh grounding respons di Anda proprietary konten.” — Microsoft, Azure AI Search documentation.

Anthropic — chunking masalah

• “traditional RAG solutions remove context when encoding information.” (terjemahan) “traditional RAG solusi hapus context when encoding informasi.” — Anthropic, Contextual Retrieval (Sept 19, 2024). Read post

AWS — RAG vs. retraining

• “Retrieval-Augmented Generation (RAG) is the process of optimizing the output of a large language model, so it references an authoritative knowledge base outside of its training data sources before generating a response.” (terjemahan) “Retrieval-Augmented Generation (RAG) adalah process dari optimizing output dari sebuah model bahasa besar, so ini references sebuah authoritative knowledge base outside dari -nya training data sources sebelum generating sebuah respons.” — AWS.
• “RAG is a more cost-effective approach to introducing new data to the LLM.” (terjemahan) “RAG adalah sebuah more cost-effective approach untuk introducing baru data untuk LLM.” — AWS.

OpenAI — -nya own crawler untuk ChatGPT Search

• “OpenAI uses OAI-SearchBot and GPTBot robots.txt tags to enable webmasters to manage how their sites and content work with AI… a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training.” (terjemahan) “OpenAI menggunakan OAI-SearchBot dan GPTBot robots.txt tags untuk enable webmasters untuk manage how mereka situs dan konten berfungsi dengan AI… sebuah webmaster dapat allow OAI-SearchBot di order untuk appear di hasil pencarian while disallowing GPTBot untuk indicate itu di-crawl konten seharusnya not menjadi digunakan untuk training.” — OpenAI, Overview dari OpenAI crawler. Read docs

Michael King, iPullRank — agentic shift (mesin pencari Land)

• “The retrieve-once-then-generate pattern that defined the first wave is obsolete… Agentic RAG is now the default.” (terjemahan) “ retrieve-once-lalu-generate pattern itu defined pertama wave adalah obsolete… Agentic RAG adalah now default.” Read coverage

RAG cheat sheet

** pipeline, end untuk end**

query → [retrieval: chunk · embed · vector search (+BM25) · re-rank · top-k] → augment (passages into context) → generate (LLM writes grounded, cited answer)

RAG vs. fine-tuning

** three RAG generations**

mesin retrieval pools di sebuah glance

Fast facts

• RAG = Retrieval + sebuahugmented Generation; coined di Lewis et al., 2020.
• ini adalah inference-time — weights tidak pernah perubahan.
• Hallucination isn’t solved: insufficient context took one model dari 10,2% → 66,1%.
• Context-aware chunking cut failed retrievals oleh 49% (67% dengan re-peringkat).
• Don’t pre-”chunk” (terjemahan) “chunk” Anda konten untuk AI — jelas H2/H3 structure chunks well pada -nya own.

mental models

1. Retrieve → Augment → Generate. setiap RAG sistem adalah ini three moves. When sebuah AI jawaban adalah wrong, locate which stage failed: melakukan ini retrieve right passages, melakukan ini pass enough context, atau melakukan model misgenerate dari baik sources? sebagian besar AI-visibilitas masalah adalah retrieval masalah, not generation masalah.

2. Parametric vs. non-parametric memory. model memiliki parametric knowledge (frozen di -nya weights, capped di -nya training cutoff) dan non-parametric knowledge (retrieved live). Publishing konten dapat’t touch weights — tetapi ini dapat feed live retrieval. itu’s entire alasan SEO masih applies untuk AI search.

3. RAG vs. fine-tuning adalah sebuah knowledge-vs-perilaku split. perlu model untuk know baru atau changing facts? RAG. perlu untuk perubahan how ini behaves atau writes? Fine-tuning. Don’t fine-tune untuk tambahkan facts itu perubahan weekly.

4. Retrieval quality adalah bottleneck — dan ini cuts both cara. Better retrieval beats sebuah bigger model. dan insufficient retrieval dapat menjadi worse daripada none. So goal untuk Anda konten isn’t hanya “get retrieved” (terjemahan) “get retrieved” — ini adalah “get retrieved as a sufficient, self-contained passage” (terjemahan) “get retrieved sebagai sebuah sufficient, self-berisi passage” itu lets model jawaban definitively.

5. crawl → indeks → retrieve chain. There’s no separate AI indeks. jika sebuah halaman fails di crawl atau indeks, ini dapat tidak pernah reach retrieval — untuk Google’s RAG atau untuk AI mesin membangun mereka own pools. Fix chain pertama; mengoptimalkan passages kedua.

Test yourself: Retrieval-augmented generation

Resources worth Anda time

My related writing & research

• What kami Actually Know tentang Optimizing untuk LLM Search — Ahrefs’ write-up menggunakan my data: mentions pada heavily-ditautkan halaman adalah strongest predictor dari AI Overview inclusion (ρ ≈ 0,70).
• Generative mesin Optimization — SEO respons untuk sebuah RAG-powered search landscape.
• GEO? AEO? LLMO? What’s dengan semua ini AI SEO Stuff? — my Ahrefs Evolve 2025 talk pada AI search landscape dan why pengindeksan prerequisite hasn’t changed.

** foundational papers**

• Retrieval-Augmented Generation untuk Knowledge-Intensive NLP Tasks — Lewis et al., 2020 ( origin).
• RAG untuk LLMs: sebuah Survey — Gao et al. ( naive/advanced/modular taxonomy).

dari others

• How AI mesin pencari berfungsi — Ryan Law (Ahrefs) pada RAG sebagai grounding mechanism.
• Google AI Overviews: semua Anda perlu Know — Ong & Law (Ahrefs) pada RAG di atas core indeks.
• What adalah Retrieval-Augmented Generation? — NVIDIA (mencakup Lewis naming anecdote).
• How Retrieval-Augmented Generation adalah Redefining SEO — Francine Monahan, iPullRank (passage-tingkat optimization).
• Beyond RAG: why setiap AI search platform adalah now agentic — Michael King, mesin pencari Land.
• How Perplexity AI jawaban berfungsi — Ishtiaque Ahmed, sebuah technical breakdown dari retrieval/peringkat/citation pipeline.
• cara get cited oleh AI: SEO insights dari 8 000 AI citations — James Allen, mesin pencari Land; authority dan E-E-sebuah-T drive AI citations more daripada peringkat position.
• How Perplexity menggunakan Vespa.ai — Vespa.ai’s pertama-party account dari Perplexity’s hybrid BM25 + dense retrieval architecture.
• Retrieval-augmented generation — Wikipedia — berguna reference overview; covers RAG poisoning dan hallucination caveat.

Stats worth citing

• 10,2% → 66,1% hallucination jump — one model’s hallucination rate dengan insufficient retrieved context vs. no context di semua; buruk retrieval dapat beat no retrieval. Google Research, ICLR 2025. Source
• 49% fewer failed retrievals dari context-aware chunking (Contextual Embeddings), rising untuk 67% when combined dengan re-peringkat. Anthropic, 2024. Source
• ρ ≈ 0,70 — mentions pada heavily-ditautkan halaman adalah strongest predictor dari Google AI Overview inclusion di my research; branded web mentions correlated ~0,66 di seluruh 75 000 brands. Source
• ~30% survival rate — oleh ketiga-party analysis, hanya roughly top 30% dari 60+ retrieved sources jelas Perplexity’s re-peringkat threshold ke generation stage. Source
• RAG > unsupervised fine-tuning untuk knowledge tasks — “for both existing knowledge encountered during training and entirely new knowledge.” (terjemahan) “untuk both existing knowledge encountered selama training dan entirely baru knowledge.” Source

Log perubahan