Panduan Retrieval-Augmented Generation (RAG)

original RAG architecture combined sebuah language model dengan informasi retrieved dari sebuah external indeks selama generation. Bukti untuk klaim ini The original RAG paper combined a pretrained sequence-to-sequence model with a non-parametric dense-vector index retrieved during generation. Cakupan: Lewis et al.'s 2020 RAG architecture and experiments, not every modern retrieval system. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Lewis et al.: Retrieval-Augmented Generation Modern platform documentation menggunakan yang sama broad retrieve-lalu-generate idea. Bukti untuk klaim ini Google Cloud describes RAG as retrieving relevant information from external knowledge sources and providing it to a model to improve generated responses. Cakupan: General RAG architecture in Google Cloud documentation; quality depends on retrieval, source quality, and generation. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google Cloud: RAG overview

TL;DR — RAG (Retrieval-Augmented Generation) adalah bagaimana AI mesin pencari look hal up sebelum mereka jawaban. alih-alih replying purely dari memory, sistem pertama retrieves relevant passages dari sebuah penelusuran indeks, lalu generates sebuah jawaban berdasarkan apa ini ditemukan. itu’s mengapa Google AI Overviews, ChatGPT Penelusuran, dan Perplexity dapat cite fresh halaman web — dan mengapa menjadi di indeks masih penting.

Apa RAG adalah

sebuah model bahasa besar (sebuah LLM, hal behind ChatGPT dan similar alat) learns dari sebuah huge pile dari text selama training. tetapi itu training memiliki sebuah cutoff date, dan model dapat’t possibly memorize semuanya — so pada -nya own ini either tidak know recent atau niche facts, atau ini membuat sesuatu up itu sounds right.

RAG memperbaiki itu oleh letting model look hal up. Ketika Anda tanyakan sebuah pertanyaan, sebuah RAG sistem melakukan dua hal di order:

1. Retrieval — ini searches sebuah indeks (like Google’s atau Bing’s) dan pulls back passages sebagian besar relevant untuk Anda pertanyaan.
2. Augmented generation — ini hands itu passages untuk LLM, yang menulis sebuah jawaban berdasarkan them dan biasanya menampilkan tautan untuk sources.

simplest cara untuk picture ini: alih-alih answering dari memory alone, AI melakukan -nya homework pertama.

sebuah quick contoh

tanyakan sebuah AI mesin pencari “apa changed di itu latest iPhone?” (terjemahan) “apa changed di latest iPhone?” model tidak trained pada sebuah product itu launched terakhir week. dengan RAG, ini searches web, retrieves sebuah sedikit recent artikel, dan menulis -nya jawaban dari itu — dengan citations Anda dapat click. Tanpa RAG, ini akan either say ini tidak know atau guess.

mengapa ini penting untuk Anda

Di sini’s bagian itu surprises orang: RAG tidak gunakan terpisah “AI index.” (terjemahan) “AI indeks.” Google AI Overviews retrieve dari Google’s wajar penelusuran indeks. ChatGPT Penelusuran launched pada Bing’s indeks dan juga berjalan -nya own crawler (OAI-SearchBot) — OpenAI hasn’t mengatakan persis bagaimana dua adalah mixed hari ini. Either cara, yang sama basics itu memiliki selalu mattered — menjadi dapat di-crawl, getting terindeks, writing dengan jelas — adalah persis apa decides apakah Anda konten dapat menjadi retrieved dan cited di sebuah AI jawaban.

lainnya hal untuk know: RAG reduces wrong jawaban (hallucinations) tetapi tidak eliminate them. AI dapat masih misread apa ini retrieved. So menjadi clearest, sebagian besar direct sumber pada sebuah topic genuinely helps.

ingin nyata mechanics — embeddings, chunking, re-peringkat, naive vs. agentic RAG, dan SEO playbook? Switch untuk Advanced tab.

Lewis dan colleagues’ 2020 sistem paired sequence generation dengan dense retrieval dari sebuah non-parametric indeks. Bukti untuk klaim ini The original RAG paper combined a pretrained sequence-to-sequence model with a non-parametric dense-vector index retrieved during generation. Cakupan: Lewis et al.'s 2020 RAG architecture and experiments, not every modern retrieval system. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Lewis et al.: Retrieval-Augmented Generation Google Cloud’s saat ini overview defines RAG lebih broadly sebagai supplying retrieved external knowledge untuk sebuah model. Bukti untuk klaim ini Google Cloud describes RAG as retrieving relevant information from external knowledge sources and providing it to a model to improve generated responses. Cakupan: General RAG architecture in Google Cloud documentation; quality depends on retrieval, source quality, and generation. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google Cloud: RAG overview

TL;DR — RAG adalah sebuah dua-phase, inference-time pattern: retrieval (temukan relevant passages di sebuah external corpus) lalu augmented generation (feed itu passages untuk sebuah LLM untuk produce sebuah grounded, cited jawaban). weights tidak pernah perubahan — ini combines model’s parametric memory dengan non-parametric memory retrieved langsung. retrieval phase chains chunking → embeddings → pencarian vektor → re-peringkat → top-k. “Naive” (terjemahan) “Naive” RAG adalah retrieve-lalu-generate; advanced RAG menambahkan kueri rewriting dan re-peringkat; agentic RAG menambahkan iterative, multi-hop retrieval. Retrieval dapat ground jawaban tetapi melakukan tidak jaminan correctness; di satu Gemma evaluation, insufficient context coincided dengan lebih incorrect jawaban. untuk SEO: ada Tidak terpisah AI indeks; crawlability, pengindeksan, dan passage-tingkat clarity adalah prerequisites untuk menjadi retrieved.

dua phases (dan mengapa “inference time” (terjemahan) “inference time” adalah seluruh poin)

Break acronym apart dan Anda memiliki model: Retrieval plus Augmented Generation. sebuah kueri muncul di; sistem retrieves paling relevant passages dari sebuah external corpus; ini injects itu passages ke LLM’s context window; LLM generates sebuah jawaban grounded di them.

detail itu everyone mendapatkan wrong: ini happens di inference time, dan model’s weights adalah tidak pernah touched. RAG adalah tidak training dan ini adalah tidak fine-tuning. original 2020 paper dari Patrick Lewis dan colleagues di Facebook AI Research dibingkai ini sebagai combining dua jenis dari memory — parametric memory (knowledge baked ke weights selama training) dan non-parametric memory (knowledge retrieved langsung dari sebuah indeks). RAG menggunakan keduanya di setelah. AWS puts practical case plainly: retraining sebuah foundation model untuk fresh atau domain-spesifik knowledge adalah expensive, dan “RAG is a more cost-effective approach to introducing new data to the LLM.” (terjemahan) “RAG adalah sebuah lebih cost-effective approach untuk introducing baru data untuk LLM.”

( naming, untuk apa ini adalah worth, adalah sebuah accident. Lewis kemudian admitted: “We definitely would have put more thought into the name had we known our work would become so widespread… We always planned to have a nicer sounding name, but when it came time to write the paper, no one had a better idea.” (terjemahan) “kami definitely akan memiliki put lebih thought ke name memiliki kami known kami berfungsi akan become so widespread… kami selalu planned untuk memiliki sebuah nicer sounding name, tetapi ketika ini came time untuk tulis paper, Tidak satu memiliki sebuah better idea.”)

Di dalam retrieval phase

“Retrieve the relevant passages” (terjemahan) “Retrieve relevant passages” adalah melakukan sebuah lot dari berfungsi di itu kalimat. di sebuah nyata sistem ini adalah sebuah pipeline:

1. Chunking. Documents mendapatkan split ke retrievable pieces. Chunk size adalah sebuah nyata tradeoff — too kecil dan sebuah passage loses -nya context; too besar dan ini floods token budget dengan irrelevance. Strategies range dari fixed token counts (100/256/512) untuk recursive/sliding windows untuk “Small2Big” (terjemahan) “Small2Big” (retrieve sebuah kecil kalimat, kembalikan -nya parent chunk untuk generation).
2. Embeddings. setiap chunk adalah turned ke sebuah dense vector — sebuah numeric representation dari -nya meaning — so similarity adalah computed semantically, tidak oleh keyword match. ini adalah mengapa konten tentang sebuah topic mendapatkan retrieved bahkan ketika ini tidak gunakan tepat kueri phrasing.
3. pencarian vektor. kueri adalah embedded too, dan sistem menemukan chunks milik siapa vectors sit closest untuk ini. sebagian besar production stacks jalankan hybrid penelusuran — dense vector retrieval plus BM25 keyword penelusuran — karena setiap catches recall lainnya misses.
4. Re-peringkat. sebuah terpisah model re-scores candidates oleh relevance untuk kueri dan reorders them, “effectively reducing itu overall document pool.” (terjemahan) “effectively reducing overall document pool.” hanya top survivors membuat ini ke context.
5. Top-k ke prompt. best passages adalah concatenated dengan pengguna’s kueri dan handed untuk generator.

Chunking adalah fragile tautan. Anthropic identified itu “tradisional RAG solutions remove context ketika encoding information” (terjemahan) “tradisional RAG solusi hapus context ketika encoding informasi” — sebuah chunk pulled out dari -nya document loses sekitarnya context itu dibuat ini bermakna. mereka Contextual Retrieval technique (prepending chunk-spesifik context sebelum pengindeksan) reduced failed retrievals oleh 49%, dan oleh 67% combined dengan re-peringkat. itu’s sebuah strong sinyal itu chunking masalah adalah nyata — dan itu self-berisi, context-rich passages adalah easier untuk retrieve correctly.

Naive, advanced, dan agentic RAG

survey literature (Gao et al., 2023) splits RAG ke sebuah berguna taxonomy:

• Naive RAG — “a tradisional proses itu includes indexing, retrieval, dan generation.” (terjemahan) “sebuah tradisional proses itu mencakup pengindeksan, retrieval, dan generation.” Retrieve top-k setelah, generate setelah. ini “struggles dengan precision dan recall, leading untuk itu selection dari misaligned atau irrelevant chunks.” (terjemahan) “struggles dengan precision dan recall, leading untuk selection dari misaligned atau irrelevant chunks.”
• Advanced RAG — menambahkan “pre-retrieval dan post-retrieval strategies.” (terjemahan) “pre-retrieval dan post-retrieval strategies.” Pre-retrieval: kueri rewriting dan better pengindeksan (including HyDE, di mana model generates sebuah hypothetical jawaban, embeds itu, dan retrieves documents itu look like jawaban alih-alih pertanyaan). Post-retrieval: re-peringkat dan context compression.
• Modular / agentic RAG — model retrieves, alasan tentang apa masih missing, dan retrieves again, iterating di seluruh multiple hops. ini adalah saat ini state dari AI penelusuran. sebagai Michael King put ini: “Itu retrieve-setelah-lalu- generate pattern itu didefinisikan itu pertama wave adalah obsolete… Agentic RAG adalah now itu default.” (terjemahan) “ retrieve-setelah-lalu- generate pattern itu didefinisikan pertama wave adalah obsolete… Agentic RAG adalah now default.”

ini penting untuk SEO karena konten now memiliki untuk survive multiple retrieval rounds dan contradiction-memeriksa — tidak hanya sebuah single retrieval lulus.

melakukan RAG eliminate hallucinations? Tidak.

RAG dapat ground jawaban di retrieved sources, tetapi LLM dapat masih misread atau di atas-interpret apa ini pulled. Google Research (ICLR 2025) terdokumentasi sebuah counterintuitive hasil di satu evaluation: Gemma produced incorrect jawaban pada 10,2% dari pertanyaan dengan Tidak context dan 66,1% dengan insufficient context. researchers report itu models dapat “excel with sufficient context but fail to recognize when context is insufficient.” (terjemahan) “excel dengan sufficient context tetapi fail untuk recognize ketika context adalah insufficient.” Treat itu sebagai sebuah model- dan evaluation-spesifik warning, tidak proof itu retrieval universally penyebab worse jawaban. practical lesson adalah lebih sempit: retrieval quality dan context sufficiency perlu untuk menjadi evaluated alih-alih assumed. Google operationalized finding sebagai sebuah LLM re-ranker di -nya Vertex AI RAG mesin.

RAG vs. fine-tuning

ini mendapatkan conflated constantly, dan mereka’re fundamentally berbeda:

• RAG retrieves external informasi di kueri time. Weights unchanged. Best untuk fresh/mengubah informasi, citation requirements, dan cost. survey ditemukan “RAG consistently outperforms [unsupervised fine-tuning], for both existing knowledge encountered during training and entirely new knowledge.” (terjemahan) “RAG consistently outperforms [unsupervised fine-tuning], untuk keduanya existing knowledge encountered selama training dan entirely baru knowledge.”
• Fine-tuning modifies model’s weights di sebuah terpisah training jalankan. Best untuk mengubah style dan perilaku, atau teaching stable domain knowledge itu tidak perubahan.

Anda’d reach untuk RAG untuk membuat sebuah model know latest facts; Anda’d reach untuk fine-tuning untuk perubahan bagaimana ini talks.

RAG di wild: Google, ChatGPT, Perplexity

• Google AI Overviews. Google panggilan RAG “a technique (also known as grounding)… relying on our core Search ranking systems to retrieve relevant, up-to-date web pages from our Search index.” (terjemahan) “sebuah technique (juga known sebagai grounding)… relying pada kami core Penelusuran peringkat sistem untuk retrieve relevant, up-untuk-date web halaman dari kami Penelusuran indeks.” Dua hal ikuti. pertama, tidak ada terpisah AI indeks — “our generative AI features pada Google Search adalah rooted di our core Penelusuran ranking dan quality sistem.” (terjemahan) “kami generative AI fitur pada Google Search adalah rooted di kami core Penelusuran peringkat dan quality sistem.” kedua, Google berjalan kueri fan-out: “concurrent, related queries generated by the model to request more information.” (terjemahan) “concurrent, related kueri generated oleh model untuk permintaan lebih informasi.” sebuah single pertanyaan dapat spawn multiple sub-kueri, setiap retrieving berbeda konten — so Anda konten memiliki untuk satisfy implied sub-pertanyaan, tidak hanya head kueri.
• ChatGPT Penelusuran. Launched (October 2024) dengan Bing sebagai -nya data partner, dan OpenAI’s own crawler documentation mengonfirmasi OAI-SearchBot melakukan independent fetching dan pengindeksan untuk penelusuran citations, terpisah dari GPTBot’s training-crawl. OpenAI hasn’t published saat ini retrieval mix antara Bing dan -nya own indeks, dan OpenAI memiliki since positioned ChatGPT Penelusuran sebagai sebuah standalone pesaing untuk Bing alih-alih sebuah wrapper sekitar ini — so treat “it’s basically Bing” (terjemahan) “ini adalah basically Bing” sebagai sebuah simplification. terdokumentasi, actionable lever adalah lebih sempit dan lebih durable: jangan block OAI-SearchBot di robots.txt, karena itu’s crawler OpenAI itself names sebagai satu itu indeks konten untuk penelusuran citations.
• Perplexity. dibangun pada hybrid retrieval (Vespa.ai — BM25 + dense) dengan custom embedding models dan sebuah strict re-peringkat threshold: oleh ketiga-party analysis, hanya top ~30% dari 60-plus retrieved sources survive untuk generation stage, dan “citations are not retrofitted post-generation — they are structurally assigned during context assembly.” (terjemahan) “citations adalah tidak retrofitted post-generation — mereka adalah structurally assigned selama context assembly.” Deep Research berjalan agentic loop di seluruh dozens dari searches.

Apa RAG berarti untuk SEO

Strip away jargon dan playbook adalah concrete:

• menjadi di indeks adalah prerequisite — penuh berhenti. Tidak terpisah AI indeks berarti crawl → indeks → retrieve chain memiliki untuk menjadi intact. jika sebuah halaman dapat’t menjadi di-crawl dan terindeks, ini dapat’t menjadi retrieved ke sebuah AI jawaban. yang sama adalah benar untuk AI mesin itu bangun mereka own pools: AI crawler like OAI-SearchBot dan PerplexityBot memiliki untuk menjadi diizinkan untuk fetch Anda, atau Anda’re invisible untuk itu jawaban.
• Tulis self-berisi passages. RAG retrieves fragments, tidak seluruh halaman. sebagai iPullRank’s Francine Monahan put ini, AI sistem examine “fragments of pages rather than the page as a whole” (terjemahan) “fragments dari halaman rather daripada halaman sebagai sebuah seluruh” — so craft “stand-out passages and phrases” (terjemahan) “stand-out passages dan phrases” itu jawaban sebuah spesifik pertanyaan pada mereka own. ini adalah persis H2/H3 structure dan jelas topic sentences baik SEO sudah rewards. Google explicitly says tidak untuk chop Anda konten ke tiny pieces untuk AI — well-structured konten chunks well pada -nya own.
• Cover sub-topics. kueri fan-out berarti satu pertanyaan dapat trigger banyak retrievals. Depth di seluruh related sub-pertanyaan beats satu halaman stuffed sekitar sebuah single keyword.
• Authority drives citation lebih daripada peringkat position. dari sebuah 8 000-citation analysis: “Strong organic search presence and broad web visibility leads to AI citations, not the other way around” (terjemahan) “Strong pencarian organik presence dan broad web visibilitas leads untuk AI citations, tidak lainnya cara sekitar” — dan “highly authoritative content from a lower-ranking page” (terjemahan) “highly authoritative konten dari sebuah lebih rendah-peringkat halaman” sometimes mendapatkan cited di atas sebuah lebih sedikit credible top-peringkat satu. My own data lines up (dari my AI Overview citation research): mentions pada heavily-ditautkan halaman adalah strongest predictor dari AI Overview inclusion (ρ ≈ 0,70), dan branded web mentions correlated ~0,66 di seluruh 75 000 brands.
• Fresh konten memiliki sebuah edge. AI citations skew meaningfully fresher daripada organic hasil, so currency penting.

jika Anda ingin satu-kalimat versi: RAG tidak replace SEO — ini raised stakes pada bagian dari SEO itu adalah selalu tentang menjadi findable dan menjadi jelas.

AI summary

sebuah condensed take pada Advanced versi:

• RAG = Retrieval + Augmented Generation. Dua phases di inference time: retrieve relevant passages dari sebuah external corpus, lalu feed them untuk sebuah LLM untuk generate sebuah grounded, cited jawaban. ** model’s weights tidak pernah perubahan** — ini adalah tidak training dan tidak fine-tuning.
• ini combines dua memories: parametric (baked ke weights) + non-parametric (retrieved langsung). itu’s bagaimana AI jawaban cover informasi past training cutoff.
• Retrieval adalah sebuah pipeline: chunking → embeddings → pencarian vektor (sering hybrid dengan BM25) → re-peringkat → top-k passages ke prompt. Chunking adalah fragile tautan; context-rich passages retrieve better (Anthropic cut failed retrievals 49%).
• Three flavors: naive (retrieve-setelah), advanced (kueri rewriting, HyDE, re-peringkat), dan agentic (iterative multi-hop) — agentic adalah now AI-penelusuran default.
• ini reduces, tidak eliminates, hallucinations. dengan insufficient context, satu model’s hallucination rate jumped 10,2% → 66,1% — buruk retrieval dapat beat Tidak retrieval.
• RAG vs. fine-tuning: RAG untuk fresh/mengubah facts + citations + cost; fine-tuning untuk style/perilaku dan stable knowledge.
• mesin: Google AI Overviews retrieve dari core indeks (Tidak terpisah AI indeks) dengan kueri fan-out; ChatGPT Penelusuran launched pada Bing’s indeks dan juga berjalan -nya own crawler, OAI-SearchBot — tepat saat ini mix tidak published, so jangan block OAI-SearchBot; Perplexity melalui hybrid retrieval dengan sebuah strict re-peringkat threshold dan citations assigned selama context assembly.
• SEO: menjadi dapat di-crawl + terindeks adalah prerequisite; tulis self-berisi passages; cover sub-topics (fan-out); authority/E-E-sebuah-T drives citation lebih daripada peringkat position; fresh konten memiliki sebuah edge.

Dokumentasi resmi

Utama-sumber documentation dan definitions dari providers.

Google

• Google’s Guide untuk Optimizing untuk Generative AI fitur — defines RAG sebagai grounding di atas core Penelusuran indeks; covers kueri fan-out.
• AI Overviews dan AI Mode di Penelusuran — mengonfirmasi Tidak additional requirements beyond standard pengindeksan dan snippet eligibility.
• RAG dan grounding pada Vertex AI — Google Cloud’s retrieve-lalu-generate definition (Burak Gokturk).
• Deeper insights ke RAG: role dari sufficient context — Google Research (ICLR 2025) pada insufficient-context failure mode.

Microsoft / Azure

• RAG dan generative AI — Azure AI Penelusuran — RAG didefinisikan sebagai grounding di proprietary konten; kueri understanding, token constraints, dan move untuk agentic retrieval.

OpenAI

• Overview dari OpenAI crawler — mengonfirmasi OAI-SearchBot melakukan independent fetching/pengindeksan untuk ChatGPT Penelusuran citations, terpisah dari GPTBot’s training crawl; tidak disclose saat ini mix dengan Bing’s indeks.

Anthropic

• Introducing Contextual Retrieval — chunk-context-kehilangan masalah dan sebuah diukur perbaiki (49% / 67% fewer failed retrievals).

AWS

• Apa adalah Retrieval-Augmented Generation? — bersih three-stage explainer dan RAG-vs-retraining cost argument.

Foundational papers

• Retrieval-Augmented Generation untuk Knowledge-Intensive NLP Tasks — Lewis et al., NeurIPS 2020 ( original RAG paper; parametric vs. non-parametric memory).
• Retrieval-Augmented Generation untuk LLMs: sebuah Survey — Gao et al. ( naive / advanced / modular taxonomy, HyDE, re-peringkat).

Quotes dari sumber

pada—record statements dari providers dan original researchers. Deep tautan jump untuk quoted passage di mana tersedia.

Google — RAG adalah grounding, di atas core indeks

• “A technique (also known as grounding) used to improve the quality, accuracy, and freshness of AI responses by relying on our core Search ranking systems to retrieve relevant, up-to-date web pages from our Search index.” (terjemahan) “sebuah technique (juga known sebagai grounding) digunakan untuk meningkatkan quality, accuracy, dan freshness dari AI respons oleh relying pada kami core Penelusuran peringkat sistem untuk retrieve relevant, up-untuk-date halaman web dari kami Penelusuran indeks.” — Google Search Central, AI optimization guide. Jump untuk quote
• “Our generative AI features pada Google Search adalah rooted di our core Penelusuran ranking dan quality sistem.” (terjemahan) “kami generative AI fitur pada Google Search adalah rooted di kami core Penelusuran peringkat dan quality sistem.” — Google Search Central, AI optimization guide.

Google Cloud — retrieve-lalu-generate definition

• “Retrieval Augmented Generation (RAG), a technique developed to mitigate these challenges, first ‘retrieves’ facts about a question, then provides those facts to the model before it ‘generates’ an answer – this is what we mean by grounding.” (terjemahan) “Retrieval Augmented Generation (RAG), sebuah technique developed untuk mitigate ini challenges, pertama ‘retrieves’ facts tentang sebuah pertanyaan, lalu menyediakan itu facts untuk model sebelum ini ‘generates’ sebuah jawaban – ini adalah apa kami berarti oleh grounding.” — Burak Gokturk, VP & GM, Cloud AI, Google Cloud (June 27, 2024). Jump untuk quote

** original RAG paper — parametric vs. non-parametric memory**

• “retrieval-augmented generation (RAG) — models which combine pre-trained parametric and non-parametric memory for language generation.” (terjemahan) “retrieval-augmented generation (RAG) — models yang combine pre-trained parametric dan non-parametric memory untuk language generation.” — Lewis et al., NeurIPS 2020.

Patrick Lewis, lead author — pada name (melalui NVIDIA Blog, Rick Merritt)

• “We definitely would have put more thought into the name had we known our work would become so widespread.” (terjemahan) “kami definitely akan memiliki put lebih thought ke name memiliki kami known kami berfungsi akan become so widespread.”
• “We always planned to have a nicer sounding name, but when it came time to write the paper, no one had a better idea.” (terjemahan) “kami selalu planned untuk memiliki sebuah nicer sounding name, tetapi ketika ini came time untuk tulis paper, Tidak satu memiliki sebuah better idea.” Baca coverage

Microsoft — RAG sebagai grounding di Anda konten

• “Retrieval-augmented generation (RAG) is a pattern that extends LLM capabilities by grounding responses in your proprietary content.” (terjemahan) “Retrieval-augmented generation (RAG) adalah sebuah pattern itu extends LLM capabilities oleh grounding respons di Anda proprietary konten.” — Microsoft, Azure AI Penelusuran documentation.

Anthropic — chunking masalah

• “traditional RAG solutions remove context when encoding information.” (terjemahan) “tradisional RAG solusi hapus context ketika encoding informasi.” — Anthropic, Contextual Retrieval (Sept 19, 2024). Baca post

AWS — RAG vs. retraining

• “Retrieval-Augmented Generation (RAG) is the process of optimizing the output of a large language model, so it references an authoritative knowledge base outside of its training data sources before generating a response.” (terjemahan) “Retrieval-Augmented Generation (RAG) adalah proses dari optimizing output dari sebuah model bahasa besar, so ini references sebuah authoritative knowledge base di luar dari -nya training data sources sebelum generating sebuah respons.” — AWS.
• “RAG is a more cost-effective approach to introducing new data to the LLM.” (terjemahan) “RAG adalah sebuah lebih cost-effective approach untuk introducing baru data untuk LLM.” — AWS.

OpenAI — -nya own crawler untuk ChatGPT Penelusuran

• “OpenAI menggunakan OAI-SearchBot dan GPTBot robots.txt tags untuk enable webmasters untuk manage bagaimana mereka sites dan konten berfungsi dengan AI… a webmaster dapat izinkan OAI-SearchBot di order untuk muncul di penelusuran hasil sementara disallowing GPTBot untuk indicate itu crawled konten seharusnya tidak menjadi digunakan untuk training.” (terjemahan) “OpenAI menggunakan OAI-SearchBot dan GPTBot robots.txt tags untuk enable webmasters untuk manage bagaimana mereka situs dan konten berfungsi dengan AI… sebuah webmaster dapat izinkan OAI-SearchBot di order untuk muncul di hasil pencarian sementara disallowing GPTBot untuk indicate itu di-crawl konten seharusnya tidak menjadi digunakan untuk training.” — OpenAI, Overview dari OpenAI crawler. Baca docs

Michael King, iPullRank — agentic shift (mesin pencari Land)

• “The retrieve-once-then-generate pattern that defined the first wave is obsolete… Agentic RAG is now the default.” (terjemahan) “ retrieve-setelah-lalu-generate pattern itu didefinisikan pertama wave adalah obsolete… Agentic RAG adalah now default.” Baca coverage

RAG cheat sheet

** pipeline, end untuk end**

query → [retrieval: chunk · embed · vector penelusuran (+BM25) · re-rank · top-k] → augment (passages menjadi context) → generate (LLM menulis grounded, cited answer)

RAG vs. fine-tuning

** three RAG generations**

mesin retrieval pools di sebuah glance

Fast facts

• RAG = Retrieval + sebuahugmented Generation; coined di Lewis et al., 2020.
• ini adalah inference-time — weights tidak pernah perubahan.
• Hallucination tidak solved: insufficient context took satu model dari 10,2% → 66,1%.
• Context-aware chunking cut failed retrievals oleh 49% (67% dengan re-peringkat).
• jangan pre-”chunk” (terjemahan) “chunk” Anda konten untuk AI — jelas H2/H3 structure chunks well pada -nya own.

mental models

1. Retrieve → Augment → Generate. setiap RAG sistem adalah ini three moves. Ketika sebuah AI jawaban adalah wrong, locate yang stage failed: melakukan ini retrieve right passages, melakukan ini lulus cukup context, atau melakukan model misgenerate dari baik sources? sebagian besar AI-visibilitas masalah adalah retrieval masalah, tidak generation masalah.

2. Parametric vs. non-parametric memory. model memiliki parametric knowledge (frozen di -nya weights, capped di -nya training cutoff) dan non-parametric knowledge (retrieved langsung). Penerbitan konten dapat’t touch weights — tetapi ini dapat feed langsung retrieval. itu’s entire alasan SEO masih applies untuk AI penelusuran.

3. RAG vs. fine-tuning adalah sebuah knowledge-vs-perilaku split. perlu model untuk know baru atau mengubah facts? RAG. perlu untuk perubahan bagaimana ini behaves atau menulis? Fine-tuning. jangan fine-tune untuk tambahkan facts itu perubahan weekly.

4. Retrieval quality adalah bottleneck — dan ini cuts keduanya cara. Better retrieval beats sebuah bigger model. dan insufficient retrieval dapat menjadi worse daripada none. So goal untuk Anda konten tidak hanya “mendapatkan retrieved” (terjemahan) “mendapatkan retrieved” — ini adalah “get retrieved as a sufficient, self-contained passage” (terjemahan) “mendapatkan retrieved sebagai sebuah sufficient, self-berisi passage” itu lets model jawaban definitively.

5. crawl → indeks → retrieve chain. ada Tidak terpisah AI indeks. jika sebuah halaman fails di crawl atau indeks, ini dapat tidak pernah reach retrieval — untuk Google’s RAG atau untuk AI mesin membangun mereka own pools. Perbaiki chain pertama; mengoptimalkan passages kedua.

Uji pemahaman Anda: Retrieval-augmented generation

Resources worth Anda time

My related writing & research

• Apa kami Sebenarnya Know tentang Optimizing untuk LLM Penelusuran — Ahrefs’ tulis-up menggunakan my data: mentions pada heavily-ditautkan halaman adalah strongest predictor dari AI Overview inclusion (ρ ≈ 0,70).
• Generative mesin Optimization — SEO respons untuk sebuah RAG-powered penelusuran landscape.
• GEO? AEO? LLMO? apa dengan semua ini AI SEO Stuff? — my Ahrefs Evolve 2025 talk pada AI penelusuran landscape dan mengapa pengindeksan prerequisite hasn’t changed.

** foundational papers**

• Retrieval-Augmented Generation untuk Knowledge-Intensive NLP Tasks — Lewis et al., 2020 ( origin).
• RAG untuk LLMs: sebuah Survey — Gao et al. ( naive/advanced/modular taxonomy).

dari others

• Bagaimana AI mesin pencari berfungsi — Ryan Law (Ahrefs) pada RAG sebagai grounding mechanism.
• Google AI Overviews: semua Anda perlu Know — Ong & Law (Ahrefs) pada RAG di atas core indeks.
• Apa adalah Retrieval-Augmented Generation? — NVIDIA (mencakup Lewis naming anecdote).
• Bagaimana Retrieval-Augmented Generation adalah Redefining SEO — Francine Monahan, iPullRank (passage-tingkat optimization).
• Beyond RAG: mengapa setiap AI penelusuran platform adalah now agentic — Michael King, mesin pencari Land.
• Bagaimana Perplexity AI jawaban berfungsi — Ishtiaque Ahmed, sebuah teknis breakdown dari retrieval/peringkat/citation pipeline.
• cara mendapatkan cited oleh AI: SEO insights dari 8 000 AI citations — James Allen, mesin pencari Land; authority dan E-E-sebuah-T drive AI citations lebih daripada peringkat position.
• Bagaimana Perplexity menggunakan Vespa.ai — Vespa.ai’s pertama-party account dari Perplexity’s hybrid BM25 + dense retrieval architecture.
• Retrieval-augmented generation — Wikipedia — berguna reference overview; covers RAG poisoning dan hallucination caveat.

Stats worth citing

• 10,2% → 66,1% hallucination jump — satu model’s hallucination rate dengan insufficient retrieved context vs. Tidak context di semua; buruk retrieval dapat beat Tidak retrieval. Google Research, ICLR 2025. Sumber
• 49% fewer failed retrievals dari context-aware chunking (Contextual Embeddings), rising untuk 67% ketika combined dengan re-peringkat. Anthropic, 2024. Sumber
• ρ ≈ 0,70 — mentions pada heavily-ditautkan halaman adalah strongest predictor dari Google AI Overview inclusion di my research; branded web mentions correlated ~0,66 di seluruh 75 000 brands. Sumber
• ~30% survival rate — oleh ketiga-party analysis, hanya roughly top 30% dari 60+ retrieved sources jelas Perplexity’s re-peringkat threshold ke generation stage. Sumber
• RAG > unsupervised fine-tuning untuk knowledge tasks — “untuk keduanya existing knowledge encountered during training dan entirely new knowledge.” (terjemahan) “untuk keduanya existing knowledge encountered selama training dan entirely baru knowledge.” Sumber

Log perubahan