Panduan Chunking

TL;DR — Chunking adalah bagaimana AI mesin pencari cut Anda halaman ke lebih kecil pieces sebelum mereka store dan penelusuran ini. mereka jangan match sebuah kueri terhadap Anda seluruh halaman — mereka match ini terhadap single passage itu jawaban ini best. So getting terindeks tidak cukup; Anda perlu sebuah bagian itu membuat sense pada -nya own dan jawaban pertanyaan dengan jelas.

Apa chunking adalah

Chunking divides documents ke lebih kecil units untuk embedding dan retrieval sistem. Evidence for this claim Retrieval systems can split files into chunks that are embedded and indexed for later search. Scope: OpenAI's retrieval implementation; chunk sizes, overlap, and indexing behavior are implementation-dependent. Confidence: high · Verified: 2026-07-14 OpenAI: Retrieval guide Chunk size dan overlap adalah implementation choices milik siapa best nilai bergantung pada konten, model, dan evaluation task. Evidence for this claim Retrieval-augmented generation combines a generator with retrieved external passages or documents. Scope: The original RAG research architecture; it does not establish one optimal chunking strategy for every production system. Confidence: high · Verified: 2026-07-14 Lewis et al.: Retrieval-Augmented Generation

Ketika Anda penelusuran Google old cara, halaman adalah unit: sebuah halaman peringkat, dan Anda click melalui. AI sistem berfungsi differently. sebelum ChatGPT, Perplexity, atau Google’s AI Overviews dapat gunakan Anda konten, mereka break ini ke lebih kecil segments — called chunks atau passages — dan store setiap satu secara terpisah. Ketika seseorang menanyakan sebuah pertanyaan, sistem goes dan menemukan chunks itu best match ini, lalu menulis sebuah jawaban dari itu.

So unit dari retrieval tidak Anda halaman. ini adalah sebuah passage dari Anda halaman.

Mengapa mereka bother

Dua alasan:

1. Size limits. models itu turn text ke searchable math (see embeddings) dapat hanya take so banyak text di setelah. sebuah 5 000-kata halaman tidak akan fit, so ini mendapatkan split.
2. Precision. sebuah seluruh halaman tentang “teknis SEO” (terjemahan) “SEO teknis” adalah sebuah blurry match untuk sebuah spesifik pertanyaan like “apa adalah anggaran crawling.” (terjemahan) “apa adalah anggaran crawling.” sebuah focused 400-kata bagian itu’s hanya tentang anggaran crawling adalah sebuah sharp match. Lebih kecil pieces let sistem temukan needle alih-alih handing di atas haystack.

Apa ini berarti untuk Anda

Anda dapat’t control bagaimana apa pun AI sistem chops up Anda konten — dan Anda tidak perlu untuk. Apa Anda dapat melakukan adalah tulis so itu setiap bagian survives menjadi pulled out pada -nya own:

• Put jawaban pertama. Lead sebuah bagian dengan definition atau key claim, tidak three paragraphs dari throat-clearing.
• pertahankan bagian focused. Satu topic atau pertanyaan per heading.
• membuat setiap bagian self-berisi. tanyakan yourself: jika seseorang baca hanya ini paragraf, dengan tidak ada apa pun sekitar ini, akan ini masih membuat sense?

baik news: ini adalah hanya jelas writing. Google says outright itu Anda tidak perlu untuk break Anda konten ke tiny pieces untuk AI — -nya sistem melakukan splitting. advanced versi mendapatkan ke chunk size, overlap, research, dan bagaimana ini semua connects untuk Google’s “passage ranking.” (terjemahan) “passage peringkat.”

TL;DR — Chunking adalah preprocessing langkah itu splits sebuah document ke passages sebelum mereka’re embedded, terindeks, dan retrieved. ini ada karena embedding models dan context windows memiliki token limits, dan karena passage-tingkat retrieval adalah lebih precise daripada halaman-tingkat. ** chunk, tidak halaman, adalah unit dari retrieval.** Chunk size adalah sebuah trade-off (kecil = precise/thin; besar = rich/noisy) dan Tidak size, overlap nilai, atau splitter jaminan sebuah citation; overlap guards boundaries tetapi costs indeks size dan duplication; semantic chunking tidak reliably better daripada fixed-size; contextual prefixes dapat disambiguate sebuah chunk tetapi mislead retrieval ketika stale. “Lost in the Middle” (terjemahan) “Lost di Middle” — sebuah position effect terdokumentasi pada spesifik 2023 models dan tasks — berarti sebuah LLM sering menggunakan mulai dan end dari -nya context best. Anda dapat’t mengoptimalkan untuk sebuah spesifik chunk size — dan Google says Anda tidak seharusnya try — tetapi jawaban-pertama, self-berisi bagian di bawah sebuah jelas heading hierarchy chunk dan cite cleanly. ini adalah yang sama sub-document principle sebagai Google’s passage peringkat, applied untuk RAG.

Apa chunking adalah, dan mengapa ini ada

Retrieval sistem operate di atas terindeks units, tetapi publik mesin pencari melakukan tidak expose sebuah universal publisher-controlled chunk size. Evidence for this claim Retrieval systems can split files into chunks that are embedded and indexed for later search. Scope: OpenAI's retrieval implementation; chunk sizes, overlap, and indexing behavior are implementation-dependent. Confidence: high · Verified: 2026-07-14 OpenAI: Retrieval guide RAG research mendukung retrieve-lalu-generate patterns tanpa proving itu setiap AI penelusuran product menggunakan identical mechanics. Evidence for this claim Retrieval-augmented generation combines a generator with retrieved external passages or documents. Scope: The original RAG research architecture; it does not establish one optimal chunking strategy for every production system. Confidence: high · Verified: 2026-07-14 Lewis et al.: Retrieval-Augmented Generation

Chunking adalah proses dari dividing sebuah document ke lebih kecil, discrete segments — chunks atau passages — sebelum itu segments adalah turned ke embeddings, stored di sebuah vector indeks, dan retrieved untuk jawaban kueri. ini adalah sebuah foundational langkah di RAG (Retrieval-Augmented Generation) pipelines, dan ini adalah bagian dari AI penelusuran SEOs underrate sebagian besar, karena ini adalah invisible: ini happens selama ingestion, tidak di kueri time.

Dua masalah force ini:

• ** token-limit masalah.** Embedding models accept sebuah bounded angka dari tokens per input — Microsoft notes text-embedding-3-small model caps di 8 191 tokens, dan lainnya models adalah far lebih kecil. LLMs memiliki finite context windows too. sebuah panjang halaman sekadar tidak akan fit sebagai sebuah single unit, so ini mendapatkan split.
• ** retrieval-precision masalah.** sebuah 5 000-kata halaman tentang “teknis SEO” (terjemahan) “SEO teknis” collapsed ke satu vector adalah sebuah fuzzy, averaged sinyal. sebuah 400-kata bagian itu’s secara khusus tentang anggaran crawling, embedded sebagai -nya own vector, adalah sebuah sharp satu. Sub-document granularity adalah apa lets sebuah sistem pull satu relevant passage out dari sebuah panjang, multi-topic halaman.

consequence adalah single sebagian besar penting idea di sini: ** chunk, tidak halaman, adalah unit dari retrieval di AI penelusuran.** menjadi di-crawl dan terindeks adalah necessary tetapi tidak sufficient. Anda perlu sebuah chunk itu jawaban sebuah spesifik kueri, dengan jelas, pada -nya own. sebuah halaman peringkat #15 organically dapat earn sebuah AI citation sementara #1 hasil mendapatkan skipped — jika #15 halaman memiliki lebih extractable passage.

Bagaimana chunking berfungsi, end untuk end

1. Ingestion + splitting. sebuah AI crawler downloads halaman; sebuah chunking algorithm divides text ke (biasanya overlapping) segments.
2. Embedding. setiap chunk becomes sebuah numerical vector dan adalah stored di sebuah vector indeks. (itu’s embeddings langkah.)
3. Retrieval + generation. sebuah kueri adalah embedded, nearest chunk vectors adalah pulled melalui pencarian vektor, dan retrieved chunks adalah lulus untuk sebuah LLM itu menulis jawaban dengan citations.

ini seluruh architecture traces back untuk Dense Passage Retrieval (Karpukhin et al., 2020), yang showed itu retrieving oleh dense vector similarity beat old keyword approach (BM25) oleh 9–19% absolute pada top-20 passage accuracy — dan itu passage-tingkat retrieval berfungsi better daripada document-tingkat untuk answering spesifik pertanyaan. RAG paper (Lewis et al., 2020) named pattern dan digunakan 100-kata passages dari Wikipedia sebagai -nya chunks. setiap AI penelusuran sistem retrieving web konten adalah berjalan sebuah variant dari itu pipeline.

Chunking strategies

ada Tidak single algorithm — sistem pick dari sebuah menu, dan mereka perubahan ini di atas time:

• Fixed-size — split oleh sebuah token atau character count, dengan beberapa overlap. sebagian besar umum. Microsoft’s contoh: “a fixed size sufficient for semantically meaningful paragraphs (for example, 200 words or 600 characters)” (terjemahan) “sebuah fixed size sufficient untuk semantically bermakna paragraphs (misalnya, 200 kata atau 600 characters)” dengan 10–15% overlap.
• kalimat / paragraf — split pada natural language boundaries alih-alih sebuah arbitrary token count, preserving semantic units.
• Semantic / konten-aware — group sentences oleh embedding similarity dan split di mana topic shifts, aiming untuk pertahankan setiap chunk tentang satu hal.
• Hierarchical / recursive (RAPTOR) — bangun tree dari summaries (document → bagian → paragraf) so sebuah kueri dapat menjadi answered di right tingkat dari abstraction. RAPTOR (Sarthi et al., 2024) reported sebuah 20% absolute accuracy gain pada sebuah hard QA benchmark ketika paired dengan GPT-4.
• Sliding window dengan overlap — setiap chunk shares beberapa tokens dengan -nya neighbors so sebuah kalimat split di seluruh sebuah boundary tidak lost.
• Adaptive / kueri-dependent (Mix-dari-Granularity) — sebuah trained router picks chunk size per kueri. paling sophisticated approach; belum standard di commercial sistem.

Chunk size dan overlap — core trade-off

ini adalah lever everyone menanyakan tentang, dan honest jawaban adalah ini bergantung:

• kecil chunks (128–256 tokens): lebih precise retrieval, tetapi mereka dapat lose sekitarnya context jawaban perlu.
• besar chunks (512–1 024 tokens): lebih context dipertahankan, tetapi noisier retrieval — Anda drag di irrelevant material dengan relevant bit.

research tidak crown sebuah winner. LlamaIndex’s evaluation ditemukan 1 024 tokens optimal di mereka setup; Chroma’s benchmarks ditemukan sebuah 200-token recursive splitter performed consistently di seluruh metrics. Ravi Theja’s takeaway adalah right mindset: “Identifying the best chunk size for a RAG system is as much about intuition as it is empirical evidence.” (terjemahan) “Identifying best chunk size untuk sebuah RAG sistem adalah sebagai banyak tentang intuition sebagai ini adalah empirical evidence.” itu angka deskripsikan apa won di satu team’s benchmark, pada satu document set, dengan satu embedding model dan evaluation task — tidak sebuah universal setting. Tidak chunk size, overlap nilai, atau splitter jaminan retrieval, citation, peringkat, atau inclusion di sebuah jawaban dari sebuah external AI sistem; setiap provider’s pipeline picks -nya own defaults dan dapat perubahan them tanpa notice.

Overlap adalah underrated half dari ini. Tanpa ini, konten near sebuah boundary mendapatkan split dan lost. Microsoft recommends starting di 25% overlap so ada “smoother transitions between chunks without excessive duplication” (terjemahan) “smoother transitions antara chunks tanpa excessive duplication”; lainnya sources suggest 10–15%. Overlap tidak free, though: overlapping tokens mendapatkan embedded dan stored twice, yang inflates indeks dan dapat surface near-duplicate passages side oleh side di sebuah retrieved set — so ini adalah sebuah trade terhadap indeks size dan redundancy, tidak sebuah costless safety net. Weigh ini terhadap bagaimana sering sebuah boundary sebenarnya costs Anda sebuah missed fact, tidak pada principle. practical poin untuk konten: jangan assume sistem akan pertahankan sebuah key fact intact jika Anda bury ini persis di mana sebuah chunk adalah mungkin untuk break.

So, melakukan semantic chunking selalu win? Tidak — itu’s inconvenient finding. Vectara’s 2024 study ditemukan “performance differences are minimal” (terjemahan) “performa differences adalah minimal” pada dunia nyata documents, dan — crucially — ** embedding model’s quality mattered lebih daripada chunking strategy.** Ketika GPT-4o generated jawaban, differences antara strategies adalah “negligible.” (terjemahan) “negligible.” itu hasil adalah spesifik untuk Vectara’s document set, models, dan evaluation metode — ini adalah evidence semantic chunking tidak sebuah reliable default win, tidak proof ini tidak pernah helps di apa pun pipeline. Translation untuk SEOs: obsessing di atas sebuah tepat structure penting far lebih sedikit daripada konten quality dan semantic clarity.

Chunk context: apa prefixes dapat (dan dapat’t) perbaiki

sebuah chunk itu membaca dengan jelas untuk sebuah human dapat masih retrieve badly setelah ini adalah separated dari document sekitar ini — bagian ini sits di bawah, entity ini adalah sebenarnya tentang, sebuah qualifier stated dua heading up. Satu terdokumentasi mitigation adalah prepending sebuah pendek, chunk-spesifik context string ( document judul, bagian ini belongs untuk, apa chunk adalah sebenarnya tentang) sebelum chunk adalah embedded — sebuah approach Anthropic panggilan contextual retrieval. judul, bagian ancestry, dan sebuah contextual prefix dapat disambiguate sebuah jika tidak-orphaned chunk dan cut down pada retrieval misses disebabkan oleh missing context.

itu perbaiki memiliki sebuah failure mode dari -nya own, though: stale atau wrong context tidak hanya fail untuk help — ini actively misleads retriever toward wrong chunk. sebuah prefix generated dari sebuah heading itu Tidak lebih lama matches bagian setelah sebuah halaman reorg, atau sebuah contextual summary itu misstates apa chunk covers, adalah worse daripada Tidak prefix di semua. Context preservation adalah sebuah pipeline design pilihan dengan -nya own error mode, tidak sebuah satu-cara improvement Anda dapat bolt pada dan forget.

Google’s passage peringkat — SEO ancestor dari chunking

Google memiliki telah melakukan sub-document granularity since panjang sebelum “RAG” (terjemahan) “RAG” adalah sebuah buzzword. di Penelusuran pada 2020, Prabhakar Raghavan announced passage peringkat: “Oleh better understanding itu relevancy dari specific passages, tidak sekadar itu overall halaman, we dapat temukan itu needle-di-a-haystack information Anda looking untuk.” (terjemahan) “oleh better understanding relevancy dari spesifik passages, tidak hanya overall halaman, kami dapat temukan itu needle-di-sebuah-haystack informasi Anda’re looking untuk.” ini went langsung di U.S. English pada February 10, 2021 dan memengaruhi roughly 7% dari kueri.

Dua hal orang mendapatkan wrong tentang ini:

• ini adalah “passage ranking,” (terjemahan) “passage peringkat,” tidak “passage indexing.” (terjemahan) “passage pengindeksan.” Google’s pertama announcement digunakan “indexing,” (terjemahan) “pengindeksan,” lalu quickly corrected ini: “ini ubah tidak berarti kami indexing individual passages independently dari halaman.” (terjemahan) “ini perubahan tidak berarti kami’re pengindeksan individual passages independently dari halaman.” halaman adalah masih terindeks sebagai sebuah seluruh; relevant passage adalah sebuah additional sinyal peringkat.
• ** halaman peringkat, tidak passage.** John Mueller: “Passage ranking adalah tidak tentang ranking a specific passage tetapi understanding itu konten pada a benar-benar long, tidak SEO optimized halaman, dan ranking itu halaman (tidak itu passage) untuk a query di mana itu passage adalah relevant.” (terjemahan) “Passage peringkat adalah tidak tentang peringkat sebuah spesifik passage tetapi understanding konten pada sebuah benar-benar panjang, tidak SEO dioptimalkan halaman, dan peringkat itu halaman (tidak passage) untuk sebuah kueri di mana passage adalah relevant.”

So passage peringkat dan RAG chunking share sebuah principle — sebuah paragraf, tidak sebuah halaman, adalah sering right unit untuk match terhadap sebuah spesifik kueri — tetapi outcome differs: passage peringkat lifts halaman’s peringkat; RAG chunking retrieves sebuah chunk untuk feed sebuah generated jawaban. sama idea, berbeda machinery. ( teknis underpinning, per Dawn Anderson’s reporting, adalah DeepCT — BERT-derived contextual istilah weights replacing TF-IDF, so istilah frequency Tidak lebih lama equals istilah relevance.)

”Lost in the Middle” (terjemahan) “Lost di Middle” — di mana Anda jawaban sits penting

bahkan setelah Anda chunk adalah retrieved, di mana ini lands di LLM’s context memengaruhi apakah model sebenarnya menggunakan ini. Stanford “Lost in the Middle” (terjemahan) “Lost di Middle” study (Liu et al., 2023) ditemukan itu “performance adalah sering highest ketika relevant information occurs di itu beginning atau end dari itu input context, dan significantly degrades ketika models harus access relevant information di itu middle dari long contexts.” (terjemahan) “performa adalah sering highest ketika relevant informasi occurs di beginning atau end dari input context, dan significantly degrades ketika models harus access relevant informasi di middle dari panjang contexts.”

itu finding tidak apply universally oleh default — ini adalah sebuah position effect diukur pada named multi-document QA dan key-nilai retrieval tasks, pada spesifik model generation Liu et al. tested di 2023. ini adalah tidak proof itu setiap saat ini model ignores evidence placed centrally di -nya context; berbeda architectures, lebih lama effective context windows, dan newer training dapat sempit atau widen effect. Treat ini sebagai sebuah terdokumentasi risk untuk design sekitar, tidak sebuah fixed law dari setiap model Anda’ll ever menjadi retrieved ke.

konten implication adalah masih concrete dan rendah-risk either cara: lead dengan Anda jawaban. Put definition, key finding, direct jawaban di pertama kalimat dari setiap bagian — tidak buried di paragraf four. ini adalah yang sama jawaban-pertama (BLUF) discipline itu menyajikan human skimmers; ini hanya happens untuk juga hedge terhadap menjadi dropped ke middle dari sebuah context window pada models di mana effect holds.

practical constraints Anda dapat’t see

• Chrome’s ~30-passage limit. Dan Petrovic’s research suggests Chrome’s DocumentChunker analyzes konten di ~200-kata passages dan “hanya ever considers itu pertama 30 passages dari a halaman.” (terjemahan) “hanya ever mempertimbangkan pertama 30 passages dari sebuah halaman.” ini tree-walks semantic HTML top untuk bottom. Implication: Anda sebagian besar penting konten seharusnya muncul early — tidak di bottom dari sebuah 10 000-kata halaman.
• Anda tidak control chunker. Despina Gavoyannis (Ahrefs) adalah blunt: “Anda tidak dapat control bagaimana Google, ChatGPT, atau Perplexity chunk Anda konten. Mereka pipelines ubah based pada cost, model, dan context.” (terjemahan) “Anda dapat’t control bagaimana Google, ChatGPT, atau Perplexity chunk Anda konten. mereka pipelines perubahan berdasarkan cost, model, dan context.” dan: “Manual ‘chunk optimization’ is impossible in practice.” (terjemahan) “Manual ‘chunk optimization’ adalah impossible dalam praktik.”

Apa “chunk optimization” (terjemahan) “chunk optimization” sebenarnya adalah (dan Google caveat)

Di sini’s nuance hype skips. Google’s 2026 AI optimization guide says plainly: “There’s no requirement to break your content into tiny pieces for AI to better understand it.” (terjemahan) “ada Tidak requirement untuk break Anda konten ke tiny pieces untuk AI untuk better memahami ini.” -nya sistem “are able to understand the nuance of multiple topics on a page and show the relevant piece to users.” (terjemahan) “adalah able untuk memahami nuance dari multiple topics pada sebuah halaman dan tampilkan relevant piece untuk pengguna.” So Tidak — melakukan tidak rewrite Anda konten ke rigid 300-kata blocks.

tetapi itu tidak berarti structure adalah irrelevant. sebagai Gavoyannis puts ini, “Most SEOs using the term [chunk optimization] are just talking about good content structure.” (terjemahan) “sebagian besar SEOs menggunakan istilah [chunk optimization] adalah hanya talking tentang baik konten structure.” advice underneath buzzword adalah sound; framing hanya inflates -nya novelty. Duane Forrester’s line captures shift well: “If traditional SEO optimized for clicks, GenAI systems optimize for chunks… Structure still wins.” (terjemahan) “jika tradisional SEO dioptimalkan untuk clicks, GenAI sistem mengoptimalkan untuk chunks… Structure masih wins.”

So apa melakukan Anda sebenarnya melakukan? Tulis chunk-ready konten:

• Satu topic per bagian. sebuah focused H2/H3 maps cleanly untuk sebuah coherent chunk.
• jawaban-pertama. Lead dengan claim; mendukung ini di bawah.
• Self-berisi bagian. Test: akan ini paragraf membuat sense jika ini appeared di isolation? jika tidak, ini tidak akan survive menjadi chunked out.
• Appropriate length. 200–500 kata per major bagian lines up naturally dengan 256–512-token chunks — menyelesaikan cukup untuk menjadi berguna, tidak artificially pendek.
• Structured formats. Tables dan lists memberikan sistem jelas boundaries untuk detect. (Onely’s research: tables increase citation rates ~2,5x.)

Mike King’s framing adalah right reassurance: “chunking and writing for users is not mutually exclusive.” (terjemahan) “chunking dan writing untuk pengguna adalah tidak mutually exclusive.” structure itu helps sebuah reader skim adalah structure itu chunks cleanly. Anda’re tidak optimizing untuk sebuah robot di expense dari sebuah human — ini adalah sama konten.

Passage peringkat vs. RAG chunking — side oleh side

Di mana ini sits di pipeline

Chunking adalah pertama move di AI retrieval: chunk → embed → store → retrieve → generate. ini feeds embeddings (setiap chunk becomes sebuah vector), yang feed pencarian vektor (kueri matches nearest chunks), yang feeds RAG (retrieved chunks become sebuah jawaban). Upstream, AI crawler adalah bagaimana Anda konten mendapatkan ingested di pertama place. untuk tradisional-penelusuran versi dari ini seluruh pipeline, see Bagaimana Penelusuran berfungsi.

AI summary

sebuah condensed take pada Advanced versi:

• Chunking = splitting sebuah document ke passages sebelum mereka’re embedded, terindeks, dan retrieved. ini adalah langkah pertama di sebuah RAG pipeline dan ini happens di ingestion, tidak kueri time.
• ** chunk, tidak halaman, adalah unit dari retrieval.** menjadi terindeks tidak cukup; Anda perlu sebuah passage itu jawaban sebuah spesifik kueri pada -nya own. sebuah #15 halaman dapat mendapatkan cited di atas sebuah #1 jika -nya passage adalah lebih extractable.
• Mengapa ini ada: embedding models dan context windows memiliki token limits, dan passage-tingkat retrieval adalah lebih precise daripada halaman-tingkat.
• Chunk size adalah sebuah trade-off: kecil (128–256 tokens) = precise tetapi thin pada context; besar (512–1 024) = rich tetapi noisy. Tidak universal best — LlamaIndex ditemukan 1 024 optimal, Chroma ditemukan 200 — dan Tidak chunk size atau splitter jaminan sebuah citation. Overlap (10–25%) guards chunk boundaries tetapi duplicates tokens dan inflates indeks; weigh ini terhadap sebenarnya boundary losses.
• Semantic chunking tidak reliably better daripada fixed-size (Vectara 2024, pada itu study’s models/documents) — embedding-model quality penting lebih daripada chunking strategy.
• Contextual prefixes (judul, bagian ancestry — Anthropic’s “contextual retrieval” (terjemahan) “contextual retrieval”) dapat disambiguate sebuah orphaned chunk, tetapi sebuah stale atau wrong prefix actively misleads retrieval; ini adalah sebuah design pilihan dengan -nya own failure mode.
• “Lost in the Middle” (terjemahan) “Lost di Middle” (Liu et al., 2023): sebuah position effect diukur pada named tasks dan 2023-era models, tidak proof setiap saat ini model ignores central context — LLMs di itu study digunakan mulai dan end dari context best, so lead setiap bagian dengan jawaban regardless.
• Google’s passage peringkat (2020/2021, ~7% dari kueri) adalah yang sama sub-document principle — tetapi ini adalah sebuah sinyal itu peringkat halaman, tidak terpisah pengindeksan dari passages. RAG chunking retrieves sebuah chunk.
• Anda dapat’t mengoptimalkan untuk sebuah chunk size, dan Google says Anda tidak perlu untuk chop konten ke tiny pieces. Anda dapat tulis jawaban-pertama, self-berisi, focused bagian di bawah jelas heading — yang adalah hanya baik structure.

Dokumentasi resmi

Utama-sumber documentation pada passage-tingkat retrieval dan chunking.

Google

• sebuah Guide untuk Google Search peringkat sistem — defines passage peringkat sebagai “an AI system we use to identify individual sections or ‘passages’ of a web page.” (terjemahan) “sebuah AI sistem kami gunakan untuk identify individual bagian atau ‘passages’ dari sebuah halaman web.”
• Optimizing Anda situs web untuk generative AI fitur — Google’s stance itu Anda tidak perlu untuk break konten ke tiny pieces (terakhir diperbarui June 15, 2026).
• di-Depth Guide untuk Bagaimana Google Search berfungsi — crawl → indeks → sajikan pipeline ini AI versi extends.

Microsoft / Azure AI Penelusuran

• Chunk besar documents untuk pencarian vektor — paling thorough official chunking guide dari apa pun major provider: chunk-size defaults (512 tokens), overlap (25% mulai poin), dan fixed/variable/semantic technique table (terakhir diperbarui June 8, 2026).

OpenSearch

• Text chunking — chunking sebagai sebuah dibangun-di vector-penelusuran ingestion pipeline fitur.

Practitioner reference (vendor docs)

• Pinecone — Chunking Strategies — canonical strategy taxonomy, dengan test itu anchors ini semua: “If the chunk of text makes sense without the surrounding context to a human, it will make sense to the language model as well.” (terjemahan) “jika chunk dari text membuat sense tanpa sekitarnya context untuk sebuah human, ini akan membuat sense untuk language model sebagai well.”

Quotes dari sumber

pada—record statements dari Google. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — apa passage peringkat adalah (dan tidak)

• “By better understanding the relevancy of specific passages, not just the overall page, we can find that needle-in-a-haystack information you’re looking for.” (terjemahan) “oleh better understanding relevancy dari spesifik passages, tidak hanya overall halaman, kami dapat temukan itu needle-di-sebuah-haystack informasi Anda’re looking untuk.” — Prabhakar Raghavan, Google SVP, October 2020 (melalui mesin pencari Land). Jump untuk quote
• “this change doesn’t mean we’re indexing individual passages independently of pages.” (terjemahan) “ini perubahan tidak berarti kami’re pengindeksan individual passages independently dari halaman.” — Google, October 20, 2020 clarification (melalui mesin pencari Land). Jump untuk quote
• “passage ranking launched yesterday afternoon Pacific Time for queries in the US in English.” (terjemahan) “passage peringkat launched yesterday afternoon Pacific Time untuk kueri di US di English.” — @searchliaison, February 11, 2021 (melalui mesin pencari Land). Baca coverage

Google — passage memengaruhi peringkat halaman, bukan passage

• “Passage ranking is not about ranking a specific passage but understanding the content on a really long, not SEO optimized page, and ranking that page (not the passage) for a query where the passage is relevant.” (terjemahan) “Passage peringkat adalah tidak tentang peringkat sebuah spesifik passage tetapi understanding konten pada sebuah benar-benar panjang, tidak SEO dioptimalkan halaman, dan peringkat itu halaman (tidak passage) untuk sebuah kueri di mana passage adalah relevant.” — John Mueller, Google Search Advocate (melalui mesin pencari Roundtable). Baca coverage

Google — pada apakah Anda harus chunk Anda konten

• “There’s no requirement to break your content into tiny pieces for AI to better understand it.” (terjemahan) “ada Tidak requirement untuk break Anda konten ke tiny pieces untuk AI untuk better memahami ini.” — Google Search Central, “Optimizing your website for generative AI features.” (terjemahan) “Optimizing Anda situs web untuk generative AI fitur.” Baca guide

Microsoft Azure AI Penelusuran — mengapa chunking adalah necessary

• “Partitioning large documents into smaller chunks can help you stay under the maximum token input limits of chat completion and embedding models.” (terjemahan) “Partitioning besar documents ke lebih kecil chunks dapat help Anda stay di bawah maximum token input limits dari chat completion dan embedding models.” — Microsoft Azure AI Penelusuran docs. Baca docs

Chunking — cheat sheet

** chunking strategies, compared**

Chunk size, di sebuah glance

Fast facts

• chunk, tidak halaman, adalah unit dari retrieval di AI penelusuran.
• Embedding model cap contoh: text-embedding-3-small = 8 191 tokens.
• Tidak chunk size, overlap nilai, atau splitter jaminan retrieval, citation, atau inclusion di sebuah AI jawaban — itu adalah pipeline defaults, tidak universal settings.
• Overlap tidak free: overlapping tokens adalah stored twice, inflating indeks dan risking near-duplicate retrieved passages.
• Contextual prefixes (judul, bagian ancestry) dapat disambiguate sebuah chunk — tetapi sebuah stale atau wrong prefix misleads retrieval alih-alih helping ini.
• “Lost in the Middle” (terjemahan) “Lost di Middle”: di 2023 study’s tasks dan models, LLMs digunakan mulai dan end dari context best → lead dengan jawaban regardless dari model.
• Chrome’s DocumentChunker reportedly mempertimbangkan hanya pertama ~30 passages (~200 kata setiap) → put key konten early.
• Google: passage peringkat ≠ passage pengindeksan. halaman peringkat; passage adalah sebuah sinyal.
• Google: Anda tidak perlu untuk chop konten ke tiny pieces. Structure, jangan fragment.

mental models

1. retrieval pipeline — chunk → embed → store → retrieve → generate. Chunking adalah move satu. jika Anda konten tidak getting cited, berfungsi chain: adalah ini di-crawl, adalah sebuah coherent chunk produced, melakukan itu chunk match kueri, melakukan ini land di mana LLM akan gunakan ini?

2. chunk adalah unit, tidak halaman. Berhenti thinking “adalah my halaman indexed?” (terjemahan) “adalah my halaman terindeks?” dan mulai thinking “melakukan my halaman contain a passage itu answers ini specific query, pada its own?” (terjemahan) “melakukan my halaman berisi sebuah passage itu jawaban ini spesifik kueri, pada -nya own?” pengindeksan adalah necessary; extractability adalah apa wins citation.

3. size trade-off — precision vs. context. kecil chunks = sharp tetapi thin. besar chunks = rich tetapi noisy. ada Tidak universal jawaban, dan Anda tidak atur size anyway — so mengoptimalkan hal Anda melakukan control: membuat setiap bagian coherent cukup untuk berfungsi di either granularity.

4. jawaban-pertama beats middle. “Lost in the Middle” (terjemahan) “Lost di Middle” says position di dalam context window penting. Lead setiap bagian dengan definition atau claim. yang sama discipline itu helps human skimmers mempertahankan Anda poin out dari dead zone.

5. Structure, jangan fragment. Google says jangan chop konten ke tiny pieces — so move tidak artificial chunking. ini adalah jelas heading hierarchy, satu topic per bagian, self-berisi paragraphs. “Chunk optimization” (terjemahan) “Chunk optimization” adalah mostly hanya baik structure wearing sebuah baru name.

6. Passage peringkat ≠ RAG chunking. sama principle (sub-document granularity), berbeda outcome. Passage peringkat adalah sebuah sinyal itu peringkat halaman; RAG chunking retrieves sebuah chunk ke sebuah jawaban. jangan conflate SEO-era concept dengan AI-era satu.

Chunk-ready konten checklist

sebuah lulus untuk membuat Anda konten survive menjadi split, retrieved, dan cited out dari context:

• setiap H2/H3 bagian covers satu topic atau pertanyaan — Tidak dua-di-satu bagian.
• setiap bagian leads dengan jawaban (definition / key claim pertama, mendukung di bawah) — tidak buried di paragraf 3–4.
• setiap major bagian membaca sebagai self-berisi: ini akan membuat sense di isolation, dengan tidak ada apa pun sekitar ini.
• bagian adalah sebuah appropriate length (~200–500 kata) — menyelesaikan, tidak artificially chopped ke tiny blocks.
• sebagian besar penting konten muncul early pada halaman (Chrome reportedly mempertimbangkan hanya pertama ~30 passages).
• heading hierarchy adalah bersih (logical H1 → H2 → H3) — ini adalah bagian dari structural sinyal sebuah chunker walks.
• Facts itu harus stay together tidak stranded di seluruh sebuah mungkin boundary (e.g. sebuah claim di satu paragraf, -nya evidence three paragraphs kemudian).
• digunakan tables / lists di mana konten adalah genuinely list-like (jelas boundaries chunkers detect; lebih tinggi citation rates).
• Anda melakukan tidak rewrite semuanya ke rigid kata-count blocks — Google says itu’s tidak diperlukan.

Writing satu giant bagian untuk several intents

sebuah panjang block tentang definitions, implementation, exceptions, dan pengukuran dapat menjadi berguna sebagai sebuah halaman tetapi noisy sebagai sebuah retrieved passage. Split distinct pertanyaan di bawah heading dan memberikan setiap bagian cukup local context untuk stand alone.

Fragmenting setiap kalimat ke -nya own heading

Tiny chunks dapat lose qualifications dan relationships. melakukan tidak mengoptimalkan untuk sebuah imagined token angka. pertahankan sebuah menyelesaikan idea, -nya constraints, dan supporting evidence together.

Opening dengan sebuah contextless back-reference

Passages itu begin dengan “ini,” (terjemahan) “yang ini,” “it,” (terjemahan) “itu,” atau “namun” (terjemahan) “namun” dapat menjadi separated dari text itu names subject. Open penting bagian dengan sebuah direct kalimat itu identifies topic dan jawaban.

Duplicating text untuk force overlap

Repeated paragraphs buat competing near-duplicate passages dan sebuah worse reading experience. Retrieval sistem dapat tambahkan overlap internally; authors seharusnya gunakan jelas transitions dan self-berisi bagian alih-alih copying prose.

Prompt: audit passage independence

Review the article section by section as if each section could be retrieved without its
neighbors. For each heading, state the question it answers, whether the opening sentence
names the subject, what context is missing, whether unrelated intents are mixed, and the
smallest edit that makes the section self-contained. Preserve necessary qualifications
and evidence. Do not target an arbitrary token count or rewrite the author's voice.

Article:
[PASTE ARTICLE WITH HEADINGS]

Prompt: split sebuah overloaded bagian

This section covers several ideas. Propose a minimal heading structure that groups one
complete intent per section. For each proposed section, write only an answer-first
opening sentence and list which existing paragraphs belong under it. Do not add facts,
remove caveats, duplicate prose, or turn every sentence into a heading.

Section:
[PASTE HEADING AND CONTENT]

DevTools Console: flag panjang dirender bagian

Jalankan ini pada sebuah artikel halaman. character threshold adalah sebuah review aid, tidak sebuah penelusuran-mesin chunk boundary.

console.table([...document.querySelectorAll('main h2, main h3')].map((heading, i, all) => {
  let text = '';
  for (let node = heading.nextElementSibling; node && !all.includes(node); node = node.nextElementSibling) text += ` ${node.textContent}`;
  return { heading: heading.textContent.trim(), characters: text.trim().length };
}).filter(row => row.characters > 2000));

Regex: temukan contextless bagian openers di Markdown

ini multiline pattern flags heading milik siapa pertama prose kata adalah sebuah umum back-reference. Review setiap hit manually.

^#{2,4}\s+.+\n+(?:\n|>.*\n|\s*)*(This|That|It|They|These|Those|However|Therefore|Also|And|But|So|Then)\b

alat untuk passage QA

• sebuah browser outline atau document map quickly reveals heading itu combine unrelated pertanyaan atau leave panjang stretches tanpa subheadings.
• sebuah vector database atau embedding playground dapat demonstrate bagaimana chunk size memengaruhi sebuah controlled retrieval test, tetapi melakukan tidak convert satu model’s hasil ke sebuah universal SEO prescription.
• Search Console dan citation tracking mengukur halaman outcomes. mereka cannot tell Anda tepat proprietary chunk sebuah penelusuran platform stored.

Validate sebuah chunking-oriented rewrite

Uji pemahaman Anda: Chunking

Resources worth Anda time

My related writing

• Apa kami Sebenarnya Know tentang Optimizing untuk LLM Penelusuran — covers Chrome DocumentChunker / 30-passage finding dan bagaimana AI retrieval benar-benar memperlakukan Anda konten.

** foundational research**

• Dense Passage Retrieval (Karpukhin et al., 2020) — mengapa dense passage retrieval beats keyword matching; architecture di bawah modern RAG.
• Retrieval-Augmented Generation (Lewis et al., 2020) — paper itu named RAG; digunakan 100-kata Wikipedia passages.
• Lost di Middle (Liu et al., 2023) — LLMs gunakan mulai dan end dari context best; mengapa jawaban-pertama penting.
• RAPTOR (Sarthi et al., 2024) — hierarchical/recursive chunking melalui sebuah tree dari summaries.
• adalah Semantic Chunking Worth Cost? (Vectara, 2024) — study finding semantic chunking tidak reliably better daripada fixed-size.

** SEO counterpoint (baca ini)**

• SEO Chunk Optimization adalah Overrated (Despina Gavoyannis, Ahrefs) — case itu “chunk optimization” (terjemahan) “chunk optimization” adalah mostly hanya baik konten structure, dan itu Anda dapat’t control bagaimana sistem chunk Anda. paling penting nuance pada ini topic.

Practitioner guides

• Pinecone — Chunking Strategies — canonical strategy taxonomy.
• LlamaIndex — Evaluating Ideal Chunk Size (Ravi Theja) — 128/256/512/1024/2048 test itu landed pada 1 024.
• Databricks — Chunking Strategies untuk RAG — six strategies dengan domain-spesifik guidance.

dari sekitar industry

• konten Chunking Guide (mesin pencari Land) — covers definition, UX origins, macro/micro/atomic chunk jenis, dan bagaimana chunking connects untuk AI retrieval.
• Chunk, Cite, Clarify, bangun (Benu Aggarwal, mesin pencari Land) — four-bagian konten kerangka kerja untuk AI penelusuran; frames “konten now competes di a probability-weighted lottery dari answer generation.” (terjemahan) “konten now competes di sebuah probability-weighted lottery dari jawaban generation.”
• konten Chunking: Apa adalah ini & seharusnya Anda Care? (Semrush) — practitioner overview dengan Mike King’s quote (“chunking dan writing untuk users adalah tidak mutually exclusive” (terjemahan) “chunking dan writing untuk pengguna adalah tidak mutually exclusive”) dan Q&sebuah format testing.
• Chunked, Retrieved, Synthesized (Duane Forrester) — ex-Bing perspective pada mengapa structure wins bahkan dengan besar context windows; “Jika tradisional SEO optimized untuk clicks, GenAI sistem optimize untuk chunks.” (terjemahan) “jika tradisional SEO dioptimalkan untuk clicks, GenAI sistem mengoptimalkan untuk chunks.”
• LLM-Friendly konten (Onely / Bartosz Góralewicz) — utama sumber untuk tables-increase-citation-rates-2,5x finding dan listicles-account-untuk-50%-dari-top-AI-citations stat.
• 2025 AI Citation & LLM visibilitas Report ( Digital Bloom) — data pada apa predicts LLM citations; brand penelusuran volume, statistics, dan quotations semua ditampilkan untuk lift visibilitas.
• Ultimate Guide untuk Chunking Strategies (Agenta.ai) — comprehensive developer-oriented strategy taxonomy dengan Chroma benchmark data di seluruh chunking metode.

Stats worth citing

• 9–19% absolute — bagaimana banyak dense passage retrieval (DPR) beat BM25 keyword matching pada top-20 passage accuracy. case untuk retrieving oleh meaning, tidak keywords. Karpukhin et al., 2020
• ~7% dari kueri — share dari penelusuran kueri Google’s passage peringkat memengaruhi di penuh rollout (U.S. English langsung February 10, 2021). Coverage
• +20% absolute accuracy — RAPTOR’s hierarchical-chunking gain pada sebuah hard QA benchmark ketika paired dengan GPT-4. Sarthi et al., 2024
• Embedding model > chunking strategy — Vectara’s 2024 finding itu model quality affected retrieval lebih daripada apakah chunking adalah semantic atau fixed-size; pada nyata documents differences adalah “minimal.” (terjemahan) “minimal.” Study
• pertama ~30 passages — angka Chrome’s DocumentChunker reportedly mempertimbangkan per halaman (~200 kata setiap), per Dan Petrovic’s research — argument untuk front-memuat Anda key konten. Melalui Ahrefs
• ~2,5x citation rate — Onely’s finding itu tables increase AI-citation rates, dengan listicles accounting untuk ~50% dari top AI citations. Structure helps. Onely
• 93,67% dari Google AI Overviews cite setidaknya satu top-10 organic hasil — strong tetapi tidak absolute correlation antara organic rankings dan AI citation, meaning sebuah passage-tingkat match dapat override peringkat position. Digital Bloom, 2025 AI Citation Report

Log perubahan