Tokens dan Context Windows

TL;DR — sebuah token adalah little piece dari text sebuah AI membaca — biasanya sebuah chunk dari sebuah kata, roughly ¾ dari sebuah English kata. sebuah context window adalah bagaimana banyak text sebuah AI dapat hold di -nya head di setelah (-nya pendek-istilah memory). Keduanya penting untuk penelusuran karena penelusuran sistem melakukan tidak routinely hand sebuah model setiap halaman atau sebuah entire situs web. mereka biasanya grab hanya relevant bagian sebelum mereka jawaban.

Apa sebuah token adalah

Language models proses text sebagai tokens, yang dapat menjadi seluruh kata atau lebih kecil character sequences depending pada tokenizer. Bukti untuk klaim ini OpenAI models process text as tokens, and token boundaries may be whole words or parts of words. Cakupan: OpenAI tokenization; token counts depend on the model-compatible encoding. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 OpenAI: What are tokens? sebuah context window adalah sebuah model-spesifik limit pada tokens tersedia untuk sebuah permintaan dan respons, dan published limits dapat perubahan oleh model versi. Bukti untuk klaim ini Context-window limits are documented per model and can differ across model versions. Cakupan: OpenAI model metadata; published limits are product-specific and can change. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 OpenAI: Models

model bahasa besar — tech behind ChatGPT, Gemini, dan AI Overviews — jangan baca text cara Anda melakukan, kata oleh kata. mereka break ini ke tokens: kecil units itu adalah sering bagian dari sebuah kata alih-alih sebuah seluruh satu. Google’s aturan dari thumb untuk -nya Gemini models adalah itu satu token adalah tentang 4 characters, dan 100 tokens adalah roughly 60–80 English kata. So sebuah token adalah sebuah bit lebih sedikit daripada sebuah penuh kata pada average.

proses dari chopping text ke tokens adalah called tokenization, dan penuh set dari tokens sebuah model knows adalah -nya vocabulary. umum kata mungkin menjadi sebuah single token; lebih lama atau unusual kata mendapatkan split ke several. dan ini adalah tidak hanya text — Gemini tokenizes images, audio, dan video too.

Apa sebuah context window adalah

sebuah context window adalah paling tokens sebuah model dapat berfungsi dengan di satu go. Think dari ini sebagai pendek-istilah memory — itu’s Google’s own analogy. Google mendeskripsikan itu space sebagai satu shared pool covering instructions sistem memberikan model, back-dan-forth dari Anda conversation, apa pun documents itu mendapat pulled di, Anda pertanyaan, dan model’s jawaban — though tepat split tidak identical di mana-mana; beberapa providers cap bagaimana banyak output Anda dapat mendapatkan back secara terpisah dari overall window, so periksa specifics untuk whatever model Anda’re sebenarnya menggunakan.

penting bagian: setelah sesuatu falls di luar usable window, ini adalah hilang — tidak slowly forgotten, hanya invisible, sebagai jika ini adalah tidak pernah di sana. model dapat’t reach back untuk ini unless sistem dengan sengaja re-feeds ini, atau product alih-alih rejects, truncates, atau compacts Anda permintaan sebelum model bahkan sees ini.

Mengapa ini penting untuk penelusuran

Di sini’s connection orang miss. bahkan ketika sebuah halaman dapat fit di dalam sebuah besar context window, handing di atas setiap halaman atau sebuah entire situs adalah expensive dan biasanya irrelevant untuk pertanyaan. So ketika sebuah AI penelusuran alat jawaban, ini umumnya selects dan chunks paling relevant passages pertama, lalu feeds hanya itu untuk model.

itu’s seluruh alasan Anda hear advice like “put your answer up front” (terjemahan) “put Anda jawaban up front” dan “keep sections self-contained.” (terjemahan) “pertahankan bagian self-berisi.” ini adalah tidak sebuah style preference — ini adalah karena AI adalah berfungsi dengan sebuah piece dari Anda halaman, tidak halaman. jika sebuah bagian hanya membuat sense di context dari rest dari halaman, ini dapat lose -nya meaning moment ini adalah pulled out pada -nya own.

hal orang mendapatkan wrong

sebuah giant context window tidak berarti sebuah AI membaca Anda seluruh situs. Anda’ll hear itu Gemini dapat take di sebuah million tokens, dan think “great, it’ll read everything I publish.” (terjemahan) “great, ini’ll baca semuanya I publish.” ini tidak akan. di sebuah penelusuran atau AI Overview scenario, sistem masih picks dan chunks relevant passages sebelum apa pun reaches model — huge window perubahan apa mungkin di principle, tidak apa sebuah mesin pencari sebenarnya feeds itself untuk Anda kueri.

dan Anda tidak perlu untuk pre-cut Anda konten ke tiny token-sized blocks. Google says outright ada Tidak ideal halaman length dan Tidak requirement untuk break konten ke tiny pieces untuk AI. Tulis untuk orang; chunking happens pada machine’s side.

ingin nyata mechanics — bagaimana tokenization berfungsi, bagaimana big context windows memiliki gotten dan mengapa ada sebuah ceiling, dan apa “Lost in the Middle” (terjemahan) “Lost di Middle” berarti untuk Anda konten? Switch untuk Advanced tab.

TL;DR — sebuah token adalah unit sebuah LLM memproses — sebuah sub-kata fragment, ~4 characters, dengan 100 tokens ≈ 60–80 English kata (Google). Tokenization splits semua input dan output — text, images, audio, video — ke tokens; model’s known set adalah -nya vocabulary. sebuah context window adalah total token budget shared oleh input (sistem prompt + history + retrieved docs + Anda kueri) dan output ( respons) — Google’s analogy adalah pendek-istilah memory. konten di luar window adalah invisible, tidak secara bertahap forgotten. Windows scaled dari ~2K tokens untuk 1M+ (Gemini), dengan sebuah hardware ceiling (“thermal limit” (terjemahan) “thermal limit” dari TPUs). alasan ini penting untuk penelusuran: sistem manage cost dan relevance oleh selecting dan chunking sebelum sebuah LLM sees Anda konten — dan “Lost in the Middle” (terjemahan) “Lost di Middle” berarti bahkan apa adalah di window tidak digunakan evenly. sebuah bigger window tidak berarti AI membaca Anda seluruh situs.

Apa sebuah token sebenarnya adalah

Tokenization maps text ke integer token IDs menggunakan sebuah model-compatible encoding; token boundaries adalah tidak yang sama sebagai kata boundaries. Bukti untuk klaim ini OpenAI models process text as tokens, and token boundaries may be whole words or parts of words. Cakupan: OpenAI tokenization; token counts depend on the model-compatible encoding. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 OpenAI: What are tokens? Context-window sizes adalah product dan model metadata, tidak sebuah permanent property dari semua language models. Bukti untuk klaim ini Context-window limits are documented per model and can differ across model versions. Cakupan: OpenAI model metadata; published limits are product-specific and can change. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 OpenAI: Models

Google adalah blunt tentang granularity: “Gemini dan other generative AI models proses input dan output di a granularity called a token.” (terjemahan) “Gemini dan lainnya generative AI models proses input dan output di sebuah granularity called sebuah token.” sebuah token adalah tidak sebuah kata dan tidak sebuah character — ini adalah sebuah fragment. sebagai Google’s docs put ini, “Long words adalah rusak up menjadi several tokens. Itu set dari all tokens digunakan oleh itu model adalah called itu vocabulary, dan itu proses dari splitting text menjadi tokens adalah called tokenization.” (terjemahan) “panjang kata adalah rusak up ke several tokens. set dari semua tokens digunakan oleh model adalah called vocabulary, dan proses dari splitting text ke tokens adalah called tokenization.”

«The citable rule of thumb, straight from Google: “For Gemini models, a token is equivalent to about 4 characters. 100 tokens is equal to about 60-80 English words.” So roughly ¾ of a word per token, on average — but average is doing work there. Punctuation, non-English text, code, and unusual or long words tokenize less efficiently (more tokens per word), which is exactly why counting words is a poor way to estimate token usage. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian dua puluh empat, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

«Tokens also aren’t just text. Google: “All input to and output from the Gemini API is tokenized, including text, image files, and other non-text modalities.” Images, audio, and video frames all become tokens too. Google DeepMind’s engineers describe the context-window measure as “how many tokens — the smallest building blocks, like part of a word, image or video — that the model can process at once.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian dua puluh lima, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Apa sebuah context window adalah

sebuah context window adalah maximum angka dari tokens sebuah model dapat hold dan alasan di atas di sebuah single interaction. Google’s framing adalah dengan sengaja sederhana: “An analogy untuk itu context window adalah short term memory.” (terjemahan) “sebuah analogy untuk context window adalah pendek istilah memory.”

key mechanical poin adalah itu ini adalah satu shared budget. Semuanya competes untuk yang sama space:

• sistem prompt ( instructions application memberikan model),
• conversation history so far,
• apa pun retrieved atau injected documents ( passages sebuah penelusuran/RAG sistem pulled di),
• Anda input ( saat ini kueri), dan
• model’s own output ( jawaban ini generates).

Google’s Gemini docs deskripsikan input dan output drawing dari satu shared pool. itu tepat accounting tidak universal, though: lainnya providers publish sebuah terpisah maximum- output figure alongside context window alih-alih treating ini sebagai satu undivided budget — Anthropic’s model docs, misalnya, list sebuah “context window” (terjemahan) “context window” size dan sebuah distinct “max output” (terjemahan) “max output” cap side oleh side untuk setiap Claude model. Bukti untuk klaim ini Context-window limits are documented per model and can differ across model versions. Cakupan: OpenAI model metadata; published limits are product-specific and can change. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 OpenAI: Models periksa documentation untuk spesifik model dan product Anda’re sebenarnya menggunakan rather daripada assuming satu formula applies di mana-mana.

Whatever tepat accounting, setelah konten falls di luar usable window, ini tidak secara bertahap forgotten — ini adalah sekadar invisible, sebagai jika ini tidak pernah existed, unless sebuah sistem explicitly summarizes ini dan re-injects sebuah lebih singkat versi, atau product alih-alih rejects, truncates, atau compacts permintaan sebelum model ever sees ini. itu “ini gone, tidak fading” (terjemahan) “ini adalah hilang, tidak fading” perilaku adalah bagian itu trips orang up ketika mereka assume sebuah AI “remembers” (terjemahan) “remembers” sebuah panjang conversation cara sebuah person akan.

Bagaimana big context windows adalah — dan bagaimana fast itu changed

«The scale-up here has been dramatic. Early generative models handled only a couple thousand tokens; the progression ran through roughly 8K, then 32K, then 128K, before the jump Google flags in its docs: “Gemini is the first model capable of accepting 1 million tokens.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian tiga puluh empat, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

ada sebuah physical ceiling, though. Google DeepMind pushed untuk experimental 10-million- token windows, dan research scientist Nikolay Savinov — satu dari research leads pada panjang-context project, siapa originally targeted 128 000 tokens sebelum landing pada 1 million — put limit plainly: “10 million tokens at once is already close to the thermal limit of our Tensor Processing Units.” (terjemahan) “10 million tokens di setelah adalah sudah close untuk thermal limit dari kami Tensor Processing Units.” Bigger context tidak free — ini costs memory, compute, dan secara harfiah heat. (Google DeepMind’s Denis Teplyashin memiliki described yang sama cascade dari 128K untuk 512K untuk 1M untuk 10M, setiap langkah opening baru possibilities tetapi berjalan ke harder engineering limits; research scientist Machel Reid memiliki described apa tim sebenarnya melakukan dengan itu space, like feeding sebuah entire codebase atau sebuah 45-minute film ke sebuah single prompt.)

Dua consequences worth internalizing:

1. ** angka Anda see adalah moving targets.** “The largest context window” (terjemahan) “ largest context window” adalah sebuah figure itu mempertahankan mengubah; jangan hard-code strategy untuk sebuah spesifik token count.
2. Bigger ≠ secara otomatis better. Lebih capacity adalah tidak lebih comprehension — see “Lost in the Middle” (terjemahan) “Lost di Middle” di bawah.

Apa sebuah million tokens sebenarnya looks like

Abstract token counts adalah hard untuk feel, so Google offers concrete sizing untuk apa 1M tokens dapat hold:

• “50,000 lines of code (with the standard 80 characters per line),” (terjemahan) “50 000 lines dari code (dengan standard 80 characters per line),”
• “All the text messages you have sent in the last 5 years,” (terjemahan) “semua text messages Anda memiliki dikirim di terakhir 5 tahun,”
• “8 average length English novels,” (terjemahan) “8 average length English novels,”
• “Transcripts of over 200 average length podcast episodes.” (terjemahan) “Transcripts dari di atas 200 average length podcast episodes.”

itu’s genuinely enormous — dan ini adalah persis mengapa “so the AI just reads my whole site” (terjemahan) “so AI hanya membaca my seluruh situs” assumption feels reasonable dan adalah masih wrong. Yang brings us untuk penelusuran angle.

Mengapa tokens dan context windows penting untuk AI penelusuran

ini adalah core dari ini untuk anyone melakukan SEO atau konten. Tidak penuh halaman — dan certainly Tidak penuh situs — adalah reliably handed untuk sebuah model seluruh di sebuah penelusuran scenario. bahkan ketika sebuah halaman fits technically, feeding semua dari ini dapat menjadi uneconomical atau irrelevant untuk kueri. itu adalah mengapa retrieval sistem — AI Overviews, Copilot, RAG pipelines, chatbots dengan browsing — select, chunk, dan lulus hanya beberapa dari sebuah halaman’s konten untuk model. (Tidak penelusuran vendor publishes persis apa ini retrieves per kueri, so ini adalah inference dari bagaimana retrieval architectures berfungsi umumnya dan dari publik statements like ones di bawah — tidak sebuah claim itu setiap AI penelusuran product behaves identically.)

token/context-window limit adalah mechanical alasan behind sebuah seluruh stack dari AI- penelusuran perilaku Anda sudah know tentang pada ini situs:

• ini adalah mengapa chunking ada — konten mendapatkan split ke retrievable passages karena seluruh hal tidak akan fit, dan Microsoft’s own Azure guidance says partitioning besar documents ke lebih kecil chunks “can help you stay under the maximum token input limits of chat completion and embedding models.” (terjemahan) “dapat help Anda stay di bawah maximum token input limits dari chat completion dan embedding models.”
• ini adalah mengapa retrieval ( “R” (terjemahan) “R” di RAG) memiliki untuk pick sebuah handful dari passages sebelum generation — model dapat hanya menjadi handed apa fits di -nya budget.
• ini adalah mengapa embedding models memiliki mereka own token caps (banyak top out sekitar sebuah sedikit thousand tokens per input), so panjang passages memiliki untuk menjadi split sebelum mereka’re bahkan turned ke vectors.

industry’s own framing dari masalah adalah jelas. llms.txt spec opens dengan: “Large language models increasingly rely pada website information, tetapi face a critical limitation: context windows adalah too small untuk tangani paling websites di mereka entirety.” (terjemahan) “model bahasa besar increasingly rely pada situs web informasi, tetapi face sebuah critical limitation: context windows adalah too kecil untuk tangani sebagian besar situs web di mereka entirety.” itu’s seluruh motivation untuk format — bahkan jika, sebagai I’ll cover di myths bagian, Google’s John Mueller memiliki called llms.txt di best sebuah token-saving “crutch” (terjemahan) “crutch” untuk coding alat, tidak sebuah penelusuran-visibilitas mechanism.

”Lost in the Middle” (terjemahan) “Lost di Middle” — bahkan apa di window tidak digunakan evenly

Di sini’s subtler poin. Getting Anda konten ke window tidak finish line. Stanford “Lost in the Middle” (terjemahan) “Lost di Middle” study (Liu et al., 2023) ditemukan itu pada language models dan tasks mereka tested, models digunakan informasi di mulai dan end dari mereka context far better daripada informasi buried di middle. itu’s sebuah position effect diukur pada 2023-era models — tidak proof setiap saat ini model selalu ignores middle — tetapi ini adalah held up sebagai sebuah umum caution: stuffing lebih tokens di tidak jaminan better jawaban, dan konten itu leads dengan -nya poin survives keduanya retrieval dan di-context attention better daripada konten itu buries ini.

economics: mengapa AI sistem adalah selective pada purpose

«There’s a business-model reason retrieval systems chunk aggressively rather than feed whole pages. Google notes that “when billing is enabled, the cost of a call to the Gemini API is determined in part by the number of input and output tokens” — and output tokens typically cost several times more than input tokens. Tokens are literally metered. That gives AI systems a strong economic incentive to retrieve and pass only what’s necessary, which reinforces the same conclusion from a different direction: selective, passage-level retrieval isn’t a temporary limitation to wait out — it’s how these systems are designed to work. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian lima puluh, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

umum myths, debunked

• “A 1-million-token context window berarti itu AI membaca my seluruh website di setelah.” (terjemahan) “sebuah 1-million-token context window berarti AI membaca my seluruh situs web di setelah.” Tidak. di sebuah penelusuran atau RAG scenario, retrieval masih selects dan chunks konten sebelum ini ever reaches model’s window. sebuah huge window perubahan apa mungkin di principle, tidak apa sebuah mesin pencari atau AI Overview sebenarnya feeds itself per kueri. Google’s line adalah secara langsung pada poin: “ada Tidak ideal halaman length, dan di itu end, membuat halaman untuk Anda audience, tidak sekadar untuk generative AI penelusuran.” (terjemahan) “ada Tidak ideal halaman length, dan di end, membuat halaman untuk Anda audience, tidak hanya untuk generative AI penelusuran.”

• “I need to write in exactly 200-word, token-sized chunks.” (terjemahan) “I perlu untuk tulis di persis 200-kata, token-sized chunks.” Tidak. Google: “There’s no requirement to break your content into tiny pieces for AI to better understand it.” (terjemahan) “ada Tidak requirement untuk break Anda konten ke tiny pieces untuk AI untuk better memahami ini.” Chunking happens pada sistem side; Anda job adalah jelas, well- structured konten, tidak manual token accounting.

• “More tokens = a smarter model / better answers.” (terjemahan) “Lebih tokens = sebuah smarter model / better jawaban.” Tidak. sebuah lebih besar window increases capacity, tidak comprehension — dan “Lost in the Middle” (terjemahan) “Lost di Middle” menampilkan models gunakan mulai dan end dari mereka context better daripada middle. Bigger tidak secara otomatis better.

• “Tokens = words, so I can just count words to estimate usage.” (terjemahan) “Tokens = kata, so I dapat hanya count kata untuk estimate usage.” Roughly, tetapi tidak reliably. 100 tokens ≈ 60–80 English kata adalah Google’s average, tetapi punctuation, code, non-English text, dan unusual kata tokenize lebih sedikit efficiently — yang penting ketika Anda’re estimating cost atau budget.

• “llms.txt solves the context-window problem for my site.” (terjemahan) “llms.txt solves context-window masalah untuk my situs.” masalah adalah nyata — ini adalah spec’s own stated motivation — tetapi Google tidak gunakan llms.txt untuk penelusuran, dan Mueller memiliki dibingkai ini sebagai sebuah token-saving crutch untuk AI coding alat, tidak sebuah SEO perbaiki. mitigations itu sebenarnya penting adalah yang sama fundamentals: menjadi dapat di-crawl dan terindeks, dan tulis jelas, retrieval-friendly konten.

Apa ini berarti untuk konten dan SEO

Strip jargon dan takeaways adalah concrete — dan mereka’re sama discipline itu menampilkan up di seluruh ini cluster:

• Front-muat jawaban. Keduanya retrieval dan di-context attention favor mulai (dan end) dari apa sebuah model sees. Lead dengan Anda poin.
• pertahankan bagian self-berisi. Karena sebuah passage dapat menjadi pulled out dari Anda halaman dan handed untuk sebuah model pada -nya own, ini seharusnya stand pada -nya own. ini adalah yang sama logic behind baik H2/H3 structure dan jelas topic sentences.
• jangan obsess di atas manual chunking. Tidak ideal halaman length, Tidak requirement untuk fragment. Tulis untuk humans; sistem chunks.
• “Bigger context window” (terjemahan) “Bigger context window” ≠ “AI reads my whole site.” (terjemahan) “AI membaca my seluruh situs.” mengoptimalkan untuk menjadi ditemukan dan dipilih, tidak untuk menjadi ingested seluruh.

Tokens dan context windows adalah rendah-tingkat plumbing di bawah sebagian besar dari ini cluster: mereka’re alasan grounding dan retrieval memiliki untuk select passages, alasan chunking prepares text cara ini melakukan, constraint embeddings dan semantic dan pencarian vektor berfungsi di dalam, dan limit passage peringkat ada untuk berfungsi sekitar. dan mereka sit right berikutnya untuk model’s lainnya hard boundary — -nya knowledge cutoff — sebagai satu dari core limitations dari apa pun LLM.

AI summary

sebuah condensed take pada Advanced versi:

• sebuah token = unit sebuah LLM memproses — sebuah sub-kata fragment, ~4 characters, dengan 100 tokens ≈ 60–80 English kata (Google). Tokenization splits semua input dan output — text, images, audio, video — ke tokens; model’s known set adalah -nya vocabulary.
• kata counts estimate tokens poorly — punctuation, code, non-English text, dan unusual kata tokenize lebih sedikit efficiently (lebih tokens per kata).
• sebuah context window = total token budget shared oleh input (sistem prompt + history + retrieved docs + kueri) dan output. Google’s analogy: pendek-istilah memory.
• konten di luar window adalah invisible, tidak secara bertahap forgotten — hilang unless sebuah sistem summarizes dan re-injects ini.
• Windows scaled fast: ~2K → 8K/32K/128K → 1M+ (Gemini), dengan experimental 10M near “thermal limit” (terjemahan) “thermal limit” dari Google’s TPUs (Nikolay Savinov). angka pertahankan moving.
• Bigger ≠ better: lebih capacity tidak lebih comprehension. “Lost in the Middle” (terjemahan) “Lost di Middle” — models gunakan mulai dan end dari mereka context better daripada middle.
• mengapa ini penting untuk penelusuran: Tidak penuh halaman atau situs fits di satu window, so retrieval sistem (AI Overviews, Copilot, RAG) select dan chunk sebelum sebuah LLM ever sees Anda konten. ini adalah mechanical alasan chunking, retrieval, dan embedding token caps exist.
• Economics reinforce ini: tokens adalah metered (output biasanya costs lebih daripada input), so sistem adalah designed untuk retrieve selectively, tidak feed seluruh halaman.
• Myths busted: sebuah 1M window tidak berarti AI membaca Anda seluruh situs; Tidak perlu untuk manual token-sized chunks (Google says Tidak ideal length, Tidak requirement untuk fragment); lebih tokens ≠ smarter; llms.txt tidak solve ini untuk penelusuran.
• konten upshot: front-muat jawaban, pertahankan bagian self-berisi, jangan obsess di atas manual chunking, mengoptimalkan untuk menjadi dipilih, tidak ingested seluruh.

Dokumentasi resmi

Utama-sumber documentation pada tokens dan context windows.

Google

• memahami dan count tokens (Gemini API) — apa sebuah token adalah, ~4-characters / 100-tokens-≈-60-80-kata aturan dari thumb, tokenization dan vocabulary, dan multimodal tokenization.
• panjang context (Gemini API) — pendek-istilah-memory analogy, 1-million-token milestone, historical progression, dan concrete “what a million tokens looks like” (terjemahan) “apa sebuah million tokens looks like” contoh.
• Apa adalah sebuah panjang context window? Google DeepMind engineers jelaskan (Google Blog) — DeepMind engineers pada tokens sebagai smallest membangun blocks dan hardware ceiling.
• Gemini Developer API pricing — token-based billing; input vs. output token costs.
• Optimizing Anda situs web untuk generative AI fitur (Google Search Central) — “no ideal page length” (terjemahan) “Tidak ideal halaman length” dan “no requirement to break your content into tiny pieces.” (terjemahan) “Tidak requirement untuk break Anda konten ke tiny pieces.”

Microsoft / Azure

• Chunk besar documents untuk pencarian vektor (Azure AI Penelusuran) — chunking untuk stay di bawah maximum token input limits dari chat-completion dan embedding models.
• Apa adalah AI Tokens? (Microsoft Copilot help) — Microsoft’s consumer-facing explainer dari tokens dan bagaimana token limits cap bagaimana banyak Anda dapat tanyakan tentang di setelah.

Industry masalah statement

• llms.txt spec (llmstxt.org) — frames context-window limit sebagai origin masalah: windows “too small to handle most websites in their entirety.” (terjemahan) “too kecil untuk tangani sebagian besar situs web di mereka entirety.”

Quotes dari sumber

pada—record statements dari Google dan Microsoft, plus industry framing dari context-window masalah. setiap tautan adalah sebuah deep tautan untuk quoted passage di mana sumber halaman mendukung satu.

Google — apa sebuah token adalah

«- “Gemini and other generative AI models process input and output at a granularity called a token.” — Google AI for Developers, Understand and count tokens. Jump to quote

• “For Gemini models, a token is equivalent to about 4 characters. 100 tokens is equal to about 60-80 English words.” Jump to quote
• “Long words are broken up into several tokens. The set of all tokens used by the model is called the vocabulary, and the process of splitting text into tokens is called tokenization.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian tujuh puluh delapan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Google — context window

«- “An analogy for the context window is short term memory.” — Google AI for Developers, Long context. Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian delapan puluh, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “Gemini is the first model capable of accepting 1 million tokens.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian delapan puluh, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Google DeepMind engineers — tokens dan hardware ceiling (melalui Google Blog)

• “measures how many tokens — the smallest building blocks, like part of a word, image or video — that the model can process at once.” (terjemahan) “measures bagaimana banyak tokens — smallest membangun blocks, like bagian dari sebuah kata, image atau video — itu model dapat proses di setelah.” Jump untuk quote
• “10 million tokens at once is already close to the thermal limit of our Tensor Processing Units.” (terjemahan) “10 million tokens di setelah adalah sudah close untuk thermal limit dari kami Tensor Processing Units.” — Nikolay Savinov, Research Scientist, Google DeepMind. Baca coverage

Google — Tidak ideal halaman length, Tidak requirement untuk fragment

• “There’s no ideal page length, and in the end, make pages for your audience, not just for generative AI search.” (terjemahan) “ada Tidak ideal halaman length, dan di end, membuat halaman untuk Anda audience, tidak hanya untuk generative AI penelusuran.” — Google Search Central, Optimizing Anda situs web untuk generative AI fitur. Baca guide
• “There’s no requirement to break your content into tiny pieces for AI to better understand it.” (terjemahan) “ada Tidak requirement untuk break Anda konten ke tiny pieces untuk AI untuk better memahami ini.” — Google Search Central, sama guide. Baca guide

Microsoft — chunking untuk stay di bawah token limits

• “Partitioning large documents into smaller chunks can help you stay under the maximum token input limits of chat completion and embedding models.” (terjemahan) “Partitioning besar documents ke lebih kecil chunks dapat help Anda stay di bawah maximum token input limits dari chat completion dan embedding models.” — Microsoft, Azure AI Penelusuran documentation. Baca sumber

** industry masalah statement — llms.txt spec**

• “Large language models increasingly rely on website information, but face a critical limitation: context windows are too small to handle most websites in their entirety.” (terjemahan) “model bahasa besar increasingly rely pada situs web informasi, tetapi face sebuah critical limitation: context windows adalah too kecil untuk tangani sebagian besar situs web di mereka entirety.” — llmstxt.org spec. Jump untuk quote

Tokens dan context windows — cheat sheet

Apa setiap istilah adalah di satu line

Token ↔ kata aturan dari thumb (Google, Gemini)

(Caveat: averages hanya — punctuation, code, dan non-English text gunakan lebih tokens per kata.)

Bagaimana context windows grew

«| Era | Approx. window | | --- | --- | | Early generative models | ~2,000 tokens | | 2023-era models | 8K → 32K → 128K | | Gemini (2024–26) | 1,000,000+ tokens | | Experimental | ~10,000,000 (near the TPU “thermal limit”) | » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh sembilan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Apa 1 million tokens dapat hold (Google’s contoh)

• ~50 000 lines dari code (80 chars/line)
• 5 tahun dari Anda text messages
• 8 average-length English novels
• Transcripts dari 200+ podcast episodes

Fast facts

• Context window = satu shared budget untuk sistem prompt + history + retrieved docs + kueri + output.
• konten di luar window adalah invisible — hilang, tidak secara bertahap forgotten.
• Bigger window ≠ better jawaban — “Lost in the Middle” (terjemahan) “Lost di Middle”: mulai/end beat middle.
• di penelusuran, retrieval chunks dan selects sebelum model sees konten — sebuah 1M window tidak berarti AI membaca Anda seluruh situs.
• Google: Tidak ideal halaman length, Tidak requirement untuk fragment konten untuk AI.
• Tokens adalah metered/billed (output biasanya costs lebih daripada input) — economic alasan sistem retrieve selectively.

mental models

1. Token = model’s unit dari reading, tidak kata. LLMs baca di sub-kata fragments (~4 characters, ~¾ dari sebuah kata). Ketika Anda estimate cost atau budget, count tokens, tidak kata — punctuation, code, dan non-English text inflate ratio.

2. context window adalah pendek-istilah memory — sebuah shared budget. sistem prompt, history, retrieved documents, Anda kueri, dan model’s output semua draw dari satu pool. Apa pun di luar ini adalah invisible, tidak fading. jika sebuah model seems untuk “forget,” (terjemahan) “forget,” tanyakan apa fell out dari window.

3. Bigger window ≠ lebih understanding. Capacity dan comprehension adalah berbeda axes. “Lost in the Middle” (terjemahan) “Lost di Middle” berarti mulai dan end dari context mendapatkan digunakan better daripada middle — so lead dengan Anda poin, jangan hanya tambahkan lebih.

4. Tidak halaman fits — so retrieval selects pertama. seluruh alasan AI penelusuran chunks dan retrieves adalah itu sebuah halaman (let alone sebuah situs) tidak fit, atau tidak economical untuk feed, seluruh. model tidak pernah sees Anda halaman; ini sees passages sebuah retrieval sistem chose. mengoptimalkan untuk menjadi dipilih, tidak ingested seluruh.

5. decision aturan untuk konten. jangan manually cut konten ke token-sized blocks (Google says Anda tidak perlu untuk). melakukan front-muat jawaban dan tulis self-berisi bagian — karena keduanya retrieval dan di-context attention reward konten itu stands pada -nya own dan leads dengan -nya poin.

Context-window mistakes

Treating kata dan tokens sebagai interchangeable

Tokenization varies oleh model, language, punctuation, dan code. gunakan tokenizer untuk sebenarnya model ketika sebuah hard limit penting; sebuah kata-count ratio adalah hanya planning guidance.

Filling entire advertised context window

Capacity tidak berarti setiap token menerima equal attention atau itu output space adalah free. Reserve room untuk instructions dan jawaban, hapus duplicated material, dan test penuh task alih-alih celebrating sebuah maximum input size.

Splitting konten di sebuah fixed character count

Blind cuts dapat terpisah sebuah heading, definition, table, atau qualifier dari passage ini menjelaskan. Chunk pada semantic boundaries dan pertahankan cukup local context untuk setiap unit untuk stand alone.

mengukur halaman bagian sebelum chunking

Jalankan ini di Chrome DevTools Console. ini reports characters dan whitespace-split kata untuk setiap headed bagian tanpa pretending itu counts equal model tokens:

const headings = [...document.querySelectorAll('main h2, main h3')];
console.table(headings.map((h, i) => { let text = ''; for (let n = h.nextElementSibling; n && !/^H[23]$/.test(n.tagName); n = n.nextElementSibling) text += ` ${n.innerText || ''}`; return { heading: h.textContent.trim(), characters: text.trim().length, words: text.trim() ? text.trim().split(/\s+/).length : 0, nextHeading: headings[i + 1]?.textContent.trim() || '' }; }));

gunakan output untuk temukan oversized atau empty bagian, lalu jalankan akhir text melalui tokenizer untuk model Anda akan sebenarnya gunakan.

temukan mungkin semantic boundaries di plain text

ini regular expression matches Markdown kedua- dan ketiga-tingkat heading dan mempertahankan heading text di capture group 1:

^#{2,3}\s+(.+)$

gunakan multiline mode. heading adalah candidate boundaries, tidak sebuah jaminan itu setiap bagian adalah menyelesaikan cukup untuk retrieve alone.

Resources worth Anda time

My related writing

• Apa kami Sebenarnya Know tentang Optimizing untuk LLM Penelusuran — my Ahrefs piece pada bagaimana AI retrieval memperlakukan konten, including Dan Petrovic’s Chrome DocumentChunker research pada bagaimana halaman adalah chunked ke ~200-kata passages sebelum mereka’re processed — token/context-window limit adalah persis mengapa itu chunking happens.
• Generative mesin Optimization — my lebih luas take pada optimizing untuk sebuah retrieval-dan-generation penelusuran landscape shaped oleh ini context limits.

My speaking

• GEO? AEO? LLMO? — my AI penelusuran webinar — di mana retrieval, chunking, dan context limits fit ke AI penelusuran. (My standing disclaimer applies: ini adalah my understanding dari ini sistem, tidak going untuk menjadi 100% menyelesaikan atau accurate.)

Official

• memahami dan count tokens (Gemini API) dan panjang context (Gemini API) — Google’s own definitions dan million-token contoh.
• Optimizing Anda situs web untuk generative AI fitur (Google Search Central) — “Tidak ideal halaman length,” (terjemahan) “Tidak ideal halaman length,” “no requirement to break your content into tiny pieces.” (terjemahan) “Tidak requirement untuk break Anda konten ke tiny pieces.”

dari sekitar industry

• Apa adalah sebuah panjang context window? Google DeepMind engineers jelaskan — Nikolay Savinov pada TPU thermal ceiling, plus Machel Reid dan Denis Teplyashin pada apa panjang context unlocks.
• Chunk besar documents untuk pencarian vektor (Microsoft Azure AI Penelusuran) — chunking untuk stay di bawah maximum token input limits.
• llms.txt spec — “context windows are too small to handle most websites in their entirety” (terjemahan) “context windows adalah too kecil untuk tangani sebagian besar situs web di mereka entirety” masalah statement, dan format dibangun sekitar ini.
• SEO Chunk Optimization adalah Overrated (Despina Gavoyannis, Ahrefs) — “Anda tidak dapat control bagaimana Google, ChatGPT, atau Perplexity chunk Anda konten. Mereka pipelines ubah based pada cost, model, dan context.” (terjemahan) “Anda dapat’t control bagaimana Google, ChatGPT, atau Perplexity chunk Anda konten. mereka pipelines perubahan berdasarkan cost, model, dan context.”
• Chunked, Retrieved, Synthesized — Tidak diperingkatkan (Duane Forrester) — “If traditional SEO optimized for clicks, GenAI systems optimize for chunks… Structure still wins.” (terjemahan) “jika tradisional SEO dioptimalkan untuk clicks, GenAI sistem mengoptimalkan untuk chunks… Structure masih wins.”
• Apa adalah sebuah context window? (IBM) — sebuah neutral, thorough reference explainer.

Stats worth citing

«- ~4 characters per token; 100 tokens ≈ 60–80 English words — Google’s own rule of thumb for Gemini models, the most citable token-to-word conversion. Source » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- 1,000,000 tokens — Gemini is the first model capable of accepting 1 million tokens in a single window, up from ~2K in early generative models. Source » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- ~10,000,000 tokens = near the TPU thermal limit — Google DeepMind’s Nikolay Savinov on the current physical ceiling for context-window size. Source » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh, bagian kecil tiga: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- 1 million tokens ≈ 8 novels / 200+ podcast transcripts / 50,000 lines of code — Google’s concrete sizing for what a million-token window can hold. Source » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh, bagian kecil empat: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- Token-based billing (output usually costs more than input) — per Google, the cost of a Gemini API call is determined in part by input and output token counts, the economic reason AI systems retrieve selectively rather than feed whole pages. Source » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh, bagian kecil lima: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Uji pemahaman Anda: Tokens dan Context Windows

Five quick pertanyaan pada bagaimana LLMs baca text dan bagaimana banyak mereka dapat hold di setelah. Pick sebuah jawaban untuk setiap, lalu periksa.

Log perubahan