Panduan AI Hallucinations

Research memiliki ditampilkan itu language models dapat repeat umum misconceptions alih-alih reliably correct them. Evidence for this claim TruthfulQA found that language models can reproduce common human misconceptions and that larger models were not automatically more truthful on its benchmark. Scope: TruthfulQA's benchmark, model set, and 2021 results; not a current cross-model error rate. Confidence: high · Verified: 2026-07-14 Lin et al.: TruthfulQA NIST panggilan confidently presented salah atau erroneous model konten “confabulation.” Evidence for this claim NIST's Generative AI Profile identifies confabulation—the confident presentation of false or erroneous content—as a generative-AI risk. Scope: NIST risk-management terminology and guidance; not a product-specific incidence estimate. Confidence: high · Verified: 2026-07-14 NIST: Generative AI Profile

TL;DR — sebuah AI hallucination adalah ketika sebuah chatbot says sesuatu itu sounds right tetapi adalah hanya wrong — sebuah dibuat-up fact, sebuah fake sumber, atau sebuah tautan untuk sebuah halaman itu tidak exist. di sebuah ungrounded respons, model predicts mungkin-sounding kata alih-alih memeriksa sebuah sumber. Grounding (giving model retrieved sources) dapat help tetapi tidak fully perbaiki ini. untuk Anda situs web, dua hal untuk watch adalah AI pointing orang di URLs Anda tidak pernah dibuat, dan AI getting facts tentang Anda brand wrong.

Apa sebuah AI hallucination adalah

sebuah ungrounded language-model respons predicts mungkin continuations dari learned patterns alih-alih verifying setiap statement terhadap sebuah sumber. Penelusuran dan retrieval alat dapat tambahkan saat ini evidence, tetapi mereka melakukan tidak membuat synthesis error-proof. Ketika sebuah generated statement sounds confident tetapi adalah salah, itu adalah commonly called sebuah hallucination.

sebuah berguna cara untuk picture ini: model adalah very baik di writing jenis dari kalimat itu biasanya muncul berikutnya. ini adalah tidak memeriksa apakah itu kalimat adalah benar. Ketika ini tidak benar-benar “know” (terjemahan) “know” sesuatu — sebuah niche detail, sebuah recent perubahan, sebuah obscure brand — ini masih menulis sebuah smooth, confident-sounding jawaban, karena itu’s apa ini adalah trained untuk melakukan.

beberapa researchers prefer kata confabulation (borrowed dari memory research, di mana orang sincerely fill di gaps dengan salah detail). ini adalah sebuah better kata karena AI tidak lying atau trying untuk trick Anda. ini hanya generated paling plausible-looking continuation, dan itu continuation happened untuk menjadi wrong.

dua jenis itu hit Anda situs web

1. dibuat-up URLs. AI recommends sebuah halaman pada Anda situs itu tidak exist. sebuah pengguna clicks dan lands pada sebuah 404. AI assistants melakukan ini far lebih daripada Google melakukan. pada Ahrefs’ own data, 3,6% dari traffic dari AI went untuk halaman itu jangan exist pada situs.
2. Wrong facts tentang Anda brand. AI tells sebuah prospect wrong founder, old pricing, sebuah discontinued product, atau sesuatu sebuah pesaing mengatakan tentang Anda — stated sebagai fact, dengan Tidak “I’m tidak sure” (terjemahan) “I’m tidak sure” attached.

Apa Anda dapat sebenarnya melakukan

• Redirect dibuat-up URLs. jika AI mempertahankan sending orang untuk sebuah halaman Anda tidak pernah dibangun, siapkan sebuah redirect dari itu fake URL untuk closest nyata halaman. (Anda pertama memiliki untuk temukan them — watch Anda analytics untuk traffic untuk 404s.)
• periksa apa AI says tentang Anda. tanyakan big AI alat jenis dari pertanyaan Anda customers tanyakan, dan see jika jawaban adalah right. melakukan ini regularly — jawaban perubahan sebagai models perbarui.
• Publish jelas, correct facts. cleaner dan lebih consistent Anda publik informasi adalah (Anda “Tentang” (terjemahan) “tentang” halaman, data terstruktur, profiles), easier ini adalah untuk AI untuk ground pada truth alih-alih guessing.

Satu hal itu surprises orang: blocking AI crawler melakukan tidak perbaiki hallucinations tentang Anda brand. jika sebuah model sudah learned sesuatu wrong tentang Anda, blocking ini dari re-crawling tidak un-teach ini. Monitoring dan jelas publik facts melakukan lebih daripada blocking.

ingin mechanism — mengapa bigger models dapat hallucinate lebih, apa research menampilkan, dan bagaimana grounding fails — switch untuk Advanced tab.

TruthfulQA ditemukan itu scale alone melakukan tidak membuat tested models lebih truthful pada -nya benchmark. Evidence for this claim TruthfulQA found that language models can reproduce common human misconceptions and that larger models were not automatically more truthful on its benchmark. Scope: TruthfulQA's benchmark, model set, and 2021 results; not a current cross-model error rate. Confidence: high · Verified: 2026-07-14 Lin et al.: TruthfulQA NIST memperlakukan confabulation sebagai sebuah risk untuk mengukur dan manage, tidak sebagai sebuah product-spesifik fixed error rate. Evidence for this claim NIST's Generative AI Profile identifies confabulation—the confident presentation of false or erroneous content—as a generative-AI risk. Scope: NIST risk-management terminology and guidance; not a product-specific incidence estimate. Confidence: high · Verified: 2026-07-14 NIST: Generative AI Profile

TL;DR — Hallucination adalah sebuah characteristic dari berikutnya-token prediction, tidak sebuah bug Anda dapat patch out. Models mengoptimalkan untuk plausible continuations, tidak truth, so mereka confidently produce salah statements ketika training sinyal adalah thin. grounding dan RAG reduce ini (73–86% di beberapa benchmarks) tetapi jangan eliminate ini — best grounded models masih fail ~10–15% dari time, dan TruthfulQA ditemukan lebih besar models dapat produce lebih convincing falsehoods. untuk SEO ini adalah measurable: AI mengirim pengguna untuk 404s ~2,87x lebih daripada Google, 3,6% dari kami AI traffic di Ahrefs went untuk non-existent halaman, dan citation error rates di seluruh AI mesin pencari jalankan north dari 60%. memperbaiki adalah tactical: redirect hallucinated URLs, monitor brand jawaban, dan publish verifiable, entity-jelas konten.

Apa hallucination sebenarnya adalah

sebuah AI hallucination adalah output itu’s confidently stated tetapi factually incorrect, fabricated, atau unsupported oleh apa pun sumber. cleaner teknis istilah adalah confabulation — borrowed dari neuropsychology, di mana ini berarti producing salah accounts dengan genuine confidence dan Tidak intent untuk deceive. itu precision penting: model tidak lying. ini memiliki Tidak notion dari truth untuk lie tentang. ini adalah berjalan satu task ini adalah trained untuk — predicting berikutnya token — dan sometimes paling probable token adalah salah.

ini adalah single sebagian besar penting framing pada ini halaman: hallucination adalah sebuah inherent byproduct dari language modeling itu prioritizes plausibility di atas factual accuracy. ini emerges dari LLMs functioning sebagai designed, tidak dari implementation failures. Anda tidak perbaiki ini cara Anda perbaiki sebuah bug. Anda reduce ini.

Mengapa ini happens — mechanism

LLMs adalah trained pada sebuah berikutnya-token objective: diberikan sebuah sequence, predict paling probable berikutnya token. itu’s sebuah language completion task, tidak sebuah fact retrieval task. model optimizes untuk apa text sounds like ini seharusnya ikuti, tidak apa adalah benar. Ketika training sinyal untuk sebuah spesifik fact adalah thin — rare events, niche topics, apa pun itu changed setelah model’s knowledge cutoff — model fills kesenjangan dengan statistically probable language. jika sebuah sequence looks like sebuah pertanyaan, probability mass overwhelmingly favors generating sebuah “answer-shaped” (terjemahan) “jawaban-shaped” respons di atas admitting uncertainty, regardless dari apakah model sebenarnya memiliki knowledge.

Microsoft Research’s Ece Kamar membuat empirical versi dari ini poin: models hallucinate lebih sekitar facts itu adalah lebih sedikit umum di training data. panjang tail adalah di mana confabulation lives. Anda obscure product SKU, sebuah recent rename, sebuah founder siapa left terakhir quarter — persis facts least represented pada web adalah ones sebuah model adalah sebagian besar mungkin untuk mendapatkan confidently wrong.

jenis worth mempertahankan straight

• Factual hallucination — stated fact adalah sekadar wrong.
• Citation / attribution hallucination — model cites sebuah sumber ini tidak gunakan, misattributes sebuah quote, fabricates sebuah byline, atau invents sebuah URL. paling secara langsung measurable SEO versi.
• Entity / brand hallucination — wrong names, dates, stats, pricing, atau company facts, stated dengan confidence.
• Intrinsic vs. extrinsic ( Ji et al. taxonomy): intrinsic output contradicts sumber disediakan; extrinsic output cannot menjadi verified dari sumber — neither confirmed nor contradicted, sebuah fabricated addition.

Reading hallucination claims correctly

Five distinctions mendapatkan flattened di sebagian besar hallucination coverage, including sebelumnya drafts dari ini halaman. mereka penting karena mereka perubahan apa “fixed,” (terjemahan) “diperbaiki,” “grounded,” (terjemahan) “berbasis bukti,” atau “cited” (terjemahan) “ditampilkan sebagai sitasi” sebenarnya berarti ketika Anda’re evaluating sebuah alat atau sebuah claim.

• Name reference. “Hallucination” (terjemahan) “Hallucination” tidak satu failure mode. ini dapat berarti contradiction dari supplied context, sebuah unsupported addition context neither mengonfirmasi nor denies, atau sebuah plain world-factual error — dan itu three tidak interchangeable (Ji et al.’s survey adalah sumber taxonomy). sebuah checker dibangun untuk catch satu dari three akan diam-diam miss lainnya dua.
• Factuality adalah tidak faithfulness. Factuality tests sebuah claim terhadap sebuah external, dunia nyata reference — adalah ini benar? Faithfulness tests sebuah claim terhadap evidence Anda sebenarnya supplied — adalah ini didukung oleh itu evidence? sebuah jawaban dapat lulus satu dan fail lainnya: faithfully summarizing sebuah wrong sumber, atau stating sesuatu benar itu supplied evidence tidak pernah backs. FActScore’s atomic-fact metode — breaking sebuah panjang jawaban ke individually checkable claims — ada karena sebuah single holistic score hides itu split.
• sebuah citation existing tidak grounding. Citation quality adalah benar-benar three terpisah memeriksa: melakukan citation exist dan resolve, melakukan ini sebenarnya entail (mendukung) spesifik claim sitting berikutnya untuk ini, dan melakukan jawaban cover setiap claim itu needed sebuah citation di pertama place ( breakdown Gao et al.’s ALCE berfungsi menggunakan). sebuah terlihat, clickable footnote dapat lulus pertama periksa dan fail lainnya dua — yang adalah persis kesenjangan behind 60%+ citation-error angka di atas.
• RAG failures memiliki named stages, tidak satu label. Ketika sebuah RAG-backed jawaban adalah wrong, penyebab adalah satu dari: evidence adalah tidak pernah di corpus, ini adalah chunked so needed fact mendapat split di seluruh sebuah boundary, ini existed tetapi tidak retrieved, ini adalah retrieved tetapi diperingkatkan too rendah untuk reach generator, atau ini reached generator dan mendapat misused anyway (RAGTruth’s taxonomy dari RAG errors). “Itu AI hallucinated” (terjemahan) “ AI hallucinated” collapses five berbeda root penyebab — dan berbeda memperbaiki — ke satu kata.
• Benchmark percentages jangan travel. setiap rate pada ini halaman — 73–86%, ~85–90%, 58% vs. 94% — adalah scoped untuk sebuah spesifik task, dataset, reference policy, judge, prompt set, corpus, model, model versi, dan test date. jangan quote “model X adalah Y% accurate” (terjemahan) “model X adalah Y% accurate” sebagai sebuah portable fact di luar itu benchmark’s own evaluation contract; sebuah berbeda judge, corpus, atau model versi dapat move angka substantially.

Apa research menampilkan

• TruthfulQA (Lin et al., 2021) established inverse-scaling masalah. di seluruh 817 adversarial pertanyaan, largest model dari day (GPT-3-175B) adalah hanya 58% truthful vs. sebuah 94% human baseline — dan crucially, “lebih besar models produce lebih imitative falsehoods karena they adalah better di learning itu training distribution.” (terjemahan) “lebih besar models produce lebih imitative falsehoods karena mereka adalah better di learning training distribution.” Bigger tidak safer. sebuah bigger model adalah better di reproducing popular misconceptions baked ke web text, so ini dapat menjadi lebih confidently wrong, tidak lebih sedikit. (ini adalah secara langsung relevant untuk Anda brand: jika wrong informasi tentang Anda circulates online, lebih capable models adalah better di absorbing dan replicating ini.)
• Ji et al. survey (2022/2023) adalah gold-standard academic taxonomy — intrinsic vs. extrinsic hallucination di seluruh summarization, dialogue, QA, translation, dan LLMs.
• Lanham et al. (2023), dari Anthropic, ditemukan chain-dari-thought reasoning tidak selalu faithful: “sebagai models become lebih besar dan lebih capable, they produce lebih sedikit faithful reasoning pada paling tasks.” (terjemahan) “sebagai models become lebih besar dan lebih capable, mereka produce lebih sedikit faithful reasoning pada sebagian besar tasks.” langkah-oleh-langkah explanation sebuah model menampilkan Anda tidak niscaya reflect bagaimana ini sebenarnya reached jawaban — ini dapat menjadi post-hoc rationalization. So “itu AI explained its reasoning” (terjemahan) “ AI dijelaskan -nya reasoning” adalah tidak proof jawaban adalah grounded.
• FACTS Grounding (Google DeepMind, Dec 2024) adalah angka itu anchors grounding debate: bahkan diberikan jelas sumber documents, best models scored hanya ~85–90% grounded. itu remaining 10–15% adalah misreading, misinterpreting, atau failing untuk gunakan retrieved konten — tidak confabulating dari tidak ada apa pun.

melakukan grounding (RAG) solve ini? Tidak — ini reduces ini

ini adalah nuance sebagian besar coverage botches. grounding — anchoring sebuah jawaban untuk documents sistem retrieves di inference time, biasanya melalui RAG — adalah utama mitigation, dan ini berfungsi: web-penelusuran access reduced hallucination oleh 73–86% di seluruh tested models di grounding benchmarks. tetapi ini melakukan tidak eliminate hallucination, dan ini fails di berbeda cara daripada sebuah bare LLM:

• ini dapat misinterpret retrieved passage,
• select wrong passage,
• combine multiple sources incorrectly, atau
• fail untuk recognize sebuah adversarial atau nonsensical kueri.

Google’s Elizabeth Reid drew persis ini line tentang AI Overviews: mereka “generally jangan ‘hallucinate’ atau membuat hal up di itu ways itu other LLM products mungkin” (terjemahan) “umumnya jangan ‘hallucinate’ atau membuat hal up di cara itu lainnya LLM products mungkin” karena mereka’re “built untuk hanya menunjukkan information itu adalah backed up oleh top web hasil.” (terjemahan) “dibangun untuk hanya tampilkan informasi itu adalah backed up oleh top web hasil.” Ketika mereka mendapatkan ini wrong, she mengatakan, ini adalah “biasanya untuk other reasons: misinterpreting queries, misinterpreting a nuance dari language pada itu web, atau tidak memiliki a lot dari great information tersedia.” (terjemahan) “biasanya untuk lainnya alasan: misinterpreting kueri, misinterpreting sebuah nuance dari language pada web, atau tidak memiliki sebuah lot dari great informasi tersedia.” itu’s sebuah nyata pembedaan — grounded sistem fail di retrieval dan interpretation lebih daripada di pure confabulation — tetapi ini adalah tidak sebuah jaminan dari accuracy. dan bahkan RAG-berat legal research alat memiliki ditampilkan hallucination rates up untuk ~33%, contradicting vendor “hallucination-free” (terjemahan) “hallucination-free” claims. Anthropic says tenang bagian plainly di -nya own developer docs: “sementara ini techniques significantly reduce hallucinations, they jangan eliminate them entirely. Selalu validate critical information.” (terjemahan) “sementara ini techniques significantly reduce hallucinations, mereka jangan eliminate them entirely. selalu validate critical informasi.”

SEO impact — measurable, dan addressable

URL hallucination. ini adalah paling concrete satu, dan ini adalah mine untuk quantify. Analyzing Ahrefs’ own AI referral traffic, I ditemukan (di my analysis dari Ahrefs’ AI penelusuran traffic oleh halaman jenis) itu 3,6% dari traffic went untuk hallucinated halaman — halaman itu jangan exist pada ahrefs.com. AI sistem (primarily ChatGPT) recommended URLs itu adalah tidak pernah dibangun. lebih luas Ahrefs study dari 16 million AI-cited URLs (Ryan Law dan Xibeijia Guan) puts ini di context: AI assistants direct pengguna untuk 404 halaman 2,87x lebih sering daripada Google Search — ChatGPT’s clicked-melalui 404 rate adalah 1,01% vs. Google’s 0,15% baseline. tactical perbaiki adalah straightforward: watch referral traffic untuk 404s, identify hallucinated URLs di atas sebuah threshold (say, 10 visits/month), dan 301-redirect them untuk closest nyata halaman. Anda capture traffic model adalah trying untuk kirim Anda anyway.

Attribution hallucination. Columbia/Tow Center study (2025) tested 8 AI mesin pencari dan ditemukan incorrect jawaban untuk di atas 60% dari kueri ketika ditanyakan untuk identify artikel judul, date, publisher, dan URL. ChatGPT misidentified 134 artikel tetapi signaled uncertainty hanya 15 times — tinggi-confidence wrong. di atas half dari beberapa models’ respons cited fabricated URLs. lesson untuk SEO: menjadi cited di sebuah AI jawaban tidak berarti Anda adalah accurately represented. sebuah citation adalah tidak comprehension.

** analytics blind spot.** ini compounds URL masalah. AI traffic adalah poorly attributed hari ini — beberapa platforms jangan lulus referrer data, dan Google’s AI Mode digunakan noreferrer, lumping clicks ke “Direct” (terjemahan) “Langsung”/“Unknown” (terjemahan) “Tidak diketahui” (Google confirmed itu sebagai sebuah bug setelah I reported ini). jika hallucinated-URL traffic tidak attribute cleanly, Anda dapat tidak pernah see ini — 3,6% finding hanya surfaced karena kami memiliki analytics access untuk look. Perbaiki attribution pertama, atau Anda’re monitoring blind.

Brand hallucination & reputation. sebuah AI stating wrong facts tentang Anda pricing, leadership, atau history untuk sebuah prospect dapat damage trust sebelum mereka ever reach Anda situs. Worse, ini adalah now sebuah negative-SEO vector: Ahrefs’ brand experiment (Makosiewicz) showed itu sebuah single seeded Medium artikel dapat push beberapa models untuk propagate misinformation di 37–39% dari jawaban tentang sebuah brand. “Any growing brand dapat menjadi knocked off course di AI penelusuran hasil oleh an upset person dengan a Medium account.” (terjemahan) “apa pun growing brand dapat menjadi knocked off course di AI hasil pencarian oleh sebuah upset person dengan sebuah Medium account.” Tidak tautan untuk bangun atau disavow — hanya salah konten pada sebuah terindeks platform.

Apa untuk sebenarnya melakukan

1. Redirect hallucinated URLs ( URL-hallucination perbaiki di atas).
2. Monitor AI jawaban tentang Anda brand pada sebuah schedule — jawaban shift sebagai models perbarui dan sebagai baru konten mendapatkan terindeks. Satu-time audits go stale.
3. bangun entity sinyal — consistent NAP, schema, Wikidata, official profiles — so grounded sistem memiliki bersih, verifiable facts untuk retrieve. ini adalah single best lever terhadap future brand hallucination.
4. Verify AI-generated konten sebelum Anda publish ini. Unedited hallucinations itu reach web mendapatkan terindeks dan dapat feed berikutnya model’s training — model-collapse feedback loop. jangan menjadi sebuah node di ini.
5. jangan expect crawler blocking untuk perbaiki ini. Blocking GPTBot/ClaudeBot berhenti future training pada Anda konten; ini melakukan tidak ada apa pun tentang facts sudah di weights. (See AI crawler artikel untuk itu pembedaan.)

honest summary: hallucination adalah permanent infrastructure, tidak sebuah passing bug. Anda dapat’t membuat AI berhenti confabulating. Anda dapat membuat Anda own facts cheapest, paling bersih hal untuk ini untuk ground pada — dan Anda dapat catch dan redirect URLs ini invents.

AI summary

sebuah condensed take pada Advanced versi:

• Hallucination = confident, salah, atau unsupported output. ini adalah sebuah characteristic dari berikutnya-token prediction (optimizing untuk plausible text, tidak truth), tidak sebuah bug — so ini dapat menjadi reduced, tidak pernah fully eliminated. “Confabulation” (terjemahan) “Confabulation” adalah lebih precise istilah; model tidak lying.
• ini clusters di panjang tail. Models hallucinate lebih sekitar facts itu adalah rare di training data — niche products, recent perubahan, obscure brands.
• Naming failure precisely penting. Contradiction-dari-context, unsupported-addition, dan world-factual-error tidak yang sama hal; factuality (benar?) dan faithfulness (didukung oleh evidence diberikan?) adalah berbeda tests sebuah jawaban dapat lulus satu dan fail lainnya pada; sebuah citation existing tidak yang sama sebagai ini entailing claim berikutnya untuk ini; dan sebuah RAG jawaban dapat fail karena evidence adalah missing, chunked badly, unretrieved, di bawah-diperingkatkan, atau mishandled di generation — five distinct penyebab “it hallucinated” (terjemahan) “ini hallucinated” hides.
• Bigger tidak safer. TruthfulQA: lebih besar models produce lebih convincing imitative falsehoods (58% truthful vs. 94% human). Chain-dari-thought reasoning dapat menjadi unfaithful (Lanham et al.).
• Grounding/RAG helps sebuah lot tetapi tidak perbaiki ini. Web access cut hallucination 73–86%, namun best grounded models masih fail ~10–15% (FACTS Grounding) — oleh misreading atau mis-selecting sources. Reid: AI Overviews adalah grounded so mereka “generally jangan hallucinate… di itu ways other LLM products mungkin,” (terjemahan) “umumnya jangan hallucinate… di cara lainnya LLM products mungkin,” tetapi masih err melalui misinterpretation. Anthropic: techniques “jangan eliminate them entirely.” (terjemahan) “jangan eliminate them entirely.”
• SEO impact adalah measurable: AI mengirim pengguna untuk 404s ~2,87x lebih daripada Google; 3,6% dari Ahrefs’ AI traffic went untuk non-existent halaman; AI citation error rates jalankan 60%+ (Tow Center). menjadi cited ≠ menjadi represented correctly.
• Attribution adalah rusak too, so hallucinated-URL traffic dapat menjadi invisible — perbaiki tracking sebelum Anda monitor.
• Brand risk adalah sebuah negative-SEO vector: satu seeded Medium artikel pushed beberapa models untuk repeat misinformation di 37–39% dari jawaban.
• Memperbaiki: redirect hallucinated URLs, monitor brand jawaban regularly, bangun entity sinyal, verify AI konten sebelum penerbitan, dan jangan expect crawler blocking untuk undo facts sudah di weights.

Dokumentasi resmi

Apa model makers dan mesin pencari say tentang hallucination di mereka own kata.

Google

• Apa happened dengan AI Overviews dan berikutnya langkah — Elizabeth Reid (dapat 2024) pada mengapa grounded AI Overviews err differently daripada standalone LLMs.
• GopherCite: supporting jawaban dengan verified quotes — DeepMind pada models itu hallucinate “convincing nonsense,” (terjemahan) “convincing nonsense,” dan citing evidence (dan admitting “I don’t know” (terjemahan) “I jangan know”) untuk counter ini.
• FACTS Grounding benchmark — DeepMind’s factuality benchmark; ~85–90% grounded ceiling.
• Guidance pada AI-generated konten — Penelusuran Central: AI konten adalah judged pada quality dan E-E-sebuah-T, tidak production metode.

Anthropic

• Reduce hallucinations — Claude developer docs: let model say “I don’t know,” (terjemahan) “I jangan know,” ground dengan direct quotes, verify dengan citations, dan jelas caveat itu techniques jangan eliminate hallucination.

OpenAI

• Mengapa language models hallucinate — OpenAI’s explainer dari mechanism.
• melakukan ChatGPT tell truth? — Help Center: “Hallucinations are plausible but false statements generated by language models.” (terjemahan) “Hallucinations adalah plausible tetapi salah statements generated oleh language models.”

Microsoft

• Mengapa AI sometimes mendapatkan ini wrong — Microsoft’s teknis definition dari “ungrounded” (terjemahan) “ungrounded” konten dan -nya mitigation tooling.

Quotes dari sumber

pada—record statements dari orang membangun ini sistem. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage di mana sumber mendukung ini.

Google — Elizabeth Reid, VP/Head dari Penelusuran (dapat 2024)

• “This means that AI Overviews generally don’t ‘hallucinate’ or make things up in the ways that other LLM products might.” (terjemahan) “ini berarti itu AI Overviews umumnya jangan ‘hallucinate’ atau membuat hal up di cara itu lainnya LLM products mungkin.” Baca post
• “When AI Overviews get it wrong, it’s usually for other reasons: misinterpreting queries, misinterpreting a nuance of language on the web, or not having a lot of great information available.” (terjemahan) “Ketika AI Overviews mendapatkan ini wrong, ini adalah biasanya untuk lainnya alasan: misinterpreting kueri, misinterpreting sebuah nuance dari language pada web, atau tidak memiliki sebuah lot dari great informasi tersedia.” Jump untuk quote
• “Because accuracy is paramount in Search, AI Overviews are built to only show information that is backed up by top web results.” (terjemahan) “Karena accuracy adalah paramount di Penelusuran, AI Overviews adalah dibangun untuk hanya tampilkan informasi itu adalah backed up oleh top web hasil.” Baca post

Google DeepMind — GopherCite (March 2022)

• “Language models like Gopher can ‘hallucinate’ facts that appear plausible but are actually fake.” (terjemahan) “Language models like Gopher dapat ‘hallucinate’ facts itu muncul plausible tetapi adalah sebenarnya fake.” Baca post
• “Because language models can hallucinate convincing nonsense, GopherCite uses reinforcement learning from human preferences (RLHP) to train models that generate answers whilst also citing specific evidence for their claims.” (terjemahan) “Karena language models dapat hallucinate convincing nonsense, GopherCite menggunakan reinforcement learning dari human preferences (RLHP) untuk train models itu generate jawaban whilst juga citing spesifik evidence untuk mereka claims.” Baca post

Anthropic — Claude developer documentation

• “Even the most advanced language models, like Claude, can sometimes generate text that is factually incorrect or inconsistent with the given context. This phenomenon, known as ‘hallucination,’ can undermine the reliability of your AI-driven solutions.” (terjemahan) “bahkan paling advanced language models, like Claude, dapat sometimes generate text itu adalah factually incorrect atau inconsistent dengan diberikan context. ini phenomenon, known sebagai ‘hallucination,’ dapat undermine reliability dari Anda AI-driven solusi.” Baca docs
• “Remember, while these techniques significantly reduce hallucinations, they don’t eliminate them entirely. Always validate critical information, especially for high-stakes decisions.” (terjemahan) “Remember, sementara ini techniques significantly reduce hallucinations, mereka jangan eliminate them entirely. selalu validate critical informasi, terutama untuk tinggi-stakes decisions.” Jump untuk quote

OpenAI — Help Center

• “Hallucinations are plausible but false statements generated by language models.” (terjemahan) “Hallucinations adalah plausible tetapi salah statements generated oleh language models.” Baca artikel
• “Like any language model, ChatGPT dapat produce incorrect atau misleading outputs, dan sometimes it mungkin sound confident—even ketika ini wrong.” (terjemahan) “Like apa pun language model, ChatGPT dapat produce incorrect atau misleading outputs, dan sometimes ini mungkin sound confident—bahkan ketika ini adalah wrong.” Baca artikel

Lin et al. — TruthfulQA (2021)

• “Larger models produce more imitative falsehoods because they are better at learning the training distribution.” (terjemahan) “Lebih besar models produce lebih imitative falsehoods karena mereka adalah better di learning training distribution.” Baca paper

Lanham et al. — Anthropic researchers (2023)

• “As models become larger and more capable, they produce less faithful reasoning on most tasks.” (terjemahan) “sebagai models become lebih besar dan lebih capable, mereka produce lebih sedikit faithful reasoning pada sebagian besar tasks.” Baca paper

Mark Howard, COO, Time (melalui Tow Center / CJR study)

• “It’s critically important how our brand is represented, when and where we show up.” (terjemahan) “ini adalah critically penting bagaimana kami brand adalah represented, ketika dan di mana kami tampilkan up.” Baca study

Hallucination jenis — cheat sheet

** four jenis Anda’ll memenuhi**

** angka worth memorizing**

• 3,6% — share dari Ahrefs’ AI referral traffic itu went untuk non-existent halaman (Patrick Stox, Ahrefs).
• 2,87x — bagaimana banyak lebih sering AI assistants kirim pengguna untuk 404s vs. Google (Ahrefs, 16M URLs). ChatGPT clicked-404 rate 1,01% vs. Google 0,15%.
• 60%+ — AI penelusuran citation error rate di seluruh 8 mesin (Tow Center / CJR).
• ~85–90% — bagaimana grounded best models adalah bahkan ketika handed sources (FACTS Grounding) — i.e. sebuah 10–15% failure floor.
• 73–86% — hallucination reduction dari giving models web-penelusuran/grounding.
• 58% vs. 94% — best model vs. human truthfulness pada TruthfulQA.
• 37–39% — jawaban di yang beberapa models repeated brand misinformation setelah sebuah single seeded artikel (Ahrefs brand experiment).

Myth → reality

• “RAG eliminates hallucinations.” (terjemahan) “RAG eliminates hallucinations.” → ini reduces them; grounded models masih fail ~10–15%.
• “Newer/bigger models hallucinate lebih sedikit.” (terjemahan) “Newer/bigger models hallucinate lebih sedikit.” → TruthfulQA: bigger dapat berarti lebih convincing falsehoods.
• “AI Overviews hallucinate sekadar like ChatGPT.” (terjemahan) “AI Overviews hallucinate hanya like ChatGPT.” → mereka’re grounded; errors skew toward misinterpretation, tidak pure confabulation (Reid).
• “Menjadi cited berarti menjadi represented correctly.” (terjemahan) “menjadi cited berarti menjadi represented correctly.” → 60%+ citation error rate says Tidak.
• “Blocking AI crawlers berhenti brand hallucination.” (terjemahan) “Blocking AI crawler berhenti brand hallucination.” → Facts sudah di weights stay di sana.
• “Anda dapat tell ini wrong karena it sounds unsure.” (terjemahan) “Anda dapat tell ini adalah wrong karena ini sounds unsure.” → Confidence adalah defining fitur; ChatGPT flagged uncertainty di hanya 15 dari 134 wrong jawaban.

cara reduce hallucination — playbook

ini adalah levers, di roughly order dari leverage, drawn dari apa model makers dan research sebenarnya mendukung.

1. Ground jawaban (dan accept ceiling). Memberikan model nyata sources di inference time — itu’s RAG / grounding. ini adalah single biggest lever (73–86% reduction). tetapi internalize ceiling: best grounded models masih fail ~10–15% (FACTS Grounding), dan mereka fail oleh misreading atau mis-selecting sources, tidak oleh inventing dari tidak ada apa pun. Grounding perubahan failure mode; ini tidak hapus ini.

2. Let model say “I jangan know.” (terjemahan) “I jangan know.” Anthropic’s pertama recommendation: “explicitly memberikan Claude permission untuk admit uncertainty… ini simple technique dapat drastically reduce salah information.” (terjemahan) “explicitly memberikan Claude permission untuk admit uncertainty… ini sederhana technique dapat drastically reduce salah informasi.” GopherCite ditingkatkan sharply setelah ini dapat abstain. sebuah jawaban-shaped respons untuk sebuah pertanyaan ini dapat’t mendukung adalah core failure; permission untuk abstain attacks ini secara langsung.

3. Demand citations dan verbatim quotes. membuat output auditable: memiliki model quote sources untuk setiap claim, dan untuk panjang documents extract kata-untuk-kata quotes sebelum reasoning. Anda’re tidak trusting citation blindly (60%+ adalah wrong) — Anda’re membuat claim checkable.

4. jangan trust reasoning trace sebagai proof. Chain-dari-thought dapat menjadi post-hoc rationalization (Lanham et al.). “It explained its reasoning” (terjemahan) “ini dijelaskan -nya reasoning” adalah tidak “it grounded its answer.” (terjemahan) “ini grounded -nya jawaban.” Verify conclusion, tidak narration.

** SEO-side kerangka kerja — lindungi Anda entity**

Think dari ini sebagai three jobs, karena Anda dapat’t perubahan models:

1. Detect — monitor AI jawaban tentang Anda brand dan watch analytics untuk traffic untuk 404s. (Perbaiki attribution pertama, atau hallucinated-URL traffic adalah invisible.)
2. Redirect — 301 hallucinated URLs di atas sebuah traffic threshold untuk closest nyata halaman. Capture intent model adalah misdirecting.
3. Ground truth untuk them — bersih, consistent, verifiable publik facts (schema, Wikidata, official profiles, sebuah unambiguous tentang halaman) so grounded sistem retrieve Anda facts alih-alih sebuah pesaing’s claim atau sebuah satirical artikel. ini adalah satu-satunya durable defense terhadap brand hallucination — blocking crawler tidak, karena weights sudah hold apa mereka learned.

Routine hallucination review

1. Define tinggi-risk claims: pricing, legal atau safety pernyataan, product capabilities, executive names, locations, dan official URLs.
2. buat stable prompts untuk itu claims dan record layanan, model, modus, date, locale, account state, dan apakah langsung penelusuran adalah enabled.
3. Save menyelesaikan respons, citations, dan sumber URLs. sebuah paraphrased note adalah tidak cukup evidence untuk kemudian perbandingan.
4. Classify setiap statement sebagai didukung, contradicted, unverifiable, stale, atau tidak applicable menggunakan sebuah owned sumber kebenaran dan cited sources.
5. periksa fabricated URLs terhadap logs, backlinks, dan analytics sebelum deciding apakah untuk redirect, publish sebuah halaman, atau leave sebuah benar 404.
6. Assign perbaiki untuk owned konten, teknis routing, ketiga-party correction, atau platform feedback, lalu schedule sebuah dated retest.

Incident playbook: sebuah AI jawaban status sebuah harmful falsehood

1. Capture evidence. Save penuh jawaban, prompt, sources, product/model, date, account state, dan sebuah screen recording jika perilaku adalah transient.
2. Verify impact dan truth. memiliki responsible subject-penting owner identify tepat salah claim dan authoritative fact. melakukan tidak “correct” (terjemahan) “correct” sebuah disputed claim oleh penerbitan lainnya unsupported statement.
3. Trace mungkin sources. Review cited halaman, Anda own saat ini dan archived konten, structured facts, feeds, profiles, dan prominent ketiga-party mentions.
4. Perbaiki controlled evidence. Correct contradictory owned halaman, consolidate entity facts, dan perbarui stale documentation tanpa mengubah dates cosmetically.
5. Tangani URLs dengan sengaja. Redirect sebuah fabricated URL hanya ketika sebuah nyata equivalent satisfies intent. Jika tidak pertahankan correct missing-halaman respons dan hindari teaching pengguna itu setiap dibuat-buat path resolves.
6. Report externally. gunakan platform’s feedback channel dan permintaan corrections dari ketiga parties ketika evidence mendukung ini.
7. Retest dan monitor. Repeat yang sama prompt di terdokumentasi conditions dan pertahankan incident open until jawaban adalah corrected atau residual risk adalah accepted.

Prompt: fact-periksa sebuah AI jawaban terhadap supplied evidence

Audit the AI answer below using only the supplied source-of-truth documents. Break the
answer into atomic factual claims. For each claim, label it supported, contradicted,
not found, stale, or opinion; quote the exact supporting or conflicting passage; and
state the smallest correction. Treat a citation as evidence only if its page supports
the adjacent claim. Do not fill gaps from memory or the open web.

AI answer:
[PASTE COMPLETE ANSWER AND CITATIONS]

Approved source-of-truth documents:
[PASTE DOCUMENT NAME, DATE, URL OR EXCERPT]

Prompt: triage fabricated URLs

Classify these AI-referred URLs using the supplied HTTP, backlink, analytics, and page
inventory evidence. For each URL, recommend one of: keep a true 404/410, redirect to a
genuinely equivalent page, restore a previously valid page, or investigate further.
Never recommend redirecting to the homepage just to remove a 404. Explain which user
intent and evidence make a destination equivalent.

Evidence:
[PASTE URL | STATUS | REFERRERS | BACKLINKS | VISITS | CLOSEST REAL PAGE]

DevTools Console: extract terlihat citations dari sebuah jawaban halaman

Jalankan ini pada sebuah saved atau accessible jawaban halaman setelah memeriksa platform’s istilah. selectors adalah intentionally generic dan dapat perlu adapting untuk interface.

copy(JSON.stringify([...document.querySelectorAll('a[href]')]
  .map(a => ({text: a.textContent.trim(), url: a.href}))
  .filter(x => /^https?:/.test(x.url)), null, 2));

Shell: periksa sebuah list dari suspected fabricated URLs

Jalankan terhadap URLs Anda own atau adalah authorized untuk test.

while IFS= read -r url; do
  curl -sS -o /dev/null -L --max-redirs 5 -w '%{http_code}\t%{url_effective}\t%{url}\n' "$url"
done < suspected-urls.txt

Regex: flag claim-shaped angka untuk review

ini review regex menemukan percentages, currency amounts, dan multi-digit angka. ini melakukan tidak decide apakah sebuah claim adalah wrong.

(?:[$€£]\s?\d[\d,.]*|\b\d+(?:\.\d+)?%|\b\d{2,}(?:[,.]\d+)*\b)

alat untuk investigating hallucinations

• AI Brand visibilitas captures sebuah labeled model respons dan mempertahankan mentions terpisah dari citations untuk local perbandingan.
• Citation Kesenjangan Checker flags unsupported numerical dan research-style claims di konten Anda control. ini adalah sebuah review queue, tidak sebuah truth mesin.
• Redirect Checker menampilkan status dan akhir destination dari sebuah fabricated atau stale URL sebelum Anda decide cara tangani ini.
• server/CDN logs reveal permintaan untuk dibuat-buat paths, sementara backlink dan analytics alat tampilkan apakah orang atau lainnya situs adalah sebenarnya menggunakan them.
• Platform feedback controls adalah direct reporting route, tetapi pertahankan own evidence karena correction timing dan persistence adalah tidak guaranteed.

Validate sebuah hallucination respons

Hallucination metrics

Uji pemahaman Anda: AI Hallucinations

Resources worth Anda time

My related writing (Ahrefs)

• 80% dari kami AI Penelusuran Traffic Goes untuk kami Homepage, Product halaman, dan Free alat — di mana 3,6% hallucinated-halaman finding muncul dari.
• AI Assistants adalah Breaking Web Analytics dan Hurting mereka Future — mengapa hallucinated traffic dapat menjadi invisible.
• Google dibuat ini So Anda dapat’t Track Clicks dari AI Mode (Partially Fixed) — noreferrer attribution bug I reported.

dari others

• Bagaimana sering melakukan AI Assistants Hallucinate tautan? (16 Million URLs Studied) — Ryan Law & Xibeijia Guan (Ahrefs); 2,87x 404 figure.
• I Ran sebuah AI Misinformation Experiment. setiap Marketer seharusnya See hasil — Makosiewicz (Ahrefs); seeded-Medium-artikel brand attack.
• AI Penelusuran memiliki sebuah Citation masalah — Tow Center / Columbia Journalism Review (2025); 60%+ citation error study. Nieman Lab summary.
• Survey dari Hallucination di Natural Language Generation — Ji et al.; intrinsic vs. extrinsic taxonomy.
• TruthfulQA — Lin et al.; inverse-scaling finding.
• Measuring Faithfulness di Chain-dari-Thought Reasoning — Lanham et al. (Anthropic).
• Vectara Hallucination Leaderboard — ongoing grounded-summarization hallucination rates.
• Apa adalah AI hallucinations? — Google Cloud’s official explainer dari mechanism dan mitigation strategies.
• cara identify dan perbaiki AI hallucinations tentang Anda brand — mesin pencari Land’s practical guide untuk monitoring dan correcting AI brand errors.
• AI feedback loop: researchers warn dari model collapse sebagai AI trains pada AI-generated konten — VentureBeat pada model collapse dan bagaimana hallucinated konten compounds di seluruh training cycles.

Stats worth citing

• 3,6% dari AI referral traffic went untuk halaman itu jangan exist pada ahrefs.com — hallucinated URLs, primarily dari ChatGPT. My pertama-party finding. Sumber
• AI assistants kirim pengguna untuk 404s ~2,87x lebih sering daripada Google Search — di seluruh 16M AI-cited URLs. ChatGPT clicked-404 rate 1,01% vs. Google’s 0,15%. Sumber
• di atas 60% citation error rate di seluruh 8 AI mesin pencari; ChatGPT flagged uncertainty di hanya 15 dari 134 wrong jawaban (Tow Center / CJR, 2025). Sumber
• ~85–90% grounded adalah ceiling untuk best models diberikan sources — sebuah 10–15% failure floor (FACTS Grounding, DeepMind, 2024). Sumber
• 73–86% hallucination reduction dari web-penelusuran/grounding access; 58% best-model truthfulness vs. 94% human pada TruthfulQA. Sumber
• 37–39% dari jawaban repeated brand misinformation setelah sebuah single seeded sumber (Ahrefs brand experiment). Sumber

Log perubahan