Panduan Multimodal Search

TL;DR — Multimodal search berarti Anda tidak memiliki untuk jenis untuk search. Anda dapat poin Anda camera di something (Google Lens), circle sebuah thing pada Anda screen (Circle untuk Search), atau speak sebuah pertanyaan — dan combine itu dengan kata. mesin understands picture, voice, dan text together, lalu jawaban. ini adalah yang sama “match by meaning” (terjemahan) “match oleh meaning” idea sebagai modern search, hanya no longer limited untuk written kata.

What multimodal search adalah

Multimodal sistem process atau relate more daripada one modality, such sebagai text dan images. Evidence for this claim CLIP learns joint image-and-text representations from paired internet data and supports zero-shot image classification. Scope: CLIP research results; multimodal search products may use different models, training data, and ranking pipelines. Confidence: high · Verified: 2026-07-14 Radford et al.: Learning Transferable Visual Models Product capabilities vary, so image, video, audio, dan text mendukung seharusnya menjadi verified per sistem. Evidence for this claim Google Multisearch lets users combine an image with text to refine a search. Scope: Google's documented consumer search feature; it does not define all multimodal retrieval systems. Confidence: high · Verified: 2026-07-14 Google: Multisearch

untuk sebagian besar dari search’s history there adalah one cara di: Anda typed kata, dan Anda got sebuah list dari tautan. Multimodal search breaks itu open. sebuah modality adalah hanya sebuah jenis dari input atau output — text, sebuah image, video, audio. Multimodal search berarti mesin dapat take more daripada one dari itu di once dan membuat sense dari them jointly.

beberapa everyday contoh Anda’ve probably sudah digunakan:

• poin Anda camera di sebuah plant, sebuah landmark, atau sebuah pair dari shoes dan tanyakan “what is this?” (terjemahan) “what adalah ini?” — itu’s Google Lens.
• Circle something pada Anda phone screen — sebuah jacket di sebuah photo, sebuah kata di sebuah artikel — untuk search ini without leaving app. itu’s Circle untuk Search.
• Talk untuk Anda phone alih-alih typing — itu’s voice search.
• Combine sebuah image dan sebuah pertanyaan: tampilkan sebuah photo dari sebuah chair dan tanyakan “where can I buy this in blue?” (terjemahan) “where dapat I buy ini di blue?” picture dan kata adalah one kueri.

Why ini berfungsi: matching oleh meaning

trick di bawah hood adalah itu modern sistem don’t treat sebuah picture dan sebuah kalimat sebagai totally berbeda things. mereka translate both ke yang sama internal “language” (terjemahan) “language” — sebuah list dari angka itu captures meaning (see embeddings). sebuah photo dari sebuah golden retriever dan kata “golden retriever” (terjemahan) “golden retriever” end up close together di itu space, so mesin dapat match them bahkan though one adalah pixels dan lainnya adalah letters. itu’s yang sama meaning-based matching behind regular modern search (semantic search) — hanya extended so ini berfungsi di seluruh images, voice, dan video too.

What ini berarti untuk Anda

Here’s honest versi, because there’s sebuah lot dari hype here: there’s no secret “multimodal ranking factor” (terjemahan) “multimodal peringkat factor” Anda flip pada. What actually helps adalah stuff baik situs sudah melakukan, hanya dengan sebuah clearer alasan:

• Describe Anda images. nyata teks alt dan sensible filenames tell mesin what sebuah picture adalah.
• Give audio dan video nyata text. Transcripts dan captions let mesin memahami — dan quote — what’s said.
• jawaban obvious pertanyaan. jika someone photographs Anda product, kueri mereka’ll tanyakan adalah “what is this / where do I get it / how much.” (terjemahan) “what adalah ini / where melakukan I get ini / how much.” membuat itu easy untuk temukan pada halaman.

ingin nyata mechanics — how MUM dan AI Mode fit di, what Google memiliki actually confirmed vs. what’s hanya theory, dan full playbook? Switch untuk Advanced tab.

TL;DR — Multimodal search adalah querying dan retrieving di seluruh text, image, video, dan audio di sebuah single interaction. enabler adalah sebuah shared embedding space: berbeda modalities get encoded ke yang sama vector space so mereka dapat menjadi matched oleh meaning — yang sama retrieval idea sebagai semantic search, generalized past text. Google’s public arc runs dari voice dan pencarian gambar untuk MUM (2021, multimodal, “1,000 times more powerful than BERT,” (terjemahan) “1 000 times more powerful daripada BERT,” digunakan untuk narrow tinggi-complexity cases) untuk Google Lens, Circle untuk Search, dan Gemini-powered AI Mode, where sebuah photo plus sebuah ikuti-up adalah one kueri itu fans out ke sebuah synthesized jawaban. What’s officially confirmed adalah mostly tentang understanding kueri di seluruh modalities; claims itu Google peringkat Anda individual images atau video frames sebagai sebuah distinct “multimodal signal” (terjemahan) “multimodal signal” adalah industry theory. durable playbook: descriptive alt text/filenames, nyata transcripts/captions, clean data terstruktur, dan konten itu jawaban implied pertanyaan behind sebuah visual atau spoken kueri.

What “multimodal” (terjemahan) “multimodal” actually berarti

Shared representation research menampilkan one approach untuk cross-modal retrieval, not sebuah universal production architecture. Evidence for this claim CLIP learns joint image-and-text representations from paired internet data and supports zero-shot image classification. Scope: CLIP research results; multimodal search products may use different models, training data, and ranking pipelines. Confidence: high · Verified: 2026-07-14 Radford et al.: Learning Transferable Visual Models Search-product deskripsi document fitur tetapi not complete peringkat mechanics. Evidence for this claim Google Multisearch lets users combine an image with text to refine a search. Scope: Google's documented consumer search feature; it does not define all multimodal retrieval systems. Confidence: high · Verified: 2026-07-14 Google: Multisearch

sebuah modality adalah sebuah channel dari informasi — written text, sebuah image, spoken audio, video. sebuah unimodal sistem handles one; sebuah multimodal sistem takes more daripada one sebagai input, atau produces more daripada one sebagai output, dan — crucially — alasan tentang them jointly alih-alih bolting separate pipelines together.

Multimodal search adalah broader daripada “image search,” (terjemahan) “pencarian gambar,” dan difference penting:

• pencarian gambar menemukan images (Anda ingin pictures).
• Multimodal search menggunakan sebuah image (atau voice, atau video) sebagai bagian dari sebuah kueri itu dapat kembalikan apa pun jenis dari hasil — sebuah shopping listing, sebuah how-untuk, sebuah definition, sebuah map pin. camera adalah sebuah input device, not thing Anda’re looking untuk.

So “point your camera at a broken part and ask how to fix it” (terjemahan) “poin Anda camera di sebuah broken bagian dan tanyakan cara fix ini” adalah multimodal search; “find me photos of that part” (terjemahan) “temukan me photos dari itu bagian” adalah pencarian gambar. Google Lens melakukan both, which adalah bagian dari why line blurs.

ini juga helps untuk pertahankan three separate pertanyaan apart, because sebuah single product deskripsi dapat quietly blur them: what modality dapat kueri accept (text hanya, atau text plus image, audio, video)? What modality adalah retrieved candidate konten di (sebuah text halaman, sebuah image, sebuah video)? dan what modality adalah generated output (sebuah list dari tautan, sebuah image grid, sebuah synthesized text jawaban)? sebuah fitur itu accepts sebuah image input doesn’t automatically retrieve image hasil atau produce sebuah image output — sebuah photo dari sebuah broken bagian dapat retrieve sebuah text halaman dan generate sebuah text jawaban. Confirming one dari ini three doesn’t confirm lainnya two; periksa setiap one terhadap what provider memiliki actually documented untuk itu spesifik fitur.

technical enabler: one shared space

alasan sebuah picture dan sebuah phrase dapat menjadi compared di semua adalah shared representation. Encoder models map text, images, audio, dan video ke sama tinggi-dimensional embedding space, where semantic similarity becomes geometric closeness. sebuah photo dari sebuah plant dan string “how do I care for this plant” (terjemahan) “how melakukan I care untuk ini plant” land near setiap lainnya, so sebuah nearest-neighbor lookup dapat connect them.

ini adalah exactly machinery behind semantic search dan retrieval leg dari RAG, generalized beyond text, dan ini breaks ke distinct stages — setiap one sebuah separate capability, so evidence itu sebuah sistem adalah baik di one stage doesn’t confirm ini adalah baik di others:

1. Input understanding. kueri (image + text, say, atau sebuah spoken pertanyaan) adalah parsed ke whatever representation next stage perlu.
2. Embedding. itu representation, dan setiap candidate piece dari konten, adalah encoded ke shared vector space described above.
3. Retrieval. pencarian vektor menemukan closest matches oleh geometric distance.
4. Reranking. sebuah separate stage reorders retrieved candidates menggunakan signals beyond raw embedding distance.
5. Generation. di AI surfaces, top candidates adalah grounded ke sebuah synthesized jawaban.

jika Anda memahami embeddings, chunking, pencarian vektor, dan grounding, Anda sudah memahami multimodal search’s plumbing — satu-satunya baru bagian adalah itu encoders speak more daripada one modality.

Named research sistem, not sebuah confirmed production blueprint. joint-embedding idea isn’t hypothetical — OpenAI’s CLIP dan Google’s ALIGN both trained image dan text encoders ke one shared space menggunakan image-text pairs, dan Meta’s ImageBind extended approach untuk six modalities (image, text, audio, depth, thermal, dan motion) di sebuah single space. itu adalah named, published research architectures dengan mereka own datasets dan evaluations — berguna untuk understanding how sebuah shared space dapat menjadi dibangun, not proof itu apa pun spesifik commercial mesin pencari’s production sistem menggunakan itu exact design. sebuah provider’s output perilaku alone doesn’t reveal whether ini menggunakan sebuah shared embedding space, sebuah berbeda fusion metode, atau how ini weights setiap modality — itu’s internal untuk sebuah sistem nobody outside provider dapat inspect.

Google’s public arc

Google’s confirmed langkah toward multimodal search, roughly di order:

• Voice dan pencarian gambar (2010s). Spoken kueri dan reverse-image lookups adalah pertama mainstream non-text inputs.
• MUM — Multitask Unified Model (2021). Google’s public marker untuk multimodal shift. Google described MUM sebagai multimodal — able untuk “understand information across text and images” (terjemahan) “memahami informasi di seluruh text dan images” — dan “1,000 times more powerful than BERT,” (terjemahan) “1 000 times more powerful daripada BERT,” trained di seluruh 75 languages, dan able untuk both memahami dan generate language. penting caveat, straight dari semantic-search history: MUM adalah tidak pernah Google’s umum peringkat mesin. ini adalah applied untuk narrow, tinggi-complexity cases (kompleks multi-langkah pertanyaan, beberapa featured snippets, shopping), dan ini melakukan not “replace” (terjemahan) “replace” BERT.
• Google Lens. Camera-sebagai-kueri di scale — identify objects, translate text di sebuah image, shop what Anda see, solve sebuah masalah Anda photograph.
• Circle untuk Search. Circle, highlight, atau tap anything pada Anda Android screen untuk search ini di place, without switching apps.
• AI Mode (Gemini-era). saat ini frontier: sebuah multimodal kueri (sebuah image plus sebuah spoken atau typed ikuti-up) becomes sebuah single interaction itu fans out ke banyak sub-kueri dan mengembalikan sebuah synthesized, cited jawaban. ini adalah where multimodal input meets agentic, RAG-style retrieval described di ini cluster.

Microsoft memiliki -nya own line — Bing Visual Search dan Copilot Vision — itu melakukan analogous thing pada Bing’s side, so multimodal search isn’t sebuah Google-hanya phenomenon.

Where ini dapat fail sebelum retrieval bahkan starts

setiap modality lainnya daripada clean text memiliki untuk pass melalui sebuah conversion langkah sebelum shared-space matching described above dapat happen, dan itu langkah dapat introduce errors retrieval stage tidak pernah sees coming. Provider technical documentation pada multimodal models describes exactly ini class dari limitation:

• OCR errors — text embedded di sebuah image (sebuah sign, sebuah screenshot, sebuah label) dapat menjadi misread, terutama di rendah resolution atau di sebuah unfamiliar font.
• Speech recognition errors — sebuah mistranscribed kata di audio atau video propagates ke whatever gets embedded dan retrieved.
• Frame sampling — video isn’t dipahami frame-oleh-frame; sistem sample sebuah subset dari frames, so konten itu hanya appears antara sampled frames dapat menjadi missed entirely.
• Cropping dan resolution — sebuah sistem berfungsi dari sebuah rendah-resolution atau tightly cropped image memiliki less untuk berfungsi dengan daripada original scene.
• Language — accuracy di one language doesn’t establish accuracy di lainnya; OCR dan speech recognition performa both vary oleh language.
• Missing context — sebuah image atau clip stripped dari -nya surrounding halaman context (caption, teks alt, transcript) gives sistem less untuk anchor understanding untuk.

None dari ini adalah unique untuk apa pun one provider, dan ini adalah sebuah alasan untuk treat “the model can see/hear X” (terjemahan) “ model dapat see/hear X” claims cautiously — sebuah capability itu berfungsi pada sebuah clean, well-lit, tinggi-resolution test contoh doesn’t establish ini berfungsi pada messier dunia nyata versi dari yang sama input.

What’s confirmed vs. what’s theory

ini adalah where careful writing penting, because topic attracts overreach.

Reasonably confirmed:

• mesin pencari accept dan memahami multimodal kueri — image, voice, dan screen-circling inputs adalah nyata, shipping products.
• retrieval behind AI jawaban adalah meaning-based (embeddings / semantic retrieval) dan, di AI Mode, grounded di core Search indeks — there’s no separate “AI index.” (terjemahan) “AI indeks.”
• Google explicitly says -nya AI fitur rely pada core Search peringkat dan quality sistem, so crawl → indeks → retrieve chain masih governs whether Anda konten dapat tampilkan up di semua.

Industry theory — flag ini sebagai such:

• itu Google peringkat Anda individual images atau video frames sebagai sebuah distinct “multimodal ranking signal” (terjemahan) “multimodal sinyal peringkat” Anda dapat mengoptimalkan di isolation. Google memiliki not published sebuah “multimodal ranking factor.” (terjemahan) “multimodal peringkat factor.” How deeply halaman-tingkat visual/audio konten adalah dipahami frame-oleh-frame di web scale adalah hanya partly documented.
• Precise claims tentang how much weight sebuah multimodal kueri gives untuk image vs. accompanying text. Treat spesifik ratios sebagai speculation.

safe reading: mengoptimalkan untuk menjadi dipahami dan retrievable di seluruh modalities, not untuk sebuah mechanism Google hasn’t confirmed.

What ini berarti untuk SEO

Strip hype dan playbook adalah concrete dan familiar:

• membuat images legible untuk machines. Descriptive teks alt, meaningful filenames, dan (where relevant) image data terstruktur. teks alt adalah how sebuah search mesin knows what sebuah picture depicts without “seeing” (terjemahan) “seeing” ini — dan ini masih helps bahkan sebagai visual understanding improves.
• Give audio dan video nyata text. Transcripts, captions, dan jelas pada-halaman context turn spoken konten ke something retrievable dan quotable. sebuah video dengan no transcript adalah far harder untuk ground ke sebuah jawaban.
• data terstruktur where ini fits. Product, ImageObject, VideoObject, dan Recipe-jenis markup give machines unambiguous facts untuk attach untuk sebuah visual atau spoken kueri.
• jawaban implied pertanyaan. sebuah visual kueri carries sebuah intent — “what is this,” (terjemahan) “what adalah ini,” “where do I buy it,” (terjemahan) “where melakukan I buy ini,” “how do I fix it.” (terjemahan) “how melakukan I fix ini.” konten itu jawaban itu intent directly, di sebuah self-berisi passage, adalah what gets retrieved. ini adalah yang sama passage-tingkat clarity itu passage peringkat dan RAG sudah reward.
• ** prerequisites don’t perubahan.** Multimodal jawaban masih retrieve dari core indeks, so menjadi dapat di-crawl dan terindeks comes pertama — yang sama chain covered di crawling, grounding, dan RAG.

None dari ini adalah sebuah guarantee. Google’s own image dan video documentation frames alt text, transcripts, dan data terstruktur sebagai eligibility dan understanding aids — things itu help sebuah mesin pencari menemukan, memahami, dan correctly attach Anda konten untuk sebuah kueri — not sebagai inputs untuk sebuah documented peringkat formula. Doing semua dari above membuat Anda konten retrievable dan citable; ini doesn’t guarantee retrieval, citation, peringkat position, atau itu apa pun generated jawaban describes ini accurately.

one-kalimat versi: multimodal search widened front door, tetapi ini didn’t perubahan what’s behind ini. menjadi findable, menjadi jelas tentang what Anda images dan media depict, dan jawaban pertanyaan kueri implies.

AI summary

sebuah condensed take pada Advanced versi:

• Multimodal search = querying/retrieving di seluruh text, image, video, dan audio di one interaction. Broader daripada pencarian gambar: ini menggunakan sebuah picture/voice/video sebagai input untuk kembalikan apa pun jenis dari hasil, not hanya pictures.
• Three separate dimensions. What modality kueri accepts, what modality retrieved konten adalah di, dan what modality output adalah adalah three berbeda pertanyaan — confirming one doesn’t confirm others.
• Enabler = sebuah shared embedding space, dibangun melalui five distinct stages (input understanding, embedding, retrieval, reranking, generation). Named research sistem (CLIP, ALIGN, ImageBind) demonstrate joint embedding spaces exist dan berfungsi — mereka’re not proof dari apa pun spesifik provider’s production architecture, which output perilaku alone dapat’t reveal.
• Google’s arc: voice + pencarian gambar → MUM (2021, multimodal, “1,000 times more powerful than BERT,” (terjemahan) “1 000 times more powerful daripada BERT,” 75 languages — tetapi sebuah narrow tinggi-complexity alat, tidak pernah umum peringkat mesin) → Google Lens → Circle untuk Search → Gemini-era AI Mode, where sebuah image + ikuti-up fans out ke sebuah grounded, cited jawaban. Microsoft parallels: Bing Visual Search dan Copilot Vision.
• Where ini fails sebelum retrieval: OCR misreads, speech-recognition errors, video frame sampling gaps, cropping/resolution limits, language variance, dan missing surrounding context dapat semua corrupt understanding sebelum matching bahkan starts.
• Confirmed: multimodal kueri adalah nyata; AI retrieval adalah meaning-based dan grounded di core Search indeks (no separate AI indeks); crawl → indeks → retrieve masih governs eligibility.
• Industry theory (flag ini): sebuah distinct “multimodal ranking signal” (terjemahan) “multimodal sinyal peringkat” di atas Anda individual images/frames, dan precise image-vs-text weighting. Google hasn’t confirmed ini.
• SEO playbook: descriptive teks alt + filenames, nyata transcripts/captions, Product/ImageObject/VideoObject data terstruktur, dan self-berisi konten itu jawaban implied intent dari sebuah visual/spoken kueri. Prerequisites (dapat di-crawl, terindeks) unchanged — dan none dari ini guarantees retrieval, peringkat, atau citation; Google documents ini sebagai eligibility/understanding aids, not peringkat inputs.

Official documentation

Primary-source material dari mesin pencari pada multimodal surfaces dan sistem behind them.

Google

• MUM: sebuah baru AI milestone untuk understanding informasi — 2021 announcement dari multimodal, multilingual Multitask Unified Model.
• How AI powers great hasil pencarian — how RankBrain, neural matching, BERT, dan MUM fit together di Google’s own kata.
• Google’s Guide untuk Optimizing untuk Generative AI fitur — AI Overviews / AI Mode rely pada core Search peringkat; grounding/RAG dan kueri fan-out.
• AI Mode dan AI Overviews updates — evolving multimodal AI Mode experience.
• Visual search dengan Lens pada Shopping — camera-sebagai-kueri applied untuk shopping.
• Image SEO best practices — descriptive teks alt, filenames, dan image data terstruktur ( machine-legibility fundamentals).
• Video SEO best practices — VideoObject, transcripts, dan how Google understands video.

Microsoft / Bing

• Bing Visual Search — Bing’s image-sebagai-kueri surface.
• Copilot Vision — Microsoft’s multimodal assistant itu dapat “see” (terjemahan) “see” dan alasan tentang what’s pada screen, available melalui Copilot app pada Windows.

Quotes dari source

pada—record statements dari Google pada multimodal shift. Deep tautan jump untuk quoted passage where halaman mendukung ini.

Google — MUM adalah multimodal

• MUM adalah “multimodal, so it understands information across text and images and, in the future, can expand to more modalities like video and audio.” (terjemahan) “multimodal, so ini understands informasi di seluruh text dan images dan, di future, dapat expand untuk more modalities like video dan audio.” — Pandu Nayak, Google, pada MUM announcement. Read announcement
• MUM adalah “1,000 times more powerful than BERT” (terjemahan) “1 000 times more powerful daripada BERT” dan, unlike BERT, dapat both memahami dan generate language di seluruh 75 languages. Read announcement

Google — AI fitur run pada core Search indeks

• “Our generative AI features on Google Search are rooted in our core Search ranking and quality systems.” (terjemahan) “kami generative AI fitur pada Google Search adalah rooted di kami core Search peringkat dan quality sistem.” — Google Search Central, AI optimization guide. (ini adalah why crawl → indeks → retrieve chain masih governs multimodal AI eligibility.) Read guide

Which multimodal surface am I actually optimizing untuk?

There isn’t sebuah single “multimodal SEO” (terjemahan) “multimodal SEO” knob — berguna berfungsi depends pada how people reach Anda konten. Walk branch itu matches.

1. adalah people photographing physical products untuk temukan atau buy them? → Anda’re di Google Lens / visual shopping territory. Prioritize clean product photography, Product + ImageObject data terstruktur, descriptive teks alt dan filenames, dan sebuah accurate merchant/product feed. kueri’s intent adalah “what is this / where do I buy it / how much.” (terjemahan) “what adalah ini / where melakukan I buy ini / how much.”

2. melakukan people circle atau screenshot things inside Anda konten untuk pelajari selengkapnya? → Think Circle untuk Search / pada-screen kueri. lever adalah pada-halaman clarity: label diagrams dan images, pertahankan captions descriptive, dan pastikan surrounding text jawaban obvious ikuti-up so sebuah circled istilah resolves untuk Anda explanation.

3. adalah Anda konten primarily spoken atau video? → Anda’re optimizing untuk voice kueri dan video understanding. Publish nyata transcripts dan captions, tambahkan VideoObject markup, dan put sebuah plain-text summary near media. sebuah mesin pencari dapat hanya retrieve dan quote what ini dapat read.

4. melakukan Anda ingin tampilkan up di AI Mode / AI Overview jawaban untuk visual atau spoken kueri? → ini adalah grounding / RAG, not sebuah separate multimodal channel. menjadi dapat di-crawl dan terindeks pertama, lalu write self-berisi passages itu jawaban implied sub-pertanyaan sebuah fanned-out multimodal kueri akan tanyakan (see passage peringkat, RAG, grounding).

5. adalah Anda menjadi told untuk “optimize for the multimodal ranking algorithm” (terjemahan) “mengoptimalkan untuk multimodal peringkat algorithm”? → Stop. Google hasn’t published sebuah distinct multimodal peringkat factor di atas Anda images atau frames — itu’s industry theory. melakukan confirmed fundamentals above dan don’t chase sebuah mechanism itu hasn’t telah confirmed.

mental models

1. sebuah modality adalah hanya sebuah channel. Text, image, audio, video. Unimodal = one channel; multimodal = more daripada one, reasoned tentang together. kata sounds exotic; idea isn’t.

2. Multimodal search ≠ pencarian gambar. pencarian gambar mengembalikan pictures. Multimodal search menggunakan sebuah picture (atau voice, atau video) sebagai input untuk kembalikan apa pun jenis dari hasil. camera adalah sebuah input device, not destination.

3. One shared space adalah whole trick. berbeda modalities get encoded ke sama embedding space, so sebuah photo dan sebuah phrase dapat menjadi compared oleh meaning. jika Anda know semantic search dan pencarian vektor, Anda know multimodal search — encoders hanya speak more languages.

4. Confirmed kueri vs. theorized peringkat. Multimodal kueri adalah confirmed dan shipping. sebuah distinct multimodal peringkat signal di atas Anda media adalah not. mengoptimalkan untuk menjadi dipahami dan retrievable, not untuk sebuah unconfirmed mechanism.

5. prerequisite chain adalah unchanged. Multimodal AI jawaban retrieve dari core indeks. crawl → indeks → retrieve masih gates everything, so fundamentals (dapat di-crawl, terindeks, jelas) come sebelum anything “multimodal-specific.” (terjemahan) “multimodal-spesifik.”

6. Machine legibility adalah lever. Anda dapat’t hand mesin pixels dan hope. teks alt, filenames, transcripts, captions, dan data terstruktur adalah how sebuah visual atau spoken thing becomes something sebuah search sistem dapat match dan cite.

Multimodal search — cheat sheet

What ini adalah di one line Querying dan retrieving di seluruh text, image, video, dan audio di one interaction — enabled oleh sebuah shared embedding space, yang sama meaning-based retrieval sebagai semantic search, extended past text.

** surfaces**

Multimodal search vs. pencarian gambar

Confirmed vs. theory

** confirmed playbook**

• Descriptive teks alt + meaningful filenames.
• nyata transcripts dan captions untuk audio/video.
• Product / ImageObject / VideoObject data terstruktur.
• Self-berisi passages itu jawaban implied kueri intent.
• dapat di-crawl + terindeks pertama — no separate AI indeks.

Multimodal-readiness checklist

sebuah pass untuk confirm Anda konten dapat menjadi dipahami dan retrieved di seluruh modalities:

• setiap meaningful image memiliki descriptive teks alt (not keyword-stuffed, not empty pada konten images).
• Image filenames describe subject (blue-wingback-chair.jpg, not IMG_4821.jpg).
• Product/visual halaman carry appropriate data terstruktur (Product, ImageObject, Recipe, etc.).
• Videos memiliki sebuah transcript dan/atau captions, plus VideoObject markup dan sebuah pada-halaman text summary.
• Audio/podcast konten ships dengan sebuah readable transcript.
• Diagrams dan screenshots memiliki descriptive captions dan surrounding text itu jawaban obvious ikuti-up pertanyaan.
• halaman itu sebuah visual kueri akan land pada directly jawaban implied intent (“what is this / where to buy / how to fix” (terjemahan) “what adalah ini / where untuk buy / cara fix”) di sebuah self-berisi passage.
• Images dan media aren’t blocked dari crawling, dan halaman hosting them adalah dapat diindeks ( retrieve chain adalah intact).
• Anda’re not relying pada sebuah unconfirmed “multimodal ranking factor” (terjemahan) “multimodal peringkat factor” — plan rests pada confirmed fundamentals above.

Inventory image context di browser

Run ini di Chrome DevTools Console pada sebuah representative halaman. ini lists setiap image’s source, dimensions, alternative text, dan nearest heading:

console.table([...document.images].map(img => ({ src: img.currentSrc || img.src, width: img.naturalWidth, height: img.naturalHeight, alt: img.getAttribute('alt'), heading: img.closest('section, article, main')?.querySelector('h1,h2,h3')?.textContent?.trim() || '' })));

Missing alt dan sebuah weak surrounding bagian adalah review flags, not automatic SEO failures. Decorative images dapat correctly gunakan empty alternative text.

temukan images itu memerlukan interaction untuk acquire sebuah URL

Run ini sebelum clicking galleries atau carousels:

const urls = new Set([...document.images].map(i => i.currentSrc || i.src));
console.table([...document.querySelectorAll('[data-src], [data-lazy-src]')].map(el => ({ pending: el.dataset.src || el.dataset.lazySrc, alreadyRendered: urls.has(el.dataset.src || el.dataset.lazySrc) })));

sebuah pending image adalah not necessarily inaccessible, tetapi hasil identifies assets itu perlu sebuah rendered-halaman crawl dan interaction review.

Verify image assets dan context setelah publishing

Test untuk run: Fetch halaman dengan sebuah rendered crawler dan export image URLs, kode status, alternative text, dan referring halaman heading. Expected hasil: penting images kembalikan successfully dan appear di rendered HTML dengan accurate halaman context. Failure interpretation: asset adalah broken, dimuat hanya setelah sebuah unsupported interaction, atau separated dari text itu menjelaskan ini. Monitoring window: Immediate setelah deployment. Rollback trigger: release menghapus atau breaks penting product, instructional, atau primary konten images.

Verify structured image associations

Test untuk run: Inspect apa pun relevant data terstruktur dan -nya referenced image URLs dengan appropriate schema validation workflow. Expected hasil: Referenced images resolve dan belong untuk entity described pada halaman. Failure interpretation: Markup poin di sebuah missing, blocked, atau unrelated asset. Monitoring window: Immediate untuk markup dan HTTP memeriksa; search appearance hanya setelah recrawl. Rollback trigger: perubahan membuat invalid markup atau associates wrong image dengan entity.

Test yourself: Multimodal Search

Five quick pertanyaan pada how search berfungsi di seluruh text, images, video, dan audio. Pick sebuah jawaban untuk setiap, lalu periksa.

Resources worth Anda time

My related writing

• Google AI Overviews: semua Anda perlu Know — how AI jawaban retrieve dari core indeks ( prerequisite untuk showing up di multimodal AI hasil).
• What kami Actually Know tentang Optimizing untuk LLM Search — evidence-based view dari what melakukan dan doesn’t influence AI citations, berguna untuk separating confirmed mechanisms dari hype.

My speaking

• How Search berfungsi (SlideShare) — my walkthrough dari crawling, rendering, pengindeksan, dan peringkat; pipeline itu multimodal retrieval masih runs pada. (My standing disclaimer applies: “This is my understanding of systems… not going to be 100% complete or accurate.” (terjemahan) “ini adalah my understanding dari sistem… not going untuk menjadi 100% complete atau accurate.”)

dari sekitar industry

• MUM: sebuah baru AI milestone untuk understanding informasi — Google’s own MUM announcement (multimodal, multilingual, 1 000 times more powerful daripada BERT).
• How AI powers great hasil pencarian — Google pada how -nya AI sistem, including MUM, fit together.
• Google’s Guide untuk Optimizing untuk Generative AI fitur — official line itu AI fitur run pada core Search peringkat (no separate AI indeks).
• Google Images SEO best practices — confirmed image-legibility fundamentals (teks alt, filenames, data terstruktur).
• Video SEO best practices — how Google understands video, dan VideoObject / transcript fundamentals.
• Bing Visual Search — Microsoft’s image-sebagai-kueri surface, sebuah reminder multimodal search isn’t Google-hanya.

Videos

• Google Search Central (YouTube) — How Google Search berfungsi series dan Martin Splitt’s explainers pada how Google understands images, video, dan halaman konten — machine-understanding side dari multimodal search. Channel

Log perubahan