Panduan Multimodal Penelusuran

TL;DR — Multimodal penelusuran berarti Anda tidak memiliki untuk jenis untuk penelusuran. Anda dapat poin Anda camera di sesuatu (Google Lens), circle sebuah hal pada Anda screen (Circle untuk Penelusuran), atau speak sebuah pertanyaan — dan combine itu dengan kata. mesin understands picture, voice, dan text together, lalu jawaban. ini adalah yang sama “match oleh meaning” (terjemahan) “match oleh meaning” idea sebagai modern penelusuran, hanya Tidak lebih lama limited untuk ditulis kata.

Apa multimodal penelusuran adalah

Multimodal sistem proses atau relate lebih daripada satu modality, such sebagai text dan images. Bukti untuk klaim ini CLIP learns joint image-and-text representations from paired internet data and supports zero-shot image classification. Cakupan: CLIP research results; multimodal search products may use different models, training data, and ranking pipelines. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Radford et al.: Learning Transferable Visual Models Product capabilities vary, so image, video, audio, dan text mendukung seharusnya menjadi verified per sistem. Bukti untuk klaim ini Google Multisearch lets users combine an image with text to refine a search. Cakupan: Google's documented consumer search feature; it does not define all multimodal retrieval systems. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google: Multisearch

untuk sebagian besar dari penelusuran’s history di sana adalah satu cara di: Anda typed kata, dan Anda mendapat sebuah list dari tautan. Multimodal penelusuran breaks itu open. sebuah modality adalah hanya sebuah jenis dari input atau output — text, sebuah image, video, audio. Multimodal penelusuran berarti mesin dapat take lebih daripada satu dari itu di setelah dan membuat sense dari them jointly.

beberapa everyday contoh Anda’ve probably sudah digunakan:

• poin Anda camera di sebuah plant, sebuah landmark, atau sebuah pair dari shoes dan tanyakan “apa adalah ini?” (terjemahan) “apa adalah ini?” — itu’s Google Lens.
• Circle sesuatu pada Anda phone screen — sebuah jacket di sebuah photo, sebuah kata di sebuah artikel — untuk penelusuran ini tanpa leaving app. itu’s Circle untuk Penelusuran.
• Talk untuk Anda phone alih-alih typing — itu’s voice penelusuran.
• Combine sebuah image dan sebuah pertanyaan: tampilkan sebuah photo dari sebuah chair dan tanyakan “di mana dapat I buy ini di blue?” (terjemahan) “di mana dapat I buy ini di blue?” picture dan kata adalah satu kueri.

Mengapa ini berfungsi: matching oleh meaning

trick di bawah hood adalah itu modern sistem jangan treat sebuah picture dan sebuah kalimat sebagai totally berbeda hal. mereka translate keduanya ke yang sama internal “language” (terjemahan) “language” — sebuah list dari angka itu captures meaning (see embeddings). sebuah photo dari sebuah golden retriever dan kata “golden retriever” (terjemahan) “golden retriever” end up close together di itu space, so mesin dapat match them bahkan though satu adalah pixels dan lainnya adalah letters. itu’s yang sama meaning-based matching behind regular modern penelusuran (semantic penelusuran) — hanya extended so ini berfungsi di seluruh images, voice, dan video too.

Apa ini berarti untuk Anda

Di sini’s honest versi, karena ada sebuah lot dari hype di sini: ada Tidak secret “multimodal ranking factor” (terjemahan) “multimodal peringkat factor” Anda flip pada. Apa sebenarnya helps adalah stuff baik situs sudah melakukan, hanya dengan sebuah clearer alasan:

• Deskripsikan Anda images. nyata teks alt dan sensible filenames tell mesin apa sebuah picture adalah.
• Memberikan audio dan video nyata text. Transcripts dan captions let mesin memahami — dan quote — apa mengatakan.
• jawaban obvious pertanyaan. jika seseorang photographs Anda product, kueri mereka’ll tanyakan adalah “apa adalah ini / di mana lakukan I mendapatkan it / bagaimana banyak.” (terjemahan) “apa adalah ini / di mana melakukan I mendapatkan ini / bagaimana banyak.” membuat itu easy untuk temukan pada halaman.

ingin nyata mechanics — bagaimana MUM dan AI Mode fit di, apa Google memiliki sebenarnya confirmed vs. apa hanya theory, dan penuh playbook? Switch untuk Advanced tab.

TL;DR — Multimodal penelusuran adalah querying dan retrieving di seluruh text, image, video, dan audio di sebuah single interaction. enabler adalah sebuah shared embedding space: berbeda modalities mendapatkan encoded ke yang sama vector space so mereka dapat menjadi cocok oleh meaning — yang sama retrieval idea sebagai semantic penelusuran, generalized past text. Google’s publik arc berjalan dari voice dan pencarian gambar untuk MUM (2021, multimodal, “1,000 times more powerful than BERT,” (terjemahan) “1 000 times lebih powerful daripada BERT,” digunakan untuk sempit tinggi-complexity cases) untuk Google Lens, Circle untuk Penelusuran, dan Gemini-powered AI Mode, di mana sebuah photo plus sebuah ikuti-up adalah satu kueri itu fans out ke sebuah synthesized jawaban. apa officially confirmed adalah mostly tentang understanding kueri di seluruh modalities; claims itu Google peringkat Anda individual images atau video frames sebagai sebuah distinct “multimodal sinyal” (terjemahan) “multimodal sinyal” adalah industry theory. durable playbook: descriptive alt text/filenames, nyata transcripts/captions, bersih data terstruktur, dan konten itu jawaban implied pertanyaan behind sebuah visual atau spoken kueri.

«## What “multimodal” actually means » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian delapan belas, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Shared representation research menampilkan satu approach untuk cross-modal retrieval, tidak sebuah universal production architecture. Bukti untuk klaim ini CLIP learns joint image-and-text representations from paired internet data and supports zero-shot image classification. Cakupan: CLIP research results; multimodal search products may use different models, training data, and ranking pipelines. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Radford et al.: Learning Transferable Visual Models Penelusuran-product deskripsi document fitur tetapi tidak menyelesaikan peringkat mechanics. Bukti untuk klaim ini Google Multisearch lets users combine an image with text to refine a search. Cakupan: Google's documented consumer search feature; it does not define all multimodal retrieval systems. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google: Multisearch

sebuah modality adalah sebuah channel dari informasi — ditulis text, sebuah image, spoken audio, video. sebuah unimodal sistem menangani satu; sebuah multimodal sistem takes lebih daripada satu sebagai input, atau produces lebih daripada satu sebagai output, dan — crucially — alasan tentang them jointly alih-alih bolting terpisah pipelines together.

Multimodal penelusuran adalah lebih luas daripada “image penelusuran,” (terjemahan) “pencarian gambar,” dan perbedaan penting:

• pencarian gambar menemukan images (Anda ingin pictures).
• Multimodal penelusuran menggunakan sebuah image (atau voice, atau video) sebagai bagian dari sebuah kueri itu dapat kembalikan apa pun jenis dari hasil — sebuah shopping listing, sebuah bagaimana-untuk, sebuah definition, sebuah map pin. camera adalah sebuah input device, tidak hal Anda’re looking untuk.

So “point Anda camera di a rusak part dan ask bagaimana untuk perbaiki it” (terjemahan) “poin Anda camera di sebuah rusak bagian dan tanyakan cara perbaiki ini” adalah multimodal penelusuran; “temukan me photos dari itu part” (terjemahan) “temukan me photos dari itu bagian” adalah pencarian gambar. Google Lens melakukan keduanya, yang adalah bagian dari mengapa line blurs.

ini juga helps untuk pertahankan three terpisah pertanyaan apart, karena sebuah single product deskripsi dapat diam-diam blur them: apa modality dapat kueri accept (text hanya, atau text plus image, audio, video)? Apa modality adalah retrieved candidate konten di (sebuah text halaman, sebuah image, sebuah video)? dan apa modality adalah generated output (sebuah list dari tautan, sebuah image grid, sebuah synthesized text jawaban)? sebuah fitur itu accepts sebuah image input tidak secara otomatis retrieve image hasil atau produce sebuah image output — sebuah photo dari sebuah rusak bagian dapat retrieve sebuah text halaman dan generate sebuah text jawaban. Confirming satu dari ini three tidak konfirmasi lainnya dua; periksa setiap satu terhadap apa provider memiliki sebenarnya terdokumentasi untuk itu spesifik fitur.

teknis enabler: satu shared space

alasan sebuah picture dan sebuah phrase dapat menjadi compared di semua adalah shared representation. Encoder models map text, images, audio, dan video ke sama tinggi-dimensional embedding space, di mana semantic similarity becomes geometric closeness. sebuah photo dari sebuah plant dan string “how do I care for this plant” (terjemahan) “bagaimana melakukan I care untuk ini plant” land near setiap lainnya, so sebuah nearest-neighbor lookup dapat connect them.

ini adalah persis machinery behind semantic penelusuran dan retrieval leg dari RAG, generalized beyond text, dan ini breaks ke distinct stages — setiap satu sebuah terpisah kemampuan, so evidence itu sebuah sistem adalah baik di satu stage tidak konfirmasi ini adalah baik di others:

1. Input understanding. kueri (image + text, say, atau sebuah spoken pertanyaan) adalah parsed ke whatever representation berikutnya stage perlu.
2. Embedding. itu representation, dan setiap candidate piece dari konten, adalah encoded ke shared vector space described di atas.
3. Retrieval. pencarian vektor menemukan closest matches oleh geometric distance.
4. Reranking. sebuah terpisah stage reorders retrieved candidates menggunakan sinyal beyond mentah embedding distance.
5. Generation. di AI surfaces, top candidates adalah grounded ke sebuah synthesized jawaban.

jika Anda memahami embeddings, chunking, pencarian vektor, dan grounding, Anda sudah memahami multimodal penelusuran’s plumbing — satu-satunya baru bagian adalah itu encoders speak lebih daripada satu modality.

Named research sistem, tidak sebuah confirmed production blueprint. joint-embedding idea tidak hypothetical — OpenAI’s CLIP dan Google’s ALIGN keduanya trained image dan text encoders ke satu shared space menggunakan image-text pairs, dan Meta’s ImageBind extended approach untuk six modalities (image, text, audio, depth, thermal, dan motion) di sebuah single space. itu adalah named, published research architectures dengan mereka own datasets dan evaluations — berguna untuk understanding bagaimana sebuah shared space dapat menjadi dibangun, tidak proof itu apa pun spesifik commercial mesin pencari’s production sistem menggunakan itu tepat design. sebuah provider’s output perilaku alone tidak reveal apakah ini menggunakan sebuah shared embedding space, sebuah berbeda fusion metode, atau bagaimana ini weights setiap modality — itu’s internal untuk sebuah sistem tidak seorang pun di luar provider dapat inspect.

Google’s publik arc

Google’s confirmed langkah toward multimodal penelusuran, roughly di order:

• Voice dan pencarian gambar (2010s). Spoken kueri dan reverse-image lookups adalah pertama mainstream non-text inputs.
• MUM — Multitask Unified Model (2021). Google’s publik marker untuk multimodal shift. Google described MUM sebagai multimodal — able untuk “understand information across text and images” (terjemahan) “memahami informasi di seluruh text dan images” — dan “1,000 times more powerful than BERT,” (terjemahan) “1 000 times lebih powerful daripada BERT,” trained di seluruh 75 languages, dan able untuk keduanya memahami dan generate language. penting caveat, straight dari semantic-penelusuran history: MUM adalah tidak pernah Google’s umum peringkat mesin. ini adalah applied untuk sempit, tinggi-complexity cases (kompleks multi-langkah pertanyaan, beberapa featured snippets, shopping), dan ini melakukan tidak “replace” (terjemahan) “replace” BERT.
• Google Lens. Camera-sebagai-kueri di scale — identify objects, translate text di sebuah image, shop apa Anda see, solve sebuah masalah Anda photograph.
• Circle untuk Penelusuran. Circle, highlight, atau tap apa pun pada Anda Android screen untuk penelusuran ini di place, tanpa switching apps.
• AI Mode (Gemini-era). saat ini frontier: sebuah multimodal kueri (sebuah image plus sebuah spoken atau typed ikuti-up) becomes sebuah single interaction itu fans out ke banyak sub-kueri dan mengembalikan sebuah synthesized, cited jawaban. ini adalah di mana multimodal input memenuhi agentic, RAG-style retrieval described di ini cluster.

Microsoft memiliki -nya own line — Bing Visual Penelusuran dan Copilot Vision — itu melakukan analogous hal pada Bing’s side, so multimodal penelusuran tidak sebuah Google-hanya phenomenon.

Di mana ini dapat fail sebelum retrieval bahkan dimulai

setiap modality lainnya daripada bersih text memiliki untuk lulus melalui sebuah conversion langkah sebelum shared-space matching described di atas dapat happen, dan itu langkah dapat introduce errors retrieval stage tidak pernah sees coming. Provider teknis documentation pada multimodal models mendeskripsikan persis ini class dari limitation:

• OCR errors — text embedded di sebuah image (sebuah sign, sebuah screenshot, sebuah label) dapat menjadi misread, terutama di rendah resolution atau di sebuah unfamiliar font.
• Speech recognition errors — sebuah mistranscribed kata di audio atau video propagates ke whatever mendapatkan embedded dan retrieved.
• Frame sampling — video tidak dipahami frame-oleh-frame; sistem sample sebuah subset dari frames, so konten itu hanya muncul antara sampled frames dapat menjadi missed entirely.
• Cropping dan resolution — sebuah sistem berfungsi dari sebuah rendah-resolution atau tightly cropped image memiliki lebih sedikit untuk berfungsi dengan daripada original scene.
• Language — accuracy di satu language tidak establish accuracy di lainnya; OCR dan speech recognition performa keduanya vary oleh language.
• Missing context — sebuah image atau clip stripped dari -nya sekitarnya halaman context (caption, teks alt, transcript) memberikan sistem lebih sedikit untuk anchor understanding untuk.

None dari ini adalah unique untuk apa pun satu provider, dan ini adalah sebuah alasan untuk treat “the model can see/hear X” (terjemahan) “ model dapat see/hear X” claims cautiously — sebuah kemampuan itu berfungsi pada sebuah bersih, well-lit, tinggi-resolution test contoh tidak establish ini berfungsi pada messier dunia nyata versi dari yang sama input.

apa confirmed vs. apa theory

ini adalah di mana careful writing penting, karena topic attracts overreach.

Reasonably confirmed:

• mesin pencari accept dan memahami multimodal kueri — image, voice, dan screen-circling inputs adalah nyata, shipping products.
• retrieval behind AI jawaban adalah meaning-based (embeddings / semantic retrieval) dan, di AI Mode, grounded di core Penelusuran indeks — ada Tidak terpisah “AI index.” (terjemahan) “AI indeks.”
• Google explicitly says -nya AI fitur rely pada core Penelusuran peringkat dan quality sistem, so crawl → indeks → retrieve chain masih governs apakah Anda konten dapat tampilkan up di semua.

Industry theory — flag ini sebagai such:

• itu Google peringkat Anda individual images atau video frames sebagai sebuah distinct “multimodal ranking signal” (terjemahan) “multimodal sinyal peringkat” Anda dapat mengoptimalkan di isolation. Google memiliki tidak published sebuah “multimodal ranking factor.” (terjemahan) “multimodal peringkat factor.” Bagaimana deeply halaman-tingkat visual/audio konten adalah dipahami frame-oleh-frame di web scale adalah hanya partly terdokumentasi.
• Precise claims tentang bagaimana banyak weight sebuah multimodal kueri memberikan untuk image vs. accompanying text. Treat spesifik ratios sebagai speculation.

safe reading: mengoptimalkan untuk menjadi dipahami dan retrievable di seluruh modalities, tidak untuk sebuah mechanism Google hasn’t confirmed.

Apa ini berarti untuk SEO

Strip hype dan playbook adalah concrete dan familiar:

• membuat images legible untuk machines. Descriptive teks alt, bermakna filenames, dan (di mana relevant) image data terstruktur. teks alt adalah bagaimana sebuah penelusuran mesin knows apa sebuah picture depicts tanpa “seeing” (terjemahan) “seeing” ini — dan ini masih helps bahkan sebagai visual understanding improves.
• Memberikan audio dan video nyata text. Transcripts, captions, dan jelas pada-halaman context turn spoken konten ke sesuatu retrievable dan quotable. sebuah video dengan Tidak transcript adalah far harder untuk ground ke sebuah jawaban.
• data terstruktur di mana ini fits. Product, ImageObject, VideoObject, dan Recipe-jenis markup memberikan machines unambiguous facts untuk attach untuk sebuah visual atau spoken kueri.
• jawaban implied pertanyaan. sebuah visual kueri carries sebuah intent — “apa adalah ini,” (terjemahan) “apa adalah ini,” “where do I buy it,” (terjemahan) “di mana melakukan I buy ini,” “how do I fix it.” (terjemahan) “bagaimana melakukan I perbaiki ini.” konten itu jawaban itu intent secara langsung, di sebuah self-berisi passage, adalah apa mendapatkan retrieved. ini adalah yang sama passage-tingkat clarity itu passage peringkat dan RAG sudah reward.
• ** prerequisites jangan perubahan.** Multimodal jawaban masih retrieve dari core indeks, so menjadi dapat di-crawl dan terindeks muncul pertama — yang sama chain covered di crawling, grounding, dan RAG.

None dari ini adalah sebuah jaminan. Google’s own image dan video documentation frames alt text, transcripts, dan data terstruktur sebagai eligibility dan understanding aids — hal itu help sebuah mesin pencari menemukan, memahami, dan correctly attach Anda konten untuk sebuah kueri — tidak sebagai inputs untuk sebuah terdokumentasi peringkat formula. Melakukan semua dari di atas membuat Anda konten retrievable dan citable; ini tidak jaminan retrieval, citation, peringkat position, atau itu apa pun generated jawaban mendeskripsikan ini accurately.

satu-kalimat versi: multimodal penelusuran widened front door, tetapi ini tidak perubahan apa behind ini. menjadi findable, menjadi jelas tentang apa Anda images dan media depict, dan jawaban pertanyaan kueri implies.

AI summary

sebuah condensed take pada Advanced versi:

«- Multimodal search = querying/retrieving across text, image, video, and audio in one interaction. Broader than image search: it uses a picture/voice/video as input to return any kind of result, not just pictures.

• Three separate dimensions. What modality the query accepts, what modality the retrieved content is in, and what modality the output is are three different questions — confirming one doesn’t confirm the others.
• Enabler = a shared embedding space, built through five distinct stages (input understanding, embedding, retrieval, reranking, generation). Named research systems (CLIP, ALIGN, ImageBind) demonstrate joint embedding spaces exist and work — they’re not proof of any specific provider’s production architecture, which output behavior alone can’t reveal.
• Google’s arc: voice + image search → MUM (2021, multimodal, “1,000 times more powerful than BERT,” 75 languages — but a narrow high-complexity tool, never the general ranking engine) → Google Lens → Circle to Search → Gemini-era AI Mode, where an image + follow-up fans out into a grounded, cited answer. Microsoft parallels: Bing Visual Search and Copilot Vision.
• Where it fails before retrieval: OCR misreads, speech-recognition errors, video frame sampling gaps, cropping/resolution limits, language variance, and missing surrounding context can all corrupt understanding before matching even starts. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian lima puluh enam, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- Confirmed: multimodal queries are real; AI retrieval is meaning-based and grounded in the core Search index (no separate AI index); crawl → index → retrieve still governs eligibility.
• Industry theory (flag it): a distinct “multimodal ranking signal” over your individual images/frames, and precise image-vs-text weighting. Google hasn’t confirmed these.
• SEO playbook: descriptive alt text + filenames, real transcripts/captions, Product/ImageObject/VideoObject structured data, and self-contained content that answers the implied intent of a visual/spoken query. Prerequisites (crawlable, indexed) unchanged — and none of it guarantees retrieval, ranking, or citation; Google documents these as eligibility/understanding aids, not ranking inputs. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian lima puluh enam, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Dokumentasi resmi

Utama-sumber material dari mesin pencari pada multimodal surfaces dan sistem behind them.

Google

• MUM: sebuah baru AI milestone untuk understanding informasi — 2021 announcement dari multimodal, multilingual Multitask Unified Model.
• Bagaimana AI powers great hasil pencarian — bagaimana RankBrain, neural matching, BERT, dan MUM fit together di Google’s own kata.
• Google’s Guide untuk Optimizing untuk Generative AI fitur — AI Overviews / AI Mode rely pada core Penelusuran peringkat; grounding/RAG dan kueri fan-out.
• AI Mode dan AI Overviews memperbarui — evolving multimodal AI Mode experience.
• Visual penelusuran dengan Lens pada Shopping — camera-sebagai-kueri applied untuk shopping.
• Image SEO best practices — descriptive teks alt, filenames, dan image data terstruktur ( machine-legibility fundamentals).
• Video SEO best practices — VideoObject, transcripts, dan bagaimana Google understands video.

Microsoft / Bing

• Bing Visual Penelusuran — Bing’s image-sebagai-kueri surface.
• Copilot Vision — Microsoft’s multimodal assistant itu dapat “see” (terjemahan) “see” dan alasan tentang apa pada screen, tersedia melalui Copilot app pada Windows.

Quotes dari sumber

pada—record statements dari Google pada multimodal shift. Deep tautan jump untuk quoted passage di mana halaman mendukung ini.

Google — MUM adalah multimodal

• MUM adalah “multimodal, so it understands information across text and images and, in the future, can expand to more modalities like video and audio.” (terjemahan) “multimodal, so ini understands informasi di seluruh text dan images dan, di future, dapat expand untuk lebih modalities like video dan audio.” — Pandu Nayak, Google, pada MUM announcement. Baca announcement
• MUM adalah “1,000 times more powerful than BERT” (terjemahan) “1 000 times lebih powerful daripada BERT” dan, unlike BERT, dapat keduanya memahami dan generate language di seluruh 75 languages. Baca announcement

Google — AI fitur jalankan pada core Penelusuran indeks

• “Our generative AI features pada Google Search adalah rooted di our core Penelusuran ranking dan quality sistem.” (terjemahan) “kami generative AI fitur pada Google Search adalah rooted di kami core Penelusuran peringkat dan quality sistem.” — Google Search Central, AI optimization guide. (ini adalah mengapa crawl → indeks → retrieve chain masih governs multimodal AI eligibility.) Baca guide

Yang multimodal surface am I sebenarnya optimizing untuk?

Di sana tidak sebuah single “multimodal SEO” (terjemahan) “multimodal SEO” knob — berguna berfungsi bergantung pada bagaimana orang reach Anda konten. Walk branch itu matches.

1. adalah orang photographing physical products untuk temukan atau buy them? → Anda’re di Google Lens / visual shopping territory. Prioritize bersih product photography, Product + ImageObject data terstruktur, descriptive teks alt dan filenames, dan sebuah accurate merchant/product feed. kueri’s intent adalah “what is this / where do I buy it / how much.” (terjemahan) “apa adalah ini / di mana melakukan I buy ini / bagaimana banyak.”

2. melakukan orang circle atau screenshot hal di dalam Anda konten untuk pelajari selengkapnya? → Think Circle untuk Penelusuran / pada-screen kueri. lever adalah pada-halaman clarity: label diagrams dan images, pertahankan captions descriptive, dan pastikan sekitarnya text jawaban obvious ikuti-up so sebuah circled istilah resolves untuk Anda explanation.

3. adalah Anda konten primarily spoken atau video? → Anda’re optimizing untuk voice kueri dan video understanding. Publish nyata transcripts dan captions, tambahkan VideoObject markup, dan put sebuah plain-text summary near media. sebuah mesin pencari dapat hanya retrieve dan quote apa ini dapat baca.

4. melakukan Anda ingin tampilkan up di AI Mode / AI Overview jawaban untuk visual atau spoken kueri? → ini adalah grounding / RAG, tidak sebuah terpisah multimodal channel. menjadi dapat di-crawl dan terindeks pertama, lalu tulis self-berisi passages itu jawaban implied sub-pertanyaan sebuah fanned-out multimodal kueri akan tanyakan (see passage peringkat, RAG, grounding).

5. adalah Anda menjadi told untuk “optimize for the multimodal ranking algorithm” (terjemahan) “mengoptimalkan untuk multimodal peringkat algorithm”? → Berhenti. Google hasn’t published sebuah distinct multimodal peringkat factor di atas Anda images atau frames — itu’s industry theory. melakukan confirmed fundamentals di atas dan jangan chase sebuah mechanism itu hasn’t telah confirmed.

mental models

1. sebuah modality adalah hanya sebuah channel. Text, image, audio, video. Unimodal = satu channel; multimodal = lebih daripada satu, reasoned tentang together. kata sounds exotic; idea tidak.

2. Multimodal penelusuran ≠ pencarian gambar. pencarian gambar mengembalikan pictures. Multimodal penelusuran menggunakan sebuah picture (atau voice, atau video) sebagai input untuk kembalikan apa pun jenis dari hasil. camera adalah sebuah input device, tidak destination.

3. Satu shared space adalah seluruh trick. berbeda modalities mendapatkan encoded ke sama embedding space, so sebuah photo dan sebuah phrase dapat menjadi compared oleh meaning. jika Anda know semantic penelusuran dan pencarian vektor, Anda know multimodal penelusuran — encoders hanya speak lebih languages.

4. Confirmed kueri vs. theorized peringkat. Multimodal kueri adalah confirmed dan shipping. sebuah distinct multimodal peringkat sinyal di atas Anda media adalah tidak. mengoptimalkan untuk menjadi dipahami dan retrievable, tidak untuk sebuah unconfirmed mechanism.

5. prerequisite chain adalah unchanged. Multimodal AI jawaban retrieve dari core indeks. crawl → indeks → retrieve masih gates semuanya, so fundamentals (dapat di-crawl, terindeks, jelas) come sebelum apa pun “multimodal-specific.” (terjemahan) “multimodal-spesifik.”

6. Machine legibility adalah lever. Anda dapat’t hand mesin pixels dan hope. teks alt, filenames, transcripts, captions, dan data terstruktur adalah bagaimana sebuah visual atau spoken hal becomes sesuatu sebuah penelusuran sistem dapat match dan cite.

Multimodal penelusuran — cheat sheet

Apa ini adalah di satu line Querying dan retrieving di seluruh text, image, video, dan audio di satu interaction — enabled oleh sebuah shared embedding space, yang sama meaning-based retrieval sebagai semantic penelusuran, extended past text.

** surfaces**

Multimodal penelusuran vs. pencarian gambar

Confirmed vs. theory

** confirmed playbook**

• Descriptive teks alt + bermakna filenames.
• nyata transcripts dan captions untuk audio/video.
• Product / ImageObject / VideoObject data terstruktur.
• Self-berisi passages itu jawaban implied kueri intent.
• dapat di-crawl + terindeks pertama — Tidak terpisah AI indeks.

Multimodal-readiness checklist

sebuah lulus untuk konfirmasi Anda konten dapat menjadi dipahami dan retrieved di seluruh modalities:

• setiap bermakna image memiliki descriptive teks alt (tidak keyword-stuffed, tidak empty pada konten images).
• Image filenames deskripsikan subject (blue-wingback-chair.jpg, tidak IMG_4821.jpg).
• Product/visual halaman carry appropriate data terstruktur (Product, ImageObject, Recipe, dan seterusnya.).
• Videos memiliki sebuah transcript dan/atau captions, plus VideoObject markup dan sebuah pada-halaman text summary.
• Audio/podcast konten ships dengan sebuah readable transcript.
• Diagrams dan screenshots memiliki descriptive captions dan sekitarnya text itu jawaban obvious ikuti-up pertanyaan.
• halaman itu sebuah visual kueri akan land pada secara langsung jawaban implied intent (“apa adalah ini / di mana untuk buy / bagaimana untuk perbaiki” (terjemahan) “apa adalah ini / di mana untuk buy / cara perbaiki”) di sebuah self-berisi passage.
• Images dan media tidak blocked dari crawling, dan halaman hosting them adalah dapat diindeks ( retrieve chain adalah intact).
• Anda’re tidak relying pada sebuah unconfirmed “multimodal ranking factor” (terjemahan) “multimodal peringkat factor” — plan rests pada confirmed fundamentals di atas.

Inventory image context di browser

Jalankan ini di Chrome DevTools Console pada sebuah representative halaman. ini lists setiap image’s sumber, dimensions, alternative text, dan nearest heading:

console.table([...document.images].map(img => ({ src: img.currentSrc || img.src, width: img.naturalWidth, height: img.naturalHeight, alt: img.getAttribute('alt'), heading: img.closest('section, article, main')?.querySelector('h1,h2,h3')?.textContent?.trim() || '' })));

Missing alt dan sebuah weak sekitarnya bagian adalah review flags, tidak automatic SEO failures. Decorative images dapat correctly gunakan empty alternative text.

temukan images itu memerlukan interaction untuk acquire sebuah URL

Jalankan ini sebelum clicking galleries atau carousels:

const urls = new Set([...document.images].map(i => i.currentSrc || i.src));
console.table([...document.querySelectorAll('[data-src], [data-lazy-src]')].map(el => ({ pending: el.dataset.src || el.dataset.lazySrc, alreadyRendered: urls.has(el.dataset.src || el.dataset.lazySrc) })));

sebuah pending image adalah tidak niscaya inaccessible, tetapi hasil identifies assets itu perlu sebuah dirender-halaman crawl dan interaction review.

Verify image assets dan context setelah penerbitan

Test untuk jalankan: Fetch halaman dengan sebuah dirender crawler dan export image URLs, kode status, alternative text, dan referring halaman heading. Yang diharapkan hasil: penting images kembalikan successfully dan muncul di dirender HTML dengan accurate halaman context. Failure interpretation: asset adalah rusak, dimuat hanya setelah sebuah unsupported interaction, atau separated dari text itu menjelaskan ini. Monitoring window: Immediate setelah deployment. Rollback trigger: rilis menghapus atau breaks penting product, instructional, atau utama konten images.

Verify structured image associations

Test untuk jalankan: Inspect apa pun relevant data terstruktur dan -nya referenced image URLs dengan appropriate schema validation workflow. Yang diharapkan hasil: Referenced images resolve dan belong untuk entity described pada halaman. Failure interpretation: Markup poin di sebuah missing, blocked, atau unrelated asset. Monitoring window: Immediate untuk markup dan HTTP memeriksa; penelusuran appearance hanya setelah recrawl. Rollback trigger: perubahan membuat tidak valid markup atau associates wrong image dengan entity.

Uji pemahaman Anda: Multimodal Penelusuran

Five quick pertanyaan pada bagaimana penelusuran berfungsi di seluruh text, images, video, dan audio. Pick sebuah jawaban untuk setiap, lalu periksa.

Resources worth Anda time

My related writing

• Google AI Overviews: semua Anda perlu Know — bagaimana AI jawaban retrieve dari core indeks ( prerequisite untuk menunjukkan up di multimodal AI hasil).
• Apa kami Sebenarnya Know tentang Optimizing untuk LLM Penelusuran — evidence-based view dari apa melakukan dan tidak influence AI citations, berguna untuk separating confirmed mechanisms dari hype.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — my walkthrough dari crawling, rendering, pengindeksan, dan peringkat; pipeline itu multimodal retrieval masih berjalan pada. (My standing disclaimer applies: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari sekitar industry

• MUM: sebuah baru AI milestone untuk understanding informasi — Google’s own MUM announcement (multimodal, multilingual, 1 000 times lebih powerful daripada BERT).
• Bagaimana AI powers great hasil pencarian — Google pada bagaimana -nya AI sistem, including MUM, fit together.
• Google’s Guide untuk Optimizing untuk Generative AI fitur — official line itu AI fitur jalankan pada core Penelusuran peringkat (Tidak terpisah AI indeks).
• Google Images SEO best practices — confirmed image-legibility fundamentals (teks alt, filenames, data terstruktur).
• Video SEO best practices — bagaimana Google understands video, dan VideoObject / transcript fundamentals.
• Bing Visual Penelusuran — Microsoft’s image-sebagai-kueri surface, sebuah reminder multimodal penelusuran tidak Google-hanya.

Videos

• Google Search Central (YouTube) — Bagaimana Google Search berfungsi series dan Martin Splitt’s explainers pada bagaimana Google understands images, video, dan halaman konten — machine-understanding side dari multimodal penelusuran. Channel

Log perubahan