Multimodal Tìm kiếm

TL;DR — Multimodal tìm kiếm có nghĩa là bạn không có để loại để tìm kiếm. Bạn có thể point của bạn camera tại điều gì đó (Google Lens), circle một điều on của bạn screen (Circle để Tìm kiếm), hoặc speak một câu hỏi — và combine những với words. Đó engine understands đó picture, đó voice, và đó text together, thì các câu trả lời. đây là đó giống nhau “match by meaning” (bản dịch) «match by meaning» ý tưởng as modern tìm kiếm, chỉ không lâu hơn limited để được viết words.

Điều gì multimodal tìm kiếm là

Multimodal các hệ thống xử lý hoặc relate hơn một modality, such as text và images. Evidence for this claim CLIP learns joint image-and-text representations from paired internet data and supports zero-shot image classification. Scope: CLIP research results; multimodal search products may use different models, training data, and ranking pipelines. Confidence: high · Verified: 2026-07-14 Radford et al.: Learning Transferable Visual Models Sản phẩm capabilities vary, so image, video, audio, và text hỗ trợ nên là verified theo hệ thống. Evidence for this claim Google Multisearch lets users combine an image with text to refine a search. Scope: Google's documented consumer search feature; it does not define all multimodal retrieval systems. Confidence: high · Verified: 2026-07-14 Google: Multisearch

Cho hầu hết of tìm kiếm history ở đó đã là một way trong: bạn typed words, và bạn đã nhận một list of links. Multimodal tìm kiếm breaks đó open. MỘT modality là chỉ một loại of input hoặc output — text, an image, video, audio. Multimodal tìm kiếm có nghĩa là đó engine có thể take hơn một of những tại khi và làm hợp lý of them jointly.

Some everyday các ví dụ bạn đã probably đã dùng:

• Point của bạn camera tại một plant, một landmark, hoặc một pair of shoes và ask “what is this?” (bản dịch) «điều gì là này?» — đó là Google Lens.
• Circle điều gì đó on của bạn phone screen — một jacket trong một photo, một word trong an bài viết — để tìm kiếm điều này không có leaving đó app. đó là Circle để Tìm kiếm.
• Talk để của bạn phone thay vì typing — đó là voice tìm kiếm.
• Combine an image và một câu hỏi: cho thấy một photo of một chair và ask “where can I buy this in blue?” (bản dịch) «nơi có thể I buy này trong blue?» Đó picture và đó words là một query.

Vì sao điều này hoạt động: matching by meaning

Đó trick dưới đó hood là đó modern các hệ thống không treat một picture và một sentence as totally khác nhau điều. They translate cả hai vào đó giống nhau internal “language” — một list of numbers đó captures meaning (see embeddings). MỘT photo of một golden retriever và đó words “golden retriever” (bản dịch) «golden retriever» end lên close together trong đó space, so đó engine có thể match them mặc dù một là pixels và đó other là letters. đó là đó giống nhau meaning-based matching behind regular modern tìm kiếm (semantic tìm kiếm) — chỉ extended so điều này hoạt động trên images, voice, và video cũng.

Điều đó có nghĩa là gì cho bạn

Ở đây đó honest version, vì có một lot of hype ở đây: có không secret “multimodal ranking factor” (bản dịch) «multimodal xếp hạng factor» bạn flip on. Điều gì thực ra helps là đó stuff good các trang đã làm, chỉ với một clearer reason:

• Mô tả của bạn images. Real alt text và sensible filenames tell đó engine điều gì một picture là.
• Cho audio và video real text. Transcripts và captions let đó engine understand — và quote — điều gì là đã nói.
• Câu trả lời đó obvious câu hỏi. Nếu ai đó photographs của bạn sản phẩm, đó query they’ll ask là “what is this / where do I get it / how much.” (bản dịch) «điều gì là này / nơi làm I nhận điều này / cách nhiều.» Làm đó easy để tìm on đó trang.

Muốn đó real mechanics — cách MUM và AI Chế độ fit trong, điều gì Google có thực ra confirmed so với. điều gì là chỉ theory, và đó đầy đủ playbook? Chuyển để đó Advanced tab.

TL;DR — Multimodal tìm kiếm là querying và retrieving trên text, image, video, và audio trong một single interaction. Đó enabler là một shared embedding space: khác nhau modalities nhận encoded vào đó giống nhau vector space so they có thể là khớp by meaning — đó giống nhau retrieval ý tưởng as semantic tìm kiếm, generalized past text. Google công khai arc chạy từ voice và image tìm kiếm để MUM (2021, multimodal, “1,000 times more powerful than BERT,” (bản dịch) «1 000 times hơn powerful hơn BERT,» dùng cho hẹp cao-complexity cases) để Google Lens, Circle để Tìm kiếm, và Gemini-powered AI Chế độ, nơi một photo plus một follow-lên là một query đó fans out vào một synthesized câu trả lời. điều gì là officially confirmed là mostly về understanding đó query trên modalities; claims đó Google ranks của bạn riêng lẻ images hoặc video frames as một distinct “multimodal signal” (bản dịch) «multimodal tín hiệu» là ngành theory. Đó durable playbook: descriptive alt text/filenames, real transcripts/captions, sạch dữ liệu có cấu trúc, và nội dung đó các câu trả lời đó implied câu hỏi behind một visual hoặc spoken query.

Điều gì “multimodal” thực ra có nghĩa là

Shared representation research cho thấy một approach để cross-modal retrieval, không một universal production architecture. Evidence for this claim CLIP learns joint image-and-text representations from paired internet data and supports zero-shot image classification. Scope: CLIP research results; multimodal search products may use different models, training data, and ranking pipelines. Confidence: high · Verified: 2026-07-14 Radford et al.: Learning Transferable Visual Models Tìm kiếm-sản phẩm các mô tả document features nhưng không hoàn tất xếp hạng mechanics. Evidence for this claim Google Multisearch lets users combine an image with text to refine a search. Scope: Google's documented consumer search feature; it does not define all multimodal retrieval systems. Confidence: high · Verified: 2026-07-14 Google: Multisearch

MỘT modality là một channel of information — được viết text, an image, spoken audio, video. MỘT unimodal hệ thống xử lý một; một multimodal hệ thống takes hơn một as input, hoặc produces hơn một as output, và — crucially — reasons về them jointly thay vì bolting tách biệt pipelines together.

Multimodal tìm kiếm là rộng hơn “image search,” (bản dịch) «image tìm kiếm,» và đó khác biệt matters:

• Image tìm kiếm tìm thấy images (bạn muốn pictures).
• Multimodal tìm kiếm dùng an image (hoặc voice, hoặc video) as part of một query đó có thể trả về bất kỳ kind of kết quả — một shopping listing, một cách-để, một definition, một map pin. Đó camera là an input device, không đó điều bạn là looking cho.

So “point your camera at a broken part and ask how to fix it” (bản dịch) «point của bạn camera tại một hỏng part và ask cách sửa điều này» là multimodal tìm kiếm; “find me photos of that part” (bản dịch) «tìm me photos of đó part» là image tìm kiếm. Google Lens làm cả hai, mà là part of vì sao đó line blurs.

Điều này cũng helps để giữ three tách biệt các câu hỏi apart, vì một single sản phẩm mô tả có thể âm thầm blur them: điều gì modality có thể đó query accept (text chỉ, hoặc text plus image, audio, video)? Điều gì modality là đó retrieved candidate nội dung trong (một text trang, an image, một video)? Và điều gì modality là đó generated output (một list of links, an image grid, một synthesized text câu trả lời)? MỘT feature đó accepts an image input không tự động retrieve image kết quả hoặc produce an image output — một photo of một hỏng part có thể retrieve một text trang và generate một text câu trả lời. Confirming một of những three không xác nhận đó other hai; kiểm tra mỗi một so với điều gì đó provider có thực ra được ghi lại cho đó cụ thể feature.

Đó kỹ thuật enabler: một shared space

Đó reason một picture và một phrase có thể là compared tại all là shared representation. Encoder models map text, images, audio, và video vào đó giống nhau cao-dimensional embedding space, nơi semantic similarity becomes geometric closeness. MỘT photo of một plant và đó string “how do I care for this plant” (bản dịch) «cách làm I care cho này plant» land near mỗi other, so một nearest-neighbor lookup có thể connect them.

Này là chính xác đó machinery behind semantic tìm kiếm và đó retrieval leg of RAG, generalized beyond text, và điều này breaks vào distinct stages — mỗi một tách biệt khả năng, so evidence đó một hệ thống là good tại một stage không xác nhận đây là good tại đó others:

1. Input understanding. Đó query (image + text, chẳng hạn, hoặc một spoken câu hỏi) là parsed vào whatever representation đó tiếp theo stage cần.
2. Embedding. Đó representation, và mỗi candidate piece of nội dung, là encoded vào đó shared vector space described trên.
3. Retrieval. Vector tìm kiếm tìm thấy đó closest matches by geometric distance.
4. Reranking. MỘT tách biệt stage reorders đó retrieved candidates dùng các tín hiệu beyond thô embedding distance.
5. Generation. Trong AI surfaces, đó top candidates là grounded vào một synthesized câu trả lời.

Nếu bạn understand embeddings, chunking, vector tìm kiếm, và grounding, bạn đã understand multimodal tìm kiếm plumbing — đó chỉ new part là đó encoders speak hơn một modality.

Named research các hệ thống, không một confirmed production blueprint. Đó joint-embedding ý tưởng không hypothetical — OpenAI’s CLIP và Google ALIGN cả hai trained image và text encoders vào một shared space dùng image-text pairs, và Meta ImageBind extended đó approach để six modalities (image, text, audio, depth, thermal, và motion) trong một single space. Những là named, published research architectures với của họ own datasets và evaluations — hữu ích cho understanding cách một shared space có thể là được xây dựng, không proof đó bất kỳ cụ thể commercial công cụ tìm kiếm production hệ thống dùng đó chính xác design. MỘT provider output behavior alone không reveal liệu điều này dùng một shared embedding space, một khác nhau fusion phương thức, hoặc cách điều này weights mỗi modality — đó là internal để một hệ thống không ai bên ngoài đó provider có thể inspect.

Google công khai arc

Google confirmed steps toward multimodal tìm kiếm, khoảng trong order:

• Voice và image tìm kiếm (2010s). Spoken các truy vấn và reverse-image lookups đã là đó đầu tiên mainstream non-text inputs.
• MUM — Multitask Unified Model (2021). Google công khai marker cho đó multimodal shift. Google described MUM as multimodal — able để “understand information across text and images” (bản dịch) «understand information trên text và images» — và “1,000 times more powerful than BERT,” (bản dịch) «1 000 times hơn powerful hơn BERT,» trained trên 75 languages, và able để cả hai understand và generate language. Đó quan trọng caveat, straight từ đó semantic-tìm kiếm history: MUM đã là không bao giờ Google chung xếp hạng engine. Điều này đã là applied để hẹp, cao-complexity cases (phức tạp multi-step các câu hỏi, some featured snippets, shopping), và điều này đã không “replace” BERT.
• Google Lens. Camera-as-query tại quy mô — identify objects, translate text trong an image, shop điều gì bạn see, solve một vấn đề bạn photograph.
• Circle để Tìm kiếm. Circle, highlight, hoặc tap bất cứ điều gì on của bạn Android screen để tìm kiếm điều này trong place, không có switching apps.
• AI Chế độ (Gemini-era). Đó hiện tại frontier: một multimodal query (an image plus một spoken hoặc typed follow-lên) becomes một single interaction đó fans out vào nhiều sub-các truy vấn và trả về một synthesized, cited câu trả lời. Này là nơi multimodal input đáp ứng đó agentic, RAG-style retrieval described trong này cluster.

Microsoft có của nó own line — Bing Visual Tìm kiếm và Copilot Vision — đó làm đó analogous điều on Bing side, so multimodal tìm kiếm không một Google-chỉ phenomenon.

Nơi điều này có thể fail trước retrieval ngay cả bắt đầu

Mỗi modality other hơn sạch text có để truyền qua một conversion step trước đó shared-space matching described trên có thể happen, và đó step có thể introduce các lỗi đó retrieval stage không bao giờ sees coming. Provider kỹ thuật tài liệu on multimodal models mô tả chính xác này class of limitation:

• OCR các lỗi — text embedded trong an image (một sign, một screenshot, một label) có thể là misread, especially tại thấp resolution hoặc trong an unfamiliar font.
• Speech recognition các lỗi — một mistranscribed word trong audio hoặc video propagates vào whatever nhận embedded và retrieved.
• Frame sampling — video không understood frame-by-frame; các hệ thống sample một subset of frames, so nội dung đó chỉ xuất hiện giữa sampled frames có thể là missed hoàn toàn.
• Cropping và resolution — một hệ thống hoạt động từ một thấp-resolution hoặc tightly cropped image có ít hơn để hoạt động với hơn đó original scene.
• Language — độ chính xác trong một language không establish độ chính xác trong một sản phẩm khác; OCR và speech recognition performance cả hai vary by language.
• Bị thiếu context — an image hoặc clip stripped of của nó xung quanh trang context (caption, alt text, transcript) cho đó hệ thống ít hơn để anchor understanding để.

None of này là unique để bất kỳ một provider, và đây là một reason để treat “the model can see/hear X” (bản dịch) «đó model có thể see/hear X» claims cautiously — một khả năng đó hoạt động on một sạch, well-lit, cao-resolution kiểm thử ví dụ không establish điều này hoạt động on đó messier thực tế version of đó giống nhau input.

điều gì là confirmed so với. điều gì là theory

Này là nơi careful writing matters, vì đó topic attracts overreach.

Reasonably confirmed:

• Các công cụ tìm kiếm accept và understand multimodal các truy vấn — image, voice, và screen-circling inputs là real, shipping các sản phẩm.
• Đó retrieval behind AI các câu trả lời là meaning-based (embeddings / semantic retrieval) và, trong AI Chế độ, grounded trong đó cốt lõi Tìm kiếm chỉ mục — có không tách biệt “AI chỉ mục.”
• Google explicitly says của nó AI features rely on cốt lõi Tìm kiếm xếp hạng và quality các hệ thống, so đó crawl → chỉ mục → retrieve chain vẫn governs liệu nội dung của bạn có thể cho thấy lên tại all.

Ngành theory — flag điều này as such:

• Đó Google ranks của bạn riêng lẻ images hoặc video frames as một distinct “multimodal ranking signal” (bản dịch) «multimodal tín hiệu xếp hạng» bạn có thể optimize trong isolation. Google có không published một “multimodal ranking factor.” (bản dịch) «multimodal xếp hạng factor.» Cách deeply trang-cấp độ visual/audio nội dung là understood frame-by-frame tại web quy mô là chỉ partly được ghi lại.
• Precise claims về cách nhiều weight một multimodal query cho để đó image so với. đó accompanying text. Treat cụ thể ratios as speculation.

Đó safe reading: optimize cho đang understood và retrievable trên modalities, không cho một mechanism Google hasn’t confirmed.

Điều gì này có nghĩa là cho SEO

Strip đó hype và đó playbook là concrete và familiar:

• Làm images legible để machines. Descriptive alt text, có ý nghĩa filenames, và (nơi relevant) image dữ liệu có cấu trúc. Alt text là cách một tìm kiếm engine knows điều gì một picture depicts không có “seeing” điều này — và điều này vẫn helps ngay cả as visual understanding improves.
• Cho audio và video real text. Transcripts, captions, và clear on-trang context turn spoken nội dung vào điều gì đó retrievable và quotable. MỘT video với không transcript là far harder để ground vào an câu trả lời.
• Dữ liệu có cấu trúc nơi điều này fits. Product, ImageObject, VideoObject, và Recipe-loại markup cho machines unambiguous facts để attach để một visual hoặc spoken query.
• Câu trả lời đó implied câu hỏi. MỘT visual query carries an intent — “what is this,” (bản dịch) «điều gì là này,» “where do I buy it,” (bản dịch) «nơi làm I buy điều này,» “how do I fix it.” (bản dịch) «cách làm I cách sửa điều này.» Nội dung đó các câu trả lời đó intent trực tiếp, trong một self-contained passage, là điều gì nhận retrieved. Này là đó giống nhau passage-cấp độ clarity đó passage xếp hạng và RAG đã reward.
• Đó prerequisites không thay đổi. Multimodal các câu trả lời vẫn retrieve từ đó cốt lõi chỉ mục, so đang crawlable và được lập chỉ mục xuất hiện đầu tiên — đó giống nhau chain covered trong crawling, grounding, và RAG.

None of này là một bảo đảm. Google own image và video tài liệu frames alt text, transcripts, và dữ liệu có cấu trúc as eligibility và understanding aids — điều đó help một công cụ tìm kiếm discover, understand, và correctly attach của bạn nội dung để một query — không as inputs để một được ghi lại xếp hạng formula. Đang làm all of đó trên làm nội dung của bạn retrievable và citable; điều này không bảo đảm retrieval, citation, xếp hạng position, hoặc đó bất kỳ generated câu trả lời mô tả điều này accurately.

Đó một-sentence version: multimodal tìm kiếm widened đó front door, nhưng điều này đã không thay đổi điều gì là behind điều này. Là findable, là clear về điều gì của bạn images và media depict, và câu trả lời đó câu hỏi đó query implies.

AI summary

MỘT condensed take on đó Advanced version:

• Multimodal tìm kiếm = querying/retrieving trên text, image, video, và audio trong một interaction. Rộng hơn image tìm kiếm: điều này dùng một picture/voice/video as input để trả về bất kỳ kind of kết quả, không chỉ pictures.
• Three tách biệt dimensions. Điều gì modality đó query accepts, điều gì modality đó retrieved nội dung là trong, và điều gì modality đó output là three khác nhau các câu hỏi — confirming một không xác nhận đó others.
• Enabler = một shared embedding space, được xây dựng qua five distinct stages (input understanding, embedding, retrieval, reranking, generation). Named research các hệ thống (CLIP, ALIGN, ImageBind) demonstrate joint embedding spaces exist và hoạt động — họ là không proof of bất kỳ cụ thể provider production architecture, mà output behavior alone không thể reveal.
• Google arc: voice + image tìm kiếm → MUM (2021, multimodal, “1,000 times more powerful than BERT,” (bản dịch) «1 000 times hơn powerful hơn BERT,» 75 languages — nhưng một hẹp cao-complexity tool, không bao giờ đó chung xếp hạng engine) → Google Lens → Circle để Tìm kiếm → Gemini-era AI Chế độ, nơi an image + follow-lên fans out vào một grounded, cited câu trả lời. Microsoft parallels: Bing Visual Tìm kiếm và Copilot Vision.
• Nơi điều này fails trước retrieval: OCR misreads, speech-recognition các lỗi, video frame sampling gaps, cropping/resolution limits, language variance, và bị thiếu xung quanh context có thể all corrupt understanding trước matching ngay cả bắt đầu.
• Confirmed: multimodal các truy vấn là real; AI retrieval là meaning-based và grounded trong đó cốt lõi Tìm kiếm chỉ mục (không tách biệt AI chỉ mục); crawl → chỉ mục → retrieve vẫn governs eligibility.
• Ngành theory (flag điều này): một distinct “multimodal ranking signal” (bản dịch) «multimodal tín hiệu xếp hạng» over của bạn riêng lẻ images/frames, và precise image-so với-text weighting. Google hasn’t confirmed những.
• SEO playbook: descriptive alt text + filenames, real transcripts/captions, Product/ImageObject/VideoObject dữ liệu có cấu trúc, và self-contained nội dung đó các câu trả lời đó implied intent of một visual/spoken query. Prerequisites (crawlable, được lập chỉ mục) unchanged — và none of điều này bảo đảm retrieval, xếp hạng, hoặc citation; Google documents những as eligibility/understanding aids, không xếp hạng inputs.

Tài liệu chính thức

Chính-nguồn material từ đó các công cụ tìm kiếm on multimodal surfaces và đó các hệ thống behind them.

Google

• MUM: MỘT new AI milestone cho understanding information — đó 2021 announcement of đó multimodal, multilingual Multitask Unified Model.
• Cách AI powers great kết quả tìm kiếm — cách RankBrain, neural matching, BERT, và MUM fit together trong Google own words.
• Google Hướng dẫn để Optimizing cho Generative AI Features — AI Overviews / AI Chế độ rely on cốt lõi Tìm kiếm xếp hạng; grounding/RAG và query fan-out.
• AI Chế độ và AI Overviews cập nhật — đó evolving multimodal AI Chế độ experience.
• Visual tìm kiếm với Lens on Shopping — camera-as-query applied để shopping.
• Image SEO thực hành tốt nhất — descriptive alt text, filenames, và image dữ liệu có cấu trúc (đó machine-legibility fundamentals).
• Video SEO thực hành tốt nhất — VideoObject, transcripts, và cách Google understands video.

Microsoft / Bing

• Bing Visual Tìm kiếm — Bing image-as-query surface.
• Copilot Vision — Microsoft multimodal assistant đó có thể “see” và reason về điều gì là on screen, khả dụng qua đó Copilot app on Windows.

Quotes từ đó nguồn

On-đó-record statements từ Google on đó multimodal shift. Deep links jump để đó quoted passage nơi đó trang hỗ trợ điều này.

Google — MUM là multimodal

• MUM là “multimodal, so it understands information across text and images and, in the future, can expand to more modalities like video and audio.” (bản dịch) «multimodal, so điều này understands information trên text và images và, trong đó tương lai, có thể expand để hơn modalities như video và audio.» — Pandu Nayak, Google, on đó MUM announcement. Đọc đó announcement
• MUM là “1,000 times more powerful than BERT” (bản dịch) «1 000 times hơn powerful hơn BERT» và, unlike BERT, có thể cả hai understand và generate language trên 75 languages. Đọc đó announcement

Google — AI features chạy on đó cốt lõi Tìm kiếm chỉ mục

• “Our generative AI features on Google Search are rooted in our core Search ranking and quality systems.” (bản dịch) «Của chúng ta generative AI features on Google Search là rooted trong của chúng ta cốt lõi Tìm kiếm xếp hạng và quality các hệ thống.» — Google Search Central, AI optimization hướng dẫn. (Này là vì sao đó crawl → chỉ mục → retrieve chain vẫn governs multimodal AI eligibility.) Đọc đó hướng dẫn

Mà multimodal surface am I thực ra optimizing cho?

Ở đó không một single “multimodal SEO” (bản dịch) «multimodal SEO» knob — đó hữu ích hoạt động phụ thuộc vào cách mọi người reach nội dung của bạn. Walk đó branch đó matches.

1. Là mọi người photographing physical các sản phẩm để tìm hoặc buy them? → bạn là trong Google Lens / visual shopping territory. Prioritize sạch sản phẩm photography, Product + ImageObject dữ liệu có cấu trúc, descriptive alt text và filenames, và an chính xác merchant/sản phẩm feed. Đó query intent là “what is this / where do I buy it / how much.” (bản dịch) «điều gì là này / nơi làm I buy điều này / cách nhiều.»

2. Làm mọi người circle hoặc screenshot điều bên trong nội dung của bạn để learn hơn? → Think Circle để Tìm kiếm / on-screen các truy vấn. Đó lever là on-trang clarity: label diagrams và images, giữ captions descriptive, và hãy bảo đảm đó xung quanh text các câu trả lời đó obvious follow-lên so một circled term resolves để của bạn lời giải thích.

3. Là nội dung của bạn primarily spoken hoặc video? → bạn là optimizing cho voice các truy vấn và video understanding. Publish real transcripts và captions, thêm VideoObject markup, và put một đơn giản-text summary near đó media. MỘT công cụ tìm kiếm có thể chỉ retrieve và quote điều gì điều này có thể đọc.

4. Làm bạn muốn để cho thấy lên trong AI Chế độ / AI Overview các câu trả lời cho visual hoặc spoken các truy vấn? → Này là grounding / RAG, không một tách biệt multimodal channel. Là crawlable và được lập chỉ mục đầu tiên, thì ghi self-contained passages đó câu trả lời đó implied sub-các câu hỏi một fanned-out multimodal query sẽ ask (see passage xếp hạng, RAG, grounding).

5. Là bạn đang told để “optimize for the multimodal ranking algorithm” (bản dịch) «optimize cho đó multimodal xếp hạng algorithm»? → Dừng. Google hasn’t published một distinct multimodal xếp hạng factor over của bạn images hoặc frames — đó là ngành theory. Làm đó confirmed fundamentals trên và không chase một mechanism đó hasn’t đã confirmed.

Đó mental models

1. MỘT modality là chỉ một channel. Text, image, audio, video. Unimodal = một channel; multimodal = hơn một, reasoned về together. Đó word sounds exotic; đó ý tưởng không.

2. Multimodal tìm kiếm ≠ image tìm kiếm. Image tìm kiếm trả về pictures. Multimodal tìm kiếm dùng một picture (hoặc voice, hoặc video) as input để trả về bất kỳ kind of kết quả. Đó camera là an input device, không đó đích.

3. Một shared space là đó toàn bộ trick. Khác nhau modalities nhận encoded vào đó giống nhau embedding space, so một photo và một phrase có thể là compared by meaning. Nếu bạn know semantic tìm kiếm và vector tìm kiếm, bạn know multimodal tìm kiếm — đó encoders chỉ speak hơn languages.

4. Confirmed query so với. theorized xếp hạng. Multimodal các truy vấn là confirmed và shipping. MỘT distinct multimodal xếp hạng tín hiệu over của bạn media không phải. Optimize cho đang understood và retrievable, không cho an unconfirmed mechanism.

5. Đó prerequisite chain là unchanged. Multimodal AI các câu trả lời retrieve từ đó cốt lõi chỉ mục. Crawl → chỉ mục → retrieve vẫn gates mọi thứ, so fundamentals (crawlable, được lập chỉ mục, clear) come trước bất cứ điều gì “multimodal-specific.” (bản dịch) «multimodal-cụ thể.»

6. Machine legibility là đó lever. Bạn không thể hand đó engine pixels và hope. Alt text, filenames, transcripts, captions, và dữ liệu có cấu trúc là cách một visual hoặc spoken điều becomes điều gì đó một tìm kiếm hệ thống có thể match và cite.

Multimodal tìm kiếm — bảng tra nhanh

Điều gì điều này là trong một line Querying và retrieving trên text, image, video, và audio trong một interaction — enabled by một shared embedding space, đó giống nhau meaning-based retrieval as semantic tìm kiếm, extended past text.

Đó surfaces

Multimodal tìm kiếm so với. image tìm kiếm

Confirmed so với. theory

Đó confirmed playbook

• Descriptive alt text + có ý nghĩa filenames.
• Real transcripts và captions cho audio/video.
• Product / ImageObject / VideoObject dữ liệu có cấu trúc.
• Self-contained passages đó câu trả lời đó implied query intent.
• Crawlable + được lập chỉ mục đầu tiên — không tách biệt AI chỉ mục.

Multimodal-readiness checklist

MỘT truyền để xác nhận nội dung của bạn có thể là understood và retrieved trên modalities:

• Mỗi có ý nghĩa image có descriptive alt text (không từ khóa-stuffed, không empty on nội dung images).
• Image filenames mô tả đó subject (blue-wingback-chair.jpg, không IMG_4821.jpg).
• Sản phẩm/visual các trang carry appropriate dữ liệu có cấu trúc (Product, ImageObject, Recipe, etc.).
• Videos có một transcript và/hoặc captions, plus VideoObject markup và an on-trang text summary.
• Audio/podcast nội dung ships với một readable transcript.
• Diagrams và screenshots có descriptive captions và xung quanh text đó các câu trả lời đó obvious follow-lên câu hỏi.
• Các trang đó một visual query sẽ land on trực tiếp câu trả lời đó implied intent (“what is this / where to buy / how to fix” (bản dịch) «điều gì là này / nơi để buy / cách sửa») trong một self-contained passage.
• Images và media không blocked từ crawling, và đó các trang hosting them là indexable (đó retrieve chain là intact).
• bạn là không relying on an unconfirmed “multimodal ranking factor” (bản dịch) «multimodal xếp hạng factor» — đó plan rests on đó confirmed fundamentals trên.

Inventory image context trong đó trình duyệt

Chạy này trong đó Chrome DevTools Console on một representative trang. Điều này lists mỗi image nguồn, dimensions, alternative text, và nearest heading:

console.table([...document.images].map(img => ({ src: img.currentSrc || img.src, width: img.naturalWidth, height: img.naturalHeight, alt: img.getAttribute('alt'), heading: img.closest('section, article, main')?.querySelector('h1,h2,h3')?.textContent?.trim() || '' })));

Bị thiếu alt và một yếu xung quanh section là review flags, không tự động SEO failures. Decorative images có thể correctly dùng empty alternative text.

Tìm images đó require interaction để acquire một URL

Chạy này trước clicking galleries hoặc carousels:

const urls = new Set([...document.images].map(i => i.currentSrc || i.src));
console.table([...document.querySelectorAll('[data-src], [data-lazy-src]')].map(el => ({ pending: el.dataset.src || el.dataset.lazySrc, alreadyRendered: urls.has(el.dataset.src || el.dataset.lazySrc) })));

MỘT pending image không phải nhất thiết inaccessible, nhưng đó kết quả identifies assets đó cần một được kết xuất-trang crawl và interaction review.

Verify image assets và context sau xuất bản

Kiểm thử để chạy: Fetch đó trang với một được kết xuất crawler và export image URLs, các mã trạng thái, alternative text, và referring trang headings. Dự kiến kết quả: Quan trọng images trả về successfully và xuất hiện trong được kết xuất HTML với chính xác trang context. Failure interpretation: Đó asset là hỏng, loaded chỉ sau an unsupported interaction, hoặc separated từ đó text đó giải thích điều này. Monitoring window: Immediate sau deployment. Rollback trigger: Đó phát hành xóa hoặc breaks quan trọng sản phẩm, instructional, hoặc chính nội dung images.

Verify structured image associations

Kiểm thử để chạy: Inspect bất kỳ relevant dữ liệu có cấu trúc và của nó referenced image URLs với đó appropriate schema validation workflow. Dự kiến kết quả: Referenced images resolve và belong để đó entity described on đó trang. Failure interpretation: Markup points tại một bị thiếu, blocked, hoặc unrelated asset. Monitoring window: Immediate cho markup và HTTP kiểm tra; tìm kiếm appearance chỉ sau recrawl. Rollback trigger: Đó thay đổi tạo không hợp lệ markup hoặc associates đó sai image với đó entity.

Tự kiểm tra: Multimodal Tìm kiếm

Five nhanh các câu hỏi on cách tìm kiếm hoạt động trên text, images, video, và audio. Pick an câu trả lời cho mỗi, thì kiểm tra.

Các tài nguyên worth của bạn time

My related writing

• Google AI Overviews: All Bạn Cần để Know — cách AI các câu trả lời retrieve từ đó cốt lõi chỉ mục (đó prerequisite cho thấy lên trong multimodal AI kết quả).
• Điều gì We Thực ra Know Về Optimizing cho LLM Tìm kiếm — đó evidence-based view of điều gì làm và không influence AI citations, hữu ích cho separating confirmed mechanisms từ hype.

My speaking

• Cách Tìm kiếm Hoạt động (SlideShare) — my walkthrough of crawling, kết xuất, lập chỉ mục, và xếp hạng; đó pipeline đó multimodal retrieval vẫn chạy on. (My standing disclaimer áp dụng: “This is my understanding of systems… not going to be 100% complete or accurate.” (bản dịch) «Này là my understanding of các hệ thống… không going để là 100% hoàn tất hoặc chính xác.»)

Từ khoảng đó ngành

• MUM: MỘT new AI milestone cho understanding information — Google own MUM announcement (multimodal, multilingual, 1 000 times hơn powerful hơn BERT).
• Cách AI powers great kết quả tìm kiếm — Google on cách của nó AI các hệ thống, including MUM, fit together.
• Google Hướng dẫn để Optimizing cho Generative AI Features — đó chính thức line đó AI features chạy on cốt lõi Tìm kiếm xếp hạng (không tách biệt AI chỉ mục).
• Google Images SEO thực hành tốt nhất — đó confirmed image-legibility fundamentals (alt text, filenames, dữ liệu có cấu trúc).
• Video SEO thực hành tốt nhất — cách Google understands video, và đó VideoObject / transcript fundamentals.
• Bing Visual Tìm kiếm — Microsoft image-as-query surface, một reminder multimodal tìm kiếm không Google-chỉ.

Videos

• Google Search Central (YouTube) — đó Cách Google Search Hoạt động series và Martin Splitt explainers on cách Google understands images, video, và trang nội dung — đó machine-understanding side of multimodal tìm kiếm. Channel

Nhật ký thay đổi