penemuan

TL;DR — penemuan adalah bagaimana sebuah mesin pencari menemukan out Anda halaman ada — langkah sebelum ini ever downloads halaman. mesin mostly temukan halaman oleh berikut tautan dan reading sitemaps. jika tidak ada apa pun tautan untuk sebuah halaman dan ini adalah tidak di sebuah sitemap, ini dapat tidak pernah mendapatkan ditemukan. Submitting sebuah halaman helps ini mendapatkan ditemukan, tetapi ini tidak jaminan ini’ll menjadi terindeks.

Apa penemuan adalah

sebelum sebuah mesin pencari dapat tampilkan Anda halaman, three hal memiliki untuk happen di order:

1. menemukan — mesin learns Anda URL ada.
2. crawl — mesin downloads halaman.
3. indeks — mesin stores ini so ini dapat tampilkan up di hasil.

penemuan adalah langkah zero dari itu pipeline. Google bahkan memiliki sebuah name untuk ini: URL penemuan. sebuah halaman itu’s tidak pernah ditemukan dapat’t menjadi di-crawl, terindeks, atau diperingkatkan — mesin sekadar tidak know ini adalah di sana.

sebuah quick note pada model: menemukan → crawl → indeks adalah ini hub’s teaching breakdown, karena ini adalah clearest cara untuk alasan tentang sebuah stuck halaman. Google’s own official stage list adalah three stages — crawling, pengindeksan, serving — dan ini defines “URL discovery” (terjemahan) “URL penemuan” sebagai pertama bagian dari crawling, tidak sebagai sebuah terpisah fourth stage. sama sequence dari events either cara; kami’re hanya naming temukan langkah explicitly karena ini adalah berguna untuk talk tentang pada -nya own.

Bagaimana mesin pencari temukan Anda halaman

ada dua big cara:

• Berikut tautan. Ketika sebuah bot membaca sebuah halaman ini sudah knows, ini grabs tautan pada ini dan menambahkan itu URLs untuk -nya list. sebuah category halaman linking untuk sebuah baru blog post adalah classic contoh — itu’s bagaimana baru post mendapatkan ditemukan. tautan dari lainnya situs (backlinks) berfungsi yang sama cara.
• Sitemaps. sebuah sitemap XML adalah sebuah list dari Anda URLs itu Anda hand straight untuk mesin pencari, so mereka jangan memiliki untuk temukan semuanya melalui tautan. RSS dan Atom feeds melakukan sebuah similar job untuk Anda sebagian besar recent halaman.

ada juga “push” (terjemahan) “push” options di mana Anda actively ping sebuah mesin itu sebuah halaman changed (like IndexNow untuk Bing) — lebih pada itu di Advanced versi — tetapi tautan dan sitemaps melakukan sebagian besar dari berfungsi.

Orphan halaman: hal itu breaks penemuan

sebuah orphan halaman adalah sebuah halaman dengan Tidak tautan internal pointing untuk ini. Karena tautan adalah main cara mesin temukan halaman, sebuah orphan dapat menjadi hard atau impossible untuk menemukan. perbaiki tidak sebuah clever submission trick — ini adalah linking untuk halaman dari di suatu tempat relevant pada Anda own situs.

hal sebagian besar orang mendapatkan wrong

Submitting sebuah halaman tidak berarti ini mendapatkan terindeks. menambahkan sebuah URL untuk Anda sitemap atau hitting “Request Indexing” (terjemahan) “permintaan pengindeksan” di Search Console helps mesin menemukan ini — tetapi crawling dan pengindeksan masih tidak guaranteed. jika Anda’ve ever seen “Discovered – saat ini tidak indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” di Search Console, itu’s persis ini: Google knows URL ada, ini hanya hasn’t gotten sekitar untuk crawling ini namun.

ingin deeper versi — penuh pull-vs-push channel list, mengapa Google tidak gunakan IndexNow, dan cara perbaiki “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks”? Switch untuk Advanced tab.

TL;DR — penemuan adalah ini hub’s name untuk pertama move di penelusuran (menemukan → crawl → indeks → sajikan): mesin memiliki untuk learn sebuah URL ada sebelum ini fetches apa pun. Google’s own official model nests ini di dalam -nya three-stage crawling stage alih-alih naming sebuah terpisah fourth stage — sama sequence, berbeda vocabulary. URLs adalah ditemukan oleh pull (tautan internal, backlinks, sitemaps, RSS/Atom) dan push (IndexNow, pengindeksan API, sitemap lastmod, WebSub, URL Inspection). Google panggilan temukan langkah “URL discovery,” (terjemahan) “URL penemuan,” dan ini adalah distinct dari crawling dan pengindeksan — yang adalah mengapa “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” berarti ditemukan-tetapi-tidak-namun-di-crawl, sebuah state dengan several mungkin penyebab alih-alih satu guaranteed diagnosis. tautan dan sitemaps adalah dua routes Google names secara langsung, orphan halaman adalah canonical failure, IndexNow adalah Bing/others tidak Google, pengindeksan API adalah cakupan-limited untuk JobPosting/BroadcastEvent, dan submitting sebuah URL tidak pernah jaminan pengindeksan.

Apa URL penemuan adalah

penemuan adalah temukan langkah. sebelum sebuah halaman dapat menjadi di-crawl, terindeks, atau disajikan, mesin memiliki untuk know ini ada dan tambahkan ini untuk -nya list dari known halaman. Google names ini explicitly: “Ini proses adalah called ‘URL discovery’.” (terjemahan) “ini proses adalah called ‘URL penemuan’.” di Google’s own kata, “Some halaman adalah known karena Google memiliki sudah visited them. Other halaman adalah discovered ketika Google extracts a link dari a known halaman untuk a new halaman… Masih other halaman adalah discovered ketika Anda submit a list dari halaman (a sitemap) untuk Google untuk crawl.” (terjemahan) “beberapa halaman adalah known karena Google memiliki sudah visited them. lainnya halaman adalah ditemukan ketika Google extracts sebuah tautan dari sebuah known halaman untuk sebuah baru halaman… masih lainnya halaman adalah ditemukan ketika Anda submit sebuah list dari halaman (sebuah sitemap) untuk Google untuk crawl.”

itu single passage adalah seluruh hub di miniature: halaman adalah ditemukan melalui tautan (internal dan external) dan melalui sitemaps. Semuanya else adalah sebuah variation pada itu dua ideas — atau sebuah cara untuk push sebuah notification alih-alih menunggu untuk menjadi pulled.

sebuah note pada stage model. ini hub memperlakukan menemukan → crawl → indeks → sajikan sebagai four distinct, named langkah, karena separating “ditemukan” (terjemahan) “ditemukan” dari “fetched” (terjemahan) “fetched” dari “stored” (terjemahan) “stored” adalah clearest cara untuk diagnose sebuah stuck halaman. Google’s own official model names three stages — crawling, pengindeksan, serving — dan defines URL penemuan sebagai opening move di dalam crawling, tidak sebagai -nya own fourth stage. sequence dari events adalah identical either cara; ini hub hanya memberikan temukan langkah -nya own name dan -nya own bagian karena ini behaves differently cukup (dan mendapatkan misdiagnosed sering cukup) untuk deserve satu.

penemuan vs crawling vs pengindeksan

pertahankan ini three ideas terpisah dan sebagian besar penemuan confusion disappears — menggunakan kami four-langkah teaching breakdown dari Google’s three official stages:

• penemuan — mesin learns sebuah URL ada. Tidak ada apa pun memiliki telah fetched namun.
• crawling — mesin downloads ditemukan URL (dan renders ini). itu’s crawling hub’s job.
• pengindeksan — mesin analyzes dan stores di-crawl halaman so ini dapat menjadi disajikan.

Google frames back half dari ini sebagai three stages: “Google Search berfungsi di three stages, dan tidak all halaman membuat it melalui setiap stage” (terjemahan) “Google Search berfungsi di three stages, dan tidak semua halaman membuat ini melalui setiap stage” — crawling, pengindeksan, dan serving. penemuan adalah front door dari stage satu. dan none dari ini langkah adalah sebuah peringkat factor pada -nya own; mereka’re prerequisites untuk menjadi eligible untuk peringkat. sebuah URL itu’s tidak pernah ditemukan adalah tidak pernah di-crawl, terindeks, atau disajikan — penuh berhenti.

Bagaimana mesin pencari menemukan URLs: pull vs push

paling bersih mental model adalah pull vs push. Pull adalah mesin finding URLs pada -nya own; push adalah Anda notifying ini.

Pull — mesin menemukan ini pada -nya own

tautan internal dan backlinks. Google: “Other halaman adalah discovered ketika Google extracts a link dari a known halaman untuk a new halaman: misalnya, a hub halaman, such sebagai a category halaman, links untuk a new blog post.” (terjemahan) “lainnya halaman adalah ditemukan ketika Google extracts sebuah tautan dari sebuah known halaman untuk sebuah baru halaman: misalnya, sebuah hub halaman, such sebagai sebuah category halaman, tautan untuk sebuah baru blog post.” Google’s own docs juga say sebuah properly ditautkan situs dapat biasanya mendapatkan sebagian besar dari -nya halaman ditemukan ini cara, dengan baru situs itu memiliki sedikit tautan eksternal dan besar situs dengan unlinked halaman di greater risk dari gaps — tautan tidak hanya route di, tetapi mereka’re satu Google names pertama dan satu itu scales secara otomatis sebagai Anda publish. itu’s mengapa internal linking adalah satu dari highest-leverage penemuan levers Anda memiliki, dan mengapa orphan halaman struggle (lebih di bawah). Backlinks dari lainnya situs berfungsi identically — sebuah external tautan dari sebuah halaman mesin sudah knows surfaces Anda baru URL.

Sitemaps. Google: “A sitemap helps penelusuran engines discover URLs pada Anda site, tetapi it tidak jaminan itu all itu items di Anda sitemap akan menjadi crawled dan indexed.” (terjemahan) “sebuah sitemap helps mesin pencari menemukan URLs pada Anda situs, tetapi ini tidak jaminan itu semua items di Anda sitemap akan menjadi di-crawl dan terindeks.” itu caveat adalah seluruh poin — sebuah sitemap adalah sebuah penemuan aid, tidak sebuah pengindeksan jaminan. penuh mechanics langsung di nested sitemaps deep dives (XML sitemap, sitemap indeks, sitemap gambar, video sitemap).

RSS / Atom feeds. Google accepts feeds sebagai sebuah sitemap format — “Google accepts RSS 2.0 dan Atom 1.0 feeds.” (terjemahan) “Google accepts RSS 2,0 dan Atom 1,0 feeds.” catch adalah itu sebuah feed hanya surfaces Anda recently changed URLs, so ini complements sebuah penuh sitemap alih-alih replacing ini.

Push — Anda notify mesin sesuatu changed

WebSub (PubSubHubbub). untuk RSS/Atom feeds, Google mendukung WebSub: “Jika Anda gunakan Atom atau RSS, Anda dapat gunakan WebSub untuk broadcast Anda perubahan untuk penelusuran engines, including Google.” (terjemahan) “jika Anda gunakan Atom atau RSS, Anda dapat gunakan WebSub untuk broadcast Anda perubahan untuk mesin pencari, including Google.” alih-alih menunggu untuk menjadi re-pulled, Anda feed broadcasts perubahan.

Sitemap lastmod. sebuah freshness sinyal itu tells mesin sebuah URL changed dan dapat menjadi worth re-crawling. Bing leans pada ini harder daripada Google melakukan — Bing memiliki mengatakan lastmod field tetap sebuah key sinyal itu helps ini prioritize URLs untuk recrawling dan reindexing. (detail lives di sitemaps cluster.)

Google pengindeksan API — cakupan-limited. ini adalah satu itu mendapatkan misused sebagian besar. pengindeksan API dapat hanya menjadi digunakan untuk crawl halaman dengan either JobPosting atau BroadcastEvent embedded di sebuah VideoObject. ini adalah tidak sebuah umum “submit any URL untuk Google” (terjemahan) “submit apa pun URL untuk Google” endpoint, Tidak penting bagaimana sering ini adalah pitched itu cara. jika Anda halaman tidak sebuah job posting atau sebuah langsung-stream broadcast event, pengindeksan API tidak Anda alat.

IndexNow — Bing dan others, tidak Google. IndexNow adalah sebuah push protocol: ini notifies enabled mesin pencari instant sebuah URL adalah ditambahkan, diperbarui, atau deleted, dan per -nya own FAQ, “Penelusuran engines adopting itu IndexNow protocol agree itu submitted URLs akan menjadi secara otomatis shared dengan all other participating penelusuran engines.” (terjemahan) “mesin pencari adopting IndexNow protocol agree itu submitted URLs akan menjadi secara otomatis shared dengan semua lainnya participating mesin pencari.” sebagai dari ini writing (per indexnow.org’s saat ini documentation, diperiksa July 2026), participating mesin adalah Microsoft Bing, Yandex, Naver, Seznam.cz, dan Yep — periksa langsung IndexNow docs untuk saat ini list, since ini dapat perubahan. Google adalah tidak pada itu list. ada Tidak Google help halaman itu says “we don’t support IndexNow” (terjemahan) “kami tidak mendukung IndexNow” — Google’s non-participation adalah inferred dari -nya absence dari saat ini partner list plus Googlers describing ini sebagai sesuatu mereka hanya tested, tidak dari sebuah pertama-party Google konfirmasi, so treat ini sebagai best tersedia reading alih-alih sebuah official statement. dan regardless dari mesin: notifying IndexNow hanya tells ini sebuah URL changed — setiap participating mesin masih decides independently apakah dan ketika untuk crawl dan indeks ini, yang sama “notification tidak a jaminan” (terjemahan) “notification tidak sebuah jaminan” aturan itu applies untuk sitemaps dan setiap lainnya penemuan channel. untuk Google, Anda fall back untuk tautan, sitemaps, dan pemeriksaan URL.

Manual submission — pemeriksaan URL. untuk satu kali Google submission: “Untuk request a crawl dari individual URLs, gunakan itu URL Inspection tool.” (terjemahan) “untuk permintaan sebuah crawl dari individual URLs, gunakan pemeriksaan URL alat.” tetapi jangan expect repeats untuk force speed — Google adalah jelas itu “ada a quota untuk submitting individual URLs dan requesting a recrawl multiple times untuk itu sama URL tidak akan mendapatkan it crawled any lebih cepat.” (terjemahan) “ada sebuah quota untuk submitting individual URLs dan requesting sebuah recrawl multiple times untuk yang sama URL tidak akan mendapatkan ini di-crawl apa pun lebih cepat.” Bing memiliki -nya own URL submission channel (up untuk 10 000 URLs/day), terpisah dari IndexNow.

Bagaimana Google dan Bing setiap deskripsikan penemuan

Keduanya mesin frame penemuan sebagai front dari pipeline. Bing puts ini secara langsung di -nya definition dari crawling — Fabrice Canel: “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (terjemahan) “crawling adalah proses oleh yang bingbot discovers baru dan diperbarui documents atau konten untuk menjadi ditambahkan untuk Bing’s searchable indeks.”

scale adalah worth sitting dengan, bahkan jika tepat figure moves di atas time. Fabrice Canel memiliki described Bing discovering pada order dari tens dari billions dari normalized URLs ini memiliki tidak pernah seen sebelum, per day — he put ini sebagai ”12s of billions … never seen before” (terjemahan) “12s dari billions … tidak pernah seen sebelum” di sebuah August 2022 post, sebuah angka I haven’t independently re-verified terhadap sebuah saat ini utama sumber, so treat ini sebagai sebuah directional sense dari scale alih-alih sebuah precise, saat ini daily count. Whatever tepat figure adalah hari ini, penemuan operates sebagai sebuah firehose, dan mesin deprioritize aggressively — yang adalah backdrop untuk “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” di bawah.

Orphan halaman: ketika penemuan fails

sebuah orphan halaman memiliki Tidak tautan internal pointing untuk ini. Karena tautan adalah satu dari dua penemuan routes Google names secara langsung (alongside sitemaps), sebuah orphan dapat hanya menjadi ditemukan melalui sebuah sitemap, sebuah external tautan, sebuah redirect, atau sebuah canonical/hreflang reference — dan jika none dari itu exist, ini dapat tidak pernah menjadi ditemukan di semua.

perbaiki adalah internal linking, tidak push tricks. tautan halaman dari sebuah relevant hub/category halaman — persis Google’s “category page links to a new blog post” (terjemahan) “category halaman tautan untuk sebuah baru blog post” contoh. Putting sebuah orphan di Anda sitemap XML helps Google menemukan ini, tetapi ini tidak replace internal-tautan sinyal itu tells mesin halaman penting. Orphans frequently tampilkan up sebagai “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” untuk precisely ini alasan: Google ditemukan sitemap entry tetapi deprioritized crawling sebuah halaman tidak ada apa pun tautan untuk.

”Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” di Search Console

apa certain tentang ini status adalah stage boundary — ini hub’s job adalah untuk perbaiki itu boundary di Anda head, tidak untuk fully diagnose ini ( dedicated deep dive melakukan itu). Google’s deskripsi: halaman adalah ditemukan oleh Google tetapi tidak di-crawl namun — Google wanted untuk crawl URL tetapi yang diharapkan ini akan overload situs, so ini rescheduled crawl, yang adalah mengapa terakhir-crawl date adalah empty.

Contrast ini dengan “Crawled – currently not indexed,” (terjemahan) “di-crawl – saat ini tidak terindeks,” yang adalah sebuah berbeda, downstream masalah: halaman adalah di-crawl tetapi tidak terindeks, dan ini dapat atau dapat tidak menjadi terindeks di future. stage boundary adalah lesson sebagian besar ketiga-party tulis-ups miss:

• ditemukan – saat ini tidak terindeks = Google knows URL tetapi hasn’t fetched ini. sebuah penemuan/crawl-scheduling state (empty terakhir-crawl date).
• di-crawl – saat ini tidak terindeks = Google fetched ini tetapi chose tidak untuk indeks ini. sebuah pengindeksan/quality state.

Apa penyebab “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” — berfungsi melalui ini di ini order, tidak sebagai sebuah single confirmed penyebab:

1. crawl scheduling / perceived server-muat deprioritization — Google’s own stated alasan untuk status itself.
2. halaman adalah orphaned atau hanya weakly internally ditautkan, lowering bagaimana banyak Google ingin untuk spend crawl effort pada ini.
3. situs-wide quality atau authority sinyal dragging pada overall crawl demand — sebuah situs-tingkat pattern, tidak proof dari sebuah defect pada ini satu halaman.
4. sebuah baru atau rendah-authority situs dengan little crawl demand namun.

None dari ini adalah ** universal penyebab — Google documents crawl-scheduling explanation secara langsung tetapi tidak publish sebuah single deterministic alasan sebuah diberikan URL sits di ini state, so treat list di atas sebagai sebuah hypothesis ladder untuk berfungsi melalui, tidak sebuah diagnosis untuk assume. ini juga tidak berarti sesuatu adalah rusak: John Mueller memiliki mengatakan “it’s completely normal that we don’t index everything off of the website,” (terjemahan) “ini adalah completely wajar itu kami jangan indeks semuanya off dari situs web,” dengan advice menjadi untuk reconsider overall situs quality alih-alih hunt untuk sebuah per-halaman teknis issue, dan Gary Illyes memiliki pointed out itu vast majority dari situs web jangan perlu untuk think tentang anggaran crawling di semua. My own practitioner shorthand, dari my pengindeksan guide di Ahrefs (worth sebuah re-baca sebelum treating ini sebagai gospel, since I haven’t re-verified langsung halaman di ini lulus): ditemukan berarti Google knows URL tetapi hasn’t di-crawl ini; di-crawl berarti ini adalah fetched tetapi tidak terindeks dan biasanya poin untuk sebuah quality issue — dan memperbaiki overlap. membuat konten unique, valuable, dan intent-cocok; jelas apa pun stray noindex/robots/canonical blockers; pertahankan server fast dan stable; bangun logical hierarchy dengan strong internal linking; lalu gunakan pemeriksaan URL untuk permintaan sebuah re-crawl dan monitor. untuk penuh breakdown dari crawl capacity vs. crawl demand dan sebuah langkah-oleh-langkah perbaiki path, see dedicated “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” artikel.

cara help penemuan

di rough order dari leverage:

1. Strengthen tautan internal untuk halaman — kill orphan. ini adalah highest- leverage lever, karena tautan adalah satu dari dua penemuan routes Google names secara langsung.
2. Put ini di sebuah bersih sitemap XML (canonical, dapat diindeks URLs; accurate lastmod). Submit sitemap di Google Search Console dan Bing Webmaster alat.
3. Raise overall situs quality so crawl demand rises — ini adalah apa moves “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” halaman.
4. gunakan pemeriksaan URL → permintaan pengindeksan untuk sebuah single penting URL (remember quota; repeats jangan speed ini up).
5. untuk Bing dan lainnya participating mesin, gunakan IndexNow untuk push changed URLs instantly. untuk Google, ada Tidak equivalent push untuk umum halaman — rely pada tautan + sitemaps + pemeriksaan URL.

Di mana untuk go berikutnya

ini hub adalah map untuk bagaimana sebuah URL becomes known. deep dives nested di bawah ini cover mechanics dari sitemap side:

Sitemaps

• Sitemaps — overview: apa sebuah sitemap adalah, formats Google accepts, dan bagaimana submitting satu fits ke penemuan (aid, tidak jaminan).
• sitemap XML — standard format, -nya fields, size limits, dan lastmod selesai right.
• Sitemap indeks — cara split dan reference multiple sitemaps ketika Anda outgrow satu file.
• sitemap gambar — surfacing images untuk penemuan di pencarian gambar.
• Video sitemap — surfacing video konten dan -nya metadata.

untuk apa happens setelah sebuah URL adalah ditemukan — fetching, crawl scheduler, rendering, dan anggaran crawling — see crawling hub. Related push topics like IndexNow dan Google pengindeksan API juga langsung near crawling side. untuk lebih luas picture, see Bagaimana Penelusuran berfungsi.

setiap nested topic di atas adalah -nya own deep dive di bawah ini hub — mereka’re di sidebar too.

AI summary

sebuah condensed take pada Advanced versi:

• penemuan = temukan langkah di penelusuran (menemukan → crawl → indeks → sajikan). mesin memiliki untuk learn sebuah URL ada sebelum apa pun adalah fetched. Google panggilan ini “URL discovery” (terjemahan) “URL penemuan” dan nests ini di dalam -nya official three-stage model (crawling, pengindeksan, serving) alih-alih naming ini sebuah terpisah fourth stage.
• ini adalah distinct dari crawling dan pengindeksan. ditemukan = known. di-crawl = fetched. terindeks = stored. None dari three adalah sebuah peringkat factor pada -nya own.
• Pull channels (mesin menemukan ini): tautan internal dan backlinks ( tautan-based route Google names secara langsung), sitemap XML ( lainnya route Google names secara langsung), RSS/Atom feeds (recent URLs hanya).
• Push channels (Anda notify): WebSub, sitemap lastmod, Google pengindeksan API (JobPosting/BroadcastEvent hanya — tidak umum submission), IndexNow (Bing/Yandex/Naver/Seznam/Yep — tidak Google), dan pemeriksaan URL “Request Indexing” (terjemahan) “permintaan pengindeksan” (quota-limited).
• Sitemaps aid penemuan, tidak pengindeksan — submitting sebuah URL tidak pernah jaminan sebuah crawl atau sebuah indeks.
• Orphan halaman (Tidak tautan internal) adalah canonical penemuan failure; perbaiki dengan tautan internal, tidak push tricks.
• “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” = Google knows URL tetapi hasn’t di-crawl ini (sebuah scheduling/priority state dengan several mungkin contributing penyebab, tidak satu guaranteed diagnosis), distinct dari quality-driven “Crawled – saat ini tidak indexed.” (terjemahan) “di-crawl – saat ini tidak terindeks.”
• Help penemuan dengan tautan internal, sebuah bersih sitemap, lebih tinggi situs quality, URL Inspection, dan IndexNow untuk Bing.

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• di-Depth Guide untuk Bagaimana Google Search berfungsi — defines “URL discovery” (terjemahan) “URL penemuan” dan menemukan → crawl → indeks → sajikan pipeline.
• Sitemaps overview — bagaimana sitemaps help penemuan (dan mengapa mereka jangan jaminan pengindeksan).
• bangun dan submit sebuah sitemap — RSS/Atom feed mendukung dan WebSub untuk pushing feed perubahan.
• pengindeksan API quickstart — cakupan limit: JobPosting dan BroadcastEvent halaman hanya.
• tanyakan Google untuk recrawl Anda URLs — pemeriksaan URL submission dan quota note.
• halaman pengindeksan report — “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” dan “Crawled – currently not indexed” (terjemahan) “di-crawl – saat ini tidak terindeks” definitions.

Bing / Microsoft

• bingbot Series: Maximizing crawl Efficiency — Bing’s definition dari crawling sebagai sebuah penemuan proses.
• Submit up untuk 10 000 URLs/day untuk Bing — Bing’s own URL submission channel.
• Mempertahankan konten Discoverable dengan Sitemaps di AI-Powered Penelusuran — sitemaps + IndexNow sebagai penemuan foundation, dan lastmod sebagai sebuah recrawl sinyal.
• IndexNow / indexnow.org — push protocol untuk instantly signaling changed URLs.

Quotes dari sumber

pada—record statements dari Google dan Bing. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — apa penemuan adalah

• “Google must constantly look for new and updated pages and add them to its list of known pages. This process is called ‘URL discovery’.” (terjemahan) “Google harus terus mencari halaman baru dan yang diperbarui lalu menambahkannya ke daftar halaman yang dikenalnya. Proses ini disebut ‘URL discovery’.”* — Google Search Central docs. Jump untuk quote
• “Other pages are discovered when Google extracts a link from a known page to a new page: for example, a hub page, such as a category page, links to a new blog post.” (terjemahan) “Halaman lain ditemukan ketika Google mengambil tautan dari halaman yang sudah dikenal menuju halaman baru; misalnya, halaman hub seperti halaman kategori menautkan ke tulisan blog baru.”* Jump untuk quote
• “Google Search works in three stages, and not all pages make it through each stage.” (terjemahan) “Google Search bekerja melalui tiga tahap, dan tidak semua halaman melewati setiap tahap.”* Jump untuk quote

Google — sitemaps, feeds, dan push

• “A sitemap helps search engines discover URLs on your site, but it doesn’t guarantee that all the items in your sitemap will be crawled and indexed.” (terjemahan) “Sitemap membantu mesin pencari menemukan URL di situs Anda, tetapi tidak menjamin semua item di dalam sitemap akan dirayapi dan diindeks.”* — Google sitemaps overview. Jump untuk quote
• “Google accepts RSS 2.0 and Atom 1.0 feeds.” (terjemahan) “Google menerima feed RSS 2.0 dan Atom 1.0.”* Jump untuk quote
• “If you use Atom or RSS, you can use WebSub to broadcast your changes to search engines, including Google.” (terjemahan) “Jika Anda menggunakan Atom atau RSS, Anda dapat memakai WebSub untuk menyiarkan perubahan kepada mesin pencari, termasuk Google.”* Jump untuk quote
• “To request a crawl of individual URLs, use the URL Inspection tool.” (terjemahan) “Untuk meminta perayapan URL individual, gunakan alat Pemeriksaan URL.”* Jump untuk quote
• “There’s a quota for submitting individual URLs and requesting a recrawl multiple times for the same URL won’t get it crawled any faster.” (terjemahan) “Ada kuota untuk mengirimkan URL individual, dan meminta perayapan ulang berkali-kali untuk URL yang sama tidak akan membuatnya dirayapi lebih cepat.”* Jump untuk quote

Google — tidak pengindeksan semuanya adalah wajar

• “It’s completely normal that we don’t index everything off of the website.” (terjemahan) “Sangat wajar jika kami tidak mengindeks semua hal dari situs web.”* — John Mueller, Google. Baca coverage

Bing / Microsoft

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (terjemahan) “Crawling adalah proses ketika bingbot menemukan dokumen atau konten baru dan yang diperbarui untuk ditambahkan ke indeks Bing yang dapat ditelusuri.”* — Fabrice Canel, Microsoft Bing. Jump untuk quote
• “Instead of Bing continually monitoring RSS and similar feeds or frequently crawling websites to check for new pages, discover content changes and/or new outbound links, websites will notify Bing directly about relevant URLs changing on their website.” (terjemahan) “Alih-alih terus memantau RSS dan feed serupa atau sering merayapi situs untuk mencari halaman baru, Bing akan menerima pemberitahuan langsung dari situs tentang perubahan konten, tautan keluar baru, dan URL terkait.”* — Microsoft Bing, pada Bing’s URL submission. Jump untuk quote

IndexNow

• “Search engines adopting the IndexNow protocol agree that submitted URLs will be automatically shared with all other participating search engines.” (terjemahan) “Mesin pencari yang memakai protokol IndexNow menyetujui bahwa URL yang dikirim akan dibagikan secara otomatis kepada semua mesin pencari peserta lainnya.”* — indexnow.org documentation. Jump untuk quote

penemuan checklist

sebuah quick lulus untuk konfirmasi mesin pencari dapat sebenarnya temukan apa penting:

• setiap penting halaman adalah ditautkan dari di suatu tempat dapat di-crawl — Tidak orphans.
• penting halaman sit close untuk homepage / main nav ( lebih ditautkan, easier untuk menemukan).
• sebuah sitemap XML lists hanya canonical, dapat diindeks URLs, dengan accurate lastmod, dan adalah submitted di Google Search Console dan Bing Webmaster alat.
• jika Anda publish frequently, sebuah RSS/Atom feed surfaces recent URLs (dan WebSub broadcasts perubahan).
• Anda’re tidak relying pada Google pengindeksan API untuk umum halaman — ini adalah hanya untuk JobPosting / BroadcastEvent.
• IndexNow adalah wired up untuk Bing dan lainnya participating mesin (ini melakukan tidak ada apa pun untuk Google).
• untuk sebuah single urgent URL, Anda gunakan pemeriksaan URL → permintaan pengindeksan (dan jangan spam ini — quota applies).
• halaman Anda ingin ditemukan tidak accidentally blocked oleh robots.txt atau buried behind click-hanya navigation alih-alih nyata <a href> tautan.
• Anda’ve diperiksa halaman pengindeksan report untuk “Discovered – saat ini tidak indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” dan treated ini sebagai sebuah linking/quality sinyal, tidak sebuah per-halaman bug.

mental models

1. penemuan = pull + push. Pull adalah mesin finding URLs pada -nya own (tautan internal, backlinks, sitemaps, RSS/Atom). Push adalah Anda notifying ini (IndexNow, pengindeksan API, lastmod, WebSub, pemeriksaan URL). Ketika sebuah halaman tidak menjadi ditemukan, tanyakan: yang channel seharusnya menjadi carrying ini — dan adalah apa pun sebenarnya linking untuk ini?

2. Orphan halaman dapat’t menjadi ditemukan. tautan adalah satu dari dua routes Google names secara langsung, so sebuah halaman tidak ada apa pun tautan untuk memiliki hampir tidak ada apa pun carrying ini ke mesin’s known-halaman list. sebuah sitemap entry helps ini mendapatkan ditemukan tetapi tidak replace internal tautan itu says halaman penting. Perbaiki penemuan failures dengan tautan pertama.

3. penemuan ≠ crawling ≠ pengindeksan. Three terpisah stages: ditemukan ( mesin knows URL) → di-crawl (ini fetched URL) → terindeks (ini stored URL). None adalah sebuah peringkat factor pada -nya own — mereka’re prerequisites. Locate yang stage sebuah halaman adalah failing di sebelum Anda perubahan apa pun.

4. “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” = ditemukan, belum (atau tidak pernah) di-crawl. ini adalah sebuah penemuan/scheduling state: Google knows URL tetapi hasn’t fetched ini (empty terakhir-crawl date). itu’s berbeda dari “Crawled – currently not indexed,” (terjemahan) “di-crawl – saat ini tidak terindeks,” yang adalah sebuah downstream quality/pengindeksan state. perbaiki untuk ditemukan adalah biasanya internal tautan + situs quality + sebuah bersih sitemap, tidak repeated re-submission.

5. Submission ≠ pengindeksan. menambahkan sebuah URL untuk sebuah sitemap, pinging IndexNow, atau hitting permintaan pengindeksan hanya helps penemuan. mesin masih decides apakah untuk crawl dan indeks. tidak pernah promise sebuah client itu “submitting it” (terjemahan) “submitting ini” mendapatkan ini terindeks.

penemuan channels — cheat sheet

PULL — mesin menemukan ini pada -nya own

PUSH — Anda notify mesin sesuatu changed

Dua myths untuk pertahankan straight

• IndexNow = Bing/Yandex/others, Tidak Google. ada Tidak Google IndexNow endpoint; untuk Google gunakan tautan + sitemaps + pemeriksaan URL.
• pengindeksan API = Google, JobPosting/BroadcastEvent hanya. ini adalah tidak sebuah umum “submit any URL untuk Google” (terjemahan) “submit apa pun URL untuk Google” alat.

umum penemuan issues

Symptom-pertama memperbaiki untuk penemuan masalah itu sebenarnya tampilkan up di Penelusuran Console dan situs audits.

”Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” di halaman pengindeksan report

Symptom: sebuah halaman sits di “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” bucket, dengan sebuah empty terakhir-crawl date, sometimes untuk weeks.

mungkin penyebab(s): Google knows URL ada (dari sebuah tautan atau sebuah sitemap) tetapi hasn’t scheduled sebuah crawl untuk ini namun — biasanya karena rendah crawl demand: halaman adalah orphaned atau weakly ditautkan, atau situs-wide quality/authority sinyal adalah mempertahankan overall crawl demand rendah.

Perbaiki + periksa: tambahkan tautan internal untuk halaman dari sebuah relevant hub/category halaman, konfirmasi ini adalah di sebuah bersih sitemap XML dengan sebuah accurate lastmod, dan raise situs-wide quality jika situs sebagai sebuah seluruh memiliki rendah crawl demand. Konfirmasi perbaiki oleh re-memeriksa yang sama URL di pemeriksaan URL setelah sebuah sedikit days — sebuah populated terakhir-crawl date berarti state memiliki moved (untuk terindeks, atau untuk “Crawled – currently not indexed,” (terjemahan) “di-crawl – saat ini tidak terindeks,” yang adalah sebuah berbeda masalah).

sebuah baru halaman tidak pernah menampilkan up anywhere di Search Console

Symptom: sebuah URL Anda know ada tidak muncul di halaman pengindeksan report di semua — tidak ditemukan, tidak di-crawl, tidak ada apa pun.

mungkin penyebab(s): ini adalah sebuah orphan halaman dengan Tidak tautan internal pointing untuk ini, ini adalah tidak pernah ditambahkan untuk sitemap, dan Tidak external situs tautan untuk ini either.

Perbaiki + periksa: tautan untuk ini dari sebuah relevant halaman pada Anda own situs ( single biggest lever), tambahkan ini untuk Anda sitemap XML, dan submit URL melalui URL Inspection → permintaan pengindeksan untuk sebuah satu kali nudge. periksa oleh searching site:yourdomain.com/the-url — Tidak hasil mengonfirmasi ini adalah masih undiscovered.

IndexNow pings tidak melakukan apa pun untuk Google traffic

Symptom: IndexNow adalah wired up, changed URLs adalah menjadi pinged, tetapi Google rankings/traffic untuk itu URLs jangan move apa pun lebih cepat.

mungkin penyebab(s): Google melakukan tidak participate di IndexNow — hanya Bing, Yandex, Naver, Seznam.cz, dan Yep melakukan. Pinging IndexNow memiliki Tidak effect pada Google penemuan.

Perbaiki + periksa: pertahankan IndexNow untuk mesin itu mendukung ini, dan rely pada tautan, sitemaps, dan pemeriksaan URL untuk Google. Konfirmasi oleh memeriksa apakah affected URLs tampilkan movement di Bing Webmaster alat (di mana IndexNow seharusnya help) versus Google Search Console (di mana ini tidak akan).

pengindeksan API panggil mendapatkan rejected atau melakukan tidak ada apa pun

Symptom: sebuah panggil untuk Google’s pengindeksan API mengembalikan sebuah error, atau URL tidak pernah mendapatkan di-crawl lebih cepat despite sebuah successful-looking panggil.

mungkin penyebab(s): pengindeksan API hanya accepts halaman dengan JobPosting atau BroadcastEvent (di sebuah VideoObject) data terstruktur — ini adalah tidak sebuah umum “submit any URL” (terjemahan) “submit apa pun URL” endpoint, Tidak penting bagaimana ini mendapatkan pitched.

Perbaiki + periksa: Konfirmasi halaman sebenarnya carries JobPosting atau BroadcastEvent markup sebelum troubleshooting API panggil itself. jika ini adalah apa pun lainnya halaman jenis, switch untuk tautan internal, sebuah sitemap, dan pemeriksaan URL alih-alih.

Playbook: sebuah baru halaman tidak menunjukkan up di penelusuran

sebuah linear runbook untuk paling umum penemuan complaint — “I published it, mengapa tidak dapat I temukan it di Google?” (terjemahan) “I published ini, mengapa dapat’t I temukan ini di Google?”

1. Konfirmasi ini adalah sebenarnya sebuah penemuan masalah, tidak sebuah pengindeksan masalah. Jalankan URL melalui pemeriksaan URL di Search Console. jika report menampilkan “Discovered – saat ini tidak indexed,” (terjemahan) “ditemukan – saat ini tidak terindeks,” Anda’re di right place — pertahankan going. jika ini menampilkan “Crawled – currently not indexed,” (terjemahan) “di-crawl – saat ini tidak terindeks,” ini adalah sebuah downstream quality issue, tidak sebuah penemuan issue — berhenti di sini dan berfungsi konten/quality angle alih-alih.

2. periksa apakah halaman adalah sebuah orphan. crawl situs (atau periksa Anda internal-tautan report) untuk apa pun langsung <a href> tautan pointing untuk URL. jika tidak ada apa pun tautan untuk ini, itu’s sebuah strong candidate untuk root penyebab — tautan adalah satu dari dua penemuan routes Google names secara langsung.

3. jika ini adalah sebuah orphan, tautan untuk ini dari sebuah relevant halaman. tambahkan sebuah nyata, dapat di-crawl tautan dari sebuah hub atau category halaman itu’s sudah terindeks — persis Google’s own contoh dari sebuah category halaman linking untuk sebuah baru blog post. jangan substitute sebuah sitemap entry untuk ini langkah; sebuah sitemap helps penemuan tetapi tidak carry yang sama weight sebagai sebuah internal tautan.

4. periksa sitemap regardless. Konfirmasi URL adalah listed di Anda sitemap XML dengan canonical form dan sebuah accurate lastmod, dan itu sitemap itself adalah submitted di Google Search Console dan Bing Webmaster alat.

5. jika Anda see “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” dan halaman adalah sudah well ditautkan, lihat situs-wide quality. Google dan Bing keduanya deprioritize crawl demand untuk situs dengan weaker overall quality sinyal — ini adalah sebuah situs-tingkat issue, tidak sebuah bug pada ini satu halaman. Improving overall situs quality adalah apa sebenarnya moves halaman out dari ini state di scale.

6. untuk sebuah single urgent URL, permintaan pengindeksan manually. gunakan pemeriksaan URL → permintaan pengindeksan setelah. Remember ada sebuah quota, dan repeating permintaan tidak mendapatkan ini di-crawl apa pun lebih cepat.

7. jika target mesin adalah Bing (atau Yandex, Naver, Seznam, Yep), push dengan IndexNow alih-alih menunggu. IndexNow memberikan itu mesin sebuah instant notification. ini melakukan tidak ada apa pun untuk Google — jangan expect ini untuk move Google needle.

8. Re-periksa setelah sebuah sedikit days, tidak sebuah sedikit hours. penemuan dan crawl scheduling operate pada sebuah queue. Come back untuk pemeriksaan URL kemudian alih-alih repeatedly resubmitting.

alat untuk memeriksa dan memperbaiki penemuan

• sitemap XML Generator — bangun bersih sitemap dari canonical, dapat diindeks URLs untuk hand straight untuk mesin pencari.
• Sitemap Validator — periksa sebuah existing sitemap untuk malformed entries, non-canonical URLs, atau lainnya issues itu weaken ini sebagai sebuah penemuan aid.
• Robots.txt Tester — konfirmasi robots.txt tidak accidentally blocking crawler access untuk halaman Anda ingin ditemukan.
• Canonical Checker — verify tag canonical tidak diam-diam pointing penemuan dan pengindeksan sinyal away dari halaman Anda ingin ditemukan.
• Scout situs Audit Free — crawl Anda own situs untuk surface orphan halaman dan weak internal-linking patterns sebelum mereka turn ke “Discovered – currently not indexed.” (terjemahan) “ditemukan – saat ini tidak terindeks.”
• Log File Analyzer — periksa server logs untuk see apakah Googlebot dan Bingbot adalah sebenarnya requesting URLs Anda expect them untuk menemukan dan crawl.
• Google Search Console CSV Analyzer — berfungsi dengan Search Console pengindeksan dan coverage data di scale alih-alih clicking melalui individual URLs.
• Google Search Console — pemeriksaan URL — periksa apakah sebuah spesifik URL adalah ditemukan, di-crawl, dan terindeks, dan permintaan sebuah satu kali crawl.
• Google Search Console — halaman pengindeksan report — see bagaimana banyak URLs adalah stuck di “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” versus “Crawled – currently not indexed.” (terjemahan) “di-crawl – saat ini tidak terindeks.”
• Bing Webmaster alat — Bing’s equivalent dari pemeriksaan URL dan halaman pengindeksan report, plus -nya own URL submission channel dan IndexNow status.
• IndexNow (indexnow.org) — ping Bing, Yandex, Naver, Seznam.cz, dan Yep moment sebuah URL perubahan.

Resources worth Anda time

My related writing

• di-crawl – saat ini tidak terindeks: 7 cara untuk perbaiki ini — GSC status itu sits right setelah penemuan, dan bagaimana memperbaiki overlap dengan “Discovered – currently not indexed.” (terjemahan) “ditemukan – saat ini tidak terindeks.”
• Googlebot: Apa adalah ini & Bagaimana melakukan ini berfungsi? — di mana Googlebot collects URLs dari (halaman, sitemaps, RSS feeds, Search Console, pengindeksan API) dan bagaimana ini reprocesses halaman untuk temukan lebih tautan.
• IndexNow: now di Ahrefs dan powering Yep — apa IndexNow melakukan, yang mesin participate, dan mengapa Google sits ini out.
• Beginner’s Guide untuk SEO teknis — di mana penemuan fits di bigger picture.

My speaking

• Bagaimana Penelusuran berfungsi (SlideShare) — my walkthrough dari penemuan, crawling, rendering, pengindeksan, dan peringkat, including penemuan sources (tautan, sitemap XML, GSC permintaan, pengindeksan API, RSS feeds, WebSub) dan crawl-demand vs crawl-rate model itu menjelaskan mengapa sebuah halaman sits “Discovered – currently not indexed.” (terjemahan) “ditemukan – saat ini tidak terindeks.” (My standing disclaimer applies: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.”)

dari others

• r/TechSEO — community untuk penemuan, crawl, dan indeks debugging.
• Google’s crawling December series — official, dan best concentrated set dari crawl/penemuan explainers.
• Understanding dan resolving “Discovered – currently not indexed” (terjemahan) “ditemukan – saat ini tidak terindeks” (mesin pencari Land) — penyebab dan remediation, including Gary Illyes crawl-budget framing.
• ini adalah Wajar untuk halaman dari sebuah situs untuk Tidak menjadi terindeks (mesin pencari Journal) — covers John Mueller’s “completely wajar” (terjemahan) “completely wajar” statement pada Google tidak pengindeksan semuanya, dan quality-di atas-submission advice.
• mesin pencari Roundtable — di-crawl, Saat ini Tidak terindeks adalah sebuah Quality Issue — Mueller pada downstream “Crawled – currently not indexed” (terjemahan) “di-crawl – saat ini tidak terindeks” status menjadi situs-wide quality, tidak sebuah per-halaman bug.
• Bing Lets Webmasters Submit 10 000 URLs Per Day (mesin pencari Land) — background pada Bing’s own URL submission channel, distinct dari IndexNow.
• mesin pencari crawling — Bagaimana ini berfungsi (Lumar) — crawler mechanics, tautan-berikut, dan sitemaps sebagai sebuah penemuan foundation.

Podcasts

• Penelusuran Off Record (Google Search Relations) — Bagaimana Googlebot melakukan crawl web. Gary Illyes dan Martin Splitt pada bagaimana Googlebot discovers dan fetches web: unified crawling infrastructure, conditional permintaan, dan bagaimana penemuan feeds scheduler. Listen

Videos

• Google Search Central (YouTube) — Bagaimana Google Search berfungsi series dan Martin Splitt’s crawling/rendering explainers, yang cover di mana URL penemuan sits di pipeline. Channel

Uji pemahaman Anda: penemuan

Five pertanyaan pada bagaimana mesin pencari temukan URLs, berdasarkan hub di atas.

Log perubahan