SEO teknis
sebuah menyelesaikan guide untuk SEO teknis — sebuah plain-language Beginner's Guide dan sebuah sistem-tingkat Advanced Guide untuk crawling, rendering, pengindeksan, dan peringkat.
Dua guides di satu. Beginner's Guide menjelaskan SEO teknis dari scratch — crawl → indeks → peringkat pipeline, handful dari foundations setiap situs perlu, cara periksa Anda own situs, dan yang myths untuk ignore. Advanced Guide goes sistem-deep: anggaran crawling, rendering decision, canonicalization's ~40 sinyal, internal linking, Core Web Vitals sebagai three terpisah masalah, ongoing monitoring, migrations, dan AI penelusuran. throughline adalah satu I selalu come back untuk — SEO teknis adalah paling penting bagian dari SEO until ini tidak. ini adalah foundation itu lets konten dan tautan peringkat, tidak sebuah peringkat trick dari -nya own. Anda dapat't peringkat sebuah halaman Google tidak akan indeks, so highest-nilai berfungsi adalah biasanya paling boring.
TL;DR — SEO teknis adalah behind—scenes berfungsi itu lets mesin pencari temukan, baca, dan memahami Anda halaman. ini tidak sebuah trick itu pushes Anda up rankings — ini adalah foundation itu lets Anda konten dan tautan melakukan itu. jika teknis side adalah rusak, bahkan great halaman dapat’t tampilkan up. seluruh hal collapses untuk satu kalimat: Anda dapat’t peringkat sebuah halaman Google tidak akan indeks. ini guide walks Anda melalui apa untuk care tentang, cara periksa Anda own situs, dan apa untuk safely ignore.
Apa SEO teknis sebenarnya adalah
Ketika orang pertama learn SEO, mereka think tentang dua hal: konten (writing baik halaman) dan tautan (getting lainnya situs untuk poin di yours). SEO teknis adalah ketiga leg, dan ini muncul sebelum lainnya dua dapat penting. ini adalah semuanya itu decides apakah sebuah mesin pencari dapat reach Anda halaman, baca ini correctly, dan file ini away di -nya indeks.
di my beginner’s guide untuk SEO teknis I’ve described ini untuk tahun sebagai practice dari helping mesin pencari temukan, crawl, memahami, dan indeks Anda halaman. itu’s seluruh job di four verbs. Notice apa tidak di di sana: writing great copy, choosing keywords, earning tautan. itu adalah nyata dan penting — mereka’re hanya tidak SEO teknis.
analogy I pertahankan coming back untuk adalah sebuah house. konten adalah furniture dan paint. tautan adalah neighbors recommending place. SEO teknis adalah plumbing dan wiring — invisible, unglamorous, dan hal itu ruins semuanya ketika ini breaks. Tidak seorang pun compliments Anda plumbing. mereka sure notice ketika ini berhenti berfungsi.
pipeline semuanya berjalan pada
«Google Search describes the process in three stages. Its documentation is blunt about it: “Google Search works in three stages, and not all pages make it through each stage.” Bukti untuk klaim ini Google Search describes crawling, indexing, and serving as three stages; discovery is part of the crawling stage, and not every page advances through each stage. Cakupan: Google Search documentation; conceptual explanation, not a promise of ranking outcomes. Tingkat keyakinan: tinggi · Diverifikasi: Google: How Search Works » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)
- crawl — sebuah bot (Googlebot untuk Google, Bingbot untuk Bing) discovers Anda URL dan downloads halaman.
- indeks — mesin berfungsi out apa halaman adalah tentang dan stores ini di sebuah giant database dari semuanya ini mungkin tampilkan.
- sajikan (peringkat) — ketika seseorang searches, mesin pulls best matches dari itu database dan puts them di order.
sebuah three-stage pipeline. crawl discovers dan downloads sebuah URL. indeks memproses halaman dan stores eligible informasi. sajikan peringkat best terindeks matches untuk sebuah kueri. Tidak setiap halaman advances melalui setiap stage.
itu clause — tidak semua halaman membuat ini melalui setiap stage — adalah entire alasan SEO teknis ada. sebuah halaman dapat menjadi di-crawl tetapi tidak terindeks, atau terindeks tetapi tidak pernah ditampilkan untuk sebuah kueri. sebagian besar SEO teknis adalah hanya menghapus whatever adalah stopping Anda halaman dari passing melalui itu gates.
Mengapa ini adalah sebuah foundation, tidak sebuah trick
Di sini’s bagian itu surprises orang: SEO teknis biasanya tidak membuat sebuah halaman peringkat lebih tinggi. ada Tidak “technical SEO algorithm” (terjemahan) “SEO teknis algorithm” untuk game. Apa ini melakukan adalah jelas roadblocks so Anda baik konten dan tautan dapat sebenarnya count. Memperbaiki sebuah rusak tag canonical atau sebuah slow server tidak tambahkan poin — ini berhenti Anda dari losing them.
«I sometimes put it this way: technical SEO is the most important part of SEO until it isn’t. The moment your pages can be crawled and indexed, the leverage shifts to content and links, which move rankings far more than most technical projects ever will. So the goal isn’t technical perfection — it’s clearing the gates and then getting out of your own way. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian lima belas, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)
foundations setiap situs perlu
Anda dapat ignore sebuah surprising amount dari SEO teknis. tetapi ada sebuah pendek list setiap situs seharusnya mendapatkan right:
- crawl access. pastikan Anda’re tidak accidentally blocking halaman Anda ingin ditemukan.
Anda
robots.txtfile controls yang URLs bot dapat permintaan. classic beginner mistake adalah menggunakan ini untuk try untuk hide sebuah halaman — itu’s tidak apa ini adalah untuk (lebih pada itu di myths bagian). Bukti untuk klaim ini A robots.txt rule controls crawling rather than guaranteeing removal from Google Search; a URL can still appear when Google cannot crawl it. Cakupan: Google Search crawler behavior. Other crawlers can interpret robots.txt differently. Tingkat keyakinan: tinggi · Diverifikasi: Google: Introduction to robots.txt - sebuah sitemap. sebuah sitemap XML adalah sebuah list dari Anda penting URLs handed straight untuk mesin pencari. Submit ini di Google Search Console dan Bing Webmaster alat. ini penting sebagian besar untuk big atau brand-baru situs.
- Satu jelas versi dari setiap halaman. jika yang sama konten lives di several URLs
(dengan dan tanpa
www,httpvshttps, tracking parameters), tell penelusuran mesin yang satu adalah canonical — nyata satu — dengan sebuahrel="canonical"tag. ini adalah canonicalization, dan ini adalah sebagian besar dari apa beginners perlu untuk know tentang duplicate konten. - HTTPS. sajikan Anda situs di atas sebuah secure connection. ini adalah sebuah kecil sinyal peringkat dan basic table stakes untuk trust.
- Reasonable speed dan sebuah mobile-friendly layout. Google indeks mobile versi dari Anda situs, so ini memiliki untuk berfungsi pada sebuah phone. jangan obsess di atas speed scores (see myths) — hanya jangan menjadi painfully slow.
itu’s genuinely sebagian besar dari ini untuk sebuah wajar situs. dapat di-crawl, memiliki sebuah sitemap, satu canonical versi per halaman, HTTPS, berfungsi pada mobile, tidak unbearably slow.
cara periksa Anda own SEO teknis
Anda tidak perlu expensive alat untuk mulai. free ones mesin pencari memberikan Anda adalah ground truth:
- Google Search Console → halaman pengindeksan report. ini tells Anda yang halaman adalah terindeks dan mengapa others tidak. ini adalah single sebagian besar berguna screen di SEO teknis. jika sebuah penting halaman tidak terindeks, ini adalah di mana Anda cari tahu.
- ** pemeriksaan URL alat** (juga di Search Console). Paste apa pun URL dan Google tells Anda persis bagaimana ini di-crawl, dirender, dan terindeks itu halaman — dan lets Anda permintaan pengindeksan.
- Bing Webmaster alat. Bing’s equivalent, dan worth setting up — -nya indeks now feeds sebuah lot dari AI jawaban, so ini penting lebih daripada -nya penelusuran market share suggests.
Mulai di sana. jika Anda penting halaman adalah terindeks dan Anda halaman pengindeksan report tidak penuh dari surprises, Anda SEO teknis adalah probably fine.
Apa SEO teknis adalah tidak
sebuah lot dari confusion muncul dari orang filing semuanya di bawah “teknis SEO.” (terjemahan) “SEO teknis.” ini adalah tidak:
- konten quality atau keyword research — itu’s pada-halaman SEO dan konten strategy.
- pembangunan tautan — itu’s off-halaman SEO.
- Writing tag judul dan deskripsi meta — itu’s pada-halaman, though ini lives right pada boundary.
boundaries genuinely blur di places — schema markup, tautan internal, dan halaman speed semua straddle teknis dan pada-halaman. jangan worry tentang yang bucket mereka’re di. label penting lebih sedikit daripada getting berfungsi selesai.
umum myths untuk ignore
Half dari menjadi baik di SEO teknis adalah tidak wasting time pada hal itu jangan penting. big ones:
«- “Blocking a page in robots.txt removes it from Google.” It doesn’t. Google
says plainly that robots.txt “is not a mechanism for keeping a web page out of
Google.” A blocked page can still show up if other sites link to it — Google just
can’t see what’s on it. To actually remove a page, let it be crawled and add a
noindex tag.
- “I need to worry about crawl budget.” Almost certainly not. Most sites never need to think about it; it only matters for very large or rapidly changing sites. Bukti untuk klaim ini Google says crawl-budget guidance is mainly relevant to very large sites, including sites with over one million unique pages or over ten thousand rapidly changing pages. Cakupan: Google Search guidance; the page-count examples are diagnostic starting points, not hard eligibility thresholds. Tingkat keyakinan: tinggi · Diverifikasi: Google: Large site crawl budget guide
- “Core Web Vitals are a huge ranking factor.” They’re a real but minor signal. I generally don’t prioritize them for rankings unless a site is extremely slow. Improve them for your users, not for an imagined ranking boost. Bukti untuk klaim ini Google says Core Web Vitals are used by ranking systems, while page experience does not override more relevant content. Cakupan: Google Search ranking guidance; no fixed weight or ranking-position effect is promised. Tingkat keyakinan: tinggi · Diverifikasi: Google: Core Web Vitals and Search Google: Page experience
- “You need a perfect 100 PageSpeed score.” No. Those lab scores aren’t what Google ranks on — it uses real-world field data. Chasing 100 is a waste.
- “Duplicate content is a penalty.” It isn’t. Google calls some duplication “normal.” It’s a canonicalization problem, not a danger.
- “IndexNow tells Google about my pages.” It doesn’t — Google doesn’t use IndexNow. It’s a Bing-and-others thing. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian tiga puluh, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)
SEO teknis di age dari AI penelusuran
AI penelusuran — Google’s AI Overviews, ChatGPT, Perplexity — berjalan pada yang sama plumbing. ini sistem masih memiliki untuk crawl, baca, dan memahami Anda halaman sebelum mereka dapat cite Anda, dan ada sebuah baru wave dari AI crawler (GPTBot, ClaudeBot, PerplexityBot) fetching web. So foundations di ini guide tidak going away di AI era — jika apa pun, menjadi technically bersih adalah now apa membuat Anda eligible untuk menjadi quoted di sebuah AI jawaban di semua.
Di mana untuk go berikutnya
Ketika Anda’re ready untuk practitioner versi — pipeline di nyata detail, crawl budget thresholds, rendering decision, canonicalization’s banyak sinyal, dan bagaimana untuk jalankan SEO teknis sebagai sebuah ongoing sistem — switch untuk Advanced Guide tab.
dan ini halaman adalah hub untuk seluruh SEO teknis pillar. deep dives adalah organized ke Bagaimana Penelusuran berfungsi (crawling, penemuan, pengindeksan, rendering), situs Migrations, pada-halaman meta tags, mesin pencari alat (Search Console dan Bing Webmaster alat), dan JavaScript SEO — semua di sidebar.
TL;DR — SEO teknis adalah yang sama crawl → render → indeks → sajikan pipeline pada setiap situs — ada Tidak terpisah “technical SEO algorithm” (terjemahan) “SEO teknis algorithm” — dan ini adalah sebuah foundation, tidak sebuah peringkat factor dari -nya own. Treat pipeline sebagai sebuah series dari gates dan diagnose yang satu sebuah halaman adalah stuck di sebelum mengubah apa pun. leverage adalah mostly negative (tidak losing apa Anda’ve earned), so boring structural berfungsi — canonicalization, redirects, tautan internal — pays best, dan ini compounds di scale. sebagian besar situs jangan perlu untuk manage anggaran crawling; rendering adalah sebuah terpisah langkah itu dapat lag; Core Web Vitals adalah three distinct masalah dan sebuah minor peringkat lever; canonicalization adalah sebuah weighted decision di seluruh ~40 sinyal; dan dari 2025 pada, AI penelusuran gates eligibility pada bersih teknis sinyal sebelum ini peringkat atau cites Anda. highest skill di sini adalah prioritization — knowing apa untuk ignore.
SEO teknis decides eligibility, tidak position
SEO teknis adalah satu bagian dari SEO milik siapa payoff adalah hampir entirely negative: -nya job adalah untuk pertahankan Anda dari losing rankings, tidak untuk win them. Google tidak hand out positions untuk bersih plumbing. yang sama crawling, pengindeksan, dan peringkat sistem jalankan apakah Anda situs adalah pristine atau sebuah disaster — ada Tidak terpisah “technical SEO algorithm” (terjemahan) “SEO teknis algorithm” sitting behind them. Apa SEO teknis sebenarnya decides adalah apakah Anda halaman dapat enter itu sistem di semua, dan apakah mesin understands them correctly setelah mereka’re di.
So right mental model tidak “do technical SEO to rank.” (terjemahan) “melakukan SEO teknis untuk peringkat.” ini adalah “do technical SEO so your content and links are allowed to rank.” (terjemahan) “melakukan SEO teknis so Anda konten dan tautan adalah diizinkan untuk peringkat.” itu inversion adalah seluruh alasan unglamorous berfungsi — canonicalization, redirects, tautan internal — adalah highest-nilai berfungsi, dan mengapa single sebagian besar berguna skill di ini discipline adalah prioritization: knowing apa untuk perbaiki dan, hanya sebagai sering, apa untuk leave alone.
pipeline, sebagai gates
Semuanya hangs off satu pipeline, dan operative clause dari Google adalah “not all pages make it through each stage.” (terjemahan) “tidak semua halaman membuat ini melalui setiap stage.” Bukti untuk klaim ini Google Search describes crawling, indexing, and serving as three stages; discovery is part of the crawling stage, and not every page advances through each stage. Cakupan: Google Search documentation; conceptual explanation, not a promise of ranking outcomes. Tingkat keyakinan: tinggi · Diverifikasi: Google: How Search Works jangan picture sebuah conveyor belt itu carries setiap halaman untuk finish. Picture sebuah series dari gates, setiap dengan -nya own lulus/fail:
- crawl — penemuan (tautan + sitemaps + push protocols) plus fetch. sebuah halaman
tidak ada apa pun tautan untuk, atau satu disallowed di
robots.txt, dapat tidak pernah arrive. - Render — Google berjalan Anda JavaScript di sebuah recent headless Chrome ( Web rendering Service) sebelum ini dapat fully memahami halaman. ini adalah sebuah terpisah langkah dari fetch, ini adalah stateless, dan ini dapat lag.
- indeks — mesin memproses halaman, picks sebuah canonical among duplicates, dan decides apakah untuk store ini. “Indexing isn’t guaranteed” (terjemahan) “pengindeksan tidak guaranteed” bahkan ketika crawling dan rendering succeed.
- sajikan — kueri understanding, lalu peringkat di seluruh banyak automated sistem, lalu penelusuran fitur layered pada top.
pertahankan crawl ≠ render ≠ indeks ≠ peringkat terpisah di Anda head dan sebagian besar dari SEO teknis berhenti menjadi mysterious. Ketika sebuah halaman underperforms, Anda tidak guess dan Anda tidak perubahan ten hal — Anda temukan yang gate ini failed dan perbaiki itu stage.
Satu honest caveat sebelum Anda treat apa pun pipeline deskripsi sebagai gospel, including mine: ini adalah sebuah model, tidak kode sumber. Bagaimana Penelusuran berfungsi adalah sebuah talk I memberikan di conferences itu walks melalui ini seluruh pipeline (slides pada SlideShare), dan I open ini dengan sebuah warning I’ll repeat di sini: “this is my understanding of systems… not going to be 100% complete or accurate.” (terjemahan) “ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” Hold ini loosely dan gunakan ini untuk alasan tentang masalah.
Siapa sebenarnya melakukan crawling
“Googlebot” (terjemahan) “Googlebot” sounds like satu program. ini adalah sebuah family — desktop, mobile ( satu itu penting, since pengindeksan adalah mobile-pertama), image, news, video, dan ads crawler — semua drawing dari sama anggaran crawling pool, yang adalah mengapa sebuah runaway image atau parameter crawl dapat starve crawling dari Anda nyata konten.
dan ini adalah tidak hanya mesin pencari anymore. Ketika I analyzed Cloudflare Radar crawl data (sebuah Ahrefs piece I wrote pada baru wave dari bot), penelusuran-mesin crawler masih di-crawl paling, tetapi AI bot adalah firmly di kedua place dan pada track untuk overtake them. jika Anda baca Anda logs, cast dari characters memiliki changed — dan managing ini (yang AI crawler Anda izinkan, dan confirming ones hitting Anda adalah siapa mereka claim) adalah now bagian dari job.
anggaran crawling: ketika ini penting, dan ketika ini tidak
«Google defines crawl budget as “the set of URLs that Google can and wants to
crawl,” set by crawl capacity (your server’s health) and crawl demand
(popularity and staleness). You raise effective budget two ways: give bots more
capacity, or — far more often — stop wasting it. Consolidate duplicates, block
low-value spaces, return 404/410 for permanently gone pages, fix soft 404s, keep
sitemaps current with accurate lastmod, and avoid long redirect chains.
» (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian lima puluh satu, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)
reassuring bagian, dan I’ll pertahankan saying ini: sebagian besar situs jangan perlu untuk worry tentang anggaran crawling. Google itself tells Anda itu jika Anda halaman adalah umumnya di-crawl sama day mereka’re published, “Anda jangan perlu untuk baca ini guide.” (terjemahan) “Anda tidak perlu untuk baca ini guide.” ini dimulai untuk bite sekitar 1M+ halaman, atau 10k+ halaman itu perubahan rapidly. Di bawah itu, spend Anda energy elsewhere. Bukti untuk klaim ini Google says crawl-budget guidance is mainly relevant to very large sites, including sites with over one million unique pages or over ten thousand rapidly changing pages. Cakupan: Google Search guidance; the page-count examples are diagnostic starting points, not hard eligibility thresholds. Tingkat keyakinan: tinggi · Diverifikasi: Google: Large site crawl budget guide Bing’s Fabrice Canel frames yang sama idea lebih bluntly: lebih sedikit adalah lebih — fewer URLs untuk crawl adalah better untuk SEO.
robots.txt: crawl control, tidak indeks control
paling penting pembedaan di ini seluruh file: robots.txt controls crawling,
tidak pengindeksan. Disallowing sebuah URL berhenti bot dari fetching ini — ini melakukan tidak pertahankan ini
out dari indeks. sebuah disallowed halaman dapat masih menjadi terindeks (URL hanya, tanpa konten) jika
lainnya halaman tautan untuk ini, dan worse, jika Anda disallow sebuah halaman Anda juga berhenti Google dari
ever seeing sebuah noindex tag pada ini.
So aturan adalah:
- ingin sebuah halaman hilang dari penelusuran? Izinkan crawling dan tambahkan
noindex. tidak pernah gunakanrobots.txtuntuk deindex. - ingin bot untuk skip sebuah rendah-nilai URL space (internal penelusuran, infinite faceted
combinations) dan jangan care tentang pengindeksan?
robots.txtdisallow adalah correct. - Managing AI crawler? ini adalah juga di mana Anda izinkan atau block GPTBot, ClaudeBot, PerplexityBot, CCBot dan friends — sebuah strategic decision, tidak sebuah default.
Canonicalization: sebuah weighted decision, tidak sebuah command
Canonicalization adalah di mana sebuah lot dari advanced SEO teknis lives, dan ini adalah widely
misunderstood. rel="canonical" adalah sebuah hint, tidak sebuah directive. Google weighs ini
terhadap banyak lainnya sinyal — redirects, tautan internal, sitemap inclusion, HTTPS,
struktur URL — ketika ini picks representative URL. My deep dive pada
canonicalization puts count sekitar
40 sinyal itu feed canonical selection, yang adalah mengapa Anda sometimes see
“Duplicate, Google chose berbeda canonical daripada user” (terjemahan) “Duplicate, Google chose berbeda canonical daripada pengguna” di Search Console: Anda tag
adalah outvoted.
practical implications:
- jangan kirim conflicting sinyal. I spent tahun pada enterprise situs (I ran SEO teknis di-house di IBM), dan di sebuah talk I memberikan called SEO perusahaan Chaos I tampilkan nyata halaman itu “redirected untuk satu version, canonicaled untuk a second, dan internally linked untuk a third.” (terjemahan) “redirected untuk satu versi, canonicaled untuk sebuah kedua, dan internally ditautkan untuk sebuah ketiga.” Pick satu URL dan membuat setiap sinyal agree.
- Sinyal strength roughly peringkat redirect >
rel="canonical"> internal tautan > sitemap. sebuah 301 adalah sebuah banyak stronger statement daripada sebuah tag canonical. - Duplicate konten tidak sebuah penalty. Google’s Gary Illyes memiliki mengatakan roughly 60% dari web adalah duplicate konten, dan Google memperlakukan beberapa dari ini sebagai wajar — tidak sebuah spam violation. cost adalah split sinyal dan wasted crawling, tidak sebuah punishment. perbaiki adalah consolidation, tidak panic.
dan sebuah note pada JavaScript: I setelah ran sebuah test — injecting sebuah rel="canonical" melalui
JavaScript pada sebuah halaman itu memiliki none di HTML — dan Google honored ini, bahkan though ini
memiliki publicly mengatakan ini tidak akan. setelah itu surfaced, Google diperbarui -nya JavaScript SEO
documentation.
lesson tidak “gunakan JS canonicals” (terjemahan) “gunakan JS canonicals”; ini adalah itu ini stuff adalah testable, dan docs
tidak selalu terakhir kata.
rendering decision
«Rendering is the step most overviews skip, and it’s where JavaScript sites get into trouble. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” Bukti untuk klaim ini Google processes JavaScript pages in crawling, rendering, and indexing phases and uses a recent version of Chrome for rendering. Cakupan: Google Search JavaScript processing; rendering and indexing remain subject to technical and quality constraints. Tingkat keyakinan: tinggi · Diverifikasi: Google: JavaScript SEO basics It’s a separate, stateless service, it can cache resources for weeks, and it can lag the initial fetch — so a JS-dependent change can take a while to be reflected. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian enam puluh tiga, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)
JavaScript tidak enemy di sini. sebagai I put ini di my guide untuk JavaScript SEO, JavaScript adalah tidak buruk untuk SEO, dan ini adalah tidak evil — ini adalah hanya berbeda dari apa banyak SEOs adalah digunakan untuk. nyata decision adalah bagaimana Anda render:
- rendering sisi server (SSR) — safest untuk SEO; HTML arrives menyelesaikan.
- Static generation (SSG/pre-rendering) — best dari keduanya worlds untuk konten itu tidak perubahan per permintaan.
- rendering sisi klien (CSR) — highest risk; konten hanya ada setelah JS berjalan, so Anda’re betting pada render langkah.
- Dynamic rendering — Google panggilan ini sebuah workaround, tidak sebuah recommendation; Bing adalah lebih favorable. Treat ini sebagai sebuah bridge, tidak sebuah destination.
Dua traps untuk know cold. pertama, lazy-memuat: Googlebot tidak scroll atau click,
so konten itu hanya memuat pada interaction dapat stay invisible — pastikan ini memuat ketika
ini adalah di viewport. kedua, tautan: Google dapat hanya ikuti sebuah tautan itu’s sebuah nyata
<a href> element. sebuah routerLink atau sebuah click handler dengan Tidak href adalah tidak sebuah
dapat di-crawl tautan. Verify dirender output terhadap mentah HTML dengan URL
Inspection alat setiap kali Anda suspect sebuah kesenjangan.
situs architecture dan internal linking
tautan internal melakukan three jobs di setelah: mereka help bot menemukan halaman, mereka distribute PageRank, dan mereka lulus topical context melalui teks jangkar. John Mueller memiliki called internal linking “super critical untuk SEO” (terjemahan) “super critical untuk SEO” dan satu dari biggest levers Anda memiliki pada Anda own situs — dan I agree. ini adalah satu dari highest-ROI hal Anda control secara langsung.
sebuah sedikit sistem-tingkat poin:
- Orphan halaman — halaman tidak ada apa pun tautan untuk — adalah pertama hal untuk hunt untuk. jika ini adalah tidak ditautkan, ini adalah barely discoverable dan mendapatkan hampir Tidak equity.
- Architecture adalah crawl-funnel management. penting halaman belong close untuk home halaman; deep, click-distant halaman mendapatkan di-crawl lebih sedikit dan peringkat worse.
- PageRank sculpting dengan
nofollowadalah dead (since 2009). Nofollowing internal tautan membuat itu equity evaporate alih-alih redistribute. Manage flow dengan nyata architecture, tidak nofollow tricks.
Core Web Vitals: three masalah, tidak satu
biggest practitioner error dengan pengalaman halaman adalah treating ini sebagai sebuah single “membuat itu site lebih cepat” (terjemahan) “membuat situs lebih cepat” masalah. Core Web Vitals adalah three distinct masalah dengan berbeda root penyebab dan berbeda memperbaiki:
- LCP (Largest Contentful Paint) — memuat. Driven oleh server respons time, render-blocking resources, dan bagaimana fast main konten asset memuat. Target di bawah 2,5 seconds.
- INP (Interaction untuk Berikutnya Paint) — interactivity. Driven oleh JavaScript execution blocking main utas. Target di bawah 200 milliseconds. (INP replaced FID di 2024 — jika Anda masih see FID anywhere, advice adalah stale.)
- CLS (Cumulative Layout Shift) — visual stability. Driven oleh images tanpa dimensions, late-memuat fonts, dan injected konten. Target di bawah 0,1.
Dua hal penting beyond definitions. data lapangan, tidak data lab: Google peringkat pada nyata-pengguna CrUX data, tidak Anda Lighthouse score, so sebuah Lighthouse 65 dengan baik field data beats sebuah Lighthouse 100 dengan buruk data lapangan. dan proportion: I’ll menjadi honest — I jangan think Core Web Vitals memiliki banyak impact pada SEO, dan unless sebuah situs adalah extremely slow I umumnya tidak akan prioritize memperbaiki them untuk rankings. melakukan berfungsi untuk pengguna dan conversions; hanya jangan oversell ini sebagai sebuah peringkat lever.
data terstruktur: sinyal untuk penelusuran dan AI
data terstruktur (gunakan JSON-LD) tidak peringkat Anda, tetapi ini membuat halaman eligible untuk rich hasil dan increasingly helps AI sistem parse Anda konten untuk citation. ini adalah genuinely berguna — dan genuinely oversold sebagai sebuah sinyal peringkat. My honest framing: sebagian besar dari SEO adalah melakukan basics well, dan konten dan tautan move needle lebih daripada schema melakukan. Implement ini di mana ini unlocks sebuah rich hasil atau clarifies sebuah entity; jangan expect ini untuk lift rankings pada -nya own. (dan note: schema markup URLs adalah tidak dapat di-crawl tautan internal — Mueller memiliki confirmed ini.)
International, briefly
jika Anda sajikan multiple languages atau regions, gunakan distinct URLs per versi dan hreflang annotations untuk map them, dan prefer ccTLDs atau subdirectories di atas URL parameters. jangan auto-redirect oleh IP — Google explicitly warns terhadap ini dan ini breaks crawling. SEO internasional adalah deep cukup untuk menjadi -nya own pillar; ini adalah hanya teknis handshake.
SEO teknis adalah sebuah ongoing sistem, tidak sebuah satu-time audit
framing setiap pesaing guide mendapatkan wrong: SEO teknis adalah tidak sebuah checklist Anda
menyelesaikan setelah. situs perubahan constantly — deploys break tag canonical, sebuah rilis
slips sebuah noindex ke sebuah template, sebuah baru ad script tanks INP, rantai pengalihan
accumulate. mature practice adalah monitoring dan regression detection:
- Watch GSC halaman pengindeksan untuk sudden perubahan di terindeks counts dan excluded statuses.
- Watch Statistik Crawling dan Anda logs untuk respons-code spikes dan crawl-pattern shifts.
- Re-validate crawl, render, dan redirects setelah setiap significant deployment.
pada log files secara khusus: I digunakan untuk treat them sebagai sebuah setelah-setiap-sedikit-tahun troubleshooting alat. itu’s changed. Logs adalah now clearest place untuk see yang AI crawler adalah sebenarnya hitting Anda dan bagaimana sering — sesuatu Tidak lainnya alat menampilkan Anda sebagai secara langsung — so untuk anyone siapa cares tentang AI penelusuran, mereka’ve become sebuah lot lebih berguna daripada mereka adalah.
situs migrations: highest-stakes event
sebuah migration — baru domain, HTTP untuk HTTPS, sebuah replatform, sebuah URL restructure — adalah
single highest-stakes teknis event, karena ini touches setiap URL di setelah. Map old
untuk baru 1:1, gunakan 301/308 permanent redirects, pertahankan them di place
indefinitely (I akan tidak rush untuk hapus them — sebuah couple dari redirect hops adalah tidak ada apa pun
untuk worry tentang), dan gunakan GSC perubahan dari Address alat di mana ini applies. Migrations
dapat menjadi kompleks dan involve sebuah lot dari orang, tetapi jangan panic — Anda dapat perbaiki hampir
apa pun itu goes wrong. ada sebuah penuh situs Migrations cluster di bawah ini pillar.
SEO teknis untuk AI penelusuran
modern shift, dan ini cuts terhadap lazy “technical SEO is dead” (terjemahan) “SEO teknis adalah dead” take: dari 2025 pada, AI penelusuran sistem decide eligibility sebelum mereka ever peringkat atau cite. untuk menjadi quoted di sebuah AI jawaban Anda halaman umumnya memiliki untuk menjadi cleanly canonicalized, fast cukup, renderable tanpa heroics, dan structured cukup untuk menjadi parsed dengan confidence. Messy sinyal jangan hanya lebih rendah sebuah peringkat now — mereka dapat hapus Anda dari jawaban entirely. Karena Bing’s indeks feeds banyak LLM jawaban, Bing Webmaster alat dan IndexNow penting lebih daripada Bing’s penelusuran share suggests. Teknis hygiene penting lebih di AI era, tidak lebih sedikit.
Di mana leverage sebenarnya adalah
jika Anda take satu hal dari ini guide, membuat ini prioritization. Spend Anda time pada pengindeksan, canonicalization, tautan internal, dan bersih migrations — berfungsi itu decides apakah halaman exist di penelusuran dan consolidate mereka equity. jangan lose sleep di atas anggaran crawling, Core Web Vitals, duplicate konten, atau pendek rantai pengalihan unless Anda memiliki sebuah spesifik, diagnosed masalah. dan jangan chase perfection — I doubt ada sebuah major situs web itu’s technically perfect, dan jika di sana adalah, I’d worry mereka adalah wasting resources pada hal itu jangan penting alih-alih hal itu melakukan.
ini hub maps rest dari pillar: Bagaimana Penelusuran berfungsi, situs Migrations, pada-halaman, mesin pencari alat, dan JavaScript SEO. Mulai wherever Anda situs adalah breaking — pipeline tells Anda yang gate untuk lihat pertama.
AI summary
sebuah condensed take pada Advanced Guide:
- Tidak terpisah algorithm. sama crawl → render → indeks → sajikan pipeline pada setiap situs. SEO teknis decides apakah halaman dapat enter sistem dan menjadi dipahami — ini adalah sebuah foundation, tidak sebuah peringkat trick. leverage adalah mostly negative: tidak losing apa konten dan tautan earned.
- Treat pipeline sebagai gates. “Tidak all halaman membuat it melalui setiap stage.” (terjemahan) “Tidak semua halaman membuat ini melalui setiap stage.” Diagnose yang gate (crawl, render, indeks, sajikan) sebuah halaman failed sebelum mengubah apa pun.
- ** satu-liner:** Anda dapat’t peringkat sebuah halaman Google tidak akan indeks — so boring structural berfungsi (canonicalization, redirects, tautan internal) pays best dan compounds di scale.
- anggaran crawling: capacity + demand. sebagian besar situs tidak pernah perlu untuk manage ini (penting ~1M+ halaman, atau 10k+ rapidly mengubah). Bing: lebih sedikit adalah lebih.
- robots.txt controls crawling, tidak pengindeksan. untuk hapus sebuah halaman: izinkan crawling +
noindex. ini adalah juga di mana Anda izinkan/block AI crawler. - Canonicalization adalah sebuah weighted decision di seluruh ~40 sinyal;
rel=canonicaladalah sebuah hint, tidak sebuah command. jangan kirim conflicting sinyal; duplicate konten tidak sebuah penalty. - rendering adalah terpisah dan dapat lag. JS tidak evil, hanya berbeda. Choose SSR /
static / CSR / dynamic dengan sengaja; watch lazy-memuat dan
<a href>tautan traps. - Internal linking adalah “super critical” (terjemahan) “super critical” (Mueller). Hunt orphans; architecture adalah
crawl-funnel management;
nofollowsculpting adalah dead. - Core Web Vitals = three masalah (LCP/INP/CLS), judged pada data lapangan, tidak Lighthouse — dan sebuah minor peringkat lever (Patrick tidak prioritize them untuk rankings).
- Monitoring, tidak sebuah satu-time audit. Watch halaman pengindeksan, Statistik Crawling, dan logs; re-validate setelah deploys. Logs adalah newly berguna untuk spotting AI crawler.
- Migrations adalah highest-stakes event — map 1:1,
301, pertahankan redirects. - AI penelusuran gates eligibility pada bersih teknis sinyal sebelum peringkat/citing; Bing’s indeks feeds LLMs, so Bing Webmaster alat + IndexNow penting lebih daripada -nya share.
Dokumentasi resmi
utama-sumber docs itu anchor seluruh teknis-SEO pillar.
- di-Depth Guide untuk Bagaimana Google Search berfungsi — crawl → indeks → sajikan pipeline, URL penemuan, rendering, pengindeksan, dan serving. single sebagian besar penting halaman di SEO teknis.
- SEO Starter Guide — Google’s own beginner orientation dan Penelusuran Essentials baseline.
- crawling dan pengindeksan — hub untuk
robots.txt, sitemaps, canonicalization, dan crawl controls. - mengoptimalkan Anda anggaran crawling — crawl capacity + demand, dan siapa sebenarnya perlu untuk care.
- JavaScript SEO basics — rendering sebagai bagian dari pengindeksan dan cara pertahankan JS konten dapat diindeks.
- Core Web Vitals & pengalaman halaman — apa halaman-experience sinyal adalah dan bagaimana mereka’re digunakan.
- situs moves dengan URL perubahan — Google’s migration playbook: redirects, perubahan dari Address, dan apa untuk monitor.
- Di dalam Googlebot (March 2026) — saat ini crawl economics dan byte limits.
Bing / Microsoft
- Bagaimana Bing delivers hasil pencarian — Bing’s crawl → indeks → peringkat pipeline dan -nya named peringkat factors.
- bingbot Series: Maximizing crawl Efficiency — Bing’s definition dari crawling dan -nya “crawl efficiency north star.” (terjemahan) “crawl efficiency north star.”
- IndexNow / indexnow.org — push protocol untuk instantly signaling changed URLs; pairs dengan sitemaps.
Quotes dari sumber
pada—record statements dari Google dan Bing itu anchor teknis-SEO pillar. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.
Google — pipeline
«- “Google Search works in three stages, and not all pages make it through each stage.” — Google Search Central docs. Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus enam, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus enam, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus enam, bagian kecil tiga: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus enam, bagian kecil empat: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)
Google — anggaran crawling dan robots.txt
«- “Taking crawl capacity and crawl demand together, Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” Jump to quote
- “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” Jump to quote
- “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus delapan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)
Bing — Fabrice Canel, Microsoft
- “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (terjemahan) “crawling adalah proses oleh yang bingbot discovers baru dan diperbarui documents atau konten untuk menjadi ditambahkan untuk Bing’s searchable indeks.” Jump untuk quote
- “Lebih sedikit adalah lebih untuk SEO. Never forget itu. Lebih sedikit URLs untuk crawl, better untuk SEO.” (terjemahan) “Lebih sedikit adalah lebih untuk SEO. tidak pernah forget itu. Lebih sedikit URLs untuk crawl, better untuk SEO.” Baca interview
Google reps, pada record (reproduced melalui industry coverage)
- John Mueller: “Technical SEO is not going away, it continues to be the foundation of everything built on the open web.” (terjemahan) “SEO teknis adalah tidak going away, ini continues untuk menjadi foundation dari semuanya dibangun pada open web.” Coverage (mesin pencari Journal)
- Gary Illyes, pada anggaran crawling: “the vast majority of the people don’t have to care about it.” (terjemahan) “ vast majority dari orang jangan memiliki untuk care tentang ini.” Coverage (mesin pencari Journal)
- John Mueller, pada tautan internal: “internal linking is super critical for SEO… one of the biggest things that you can do on a website.” (terjemahan) “internal linking adalah super critical untuk SEO… satu dari biggest hal itu Anda dapat melakukan pada sebuah situs web.” Coverage (mesin pencari Journal)
- John Mueller, pada Core Web Vitals: “it’s more than a tie-breaker, but it also doesn’t replace relevance.” (terjemahan) “ini adalah lebih daripada sebuah tie-breaker, tetapi ini juga tidak replace relevance.” Coverage (mesin pencari Journal)
- Gary Illyes, pada Core Web Vitals priority: “If you don’t have anything better to do on your site, go do Core Web Vitals.” (terjemahan) “jika Anda tidak memiliki apa pun better untuk melakukan pada Anda situs, go melakukan Core Web Vitals.” (Pubcon AMA) Coverage (mesin pencari Land)
- Martin Splitt, pada rendering: “two-wave indexing… plays less and less of a role.” (terjemahan) “dua-wave pengindeksan… plays lebih sedikit dan lebih sedikit dari sebuah role.” Coverage (Onely)
Patrick Stox (my own berfungsi)
- “This is my understanding of systems and is based on a lot of public statements from Google and my own knowledge. Warning: It’s not going to be 100% complete or accurate.” (terjemahan) “ini adalah my understanding dari sistem dan adalah berdasarkan sebuah lot dari publik statements dari Google dan my own knowledge. Warning: ini adalah tidak going untuk menjadi 100% menyelesaikan atau accurate.” — slide 3 dari my Bagaimana Penelusuran berfungsi deck. See slide
mental models
1. tidak ada SEO teknis algorithm. sama crawl → indeks → sajikan pipeline, sama peringkat sistem, pada setiap situs. Teknis SEO decides apakah Anda halaman dapat enter sistem dan menjadi dipahami — ini tidak hand Anda peringkat poin. sebelum Anda hunt untuk sebuah “teknis trick,” (terjemahan) “teknis trick,” tanyakan yang ordinary stage adalah failing.
2. Foundation, tidak factor. leverage dari SEO teknis adalah mostly negative: ini berhenti Anda dari losing apa konten dan tautan earned. Anda dapat’t peringkat sebuah halaman Google tidak akan indeks — so sebagian besar dari job adalah clearing obstacles, tidak menambahkan sinyal.
3. Four gates, tidak sebuah conveyor belt. crawl → render → indeks → sajikan. setiap adalah sebuah filter, dan “tidak all halaman membuat it melalui setiap stage.” (terjemahan) “tidak semua halaman membuat ini melalui setiap stage.” Ketika sebuah halaman underperforms, locate yang gate ini failed sebelum Anda perubahan apa pun.
4. four “tidak equals.” (terjemahan) “tidak equals.”
- crawling ≠ pengindeksan (sebuah blocked halaman dapat masih menjadi terindeks; pengindeksan tidak guaranteed bahkan ketika crawling succeeds).
- crawling ≠ peringkat (laju crawling adalah tidak sebuah sinyal peringkat).
- crawling ≠ rendering (JavaScript berjalan di sebuah terpisah langkah itu dapat lag).
- pengindeksan ≠ peringkat (menjadi di indeks tidak win Anda kueri).
5. leverage aturan di scale. pada big situs semuanya adalah template-tingkat, so impact multiplies. Satu error dapat pertahankan millions dari halaman out dari indeks; satu canonical perbaiki dapat recover sebuah fortune. boring structural berfungsi outranks shiny stuff.
6. Prioritization adalah nyata skill. hardest dan sebagian besar valuable hal di SEO teknis adalah knowing apa untuk ignore. Perbaiki pengindeksan, canonicalization, tautan internal, dan migrations; jangan sweat anggaran crawling, Core Web Vitals, atau duplicate konten tanpa sebuah diagnosed masalah.
7. AI raises bar, tidak lowers ini. AI penelusuran decides eligibility (bersih canonicalization, schema, fast renderable halaman) sebelum ini peringkat atau cites. Messy teknis sinyal dapat hapus Anda dari jawaban entirely.
SEO teknis foundations checklist
sebuah pertama lulus untuk konfirmasi mesin pencari dapat temukan, baca, dan memahami Anda situs:
- dapat di-crawl. penting halaman adalah ditautkan dari di suatu tempat dapat di-crawl (Tidak
orphans);
robots.txttidak block apa pun Anda ingin terindeks. - Discoverable. sebuah sitemap XML adalah submitted di Google Search Console dan
Bing Webmaster alat, listing hanya canonical, dapat diindeks URLs dengan accurate
lastmod. - Renderable. JS-dependent konten adalah reachable melalui nyata
<a href>tautan, tidak click-hanya navigation; critical konten tidak bergantung pada sebuah slow render. - dapat diindeks. Tidak stray
noindexpada halaman Anda ingin ditemukan; periksa GSC halaman pengindeksan report untuk excluded statuses. - Canonical. Satu canonical URL per piece dari konten; duplicates poin untuk ini; Tidak canonical chains atau canonicals pointing di homepage; sinyal agree (redirect, canonical, tautan internal, sitemap semua poin yang sama cara).
- Healthy server. Fast, stable respons — minimal
5xx/timeouts (bot slow down ketika Anda server struggles). - Bersih redirects. Tidak panjang rantai pengalihan atau loops; permanent moves gunakan
301/308; hilang halaman kembalikan404/410. - Tidak URL waste. Parameters, faceted nav, dan session IDs tidak generating infinite atau duplicate URL spaces (spider traps).
- pada-halaman meta. Unique, accurate tag judul dan deskripsi meta; correct meta robots directives.
- Migration-safe. jika Anda’re moving apa pun (domain, HTTPS, platform, URLs), map old→baru 1:1 redirects dan gunakan GSC perubahan dari Address alat di mana ini applies.
- AI-eligible. Valid schema, consistent entity sinyal, AI-crawler access decided dengan sengaja, dan fast renderable halaman so AI penelusuran dapat parse dan cite Anda.
Bagaimana banyak seharusnya Anda sebenarnya care?
paling berguna hal I dapat memberikan sebuah SEO teknis tidak sebuah checklist — ini adalah sebuah sense dari proportion. sebuah lot dari “best practices” (terjemahan) “best practices” mendapatkan far lebih attention daripada mereka earn. Di sini’s my honest peringkat dari di mana leverage adalah, dan di mana ini tidak.
| Teknis item | Bagaimana banyak ini penting | My take |
|---|---|---|
| pengindeksan & canonicalization | tinggi | ini adalah leverage. Anda dapat’t peringkat sebuah halaman Google tidak akan indeks, so getting halaman di-crawl, terindeks, dan consolidated untuk satu canonical adalah highest-nilai berfungsi ada. |
| Internal linking | tinggi | Mueller panggilan ini “super critical for SEO,” (terjemahan) “super critical untuk SEO,” dan I agree — ini adalah satu dari biggest hal Anda dapat melakukan untuk guide Google (dan pengguna) untuk halaman itu penting. |
| Redirects pada sebuah migration | tinggi | single highest-stakes teknis event. Map old→baru 1:1 dan Anda pertahankan equity; mendapatkan ini wrong dan Anda bleed traffic. |
| Schema markup | Medium | Great untuk rich hasil dan untuk helping AI parse Anda konten — tetapi ini adalah overhyped sebagai sebuah peringkat sinyal. sebagian besar dari SEO adalah melakukan basics well; konten dan tautan move needle lebih daripada schema. |
| Core Web Vitals | rendah (untuk rankings) | I jangan think Core Web Vitals memiliki banyak impact pada SEO, dan unless Anda’re extremely slow I umumnya tidak akan prioritize them. melakukan them untuk pengguna dan conversions, tidak untuk sebuah peringkat bump. |
| anggaran crawling | rendah (sebagian besar situs) | sebagian besar situs jangan perlu untuk worry tentang anggaran crawling. ini dimulai untuk bite sekitar 1M+ halaman, atau 10k+ itu perubahan rapidly — tidak Anda average situs. |
| Log file analysis | Rising | Logs adalah ground truth untuk apa bot sebenarnya melakukan pada Anda situs. I digunakan untuk treat them sebagai sebuah setelah-setiap-couple-dari-tahun troubleshooting alat — tetapi mereka’ve gotten sebuah lot lebih berguna lately, karena mereka’re clearest place untuk see AI crawler (GPTBot, ClaudeBot, PerplexityBot, dan rest) hitting Anda. jika Anda care tentang AI penelusuran, Anda logs adalah di mana itu activity menampilkan up pertama. |
| Duplicate konten | rendah (jangan panic) | ada Tidak duplicate-konten penalty. ini adalah sebuah canonicalization masalah, tidak sebuah danger — tentang 60% dari web adalah duplicate konten anyway. |
| pendek rantai pengalihan | Very rendah | sebuah couple dari hops? I akan tidak worry tentang ini di semua. |
| HTTPS | Very rendah | sebuah kecil sinyal peringkat — basically sebuah tiebreaker — tetapi melakukan ini anyway; ini adalah table stakes untuk trust. |
pattern: spend Anda time pada pengindeksan, consolidation, dan bersih migrations; jangan lose sleep di atas anggaran crawling, Core Web Vitals, atau duplicate konten unless Anda memiliki sebuah spesifik, diagnosed masalah. dan jangan chase teknis perfection — I doubt ada sebuah major situs web itu’s technically perfect, dan jika di sana adalah, I’d worry mereka adalah wasting resources pada hal itu jangan penting alih-alih hal itu melakukan.
Yang control melakukan apa
lainnya hal orang mix up constantly — ini adalah four terpisah alat untuk four terpisah jobs:
| Control | Berhenti crawling? | Berhenti pengindeksan? | gunakan ini untuk |
|---|---|---|---|
robots.txt disallow | Ya | Tidak | Mempertahankan bot out dari rendah-nilai URL spaces |
noindex (meta/header) | Tidak (harus stay dapat di-crawl) | Ya | menghapus sebuah halaman dari indeks |
rel=canonical | Tidak | Consolidates, tidak force | Pointing untuk preferred duplicate |
301/308 redirect | mengirim bot onward | Consolidates untuk target | Permanent moves dan consolidation |
classic mistake adalah menggunakan robots.txt untuk deindex — jika Anda block crawling,
Google dapat’t see noindex tag dan dapat pertahankan halaman di hasil melalui tautan dari
lainnya situs. ingin sebuah halaman hilang? Izinkan crawling dan tambahkan noindex.
alat untuk SEO teknis
- Google Search Console — Anda ground truth untuk bagaimana Google memperlakukan situs: halaman pengindeksan report, Statistik Crawling, pemeriksaan URL alat (crawl/render/indeks status untuk sebuah single URL), dan perubahan dari Address alat untuk migrations.
- Bing Webmaster alat — crawl info, crawl Control, situs Scan, dan IndexNow — dan ini penting lebih daripada -nya share suggests karena Bing’s indeks feeds banyak LLM jawaban.
- situs crawler / audits — Ahrefs situs Audit dan Screaming Frog SEO Spider simulate sebuah crawl dan surface rantai pengalihan, duplicate URLs, blocked halaman, rusak canonicals, dan trap-like patterns di scale.
- server log file analysis — satu-satunya place Anda see persis apa bot di-crawl dan di mana mereka wasted budget — dan increasingly clearest cara untuk see yang AI crawler (GPTBot, ClaudeBot, PerplexityBot) adalah hitting Anda. Screaming Frog Log File Analyser, atau pipe logs ke BigQuery / sebuah log platform.
- Ahrefs Webmaster alat — free crawl + audit untuk situs Anda verify.
- PageSpeed Insights / Lighthouse — halaman-experience dan rendering memeriksa; pair dengan field (CrUX) data untuk bagaimana pengguna nyata dan renderer experience halaman.
- IndexNow — push changed URLs untuk Bing (dan others) di nyata time alih-alih menunggu untuk menjadi re-di-crawl.
Durable SEO teknis metrics
Yang dimaksud indeks coverage trend
- Apa ini measures: Apakah canonical, dapat diindeks URLs Anda intend mesin pencari untuk sajikan adalah sebenarnya represented di indeks di atas time.
- cara pull ini: Bandingkan sitemap XML atau approved dapat diindeks URL inventory dengan Search Console halaman pengindeksan data, lalu inspect excluded alasan oleh template.
- Cadence: Review setelah material releases dan pada sebuah recurring schedule suited untuk situs’s penerbitan dan laju crawling.
- Healthy direction: Yang dimaksud terindeks URLs tetap stable atau grow dengan approved konten sementara unexplained exclusions dan duplicate canonical conflicts decline.
- Decision triggered: Investigate template-tingkat crawling, canonical, rendering,
duplication, atau
noindexmasalah sebelum investing di lebih konten untuk yang sama affected area.
Core Web Vitals field lulus rate oleh template
- Apa ini measures: share dari nyata-pengguna halaman groups passing field Core Web Vitals, separated oleh template dan device alih-alih averaged di seluruh situs.
- cara pull ini: gunakan Search Console Core Web Vitals dan CrUX/PageSpeed Insights data lapangan; map affected URL groups untuk responsible template atau component.
- Cadence: Track melalui field-data window dan bandingkan sebelum dan setelah major performa releases.
- Healthy direction: Lebih penting templates move ke passing groups tanpa regressions shifting untuk lainnya device, region, atau halaman jenis.
- Decision triggered: Prioritize sebuah shared template atau component perbaiki ketika sebuah poor group memengaruhi bermakna traffic atau pengguna experience; melakukan tidak chase tiny lab-hanya perubahan sebagai sebuah peringkat trick.
crawl reliability dan respons mix
- Apa ini measures: Apakah penelusuran-mesin crawling reaches berguna URLs reliably alih-alih spending capacity pada errors, chains, traps, atau rendah-nilai URL spaces.
- cara pull ini: Combine Search Console Statistik Crawling dengan server logs dan crawler reports, segmented oleh status, host, directory/template, dan bot.
- Cadence: Monitor continuously untuk incidents dan review trends setelah platform, CDN, redirect, faceting, atau migration perubahan.
- Healthy direction: Stable successful respons untuk penting URLs, fewer 5xx failures dan rantai pengalihan, dan lebih sedikit repeated crawling dari known trap spaces relative untuk situs’s own baseline.
- Decision triggered: Perbaiki availability atau routing pertama; lalu adjust internal penemuan, parameter menangani, atau crawl controls untuk persistent waste.
Resources worth Anda time
My SEO teknis writing (Ahrefs)
- Beginner’s Guide untuk SEO teknis — penuh kerangka kerja: temukan, crawl, memahami, dan indeks.
- Enterprise SEO teknis — apa SEO teknis looks like di scale (dan mengapa perfection adalah wrong goal).
- anggaran crawling: Semuanya Anda perlu Know — ketika ini penting, dan (banyak) cases di mana ini tidak.
- JavaScript SEO: Issues & Best Practices — “JavaScript adalah tidak bad untuk SEO… ini sekadar berbeda.” (terjemahan) “JavaScript adalah tidak buruk untuk SEO… ini adalah hanya berbeda.”
- Canonicalization: sebuah Beginner’s Guide — ~40 sinyal Google weighs, dan mengapa sebagian besar duplicates tidak nefarious.
- Redirects untuk SEO — 11 jenis dan bagaimana panjang untuk pertahankan them (lebih lama daripada Anda think).
- situs web Migration: sebuah Menyelesaikan Guide — “Anda dapat perbaiki hampir apa pun itu goes wrong.” (terjemahan) “Anda dapat perbaiki hampir apa pun itu goes wrong.”
- Core Web Vitals & PageSpeed — mengapa I jangan prioritize CWV untuk rankings.
My speaking
- Bagaimana Penelusuran berfungsi (SlideShare) — my penuh walkthrough dari crawling, rendering, pengindeksan, dan peringkat.
- SEO perusahaan Chaos (SMX) — IBM-scale stories: 24 URL variations, 14-hop rantai pengalihan, dan sinyal semua pointing berbeda directions.
«From around the industry
- web.dev — Core Web Vitals — Google’s web-platform docs on LCP, INP, and CLS: what each measures and how to fix it, separate from search.
- Onely blog — a technical-SEO agency known for deep rendering and indexing research (their two waves of indexing write-up is a good example).
- Search Engine Roundtable — Barry Schwartz’s near-daily log of what Google and Bing reps actually say; the fastest way to track statement changes.
- Search Engine Journal — Technical SEO — ongoing coverage and explainers, and the source for several rep statements quoted above.
- Search Engine Land — SEO — industry news and conference coverage (Pubcon/SMX AMAs with Google’s team).
- Google’s Crawling December series — the best concentrated set of official crawl explainers.
- r/TechSEO — the community for crawl/index/render debugging. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus lima puluh sembilan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)
Podcasts
- Penelusuran Off Record (Google Search Relations) — Gary Illyes dan Martin Splitt pada bagaimana Googlebot melakukan crawl, renders, dan indeks. closest hal untuk official commentary pada pipeline. Listen
- Voices dari Penelusuran — Prioritizing SEO Efforts, my conversation pada mengapa prioritization adalah hardest bagian dari job dan bagaimana I triage tinggi-impact / rendah-effort berfungsi. Listen
- TheeDigital — Debunking SEO Myths — me pada teknis myths itu tidak akan die (duplicate-konten penalties, keyword density, subdomains vs. subfolders). Listen
Videos
- Google Search Central (YouTube) — Bagaimana Google Search berfungsi series dan Martin Splitt’s crawling/rendering dan JavaScript SEO explainers. Channel
Stats worth citing
sebuah mix dari my own research dan ketiga-party figures (Google, Microsoft, dan Cloudflare):
- Rich hasil dapat lift CTR. Google’s own published case studies report sebuah 25% lebih tinggi CTR untuk Rotten Tomatoes’ marked-up halaman, sebuah 35% increase di visits untuk Food Network, dan sebuah 82% lebih tinggi CTR pada Nestlé’s rich-hasil halaman vs. non-rich. Google — data terstruktur intro
- rendering costs ~20× lebih daripada crawling. dari my JavaScript SEO talks: Ahrefs di-crawl ~7B halaman sebuah day tetapi dirender ~80M JavaScript halaman menggunakan sekitar 600 server — sebuah berguna sense dari mengapa rendering adalah rationed dan dapat lag. Deck
- Roughly 60% dari web adalah duplicate konten — Gary Illyes (Google) — yang adalah persis mengapa beberapa duplication adalah “wajar” (terjemahan) “wajar” dan canonicalization, tidak panic, adalah right respons. Google — consolidate duplicate URLs
- Bing discovers tens dari billions dari baru URLs setiap day — Fabrice Canel (Microsoft) — scale dari penemuan-dan-filtering masalah behind “lebih sedikit adalah lebih.” (terjemahan) “lebih sedikit adalah lebih.” Coverage (mesin pencari Roundtable)
- AI bot adalah sebuah jelas #2 dan closing pada penelusuran-mesin bot — dari Cloudflare Radar crawl data (my analysis dari ini): penelusuran bot masih crawl paling, tetapi AI crawler adalah pada pace untuk overtake them di dalam sebuah couple dari tahun. Sumber
- 95,2% dari situs memiliki
3XXredirects; 72,9% adalah missing deskripsi meta (my study) — di seluruh 1M+ domains di Ahrefs situs Audit. tetapi jangan di atas-react untuk meta-deskripsi angka: Google rewrites them tentang 62,78% dari time, dan mereka tidak sebuah peringkat factor. Sumber
Uji pemahaman Anda: SEO teknis
Five quick pertanyaan pada apa SEO teknis adalah dan crawl → indeks → sajikan pipeline. Pick sebuah jawaban untuk setiap, lalu periksa.
SEO teknis adalah infrastructure untuk organic channel: ini membuat konten dan product berfungsi Anda sudah funded tersedia untuk mesin pencari, lalu melindungi itu access sebagai situs perubahan.
- operating model perlu keduanya periodic deep audits dan standing monitoring dan rilis guardrails.
- Recommendations seharusnya menjadi diperingkatkan oleh traffic atau revenue di risk, implementation cost, dan consequence dari melakukan tidak ada apa pun—tidak oleh best-practice labels.
- Executive attention belongs pada migrations, JavaScript rendering, crawl dan indeks controls, dan faceted navigation karena template-tingkat failures dapat spread di seluruh besar bagian dari sebuah situs.
kembalikan sering muncul sebagai existing konten dan product berfungsi finally performing. Engineering capacity untuk implement highest-impact memperbaiki adalah biasanya lebih valuable daripada repeatedly buying baru findings.
Risiko jika diabaikan: sebuah migration, rendering assumption, atau indeks-control mistake dapat diam-diam hapus penting halaman dari penelusuran, sementara crawl waste dan teknis debt accumulate antara periodic reviews.
Tanyakan kepada tim Anda: jika trafik organik dropped sharply besok, apa alerts akan fire, siapa akan diagnose ini, dan yang upcoming releases memiliki sudah diterima sebuah SEO review?
Log perubahan
Diperbarui 18 Jul 2026.
Ringkasan editorial dan detail perubahan yang tercatat.Detail perubahan
- Lanjutan
Catatan perubahan terperinci saat ini tersedia dalam bahasa Inggris.
Perbandingan lengkap tidak tersedia — tidak ada cuplikan sebelumnya yang diarsipkan untuk revisi ini.
Diperbarui 7 Jul 2026.
Ringkasan editorial dan detail perubahan yang tercatat.Detail perubahan
- Untuk pengambil keputusan
Catatan perubahan terperinci saat ini tersedia dalam bahasa Inggris.
Perbandingan lengkap tidak tersedia — tidak ada cuplikan sebelumnya yang diarsipkan untuk revisi ini.