Duplicate konten

TL;DR — Duplicate konten adalah yang sama (atau nearly yang sama) konten menunjukkan up di lebih daripada satu web address. ada Tidak “duplicate content penalty” (terjemahan) “penalti konten duplikat” — Google memiliki mengatakan so untuk tahun; ordinary duplicates hanya mendapatkan grouped dan satu versi mendapatkan picked untuk tampilkan. Apa ini sebenarnya melakukan adalah possibly split up Anda sinyal dan sometimes mendapatkan “wrong” (terjemahan) “wrong” halaman ditampilkan. perbaiki adalah untuk poin semuanya di satu preferred URL berdasarkan apa Anda sebenarnya ingin untuk happen, tidak untuk panic — dan tidak semuanya itu looks like sebuah duplicate (filters, pagination, translated halaman) sebenarnya adalah satu.

Apa duplicate konten adalah

Duplicate konten adalah ketika yang sama atau very similar konten dapat menjadi reached di lebih daripada satu URL. itu dapat happen pada sebuah single situs web, atau di seluruh berbeda situs web.

sebagian besar dari time ini adalah tidak seseorang copying Anda writing — ini adalah sebuah teknis accident. tepat sama halaman ends up living di several addresses, like:

• http://example.com dan https://example.com
• example.com dan www.example.com
• example.com/page dan example.com/page?utm_source=newsletter

untuk sebuah person ini semua look like “itu halaman.” (terjemahan) “ halaman.” untuk sebuah mesin pencari, setiap berbeda URL adalah sebuah berbeda halaman itu happens untuk memiliki yang sama konten.

big satu: tidak ada duplicate konten penalty

ini adalah fear itu brings sebagian besar orang untuk ini topic, so let me kill ini up front: Google melakukan tidak penalize Anda untuk memiliki duplicate konten. Google’s own team wrote, back di 2008, itu ada Tidak such hal sebagai sebuah duplicate konten penalty — setidaknya tidak di cara sebagian besar orang berarti ini. Bing mengatakan yang sama hal again di 2025: duplicate konten tidak trigger penalties pada -nya own.

I secara harfiah wrote sebuah artikel called * Myth dari Duplicate konten Penalty* back di 2016. myth memiliki telah remarkably hard untuk kill, tetapi ini adalah masih sebuah myth.

satu exception adalah ketika duplication adalah deceptive — scraping lainnya orang’s situs dan republishing them, atau auto-generating piles dari halaman untuk game rankings. itu’s spam, dan spam mendapatkan actioned. Wajar, accidental, teknis duplication tidak sebuah policy violation di semua — Google hanya folds ini ke sebuah cluster dan picks satu versi untuk tampilkan, yang adalah routine housekeeping, tidak sebuah punishment.

So apa sebenarnya masalah?

jika ada Tidak penalty, mengapa perbaiki ini? Three nyata alasan:

1. Anda sinyal mendapatkan split. tautan, clicks, dan shares mungkin poin di three berbeda versi dari yang sama halaman alih-alih semua stacking pada satu. itu membuat setiap versi weaker daripada combined halaman akan menjadi.
2. Google mungkin pick “wrong” (terjemahan) “wrong” URL. Ketika ada duplicates, Google chooses satu untuk mewakili group di hasil. ini mungkin tidak menjadi satu Anda’d memiliki picked — dan occasionally sebuah berbeda member dari group masih mendapatkan disajikan ketika ini fits sebuah spesifik penelusuran better, so ini adalah tidak selalu sebuah single fixed pilihan either.
3. crawling mendapatkan lebih sedikit efficient. Google melakukan crawl versi ini picked sebagian besar regularly dan copies lebih sedikit sering, untuk save effort. itu’s biasanya fine, tetapi pada sebuah situs dengan sebuah lot dari duplication ini dapat berarti baru atau diperbarui halaman mendapatkan ditemukan lebih lambat daripada mereka seharusnya.

None dari itu adalah sebuah punishment. mereka’re hanya inefficiencies — dan mereka’re semua fixable.

cara perbaiki ini ( sederhana versi)

goal adalah selalu yang sama: mendapatkan semuanya untuk poin di satu preferred URL.

• Redirect versi Anda tidak ingin (like http atau non-www ones) untuk satu Anda melakukan, menggunakan sebuah 301 redirect.
• Ketika Anda perlu pertahankan sebuah duplicate reachable, tambahkan sebuah tag canonical (rel="canonical") telling Google yang versi adalah nyata satu.
• tautan consistently untuk preferred versi di mana-mana pada Anda own situs.

itu’s 90% dari ini. ingin penuh penyebab list, perbaiki hierarchy di order dari preference, syndication setup, dan myths debunked satu oleh satu? Switch untuk Advanced tab.

TL;DR — tidak ada umum duplicate konten penalty — Google dan Bing keduanya say so explicitly; ordinary duplication adalah handled oleh deduplication dan canonical selection, tidak policy tindakan. nyata costs adalah indirect dan mungkin, tidak guaranteed: sinyal dilution, ** wrong URL chosen** (though lainnya cluster member dapat masih sajikan untuk sebuah spesifik context), lebih sedikit-efficient crawling, dan messier pengukuran. mesin detect duplicates → cluster matching URLs → pick satu canonical dari collected sinyal — sebuah declared canonical adalah sebuah hint, tidak sebuah aturan. sebagian besar duplication adalah teknis, tidak editorial, tetapi filters/sorts/pagination/variants/translations perlu sebuah case-oleh-case look, tidak sebuah automatic canonical. Perbaiki oleh intent, roughly di ini order: root penyebab / 301 → rel="canonical" → parameter menangani → noindex hanya untuk truly hapus → hreflang → syndication (Google’s saat ini guidance favors partner noindex-ing mereka copy di atas canonical alone). Penalties hanya attach untuk deceptive, scaled abuse — scraping dan mass-republishing tanpa nilai.

Apa duplicate konten sebenarnya adalah

sebagai I put ini di my Ahrefs guide: “Duplicate konten adalah itu sama atau similar konten itu muncul pada itu web di lebih daripada satu place. It dapat exist pada satu website atau across multiple websites.” (terjemahan) “Duplicate konten adalah yang sama atau similar konten itu muncul pada web di lebih daripada satu place. ini dapat exist pada satu situs web atau di seluruh multiple situs web.” legacy Google definition (dari sebuah 2006 Penelusuran Central post) dibingkai ini sebagai substantive blocks dari konten di dalam atau di seluruh domains itu completely match atau adalah appreciably similar.

key reframe: sebagian besar duplicate konten adalah sebuah teknis artifact, tidak plagiarism. Satu halaman mendapatkan disajikan di several addresses, dan setiap address adalah sebuah distinct URL untuk sebuah crawler. Editorial duplication (copying text) ada too, tetapi ini adalah minority case — dan bahkan itu tidak penalized unless ini adalah deceptive.

Google’s saat ini documentation frames hubungan sebuah bit lebih precisely daripada old definitions di atas: ini adalah tentang utama konten menjadi yang sama atau very similar, tidak sebuah kata-untuk-kata match, dan ini dapat happen di dalam satu situs atau di seluruh seluruh web. Worth mempertahankan distinct dari sebuah sedikit hal ini tidak: thin konten (sebuah halaman dengan too little konten untuk menjadi berguna, duplicate atau tidak), plagiarism (sebuah legal/ethical pertanyaan, tidak sebuah teknis satu), keyword cannibalization (multiple distinct halaman pada Anda own situs competing untuk sama kueri — sebuah targeting masalah, tidak sebuah duplication masalah), dan sebuah crawler’s “near-duplicate %” (terjemahan) “near-duplicate %” score (sebuah alat’s configurable similarity threshold, tidak sesuatu Google publishes atau menggunakan secara langsung — lebih pada itu di bawah).

adalah di sana sebuah duplicate konten penalty? Tidak.

ini adalah spine dari seluruh topic, so let me menjadi unambiguous: tidak ada umum duplicate konten penalty. Keduanya major mesin say so.

Google’s 2008 Demystifying “duplicate content penalty” (terjemahan) “penalti konten duplikat” post opens dengan line everyone seharusnya know: “There’s no such thing as a ‘duplicate content penalty.’ At least, not in the way most people mean when they say that.” (terjemahan) “Tidak ada hal seperti ‘penalti duplicate content’. Setidaknya, bukan dalam pengertian yang biasanya dimaksud orang.”* John Mueller memiliki reinforced ini untuk tahun — di my Ahrefs guide I quote him secara langsung: “We don’t have a duplicate content penalty. It’s not that we would demote a site for having a lot of duplicate content.” (terjemahan) “Kami tidak memiliki penalti duplicate content. Kami tidak akan menurunkan peringkat situs hanya karena memiliki banyak konten duplikat.”*

Bing mengatakan yang sama hal again, recently. di mereka December 2025 post mereka wrote: “Duplicate content doesn’t trigger search penalties on its own, but it does reduce visibility by diluting authority.” (terjemahan) “Konten duplikat tidak memicu penalti penelusuran dengan sendirinya, tetapi mengurangi visibilitas dengan mengencerkan otoritas.”*

I’ve telah membuat ini case untuk sebuah decade. My 2016 mesin pencari Land piece * Myth dari Duplicate konten Penalty* put ini plainly: “Duplicate konten adalah tidak grounds untuk action unless its intent adalah untuk manipulate penelusuran hasil.” (terjemahan) “Duplicate konten adalah tidak grounds untuk tindakan unless -nya intent adalah untuk manipulate hasil pencarian.” itu line adalah masih seluruh story.

satu nyata exception: deceptive, scaled abuse

Penalties hanya enter picture ketika duplication adalah manipulative. itu lives di Google’s spam policies, tidak di apa pun “duplicate konten” (terjemahan) “duplicate konten” aturan. bright line adalah scaled konten abuse: “Scaled konten abuse adalah ketika banyak halaman adalah generated untuk itu utama purpose dari manipulating penelusuran rankings dan tidak helping users.” (terjemahan) “Scaled konten abuse adalah ketika banyak halaman adalah generated untuk utama purpose dari manipulating penelusuran rankings dan tidak helping pengguna.” Scraping adalah called out too — policies list “Republishing konten dari other sites tanpa adding any original konten atau value, atau even citing itu original sumber” (terjemahan) “Republishing konten dari lainnya situs tanpa menambahkan apa pun original konten atau nilai, atau bahkan citing original sumber” sebagai abusive. consequence: “Sites itu violate our policies mungkin rank lebih rendah di hasil atau tidak muncul di hasil di all.” (terjemahan) “situs itu violate kami policies dapat peringkat lebih rendah di hasil atau tidak muncul di hasil di semua.”

pembedaan itu penting: benign duplication (yang sama halaman di www dan non-www) adalah tidak ini — Google biasanya menangani ordinary duplicate konten melalui deduplication dan canonical selection, tidak sebuah policy tindakan. Deceptive, scaled duplication adalah sebuah terpisah issue itu lives di spam policy. jangan confuse dua, dan jangan swing untuk opposite absolute either — “Tidak penalty” (terjemahan) “Tidak penalty” tidak berarti duplication dapat tidak pernah lead untuk tindakan; ini berarti ordinary duplication pada -nya own tidak trigger.

nyata costs dari duplicate konten

jika ada Tidak penalty, mengapa bother? sebuah handful dari indirect, mungkin costs — tidak guaranteed ones, dan tidak yang sama sebagai sebuah peringkat kehilangan:

1. Diluted / split sinyal. Ketika several URLs hold yang sama konten, sinyal peringkat scatter. Bing names them: “When several URLs contain the same content, signals such as clicks, links, impressions, and engagement are often diluted.” (terjemahan) “Saat beberapa URL memuat konten yang sama, sinyal seperti klik, tautan, tayangan, dan engagement sering kali terdilusi.”* Google’s own docs list yang sama idea lebih conditionally: consolidating sinyal adalah satu alasan untuk specify sebuah canonical, yang implies dilution adalah mungkin, tidak automatic — sebuah strong redirect atau canonical sinyal adalah apa sebenarnya mendapatkan split sinyal stacked onto satu URL.
2. ** wrong URL mendapatkan chosen — atau sebuah berbeda satu menampilkan untuk sebuah spesifik case.** Google clusters group dan selects sebuah representative canonical. jika Anda sinyal adalah mixed, ini dapat pick sebuah versi Anda tidak ingin — itu’s persis apa Search Console status “Duplicate, Google chose different canonical than user” (terjemahan) “Duplikat, Google memilih canonical yang berbeda dari pengguna”* adalah telling Anda. ini adalah tidak selalu sebuah single fixed pilihan, either: Google’s own guide untuk bagaimana Penelusuran berfungsi notes itu sebuah berbeda member dari cluster dapat masih mendapatkan disajikan ketika ini fits sebuah spesifik context better — sebuah particular device atau sebuah sempit kueri — so “duplicate” (terjemahan) “duplicate” tidak berarti “permanently excluded.” (terjemahan) “permanently excluded.”
3. crawling mendapatkan lebih sedikit efficient, tidak niscaya “wasted.” (terjemahan) “wasted.” Google’s canonicalization docs say ini melakukan crawl dipilih canonical sebagian besar regularly dan lainnya cluster members lebih sedikit sering, untuk reduce muat. itu’s sebuah relative cadence perubahan, tidak proof itu setiap duplicate pada setiap situs adalah burning sebuah material amount dari anggaran crawling — tetapi pada besar situs dengan sebuah lot dari duplication, ini melakukan tambahkan up, dan ini adalah juga di mana duplicate konten overlaps dengan anggaran crawling, right alongside faceted navigation dan spider traps.
4. pengukuran mendapatkan messier. Traffic, clicks, dan conversions split di seluruh URLs membuat ini harder untuk see bagaimana sebuah piece dari konten adalah sebenarnya performing — Google names “simplify tracking metrics” (terjemahan) “simplify tracking metrics” sebagai satu dari -nya own alasan untuk consolidate.

Bagaimana Google (dan Bing) tangani duplicates

mechanism adalah yang sama di keduanya mesin: detect → cluster → pick sebuah canonical.

Google’s 2008 post mendeskripsikan ini di pertama person: ketika mereka detect duplicate konten, such sebagai melalui variations disebabkan oleh parameter URL, mereka group duplicate URLs ke satu cluster, dan lalu select apa mereka think adalah best URL untuk mewakili cluster di hasil pencarian. rationale adalah tentang hasil variety — mereka ingin untuk tampilkan ten berbeda hasil pada sebuah halaman, tidak ten URLs dengan yang sama konten — dan Google tries untuk filter out duplicate documents so pengguna experience lebih sedikit redundancy. mereka juga flagged crawl cost: lebih time dan resources Googlebot spends crawling duplicate konten di seluruh multiple URLs, lebih sedikit time ini memiliki untuk mendapatkan untuk rest dari Anda konten.

Mueller memiliki described serving side too: jika Google menemukan persis yang sama informasi pada multiple halaman pada web, ketika seseorang searches ini tries untuk temukan best matching halaman dan tidak akan tampilkan semua dari itu halaman.

** 2025 AI-penelusuran twist.** Bing now frames yang sama model untuk LLM-driven penemuan: “LLMs group near-duplicate URLs into a single cluster and then choose one page to represent the set. If the differences between pages are minimal, the model may select a version that is outdated.” (terjemahan) “LLM mengelompokkan URL yang hampir duplikat ke dalam satu klaster lalu memilih satu halaman untuk mewakili kumpulan tersebut. Jika perbedaan ant halaman minimal, model dapat memilih versi yang sudah kedaluwarsa.”* So consolidation now juga melindungi Anda AI penelusuran visibilitas, tidak hanya blue tautan. itu’s sebuah fresh angle sebagian besar older duplicate-konten artikel jangan cover.

ini adalah topic’s hubungan untuk canonicalization: clustering dan choosing sebuah representative URL adalah canonicalization. Duplicate konten adalah masalah; canonicalization adalah proses itu resolves ini. dan ini adalah worth menjadi precise tentang apa “resolves it” (terjemahan) “resolves ini” berarti: Anda declared canonical adalah sebuah strong hint, tidak sebuah instruction, dan ini adalah collected sinyal — redirects, rel="canonical", tautan internal, sitemaps — itu Google weighs untuk pick representative. None dari them individually jaminan outcome.

Apa penyebab duplicate konten

Hampir semua dari ini adalah teknis. Di sini’s penuh taxonomy dari my Ahrefs guide, grouped:

Protocol & host variants

• HTTP vs. HTTPS
• non-www vs. www

URL variants & parameters

• Tracking parameters (UTM, dan seterusnya.)
• Session IDs di URLs
• Case-sensitive URLs (capitalization)
• Trailing slash vs. Tidak trailing slash

situs-fitur halaman

• Print-friendly URLs
• Mobile-spesifik URLs (m. subdomains)
• AMP URLs
• Faceted / filtered navigation
• Tag dan category (archive) halaman
• Attachment / image URLs (boilerplate)
• Paginated comments
• Internal hasil pencarian halaman
• Localization (sama-language regional variants)

Cross-situs

• Staging / dev environments itu mendapat terindeks
• Syndication dan scraped konten

pattern: tanyakan “bagaimana banyak berbeda URLs dapat reach ini sama konten?” (terjemahan) “bagaimana banyak berbeda URLs dapat reach ini sama konten?” setiap extra jawaban adalah sebuah duplicate. parameter URL adalah single sebagian besar prolific sumber, yang adalah mengapa mereka mendapatkan mereka own treatment.

Tidak semuanya itu looks like duplication adalah

sebuah sedikit cases mendapatkan miscalled “duplicate konten” (terjemahan) “duplicate konten” ketika right jawaban adalah sebenarnya “it bergantung” (terjemahan) “ini bergantung” — worth sebuah quick, terpisah lulus sebelum Anda touch apa pun:

• Filters, sorts, dan pagination. sebuah parameter tidak secara otomatis sebuah duplicate. Tracking dan session parameters (?utm_source=, ?sessionid=) buat genuinely equivalent konten dan seharusnya canonicalize untuk bersih URL. tetapi sebuah filter atau sort parameter dapat perubahan apa sebenarnya pada halaman — Google’s ecommerce URL guidance memperlakukan itu sebagai needing sebuah case-oleh-case look, tidak sebuah blanket canonical. Paginated halaman adalah sebuah terpisah case again: Google’s pagination guidance says setiap halaman di sebuah series seharusnya memiliki -nya own URL dan -nya own self-referencing canonical — canonicalizing setiap halaman back untuk halaman satu tidak recommended treatment.
• Product variants. Tidak universally duplicates either. Terpisah URLs untuk sebuah genuinely distinct color, size, atau configuration dapat help itu variant mendapatkan ditemukan pada -nya own; ini adalah equivalent paths dan redundant parameters pointing di yang sama inventory itu duplicate. Assess oleh intent — adalah ini sebuah halaman seseorang akan penelusuran untuk secara khusus? — tidak oleh fact itu ini adalah “sekadar a variant.” (terjemahan) “hanya sebuah variant.”
• Penuh translations. sebuah halaman translated ke sebuah berbeda language adalah tidak sebuah duplicate hanya karena template dan layout match — Google’s localized-versi guidance draws duplicate boundary di language, tidak layout. sama-language regional variants (en-us vs. en-gb) adalah ones itu dapat cluster sebagai near-duplicates; itu’s mengapa itu mendapatkan hreflang, tidak consolidation, further down ini halaman.
• sebuah crawler’s “near-duplicate %.” (terjemahan) “near-duplicate %.” situs-audit alat like Ahrefs dan Screaming Frog flag halaman di atas sebuah similarity threshold (sering menggunakan default untuk sesuatu like 90%). itu threshold adalah alat’s configurable diagnostic setting, tidak sebuah angka Google publishes atau applies — treat sebuah flagged pair sebagai sebuah prompt untuk bandingkan sebenarnya dirender utama konten, tidak sebagai sebuah verdict pada -nya own.

cara temukan duplicate konten

• Search Console — “Duplicate, Google chose different canonical than user.” (terjemahan) “Duplikat, Google memilih canonical yang berbeda dari pengguna.” ini adalah loudest sinyal Anda memiliki. ini berarti Google overrode Anda declared canonical. (I wrote sebuah seluruh Ahrefs piece pada ini status — biasa penyebab adalah duplicate/similar konten, canonical chains atau loops, canonical-tag typos, untranslated international konten, dan JS app-shell rendering.)
• sebuah situs crawler (Ahrefs situs Audit, Screaming Frog) flags duplicate atau near-duplicate halaman, duplicate judul, dan protocol/host/slash variants.
• site: searches untuk spot obvious cases — keduanya http dan https langsung, parameterized URLs terindeks, staging subdomains itu escaped.
• Reachability periksa. untuk sebuah penting halaman, manually try variants (http/https, www/non-www, trailing slash, uppercase) dan see apa resolves dengan sebuah 200 alih-alih mengalihkan.
• Bandingkan dirender konten, tidak hanya mentah HTML. Google indeks apa renders — JavaScript disertakan — so dua URLs dengan berbeda sumber tetapi identical dirender output dapat masih cluster, dan dua URLs dengan similar-looking mentah HTML tetapi berbeda dirender konten (personalization, empty status, error templates) dapat tidak. Ketika di doubt, periksa apa sebenarnya memuat di sebuah browser.

cara perbaiki duplicate konten (di order dari preference)

order di bawah adalah sebuah berguna default, tetapi nyata pertama pertanyaan adalah apa melakukan Anda sebenarnya ingin untuk happen untuk ini URL — karena right perbaiki mengikuti intent, tidak sebuah fixed universal peringkat:

• ingin duplicate hilang entirely dan traffic redirected? → 301.
• perlu untuk pertahankan ini reachable, tetapi ingin sebuah berbeda URL untuk mewakili ini di hasil? → rel="canonical".
• adalah ini sebenarnya sebuah distinct halaman itu mendapat wrongly clustered? → membuat ini genuinely berbeda, tidak sebuah perbaiki di semua — see penyebab di atas.
• ingin ini out dari Google’s indeks secara khusus, pada purpose? → noindex.

dengan itu framing di mind, di sini’s order, strongest/root-penyebab memperbaiki pertama, removal terakhir:

1. Perbaiki root penyebab / consolidate dengan 301 redirects. untuk protocol, host, slash, dan case variants, right perbaiki adalah untuk membuat hanya satu versi resolve dan 301 rest untuk ini. sebuah redirect adalah strongest consolidation sinyal Google memiliki — -nya docs panggil ini “A strong signal that the target of the redirect should become canonical.” (terjemahan) “Dokumentasi Google menyebutnya sinyal kuat bahwa target pengalihan harus menjadi canonical.”* Bing agrees: “Use 301 redirects to consolidate variants into a single preferred URL.” (terjemahan) “Gunakan pengalihan 301 untuk menggabungkan varian menjadi satu URL pilihan.”* ini adalah preferred perbaiki karena ini menghapus duplicate entirely dan melewati sinyal.

2. rel="canonical" — ketika Anda harus pertahankan duplicate reachable. jika duplicate memiliki untuk stay langsung (sebuah print versi, sebuah parameterized URL sebuah pengguna perlu), tambahkan sebuah tag canonical pointing di preferred URL. Google: “A strong signal that the specified URL should become canonical.” (terjemahan) “Google menyebutnya sinyal kuat bahwa URL yang ditentukan harus menjadi canonical.”* Note kata sinyal — ini adalah sebuah hint, tidak sebuah directive. Google dapat dan melakukan pick differently ketika lainnya sinyal conflict. (Lebih pada tag canonical / rel=canonical sebagai sebuah sibling topic.)

3. Parameter menangani & consistent internal linking. Tangani parameters consistently — canonical untuk bersih URL, dan selalu tautan internally untuk satu canonical versi. (Google’s old GSC parameter URL alat adalah retired di 2022, so Anda tangani parameters melalui canonical / robots / internal linking now, tidak sebuah dashboard setting.) Including sebuah URL di Anda sitemap adalah sebuah weak sinyal itu helps ini become canonical, so pertahankan sitemaps untuk canonical URLs hanya.

4. noindex — hanya ketika Anda truly ingin halaman hilang. noindex menghapus sebuah halaman; ini melakukan tidak consolidate sinyal untuk Anda preferred URL cara sebuah 301 atau canonical melakukan. So reach untuk ini hanya ketika Anda genuinely ingin itu halaman out dari indeks (sebuah thin internal-hasil pencarian halaman, say) — tidak sebagai sebuah default duplicate perbaiki. menggunakan noindex di mana Anda wanted consolidation throws away sinyal alih-alih merging them.

Worth sebuah bersih pembedaan di sini: robots.txt dan Search Console’s URL Removal alat adalah tidak canonicalization metode either, bahkan though mereka tampilkan up di sama conversations. Blocking sebuah URL di robots.txt berhenti Googlebot dari seeing halaman di semua, yang berarti ini dapat’t menjadi evaluated atau folded ke sebuah cluster — ini tidak map satu duplicate onto sebuah preferred URL. Removal hides sebuah URL dari hasil temporarily; ini tidak consolidate apa pun. Reach untuk noindex (atau sebuah redirect, atau sebuah canonical) ketika goal adalah consolidation.

5. hreflang untuk localized variants. untuk sama-language regional variants (en-us vs en-gb), hreflang relates versi so right satu adalah ditampilkan untuk right audience. ini tidak lift rankings dan ini tidak sebuah consolidation alat — ini hanya menampilkan correct regional versi. (See SEO internasional.)

6. Syndication — dan ini satu changed. Republishing tidak risky jika hubungan adalah siapkan right. Google’s spam policies masih carve syndication out explicitly — “News publications itu memiliki syndicated news konten dari other news publications” (terjemahan) “News publications itu memiliki syndicated news konten dari lainnya news publications” adalah named sebagai tidak menjadi abuse — so risk adalah tidak pernah syndication itself.

tetapi recommended mechanism memiliki moved pada dari canonical-pertama advice I (dan sebagian besar dari industry, including my older Ahrefs guide) digunakan untuk memberikan. Google’s saat ini canonicalization troubleshooting guidance Tidak lebih lama memperlakukan rel="canonical" sebagai utama cara untuk pertahankan sebuah syndication partner’s copy dari competing dengan Anda original — karena dalam praktik, syndicated halaman sering differ cukup (berbeda template, ditambahkan intro, ads, related tautan) itu Google tidak selalu honor canonical back untuk Anda. Apa Google now mendeskripsikan sebagai sebagian besar effective adalah memiliki Anda syndication partner block mereka copy dari menjadi terindeks (mereka own noindex, atau mempertahankan ini out dari mereka sitemap) alih-alih relying pada sebuah canonical pointing back di Anda.

Practically: masih tanyakan Anda syndication partner untuk canonical back untuk Anda jika mereka akan — ini tidak hurt, dan ini masih helps ketika halaman adalah close untuk identical. tetapi jika Anda sebenarnya control risk dari sebuah partner’s copy outranking Anda original, lebih reliable tanyakan adalah untuk them untuk pertahankan mereka copy out dari indeks entirely, tidak hanya canonical ini. ini adalah sebuah genuine perbarui untuk older “canonical atau noindex, either berfungsi” (terjemahan) “canonical atau noindex, either berfungsi” advice, so jika Anda siapkan syndication sebuah sementara back pada canonical alone, ini adalah worth revisiting dengan partners di mana ini penting.

Duplicate konten myths, debunked

• “ada a duplicate konten penalty.” (terjemahan) “ada sebuah duplicate konten penalty.” Tidak. Google: “ada Tidak such hal sebagai a ‘duplicate konten penalty.’” (terjemahan) “ada Tidak such hal sebagai sebuah ‘duplicate konten penalty.’” Bing: ini “tidak trigger penelusuran penalties pada its own.” (terjemahan) “tidak trigger penelusuran penalties pada -nya own.” Penalties = deceptive/scaled abuse hanya.
• “Jika dua halaman adalah >X% similar, Anda mendapatkan penalized.” (terjemahan) “jika dua halaman adalah >X% similar, Anda mendapatkan penalized.” Tidak. tidak ada similarity-percentage threshold itu triggers sebuah penalty. mesin cluster dan pick sebuah canonical; mereka jangan dock poin untuk sebuah similarity score. (Matt Cutts setelah put ini itu di suatu tempat antara 25% dan 30% dari konten pada web adalah duplicative — ini adalah wajar dan yang diharapkan.)
• “Quoting sources atau repeating boilerplate hurts Anda.” (terjemahan) “Quoting sources atau repeating boilerplate hurts Anda.” Tidak. Footers, disclaimers, product specs, dan quoting lainnya sources adalah wajar repetition itu mesin expect.
• “Memiliki keduanya http:// dan https:// (atau www dan non-www) langsung mendapatkan Anda penalized.” (terjemahan) “Memiliki keduanya http:// dan https:// (atau www dan non-www) langsung mendapatkan Anda penalized.” Tidak penalty — tetapi ini adalah sebuah nyata sinyal-splitting masalah. Perbaiki ini dengan sebuah 301 untuk preferred versi, out dari efficiency, tidak fear.
• “A canonical tag jaminan itu canonical.” (terjemahan) “sebuah tag canonical jaminan canonical.” Tidak. rel="canonical" adalah sebuah strong sinyal/hint, tidak sebuah directive; sebuah 301 adalah stronger; conflicting sinyal dapat membuat Google choose differently — yang adalah persis “Duplicate, Google chose different canonical than user.” (terjemahan) “Duplikat, Google memilih canonical yang berbeda dari pengguna.”
• “noindex adalah itu go-untuk duplicate perbaiki.” (terjemahan) “noindex adalah perbaikan utama untuk duplikasi.” biasanya wrong. ini menghapus sebuah halaman; ini tidak consolidate. Prefer 301 / canonical; gunakan noindex hanya untuk sebenarnya hapus.

Bottom line

ada Tidak penalty. ada dilution, wrong URL peringkat, dan wasted crawl — dan cure untuk semua three adalah yang sama: consolidate semuanya onto satu canonical URL, menggunakan strongest sinyal Anda reasonably dapat. dan jika Anda’d rather tidak sort melalui ini yourself, sebagai Google memiliki panjang mengatakan, Anda dapat let them tangani ini — mereka’ll cluster duplicates dan pick sebuah representative untuk Anda. I hanya prefer untuk membuat pilihan untuk them.

AI summary

sebuah condensed take pada Advanced versi:

• tidak ada umum duplicate konten penalty. Google (“Tidak such hal sebagai a duplicate konten penalty” (terjemahan) “Tidak such hal sebagai sebuah duplicate konten penalty”) dan Bing (“tidak trigger penelusuran penalties pada its own” (terjemahan) “tidak trigger penelusuran penalties pada -nya own”) keduanya say so. Google biasanya menangani ordinary duplication melalui deduplication dan canonical selection, tidak policy tindakan. Penalties hanya attach untuk deceptive, scaled abuse — scraping dan mass-republishing tanpa nilai (Google’s spam policies, “scaled konten abuse” (terjemahan) “scaled konten abuse”).
• ** nyata costs adalah indirect dan mungkin, tidak guaranteed:** (1) sinyal dilution — tautan, clicks, impressions dapat split di seluruh versi; (2) ** wrong URL chosen** untuk hasil, though sebuah non-canonical cluster member dapat masih sajikan di sebuah spesifik context; (3) lebih sedikit-efficient crawling — Google melakukan crawl canonical lebih sering, copies lebih sedikit; (4) messier pengukuran.
• mesin tangani ini: detect → cluster → pick sebuah canonical. Google groups duplicate URLs ke sebuah cluster dan selects sebuah representative dari collected sinyal (sebuah declared canonical adalah sebuah hint, tidak sebuah aturan). Bing now applies yang sama model untuk LLM/AI penelusuran — dan dapat surface sebuah outdated representative, so consolidation melindungi AI visibilitas too.
• sebagian besar duplication adalah teknis, tidak editorial: http/https, www/non-www, tracking params, session IDs, case, trailing slash, print/mobile/AMP URLs, faceted nav, archive halaman, internal penelusuran, staging, syndication.
• Tidak semuanya itu looks like duplication adalah: filters/sorts/pagination perlu sebuah konten-spesifik look, tidak sebuah blanket canonical; paginated halaman pertahankan mereka own canonicals; product variants dapat deserve mereka own URLs; penuh translations ke lainnya language tidak duplicates (sama-language regional variants dapat menjadi); sebuah crawler’s “near-duplicate %” (terjemahan) “near-duplicate %” adalah sebuah alat setting, tidak Google’s threshold.
• temukan ini dengan GSC “Duplicate, Google chose different canonical than user” (terjemahan) “Duplikat, Google memilih canonical yang berbeda dari pengguna” status, sebuah situs crawler, site: searches, reachability memeriksa, dan comparing dirender konten, tidak hanya mentah HTML.
• Perbaiki oleh intent, di roughly ini order: root penyebab / 301 (strongest) → rel="canonical" (sebuah hint, tidak sebuah directive) → parameter menangani + consistent internal linking → noindex hanya untuk truly hapus (ini tidak consolidate; neither melakukan robots.txt atau removal alat) → hreflang untuk localized variants → syndication, di mana Google’s saat ini guidance favors asking partner untuk noindex mereka copy di atas relying pada canonical alone.
• Myths killed: Tidak %-similarity trigger; boilerplate/quoting adalah fine; http+https keduanya langsung tidak sebuah penalty; sebuah tag canonical adalah sebuah sinyal, tidak sebuah jaminan; noindex tidak default duplicate perbaiki.

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• Apa adalah canonicalization — saat ini mechanics doc: utama-konten similarity, clustering, crawl cadence, dan context-spesifik serving exception. Mulai di sini untuk bagaimana detection sebenarnya berfungsi.
• Consolidate duplicate URLs / specify sebuah canonical — mengapa untuk specify sebuah canonical, bagaimana Google picks satu jika Anda tidak, dan metode di order dari sinyal strength (redirects > rel=canonical > sitemap). Mulai di sini untuk perbaiki hierarchy.
• Perbaiki canonicalization issues — saat ini syndication guidance (partner-side noindex di atas canonical-hanya), copycat/scraper remedies, dan scoped re-evaluation timing.
• di-depth guide untuk bagaimana Google Search berfungsi — rendering sebelum pengindeksan, clustering, dan mengapa sebuah non-canonical cluster member dapat masih mendapatkan disajikan di sebuah spesifik context.
• Designing sebuah struktur URL untuk ecommerce situs web — parameter dan product-variant guidance; mengapa sebuah parameter tidak secara otomatis sebuah duplicate.
• Pagination, incremental halaman memuat, dan mereka impact pada Google Search — setiap paginated halaman seharusnya memiliki -nya own URL dan self-referencing canonical.
• Tell Google tentang localized versi dari Anda halaman — duplicate boundary adalah language, tidak layout; reciprocal hreflang untuk sama-language regional variants.
• Spam policies — di mana penalties sebenarnya langsung: scaled konten abuse, scraping, dan syndication carve-out.
• Demystifying “duplicate content penalty” (terjemahan) “penalti konten duplikat” (2008) — original “Tidak penalty” (terjemahan) “Tidak penalty” post dan origin dari clustering framing.
• Menangani legitimate cross-domain konten duplication (2009) — older reference untuk syndication (canonical/noindex back untuk original); see saat ini troubleshooting doc di atas untuk diperbarui recommendation.
• Deftly dealing dengan duplicate konten (2006) — legacy definition dari duplicate konten.

Bing / Microsoft

• melakukan Duplicate konten Hurt SEO dan AI Penelusuran visibilitas? (Dec 2025) — Bing’s “Tidak penalty → diluted sinyal → cluster → pick satu” (terjemahan) “Tidak penalty → diluted sinyal → cluster → pick satu” model, extended untuk LLM/AI penelusuran. Memperbaiki named: tag canonical, 301s, hreflang, noindex, IndexNow.

Quotes dari sumber

pada—record statements dari Google dan Bing. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — ada Tidak penalty

• “There’s no such thing as a ‘duplicate content penalty.’ At least, not in the way most people mean when they say that.” (terjemahan) “ada Tidak such hal sebagai sebuah ‘duplicate konten penalty.’ setidaknya, tidak di cara sebagian besar orang berarti ketika mereka say itu.” — Google Search Central blog, Demystifying “duplicate content penalty” (terjemahan) “artikel tahun 2008 tentang penalti konten duplikat” (2008). Baca post
• “We don’t have a duplicate content penalty. It’s not that we would demote a site for having a lot of duplicate content.” (terjemahan) “kami jangan memiliki sebuah duplicate konten penalty. ini adalah tidak itu kami akan demote sebuah situs untuk memiliki sebuah lot dari duplicate konten.” — John Mueller, Google. Jump untuk quote

Google — di mana penalties sebenarnya langsung (spam policies)

• “Scaled content abuse is when many pages are generated for the primary purpose of manipulating search rankings and not helping users.” (terjemahan) “Scaled konten abuse adalah ketika banyak halaman adalah generated untuk utama purpose dari manipulating penelusuran rankings dan tidak helping pengguna.” — Google Search Essentials, spam policies. Jump untuk quote
• “Republishing content from other sites without adding any original content or value, or even citing the original source.” (terjemahan) “Republishing konten dari lainnya situs tanpa menambahkan apa pun original konten atau nilai, atau bahkan citing original sumber.” — Google spam policies, listed sebagai abusive scraping. Jump untuk quote
• “Sites that violate our policies may rank lower in results or not appear in results at all.” (terjemahan) “situs itu violate kami policies dapat peringkat lebih rendah di hasil atau tidak muncul di hasil di semua.” Jump untuk quote
• Syndication carve-out: “News publications that have syndicated news content from other news publications.” (terjemahan) “News publications itu memiliki syndicated news konten dari lainnya news publications.” Jump untuk quote

Google — clustering & perbaiki hierarchy

• “If you don’t specify a canonical URL, Google will identify which version of the URL is objectively the best version to show to users in Search.” (terjemahan) “Jika Anda tidak menentukan URL canonical, Google akan mengidentifikasi versi URL yang secara objektif paling baik untuk ditampilkan kepada pengguna di Search.”* — Google Search Central docs. Jump untuk quote
• Redirects: “A strong signal that the target of the redirect should become canonical.” (terjemahan) “sebuah strong sinyal itu target dari redirect seharusnya become canonical.” Jump untuk quote
• rel="canonical": “A strong signal that the specified URL should become canonical.” (terjemahan) “Sinyal kuat bahwa URL yang ditentukan harus menjadi canonical.”* Jump untuk quote
• Sitemap inclusion: “A weak signal that helps the URLs that are included in a sitemap become canonical.” (terjemahan) “Penyertaan dalam sitemap adalah sinyal lemah yang membantu URL di dalamnya menjadi canonical.”* Jump untuk quote

Bing — sama model, plus AI-penelusuran angle

• “Duplicate content doesn’t trigger search penalties on its own, but it does reduce visibility by diluting authority.” (terjemahan) “Duplicate konten tidak trigger penelusuran penalties pada -nya own, tetapi ini melakukan reduce visibilitas oleh diluting authority.” — Bing Webmaster Blog (Dec 2025). Jump untuk quote
• “When several URLs contain the same content, signals such as clicks, links, impressions, and engagement are often diluted.” (terjemahan) “Saat beberapa URL memuat konten yang sama, sinyal seperti klik, tautan, tayangan, dan engagement sering kali terdilusi.”* Jump untuk quote
• “LLMs group near-duplicate URLs into a single cluster and then choose one page to represent the set. If the differences between pages are minimal, the model may select a version that is outdated.” (terjemahan) “URL yang hampir sama dikelompokkan LLM ke dalam satu klaster, lalu model memilih satu halaman sebagai wakilnya. Jika perbedaannya kecil, versi yang terpilih bisa sudah usang.”* Jump untuk quote

Duplicate konten audit checklist

berfungsi melalui ini untuk temukan dan resolve duplication pada sebuah situs:

• diperiksa Search Console untuk “Duplicate, Google chose different canonical than user” (terjemahan) “Duplikat, Google memilih canonical yang berbeda dari pengguna” dan “Duplicate without user-selected canonical” (terjemahan) “Duplicate tanpa pengguna-dipilih canonical” statuses.
• Confirmed hanya satu protocol resolves — http 301-redirects untuk https.
• Confirmed hanya satu host resolves — www dan non-www jangan keduanya kembalikan 200; satu 301s untuk lainnya.
• Confirmed satu trailing-slash convention dan consistent letter case — variants redirect alih-alih keduanya resolving.
• Tracking / session parameters (UTM, sort, session IDs) canonicalize untuk bersih URL.
• Print, mobile (m.), dan AMP variants poin sebuah canonical di main URL.
• Faceted / filtered navigation tidak generating dapat di-crawl duplicate URLs (canonical, robots, atau # alih-alih ?).
• Tag/category/archive dan internal hasil pencarian halaman tidak menjadi terindeks sebagai thin duplicates.
• Staging / dev subdomains adalah tidak terindeks (blocked atau noindex + auth).
• setiap penting halaman memiliki sebuah self-referencing canonical.
• tautan internal semua poin di single canonical versi (Tidak mixed protocol/host/slash tautan).
• Sitemaps list hanya canonical, dapat diindeks URLs.
• Localized variants adalah related dengan hreflang (tidak consolidated).
• Syndicated copies — tanyakan partner untuk noindex mereka copy ( lebih effective tanyakan per Google’s saat ini guidance); sebuah canonical back untuk Anda original adalah sebuah baik sekunder sinyal, tidak utama perbaiki.
• Filters, sorts, dan pagination adalah assessed oleh intent, tidak auto-canonicalized — paginated halaman setiap pertahankan mereka own canonical.

perbaiki hierarchy (di order dari preference)

Ketika Anda temukan duplication, berfungsi down ini list — strongest, root-penyebab memperbaiki pertama, removal terakhir. Pick highest option itu applies.

1. Perbaiki root penyebab / 301 redirect. best outcome adalah itu duplicate berhenti existing. untuk protocol, host, slash, dan case variants, membuat satu versi resolve dan 301 rest untuk ini. sebuah redirect adalah Google’s strongest consolidation sinyal (“a strong signal that the target of the redirect should become canonical” (terjemahan) “sinyal kuat bahwa target pengalihan harus menjadi canonical”) dan ini melewati sinyal along. Default di sini.

2. rel="canonical" — ketika duplicate harus stay reachable. dapat’t hapus duplicate (sebuah print view, sebuah needed parameter)? poin sebuah canonical di preferred URL. ini adalah sebuah strong hint, tidak sebuah directive — Google dapat masih choose differently, so back ini up dengan consistent tautan internal dan sebuah bersih sitemap.

3. Parameter menangani + consistent internal linking. Treat parameters consistently (canonical untuk bersih URL) dan selalu tautan untuk satu canonical versi internally. GSC parameter URL alat adalah hilang (2022), so ini adalah parameter lever now.

4. noindex — hanya ketika Anda truly ingin ini hilang. noindex menghapus; ini melakukan tidak consolidate. gunakan ini ketika halaman genuinely tidak seharusnya menjadi di indeks (thin internal-penelusuran halaman) — tidak pernah sebagai sebuah default duplicate perbaiki, karena ini discards sinyal alih-alih merging them.

5. hreflang — untuk localized variants. sama-language regional variants tidak benar-benar “duplicates untuk consolidate” (terjemahan) “duplicates untuk consolidate” — relate them dengan hreflang so right region sees right halaman. ini tidak lift rankings; ini routes right versi.

6. Syndication — tanyakan partner untuk block pengindeksan, tidak hanya canonical. Ketika others republish Anda, canonical back untuk Anda original masih helps dan adalah worth asking untuk — tetapi Google’s saat ini guidance says sebuah partner blocking mereka copy dari menjadi terindeks (mereka noindex) adalah lebih effective cara untuk pertahankan copy dari competing dengan Anda, since syndicated halaman sering differ cukup itu sebuah canonical alone tidak fully mencegah ini. ini memperbarui older “canonical atau noindex, take Anda pick” (terjemahan) “canonical atau noindex, take Anda pick” advice.

** satu-line decision aturan:** dapat I hapus duplicate? → 301. Tidak? → canonical. berbeda konten per region? → hreflang. ingin ini out entirely? → noindex. Reach untuk removal hanya ketika consolidation tidak apa Anda ingin. dan remember robots.txt / URL removal tidak pada ini list — mereka block atau hide, mereka jangan consolidate.

Penyebab → recommended perbaiki

Sinyal strength (Google’s order): 301 redirect (strong) > rel="canonical" (strong) > sitemap inclusion (weak). sebuah redirect beats sebuah canonical ketika mereka conflict.

Apa setiap alat melakukan

Remember: Tidak penalty ada — perbaiki duplication untuk consolidation dan crawl efficiency, tidak out dari fear.

Finding duplicate variants

Anda tidak perlu sebuah fancy alat untuk catch umum teknis duplicates — sebuah sedikit memeriksa temukan sebagian besar dari them.

site: searches (apa pun browser). Spot duplicates sudah di indeks:

site:example.com inurl:http://       # is the http version indexed?
site:example.com inurl:?              # parameterized URLs indexed?
site:staging.example.com             # did a staging subdomain escape?
site:example.com intitle:"Your Page Title"   # same title on multiple URLs?

periksa yang URL variants resolve dengan sebuah 200 (macOS / Linux). jika lebih daripada satu mengembalikan 200 alih-alih mengalihkan, Anda memiliki sebuah consolidation masalah:

for url in \
  "http://example.com/page" \
  "https://example.com/page" \
  "https://www.example.com/page" \
  "https://example.com/page/" \
  "https://example.com/Page"; do
  code=$(curl -s -o /dev/null -w "%{http_code}" -I "$url")
  echo "$code  $url"
done
# Want: one 200 (the canonical) and the rest 301 to it.

Windows (PowerShell) equivalent:

$urls = "http://example.com/page","https://example.com/page",
        "https://www.example.com/page","https://example.com/page/"
foreach ($u in $urls) {
  $r = Invoke-WebRequest -Uri $u -Method Head -MaximumRedirection 0 `
        -SkipHttpErrorCheck -ErrorAction SilentlyContinue
  "{0}  {1}" -f $r.StatusCode, $u
}

Baca declared canonical dari sebuah halaman untuk konfirmasi ini poin di mana Anda expect:

curl -s "https://example.com/page" | grep -i 'rel="canonical"'

untuk penuh-situs dedupe, let sebuah crawler melakukan ini — see alat tab.

alat untuk finding dan memperbaiki duplicates

• Google Search Console — halaman report. “Duplicate, Google chose different canonical than user” (terjemahan) “Duplikat, Google memilih canonical yang berbeda dari pengguna” dan “Duplicate without user-selected canonical” (terjemahan) “Duplicate tanpa pengguna-dipilih canonical” dan “Alternate page with proper canonical tag” (terjemahan) “Alternate halaman dengan proper tag canonical” statuses tell Anda persis bagaimana Google adalah treating Anda duplicates. Mulai di sini.
• pemeriksaan URL (GSC) — untuk apa pun URL, see pengguna-declared vs Google-dipilih canonical side oleh side.
• Ahrefs situs Audit — flags duplicate dan near-duplicate halaman, duplicate judul/meta, dan protocol/host/slash/case variants di satu crawl.
• Screaming Frog SEO Spider — crawl untuk surface duplicate konten (near-duplicate detection), canonical chains/loops, dan redirect issues.
• Ahrefs Webmaster alat — free crawl + audit untuk situs Anda verify.
• site: searches — zero-setup cara untuk see apa duplicates adalah sudah terindeks (see Scripts tab).
• Bing Webmaster alat — surfaces duplication patterns (e.g., identical judul) dan mendukung IndexNow untuk push changed/dihapus URLs so cluster memperbarui lebih cepat.

sebelum / setelah: three umum duplicate setups

sebuah simplified contoh untuk setiap dari three sebagian besar umum teknis duplicates pada ini halaman, menunjukkan apa rusak dan perbaiki.

1. Protocol + host variants keduanya resolving dengan 200

# Bad — four addresses all serve the same page, all return 200
http://example.com/guide          → 200
https://example.com/guide         → 200
http://www.example.com/guide      → 200
https://www.example.com/guide     → 200

apa wrong: setiap crawl dari apa pun dari ini four URLs adalah sebuah crawl dari “sama halaman” (terjemahan) “sama halaman” dari Google’s perspective, dan apa pun tautan dibangun untuk “wrong” (terjemahan) “wrong” satu tidak consolidate onto others. Sinyal split four cara alih-alih stacking pada satu.

# Clean — one canonical host/protocol, everything else 301s to it
http://example.com/guide          → 301 → https://www.example.com/guide
https://example.com/guide         → 301 → https://www.example.com/guide
http://www.example.com/guide      → 301 → https://www.example.com/guide
https://www.example.com/guide     → 200 (canonical, self-referencing <link rel="canonical">)

Perbaiki: ini adalah “perbaiki itu root penyebab / 301” (terjemahan) “perbaiki root penyebab / 301” langkah dari perbaiki hierarchy di atas — strongest sinyal karena ini menghapus duplicate outright.

2. sebuah tracking-parameter URL dengan wrong canonical

<!-- Bad — the parameterized URL canonicalizes to itself,
     so Google treats /product?utm_source=newsletter as its own page
     instead of folding it into the clean URL -->
<!-- served at https://example.com/product?utm_source=newsletter -->
<link rel="canonical" href="https://example.com/product?utm_source=newsletter" />

apa wrong: sebuah self-referencing canonical pada sebuah parameterized URL tells Google “this is the real page,” (terjemahan) “ini adalah nyata halaman,” yang defeats purpose — bersih URL dan setiap parameter variant (?utm_source=, ?sort=, ?ref=) setiap look like sebuah terpisah canonical candidate.

<!-- Clean — every parameter variant canonicalizes to the clean URL -->
<!-- served at https://example.com/product?utm_source=newsletter -->
<link rel="canonical" href="https://example.com/product" />

Perbaiki: ini adalah langkah 3, parameter menangani — canonical setiap parameterized variant untuk bersih URL, dan tautan internally hanya untuk bersih URL.

3. sebuah syndicated copy dengan Tidak hubungan back untuk original

<!-- Bad — the syndicating site has no canonical or noindex pointing
     back to your original, so the copy competes with it in results -->
<!-- your article, republished on partner-site.com/your-article -->
<link rel="canonical" href="https://partner-site.com/your-article" />

<!-- Better, but not the most effective option on its own — the syndicated
     copy canonicals back to your original -->
<!-- your article, republished on partner-site.com/your-article -->
<link rel="canonical" href="https://example.com/your-article" />

<!-- Most effective per Google's current guidance — the partner keeps
     their copy out of the index entirely, so there's nothing to compete
     with your original at all -->
<!-- your article, republished on partner-site.com/your-article -->
<meta name="robots" content="noindex, follow" />

Perbaiki: ini adalah langkah 6 dari hierarchy — syndication tidak risky pada -nya own (Google’s spam policies explicitly carve out legitimate syndication). Di mana advice changed: sebuah canonical back untuk Anda helps tetapi tidak reliably mencegah partner’s copy dari competing, since syndicated halaman sering differ cukup itu Google dapat tidak honor ini. Asking partner untuk noindex mereka copy adalah lebih dependable perbaiki.

Prompts untuk duplicate-konten berfungsi

Ready-untuk-copy prompts untuk tasks pada ini halaman. Paste di Anda own URLs/HTML di mana indicated — verify output sebelum acting pada ini; models dapat misread parameter semantics.

Cluster sebuah URL list ke duplicate groups

Paste di: sebuah list dari URLs (dari sebuah crawl export, site: penelusuran, atau server logs). Expect back: URLs grouped ke duplicate clusters dengan sebuah suggested canonical untuk setiap group dan reasoning.

Here is a list of URLs from my site. Group them into clusters of URLs
that likely serve the same or near-duplicate content (protocol/host
variants, trailing slash, case, tracking parameters, print/mobile/AMP
versions). For each cluster, suggest which URL should be the canonical
and explain why, using the fix hierarchy: 301 redirect for pure
technical variants, rel=canonical for URLs that must stay reachable.

URLs:
[paste URL list here]

Audit tag canonical untuk conflicts

Paste di: mentah <head> HTML (atau hanya canonical/hreflang/redirect lines) untuk sebuah set dari halaman. Expect back: sebuah flagged list dari conflicts — self-referencing canonicals itu tidak seharusnya menjadi, canonicals pointing di mengalihkan URLs, atau canonical chains.

Here is the <head> markup for several pages on my site. Check the
rel="canonical" tags for problems: a canonical pointing at a URL that
itself redirects or 404s, a canonical chain (A canonicals to B, B
canonicals to C), a parameterized URL with a self-referencing
canonical instead of pointing at the clean URL, or a canonical
pointing cross-domain unintentionally. List each issue found with the
URL and a one-line explanation.

[paste head markup per URL here]

Decide perbaiki untuk sebuah parameter list

Paste di: sebuah list dari parameter URL seen di Search Console atau server logs (e.g. ?sort=, ?utm_source=, ?sessionid=, ?color=). Expect back: sebuah recommendation per parameter — canonicalize, noindex, atau block — berdasarkan apakah ini perubahan halaman konten.

Here are the URL parameters my site generates, with a short note on
what each one does. For each parameter, tell me whether the resulting
URL should (a) canonicalize to the clean URL because it doesn't change
the content meaningfully, (b) stay indexable as its own page because
it does change the content (e.g. a real filter a user would search
for), or (c) be blocked/noindexed because it's low-value (session IDs,
sort order, tracking tags). Explain the reasoning for each.

Parameters:
[paste parameter list and notes here]

Validation tests: melakukan consolidation sebenarnya take effect?

Jalankan ini setelah membuat sebuah duplicate-konten perbaiki — sebuah 301, sebuah canonical perubahan, atau sebuah parameter cleanup — untuk konfirmasi ini landed dan untuk know ketika untuk roll back.

1. Redirect resolves cleanly

Test untuk jalankan: curl -I pada setiap old variant (atau HTTP Status Checker) untuk URLs Anda consolidated. Yang diharapkan hasil: sebuah single 200 pada preferred URL, semuanya else sebuah direct 301 dengan sebuah Location header pointing straight di ini (Tidak chain). Failure interpretation: sebuah variant masih mengembalikan 200 ( redirect tidak ship) atau Location poin di lainnya mengalihkan URL (sebuah chain, yang weakens sinyal). Monitoring window: immediate — ini adalah checkable moment perubahan adalah langsung. Rollback trigger: apa pun variant masih resolving 200, atau sebuah rantai pengalihan dari lebih daripada satu hop.

2. tag canonical poin di mana Anda intend

Test untuk jalankan: Canonical Checker (atau curl -s <url> | grep 'rel="canonical"') pada parameterized/duplicate URL. Yang diharapkan hasil: declared canonical matches bersih/preferred URL persis (protocol, host, dan path — Tidak stray parameter). Failure interpretation: sebuah self-referencing canonical pada sebuah variant berarti perbaiki tidak applied; sebuah canonical pointing di sebuah mengalihkan atau 404ing URL berarti ini perlu untuk target akhir destination alih-alih. Monitoring window: immediate. Rollback trigger: canonical masih self-referencing pada variant, atau pointing di sebuah non-200 URL.

3. Google’s chosen canonical matches yours

Test untuk jalankan: Google Search Console → pemeriksaan URL pada affected URL — bandingkan “User-declared canonical” (terjemahan) “pengguna-declared canonical” terhadap “Google-selected canonical.” (terjemahan) “Google-dipilih canonical.” Yang diharapkan hasil: dua match. Failure interpretation: sebuah mismatch berarti Google adalah masih treating sebuah berbeda URL sebagai authoritative — biasanya sebuah sign redirect/canonical adalah too baru, atau lainnya sinyal (tautan internal, sitemap) masih poin di old URL. Monitoring window: 2–4 weeks setelah perbaiki ships dan halaman mendapatkan recrawled — ini adalah tidak instant. Rollback trigger: mismatch persists past 4–6 weeks dengan Tidak sign dari narrowing.

4. GSC duplicate-status count trends down

Test untuk jalankan: Search Console → halaman report → “Duplicate, Google chose different canonical than user” (terjemahan) “Duplikat, Google memilih canonical yang berbeda dari pengguna” count, tracked di atas time (atau melalui Google Search Console CSV Analyzer jika Anda’re pulling data programmatically). Yang diharapkan hasil: affected URLs drop out dari itu status sebagai mereka mendapatkan recrawled. Failure interpretation: count holding steady atau rising berarti either perbaiki hasn’t propagated namun atau sebuah conflicting sinyal (tautan internal, sitemap entries) adalah masih pointing di non-preferred URL. Monitoring window: 2–4 weeks, since ini bergantung pada recrawl cadence. Rollback trigger: count masih unchanged setelah sebuah penuh recrawl cycle dengan Tidak explanation — worth re-memeriksa tautan internal dan sitemap sebelum assuming perbaiki adalah wrong.

Resources worth Anda time

My writing — utama sources untuk ini halaman

• Duplicate konten: Mengapa ini Happens dan cara Perbaiki ini — my penuh Ahrefs guide: menyelesaikan penyebab taxonomy dan perbaiki hierarchy ini halaman adalah dibangun pada.
• Myth dari Duplicate konten Penalty — my 2016 mesin pencari Land piece. ini halaman adalah effectively -nya modern successor; I’ve telah membuat ini argument untuk sebuah decade.
• Duplicate, Google Chose berbeda Canonical daripada pengguna — apa GSC status berarti, -nya penyebab, dan cara perbaiki ini.
• tag canonical dijelaskan — rel=canonical deep dive.
• Google menggunakan ~40 Canonicalization Sinyal — bagaimana Google sebenarnya picks representative URL.
• parameter URL: sebuah Menyelesaikan Guide untuk SEOs — paling prolific sumber dari duplicate URLs.

Official

• Google: Apa adalah canonicalization · Consolidate duplicate URLs · Perbaiki canonicalization issues (saat ini syndication guidance) · Spam policies · Menangani legitimate cross-domain duplication (older syndication reference).
• Bing: melakukan Duplicate konten Hurt SEO dan AI Penelusuran visibilitas? (Dec 2025).

dari sekitar industry

• r/TechSEO — community untuk canonical/duplicate debugging.
• Apa adalah Duplicate konten? (Semrush) — broad overview dari penyebab dan detection; berguna companion baca untuk alat-led workflows.
• Duplicate konten: Penyebab dan solusi (Yoast) — solid penyebab list dengan CMS-focused (terutama WordPress) guidance pada faceted nav dan archive halaman.
• Ultimate Guide untuk Duplicate konten SEO (Sitebulb) — deep teknis guide dengan baik coverage dari near-duplicate detection dan AI penelusuran impact.
• adalah Di sana sebuah Duplicate konten Penalty? (SISTRIX) — concise direct jawaban untuk myth pertanyaan.
• Google SEO Office Hours, Jan 31, 2021 — John Mueller pada Duplicate konten — mesin pencari Journal transcript dari Mueller’s “not a negative ranking factor” (terjemahan) “tidak sebuah negative peringkat factor” clarification.

Quotable lines worth mempertahankan

lines I reach untuk ketika seseorang insists ada sebuah penalty:

• John Mueller, Google — “We jangan memiliki a duplicate konten penalty. ini tidak itu we akan demote a site untuk memiliki a lot dari duplicate konten.” (terjemahan) “kami jangan memiliki sebuah duplicate konten penalty. ini adalah tidak itu kami akan demote sebuah situs untuk memiliki sebuah lot dari duplicate konten.” Sumber (my Ahrefs guide)
• Google (2008) — “ada Tidak such hal sebagai a ‘duplicate konten penalty.’ Di least, tidak di itu way paling orang berarti ketika they say itu.” (terjemahan) “ada Tidak such hal sebagai sebuah ‘duplicate konten penalty.’ di least, tidak di cara sebagian besar orang berarti ketika mereka say itu.” Sumber
• Me, di mesin pencari Land (2016) — “Duplicate konten adalah tidak grounds untuk action unless its intent adalah untuk manipulate penelusuran hasil.” (terjemahan) “Duplicate konten adalah tidak grounds untuk tindakan unless -nya intent adalah untuk manipulate hasil pencarian.” dan pada letting Google sort ini out: “Jika Anda jangan ingin untuk worry tentang sorting melalui duplication pada Anda site, Anda dapat let us worry tentang it alih-alih.” (terjemahan) “jika Anda tidak ingin untuk worry tentang sorting melalui duplication pada Anda situs, Anda dapat let us worry tentang ini alih-alih.” Sumber
• Bing (2025) — “Duplicate konten tidak trigger penelusuran penalties pada its own, tetapi it melakukan reduce visibility oleh diluting authority.” (terjemahan) “Duplicate konten tidak trigger penelusuran penalties pada -nya own, tetapi ini melakukan reduce visibilitas oleh diluting authority.” Sumber
• Matt Cutts, Google — itu di suatu tempat antara 25% dan 30% dari konten pada web adalah duplicative. Duplication adalah wajar dan yang diharapkan, tidak punishable. Coverage (mesin pencari Land)

Uji pemahaman Anda: Duplicate konten

Five quick pertanyaan pada duplicate konten dan myths sekitar ini. Pick sebuah jawaban untuk setiap, lalu periksa.

Log perubahan