Panduan Agentic Penelusuran

TL;DR — Agentic penelusuran adalah AI yang mengerjakan seluruh riset untuk seseorang, bukan sekadar menjawab satu pertanyaan. Alih-alih balasan cepat, AI ini menjalankan puluhan pencarian, membaca halaman nyata, lalu kembali dengan jawaban tertulis — kadang beberapa menit kemudian. Bayangkan jawaban cepat ChatGPT dibandingkan ChatGPT Deep Research yang menghilang selama sepuluh menit lalu mengembalikan laporan. Hal praktis yang perlu diketahui: sebagian agen menjelajah sebagai browser Chrome sungguhan, sehingga robots.txt tidak dapat menghentikannya.

Tiga lapisan penelusuran

“Agentic penelusuran” adalah pola produk yang terus berkembang, bukan arsitektur peringkat tunggal yang terstandarisasi. Evidence for this claim Deep-research products can perform multi-step web research and synthesize cited results. Scope: Documented product capabilities, not a universal definition or ranking architecture for agentic search. Confidence: high · Verified: 2026-07-14 OpenAI: Introducing deep research Sistem yang terdokumentasi dapat menjelajah, menyintesis, dan melakukan tindakan multi-langkah, tetapi perilakunya berbeda menurut produk dan rilis. Evidence for this claim The term agentic search covers an evolving set of vendor implementations whose tools and behavior can differ. Scope: Editorial synthesis from documented product behavior; implementations and releases may vary. Confidence: medium · Verified: 2026-07-14 OpenAI: Introducing deep research

Bayangkan penelusuran telah berkembang menjadi tiga lapisan yang bertumpuk:

1. Penelusuran tradisional. Anda mengetik kueri, Google mengembalikan daftar tautan, lalu Anda membaca dan memutuskan. Manusialah yang melakukan pekerjaan.
2. Penelusuran AI. Anda mengajukan pertanyaan, AI mengambil beberapa sumber dan menuliskan satu jawaban—AI Overview, balasan ChatGPT, atau jawaban Perplexity. AI membaca, Anda membaca ringkasannya.
3. Penelusuran agentic. Anda memberi AI sebuah tujuan—“bandingkan itu best project management tools untuk a 10-person agency dan tell me yang untuk pick” (terjemahan) “bandingkan alat manajemen proyek terbaik untuk agensi berisi 10 orang dan beri tahu mana yang harus dipilih”—lalu AI bekerja sendiri. AI merencanakan pekerjaan, menjalankan banyak pencarian, membuka dan membaca halaman nyata, mengubah pendekatan berdasarkan temuan, lalu menulis laporan (atau bahkan melakukan tindakan seperti mengisi formulir). Anda mungkin tidak pernah melihat langkah-langkah di antaranya.

Cara paling mudah mengingat hubungannya: semua agentic penelusuran adalah AI penelusuran, tetapi tidak semua AI penelusuran bersifat agentic. Agentic adalah subset yang berjalan dan bekerja sendiri selama beberapa waktu.

Contoh konkret

Produk yang sama, dua mode:

• ChatGPT, jawaban biasa: Anda menanyakan sesuatu, lalu AI menjawab dalam beberapa detik berdasarkan apa yang sudah “knows” (terjemahan) “diketahuinya”, mungkin ditambah pencarian web singkat. Satu putaran.
• ChatGPT Deep Research: Anda menanyakan hal yang sama, tetapi AI mengatakan perlu waktu dan menghabiskan beberapa menit untuk mencari, membaca, serta memeriksa silang puluhan sumber sebelum menulis jawaban terstruktur dengan sitasi.

Kedua mode itu adalah agentic penelusuran. Gemini Deep Research milik Google dan Deep Research milik Perplexity bekerja dengan cara yang sama.

Mengapa SEO perlu peduli

Dua alasan:

• Agen ini membaca halaman nyata Anda secara mendalam. Crawler tradisional memindai banyak halaman secara dangkal. Agen mungkin membaca 5–10 halaman dengan sangat teliti dan mengambil klaim spesifik. Menjadi salah satu dari sedikit halaman itu adalah permainan baru.
• Anda tidak selalu dapat mencegahnya. Versi “research crawler” (terjemahan) “crawler riset” (seperti milik Gemini) mengumumkan diri dan mengikuti robots.txt. Namun versi agentic browser—ChatGPT Agent dan Project Mariner Google—membuka browser Chrome nyata di cloud dan tampak persis seperti orang yang berkunjung. Tidak ada nama bot untuk diblokir, jadi robots.txt tidak berpengaruh.

Ingin rincian lengkap—setiap platform, tabel user-agent, dan sinyal konten yang benar-benar membantu? Beralih ke tab Advanced.

TL;DR — Agentic penelusuran adalah lapisan ketiga penelusuran (tradisional → AI → agentic): sistem yang menjalankan loop multi-langkah—Rencanakan → Cari → Baca → Evaluasi → cari ulang → sintesis/bertindak—selama beberapa menit, dengan 20–160+ kueri per sesi dan membaca isi halaman penuh, bukan snapshot cache. Untuk tujuan pengendalian, platform terbagi menjadi dua kubu. Crawler yang menyatakan diri (Gemini-Deep-Research, Claude-User) mematuhi robots.txt. Browser agentic (ChatGPT Agent, Project Mariner, Copilot Actions) menyalakan VM Chrome/Edge nyata tanpa user agent bot yang dinyatakan—robots.txt tidak dapat menyentuhnya; hanya kontrol sisi server atau RFC Web Bot Auth yang sedang berkembang yang dapat membantu. Imbalannya: lalu lintas rujukan AI berkonversi sekitar 42% lebih baik daripada non-AI, dan lalu lintas agentic adalah bagian dengan niat tertinggi.

Agentic penelusuran adalah lapisan ketiga, bukan pengganti

Deskripsi vendor saat ini mendukung riset multi-langkah dan penggunaan alat, bukan pengganti universal untuk pengambilan atau pemeringkatan. Evidence for this claim Deep-research products can perform multi-step web research and synthesize cited results. Scope: Documented product capabilities, not a universal definition or ranking architecture for agentic search. Confidence: high · Verified: 2026-07-14 OpenAI: Introducing deep research Diagram pipeline di sini adalah model penjelas, kecuali secara eksplisit didokumentasikan oleh penyedia. Evidence for this claim The term agentic search covers an evolving set of vendor implementations whose tools and behavior can differ. Scope: Editorial synthesis from documented product behavior; implementations and releases may vary. Confidence: medium · Verified: 2026-07-14 OpenAI: Introducing deep research

Model mental yang terus saya gunakan:

• Penelusuran tradisional mengembalikan tautan; manusia membaca dan memutuskan.
• Penelusuran AI (target GEO/AEO—AI Overviews, jawaban ChatGPT, Perplexity) mengembalikan satu jawaban yang disintesis dari konteks hasil pengambilan.
• Penelusuran agentic memecah tujuan menjadi sub-tugas, memilih alatnya sendiri, membaca halaman penuh, mengulangi proses berdasarkan hal yang dipelajari, lalu berakhir dengan laporan yang disintesis atau tindakan (pembelian, pemesanan, pengisian formulir).

Semrush merumuskan hubungan ini dengan baik: “All agentic penelusuran adalah AI penelusuran. Tidak all agentic penelusuran adalah itu hal yang sama sebagai AI penelusuran.” (terjemahan) “Semua agentic penelusuran adalah AI penelusuran. Tidak semua agentic penelusuran sama dengan AI penelusuran.” Versi singkat yang perlu diingat—semua agentic penelusuran adalah AI penelusuran; tidak semua AI penelusuran bersifat agentic. Tidak satu pun menggantikan SEO tradisional. Otoritas, kemampuan diindeks, dan data terstruktur tetap menjadi prasyarat; optimasi agentic menambahkan kelengkapan, keterbacaan mesin, dan kejelasan entitas di atasnya.

Cara kerja sistem agentic sebenarnya

Perbedaan utama dari RAG atau satu panggilan pengambilan adalah pengambilan terjadi di tengah penalaran, dalam sebuah loop:

Firecrawl menggambarkannya sebagai metode ketika agen “decides ketika untuk penelusuran, formulates itu query dari context, membaca sebenarnya halaman konten dari setiap hasil, dan evaluates apa it ditemukan sebelum deciding apakah untuk synthesize atau penelusuran again.” (terjemahan) “menentukan kapan harus mencari, merumuskan kueri dari konteks, membaca isi halaman sebenarnya dari setiap hasil, dan mengevaluasi temuannya sebelum memutuskan apakah akan menyintesis atau mencari lagi.” Konsekuensi praktisnya:

• Membaca halaman secara waktu nyata, bukan ringkasan yang sudah diindeks. Agen mengambil dan membaca konten langsung secara penuh. Kesegaran dan ketersediaan langsung lebih penting daripada penelusuran tradisional; agen tidak bekerja dari snapshot cache.
• Perumusan ulang kueri secara iteratif. Jika hasil sudah usang atau melenceng, agen menulis ulang kueri (misalnya menambahkan “2026” ketika menemukan dokumentasi yang sudah tidak berlaku), lalu mencoba lagi.
• Perantaian alat. Satu tugas dapat menggabungkan penelusuran web, eksekusi kode, pembacaan berkas, dan pengiriman formulir.

Berapa banyak pencarian per sesi

Ini bukan satu kueri. Volume menurut platform:

Riset SAGE Google menemukan bahwa agen AI rata-rata melakukan 4,9 langkah per kueri—mencari, membandingkan, dan mengevaluasi beberapa sumber sebelum memberikan hasil.

Platform agentic utama

OpenAI — Deep Research + ChatGPT Agent. Deep Research (o3-deep-research / o4-mini-deep-research) dibuat untuk “temukan, analyze, dan synthesize hundreds dari sources untuk create a comprehensive report di itu level dari a research analyst,” (terjemahan) “menemukan, menganalisis, dan menyintesis ratusan sumber untuk membuat laporan komprehensif setingkat analis riset,” dan OpenAI memperingatkan bahwa permintaan ini “can take a long time.” (terjemahan) “dapat memerlukan waktu lama.” ChatGPT Agent adalah penerus Operator—instans Chromium yang di-host di cloud, menjelajah web nyata, dan dapat menjalankan sekitar 10 tugas paralel. Bot pengambilannya (OAI-SearchBot, ChatGPT-User) dinyatakan; browser agentic-nya tidak.

Google — Gemini Deep Research + Project Mariner. Gemini Deep Research menjalankan loop eksplisit “Plan → Search → Read → Iterate → Output” (terjemahan) “Rencanakan → Cari → Baca → Ulangi → Keluarkan”—Google menjelaskannya sebagai proses yang “continuously refin[ing] its analysis, browsing the web by searching and finding interesting pieces of information then starting a new search based on what it’s learned, repeating this process multiple times before generating a comprehensive report.” (terjemahan) “terus menyempurnakan analisisnya, menjelajah web dengan mencari dan menemukan informasi menarik, lalu memulai pencarian baru berdasarkan yang dipelajarinya; proses ini diulang beberapa kali sebelum laporan komprehensif dibuat.” User agent Gemini-Deep-Research yang dinyatakan mematuhi robots.txt. Project Mariner adalah agen otomasi browser (hingga 10 tugas paralel) yang menjalankan sidik jari Chrome standar dari VM cloud dengan tanpa UA bot yang dinyatakan.

Perplexity — Deep Research / Sonar. Perplexity “performs dozens dari searches, membaca hundreds dari sources, dan reasons melalui itu material untuk autonomously deliver a comprehensive report” (terjemahan) “melakukan puluhan pencarian, membaca ratusan sumber, dan menalar materi untuk secara mandiri menghasilkan laporan komprehensif”—20–50 kueri dalam 2–4 menit. PerplexityBot yang dinyatakan mengatakan mematuhi robots.txt. Pada Agustus 2025, Cloudflare melaporkan pengamatan crawler yang tidak dinyatakan dan dikaitkan dengan Perplexity, yang mencapai konten meskipun ada arahan Tidak-crawl; Perplexity membantah laporan Cloudflare. Secara terpisah, dokumentasi Perplexity menyatakan Perplexity-User umumnya mengabaikan robots.txt karena mewakili pengambilan yang diminta pengguna.

Anthropic — Claude web penelusuran + computer gunakan. Claude-User (pengambilan yang dimulai pengguna secara real-time) mematuhi robots.txt. Saat Claude berjalan dalam mode computer gunakan, ia mengendalikan browser standar dan tidak mengeluarkan UA bot yang dideklarasikan — pola browser agentic yang sama dengan Mariner dan ChatGPT Agent.

Microsoft — Copilot + Copilot Actions. Pengambilan web yang mendasari Copilot menggunakan Bingbot, yang mematuhi robots.txt. Copilot Actions (penjelajahan agentic) menggunakan UA Edge/Chromium standar tanpa sinyal bot yang dinyatakan—tidak dapat dibedakan dari penjelajahan manusia pada lapisan UA.

User agent dan celah robots.txt

Bagian ini sering membingungkan orang, jadi berikut seluruh lanskapnya dalam satu tabel:

Kategori yang penting: crawler pelatihan dan bot indeks penelusuran mematuhi robots.txt; pengambil yang dipicu pengguna bervariasi (OpenAI mengaburkan posisi ChatGPT-User pada Desember 2025); dan browser agentic mengabaikannya berdasarkan desain.

Peringatan utama: browser agentic tidak dapat diblokir melalui robots.txt

robots.txt adalah direktif untuk crawler. Browser agentic—ChatGPT Agent, Project Mariner, Copilot Actions, dan Claude dalam mode computer-gunakan—menyalakan instans Chrome atau Edge nyata di dalam VM cloud. Browser ini tampil sebagai browser standar, tidak menyatakan identitas bot, dan diperlakukan sebagai proksi browser, bukan crawler. Jadi:

• Anda dapat memblokir crawler pelatihan (GPTBot, ClaudeBot) dan bot indeks penelusuran (OAI-SearchBot, Claude-SearchBot) melalui robots.txt.
• Anda tidak dapat memblokir browser agentic di sana. Browser tersebut tidak membacanya.

Satu-satunya hal yang bekerja terhadap lapisan browser agentic adalah kontrol sisi server (aturan rentang IP, pembatasan laju, manajemen bot di edge) dan RFC Web Bot Auth yang sedang berkembang—verifikasi agen secara kriptografis. ChatGPT Agent sudah menjadi sinyal awal: ia mengirim HTTP Message Signature ed25519 Signature-Agent: “https://chatgpt.com”, yang merupakan satu-satunya pengenal sisi server yang andal (dalam analitik biasa muncul sebagai “direct/(none)” (terjemahan) “langsung/(tidak ada)” pada kunjungan langsung, atau “Bing/organic” (terjemahan) “Bing/organik” ketika ditemukan melalui pencarian Bing).

Satu akibat yang patut dikatakan terus terang: memblokir GPTBot tidak menghentikan ChatGPT membaca halaman Anda secara real-time. GPTBot adalah crawler pelatihan. Deep Research dan ChatGPT Agent menjangkau konten Anda melalui mekanisme yang sepenuhnya berbeda.

Sinyal konten yang penting bagi AI agentic

Agen membaca halaman penuh dan mengevaluasinya berdasarkan kelengkapan, kemudahan dikutip, konsistensi, dan keterbacaan mesin. Berdasarkan riset, hal-hal yang benar-benar membantu adalah:

• Halaman komprehensif dengan satu sumber daya. Agen bekerja mendalam tetapi sempit — dapat membaca 5–10 halaman secara menyeluruh, bukan memindai ratusan halaman. Halaman yang menjawab satu topik (beserta pertanyaan turunannya) sepenuhnya jauh lebih berguna daripada lima halaman tipis. Kerangka ALM Corp: “Structure gives agents stable extraction points — a page with clear headings, labeled sections and consistent formatting is easier to quote accurately.” (terjemahan) “Struktur memberi agen titik ekstraksi yang stabil — halaman dengan judul jelas, bagian berlabel, dan format konsisten lebih mudah dikutip secara akurat.”
• Konten berotoritas, bersitasi, dan dapat dibaca mesin. Agen melakukan referensi silang ke sumber pihak ketiga dan basis pengetahuan, jadi sitasi eksternal membantu melewati ambang kepercayaan. Ini selaras dengan temuan saya untuk AI Overviews: penyebutan pada halaman yang banyak ditautkan berkorelasi ~0,70 (Spearman) dengan visibilitas AI — sinyal tunggal terkuat dalam studi itu, dan pola yang kemungkinan juga diandalkan retrieval agentic.
• Data terstruktur. JSON-LD tidak wajib untuk sitasi, tetapi meningkatkan akurasi ekstraksi — GPT-4 meningkat dari 16% menjadi 54% jawaban benar ketika konten memuat data terstruktur dalam satu pengujian bersitasi.
• Kecepatan. Data BrightEdge menunjukkan agen ChatGPT segera meninggalkan situs yang lambat dimuat — mereka kurang sabar daripada Googlebot, sehingga disiplin Core Web Vitals meluas ke konteks agentic. Konten juga harus dapat dijangkau tanpa eksekusi JavaScript.
• Kejelasan cakupan dan trade-off. Halaman yang menyatakan untuk siapa solusi ditujukan, untuk siapa tidak ditujukan, serta trade-off-nya lebih berguna bagi agen yang membuat daftar pendek daripada konten yang berusaha menarik semua orang.

Mengapa upaya ini layak: kualitas konversi

Angka lalu lintasnya kecil, tetapi kualitasnya tidak. Per Maret 2026, lalu lintas rujukan AI berkonversi sekitar 42% lebih baik daripada lalu lintas non-AI, dan lalu lintas penelusuran AI berkonversi sekitar 14,2% dibandingkan 2,8% dari Google. Lalu lintas agentic adalah subset lalu lintas AI—dan hampir pasti bagian dengan niat tertinggi karena agen baru mengarahkan pengguna ke halaman Anda setelah mengevaluasinya dibandingkan alternatif atas nama pengguna. Menjadi salah satu dari sedikit halaman yang dibaca agen, lalu menjadi halaman yang direkomendasikannya, sangat bernilai.

Cara memikirkannya: SEO → GEO → ASO

Perlakukan optimasi agentic sebagai lapisan ketiga yang ditumpuk di atas dua lapisan pertama, bukan pengganti. Fondasinya tidak berubah—otoritas, kemampuan diindeks, dan data terstruktur. Hal baru di atasnya: sumber daya satu topik yang komprehensif, keterbacaan mesin yang ketat, kejelasan entitas, sitasi eksternal, serta pengakuan bahwa robots.txt bukan lagi gambaran lengkap tentang kontrol akses. Lihat tab Checklists untuk langkah konkret.

Ringkasan AI

Ringkasan singkat versi Advanced:

• Agentic penelusuran adalah lapisan ketiga penelusuran: tradisional (tautan) → AI penelusuran (satu jawaban) → agentic (riset/tindakan multi-langkah otonom). “All agentic search is AI search. Not all AI search is agentic.” (terjemahan) “Semua agentic penelusuran adalah AI penelusuran. Tidak semua AI penelusuran bersifat agentic.”
• Agentic menjalankan loop, bukan satu kueri: Rencanakan → Cari → Baca → Evaluasi → cari ulang → sintesis/bertindak selama beberapa menit. Gemini Deep Research menjalankan sekitar 80–160 kueri per sesi; Perplexity 20–50; SAGE Google menemukan sekitar 4,9 langkah per kueri.
• Dua kubu kontrol. Crawler yang menyatakan diri (Gemini-Deep-Research, Claude-User) mematuhi robots.txt. Browser agentic (ChatGPT Agent, Project Mariner, Copilot Actions) menjalankan VM Chrome/Edge nyata tanpa UA bot yang dinyatakan—robots.txt tidak dapat memblokirnya.
• Peringatan utama: hanya kontrol sisi server atau RFC Web Bot Auth yang sedang berkembang yang menghentikan browser agentic. Header ed25519 Signature-Agent milik ChatGPT Agent adalah satu-satunya ID sisi server yang andal. Memblokir GPTBot ≠ menghentikan ChatGPT membaca halaman Anda.
• Cloudflare dan Perplexity berselisih tentang apa yang terjadi. Cloudflare melaporkan crawler yang tidak dinyatakan dan dikaitkan dengan Perplexity melewati arahan Tidak-crawl; Perplexity menyangkal tuduhan itu. Perlakukan episode tersebut sebagai sengketa yang dilaporkan, bukan temuan tuntas.
• Yang membantu: halaman satu topik yang komprehensif, sitasi eksternal (korelasi ~0,70 Spearman dengan visibilitas AI), data terstruktur, kecepatan (agen meninggalkan situs lambat), dan kejelasan cakupan.
• Mengapa perlu? Lalu lintas rujukan AI berkonversi ~42% lebih baik; penelusuran AI 14,2% dibandingkan 2,8% dari Google. Agentic adalah subset dengan niat tertinggi.

Dokumentasi resmi

Dokumentasi sumber utama dari pembuat platform.

OpenAI

• Panduan Deep Research — model o3-deep-research / o4-mini-deep-research, eksekusi latar belakang, dan akses alat.
• Bot & crawler OpenAI — string user agent lengkap untuk GPTBot, OAI-SearchBot, dan ChatGPT-User.
• Memperkenalkan ChatGPT Agent — browser agentic penerus Operator.

Google

• Gemini Deep Research API docs — jumlah kueri, batas durasi, dan eksekusi latar belakang.
• Try Deep Research di Gemini — deskripsi bahasa sederhana Google tentang loop riset.

Anthropic

• Claude computer-gunakan tool — cara Claude mengendalikan browser/desktop dalam mode agentic.

Perplexity

• Sonar Deep Research — model API di balik Deep Research.
• Perplexity crawlers — PerplexityBot vs. Perplexity-User dan perilaku robots.txt yang mereka nyatakan.

Microsoft

• Bing Webmaster Tools — Bingbot mendukung pengambilan web Copilot; kontrol crawling berada di sini.

Kutipan dari sumber

Pernyataan tercatat dari pembuat platform dan peneliti yang mendokumentasikan perilaku mereka.

Google — loop Gemini Deep Research

• “Over itu course dari beberapa minutes, Gemini continuously refines its analysis, browsing itu web oleh searching dan finding interesting pieces dari information lalu starting a new penelusuran based pada apa ini learned, repeating ini proses multiple times sebelum generating a comprehensive report.” (terjemahan) “Selama beberapa menit, Gemini terus menyempurnakan analisisnya, menjelajah web dengan mencari dan menemukan informasi menarik, lalu memulai pencarian baru berdasarkan yang dipelajarinya; proses ini diulang beberapa kali sebelum laporan komprehensif dibuat.” — Google Blog. Sumber

OpenAI — untuk apa Deep Research digunakan

• Model Deep Research “find, analyze, and synthesize hundreds of sources to create a comprehensive report at the level of a research analyst.” (terjemahan) “menemukan, menganalisis, dan menyintesis ratusan sumber untuk membuat laporan komprehensif setingkat analis riset.” [unverified] — parafrasa posisi Deep Research OpenAI; konfirmasikan terhadap dokumen langsung. Sumber

Perplexity — cara kerja Deep Research

• “Perplexity performs dozens dari searches, membaca hundreds dari sources, dan reasons melalui itu material untuk autonomously deliver a comprehensive report.” (terjemahan) “Perplexity melakukan puluhan pencarian, membaca ratusan sumber, dan menalar materi untuk secara mandiri menghasilkan laporan komprehensif.” — Perplexity Blog. Sumber

Cloudflare — crawler tersembunyi Perplexity

• “Keduanya mereka declared dan undeclared crawlers adalah attempting untuk access itu konten untuk scraping contrary untuk itu web crawling norms sebagai outlined di RFC 9309.” (terjemahan) “Crawler mereka yang dinyatakan maupun tidak dinyatakan berusaha mengakses konten untuk scraping, bertentangan dengan norma crawling web sebagaimana diuraikan dalam RFC 9309.” — Cloudflare. Sumber

Firecrawl — mendefinisikan agentic penelusuran

• Agentic penelusuran adalah metode ketika agen “decides ketika untuk penelusuran, formulates itu query dari context, membaca sebenarnya halaman konten dari setiap hasil, dan evaluates apa it ditemukan sebelum deciding apakah untuk synthesize atau penelusuran again.” (terjemahan) “menentukan kapan harus mencari, merumuskan kueri dari konteks, membaca isi halaman sebenarnya dari setiap hasil, dan mengevaluasi temuannya sebelum memutuskan apakah akan menyintesis atau mencari lagi.” — Firecrawl Blog. Sumber

ALM Corp — hal yang dihargai agen

• “Structure memberikan agents stable extraction points — a halaman dengan clear headings, labeled sections dan consistent formatting adalah easier untuk quote accurately.” (terjemahan) “Struktur memberi agen titik ekstraksi yang stabil—halaman dengan judul jelas, bagian berlabel, dan format konsisten lebih mudah dikutip secara akurat.” — ALM Corp. Sumber

Semrush — perbedaan lapisan

• “All agentic search is AI search. Not all AI search is agentic.” (terjemahan) “Penelusuran berbasis agen selalu termasuk penelusuran AI, tetapi kategori AI tidak selalu menggunakan agen.” [unverified] — parafrasa kerangka Semrush; konfirmasikan redaksi persis terhadap tulisan langsung. Sumber

Checklist optimasi agentic penelusuran

Lakukan pemeriksaan untuk memastikan agen dapat menemukan, membaca, mempercayai, dan mengutip Anda—serta Anda dapat melihatnya saat mereka melakukannya:

• Halaman satu topik yang komprehensif. Setiap topik penting memiliki satu halaman yang menjawabnya sepenuhnya (termasuk pertanyaan turunannya), bukan beberapa halaman tipis. Agen membaca secara mendalam, bukan luas.
• Sumber bersitasi dan otoritas eksternal. Klaim dapat ditelusuri; Anda disebut di halaman pihak ketiga yang banyak ditautkan dan berotoritas (sinyal visibilitas AI terkuat yang saya ukur).
• Data terstruktur tersedia. JSON-LD (Organization, FAQPage, Product, dan sebagainya) agar agen mengekstrak fakta secara akurat tanpa menebak.
• Kejelasan cakupan dan trade-off. Halaman menyatakan untuk siapa solusi ditujukan, untuk siapa tidak, serta trade-off-nya—lebih mudah bagi agen yang membuat daftar pendek.
• Dapat dijangkau tanpa JavaScript dan cepat. Konten inti berada di HTML mentah; halaman dimuat cepat (agen meninggalkan situs lambat lebih cepat daripada Googlebot).
• Kontrol akses sisi server, bukan hanya robots.txt. Jika perlu membatasi akses, gunakan aturan rentang IP atau manajemen bot edge—browser agentic mengabaikan robots.txt.
• robots.txt tetap dikonfigurasi untuk bot yang dideklarasikan. Tentukan strategi pelatihan (GPTBot, ClaudeBot), pengambilan (OAI-SearchBot, Claude-SearchBot), dan riset mendalam (Gemini-Deep-Research).
• Pantau crawler agentic di log server. Cari UA deep-research yang dideklarasikan dan header Signature-Agent (satu-satunya ID andal ChatGPT Agent); ingat bahwa kunjungan agen langsung dapat muncul sebagai “direct/(none)” (terjemahan) “langsung/(tidak ada)” di analitik.

Referensi user agent AI agentic—lembar contekan

Aturan satu baris: crawler dan bot penelusuran yang dideklarasikan mematuhi robots.txt; browser agentic (VM Chrome/Edge nyata) tidak — blokir di sisi server atau melalui Web Bot Auth.

Kesalahan agentic penelusuran

Menganggap robots.txt mengendalikan setiap agen

Sebagian sistem agentic menjelajah melalui infrastruktur browser biasa, bukan identitas crawler yang dideklarasikan. Gunakan aturan robots untuk bot yang mematuhinya, tetapi jangan menganggap berkas itu sebagai batas kontrol akses.

Designing hanya untuk satu-shot jawaban

Agen dapat membandingkan, mengunjungi kembali, memfilter, dan menyelesaikan tugas multi-langkah. Buat navigasi, formulir, status, harga, kebijakan, dan hubungan entitas cukup eksplisit agar tetap berfungsi sepanjang alur yang lebih panjang.

Menyembunyikan fakta penting di balik interaksi rapuh

Agen tidak dapat menggunakan informasi secara andal jika informasi itu hanya muncul setelah gestur yang tidak dapat diakses, status canvas, atau tindakan klien yang tidak terdokumentasi. Pertahankan HTML semantik, URL stabil, label jelas, dan hasil yang dapat diverifikasi server.

Kerangka Temukan, Pahami, Bertindak, Verifikasi

1. Temukan: Halaman dan kemampuan penting memiliki tautan stabil atau titik masuk yang terdokumentasi dan dapat dibaca mesin.
2. Pahami: Entitas, batasan, harga, kebijakan, dan langkah berikutnya dinyatakan jelas dalam konten semantik.
3. Bertindak: Formulir dan alur kerja memiliki label eksplisit, kontrol yang dapat diprediksi, dan status kesalahan yang dapat dipulihkan.
4. Verifikasi: Tindakan yang selesai menghasilkan konfirmasi tahan lama yang dapat diperiksa pengguna atau agen sebelum melanjutkan.

Gunakan kerangka ini untuk meninjau perjalanan tugas secara menyeluruh. Halaman dapat mudah diambil tetapi tetap gagal ketika agen mencoba bertindak atau mengonfirmasi hasil.

Alat untuk pengalaman penelusuran yang dapat diakses agen

• SEO MCP Server — periksa contoh terbatas dan hanya-baca tentang pemaparan konten SEO yang dipublikasikan beserta kemampuan verifikasi langsung kepada agen.
• robots.txt Tester — verifikasi aturan crawler yang dideklarasikan dan identifikasi direktif yang menang, sambil mengingat bahwa agen berbasis browser biasa mungkin tidak menampilkan identitas crawler yang dapat dikendalikan.
• Alat pengembang browser — periksa nama semantik, urutan fokus, panggilan jaringan, status kesalahan, dan sinyal penyelesaian yang tahan lama di seluruh tugas.
• Log server — bedakan bot terdokumentasi, browser biasa, dan klien tak dikenal tanpa mengklaim bahwa setiap permintaan mengidentifikasi agen atau tujuannya.

Uji diri: Agentic penelusuran

Sumber yang layak Anda baca

Dokumentasi platform resmi

• OpenAI Deep Research dan OpenAI bots.
• Google Gemini Deep Research API dan tulisan peluncuran.
• Anthropic Claude computer gunakan.
• Perplexity Sonar Deep Research dan Perplexity crawlers.

Tulisan saya yang terkait

• Apa We Sebenarnya Know Tentang Optimizing untuk LLM Penelusuran — studi korelasi di balik temuan ~0,70 Spearman untuk penyebutan pada halaman berotoritas tinggi.
• Memenuhi itu New Web Crawlers: AI Bots Adalah Closing di pada Penelusuran Engine Bots — lanskap crawler yang terus berubah.

Dari sumber lain

• Cloudflare: Perplexity menggunakan crawler tersembunyi yang tidak dideklarasikan — tuduhan dan uraian teknis Cloudflare; Perplexity menyangkalnya.
• Simon Willison: user-agent agen ChatGPT — detail Signature-Agent / ed25519.
• Firecrawl: Apa itu agentic penelusuran — anatomi teknis loop.
• Semrush: Agentic penelusuran dan ALM Corp: Web Agentic Dijelaskan — kerangka strategi.
• Tidak Hacks: Lanskap AI User-Agent pada 2026 dan daftar user-agent crawler AI SEJ.
• BrightEdge: Agentic AI Activity Doubles — Adapt Anda SEO Strategy Now — data aktivitas agen ChatGPT yang berlipat ganda antara Juli–Agustus 2025 dan agen yang meninggalkan situs lambat lebih cepat daripada Googlebot.
• Seer Interactive: Cara mengetahui kapan Operator Agent OpenAI mengunjungi situs Anda — panduan praktis mengidentifikasi dan mengukur kunjungan browser agentic di analitik.
• Cloudflare: Dari Googlebot ke GPTBot — Siapa yang merayapi situs Anda pada 2025 — data volume crawl Cloudflare untuk bot AI yang dideklarasikan dibandingkan crawler penelusuran tradisional.
• Navoto: Optimasi Agentic Penelusuran — Panduan visibilitas AI Penelusuran pada 2026 — kerangka ASO praktis yang mencakup lapisan SEO → GEO → ASO dan sinyal konten.

Statistik yang layak dikutip

• Lalu lintas rujukan AI berkonversi ~42% lebih baik daripada non-AI (Maret 2026)—alasan utama visibilitas agentic layak diupayakan. Sumber
• Penelusuran AI berkonversi ~14,2% dibandingkan ~2,8% Google—lalu lintas agentic adalah subset lalu lintas AI dengan niat tertinggi. Sumber
• Gemini Deep Research: ~80 kueri per sesi (standar), ~160 (Max)—skala satu sesi riset agentic. Sumber
• Perplexity Deep Research: 20–50 kueri per sesi, 2–4 menit—sesi yang lebih ringan tetapi tetap multi-langkah. Sumber
• Korelasi Spearman ~0,70 antara penyebutan pada halaman yang banyak ditautkan dan visibilitas AI (Google AI Overviews)—temuan saya, dan kemungkinan bentuk sinyal kepercayaan agentic juga. Sumber
• Lalu lintas AI agentic tumbuh 1 300% dalam 8 bulan pertama 2025, dengan aktivitas agen ChatGPT saja berlipat ganda antara Juli dan Agustus 2025—bagian lalu lintas rujukan AI yang tumbuh paling cepat. Sumber

Log perubahan