에이전틱 검색

핵심 요약 — 에이전틱 검색은 질문 하나에 답하는 데 그치지 않고 사용자를 위해 조사 전체를 수행하는 AI입니다. 즉시 답하는 대신 수십 번 검색하고 실제 페이지를 읽은 뒤, 때로는 몇 분 후에 정리된 답변을 가져옵니다. ChatGPT가 바로 답하는 경우와 ChatGPT Deep Research가 10분 동안 조사한 뒤 보고서를 내놓는 경우를 비교하면 됩니다. 실무에서 알아둘 점은 일부 에이전트가 실제 Chrome 브라우저로 탐색하므로 robots.txt로 막을 수 없다는 것입니다.

검색의 세 가지 층

“Agentic search”(에이전틱 검색)는 하나로 표준화된 순위 결정 아키텍처가 아니라 발전 중인 제품 유형입니다. 이 주장에 대한 근거 Deep-research products can perform multi-step web research and synthesize cited results. 범위: Documented product capabilities, not a universal definition or ranking architecture for agentic search. 신뢰도: 높음 · 검증일: 2026-07-14 OpenAI: Introducing deep research 문서화된 시스템은 웹을 탐색하고 정보를 종합하며 여러 단계의 작업을 수행할 수 있지만, 동작은 제품과 버전에 따라 다릅니다. 이 주장에 대한 근거 The term agentic search covers an evolving set of vendor implementations whose tools and behavior can differ. 범위: Editorial synthesis from documented product behavior; implementations and releases may vary. 신뢰도: medium · 검증일: 2026-07-14 OpenAI: Introducing deep research

검색이 이전 층 위에 새로운 층을 쌓으며 세 단계로 발전했다고 생각하면 이해하기 쉽습니다.

1. 전통적인 검색. 검색어를 입력하면 Google이 링크 목록을 반환하고, 사람이 읽고 판단합니다. 작업을 수행하는 주체는 사람입니다.
2. AI 검색. 질문하면 AI가 자료를 가져와 하나의 답변을 작성합니다. AI Overview, ChatGPT 답변, Perplexity 답변이 여기에 해당합니다. AI가 자료를 읽고 사용자는 요약을 읽습니다.
3. 에이전틱 검색. AI에게 목표를 줍니다. 예를 들어 “compare the best project management tools for a 10-person agency and tell me which to pick”라는 목표입니다. 한국어로는 10명 규모의 에이전시에 적합한 프로젝트 관리 도구를 비교하고 무엇을 선택할지 알려 달라는 뜻입니다. AI는 스스로 계획을 세우고 여러 번 검색하며 실제 페이지를 열어 읽고, 발견한 내용에 따라 접근법을 바꿉니다. 마지막에는 보고서를 작성하거나 양식을 작성하는 등의 행동까지 수행합니다. 사용자는 중간 단계를 전혀 보지 못할 수도 있습니다.

관계를 가장 간단히 기억하는 방법은 에이전틱 검색은 모두 AI 검색이지만, AI 검색이 모두 에이전틱 검색은 아니라는 것입니다. 에이전틱 검색은 한동안 스스로 작업하는 AI 검색의 하위 유형입니다.

구체적인 예

같은 제품에도 두 가지 모드가 있습니다.

• ChatGPT의 일반 답변: 질문하면 이미 “knows”(알고 있는) 내용에 빠른 웹 검색 결과를 조금 더해 몇 초 만에 답합니다. 한 번에 처리합니다.
• ChatGPT Deep Research: 같은 질문에도 시간이 걸린다고 알린 뒤, 몇 분 동안 수십 개 출처를 검색하고 읽고 교차 확인한 후 인용이 포함된 구조적인 답변을 작성합니다.

두 번째 모드가 에이전틱 검색입니다. Google의 Gemini Deep Research와 Perplexity의 Deep Research도 같은 방식으로 작동합니다.

SEO 담당자가 관심을 가져야 하는 이유

이유는 두 가지입니다.

• 에이전트는 실제 페이지를 깊이 읽습니다. 전통적인 크롤러가 많은 페이지를 얕게 훑는다면, 에이전트는 5–10개 페이지를 매우 자세히 읽고 구체적인 주장을 추출할 수 있습니다. 그 소수의 페이지에 포함되는 것이 새로운 경쟁 과제입니다.
• 항상 접근을 막을 수 있는 것은 아닙니다. Gemini처럼 “research crawler”(조사용 크롤러) 형태인 경우에는 자신을 식별하고 robots.txt를 따릅니다. 하지만 ChatGPT Agent와 Google Project Mariner 같은 에이전틱 브라우저는 클라우드에서 실제 Chrome 브라우저를 열어 사람이 방문하는 것처럼 보입니다. 차단할 봇 이름이 없으므로 robots.txt가 작동하지 않습니다.

플랫폼별 설명, 사용자 에이전트 표, 실제로 도움이 되는 콘텐츠 신호까지 자세히 보려면 고급 탭으로 이동하세요.

핵심 요약 — 에이전틱 검색은 검색의 세 번째 층입니다. 전통적인 검색 → AI 검색 → 에이전틱 검색으로 이어지며, 계획 → 검색 → 읽기 → 평가 → 재검색 → 종합/실행의 여러 단계 루프를 몇 분 동안 수행합니다. 세션마다 20–160개 이상의 쿼리를 실행하고 캐시된 스냅샷이 아니라 페이지 전체 내용을 읽습니다. 접근 제어 관점에서 플랫폼은 두 유형으로 나뉩니다. 자신을 식별하는 크롤러인 Gemini-Deep-Research와 Claude-User는 robots.txt를 따릅니다. 에이전틱 브라우저인 ChatGPT Agent, Project Mariner, Copilot Actions는 봇 UA를 밝히지 않는 실제 Chrome/Edge VM을 실행하므로 robots.txt로 제어할 수 없습니다. 서버 측 제어나 개발 중인 Web Bot Auth RFC만 가능합니다. AI 유입 트래픽의 전환 성과는 비AI보다 약 42% 높으며, 에이전틱 트래픽은 그중 의도가 가장 강한 하위 집단이라는 것이 이 접근의 이점입니다.

에이전틱 검색은 대체재가 아니라 세 번째 층

현재 공급업체의 설명은 여러 단계의 조사와 도구 사용을 뒷받침할 뿐, 정보 검색이나 순위 결정을 보편적으로 대체한다는 뜻은 아닙니다. 이 주장에 대한 근거 Deep-research products can perform multi-step web research and synthesize cited results. 범위: Documented product capabilities, not a universal definition or ranking architecture for agentic search. 신뢰도: 높음 · 검증일: 2026-07-14 OpenAI: Introducing deep research 이 문서의 파이프라인 그림은 공급업체가 명시적으로 문서화했다고 밝힌 경우를 제외하면 설명용 모델입니다. 이 주장에 대한 근거 The term agentic search covers an evolving set of vendor implementations whose tools and behavior can differ. 범위: Editorial synthesis from documented product behavior; implementations and releases may vary. 신뢰도: medium · 검증일: 2026-07-14 OpenAI: Introducing deep research

제가 계속 활용하는 개념적 구분은 다음과 같습니다.

• 전통적인 검색은 링크를 반환하고 사람이 읽고 판단합니다.
• AI 검색은 GEO/AEO의 대상인 AI Overviews, ChatGPT 답변, Perplexity처럼 검색으로 가져온 맥락을 종합하여 하나의 답변을 반환합니다.
• 에이전틱 검색은 목표를 하위 작업으로 나누고 사용할 도구를 스스로 선택합니다. 전체 페이지를 읽고 배운 내용을 바탕으로 반복한 뒤, 종합 보고서 또는 행동으로 끝납니다. 구매, 예약, 양식 작성 등이 행동에 해당합니다.

Semrush는 이 관계를 다음과 같이 표현했습니다. “All agentic search is AI search. Not all agentic search is the same thing as AI search.” (한국어 풀이: 에이전틱 검색은 모두 AI 검색이지만, 모든 에이전틱 검색이 AI 검색과 같은 것은 아닙니다.) 핵심을 짧게 정리하면 에이전틱 검색은 모두 AI 검색이며, AI 검색이 모두 에이전틱 검색은 아닙니다. 어느 쪽도 전통적인 SEO를 대체하지 않습니다. 권위, 색인 가능성, 구조화된 데이터는 여전히 전제조건이며, 에이전틱 최적화는 그 위에 완전성, 기계 가독성, 명확한 엔티티 정보를 더합니다.

에이전틱 시스템의 실제 작동 방식

RAG나 한 번의 검색 호출과 구분되는 핵심은 추론 도중에 정보를 검색하며, 이를 반복한다는 점입니다.

Firecrawl은 에이전트가 다음과 같이 행동하는 방식이라고 설명합니다. “decides when to search, formulates the query from context, reads actual page content from each result, and evaluates what it found before deciding whether to synthesize or search again.” (한국어 풀이: 검색할 시점을 결정하고 맥락에 따라 쿼리를 만들며, 각 결과의 실제 페이지 내용을 읽고 발견한 내용을 평가한 뒤 종합할지 다시 검색할지 판단합니다.) 실무적으로는 다음과 같은 차이가 생깁니다.

• 미리 색인된 요약이 아니라 실시간 페이지를 읽습니다. 에이전트는 실제 콘텐츠 전체를 가져와 읽습니다. 전통적인 검색보다 최신성과 현재 접근 가능성이 중요하며, 캐시된 스냅샷을 바탕으로 작업하는 것이 아닙니다.
• 검색어를 반복해서 수정합니다. 결과가 오래되었거나 목표와 맞지 않으면 쿼리를 바꾸고 다시 검색합니다. 예를 들어 폐기된 문서가 나오면 검색어에 “2026”을 덧붙입니다.
• 여러 도구를 연결합니다. 하나의 작업에 웹 검색, 코드 실행, 파일 읽기, 양식 제출이 함께 사용될 수 있습니다.

세션당 검색 횟수

쿼리 한 번이 아닙니다. 플랫폼별 규모는 다음과 같습니다.

Google의 SAGE 연구에 따르면 AI 에이전트는 결과를 제공하기 전에 여러 출처를 검색하고 비교하며 평가하는 데 쿼리당 평균 4.9단계를 거칩니다.

주요 에이전틱 플랫폼

OpenAI — Deep Research + ChatGPT Agent. Deep Research(o3-deep-research / o4-mini-deep-research)의 목적은 “find, analyze, and synthesize hundreds of sources to create a comprehensive report at the level of a research analyst,” (한국어 풀이: 수백 개 출처를 찾고 분석하며 종합하여 조사 분석가 수준의 포괄적인 보고서를 만드는 것) 입니다. OpenAI는 요청이 “can take a long time.” (한국어 풀이: 오래 걸릴 수 있음) 이라고 경고합니다. ChatGPT Agent는 Operator의 후속 제품으로, 클라우드에 호스팅된 Chromium 인스턴스로 실제 웹을 탐색하며 약 10개 작업을 병렬 실행할 수 있습니다. 검색 봇인 OAI-SearchBot과 ChatGPT-User는 자신을 식별하지만 에이전틱 브라우저는 그렇지 않습니다.

Google — Gemini Deep Research + Project Mariner. Gemini Deep Research는 “Plan → Search → Read → Iterate → Output” (한국어 풀이: 계획 → 검색 → 읽기 → 반복 → 출력) 이라는 명시적인 루프를 실행합니다. Google의 설명은 “continuously refin[ing] its analysis, browsing the web by searching and finding interesting pieces of information then starting a new search based on what it’s learned, repeating this process multiple times before generating a comprehensive report.” (한국어 풀이: 분석을 계속 다듬으며 웹에서 흥미로운 정보를 찾고, 배운 내용을 바탕으로 새 검색을 시작하는 과정을 여러 번 반복한 뒤 포괄적인 보고서를 생성함) 입니다. 이 제품은 Gemini-Deep-Research 사용자 에이전트를 밝히고 robots.txt를 따릅니다. Project Mariner는 최대 10개 작업을 병렬 처리하는 브라우저 자동화 에이전트이며, 클라우드 VM에서 표준 Chrome 지문으로 실행되고 봇 UA를 밝히지 않습니다.

Perplexity — Deep Research / Sonar. Perplexity는 “performs dozens of searches, reads hundreds of sources, and reasons through the material to autonomously deliver a comprehensive report” (한국어 풀이: 수십 번 검색하고 수백 개 출처를 읽으며 자료를 추론하여 자율적으로 포괄적인 보고서를 제공함) 이라고 설명합니다. 2–4분 동안 20–50개 쿼리를 처리합니다. 자신을 식별하는 PerplexityBot은 robots.txt를 따른다고 밝힙니다. 2025년 8월 Cloudflare는 Perplexity의 것으로 추정한 미식별 크롤러가 크롤링 금지 지시에도 콘텐츠에 접근하는 것을 관찰했다고 보고했습니다. Perplexity는 Cloudflare의 설명에 이의를 제기했습니다. 이와 별개로 Perplexity 문서는 Perplexity-User가 사용자가 요청한 가져오기를 수행하므로 일반적으로 robots.txt를 무시한다고 설명합니다.

Anthropic — Claude 웹 검색 + 컴퓨터 사용. 사용자가 시작한 실시간 가져오기를 담당하는 Claude-User는 robots.txt를 따릅니다. Claude가 컴퓨터 사용 모드로 실행되면 표준 브라우저를 조작하며 봇 UA를 밝히지 않습니다. Mariner와 ChatGPT Agent와 같은 에이전틱 브라우저 유형입니다.

Microsoft — Copilot + Copilot Actions. Copilot의 기반 웹 검색은 robots.txt를 따르는 Bingbot을 사용합니다. 에이전틱 탐색을 담당하는 Copilot Actions는 봇 신호를 밝히지 않는 표준 Edge/Chromium UA를 사용하므로 UA 수준에서는 사람의 탐색과 구분되지 않습니다.

사용자 에이전트와 robots.txt의 빈틈

혼동하기 쉬운 부분이므로 전체 구도를 하나의 표로 정리했습니다.

중요한 구분은 다음과 같습니다. 학습 크롤러와 검색 색인 봇은 robots.txt를 따릅니다. 사용자 요청에 따른 가져오기 도구는 제품마다 다릅니다. OpenAI는 2025년 12월 ChatGPT-User의 입장을 조용히 불명확하게 만들었습니다. 에이전틱 브라우저는 설계상 이 파일을 무시합니다.

핵심 주의점: 에이전틱 브라우저는 robots.txt로 차단할 수 없음

robots.txt는 크롤러를 위한 지시입니다. ChatGPT Agent, Project Mariner, Copilot Actions, 컴퓨터 사용 모드의 Claude 같은 에이전틱 브라우저는 클라우드 VM 안에서 실제 Chrome 또는 Edge 인스턴스를 실행합니다. 표준 브라우저로 보이고 봇 식별 정보를 밝히지 않으며, 크롤러가 아닌 브라우저 프록시로 취급됩니다. 따라서 다음과 같습니다.

• robots.txt에서 학습 봇(GPTBot, ClaudeBot)과 검색 색인 봇(OAI-SearchBot, Claude-SearchBot)은 차단할 수 있습니다.
• 에이전틱 브라우저는 여기서 차단할 수 없습니다. 이 파일을 읽지 않기 때문입니다.

에이전틱 브라우저 계층에 효과가 있는 것은 서버 측 제어인 IP 범위 규칙, 속도 제한, 에지의 봇 관리와 개발 중인 Web Bot Auth RFC의 암호학적 에이전트 검증뿐입니다. ChatGPT Agent는 이미 초기 사례를 보여 줍니다. ed25519로 서명된 Signature-Agent: "https://chatgpt.com" HTTP Message Signature를 보내며, 이것이 서버 측에서 식별할 수 있는 유일하게 신뢰할 만한 정보입니다. 일반 분석에서는 직접 방문이 “direct/(none)“(직접/없음), Bing 검색을 거친 방문이 “Bing/organic”(Bing/자연 검색)으로 표시됩니다.

분명히 해 둘 결론이 있습니다. GPTBot을 차단해도 ChatGPT가 페이지를 실시간으로 읽는 것을 막지는 못합니다. GPTBot은 학습용 크롤러입니다. Deep Research와 ChatGPT Agent는 완전히 다른 방식으로 콘텐츠에 접근합니다.

에이전틱 AI에 중요한 콘텐츠 신호

에이전트는 전체 페이지를 읽고 완전성, 인용 가능성, 일관성, 기계 가독성을 평가합니다. 연구에서 도움이 되는 것으로 제시되는 항목은 다음과 같습니다.

• 하나의 주제를 포괄하는 단일 자료 페이지. 에이전트는 좁고 깊게 읽습니다. 수백 개를 훑기보다 5–10개 페이지를 자세히 읽을 수 있습니다. 주제와 그에 따른 하위 질문에 충분히 답하는 한 페이지가 내용이 얕은 다섯 페이지보다 훨씬 유용합니다. ALM Corp의 표현은 “Structure gives agents stable extraction points — a page with clear headings, labeled sections and consistent formatting is easier to quote accurately.” (한국어 풀이: 명확한 제목, 이름이 붙은 구역, 일관된 형식은 안정적인 추출 지점을 제공하여 정확하게 인용하기 쉽게 만듦) 입니다.
• 출처가 충실하고 권위 있으며 기계가 읽기 쉬운 콘텐츠. 에이전트가 외부 자료와 지식 기반을 교차 참조하므로 외부 인용은 신뢰 기준을 충족하는 데 도움이 됩니다. 이는 제가 AI Overviews에서 발견한 내용과도 맞습니다. 링크를 많이 받은 페이지에서의 언급은 AI 가시성과 약 0.70의 Spearman 상관관계를 보였으며, 해당 연구에서 가장 강한 단일 신호였습니다. 에이전틱 검색도 이 패턴에 의존할 것이라고 저는 예상합니다.
• 구조화된 데이터. JSON-LD는 인용에 필수는 아니지만 추출 정확도를 높입니다. 인용된 한 실험에서는 구조화된 데이터를 포함하자 GPT-4의 정답률이 16%에서 54%로 올랐습니다.
• 속도. BrightEdge 자료에 따르면 ChatGPT 에이전트는 느리게 로드되는 사이트를 즉시 포기하며, Googlebot보다 인내심이 적습니다. Core Web Vitals 관리가 에이전틱 환경에도 이어지는 이유입니다. 콘텐츠는 JavaScript 실행 없이도 접근할 수 있어야 합니다.
• 대상과 장단점의 명확성. 누구를 위한 해결책이고 누구에게는 적합하지 않은지, 어떤 장단점이 있는지를 밝힌 페이지가 모두에게 호소하려는 콘텐츠보다 에이전트의 후보 목록 작성에 유용합니다.

노력할 가치가 있는 이유: 전환의 질

트래픽 규모는 작지만 질은 그렇지 않습니다. 2026년 3월 기준으로 AI에서 유입된 트래픽은 비AI 트래픽보다 약 42% 더 잘 전환되며, AI 검색 트래픽의 전환율은 **약 14.2%, Google은 2.8%**입니다. 에이전틱 트래픽은 AI 트래픽의 하위 집단이며, 거의 확실히 그중 의도가 가장 강한 집단일 것입니다. 에이전트가 사용자를 대신해 대안을 평가한 뒤에야 페이지로 보내기 때문입니다. 에이전트가 읽는 소수의 페이지에 포함되고 최종 추천을 받는 것은 그 규모에 비해 가치가 큽니다.

SEO → GEO → ASO로 이해하기

에이전틱 최적화는 앞선 두 층을 대체하는 것이 아니라 그 위에 쌓는 세 번째 층으로 보세요. 권위, 색인 가능성, 구조화된 데이터라는 기초는 변하지 않습니다. 그 위에 주제를 포괄하는 단일 자료, 철저한 기계 가독성, 명확한 엔티티 정보, 외부 인용이 더해집니다. robots.txt만으로는 더 이상 완전한 접근 제어를 설명할 수 없다는 인식도 필요합니다. 구체적인 점검은 체크리스트 탭을 참고하세요.

AI 요약

고급 탭의 내용을 압축하면 다음과 같습니다.

• 에이전틱 검색은 검색의 세 번째 층입니다. 전통적 검색(링크) → AI 검색(하나의 답변) → 에이전틱 검색(자율적인 다단계 조사/행동)으로 이어집니다. “All agentic search is AI search. Not all AI search is agentic.” (한국어 풀이: 에이전틱 검색은 모두 AI 검색이지만 AI 검색이 모두 에이전틱 검색은 아닙니다.)
• 쿼리 한 번이 아니라 루프를 실행합니다. 계획 → 검색 → 읽기 → 평가 → 재검색 → 종합/실행을 몇 분 동안 반복합니다. Gemini Deep Research는 세션당 약 80–160개, Perplexity는 20–50개 쿼리를 실행합니다. Google SAGE 연구의 평균은 쿼리당 약 4.9단계입니다.
• 접근 제어상 두 유형입니다. 자신을 식별하는 Gemini-Deep-Research와 Claude-User는 robots.txt를 따릅니다. ChatGPT Agent, Project Mariner, Copilot Actions 같은 에이전틱 브라우저는 봇 UA를 밝히지 않는 실제 Chrome/Edge VM을 사용하므로 robots.txt로 막을 수 없습니다.
• 주의점: 서버 측 제어나 개발 중인 Web Bot Auth RFC만 에이전틱 브라우저를 막습니다. ChatGPT Agent의 ed25519 Signature-Agent 헤더가 서버 측에서 유일하게 신뢰할 만한 식별자입니다. GPTBot 차단은 ChatGPT의 실시간 읽기를 막는 것과 다릅니다.
• Cloudflare와 Perplexity의 주장은 서로 다릅니다. Cloudflare는 Perplexity의 것으로 추정한 미식별 크롤러가 크롤링 금지 지시를 우회했다고 보고했고, Perplexity는 이를 부인했습니다. 확정된 사실이 아니라 보도된 분쟁으로 다루세요.
• 도움이 되는 요소: 주제를 포괄하는 단일 페이지, 외부 인용(AI 가시성과 약 0.70 Spearman 상관관계), 구조화된 데이터, 속도(에이전트는 느린 사이트를 포기함), 명확한 대상 범위입니다.
• 기대 가치: AI 유입 트래픽의 전환 성과는 약 42% 높고, AI 검색의 전환율은 14.2%로 Google의 2.8%와 비교됩니다. 에이전틱 트래픽은 그중 의도가 가장 강한 하위 집단입니다.

공식 문서

플랫폼 제작자가 제공하는 일차 자료입니다.

OpenAI

• Deep Research 가이드 — o3-deep-research / o4-mini-deep-research 모델, 백그라운드 실행, 도구 접근을 설명합니다.
• OpenAI 봇과 크롤러 — GPTBot, OAI-SearchBot, ChatGPT-User의 전체 사용자 에이전트 문자열입니다.
• ChatGPT Agent 소개 — Operator의 후속 에이전틱 브라우저입니다.

Google

• Gemini Deep Research API 문서 — 쿼리 수, 소요 시간 한도, 백그라운드 실행을 설명합니다.
• Gemini에서 Deep Research 사용하기 — Google이 쉬운 말로 설명하는 조사 루프입니다.

Anthropic

• Claude 컴퓨터 사용 도구 — 에이전틱 모드에서 Claude가 브라우저와 데스크톱을 조작하는 방식을 설명합니다.

Perplexity

• Sonar Deep Research — Deep Research의 기반 API 모델입니다.
• Perplexity 크롤러 — PerplexityBot과 Perplexity-User의 차이 및 각 제품이 밝히는 robots.txt 동작입니다.

Microsoft

• Bing Webmaster Tools — Bingbot이 Copilot 웹 검색의 기반이며, 크롤링 제어를 여기에서 다룹니다.

출처 인용

플랫폼 제작자와 그 동작을 기록하는 연구자들이 공개적으로 밝힌 내용입니다.

Google — Gemini Deep Research 루프

• “Over the course of a few minutes, Gemini continuously refines its analysis, browsing the web by searching and finding interesting pieces of information then starting a new search based on what it’s learned, repeating this process multiple times before generating a comprehensive report.” (한국어 풀이: Gemini는 몇 분 동안 분석을 계속 다듬습니다. 웹을 검색해 흥미로운 정보를 찾고, 배운 내용을 바탕으로 새 검색을 시작하는 과정을 여러 번 반복한 뒤 포괄적인 보고서를 만듭니다.) — Google Blog. 출처

OpenAI — Deep Research의 목적

• Deep Research 모델의 목적은 “find, analyze, and synthesize hundreds of sources to create a comprehensive report at the level of a research analyst.” (한국어 풀이: 수백 개 출처를 찾고 분석하며 종합하여 조사 분석가 수준의 포괄적인 보고서를 만드는 것) 입니다. [unverified] — OpenAI의 Deep Research 설명을 바꾸어 표현한 것으로, 현재 원문 문서에서 확인해야 합니다. 출처

Perplexity — Deep Research의 작동 방식

• “Perplexity performs dozens of searches, reads hundreds of sources, and reasons through the material to autonomously deliver a comprehensive report.” (한국어 풀이: Perplexity는 수십 번 검색하고 수백 개 출처를 읽으며 자료를 추론하여 자율적으로 포괄적인 보고서를 제공합니다.) — Perplexity Blog. 출처

Cloudflare — Perplexity의 은밀한 크롤러

• “Both their declared and undeclared crawlers were attempting to access the content for scraping contrary to the web crawling norms as outlined in RFC 9309.” (한국어 풀이: 식별된 크롤러와 미식별 크롤러 모두 RFC 9309에 명시된 웹 크롤링 규범과 달리 스크래핑을 위해 콘텐츠에 접근하려 했다는 주장입니다.) — Cloudflare. 출처

Firecrawl — 에이전틱 검색의 정의

• 에이전틱 검색은 에이전트가 “decides when to search, formulates the query from context, reads actual page content from each result, and evaluates what it found before deciding whether to synthesize or search again.” (한국어 풀이: 검색할 시점을 결정하고 맥락에서 쿼리를 만들며, 각 결과의 실제 페이지를 읽고 발견한 내용을 평가한 뒤 종합할지 다시 검색할지 판단하는) 방식입니다. — Firecrawl Blog. 출처

ALM Corp — 에이전트가 선호하는 요소

• “Structure gives agents stable extraction points — a page with clear headings, labeled sections and consistent formatting is easier to quote accurately.” (한국어 풀이: 구조는 에이전트에 안정적인 추출 지점을 제공합니다. 명확한 제목, 이름이 붙은 구역, 일관된 형식이 있는 페이지는 정확히 인용하기 쉽습니다.) — ALM Corp. 출처

Semrush — 검색 층의 구분

• “All agentic search is AI search. Not all AI search is agentic.” (한국어 풀이: 에이전틱 검색은 모두 AI 검색이지만 AI 검색이 모두 에이전틱 검색은 아닙니다.) [unverified] — Semrush의 설명을 바꾸어 표현한 것입니다. 정확한 문구는 현재 원문 게시물에서 확인해야 합니다. 출처

에이전틱 검색 최적화 체크리스트

에이전트가 사이트를 찾고 읽고 신뢰하고 인용할 수 있는지, 그리고 그때 해당 방문을 관찰할 수 있는지 점검합니다.

• 하나의 주제를 포괄하는 페이지. 중요한 주제마다 내용이 얕은 여러 페이지 대신 해당 주제와 하위 질문에 충분히 답하는 페이지가 있습니다. 에이전트는 넓게보다 깊게 읽습니다.
• 출처 인용과 외부 권위. 주장의 출처가 명확하고, 링크를 많이 받은 권위 있는 외부 페이지에 사이트가 언급됩니다. 이는 제가 측정한 가장 강한 AI 가시성 신호입니다.
• 구조화된 데이터 구현. JSON-LD(Organization, FAQPage, Product 등)를 사용해 에이전트가 추측 없이 사실을 정확하게 추출하도록 합니다.
• 명확한 대상과 장단점. 누구를 위한 해결책이고 누구에게 적합하지 않은지, 어떤 장단점이 있는지 밝혀 에이전트의 후보 목록 작성을 돕습니다.
• JavaScript 없이 접근 가능하고 빠름. 핵심 콘텐츠는 원본 HTML에 있으며 페이지가 빨리 로드됩니다. 에이전트는 Googlebot보다 느린 사이트를 빨리 포기합니다.
• robots.txt뿐 아니라 서버 측 접근 제어. 접근을 제한해야 한다면 IP 범위 규칙이나 에지 봇 관리를 사용합니다. 에이전틱 브라우저는 robots.txt를 무시합니다.
• 식별된 봇에 대한 robots.txt도 올바르게 설정. 전략에 따라 학습(GPTBot, ClaudeBot), 검색(OAI-SearchBot, Claude-SearchBot), 심층 조사(Gemini-Deep-Research)를 구분해 결정합니다.
• 서버 로그에서 에이전틱 크롤러 관찰. 식별된 심층 조사 UA와 Signature-Agent 헤더를 모두 살핍니다. 이 헤더는 ChatGPT Agent의 유일하게 신뢰할 만한 식별자입니다. 에이전트의 직접 방문은 분석에서 “direct/(none)“(직접/없음)으로 표시될 수 있습니다.

에이전틱 AI 사용자 에이전트 참고표

한 줄 원칙: 자신을 식별하는 크롤러와 검색 봇은 robots.txt를 따르지만, 실제 Chrome/Edge VM인 에이전틱 브라우저는 그렇지 않습니다. 후자는 서버 측이나 Web Bot Auth로 차단하세요.

에이전틱 검색에서의 실수

robots.txt가 모든 에이전트를 제어한다고 가정하기

일부 에이전틱 시스템은 식별된 크롤러가 아니라 일반 브라우저 인프라를 통해 탐색합니다. 규칙을 따르는 봇에는 robots 규칙을 사용하되, 이 파일을 접근 제어의 경계로 설명하지 마세요.

한 번의 답변만을 위해 설계하기

에이전트는 비교하고 다시 방문하며 필터링하고 여러 단계의 작업을 끝낼 수 있습니다. 탐색, 양식, 상태, 가격, 정책, 엔티티 관계를 긴 작업 흐름에서도 이해할 수 있도록 명확하게 유지하세요.

불안정한 상호작용 뒤에 핵심 정보 숨기기

접근할 수 없는 제스처, 캔버스 상태, 문서화되지 않은 클라이언트 동작을 거친 뒤에만 나타나는 정보는 에이전트가 안정적으로 사용할 수 없습니다. 의미 구조가 있는 HTML, 안정적인 URL, 명확한 레이블, 서버에서 검증할 수 있는 결과를 유지하세요.

발견·이해·실행·검증 프레임워크

1. 발견: 중요한 페이지와 기능에 안정적인 링크나 문서화된 기계 판독용 진입점이 있습니다.
2. 이해: 엔티티, 제약, 가격, 정책, 다음 단계를 의미 구조가 있는 콘텐츠로 명확히 설명합니다.
3. 실행: 양식과 작업 흐름에 명시적인 레이블, 예측 가능한 조작 요소, 복구 가능한 오류 상태가 있습니다.
4. 검증: 완료된 행동은 사용자나 에이전트가 다음 단계로 가기 전에 확인할 수 있는 지속적인 완료 확인을 남깁니다.

이 프레임워크로 작업의 전체 여정을 검토하세요. 페이지를 쉽게 가져올 수 있어도 에이전트가 행동하거나 결과를 확인하려는 단계에서 실패할 수 있습니다.

에이전트가 이용할 수 있는 검색 경험을 위한 도구

• SEO MCP Server — 게시된 SEO 콘텐츠와 검증 기능을 에이전트에 직접 제공하는, 범위가 제한된 읽기 전용 예시를 살펴봅니다.
• robots.txt Tester — 식별된 크롤러의 규칙과 최종 적용되는 지시를 확인합니다. 다만 일반 브라우저 기반 에이전트는 제어 가능한 크롤러 식별 정보를 제공하지 않을 수 있습니다.
• 브라우저 개발자 도구 — 작업 전반의 의미 있는 이름, 포커스 순서, 네트워크 호출, 오류 상태, 지속적인 완료 신호를 살펴봅니다.
• 서버 로그 — 문서화된 봇, 일반 브라우저, 알 수 없는 클라이언트를 구분하되, 모든 요청으로 에이전트나 그 목적을 알아낼 수 있다고 주장하지 않습니다.

이해도 확인: 에이전틱 검색

참고할 만한 자료

공식 플랫폼 문서

• OpenAI Deep Research와 OpenAI 봇.
• Google Gemini Deep Research API와 출시 블로그 글.
• Anthropic Claude 컴퓨터 사용.
• Perplexity Sonar Deep Research와 Perplexity 크롤러.

이 주제에 관한 내 글

• What We Actually Know About Optimizing for LLM Search — 한국어 제목 풀이: LLM 검색 최적화에 관해 실제로 알려진 내용. 권위 있는 페이지에서의 언급과 약 0.70 Spearman 상관관계라는 결과를 뒷받침하는 상관관계 연구입니다.
• Meet the New Web Crawlers: AI Bots Are Closing in on Search Engine Bots — 한국어 제목 풀이: 새로운 웹 크롤러, 검색엔진 봇을 따라잡는 AI 봇. 변화하는 크롤러 구도를 다룹니다.

다른 사람들의 자료

• Cloudflare: Perplexity가 은밀한 미식별 크롤러를 사용한다는 주장 — Cloudflare의 주장과 기술적 설명이며, Perplexity는 이를 부인했습니다.
• Simon Willison: ChatGPT Agent의 사용자 에이전트 — Signature-Agent / ed25519의 세부 사항입니다.
• Firecrawl: 에이전틱 검색이란 — 루프의 기술적 구성을 설명합니다.
• Semrush: 에이전틱 검색과 ALM Corp: 에이전틱 웹 설명 — 전략적 관점을 제시합니다.
• No Hacks: 2026년 AI 사용자 에이전트 구도와 SEJ의 AI 크롤러 사용자 에이전트 목록.
• BrightEdge: 에이전틱 AI 활동이 두 배로 증가 — 지금 SEO 전략 조정하기 — 2025년 7–8월 ChatGPT Agent 활동이 두 배로 늘고, 에이전트가 Googlebot보다 느리게 로드되는 사이트를 빨리 포기한다는 자료입니다.
• Seer Interactive: OpenAI Operator 에이전트의 사이트 방문을 알아보는 방법 — 분석 도구에서 에이전틱 브라우저 방문을 식별하고 측정하는 실무 가이드입니다.
• Cloudflare: Googlebot에서 GPTBot까지 — 2025년 내 사이트를 크롤링하는 주체 — 식별된 AI 봇과 전통적인 검색 크롤러의 크롤링 양에 관한 Cloudflare 자료입니다.
• Navoto: 에이전틱 검색 최적화 — 2026년 AI 검색 가시성 가이드 — SEO → GEO → ASO 층과 콘텐츠 신호를 다루는 실무 ASO 프레임워크입니다.

인용할 만한 통계

• AI 유입 트래픽은 비AI 트래픽보다 전환 성과가 약 42% 높습니다(2026년 3월). 에이전틱 가시성에 노력할 가치가 있다는 대표적인 근거입니다. 출처
• AI 검색 전환율은 약 14.2%, Google은 약 2.8%입니다. 에이전틱 트래픽은 해당 AI 트래픽 중 의도가 가장 강한 하위 집단입니다. 출처
• Gemini Deep Research는 세션당 약 80개 쿼리(표준), 약 160개(Max)를 실행합니다. 한 번의 에이전틱 조사 규모를 보여 줍니다. 출처
• Perplexity Deep Research는 세션당 20–50개 쿼리를 2–4분 동안 실행합니다. 비교적 가볍지만 여러 단계로 이루어진 작업입니다. 출처
• 링크를 많이 받은 페이지에서의 언급과 AI 가시성(Google AI Overviews)의 Spearman 상관관계는 약 0.70입니다. 제가 발견한 결과이며 에이전틱 신뢰 신호도 비슷한 형태일 가능성이 있습니다. 출처
• 2025년 첫 8개월 동안 에이전틱 AI 트래픽이 1,300% 증가했고, ChatGPT Agent 활동만도 2025년 7월에서 8월 사이 두 배로 늘었습니다. AI 유입 트래픽에서 가장 빠르게 성장하는 하위 집단입니다. 출처

변경 내역