Ngôn ngữ

Hướng dẫn về GSC BigQuery Export

Cách dùng đó Google Search Console BigQuery export để query unsampled daily nhấp và impression dữ liệu với không UI hàng cap (ẩn danh các truy vấn vẫn excluded), đó khác biệt giữa đó UI và đó thô export, setup, cost mechanics, và đó không-backfill gotcha.

Xuất bản lần đầu: 27 thg 6, 2026 · Cập nhật lần cuối: 8 thg 8, 2026 · Advanced
Ngôn ngữ
AIĐược viết bởiAI v2

Cho website properties, đó GSC BigQuery bulk export schedules một daily, unsampled dump of Performance dữ liệu—minus ẩn danh các truy vấn—vào BigQuery, bypassing đó UI hàng cap và 16-month retention window. Điều này tạo site-cấp độ, URL-cấp độ, và export-log các bảng, không backfill, requires billing, và có thể incur query costs. Google hiện tại hỗ trợ Instagram, TikTok, X, và YouTube nền tảng properties, nhưng của nó hiện tại nền tảng tài liệu không promise BigQuery hỗ trợ cho them; không assume này pipeline áp dụng để social accounts.

Tóm tắt — bulk dữ liệu export là scheduled daily, unsampled dump của bạn Search Console Performance dữ liệu vào BigQuery dataset — không ~1 000-hàng export cap, không ~16-month retention wall. nó lands three các bảng (searchdata_site_impression, searchdata_url_impression, ExportLog). Setup: Google Cloud project với billing enabled, BigQuery + BigQuery Storage APIs on, hai IAM vai trò granted để Google export service account, sau đó Settings → Bulk dữ liệu export trong GSC. nó làm không backfill, vẫn các báo cáo ẩn danh các truy vấn as rỗng strings, và đầu tiên export lands trong ~48 hours. Cost là thực free tier plus theo-TB query charges — kinh điển bill xuất hiện từ dashboards querying thô các bảng trực tiếp. Think của nó as thứ ba rung: UI → API → bulk export.

ladder dưới là cho trang web properties. nó không phải evidence đó social hoặc video nền tảng properties hỗ trợ Search Console API hoặc BigQuery export.

Điều gì nó thực ra là

Bulk export là scheduled Search Console dữ liệu pipeline vào Google Cloud project, không independent xếp hạng-dữ liệu nguồn. Evidence for this claim Search Console bulk data export sends daily performance data to BigQuery in a configured Google Cloud project. Scope: Search Console bulk export; setup, permissions, quotas, and supported properties follow Google's current documentation. Confidence: high · Verified: Google: Bulk data export Các truy vấn phải respect được ghi lại các bảng, keys, và quyền riêng tư/aggregation behavior. Evidence for this claim Bulk export uses site-impression, URL-impression, and export-log tables with documented schemas. Scope: Google's published Search Console export schema; aggregation and privacy handling still affect analysis. Confidence: high · Verified: Google: Bulk export tables

Daniel Waisberg, một Tìm kiếm Advocate tại Google, mô tả điều này plainly: “A bulk data export is a scheduled daily export of your Search Console performance data. It includes all the data used by Search Console to generate performance reports. Data is exported to Google BigQuery, where you can run SQL queries for advanced data analysis or even export it to another system.” (bản dịch) «MỘT bulk dữ liệu export là một scheduled daily export of của bạn Search Console performance dữ liệu. Điều này bao gồm all đó dữ liệu dùng by Search Console để generate performance các báo cáo. Dữ liệu là exported để Google BigQuery, nơi bạn có thể chạy SQL các truy vấn cho advanced dữ liệu analysis hoặc ngay cả export điều này để một sản phẩm khác hệ thống.» (quoted trong Search Engine Journal).

Đó point là quy mô. Đó Search Console UI caps hầu hết exports khoảng 1 000 các hàng và cho thấy một rolling ~16-month window. Đó Search Console API cho bạn hơn nhưng là vẫn capped và rate-limited. Đó bulk export xóa đó hàng ceiling hoàn toàn và lets bạn decide cách dài để retain. Google own line từ đó announcement, as reproduced by Search Engine Land: “The daily data row limit does not impact this data, so you can extract more data using this method,” (bản dịch) «Đó daily dữ liệu hàng limit không impact này dữ liệu, so bạn có thể extract hơn dữ liệu dùng này phương thức,» và đó feature “could be particularly helpful for large websites with tens of thousands of pages.” (bản dịch) «có thể là particularly helpful cho lớn websites với tens of thousands of các trang.»

Điều gì dữ liệu bạn nhận: three các bảng

Mọi thứ lands trong dataset whose name luôn bắt đầu với searchconsole. Three objects hiển thị lên (Bảng guidelines và reference):

  1. searchdata_site_impression — “Contains performance data for your property aggregated by property.” (bản dịch) «Contains performance dữ liệu cho của bạn property được tổng hợp by property.» Key các trường: data_date (“The day on which the data in this row was generated (Pacific Time)” (bản dịch) «Đó day on mà đó dữ liệu trong này hàng đã là generated (Pacific Time)»), site_url (domain properties dùng đó sc-domain: prefix), query, is_anonymized_query, country (ISO-3166-1 Alpha-3), search_type (web/image/video/news/discover/googleNews), device, impressions, clicks, và sum_top_position.
  2. searchdata_url_impression — “Contains performance data for your property aggregated by URL.” (bản dịch) «Contains performance dữ liệu cho của bạn property được tổng hợp by URL.» Mọi thứ trên, plus url (“The fully-qualified URL where the user eventually lands when they click the search result” (bản dịch) «Đó fully-qualified URL nơi người dùng eventually lands khi they nhấp đó tìm kiếm kết quả»), is_anonymized_discover, một family of is_[search_appearance_type] boolean flags (e.g. is_amp_top_stories, is_job_listing, is_tpf_faq) so bạn có thể slice by rich-kết quả loại, và sum_position. Này là đó granular bảng hầu hết analysis chạy on.
  3. ExportLog — “A record of what data was saved for that day. Failed exports are not recorded here.” (bản dịch) «MỘT record of điều gì dữ liệu đã là saved cho đó day. Failed exports không phải recorded ở đây.» Các trường bao gồm agenda (hiện tại chỉ SEARCHDATA), namespace (mà bảng đã là được viết), data_date, epoch_version (“An integer, where 0 is the first time data was saved to this table” (bản dịch) «An integer, nơi 0 là đó đầu tiên time dữ liệu đã là saved để này bảng» — điều này increments khi Google sau đó revises một day dữ liệu), và publish_time.

Điểm quan trọng nhất là ngoại lệ về truy vấn ẩn danh. Ngay cả ở đây, ở cấp dữ liệu thô, các truy vấn ẩn danh vẫn không được tiết lộ. Như phần mô tả trường của Google diễn đạt, khi is_anonymized_query là đúng đó query trường “will be a zero-length string.” (bản dịch) «sẽ là một chuỗi có độ dài bằng không.» Của họ các chỉ số là vẫn được tổng hợp vào của bạn totals, nhưng họ là không bao giờ có thể gán để một cụ thể term — chính xác là cùng giới hạn mà giao diện và API cũng có. Này là một vấn đề lớn ở quy mô lớn: trong my Ahrefs nghiên cứu of GSC hidden terms, trên 146 741 websites và khoảng 9 billion clicks, 46,08% of all clicks went để các truy vấn Google không tiết lộ — và nghiên cứu đó đã dùng Search Console API, mà “allows us to get all of the data—and there’s still a lot missing.” (bản dịch) «cho phép chúng ta lấy toàn bộ dữ liệu — nhưng vẫn còn thiếu rất nhiều.» Đó BigQuery export doesn’t recover any of it. If someone tells you bulk export “finally shows you the hidden queries,” they’re wrong.

Cách đặt nó lên

flow (Bắt đầu new bulk dữ liệu export):

  1. Tạo hoặc pick một Google Cloud project với billing enabled. Theo Google: “Data is subject to Google Cloud storage and query costs, but there is a free usage level.” (bản dịch) «Dữ liệu là subject để Google Cloud storage và query costs, nhưng có một free usage cấp độ.» Bạn cần billing on ngay cả để stay bên trong đó free tier.
  2. Enable đó BigQuery API và đó BigQuery Storage API trong đó project.
  3. Grant Google export service account access. Thêm search-console-data-export@system.gserviceaccount.com as một principal với hai IAM vai trò: BigQuery Job Người dùng (bigquery.jobUser) và BigQuery Dữ liệu Editor (bigquery.dataEditor).
  4. Trong Search Console, go để Settings → Bulk dữ liệu export. Paste đó Cloud project ID (đó ID, không đó project number), chọn một dataset name, và chọn một dataset location. Note đó naming rule: “The dataset name always starts with the string searchconsole, even when you customize it.” (bản dịch) «Đó dataset name luôn bắt đầu với đó string searchconsole, ngay cả khi bạn customize điều này.» Nếu bạn set một partition-expiration policy on đó export own dataset, giữ điều này tại 14 days hoặc lâu hơn — Google documents một 14-day minimum, và going ngắn hơn là một được ghi lại failure nguyên nhân. Leave đó generated bảng schema untouched cũng; altering điều này là đó other được ghi lại way để break đó export (hơn trong Khắc phục sự cố dưới).
  5. Chờ. Google says đó export xử lý itself nên begin trong về một day of activation. “The first export will happen up to 48 hours after your successful configuration in Search Console,” (bản dịch) «Đó đầu tiên export sẽ happen lên để 48 hours sau của bạn successful configuration trong Search Console,» và đó đầu tiên phân phối contains chỉ đó day-of-export dữ liệu — không có gì từ trước setup (see đó không-backfill section tiếp theo). Sau đó điều này chạy daily until bạn dừng điều này.
Evidence for this claim Setup requires a billed Google Cloud project, BigQuery API and BigQuery Storage API, plus BigQuery Job User and BigQuery Data Editor roles for search-console-data-export@system.gserviceaccount.com. Scope: verified property and public web as applicable Confidence: high · Verified: Start a new bulk data export

Một practical expectation để đặt: Search Console dữ liệu lands với hai-day delay, so phần lớn gần đây day bạn’ll bao giờ có là hai days ago. Ask cho 30-day range và bạn effectively nhận về 28 days của usable dữ liệu.

không-backfill gotcha

Chẳng hạn điều này out loud, vì điều này burns mọi người: activating đó export không pull trong của bạn lịch sử dữ liệu. Điều này bắt đầu từ activation day và chỉ accumulates forward. Này là phổ biến đủ đó Google own community forum có multiple threads về điều này — “How to backfill with historical data when Bulk data export is activated” (bản dịch) «Cách backfill với lịch sử dữ liệu khi Bulk dữ liệu export là activated» (chuỗi trao đổi 300051568), chuỗi trao đổi 255704574, và chuỗi trao đổi 429248330. Antoine Eripret diễn đạt điều này bluntly trong his practitioner deep-dive: “You can’t get historical data: if you activate it today, you’ll have data from today.” (bản dịch) «Bạn không thể nhận lịch sử dữ liệu: nếu bạn activate điều này hôm nay, bạn’ll có dữ liệu từ hôm nay.» Đó takeaway là đơn giản — turn điều này on đó day bạn đầu tiên hear về điều này, ngay cả khi bạn là không ready để analyze bất cứ điều gì tuy vậy, so đó clock bắt đầu.

Điều gì nó costs, và Cách không để nhận surprised

Đó Google Cloud Blog post by Daniel Waisberg và Gaal Yahas sells đó upside — “If you have a large website, this solution will provide more queries and pages than the other data exporting solutions” (bản dịch) «Nếu bạn có một lớn website, này giải pháp sẽ cung cấp hơn các truy vấn và các trang hơn đó other dữ liệu exporting các giải pháp» và “Search Console stores up to sixteen months of data; using BigQuery you can store as much data as it makes sense to your organization” (bản dịch) «Search Console stores lên để sixteen months of dữ liệu; dùng BigQuery bạn có thể store as nhiều dữ liệu as điều này làm hợp lý để của bạn organization» — nhưng đó cost mechanics là on bạn.

As của điều này writing, BigQuery free tier là khoảng 10 GiB của storage free plus 1 TiB (~1 TB) của on-demand query processing free theo month; beyond đó nó về 6,25 USD theo TiB processed và khoảng 0,02 USD theo GB stored theo month (varies by region và storage class). Pricing thay đổi, so verify hiện tại numbers trước khi bạn quote them để anyone. phần lớn nhỏ-để-mid các trang stay free hoặc near-free.

bills come từ Cách bạn query, không Cách nhiều traffic bạn có. Hai điều quan trọng:

  • Cost scales với query/từ khóa diversity, không thô traffic. As Trevor Fox diễn đạt điều này trong his hoàn tất hướng dẫn: “The volume of data that is more a factor of keyword variety than it is search volume. A site with a low search volume for lots of keywords will generate more data than a site with lots of search volume for a single keyword.” (bản dịch) «Đó volume of dữ liệu đó là hơn một factor of từ khóa variety hơn điều này là tìm kiếm volume. MỘT site với một thấp tìm kiếm volume cho lots of từ khóa sẽ generate hơn dữ liệu hơn một site với lots of tìm kiếm volume cho một single từ khóa.»
  • không point một trực tiếp dashboard tại đó thô các bảng. Này là đó classic horror story. Antoine Eripret được ghi lại Looker Studio scanning 23 TB trong một single day, khoảng €115, khi wired trực tiếp để đó thô billion-hàng các bảng. Google own BigQuery efficiency tips post says đó giống nhau trong principle: pre-aggregate vào summary các bảng, filter on đó date partition trong một WHERE clause, tránh SELECT *, set budget alerts, và set partition-expiration để auto-delete old partitions.

khắc phục là boring nhưng effective: materialize của bạn query kết quả vào nhỏ vĩnh viễn summary các bảng on schedule, và point của bạn dashboards tại những điều đó, không tại thô export.

Querying: rules đó giữ bạn sane (và cheap)

từ Google query guidelines:

  • Luôn aggregate. “Data in the tables is not guaranteed to be consolidated by date, URL, site, or any combination of keys.” (bản dịch) «Dữ liệu trong đó các bảng không phải guaranteed để là consolidated by date, URL, site, hoặc bất kỳ combination of keys.» Translation: bạn’ll nhận multiple các hàng cho đó giống nhau day/URL/query, so luôn SUM() của bạn các chỉ số và GROUP BY của bạn dimensions. Không bao giờ treat một single hàng as một finished number.
  • Filter đó date partition. “A good way to minimize query costs is to use a WHERE clause to limit the date range in the date partitioned table.” (bản dịch) «MỘT good way để minimize query costs là để dùng một NƠI clause để limit đó date range trong đó date partitioned bảng.»
  • Drop ẩn danh các hàng khi bạn muốn real top các truy vấn. “An anonymized query is reported as a zero-length string in the table” (bản dịch) «An ẩn danh query là reported as một zero-length string trong đó bảng» — so thêm WHERE query != ''.
  • Position là zero-based. Cả hai các bảng store position starting tại 0, so average position là SUM(sum_top_position) / SUM(impressions) + 1 (thêm đó 1).

Google ships sample các truy vấn cho daily web-tìm kiếm số liệu, top mobile các truy vấn by country, Discover các URL by clicks, FAQ rich-kết quả performance (is_tpf_faq = true), và brand-query theo dõi qua REGEXP_CONTAINS. Bắt đầu từ những điều đó.

Managing và khắc phục sự cố export

từ Manage và monitor bulk dữ liệu exports:

  • Stopping không instant. Settings → Bulk dữ liệu export → Deactivate export. “Bulk exports will stop in the next 24 hours,” (bản dịch) «Bulk exports sẽ dừng trong đó tiếp theo 24 hours,» so một hơn day of dữ liệu có thể vẫn land sau khi bạn flip điều này off.
  • Hai failure thresholds, không một. “Search Console retains data from failed exports for about a week.” (bản dịch) «Search Console retains dữ liệu từ failed exports cho về một week.» Và thì: “Search Console will stop trying to export data for a given date after about a week of failed attempts, and after about a month of failed export attempts, Search Console will stop the bulk export entirely.” (bản dịch) «Search Console sẽ dừng trying để export dữ liệu cho một được cho date sau về một week of failed attempts, và sau về một month of failed export attempts, Search Console sẽ dừng đó bulk export hoàn toàn.» So một sustained vấn đề không chỉ skip days — sau ~một month điều này shuts đó toàn bộ export off, và bạn’d có để set điều này lên again.
  • Đó schema-thay đổi trap (và đó partition-expiration floor). Nếu bạn alter đó schema of an exported bảng, bạn break đó export. Google cũng requires ít nhất 14 days of partition expiration on đó export dataset — set điều này ngắn hơn và đó export có thể fail. Leave những các bảng alone; xây dựng của bạn own derived các bảng thay vì. (Other phổ biến gây ra of failure bao gồm exceeding của bạn Cloud project quota và revoking đó service account access.)
  • Dùng đó Kiểm thử báo cáo. có một “Kiểm thử báo cáo” feature đó cho phép bạn verify certain correctable các vấn đề — project ID/credentials, permissions — không có đang chờ cho đó tiếp theo scheduled chạy. Note điều này không force an immediate re-export; kiểm tra back khoảng 24 hours sau đó để xác nhận đó cách sửa took.
  • Search Console emails property owners khi export các lỗi bắt đầu và khi they resolve, và Settings cho thấy đó status of đó hầu hết gần đây export attempt.

nơi nó sits: UI → API → bulk export

Think của three rungs on ladder, mỗi removing limit một dưới nó hit:

  • UI export — ~1 000 các hàng, ~16 months, không ẩn danh các truy vấn. Fine cho phần lớn.
  • Search Console API — nhiều hơn các hàng, vẫn capped và rate-limited, vẫn không ẩn danh các truy vấn. Good cho quảng cáo-hoc và programmatic pulls.
  • Bulk dữ liệu export — không hàng cap, retention bạn control, daily granular dữ liệu, được xây dựng cho warehousing và joins. vẫn không ẩn danh các truy vấn. không backfill.

và nuance older các hướng dẫn nhận sai: bạn’re không limited để một property theo Cloud project anymore. Google sau đó được phép multiple properties vào single project sử dụng distinct searchconsole_-prefixed dataset names.

Điều gì về Bing?

As của điều này writing, có không native tương đương. Bing Quản trị viên web Tools không offer đầu tiên-party BigQuery/bulk export — mà là chính xác Vì sao market của thứ ba-party ETL connectors (Supermetrics, Improvado, Catchr, và others) tồn tại để move Bing Quản trị viên web Tools dữ liệu vào BigQuery. nếu Bing có native pipe, đó market sẽ không. đó đã nói, connector không phải guaranteed để replicate GSC own export schema hoặc daily-partition behavior trường-cho-trường — kiểm tra bất kỳ connector được ghi lại phạm vi trước khi assuming parity. So nếu bạn muốn Bing dữ liệu trong BigQuery alongside của bạn GSC export, budget cho connector và verify Điều gì nó thực ra delivers. (xác nhận Đây là vẫn hiện tại trước khi citing nó — Bing own feature đặt có thể thay đổi.)

cho rộng hơn context on nơi điều này sits, see công cụ tìm kiếm Tools hub và của nó walkthroughs của Google Search Console và Bing Quản trị viên web Tools.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.