Panduan GSC BigQuery Export

cara gunakan Google Search Console BigQuery export untuk kueri unsampled daily click dan impression data dengan Tidak UI baris cap (anonymized kueri masih excluded), perbedaan antara UI dan mentah export, setup, cost mechanics, dan Tidak-backfill gotcha.

Pertama kali diterbitkan: 27 Jun 2026 · Terakhir diperbarui: 9 Agu 2026 · Advanced
Bahasa

untuk situs web properties, GSC BigQuery bulk export schedules sebuah daily, unsampled dump dari performa data—minus anonymized kueri—ke BigQuery, bypassing UI baris cap dan 16-month retention window. ini membuat situs-tingkat, URL-tingkat, dan export-log tables, melakukan tidak backfill, memerlukan billing, dan dapat incur kueri costs. Google now mendukung Instagram, TikTok, X, dan YouTube platform properties, tetapi -nya saat ini platform documentation melakukan tidak promise BigQuery mendukung untuk them; melakukan tidak assume ini pipeline applies untuk social accounts.

TL;DR — bulk data export adalah sebuah scheduled daily, unsampled dump dari Anda Search Console performa data ke sebuah BigQuery dataset — Tidak ~1 000-baris export cap, Tidak ~16-month retention wall. ini lands three tables (searchdata_site_impression, searchdata_url_impression, ExportLog). Setup: sebuah Google Cloud project dengan billing enabled, BigQuery + BigQuery Storage APIs pada, dua IAM peran granted untuk Google’s export service account, lalu Settings → Bulk data export di GSC. ini melakukan tidak backfill, masih reports anonymized kueri sebagai empty strings, dan pertama export lands di dalam ~48 hours. Cost adalah sebuah nyata free tier plus per-TB kueri charges — classic bill muncul dari dashboards querying mentah tables langsung. Think dari ini sebagai ketiga rung: UI → API → bulk export.

ladder di bawah adalah untuk situs web properties. ini adalah tidak evidence itu social atau video platform properties mendukung Search Console API atau BigQuery export.

Apa ini sebenarnya adalah

Bulk export adalah sebuah scheduled Search Console data pipeline ke sebuah Google Cloud project, tidak sebuah independent peringkat-data sumber. Evidence for this claim Search Console bulk data export sends daily performance data to BigQuery in a configured Google Cloud project. Scope: Search Console bulk export; setup, permissions, quotas, and supported properties follow Google's current documentation. Confidence: high · Verified: Google: Bulk data export kueri harus respect terdokumentasi tables, keys, dan privacy/aggregation perilaku. Evidence for this claim Bulk export uses site-impression, URL-impression, and export-log tables with documented schemas. Scope: Google's published Search Console export schema; aggregation and privacy handling still affect analysis. Confidence: high · Verified: Google: Bulk export tables

Daniel Waisberg, Search Advocate di Google, menjelaskannya secara langsung: “A bulk data export is a scheduled daily export of your Search Console performance data. It includes all the data used by Search Console to generate performance reports. Data is exported to Google BigQuery, where you can run SQL queries for advanced data analysis or even export it to another system.” (terjemahan) “Ekspor data massal adalah ekspor harian terjadwal atas data performa Search Console. Ekspor ini mencakup seluruh data yang digunakan Search Console untuk membuat laporan performa. Data dikirim ke Google BigQuery agar Anda dapat menjalankan kueri SQL untuk analisis lanjutan atau mengekspornya ke sistem lain.” (quoted di mesin pencari Journal).

poin adalah scale. Search Console UI caps sebagian besar exports sekitar 1 000 rows dan menampilkan sebuah rolling ~16-month window. Search Console API memberikan Anda lebih tetapi adalah masih capped dan rate-limited. bulk export menghapus baris ceiling entirely dan lets Anda decide bagaimana panjang untuk retain. Google’s own line dari announcement, sebagai reproduced oleh mesin pencari Land: “Itu daily data baris limit melakukan tidak impact ini data, so Anda dapat extract lebih data menggunakan ini method,” (terjemahan) “ daily data baris limit melakukan tidak impact ini data, so Anda dapat extract lebih data menggunakan ini metode,” dan fitur “could menjadi particularly helpful untuk large websites dengan tens dari thousands dari halaman.” (terjemahan) “dapat menjadi particularly helpful untuk besar situs web dengan tens dari thousands dari halaman.”

Apa data Anda mendapatkan: three tables

Semuanya lands di sebuah dataset milik siapa name selalu dimulai dengan searchconsole. Three objects tampilkan up (Table guidelines dan reference):

  1. searchdata_site_impression“Contains performance data untuk Anda property aggregated oleh property.” (terjemahan) “berisi performa data untuk Anda property aggregated oleh property.” Key fields: data_date (“Itu day pada yang itu data di ini baris adalah generated (Pacific Time)” (terjemahan) “ day pada yang data di ini baris adalah generated (Pacific Time)”), site_url (domain properties gunakan sc-domain: prefix), query, is_anonymized_query, country (ISO-3166-1 Alpha-3), search_type (web/image/video/news/menemukan/googleNews), device, impressions, clicks, dan sum_top_position.
  2. searchdata_url_impression“Contains performance data untuk Anda property aggregated oleh URL.” (terjemahan) “berisi performa data untuk Anda property aggregated oleh URL.” Semuanya di atas, plus url (“Itu fully-qualified URL di mana itu user eventually lands ketika they click itu penelusuran hasil” (terjemahan) “ fully-qualified URL di mana pengguna eventually lands ketika mereka click penelusuran hasil”), is_anonymized_discover, sebuah family dari is_[search_appearance_type] boolean flags (e.g. is_amp_top_stories, is_job_listing, is_tpf_faq) so Anda dapat slice oleh rich-hasil jenis, dan sum_position. ini adalah granular table sebagian besar analysis berjalan pada.
  3. ExportLog“A record dari apa data adalah saved untuk itu day. Failed exports adalah tidak recorded di sini.” (terjemahan) “sebuah record dari apa data adalah saved untuk itu day. Failed exports adalah tidak recorded di sini.” Fields sertakan agenda (saat ini hanya SEARCHDATA), namespace (yang table adalah ditulis), data_date, epoch_version (“An integer, di mana 0 adalah itu pertama time data adalah saved untuk ini table” (terjemahan) “sebuah integer, di mana 0 adalah pertama time data adalah saved untuk ini table” — ini increments ketika Google kemudian revises sebuah day’s data), dan publish_time.

** anonymized-kueri caveat adalah penting satu.** bahkan di sini, di mentah tingkat, anonymized kueri adalah tidak revealed. sebagai Google’s field deskripsi puts ini, ketika is_anonymized_query adalah benar query field “akan menjadi a zero-length string.” (terjemahan) “akan menjadi sebuah zero-length string.” mereka metrics adalah masih aggregated ke Anda totals, tetapi mereka’re tidak pernah attributable untuk sebuah spesifik istilah — persis yang sama limitation UI dan API memiliki. ini adalah sebuah big deal di scale: di my Ahrefs study dari GSC’s hidden istilah, di seluruh 146 741 situs web dan roughly 9 billion clicks, 46,08% dari semua clicks went untuk kueri Google tidak disclose — dan itu study digunakan Search Console API, yang “memungkinkan us untuk mendapatkan all dari itu data—dan ada masih a lot missing.” (terjemahan) “memungkinkan us untuk mendapatkan semua dari data—dan ada masih sebuah lot missing.” BigQuery export tidak recover any dari it. Jika seseorang tells Anda bulk export “finally menunjukkan Anda itu hidden queries,” mereka wrong.

cara set ini up

flow (Mulai sebuah baru bulk data export):

  1. buat atau pick sebuah Google Cloud project dengan billing enabled. Per Google: “Data adalah subject untuk Google Cloud storage dan query costs, tetapi di sana adalah a free usage level.” (terjemahan) “data adalah subject untuk Google Cloud storage dan kueri costs, tetapi ada sebuah free usage tingkat.” Anda perlu billing pada bahkan untuk stay di dalam free tier.
  2. Enable BigQuery API dan BigQuery Storage API di itu project.
  3. Grant Google’s export service account access. tambahkan search-console-data-export@system.gserviceaccount.com sebagai sebuah principal dengan dua IAM peran: BigQuery Job pengguna (bigquery.jobUser) dan BigQuery data Editor (bigquery.dataEditor).
  4. di Search Console, go untuk Settings → Bulk data export. Paste Cloud project ID ( ID, tidak project angka), choose sebuah dataset name, dan choose sebuah dataset location. Note naming aturan: “Itu dataset name selalu dimulai dengan itu string searchconsole, even ketika Anda customize it.” (terjemahan) “ dataset name selalu dimulai dengan string searchconsole, bahkan ketika Anda customize ini.” jika Anda set sebuah partition-expiration policy pada export’s own dataset, pertahankan ini di 14 days atau lebih lama — Google documents sebuah 14-day minimum, dan going lebih singkat adalah sebuah terdokumentasi failure penyebab. Leave generated table schema untouched too; altering ini adalah lainnya terdokumentasi cara untuk break export (lebih di Troubleshooting di bawah).
  5. Tunggu. Google says export proses itself seharusnya begin di dalam tentang sebuah day dari activation. “The first export will happen up to 48 hours after your successful configuration in Search Console,” (terjemahan) “Ekspor pertama akan berlangsung hingga 48 jam setelah konfigurasi berhasil di Search Console,” dan pengiriman pertama hanya berisi day-dari-export data — tidak ada apa pun dari sebelum setup (see Tidak-backfill bagian berikutnya). setelah itu ini berjalan daily until Anda berhenti ini.
Evidence for this claim Setup requires a billed Google Cloud project, BigQuery API and BigQuery Storage API, plus BigQuery Job User and BigQuery Data Editor roles for search-console-data-export@system.gserviceaccount.com. Scope: verified property and public web as applicable Confidence: high · Verified: Start a new bulk data export

Satu practical expectation untuk set: Search Console data lands dengan sebuah dua-day delay, so paling recent day Anda’ll ever memiliki adalah dua days ago. tanyakan untuk sebuah 30-day range dan Anda effectively mendapatkan tentang 28 days dari usable data.

Tidak-backfill gotcha

Say ini out loud, karena ini burns orang: activating export melakukan tidak pull di Anda historical data. ini dimulai dari activation day dan hanya accumulates forward. ini adalah umum cukup itu Google’s own community forum memiliki multiple threads tentang ini — “Bagaimana untuk backfill dengan historical data ketika Bulk data export adalah activated” (terjemahan) “cara backfill dengan historical data ketika Bulk data export adalah activated” (utas 300051568), utas 255704574, dan utas 429248330. Antoine Eripret puts ini bluntly di his practitioner deep-dive: “Anda tidak dapat mendapatkan historical data: jika Anda activate it hari ini, Anda’ll memiliki data dari hari ini.” (terjemahan) “Anda dapat’t mendapatkan historical data: jika Anda activate ini hari ini, Anda’ll memiliki data dari hari ini.” takeaway adalah sederhana — turn ini pada day Anda pertama hear tentang ini, bahkan jika Anda’re tidak ready untuk analyze apa pun namun, so clock dimulai.

Apa ini costs, dan bagaimana tidak untuk mendapatkan surprised

Google Cloud Blog post oleh Daniel Waisberg dan Gaal Yahas sells upside — “Jika Anda memiliki a large website, ini solution akan sediakan lebih queries dan halaman daripada itu other data exporting solutions” (terjemahan) “jika Anda memiliki sebuah besar situs web, ini solusi akan menyediakan lebih kueri dan halaman daripada lainnya data exporting solusi” dan “Search Console stores up to sixteen months of data; using BigQuery you can store as much data as it makes sense to your organization” (terjemahan) “Search Console menyimpan data hingga enam belas bulan; dengan BigQuery, organisasi Anda dapat menyimpan data sebanyak yang diperlukan.” — tetapi cost mechanics adalah pada Anda.

sebagai dari ini writing, BigQuery’s free tier adalah roughly 10 GiB dari storage free plus 1 TiB (~1 TB) dari pada-demand kueri processing free per month; beyond itu ini adalah tentang 6,25 USD per TiB processed dan roughly 0,02 USD per GB stored per month (varies oleh region dan storage class). Pricing perubahan, so verify saat ini angka sebelum Anda quote them untuk anyone. sebagian besar kecil-untuk-mid situs stay free atau near-free.

bills come dari bagaimana Anda kueri, tidak bagaimana banyak traffic Anda memiliki. Dua hal penting:

  • Cost scales dengan kueri/keyword diversity, tidak mentah traffic. sebagai Trevor Fox puts ini di his menyelesaikan guide: “The volume of data that is more a factor of keyword variety than it is search volume. A site with a low search volume for lots of keywords will generate more data than a site with lots of search volume for a single keyword.” (terjemahan) “ volume dari data itu adalah lebih sebuah factor dari keyword variety daripada ini adalah penelusuran volume. sebuah situs dengan sebuah rendah penelusuran volume untuk lots dari keywords akan generate lebih data daripada sebuah situs dengan lots dari penelusuran volume untuk sebuah single keyword.”
  • jangan poin sebuah langsung dashboard di mentah tables. ini adalah classic horror story. Antoine Eripret terdokumentasi Looker Studio scanning 23 TB di sebuah single day, sekitar €115, ketika wired secara langsung untuk mentah billion-baris tables. Google’s own BigQuery efficiency tips post says yang sama di principle: pre-aggregate ke summary tables, filter pada date partition di sebuah WHERE clause, hindari SELECT *, set budget alerts, dan set partition-expiration untuk auto-delete old partitions.

perbaiki adalah boring tetapi effective: materialize Anda kueri hasil ke kecil permanent summary tables pada sebuah schedule, dan poin Anda dashboards di itu, tidak di mentah export.

Querying: aturan itu pertahankan Anda sane (dan cheap)

dari Google’s kueri guidelines:

  • selalu aggregate. “Data in the tables is not guaranteed to be consolidated by date, URL, site, or any combination of keys.” (terjemahan) “Data dalam tabel tidak dijamin sudah digabungkan menurut date, URL, situs, atau apa pun combination dari keys.”* Translation: Anda’ll mendapatkan multiple rows untuk yang sama day/URL/kueri, so selalu SUM() Anda metrics dan GROUP BY Anda dimensions. tidak pernah treat sebuah single baris sebagai sebuah finished angka.
  • Filter date partition. “A good way to minimize query costs is to use a WHERE clause to limit the date range in the date partitioned table.” (terjemahan) “sebuah baik cara untuk minimize kueri costs adalah untuk gunakan Di mana clause untuk limit date range di date partitioned table.”
  • Drop anonymized rows ketika Anda ingin nyata top kueri. “An anonymized query is reported as a zero-length string in the table” (terjemahan) “sebuah anonymized kueri adalah reported sebagai sebuah zero-length string di table” — so tambahkan WHERE query != ''.
  • Position adalah zero-based. Keduanya tables store position starting di 0, so average position adalah SUM(sum_top_position) / SUM(impressions) + 1 (tambahkan 1).

Google ships sample kueri untuk daily web-penelusuran stats, top mobile kueri oleh country, menemukan URLs oleh clicks, FAQ rich-hasil performa (is_tpf_faq = true), dan brand-kueri tracking melalui REGEXP_CONTAINS. Mulai dari itu.

Managing dan troubleshooting export

dari Manage dan monitor bulk data exports:

  • Stopping tidak instant. Settings → Bulk data export → Deactivate export. “Bulk exports will stop in the next 24 hours,” (terjemahan) “Bulk exports akan berhenti di berikutnya 24 hours,” so satu lebih day dari data dapat masih land setelah Anda flip ini off.
  • Dua failure thresholds, tidak satu. “Search Console retains data dari failed exports untuk tentang a week.” (terjemahan) “Search Console retains data dari failed exports untuk tentang sebuah week.” dan lalu: “Search Console akan berhenti trying untuk export data untuk a diberikan date setelah tentang a week dari failed attempts, dan setelah tentang a month dari failed export attempts, Search Console akan berhenti itu bulk export entirely.” (terjemahan) “Search Console akan berhenti trying untuk export data untuk sebuah diberikan date setelah tentang sebuah week dari failed attempts, dan setelah tentang sebuah month dari failed export attempts, Search Console akan berhenti bulk export entirely.” So sebuah sustained masalah tidak hanya skip days — setelah ~sebuah month ini shuts seluruh export off, dan Anda’d memiliki untuk set ini up again.
  • ** schema-perubahan trap (dan partition-expiration floor).** jika Anda alter schema dari sebuah exported table, Anda break export. Google juga memerlukan setidaknya 14 days dari partition expiration pada export dataset — set ini lebih singkat dan export dapat fail. Leave itu tables alone; bangun Anda own derived tables alih-alih. (lainnya umum penyebab dari failure sertakan exceeding Anda Cloud project’s quota dan revoking service account’s access.)
  • gunakan Test report. ada sebuah “Test report” (terjemahan) “Test report” fitur itu lets Anda verify certain correctable issues — project ID/credentials, permissions — tanpa menunggu untuk berikutnya scheduled jalankan. Note ini tidak force sebuah immediate re-export; periksa back roughly 24 hours kemudian untuk konfirmasi perbaiki took.
  • Search Console emails property owners ketika export errors mulai dan ketika mereka resolve, dan Settings menampilkan status dari paling recent export attempt.

Di mana ini sits: UI → API → bulk export

Think dari three rungs pada sebuah ladder, setiap menghapus sebuah limit satu di bawah ini hit:

  • UI export — ~1 000 rows, ~16 months, Tidak anonymized kueri. Fine untuk sebagian besar.
  • Search Console API — lebih rows, masih capped dan rate-limited, masih Tidak anonymized kueri. baik untuk ad-hoc dan programmatic pulls.
  • Bulk data export — Tidak baris cap, retention Anda control, daily granular data, dibangun untuk warehousing dan joins. masih Tidak anonymized kueri. tidak backfill.

dan sebuah nuance older guides mendapatkan wrong: Anda’re tidak limited untuk satu property per Cloud project anymore. Google kemudian diizinkan multiple properties ke sebuah single project menggunakan distinct searchconsole_-prefixed dataset names.

Apa tentang Bing?

sebagai dari ini writing, ada Tidak native equivalent. Bing Webmaster alat tidak offer sebuah pertama-party BigQuery/bulk export — yang adalah persis mengapa sebuah market dari ketiga-party ETL connectors (Supermetrics, Improvado, Catchr, dan others) ada untuk move Bing Webmaster alat data ke BigQuery. jika Bing memiliki sebuah native pipe, itu market tidak akan. itu mengatakan, sebuah connector tidak guaranteed untuk replicate GSC’s own export schema atau daily-partition perilaku field-untuk-field — periksa apa pun connector’s terdokumentasi cakupan sebelum assuming parity. So jika Anda ingin Bing data di BigQuery alongside Anda GSC export, budget untuk sebuah connector dan verify apa ini sebenarnya delivers. (Konfirmasi ini adalah masih saat ini sebelum citing ini — Bing’s own fitur set dapat perubahan.)

untuk lebih luas context pada di mana ini sits, see mesin pencari alat hub dan -nya walkthroughs dari Google Search Console dan Bing Webmaster alat.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.