Panduan GSC BigQuery Export
cara gunakan Google Search Console BigQuery export untuk kueri unsampled daily click dan impression data dengan Tidak UI baris cap (anonymized kueri masih excluded), perbedaan antara UI dan mentah export, setup, cost mechanics, dan Tidak-backfill gotcha.
Bahasa
untuk situs web properties, GSC BigQuery bulk export schedules sebuah daily, unsampled dump dari performa data—minus anonymized kueri—ke BigQuery, bypassing UI baris cap dan 16-month retention window. ini membuat situs-tingkat, URL-tingkat, dan export-log tables, melakukan tidak backfill, memerlukan billing, dan dapat incur kueri costs. Google now mendukung Instagram, TikTok, X, dan YouTube platform properties, tetapi -nya saat ini platform documentation melakukan tidak promise BigQuery mendukung untuk them; melakukan tidak assume ini pipeline applies untuk social accounts.
TL;DR — GSC BigQuery export (Google panggilan ini bulk data export) secara otomatis copies Anda Search Console data ke sebuah Google Cloud database called BigQuery, setelah sebuah day, dengan Tidak baris limit. ini adalah bagaimana Anda mendapatkan far lebih dari Anda click dan impression data daripada trimmed-down view Search Console UI menampilkan — though anonymized (hidden) kueri stay hidden di sini too. Dua catches untuk know up front: ini tidak pull di Anda old data (hanya data dari day Anda switch ini pada, going forward), dan ini perlu sebuah Google Cloud billing account bahkan though ada sebuah free usage tier.
Apa ini adalah
Search Console bulk data export dapat kirim daily performa data untuk BigQuery. Evidence for this claim Search Console bulk data export sends daily performance data to BigQuery in a configured Google Cloud project. Scope: Search Console bulk export; setup, permissions, quotas, and supported properties follow Google's current documentation. Confidence: high · Verified: Google: Bulk data export Google documents terpisah situs-impression, URL-impression, dan export-log tables, dengan schema dan aggregation limits itu penting selama analysis. Evidence for this claim Bulk export uses site-impression, URL-impression, and export-log tables with documented schemas. Scope: Google's published Search Console export schema; aggregation and privacy handling still affect analysis. Confidence: high · Verified: Google: Bulk export tables
ini guide covers situs web properties. Search Console’s newer Instagram, TikTok, X, dan YouTube platform properties memiliki performa, Insights, dan Achievements reporting, tetapi Google’s saat ini platform-property documentation melakukan tidak document sebuah BigQuery bulk-export setup atau schema untuk them. Treat platform properties sebagai unsupported di sini unless Google exposes setting dan documents contract. LinkedIn adalah tidak saat ini sebuah didukung platform property.
Open performa report di Google Search Console dan try untuk export ini. Anda’ll hit sebuah wall fast: UI caps sebagian besar exports di sekitar 1 000 rows, dan ini hanya menampilkan Anda roughly terakhir 16 months dari history. untuk sebuah kecil situs itu’s fine. untuk sebuah big situs dengan tens dari thousands dari halaman dan sebuah huge variety dari penelusuran kueri, Anda’re seeing sebuah tiny slice dari Anda nyata data.
bulk data export memperbaiki itu. ini adalah sebuah switch di dalam Search Console itu says: “dari now pada, kirim my Performance data untuk BigQuery setiap day.” (terjemahan) “dari now pada, kirim my performa data untuk BigQuery setiap day.” BigQuery adalah Google’s data warehouse — sebuah place untuk store big tables dan jalankan kueri pada them. Setelah export adalah berjalan, Anda mendapatkan unsampled daily data dengan Tidak 1 000-baris cap, dipertahankan untuk sebagai panjang sebagai Anda ingin — dengan satu standing exception: anonymized kueri ( ones Search Console hides untuk privacy) masih tampilkan up sebagai blank, sama sebagai di UI. “Tidak baris limit” (terjemahan) “Tidak baris limit” tidak sama sebagai “setiap query revealed.” (terjemahan) “setiap kueri revealed.”
Mengapa anyone bothers
Anda’d set ini up jika Anda ingin:
- Analyze far lebih kueri dan halaman daripada UI atau export button akan memberikan Anda.
- pertahankan Search Console history lebih lama daripada 16 months (Search Console throws old data away; BigQuery mempertahankan whatever Anda pertahankan).
- Join Anda Search Console data dengan lainnya data — Anda Google Analytics data, sebuah crawl, Anda product database — semua di satu place.
dua hal untuk know sebelum Anda mulai
- ini melakukan tidak backfill. ini adalah single sebagian besar umum surprise. Mengubah export pada melakukan tidak go grab Anda historical data. ini dimulai collecting dari itu day forward. jika Anda ingin history, Anda memiliki untuk turn ini pada dan lalu tunggu untuk ini untuk accumulate.
- ini adalah “free” (terjemahan) “free” dengan sebuah asterisk. BigQuery memiliki sebuah free tier, dan sebagian besar kecil-untuk-mid situs stay di dalam ini. tetapi Anda masih memiliki untuk attach sebuah Google Cloud billing account, dan jika Anda kueri data carelessly — terutama oleh pointing sebuah langsung dashboard di mentah tables — Anda dapat jalankan up sebuah nyata bill.
adalah ini worth ini untuk Anda?
Honestly, sebagian besar situs jangan perlu ini. jika Search Console UI dan Looker Studio’s dibangun-di Search Console connector tampilkan Anda cukup, Anda’re selesai — skip setup. Anda reach untuk BigQuery export ketika Anda’re consistently hitting itu 1 000-baris wall, ketika Anda perlu lebih daripada 16 months dari history, atau ketika Anda ingin Anda Penelusuran Console data sitting berikutnya untuk Anda lainnya data di sebuah warehouse. jika itu’s Anda, switch untuk Advanced tab untuk penuh setup, cost mechanics, dan pertama kueri untuk jalankan.
TL;DR — bulk data export adalah sebuah scheduled daily, unsampled dump dari Anda Search Console performa data ke sebuah BigQuery dataset — Tidak ~1 000-baris export cap, Tidak ~16-month retention wall. ini lands three tables (
searchdata_site_impression,searchdata_url_impression,ExportLog). Setup: sebuah Google Cloud project dengan billing enabled, BigQuery + BigQuery Storage APIs pada, dua IAM peran granted untuk Google’s export service account, lalu Settings → Bulk data export di GSC. ini melakukan tidak backfill, masih reports anonymized kueri sebagai empty strings, dan pertama export lands di dalam ~48 hours. Cost adalah sebuah nyata free tier plus per-TB kueri charges — classic bill muncul dari dashboards querying mentah tables langsung. Think dari ini sebagai ketiga rung: UI → API → bulk export.
ladder di bawah adalah untuk situs web properties. ini adalah tidak evidence itu social atau video platform properties mendukung Search Console API atau BigQuery export.
Apa ini sebenarnya adalah
Bulk export adalah sebuah scheduled Search Console data pipeline ke sebuah Google Cloud project, tidak sebuah independent peringkat-data sumber. Evidence for this claim Search Console bulk data export sends daily performance data to BigQuery in a configured Google Cloud project. Scope: Search Console bulk export; setup, permissions, quotas, and supported properties follow Google's current documentation. Confidence: high · Verified: Google: Bulk data export kueri harus respect terdokumentasi tables, keys, dan privacy/aggregation perilaku. Evidence for this claim Bulk export uses site-impression, URL-impression, and export-log tables with documented schemas. Scope: Google's published Search Console export schema; aggregation and privacy handling still affect analysis. Confidence: high · Verified: Google: Bulk export tables
Daniel Waisberg, Search Advocate di Google, menjelaskannya secara langsung: “A bulk data export is a scheduled daily export of your Search Console performance data. It includes all the data used by Search Console to generate performance reports. Data is exported to Google BigQuery, where you can run SQL queries for advanced data analysis or even export it to another system.” (terjemahan) “Ekspor data massal adalah ekspor harian terjadwal atas data performa Search Console. Ekspor ini mencakup seluruh data yang digunakan Search Console untuk membuat laporan performa. Data dikirim ke Google BigQuery agar Anda dapat menjalankan kueri SQL untuk analisis lanjutan atau mengekspornya ke sistem lain.” (quoted di mesin pencari Journal).
poin adalah scale. Search Console UI caps sebagian besar exports sekitar 1 000 rows dan menampilkan sebuah rolling ~16-month window. Search Console API memberikan Anda lebih tetapi adalah masih capped dan rate-limited. bulk export menghapus baris ceiling entirely dan lets Anda decide bagaimana panjang untuk retain. Google’s own line dari announcement, sebagai reproduced oleh mesin pencari Land: “Itu daily data baris limit melakukan tidak impact ini data, so Anda dapat extract lebih data menggunakan ini method,” (terjemahan) “ daily data baris limit melakukan tidak impact ini data, so Anda dapat extract lebih data menggunakan ini metode,” dan fitur “could menjadi particularly helpful untuk large websites dengan tens dari thousands dari halaman.” (terjemahan) “dapat menjadi particularly helpful untuk besar situs web dengan tens dari thousands dari halaman.”
Apa data Anda mendapatkan: three tables
Semuanya lands di sebuah dataset milik siapa name selalu dimulai dengan searchconsole. Three
objects tampilkan up (Table guidelines dan reference):
searchdata_site_impression— “Contains performance data untuk Anda property aggregated oleh property.” (terjemahan) “berisi performa data untuk Anda property aggregated oleh property.” Key fields:data_date(“Itu day pada yang itu data di ini baris adalah generated (Pacific Time)” (terjemahan) “ day pada yang data di ini baris adalah generated (Pacific Time)”),site_url(domain properties gunakansc-domain:prefix),query,is_anonymized_query,country(ISO-3166-1 Alpha-3),search_type(web/image/video/news/menemukan/googleNews),device,impressions,clicks, dansum_top_position.searchdata_url_impression— “Contains performance data untuk Anda property aggregated oleh URL.” (terjemahan) “berisi performa data untuk Anda property aggregated oleh URL.” Semuanya di atas, plusurl(“Itu fully-qualified URL di mana itu user eventually lands ketika they click itu penelusuran hasil” (terjemahan) “ fully-qualified URL di mana pengguna eventually lands ketika mereka click penelusuran hasil”),is_anonymized_discover, sebuah family dariis_[search_appearance_type]boolean flags (e.g.is_amp_top_stories,is_job_listing,is_tpf_faq) so Anda dapat slice oleh rich-hasil jenis, dansum_position. ini adalah granular table sebagian besar analysis berjalan pada.ExportLog— “A record dari apa data adalah saved untuk itu day. Failed exports adalah tidak recorded di sini.” (terjemahan) “sebuah record dari apa data adalah saved untuk itu day. Failed exports adalah tidak recorded di sini.” Fields sertakanagenda(saat ini hanyaSEARCHDATA),namespace(yang table adalah ditulis),data_date,epoch_version(“An integer, di mana 0 adalah itu pertama time data adalah saved untuk ini table” (terjemahan) “sebuah integer, di mana 0 adalah pertama time data adalah saved untuk ini table” — ini increments ketika Google kemudian revises sebuah day’s data), danpublish_time.
** anonymized-kueri caveat adalah penting satu.** bahkan di sini, di mentah tingkat,
anonymized kueri adalah tidak revealed. sebagai Google’s field deskripsi puts ini, ketika
is_anonymized_query adalah benar query field “akan menjadi a zero-length string.” (terjemahan) “akan menjadi sebuah zero-length string.”
mereka metrics adalah masih aggregated ke Anda totals, tetapi mereka’re tidak pernah attributable
untuk sebuah spesifik istilah — persis yang sama limitation UI dan API memiliki. ini adalah sebuah
big deal di scale: di my Ahrefs study dari GSC’s hidden istilah,
di seluruh 146 741 situs web dan roughly 9 billion clicks, 46,08% dari semua clicks went untuk
kueri Google tidak disclose — dan itu study digunakan Search Console API, yang
“memungkinkan us untuk mendapatkan all dari itu data—dan ada masih a lot missing.” (terjemahan) “memungkinkan us untuk mendapatkan semua dari data—dan ada masih sebuah lot missing.” BigQuery
export tidak recover any dari it. Jika seseorang tells Anda bulk export “finally menunjukkan Anda
itu hidden queries,” mereka wrong.
cara set ini up
flow (Mulai sebuah baru bulk data export):
- buat atau pick sebuah Google Cloud project dengan billing enabled. Per Google: “Data adalah subject untuk Google Cloud storage dan query costs, tetapi di sana adalah a free usage level.” (terjemahan) “data adalah subject untuk Google Cloud storage dan kueri costs, tetapi ada sebuah free usage tingkat.” Anda perlu billing pada bahkan untuk stay di dalam free tier.
- Enable BigQuery API dan BigQuery Storage API di itu project.
- Grant Google’s export service account access. tambahkan
search-console-data-export@system.gserviceaccount.comsebagai sebuah principal dengan dua IAM peran: BigQuery Job pengguna (bigquery.jobUser) dan BigQuery data Editor (bigquery.dataEditor). - di Search Console, go untuk Settings → Bulk data export. Paste Cloud project ID ( ID, tidak project angka), choose sebuah dataset name, dan choose sebuah dataset location. Note naming aturan: “Itu dataset name selalu dimulai dengan itu string searchconsole, even ketika Anda customize it.” (terjemahan) “ dataset name selalu dimulai dengan string searchconsole, bahkan ketika Anda customize ini.” jika Anda set sebuah partition-expiration policy pada export’s own dataset, pertahankan ini di 14 days atau lebih lama — Google documents sebuah 14-day minimum, dan going lebih singkat adalah sebuah terdokumentasi failure penyebab. Leave generated table schema untouched too; altering ini adalah lainnya terdokumentasi cara untuk break export (lebih di Troubleshooting di bawah).
- Tunggu. Google says export proses itself seharusnya begin di dalam tentang sebuah day dari activation. “The first export will happen up to 48 hours after your successful configuration in Search Console,” (terjemahan) “Ekspor pertama akan berlangsung hingga 48 jam setelah konfigurasi berhasil di Search Console,” dan pengiriman pertama hanya berisi day-dari-export data — tidak ada apa pun dari sebelum setup (see Tidak-backfill bagian berikutnya). setelah itu ini berjalan daily until Anda berhenti ini.
Satu practical expectation untuk set: Search Console data lands dengan sebuah dua-day delay, so paling recent day Anda’ll ever memiliki adalah dua days ago. tanyakan untuk sebuah 30-day range dan Anda effectively mendapatkan tentang 28 days dari usable data.
Tidak-backfill gotcha
Say ini out loud, karena ini burns orang: activating export melakukan tidak pull di Anda historical data. ini dimulai dari activation day dan hanya accumulates forward. ini adalah umum cukup itu Google’s own community forum memiliki multiple threads tentang ini — “Bagaimana untuk backfill dengan historical data ketika Bulk data export adalah activated” (terjemahan) “cara backfill dengan historical data ketika Bulk data export adalah activated” (utas 300051568), utas 255704574, dan utas 429248330. Antoine Eripret puts ini bluntly di his practitioner deep-dive: “Anda tidak dapat mendapatkan historical data: jika Anda activate it hari ini, Anda’ll memiliki data dari hari ini.” (terjemahan) “Anda dapat’t mendapatkan historical data: jika Anda activate ini hari ini, Anda’ll memiliki data dari hari ini.” takeaway adalah sederhana — turn ini pada day Anda pertama hear tentang ini, bahkan jika Anda’re tidak ready untuk analyze apa pun namun, so clock dimulai.
Apa ini costs, dan bagaimana tidak untuk mendapatkan surprised
Google Cloud Blog post oleh Daniel Waisberg dan Gaal Yahas sells upside — “Jika Anda memiliki a large website, ini solution akan sediakan lebih queries dan halaman daripada itu other data exporting solutions” (terjemahan) “jika Anda memiliki sebuah besar situs web, ini solusi akan menyediakan lebih kueri dan halaman daripada lainnya data exporting solusi” dan “Search Console stores up to sixteen months of data; using BigQuery you can store as much data as it makes sense to your organization” (terjemahan) “Search Console menyimpan data hingga enam belas bulan; dengan BigQuery, organisasi Anda dapat menyimpan data sebanyak yang diperlukan.” — tetapi cost mechanics adalah pada Anda.
sebagai dari ini writing, BigQuery’s free tier adalah roughly 10 GiB dari storage free plus 1 TiB (~1 TB) dari pada-demand kueri processing free per month; beyond itu ini adalah tentang 6,25 USD per TiB processed dan roughly 0,02 USD per GB stored per month (varies oleh region dan storage class). Pricing perubahan, so verify saat ini angka sebelum Anda quote them untuk anyone. sebagian besar kecil-untuk-mid situs stay free atau near-free.
bills come dari bagaimana Anda kueri, tidak bagaimana banyak traffic Anda memiliki. Dua hal penting:
- Cost scales dengan kueri/keyword diversity, tidak mentah traffic. sebagai Trevor Fox puts ini di his menyelesaikan guide: “The volume of data that is more a factor of keyword variety than it is search volume. A site with a low search volume for lots of keywords will generate more data than a site with lots of search volume for a single keyword.” (terjemahan) “ volume dari data itu adalah lebih sebuah factor dari keyword variety daripada ini adalah penelusuran volume. sebuah situs dengan sebuah rendah penelusuran volume untuk lots dari keywords akan generate lebih data daripada sebuah situs dengan lots dari penelusuran volume untuk sebuah single keyword.”
- jangan poin sebuah langsung dashboard di mentah tables. ini adalah classic horror
story. Antoine Eripret terdokumentasi Looker Studio scanning 23 TB di sebuah single day,
sekitar €115, ketika wired secara langsung untuk mentah billion-baris tables. Google’s own
BigQuery efficiency tips post
says yang sama di principle: pre-aggregate ke summary tables, filter pada date
partition di sebuah
WHEREclause, hindariSELECT *, set budget alerts, dan set partition-expiration untuk auto-delete old partitions.
perbaiki adalah boring tetapi effective: materialize Anda kueri hasil ke kecil permanent summary tables pada sebuah schedule, dan poin Anda dashboards di itu, tidak di mentah export.
Querying: aturan itu pertahankan Anda sane (dan cheap)
dari Google’s kueri guidelines:
- selalu aggregate. “Data in the tables is not guaranteed to be consolidated by
date, URL, site, or any combination of keys.” (terjemahan) “Data dalam tabel tidak dijamin sudah digabungkan menurut
date, URL, situs, atau apa pun combination dari keys.”* Translation: Anda’ll mendapatkan multiple
rows untuk yang sama day/URL/kueri, so selalu
SUM()Anda metrics danGROUP BYAnda dimensions. tidak pernah treat sebuah single baris sebagai sebuah finished angka. - Filter date partition. “A good way to minimize query costs is to use a WHERE clause to limit the date range in the date partitioned table.” (terjemahan) “sebuah baik cara untuk minimize kueri costs adalah untuk gunakan Di mana clause untuk limit date range di date partitioned table.”
- Drop anonymized rows ketika Anda ingin nyata top kueri. “An anonymized query is
reported as a zero-length string in the table” (terjemahan) “sebuah anonymized kueri adalah
reported sebagai sebuah zero-length string di table” — so tambahkan
WHERE query != ''. - Position adalah zero-based. Keduanya tables store position starting di 0, so average
position adalah
SUM(sum_top_position) / SUM(impressions) + 1(tambahkan 1).
Google ships sample kueri untuk daily web-penelusuran stats, top mobile kueri oleh
country, menemukan URLs oleh clicks, FAQ rich-hasil performa (is_tpf_faq = true),
dan brand-kueri tracking melalui REGEXP_CONTAINS. Mulai dari itu.
Managing dan troubleshooting export
dari Manage dan monitor bulk data exports:
- Stopping tidak instant. Settings → Bulk data export → Deactivate export. “Bulk exports will stop in the next 24 hours,” (terjemahan) “Bulk exports akan berhenti di berikutnya 24 hours,” so satu lebih day dari data dapat masih land setelah Anda flip ini off.
- Dua failure thresholds, tidak satu. “Search Console retains data dari failed exports untuk tentang a week.” (terjemahan) “Search Console retains data dari failed exports untuk tentang sebuah week.” dan lalu: “Search Console akan berhenti trying untuk export data untuk a diberikan date setelah tentang a week dari failed attempts, dan setelah tentang a month dari failed export attempts, Search Console akan berhenti itu bulk export entirely.” (terjemahan) “Search Console akan berhenti trying untuk export data untuk sebuah diberikan date setelah tentang sebuah week dari failed attempts, dan setelah tentang sebuah month dari failed export attempts, Search Console akan berhenti bulk export entirely.” So sebuah sustained masalah tidak hanya skip days — setelah ~sebuah month ini shuts seluruh export off, dan Anda’d memiliki untuk set ini up again.
- ** schema-perubahan trap (dan partition-expiration floor).** jika Anda alter schema dari sebuah exported table, Anda break export. Google juga memerlukan setidaknya 14 days dari partition expiration pada export dataset — set ini lebih singkat dan export dapat fail. Leave itu tables alone; bangun Anda own derived tables alih-alih. (lainnya umum penyebab dari failure sertakan exceeding Anda Cloud project’s quota dan revoking service account’s access.)
- gunakan Test report. ada sebuah “Test report” (terjemahan) “Test report” fitur itu lets Anda verify certain correctable issues — project ID/credentials, permissions — tanpa menunggu untuk berikutnya scheduled jalankan. Note ini tidak force sebuah immediate re-export; periksa back roughly 24 hours kemudian untuk konfirmasi perbaiki took.
- Search Console emails property owners ketika export errors mulai dan ketika mereka resolve, dan Settings menampilkan status dari paling recent export attempt.
Di mana ini sits: UI → API → bulk export
Think dari three rungs pada sebuah ladder, setiap menghapus sebuah limit satu di bawah ini hit:
- UI export — ~1 000 rows, ~16 months, Tidak anonymized kueri. Fine untuk sebagian besar.
- Search Console API — lebih rows, masih capped dan rate-limited, masih Tidak anonymized kueri. baik untuk ad-hoc dan programmatic pulls.
- Bulk data export — Tidak baris cap, retention Anda control, daily granular data, dibangun untuk warehousing dan joins. masih Tidak anonymized kueri. tidak backfill.
dan sebuah nuance older guides mendapatkan wrong: Anda’re tidak limited untuk satu property per Cloud
project anymore. Google kemudian diizinkan multiple properties ke sebuah single project menggunakan
distinct searchconsole_-prefixed dataset names.
Apa tentang Bing?
sebagai dari ini writing, ada Tidak native equivalent. Bing Webmaster alat tidak offer sebuah pertama-party BigQuery/bulk export — yang adalah persis mengapa sebuah market dari ketiga-party ETL connectors (Supermetrics, Improvado, Catchr, dan others) ada untuk move Bing Webmaster alat data ke BigQuery. jika Bing memiliki sebuah native pipe, itu market tidak akan. itu mengatakan, sebuah connector tidak guaranteed untuk replicate GSC’s own export schema atau daily-partition perilaku field-untuk-field — periksa apa pun connector’s terdokumentasi cakupan sebelum assuming parity. So jika Anda ingin Bing data di BigQuery alongside Anda GSC export, budget untuk sebuah connector dan verify apa ini sebenarnya delivers. (Konfirmasi ini adalah masih saat ini sebelum citing ini — Bing’s own fitur set dapat perubahan.)
untuk lebih luas context pada di mana ini sits, see mesin pencari alat hub dan -nya walkthroughs dari Google Search Console dan Bing Webmaster alat.
AI summary
sebuah condensed take pada Advanced versi:
- Apa ini adalah: bulk data export — sebuah scheduled daily, unsampled dump dari Search Console performa data ke sebuah Google Cloud BigQuery dataset. ini menghapus UI’s ~1 000-baris export cap dan -nya ~16-month retention window.
- Three tables land di sebuah
searchconsole-prefixed dataset:searchdata_site_impression(property-tingkat),searchdata_url_impression(URL-tingkat, denganis_*rich-hasil flags), danExportLog(sebuah daily export record). - Setup: Google Cloud project dengan billing pada → enable BigQuery + BigQuery
Storage APIs → grant
search-console-data-export@system.gserviceaccount.comBigQuery Job pengguna dan BigQuery data Editor peran → Search Console Settings → Bulk data export → project ID, dataset name, location (pertahankan partition expiration di 14+ days) → proses dimulai di dalam tentang sebuah day, pertama export di dalam ~48 hrs. - Tidak backfill. ini dimulai dari activation day forward — tidak ada apa pun historical adalah pulled di. ini adalah #1 poin dari confusion.
- masih Tidak anonymized kueri. mereka land sebagai empty strings di
query; metrics adalah aggregated tetapi tidak pernah attributable. di Patrick’s satu-month Ahrefs study dari 146 741 situs dan nearly 9 billion clicks, ~46% dari clicks went untuk undisclosed kueri — bulk export tidak recover them. - Cost: sebuah nyata free tier (roughly 10 GiB storage + 1 TiB kueri/month) tetapi ini perlu
sebuah billing account, dan cost scales dengan kueri/keyword diversity, tidak traffic.
classic bill adalah sebuah dashboard querying mentah tables langsung (satu terdokumentasi case: 23 TB /
~€115 di sebuah day). Perbaiki: materialize summary tables, filter date partition, hindari
SELECT *. - Querying: selalu
SUM()/GROUP BY(rows tidak pre-consolidated), filterquery != ''untuk drop anonymized rows, dan position adalah zero-based (tambahkan 1). - Managing: deactivation takes up untuk 24 hrs; failed exports retry untuk ~sebuah week per date, dan ~sebuah month dari failures shuts seluruh export off; altering sebuah exported table’s schema atau setting partition expiration di bawah 14 days breaks ini.
- Bing memiliki Tidak native equivalent sebagai dari ini writing — ketiga-party connectors fill kesenjangan, though mereka jangan niscaya match GSC export’s schema persis.
- ** ladder:** UI → API → bulk export, setiap menghapus sebuah limit.
Dokumentasi resmi
Utama-sumber documentation, mostly dari Google Search Console Help dan Google Cloud Blog.
Google — fitur
- tentang bulk data export dari Search Console data untuk BigQuery — overview dan apa disertakan/excluded.
- Mulai sebuah baru bulk data export — setup flow: project, APIs, service-account peran, dataset settings, 48-hour delay.
- Table guidelines dan reference — penuh schema untuk
searchdata_site_impression,searchdata_url_impression, danExportLog. - kueri guidelines dan sample kueri — cara aggregate, minimize cost, filter anonymized rows, dan ready-dibuat sample kueri.
- Manage dan monitor bulk data exports — deactivation, error menangani, retry/retention thresholds, dan Test report.
Google — announcement & framing
- Bulk data export: sebuah baru dan powerful cara untuk access Anda Search Console data (Penelusuran Central Blog, Feb 2023) — original announcement.
- Analyze Google Search data dengan BigQuery (Google Cloud Blog, Daniel Waisberg & Gaal Yahas) — advanced/ML framing.
- BigQuery efficiency tips untuk Search Console bulk data exports (Penelusuran Central Blog, June 2023) — cost dan kueri-efficiency guidance.
Pricing
- BigQuery pricing — saat ini free tier dan per-TB/per-GB rates (verify sebelum quoting; ini perubahan).
Quotes dari sumber
pada—record statements dari Google. Di mana sebuah halaman renders melalui JavaScript dan resists automated verification, quote adalah sourced melalui verbatim sekunder coverage dan flagged di bawah.
Google — apa ini adalah
- “Schedule a daily export of your Search Console performance data to BigQuery, where you can run complex queries over your data or export it to an external storage service.” (terjemahan) “Jadwalkan ekspor harian data performa Search Console ke BigQuery untuk menjalankan kueri kompleks atau mengirimkannya ke layanan penyimpanan eksternal.” — Google Search Console Help. Jump untuk quote
- “A bulk data export is a scheduled daily export of your Search Console performance data. It includes all the data used by Search Console to generate performance reports. Data is exported to Google BigQuery, where you can run SQL queries for advanced data analysis or even export it to another system.” (terjemahan) “Ekspor massal menjadwalkan pengiriman harian data performa Search Console ke BigQuery, termasuk data pembentuk laporan performa, agar dapat dianalisis dengan SQL atau dipindahkan ke sistem lain.” — Daniel Waisberg, Penelusuran Advocate, Google. Jump untuk quote
Google — schema
- “Contains performance data for your property aggregated by property.” (terjemahan) “Berisi data performa properti yang diagregasi pada tingkat properti.” (pada
searchdata_site_impression) dan “Contains performance data for your property aggregated by URL.” (terjemahan) “Berisi data performa properti yang diagregasi berdasarkan URL.” (padasearchdata_url_impression). Jump untuk quote - “The user query. When is_anonymized_query is true, this will be a zero-length string.” (terjemahan) “Kueri pengguna; jika is_anonymized_query bernilai benar, nilainya berupa string kosong.” Jump untuk quote
Google — querying
- “Data in the tables is not guaranteed to be consolidated by date, URL, site, or any combination of keys.” (terjemahan) “Data di dalam tabel belum tentu terkonsolidasi berdasarkan tanggal, URL, situs, maupun gabungan kunci apa pun.” Jump untuk quote
- “A good way to minimize query costs is to use a WHERE clause to limit the date range in the date partitioned table.” (terjemahan) “sebuah baik cara untuk minimize kueri costs adalah untuk gunakan Di mana clause untuk limit date range di date partitioned table.” Jump untuk quote
Google — managing export
- “Search Console retains data from failed exports for about a week.” (terjemahan) “Search Console menyimpan data dari ekspor yang gagal selama sekitar satu minggu.” dan “Search Console will stop trying to export data for a given date after about a week of failed attempts, and after about a month of failed export attempts, Search Console will stop the bulk export entirely.” (terjemahan) “Search Console berhenti mencoba mengekspor data untuk tanggal tertentu setelah kira-kira satu minggu kegagalan; setelah sekitar satu bulan kegagalan, ekspor massal dihentikan sepenuhnya.” Jump untuk quote
Google Cloud Blog — Daniel Waisberg & Gaal Yahas
- “Store data as long as you want. Search Console stores up to sixteen months of data; using BigQuery you can store as much data as it makes sense to your organization.” (terjemahan) “Simpan data selama yang Anda perlukan. Search Console menyimpan hingga enam belas bulan, sedangkan BigQuery memungkinkan penyimpanan sesuai kebutuhan organisasi.” Jump untuk quote
Bulk export vs. API vs. UI vs. Looker Studio connector — yang seharusnya I gunakan?
Mulai dari apa limit Anda’re sebenarnya hitting, tidak dari apa sounds sebagian besar powerful. sebagian besar orang siapa siapkan BigQuery export tidak perlu untuk.
Q1. adalah Anda hitting sebuah nyata limit di Search Console UI? ( ~1 000-baris export cap, atau ~16-month history wall, atau Anda perlu join GSC dengan lainnya data.)
- Tidak → berhenti. UI (dan Looker Studio’s native Search Console connector untuk dashboards) adalah cukup. jangan take pada sebuah warehouse Anda tidak perlu.
- Ya → continue.
Q2. melakukan Anda perlu sebuah standing, daily warehouse dari penuh data — atau hanya sebuah bigger satu kali / programmatic pull?
- Satu kali atau programmatic pull (sebuah script, sebuah integration, sebuah occasional deep export) → gunakan Search Console API. Lebih daripada UI, Tidak BigQuery untuk jalankan, tetapi masih capped/rate-limited dan masih Tidak anonymized kueri.
- Standing daily pipe Anda’ll warehouse dan join dengan lainnya data → continue.
Q3. adalah Anda comfortable dengan sebuah Google Cloud project, sebuah active billing account, dan writing SQL (atau memiliki seseorang siapa adalah)?
- Tidak → reconsider. sebuah unmanaged export plus sebuah dashboard pada mentah tables adalah bagaimana surprise bills happen. Either mendapatkan help atau stay pada API/Looker Studio connector.
- Ya → siapkan bulk data export. Turn ini pada now (remember: Tidak backfill), dan plan untuk materialize summary tables alih-alih querying mentah ones langsung.
Q4. melakukan Anda secara khusus perlu anonymized/hidden kueri rusak out?
- Ya → none dari ini deliver itu. Bulk export, API, dan UI semua suppress anonymized kueri di kueri tingkat. Adjust goal; data tidak exist untuk menjadi memiliki dari Google.
** satu-line versi:** tidak hitting sebuah limit → UI/Looker Studio; ad-hoc atau coded pulls → API; standing warehouse di scale → bulk export; hidden kueri → tidak seorang pun dapat memberikan Anda itu.
Bulk data export setup checklist
berfungsi top untuk bottom; setiap langkah gates berikutnya.
- Turned export pada hari ini bahkan jika Anda’re tidak ready untuk analyze namun (Tidak backfill — clock dimulai di activation).
- sebuah Google Cloud project dengan billing enabled ada (billing adalah diperlukan bahkan untuk free tier).
- BigQuery API enabled di itu project.
- BigQuery Storage API enabled di itu project.
-
search-console-data-export@system.gserviceaccount.comditambahkan sebagai sebuah principal dengan BigQuery Job pengguna (bigquery.jobUser). - sama service account granted BigQuery data Editor (
bigquery.dataEditor). - di Search Console → Settings → Bulk data export, pasted Cloud project ID ( ID, tidak angka).
- Chose sebuah dataset name (ini akan mulai dengan
searchconsole) dan sebuah dataset location. - jika setting partition expiration pada export dataset, dipertahankan ini di 14 days atau lebih lama — lebih singkat breaks export.
- Left generated table schema unchanged (bangun derived tables alih-alih).
- Waited up untuk 48 hours untuk pertama export ( proses itself seharusnya mulai
di dalam tentang sebuah day), lalu confirmed data landed (periksa
ExportLogdan duasearchdata_*tables). - Set sebuah budget alert di Google Cloud so sebuah runaway kueri dapat’t surprise Anda.
- Set partition-expiration pada Anda derived tables jika Anda tidak perlu unlimited retention.
- dibangun dashboards pada materialized summary tables, tidak mentah export tables.
Mistakes dan myths untuk hindari
“Turning it on backfills my old data.” (terjemahan) “Mengubah ini pada backfills my old data.” Tidak. export dimulai dari activation day dan hanya accumulates forward — tidak ada apa pun prior adalah pulled di. ini adalah Google’s own community forum’s sebagian besar-ditanyakan pertanyaan tentang ini fitur. Turn ini pada moment Anda hear tentang ini so history dimulai membangun.
“BigQuery export finally shows me the hidden/anonymized queries.” (terjemahan) “BigQuery export finally menampilkan me hidden/anonymized kueri.”
Tidak. Anonymized kueri land sebagai empty strings di query; mereka clicks dan impressions
adalah folded ke totals tetapi tidak pernah attributed untuk sebuah istilah — sama sebagai UI dan API. di
my Ahrefs study, ~46% dari clicks
went untuk kueri Google tidak akan disclose, dan bahkan API — yang “allows us to get all
of the data” (terjemahan) “memungkinkan us untuk mendapatkan semua
dari data” — tidak dapat surface them. Bulk export perubahan tidak ada apa pun di sini.
“It’s completely free.” (terjemahan) “ini adalah completely free.” Partly benar. ada sebuah genuine free tier, tetapi ini memerlukan sebuah active billing account, dan inefficient querying dapat bill Anda. “Free” (terjemahan) “Free” hanya holds jika Anda kueri efficiently.
“Lebih traffic berarti a bigger BigQuery bill.” (terjemahan) “Lebih traffic berarti sebuah bigger BigQuery bill.” Tidak benar-benar — cost scales lebih dengan kueri/keyword diversity daripada mentah click volume. sebuah modest-traffic situs dengan huge panjang-tail variety dapat generate lebih data daripada sebuah tinggi-traffic situs dengan sebuah handful dari concentrated kueri.
Pointing sebuah langsung dashboard di mentah tables.
single sebagian besar expensive mistake. Satu terdokumentasi case saw Looker Studio scan 23 TB
di sebuah day (~€115) wired secara langsung untuk mentah billion-baris tables. Perbaiki: materialize summary
tables pada sebuah schedule dan poin dashboards di itu; filter date partition di sebuah
WHERE clause; tidak pernah SELECT *.
Editing schema dari sebuah exported table, atau setting sebuah too-pendek partition expiration.
Altering searchdata_site_impression, searchdata_url_impression, atau ExportLog
breaks export. So melakukan setting export dataset’s partition expiration di bawah
Google’s 14-day minimum. bangun Anda own derived tables alih-alih, leave originals
untouched, dan memberikan apa pun expiration policy pada mentah dataset 14+ days dari headroom.
“Ini replaces itu Search Console API.” (terjemahan) “ini replaces Search Console API.” berbeda alat untuk berbeda jobs. API adalah untuk ad-hoc dan programmatic pulls; bulk export adalah sebuah standing daily pipe untuk warehousing dan joins.
Assuming Anda dapat hanya export satu property per project.
Outdated. Google kemudian diizinkan multiple properties di satu Cloud project melalui distinct
searchconsole_-prefixed dataset names.
sebuah kerangka kerja untuk designing export sebelum ini designs Anda bill
1. Mulai dengan pertanyaan, tidak warehouse. gunakan UI untuk sebuah quick jawaban, Penelusuran Analytics API untuk bounded programmatic pulls, dan bulk export hanya ketika Anda perlu sebuah standing daily history, joins, atau lebih rows daripada lainnya rungs menyediakan.
2. Respect table grain. searchdata_site_impression jawaban property-tingkat
pertanyaan; searchdata_url_impression menambahkan URL dimension. Rows adalah tidak promised
untuk menjadi pre-consolidated, so setiap analysis seharusnya dengan sengaja choose dimensions dan
aggregate clicks, impressions, dan position fields.
3. membuat partition filters mandatory. memerlukan sebuah data_date range di setiap kueri.
Cost mengikuti bytes scanned, dan sebuah unbounded dashboard terhadap mentah tables dapat scan
sama history repeatedly.
4. Terpisah mentah, modeled, dan presentation layers. pertahankan Google’s export tables unchanged, bangun scheduled summary tables untuk recurring pertanyaan, dan poin Looker Studio atau lainnya dashboard di itu summaries. Schema edits untuk export tables dapat break pengiriman pipeline.
5. Operate pipeline like production data. Monitor ExportLog, kueri bytes,
scheduled-job failures, dan freshness. export memiliki Tidak backfill, so missing days adalah
sebuah operational incident, tidak sesuatu activation dapat repair kemudian.
umum GSC bulk-export masalah
test report fails selama setup
Symptom: Search Console rejects project atau dataset sebelum activation. mungkin penyebab: billing atau diperlukan BigQuery APIs adalah tidak enabled, project ID adalah wrong, atau Search Console export service account lacks BigQuery Job pengguna dan BigQuery data Editor. Perbaiki: correct itu prerequisites, rerun Test report, dan activate hanya setelah ini succeeds.
Tidak tables atau baru rows muncul
Symptom: dataset ada, tetapi yang diharapkan export data adalah absent. mungkin penyebab:
pertama pengiriman adalah masih pending, dataset name/location adalah wrong, export
adalah deactivated, atau failures adalah accumulating. Perbaiki: memungkinkan awal pengiriman
window, lalu inspect ExportLog dan Search Console’s bulk-export status. Correct
pipeline alih-alih recreating dataset, karena activation melakukan tidak backfill
sebelumnya dates.
kueri totals look duplicated atau inflated
Symptom: clicks atau impressions exceed Search Console total untuk yang sama
cakupan. mungkin penyebab: mentah export rows adalah treated sebagai sudah consolidated, atau
situs- dan URL-grain data adalah mixed. Perbaiki: choose satu table grain, filter satu
search_type, group oleh yang dimaksud dimensions, dan SUM() metric fields sebelum
comparing totals.
Average position adalah off oleh satu
Symptom: sebuah computed position adalah consistently satu lebih rendah daripada UI expectation. mungkin penyebab: export’s position nilai adalah zero-based. Perbaiki: aggregate position numerator dengan matching impressions, lalu convert untuk familiar satu-based display hanya di presentation layer.
sebuah dashboard suddenly becomes expensive
Symptom: bytes processed dan kueri charges jump bahkan though traffic melakukan tidak.
mungkin penyebab: dashboard adalah scanning mentah URL-tingkat tables tanpa sebuah partition
filter. Perbaiki: inspect bytes sebelum berjalan, tambahkan sebuah bounded data_date predicate,
materialize needed daily summary, dan poin dashboard di itu lebih kecil table.
Prove bulk export berfungsi setelah setup atau sebuah pipeline perubahan
Konfirmasi Search Console dapat tulis untuk project
Test untuk jalankan — Jalankan Settings → Bulk data export → Test report setelah mengubah project, APIs, atau IAM peran. Yang diharapkan hasil — Search Console reports itu destination adalah valid. Failure interpretation — project/API configuration atau export service account’s peran adalah masih wrong. Monitoring window — Immediate. Rollback trigger — melakukan tidak activate atau switch production export destination sementara test fails.
Konfirmasi sebuah menyelesaikan daily pengiriman
Test untuk jalankan — periksa ExportLog untuk newest yang diharapkan data_date, lalu kueri
keduanya impression tables untuk itu sama partition. Yang diharapkan hasil — log records
pengiriman dan situs/URL tables berisi rows untuk date ketika property memiliki
activity. Failure interpretation — export adalah late atau failed; sebuah empty hasil
adalah tidak historical backfill. Monitoring window — memungkinkan terdokumentasi data lag dan
awal export window sebelum declaring failure. Rollback trigger — Pause apa pun
downstream report rilis jika -nya newest date adalah missing atau hanya satu diperlukan table
arrived.
Konfirmasi sebuah modeled kueri reconciles
Test untuk jalankan — Jalankan baru summary kueri untuk sebuah fixed date dan penelusuran jenis, lalu bandingkan -nya total clicks dan impressions dengan sebuah direct aggregate dari yang sama mentah partition. Yang diharapkan hasil — totals match di yang sama grain dan filters. Failure interpretation — model adalah dropping rows, double-counting dimensions, atau mixing situs dan URL grain. Monitoring window — Immediate setelah kueri finishes. Rollback trigger — pertahankan dashboards pada prior summary until baru model reconciles.
Konfirmasi cost guardrail
Test untuk jalankan — Preview bytes processed untuk production kueri dengan -nya
yang dimaksud data_date filter. Yang diharapkan hasil — scan adalah bounded untuk requested
partitions dan adalah consistent dengan team’s established baseline untuk itu report.
Failure interpretation — partition pruning adalah missing atau sebuah join expanded
scan. Monitoring window — sebelum setiap scheduled-kueri atau dashboard perubahan.
Rollback trigger — melakukan tidak deploy sebuah versi milik siapa estimated scan materially exceeds
approved baseline tanpa sebuah dijelaskan data-volume perubahan.
Starter kueri
ini ikuti Google’s own aturan: aggregate semuanya (rows tidak pre-consolidated),
filter date partition untuk control cost, dan remember position adalah zero-based.
Replace yourproject.searchconsole dengan Anda dataset.
Top nyata kueri (anonymized rows dihapus), terakhir 28 days
SELECT
query,
SUM(clicks) AS clicks,
SUM(impressions) AS impressions,
SAFE_DIVIDE(SUM(clicks), SUM(impressions)) AS ctr,
SUM(sum_top_position) / SUM(impressions) + 1 AS avg_position
FROM `yourproject.searchconsole.searchdata_site_impression`
WHERE data_date BETWEEN DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
AND DATE_SUB(CURRENT_DATE(), INTERVAL 2 DAY) -- 2-day data lag
AND query != '' -- drop anonymized rows
GROUP BY query
ORDER BY clicks DESC
LIMIT 100;Top landing halaman oleh clicks (URL-tingkat table)
SELECT
url,
SUM(clicks) AS clicks,
SUM(impressions) AS impressions
FROM `yourproject.searchconsole.searchdata_url_impression`
WHERE data_date BETWEEN DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
AND DATE_SUB(CURRENT_DATE(), INTERVAL 2 DAY)
GROUP BY url
ORDER BY clicks DESC
LIMIT 100;FAQ rich-hasil performa (sebuah rich-hasil flag pada URL table)
SELECT
url,
SUM(clicks) AS clicks,
SUM(impressions) AS impressions
FROM `yourproject.searchconsole.searchdata_url_impression`
WHERE data_date BETWEEN DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
AND DATE_SUB(CURRENT_DATE(), INTERVAL 2 DAY)
AND is_tpf_faq = TRUE
GROUP BY url
ORDER BY impressions DESC;Materialize sebuah daily summary so dashboards tidak pernah touch mentah tables
CREATE OR REPLACE TABLE `yourproject.searchconsole_derived.daily_query_summary`
PARTITION BY data_date AS
SELECT
data_date,
query,
SUM(clicks) AS clicks,
SUM(impressions) AS impressions
FROM `yourproject.searchconsole.searchdata_site_impression`
WHERE query != ''
GROUP BY data_date, query;sebuah cost-control habit: verify bagaimana banyak bytes sebuah kueri akan scan sebelum Anda jalankan ini,
menggunakan dry-jalankan flag di bq CLI — sebuah free cara untuk catch sebuah accidental penuh-table
scan.
bq query --use_legacy_sql=false --dry_run \
'SELECT SUM(clicks) FROM `yourproject.searchconsole.searchdata_url_impression`
WHERE data_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)'
# Prints the estimated bytes to be processed without running (or billing for) the query. GSC BigQuery export — cheat sheet
Setup di sebuah glance
| langkah | Apa | detail |
|---|---|---|
| 1 | Cloud project | Billing enabled (diperlukan bahkan untuk free tier) |
| 2 | APIs | Enable BigQuery API + BigQuery Storage API |
| 3 | Service account | search-console-data-export@system.gserviceaccount.com |
| 4 | IAM peran | BigQuery Job pengguna + BigQuery data Editor |
| 5 | Search Console | Settings → Bulk data export → project ID, dataset name, location; pertahankan apa pun partition expiration 14+ days |
| 6 | Tunggu | Proses dimulai di dalam ~sebuah day; pertama export di dalam ~48 hours |
** three tables**
| Table | Grain | Notable fields |
|---|---|---|
searchdata_site_impression | Property | query, is_anonymized_query, country, device, search_type, sum_top_position |
searchdata_url_impression | URL | semua dari di atas + url, is_* rich-hasil flags, sum_position |
ExportLog | Daily record | namespace, data_date, epoch_version, publish_time |
kueri aturan
- selalu
SUM()+GROUP BY— rows tidak pre-consolidated. WHERE query != ''untuk drop anonymized rows.- Filter
data_date( partition) untuk cut cost. avg_position = SUM(sum_top_position)/SUM(impressions) + 1(zero-based, tambahkan 1).- tidak pernah
SELECT *.
Fast facts
- Tidak backfill — data dimulai di activation, forward hanya.
- Anonymized kueri stay hidden (empty
querystring) — sama sebagai UI/API. - Dua-day lag pada paling recent data.
- Deactivation takes up untuk 24 hours (satu lebih day dapat land).
- Failure thresholds: ~1 week retry per date → ~1 month dari failures berhenti entire export.
- Partition expiration floor: 14 days minimum pada export dataset; lebih singkat breaks ini.
- Dataset name selalu dimulai dengan
searchconsole. - Multiple properties per project: gunakan distinct
searchconsole_-prefixed dataset names. - Free tier (verify saat ini): ~10 GiB storage + ~1 TiB kueri/month, lalu ~6,25 USD/TiB.
- Bing: Tidak native equivalent — ketiga-party connector diperlukan.
Prompts untuk reviewing GSC BigQuery berfungsi
Audit sebuah kueri untuk correctness dan cost
Paste table schemas, SQL, -nya purpose, dan date/penelusuran-jenis cakupan. tanyakan model untuk kembalikan corrected SQL dan sebuah pendek explanation, lalu verify output di BigQuery sebelum scheduling ini.
You are reviewing a Google Search Console bulk-export query in BigQuery.
Goal: [the question this query should answer]
Table grain and schemas: [paste the relevant site or URL table fields]
SQL: [paste the query]
Required date range and search_type: [paste them]
Check for: a missing data_date partition filter; failure to aggregate raw rows;
site-grain and URL-grain mixing; incorrect handling of zero-based position;
anonymized-query handling; joins that duplicate metrics; and unnecessary bytes
scanned. Return: (1) each issue, (2) corrected Standard SQL, (3) a reconciliation
query, and (4) assumptions that require human verification. Do not invent fields.Design sebuah safe reporting layer
Paste pertanyaan dashboard harus jawaban dan nyata schema. Expect sebuah proposed summary-table grain dan validation plan, tidak sebuah fabricated ready-untuk-jalankan deployment.
Design a modeled reporting layer for this GSC BigQuery bulk export.
Business questions: [paste the questions]
Available tables and schemas: [paste them]
Refresh cadence: [daily/weekly]
Required dimensions: [page, query, country, device, search type, etc.]
Propose: the smallest useful summary-table grain; partitioning and clustering;
a scheduled-query sequence; freshness and reconciliation checks; and which dashboard
questions should stay in the UI or API instead. Preserve raw export tables unchanged.
Flag any requirement the supplied schema cannot support, especially requests for
disclosed anonymized queries. Do not invent benchmarks, fields, or backfill. alat sekitar export
- Google BigQuery — di mana data lands; jalankan SQL, schedule kueri, dan bangun BigQuery ML models pada ini.
- BigQuery cost controls — Google Cloud budget alerts, per-kueri byte limits,
dan
bq --dry_runflag untuk estimate scan size sebelum berjalan. - Looker Studio — untuk dashboards, tetapi bangun them pada materialized summary tables, tidak mentah export. (Looker Studio juga memiliki sebuah native Search Console connector itu perlu Tidak BigQuery di semua — sering cukup pada -nya own.)
- Google Search Console — sumber; UI export dan performa report adalah baseline bulk export extends.
- Search Console API — middle rung ketika Anda perlu lebih daripada UI tetapi tidak sebuah standing warehouse.
- ketiga-party ETL connectors (Supermetrics, Improvado, Catchr, dan others) — bagaimana Anda’d mendapatkan Bing Webmaster alat data ke BigQuery, since Bing memiliki Tidak native export.
Resources worth Anda time
My related writing
- Hampir Half dari GSC Clicks Go untuk Anonymous kueri — my Ahrefs study (146 741 situs, ~9B clicks) menunjukkan 46,08% dari clicks go untuk kueri Google tidak akan disclose. Secara langsung relevant: BigQuery export tidak recover apa pun dari them either.
- Beginner’s Guide untuk SEO teknis — di mana Search Console dan data-analysis berfungsi fit di bigger picture.
My speaking / posts
- pada getting lebih out dari GSC data — sebuah walkthrough dari squeezing lebih dari Search Console’s data (melalui Ahrefs’ own GSC fitur), bagian dari yang sama “ada lebih di sini daripada itu UI menunjukkan” (terjemahan) “ada lebih di sini daripada UI menampilkan” throughline sebagai BigQuery export.
dari sekitar industry
- Google Search Console menambahkan daily bulk data exports untuk BigQuery (mesin pencari Land, Barry Schwartz) — announcement coverage, dengan Google’s original wording quoted verbatim.
- Google menjelaskan cara gunakan Search Console Bulk data Export (mesin pencari Journal, Matt G. Southern) — Daniel Waisberg’s plain-English deskripsi dari fitur.
- Mendapatkan Dimulai dengan GSC kueri di BigQuery (mesin pencari Journal) — sebuah practical kueri starter.
- Google Search Console untuk BigQuery: Menyelesaikan Guide (Trevor Fox) — origin dari “keyword variety, tidak penelusuran volume” (terjemahan) “keyword variety, tidak penelusuran volume” cost framing.
- See Ya, Sampling! Mendapatkan Lebih Menyelesaikan GSC data dengan BigQuery (Advanced Web peringkat, Sam Torres) — setup dan cost-control basics.
- cara kueri Google Search Console data di BigQuery (Analytics Mania, Julius Fedorovicius) — thorough walkthrough including dua-day data lag.
- cara gunakan Anda GSC data di BigQuery like sebuah pro (Antoine Eripret) — teknis deep-dive, including 23 TB / ~€115 cost horror story dan Tidak-backfill reality.
Stats worth citing
- ~46% dari GSC clicks go untuk undisclosed kueri. dari my Ahrefs study dari 146 741 situs web dan roughly 9 billion clicks: 46,08% dari clicks went untuk kueri Google anonymizes — sebuah limitation BigQuery export shares dengan UI dan API.
- sebuah langsung dashboard pada mentah tables scanned 23 TB di satu day (~€115). Antoine Eripret’s terdokumentasi case untuk mengapa Anda materialize summary tables alih-alih querying mentah export secara langsung. Sumber
- Dua-day data lag. “Google Search Console data adalah tersedia dengan a dua-day delay, so itu paling recent data tersedia akan selalu menjadi dari dua days prior” (terjemahan) “Google Search Console data adalah tersedia dengan sebuah dua-day delay, so paling recent data tersedia akan selalu menjadi dari dua days prior” — so sebuah 30-day range mengembalikan ~28 days dari usable data. Sumber
- Free tier (verify — pricing perubahan): roughly 10 GiB storage + 1 TiB dari kueri processing per month free, lalu tentang 6,25 USD/TiB processed. Sumber
Uji pemahaman Anda: GSC BigQuery Export
Five quick pertanyaan pada bulk data export. Pick sebuah jawaban untuk setiap, lalu periksa.
Log perubahan
Diperbarui 9 Agu 2026.
Ringkasan editorial dan detail perubahan yang tercatat.Detail perubahan
-
Catatan perubahan terperinci saat ini tersedia dalam bahasa Inggris.
Perbandingan lengkap tidak tersedia — tidak ada cuplikan sebelumnya yang diarsipkan untuk revisi ini.
Diperbarui 8 Agu 2026.
Ringkasan editorial dan detail perubahan yang tercatat.Detail perubahan
-
Catatan perubahan terperinci saat ini tersedia dalam bahasa Inggris.
Perbandingan lengkap tidak tersedia — tidak ada cuplikan sebelumnya yang diarsipkan untuk revisi ini.
Diperbarui 30 Jul 2026.
Ringkasan editorial dan detail perubahan yang tercatat.Detail perubahan
-
Catatan perubahan terperinci saat ini tersedia dalam bahasa Inggris.
Perbandingan lengkap tidak tersedia — tidak ada cuplikan sebelumnya yang diarsipkan untuk revisi ini.
Diperbarui 18 Jul 2026.
Ringkasan editorial dan detail perubahan yang tercatat.Detail perubahan
-
Catatan perubahan terperinci saat ini tersedia dalam bahasa Inggris.
-
Catatan perubahan terperinci saat ini tersedia dalam bahasa Inggris.
-
Catatan perubahan terperinci saat ini tersedia dalam bahasa Inggris.
Perbandingan lengkap tidak tersedia — tidak ada cuplikan sebelumnya yang diarsipkan untuk revisi ini.