Langues

Guide : GSC BigQuery Export

Comment utiliser le Recherche Google Console BigQuery export à requête unsampled daily click et impression données avec aucun UI ligne cap (anonymized requêtes encore excluded), le difference entre le UI et le raw export, setup, coût mechanics, et le aucun-backfill gotcha.

Première publication : 27 juin 2026 · Dernière mise à jour : 3 août 2026 · Avancé
AIRédigé parAI v2

Pour site web properties, le GSC BigQuery bulk export schedules a daily, unsampled dump de Performances données—minus anonymized requêtes—dans BigQuery, bypassing le UI ligne cap et 16-month retention window. Il crée site-level, URL-level, et export-log tables, ne fait pas backfill, exige billing, et peut incur requête coûts. Google maintenant prend en charge Instagram, TikTok, X, et YouTube plateforme properties, mais son actuel plateforme documentation ne fait pas promise BigQuery prise en charge pour les; ne faites pas assume ce pipeline s’applique à social accounts.

TL;DR — Le bulk données export est a scheduled daily, unsampled dump de votre Search Console Performances données dans a BigQuery dataset — aucun ~1 000-ligne export cap, aucun ~16-month retention wall. Il lands three tables (searchdata_site_impression, searchdata_url_impression, ExportLog). Setup: a Google Cloud project avec billing enabled, le BigQuery + BigQuery Storage APIs on, deux IAM roles granted à Google’s export service account, alors Paramètres → Bulk données export dans GSC. Il fait pas backfill, encore rapports anonymized requêtes as vide strings, et le premier export lands dans ~48 hours. Coût est a réel gratuit tier plus per-TB requête charges — le classic bill comes depuis dashboards querying raw tables actif. Think de il as le third rung: UI → API → bulk export.

Le ladder ci-dessous est pour site web properties. Il n’est pas evidence que social or video plateforme properties prise en charge le Search Console API or BigQuery export.

Ce que it en réalité is

Bulk export est a scheduled Search Console données pipeline dans a Google Cloud project, pas an independent classement-données source. Preuve à l’appui de cette affirmation Search Console bulk data export sends daily performance data to BigQuery in a configured Google Cloud project. Portée : Search Console bulk export; setup, permissions, quotas, and supported properties follow Google's current documentation. Niveau de confiance : élevé · Vérifié : Google: Bulk data export Requêtes doit respect le documented tables, keys, et privacy/aggregation behavior. Preuve à l’appui de cette affirmation Bulk export uses site-impression, URL-impression, and export-log tables with documented schemas. Portée : Google's published Search Console export schema; aggregation and privacy handling still affect analysis. Niveau de confiance : élevé · Vérifié : Google: Bulk export tables

«Daniel Waisberg, a Search Advocate at Google, describes it plainly: “A bulk data export is a scheduled daily export of your Search Console performance data. It includes all the data used by Search Console to generate performance reports. Data is exported to Google BigQuery, where you can run SQL queries for advanced data analysis or even export it to another system.” (quoted in Search Engine Journal). » (Traduction) (Résumé en français de la section vingt-deux, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«The point is scale. The Search Console UI caps most exports around 1,000 rows and shows a rolling ~16-month window. The Search Console API gives you more but is still capped and rate-limited. The bulk export removes the row ceiling entirely and lets you decide how long to retain. Google’s own line from the announcement, as reproduced by Search Engine Land: “The daily data row limit does not impact this data, so you can extract more data using this method,” and the feature “could be particularly helpful for large websites with tens of thousands of pages.” » (Traduction) (Résumé en français de la section vingt-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«## What data you get: the three tables » (Traduction) (Résumé en français de la section vingt-quatre, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«Everything lands in a dataset whose name always starts with searchconsole. Three objects show up (Table guidelines and reference): » (Traduction) (Résumé en français de la section vingt-cinq, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«1. searchdata_site_impression — “Contains performance data for your property aggregated by property.” Key fields: data_date (“The day on which the data in this row was generated (Pacific Time)”), site_url (domain properties use the sc-domain: prefix), query, is_anonymized_query, country (ISO-3166-1 Alpha-3), search_type (web/image/video/news/discover/googleNews), device, impressions, clicks, and sum_top_position. 2. searchdata_url_impression — “Contains performance data for your property aggregated by URL.” Everything above, plus url (“The fully-qualified URL where the user eventually lands when they click the search result”), is_anonymized_discover, a family of is_[search_appearance_type] boolean flags (e.g. is_amp_top_stories, is_job_listing, is_tpf_faq) so you can slice by rich-result type, and sum_position. This is the granular table most analysis runs on. 3. ExportLog — “A record of what data was saved for that day. Failed exports are not recorded here.” Fields include agenda (currently only SEARCHDATA), namespace (which table was written), data_date, epoch_version (“An integer, where 0 is the first time data was saved to this table” — it increments when Google later revises a day’s data), and publish_time. » (Traduction) (Résumé en français de la section vingt-six, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«The anonymized-query caveat is the important one. Even here, at the raw level, anonymized queries are not revealed. As Google’s field description puts it, when is_anonymized_query is true the query field “will be a zero-length string.” Their metrics are still aggregated into your totals, but they’re never attributable to a specific term — exactly the same limitation the UI and the API have. This is a big deal at scale: in my Ahrefs study of GSC’s hidden terms, across 146,741 websites and roughly 9 billion clicks, 46.08% of all clicks went to queries Google doesn’t disclose — and that study used the Search Console API, which “allows us to get all of the data—and there’s still a lot missing.” The BigQuery export doesn’t recover any of it. If someone tells you bulk export “finally shows you the hidden queries,” they’re wrong. » (Traduction) (Résumé en français de la section vingt-sept, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

How to définir it up

The flow (Commencer a nouveau bulk données export):

«1. Create or pick a Google Cloud project with billing enabled. Per Google: “Data is subject to Google Cloud storage and query costs, but there is a free usage level.” You need billing on even to stay inside the free tier. 2. Enable the BigQuery API and the BigQuery Storage API in that project. 3. Grant Google’s export service account access. Add search-console-data-export@system.gserviceaccount.com as a principal with two IAM roles: BigQuery Job User (bigquery.jobUser) and BigQuery Data Editor (bigquery.dataEditor). 4. In Search Console, go to Settings → Bulk data export. Paste the Cloud project ID (the ID, not the project number), choose a dataset name, and choose a dataset location. Note the naming rule: “The dataset name always starts with the string searchconsole, even when you customize it.” If you set a partition-expiration policy on the export’s own dataset, keep it at 14 days or longer — Google documents a 14-day minimum, and going shorter is a documented failure cause. Leave the generated table schema untouched too; altering it is the other documented way to break the export (more in Troubleshooting below). 5. Wait. Google says the export process itself should begin within about a day of activation. “The first export will happen up to 48 hours after your successful configuration in Search Console,” and that first delivery contains only the day-of-export data — nothing from before setup (see the no-backfill section next). After that it runs daily until you stop it.

Preuve à l’appui de cette affirmation Setup requires a billed Google Cloud project, BigQuery API and BigQuery Storage API, plus BigQuery Job User and BigQuery Data Editor roles for search-console-data-export@system.gserviceaccount.com. Portée : verified property and public web as applicable Niveau de confiance : élevé · Vérifié : Start a new bulk data export

» (Traduction) (Résumé en français de la section trente, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Un practical expectation à définir: Search Console données lands avec a deux-day delay, donc le la plupart recent day vous’ll ever ont est deux days ago. Demander pour a 30-day range et vous effectively obtenir à propos de 28 days de usable données.

The no-backfill gotcha

«Say it out loud, because it burns people: activating the export does not pull in your historical data. It starts from activation day and only accumulates forward. This is common enough that Google’s own community forum has multiple threads about it — “How to backfill with historical data when Bulk data export is activated” (thread 300051568), thread 255704574, and thread 429248330. Antoine Eripret puts it bluntly in his practitioner deep-dive: “You can’t get historical data: if you activate it today, you’ll have data from today.” The takeaway is simple — turn it on the day you first hear about it, even if you’re not ready to analyze anything yet, so the clock starts. » (Traduction) (Résumé en français de la section trente-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Ce que it costs, and how pas to obtenir surprised

Le Google Cloud Blog post par Daniel Waisberg et Gaal Yahas sells le upside — “Si vous ont a grand site web, ce solution va provide plus requêtes et pages que le autre données exporting solutions” et “Search Console stores up à sixteen months de données; en utilisant BigQuery vous pouvez store as beaucoup données as il rend sense à votre organization” — mais le coût mechanics sont on vous.

As de ce writing, BigQuery’s gratuit tier est roughly 10 GiB de storage gratuit plus 1 TiB (~1 TB) de on-demand requête processing gratuit per month; au-delà que c’est à propos de 6,25 USD per TiB processed et roughly 0,02 USD per GB stored per month (varies par region et storage class). Pricing changements, donc vérifier le actuel numbers avant vous citation les à anyone. La plupart petit-à-mid sites stay gratuit or near-gratuit.

Le bills come depuis comment vous requête, pas comment beaucoup trafic vous ont. Deux choses matter:

  • Coût scales avec requête/mot-clé diversity, pas raw trafic. As Trevor Fox puts il dans his complet guide: “Le volume de données que est plus a factor de mot-clé variety que il est recherche volume. A site avec a faible recherche volume pour lots de mots-clés va generate plus données que a site avec lots de recherche volume pour a unique mot-clé.”
  • ne pas point a actif dashboard à le raw tables. Ce est le classic horror story. Antoine Eripret documented Looker Studio scanning 23 TB dans a unique day, autour €115, quand wired directement à le raw billion-ligne tables. Google’s propre BigQuery efficiency tips post dit le même dans principle: pre-aggregate dans summary tables, filter on le date partition dans a WHERE clause, éviter SELECT *, définir budget alerts, et définir partition-expiration à auto-delete old partitions.

Le corriger est boring mais effective: materialize votre requête résultats dans petit permanent summary tables on a schedule, et point votre dashboards à ceux, pas à le raw export.

Querying: le règles que garder vous sane (et cheap)

From Google’s requête guidelines:

  • Toujours aggregate. “Données dans le tables n’est pas guaranteed à être consolidated par date, URL, site, or quelconque combination de keys.” Traduction: vous’ll obtenir plusieurs lignes pour le même day/URL/requête, donc toujours SUM() votre metrics et GROUP BY votre dimensions. Jamais treat a unique ligne as a finished number.
  • Filter le date partition. “A bon façon à minimize requête coûts est à utiliser a OÙ clause à limite le date range dans le date partitioned tableau.”
  • Drop anonymized lignes quand vous vouloir réel top requêtes. “An anonymized requête est reported as a zero-length string dans le tableau” — donc ajouter WHERE query != ''.
  • Position est zero-based. Les deux tables store position starting à 0, donc average position est SUM(sum_top_position) / SUM(impressions) + 1 (ajouter le 1).

Google ships sample requêtes pour daily web-recherche stats, top mobile requêtes par country, Découvrir URLs par clicks, FAQ rich-résultat performances (is_tpf_faq = true), et brand-requête tracking via REGEXP_CONTAINS. Commencer depuis ceux.

Managing et troubleshooting le export

Depuis Manage et monitor bulk données exports:

«- Stopping isn’t instant. Settings → Bulk data export → Deactivate export. “Bulk exports will stop in the next 24 hours,” so one more day of data may still land after you flip it off. » (Traduction) (Résumé en français de la section quarante-six, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- Two failure thresholds, not one. “Search Console retains data from failed exports for about a week.” And then: “Search Console will stop trying to export data for a given date after about a week of failed attempts, and after about a month of failed export attempts, Search Console will stop the bulk export entirely.” So a sustained problem doesn’t just skip days — after ~a month it shuts the whole export off, and you’d have to set it up again. » (Traduction) (Résumé en français de la section quarante-six, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- The schema-change trap (and the partition-expiration floor). If you alter the schema of an exported table, you break the export. Google also requires at least 14 days of partition expiration on the export dataset — set it shorter and the export can fail. Leave those tables alone; build your own derived tables instead. (Other common causes of failure include exceeding your Cloud project’s quota and revoking the service account’s access.) » (Traduction) (Résumé en français de la section quarante-six, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.) «- Use the Test report. There’s a “Test report” feature that lets you verify certain correctable issues — project ID/credentials, permissions — without waiting for the next scheduled run. Note it doesn’t force an immediate re-export; check back roughly 24 hours later to confirm the fix took. » (Traduction) (Résumé en français de la section quarante-six, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.) «- Search Console emails property owners when export errors start and when they resolve, and Settings shows the status of the most recent export attempt. » (Traduction) (Résumé en français de la section quarante-six, sous-partie cinq : le texte source est conservé pour vérification lors de la relecture francophone.)

Où it sits: UI → API → bulk export

Think of three rungs on a ladder, chaque removing a limite the un ci-dessous it hit:

  • UI export — ~1 000 lignes, ~16 months, aucun anonymized requêtes. Fine pour la plupart.
  • Search Console API — plus lignes, encore capped et rate-limited, encore aucun anonymized requêtes. Bon pour ad-hoc et programmatic pulls.
  • Bulk données export — aucun ligne cap, retention vous contrôler, daily granular données, construit pour warehousing et joins. Encore aucun anonymized requêtes. ne fait pas backfill.

Et a nuance older guides obtenir incorrect: vous êtes pas limited à un property per Cloud project anymore. Google plus tard allowed plusieurs properties dans a unique project en utilisant distinct searchconsole_-prefixed dataset noms.

Ce que à propos de Bing?

As de ce writing, il y a aucun native equivalent. Bing Webmaster Outils ne fait pas offer a premier-party BigQuery/bulk export — qui est exactly pourquoi a market de tiers ETL connectors (Supermetrics, Improvado, Catchr, et others) exists à déplacer Bing Webmaster Outils données dans BigQuery. Si Bing avait a native pipe, que market ne ferait pas. Que said, a connector n’est pas guaranteed à replicate GSC’s propre export schema or daily-partition behavior champ-pour-champ — vérifier quelconque connector’s documented scope avant assuming parity. Donc si vous vouloir Bing données dans BigQuery alongside votre GSC export, budget pour a connector et vérifier ce que il en réalité delivers. (Confirmer ce est encore actuel avant citing il — Bing’s propre fonctionnalité définir peut modifier.)

Pour le broader context on où ce sits, voir le Moteur de recherche Outils hub et son walkthroughs de Recherche Google Console et Bing Webmaster Outils.

Ajouter une note d’expert

Épingler une citation d’expert

Nouvelle personne ? Créez son profil non revendiqué à /admin/experts/ → Épingler une citation d’expert d’abord.