Une simple requête SQL mal optimisée peut parfois coûter des milliers d’euros sur BigQuery. La startup Biq Blue analyse l’utilisation de la plateforme de Google Cloud pour détecter les anomalies et identifier des optimisations capables de réduire la facture jusqu’à 80 %. Interview. 

Dans de nombreuses entreprises, les infrastructures data reposent aujourd’hui sur des entrepôts de données capables d’analyser des volumes gigantesques d’informations. 

Parmi ces outils, BigQuery, la plateforme d’analyse de données de Google Cloud, s’est imposée comme l’une des solutions les plus populaires pour interroger rapidement des datasets massifs.

Sa force tient à sa simplicité d’utilisation et à sa puissance de calcul. Mais cette facilité d’accès peut aussi devenir un piège : dans certaines organisations, les coûts liés à BigQuery peuvent rapidement s’envoler.

Quelques requêtes mal optimisées, un stockage de données mal organisé ou une simple erreur dans une requête SQL peuvent suffire à faire grimper la facture cloud de manière spectaculaire.

Pour aider les entreprises à mieux maîtriser ces dépenses, la startup Biq Blue a développé une plateforme spécialisée dans l’analyse et l’optimisation des coûts BigQuery. L’outil permet d’identifier les sources de dépenses, de détecter les anomalies et de proposer des optimisations concrètes.

Lors d’un échange avec Bruno, cofondateur de Biq Blue, et Nicolas Remia, ancien utilisateur de la solution chez Fox Intelligence avant de rejoindre l’entreprise, ils nous ont expliqué pourquoi les coûts BigQuery peuvent exploser et comment certaines organisations parviennent à les réduire drastiquement.

Pourquoi la facture BigQuery peut exploser

BigQuery a été conçu pour permettre aux équipes data d’explorer de très grands volumes de données avec une grande simplicité. Mais cette facilité d’utilisation peut aussi conduire certaines entreprises à perdre progressivement le contrôle de leurs dépenses.

Selon Nicolas Remia, plusieurs facteurs expliquent pourquoi les factures BigQuery peuvent atteindre des montants très élevés dans certaines organisations.

« Dans mon ancienne entreprise, nous sommes montés jusqu’à 130 000 euros par mois de requêtes BigQuery. »
— Nicolas Remia

Le premier facteur concerne le stockage des données. De nombreuses entreprises accumulent des volumes très importants d’informations dans leurs datasets sans revoir régulièrement leur organisation. Avec le temps, ces tables deviennent massives et le simple fait de conserver ces données peut représenter un coût significatif.

Chez Fox Intelligence, où Nicolas Remia travaillait auparavant, le stockage seul atteignait environ 25 000 euros par mois.

Le deuxième facteur concerne la manière dont les requêtes sont facturées. Par défaut, BigQuery utilise un modèle appelé On-Demand, dans lequel chaque requête est facturée en fonction du volume de données analysé. Plus une requête parcourt de données, plus son coût augmente.

Ce modèle est extrêmement simple à utiliser, ce qui encourage les équipes à multiplier les requêtes pour analyser leurs données. Mais lorsque les volumes deviennent importants, les coûts peuvent grimper très rapidement.

Enfin, le troisième facteur est beaucoup plus humain. Dans de nombreuses entreprises, BigQuery est accessible à différents profils : data analysts, équipes produit, finance ou développeurs qui écrivent ponctuellement du SQL.

Ces utilisateurs peuvent produire des requêtes parfaitement valides… mais très coûteuses.

« Une simple requête mal écrite peut coûter extrêmement cher en quelques minutes. »
— Nicolas Remia

Un SELECT * sur une table gigantesque, une jointure mal optimisée ou une requête relancée automatiquement peuvent suffire à faire grimper la facture bien plus vite que prévu.

C’est précisément ce type de situation que Biq Blue tente d’identifier et de corriger.

Comment est né Biq Blue

L’histoire de Biq Blue commence par un besoin très concret. Avant de devenir un produit commercial, l’outil a d’abord été développé en interne par Bruno pour analyser l’utilisation de BigQuery dans son entreprise.

À l’origine, l’objectif n’était pas forcément de réduire les coûts. Il s’agissait surtout de comprendre comment les requêtes étaient exécutées, quelles tables étaient les plus sollicitées et comment les données circulaient dans l’infrastructure.

Bruno partage ensuite cet outil avec Nicolas Remia, qui travaille alors chez Fox Intelligence, une entreprise spécialisée dans l’analyse de données dans le secteur du e-commerce et du retail.

À cette époque, l’entreprise utilise BigQuery à grande échelle et gère des volumes de données très importants. L’outil développé par Bruno permet alors d’observer plus précisément la manière dont les requêtes sont exécutées et les coûts qu’elles génèrent.

Progressivement, l’outil évolue pour se concentrer davantage sur l’optimisation des dépenses BigQuery.

« Au départ, j’ai développé un outil pour analyser les requêtes BigQuery. En l’utilisant dans des environnements avec beaucoup de données, on s’est rendu compte qu’il permettait aussi d’identifier des optimisations importantes. »

En constatant le potentiel de cette approche, les deux entrepreneurs décident de transformer cet outil interne en produit. C’est ainsi qu’est né Biq Blue.

Fait intéressant : Nicolas Remia a d’abord été utilisateur de la solution avant de rejoindre l’entreprise pour participer à son développement.

Comment Biq Blue réduit les coûts BigQuery

Le principe de Biq Blue est relativement simple : analyser l’utilisation réelle de BigQuery et identifier les optimisations les plus efficaces pour réduire la facture.

Pour cela, l’outil examine différents éléments de l’infrastructure data : les requêtes exécutées, l’organisation des tables, les volumes de données stockées et les modèles de facturation utilisés.

L’objectif n’est pas seulement de visualiser les dépenses, mais surtout de proposer des actions concrètes pour les réduire.

Dans la plupart des cas, les premières optimisations correspondent à ce que les fondateurs appellent des « quick wins » : des changements simples qui peuvent générer des économies importantes.

Ces optimisations peuvent concerner par exemple le modèle de stockage des données, la suppression de tables inutilisées ou encore le mode de facturation des requêtes.

L’un des cas les plus fréquents concerne justement ce dernier point. BigQuery propose plusieurs modèles de facturation, mais de nombreuses entreprises utilisent encore le mode On-Demand, activé par défaut.

Or, dans certaines situations, d’autres modèles peuvent être beaucoup plus avantageux.

« Certains clients ont réduit leur facture BigQuery de 80 % simplement en changeant le mode de facturation. »
— Bruno

L’outil permet ainsi de comparer différents scénarios et d’estimer combien une infrastructure aurait coûté avec un autre modèle de facturation.

Une fois ces optimisations rapides mises en place, les équipes peuvent aller plus loin en améliorant la structure de leurs tables ou en optimisant certaines requêtes SQL.

L’idée est d’obtenir des gains rapides au départ, puis de maintenir les coûts sous contrôle dans la durée.

Quand une simple requête peut coûter des milliers d’euros

Dans les environnements data modernes, les requêtes sont exécutées en permanence par différents utilisateurs, pipelines automatisés ou services applicatifs. Lorsqu’une erreur se produit, la facture peut grimper beaucoup plus vite qu’on ne l’imagine.

C’est précisément pour éviter ce type de situation que Biq Blue intègre un système d’alertes permettant de détecter rapidement les anomalies de coûts.

Les équipes peuvent définir des seuils de dépenses par utilisateur ou par projet. Lorsque ces seuils sont dépassés, une notification est envoyée — généralement par email ou directement dans des outils collaboratifs comme Slack.

Ces alertes permettent d’identifier immédiatement une requête anormalement coûteuse.

Nicolas Remia raconte par exemple un incident survenu lorsqu’il dirigeait une équipe technique utilisant BigQuery.

Un développeur travaillait sur un nouveau service et utilisait un environnement de développement dans lequel certaines opérations redémarraient automatiquement à chaque modification de fichier.

Dans le code se trouvait une requête contenant un SELECT * sur une table très volumineuse — une pratique généralement déconseillée lorsque les datasets sont importants.

À chaque modification du code, le service redémarrait et la requête était relancée automatiquement.

« Un développeur avait lancé un SELECT * sur une grosse table. En une heure, la requête avait déjà généré 2 000 euros de coûts. »
— Nicolas Remia

Grâce aux alertes déclenchées par Biq Blue, l’équipe a été prévenue presque immédiatement et a pu interrompre la requête.

Sans ce système de détection, l’erreur aurait pu passer inaperçue pendant toute la journée. Dans ce cas, la facture aurait potentiellement atteint plusieurs dizaines de milliers d’euros.

Des économies pouvant atteindre plusieurs centaines de milliers d’euros

Au-delà de la détection d’erreurs ponctuelles, l’objectif principal de Biq Blue reste d’identifier des optimisations structurelles dans l’utilisation de BigQuery.

Certaines d’entre elles peuvent avoir un impact très important sur les dépenses cloud.

L’un des exemples les plus marquants concerne Fox Intelligence, l’entreprise dans laquelle Nicolas Remia travaillait avant de rejoindre la startup.

Même si l’infrastructure data était déjà mature et utilisée depuis plusieurs années, l’analyse réalisée avec l’outil a permis d’identifier plusieurs optimisations.

Selon Nicolas Remia, les économies réalisées sur une seule année ont atteint environ 400 000 euros par rapport aux prévisions initiales.

Dans les grandes infrastructures data, ce type de gain peut s’expliquer assez simplement. Les dépenses BigQuery peuvent représenter des montants très élevés lorsque les volumes de données deviennent importants.

Une amélioration de l’organisation des tables, un changement de modèle de facturation ou l’optimisation de certaines requêtes peuvent alors générer des économies significatives.

Ces économies peuvent ensuite être réinvesties dans d’autres projets : recrutement d’ingénieurs, développement de nouveaux services ou expérimentation de nouvelles technologies.

Selon les fondateurs de Biq Blue, c’est souvent l’un des éléments qui surprend le plus les entreprises lorsqu’elles commencent à analyser en détail leurs dépenses BigQuery : les premières optimisations apparaissent souvent très rapidement.

Comment Biq Blue analyse BigQuery sans accéder aux données

Lorsqu’une entreprise connecte un outil externe à son infrastructure cloud, la question de la sécurité des données se pose immédiatement. Dans le cas de Biq Blue, les fondateurs insistent sur un point essentiel : la plateforme n’accède jamais au contenu des tables BigQuery.

Le fonctionnement de l’outil repose uniquement sur l’analyse de métadonnées techniques.

BigQuery expose en effet un ensemble de tables spéciales appelées INFORMATION_SCHEMA. Ces tables contiennent des informations sur les requêtes exécutées, les tables utilisées, les datasets ou encore les volumes de données analysés.

Ces métadonnées permettent de comprendre comment une infrastructure BigQuery est utilisée, sans jamais consulter les données stockées dans les tables.

« Nous utilisons uniquement les tables INFORMATION_SCHEMA pour analyser l’usage de BigQuery. Nous n’accédons jamais aux données contenues dans les tables des clients. »

Biq Blue se connecte donc à ces métadonnées en lecture seule afin d’analyser les requêtes et identifier les optimisations possibles.

Autre point important : la grande majorité des informations traitées par l’outil reste dans l’environnement du client.

Dans la pratique, les métadonnées sont agrégées dans un dataset BigQuery appartenant à l’entreprise, où elles sont utilisées pour générer les tableaux de bord et les recommandations.

Du côté de Biq Blue, seules quelques informations minimales sont conservées pour le fonctionnement du service, notamment pour gérer la facturation.

Par exemple, la plateforme stocke simplement le nombre d’utilisateurs BigQuery actifs dans l’organisation, puisque la tarification de l’outil dépend de ce paramètre.

Pourquoi Biq Blue se différencie des outils natifs de Google

Google Cloud propose déjà plusieurs outils permettant de surveiller les coûts et l’utilisation de BigQuery. Mais selon les fondateurs de Biq Blue, ces outils restent souvent limités pour comprendre précisément l’origine des dépenses.

L’une des difficultés vient de la manière dont BigQuery est structuré.

Les métadonnées sont réparties entre différents projets et datasets. Pour obtenir une vision globale de l’utilisation d’une infrastructure, il faudrait interroger de nombreuses vues techniques et exécuter plusieurs requêtes complexes.

Biq Blue adopte une approche différente.

L’outil agrège ces métadonnées et les pré-calcule régulièrement, afin de rendre leur analyse beaucoup plus rapide. Les résultats sont ensuite stockés dans des tables qui peuvent être interrogées directement, soit via l’interface de Biq Blue, soit depuis BigQuery lui-même.

Cette architecture permet aux équipes data d’obtenir une vision beaucoup plus claire de leur infrastructure et d’identifier rapidement les optimisations possibles.

Autre différence importante : Biq Blue est un outil très spécialisé.

Alors que certaines plateformes FinOps cherchent à analyser l’ensemble des dépenses cloud d’une entreprise, Biq Blue se concentre exclusivement sur l’optimisation de BigQuery.

Cette spécialisation permet d’aller beaucoup plus loin dans l’analyse des requêtes, des tables et des modèles de facturation.

Les fondateurs travaillent également sur plusieurs évolutions pour la plateforme. Parmi elles, l’intégration avec des assistants d’intelligence artificielle utilisés par les développeurs.

L’objectif est de permettre d’interroger directement les dashboards de Biq Blue depuis des outils comme Codex, Gemini CLI ou Cloud Code, afin d’obtenir des analyses ou des recommandations directement via un assistant IA.

Un outil conçu pour être rapide à déployer

Au-delà des aspects techniques, l’un des arguments avancés par les fondateurs de Biq Blue concerne la rapidité de mise en place de la solution.

Aujourd’hui, la plateforme est principalement proposée sous forme SaaS, ce qui permet aux entreprises de connecter leur environnement BigQuery sans installation complexe. Une fois l’accès aux métadonnées configuré, l’outil peut commencer à analyser l’infrastructure et produire ses premiers tableaux de bord.

Dans de nombreux cas, les premières optimisations apparaissent très rapidement.

Selon les fondateurs, les nouveaux clients identifient souvent plusieurs améliorations dès les premiers jours d’utilisation, notamment sur le modèle de facturation ou l’organisation des datasets.

« Chez certains clients, les économies réalisées sur un an représentent l’équivalent du coût d’un salarié. »
— Bruno

Dans les grandes infrastructures data, où les dépenses BigQuery peuvent atteindre plusieurs millions d’euros par an, ces optimisations peuvent représenter des montants très significatifs.

Certaines entreprises parviennent ainsi à économiser plusieurs centaines de milliers d’euros simplement en ajustant leur configuration ou en optimisant certaines requêtes.

Pour faciliter l’adoption de l’outil, Biq Blue propose également un mois d’essai gratuit. Les entreprises peuvent ainsi connecter leur environnement BigQuery, analyser leurs dépenses et mesurer concrètement les économies possibles avant de décider d’utiliser la plateforme sur le long terme.

Dans un contexte où les volumes de données continuent d’augmenter et où les infrastructures cloud deviennent toujours plus complexes, la maîtrise des coûts devient un enjeu stratégique pour les équipes data. Et dans certains cas, quelques optimisations bien ciblées peuvent suffire à transformer une facture cloud difficile à contrôler en véritable moteur d’efficacité économique.

Partager l'article :
• Facebook
• Twitter
• LinkedIn