Relu par Bastien L., Rédacteur en chef
Transférer d’énormes volumes de données depuis BigQuery ne devrait plus prendre autant de temps. Airbyte lance une nouvelle version de son connecteur. Et celle-ci promet un débit pouvant atteindre 480 Mo/s, avec une capacité de lecture d’environ 1 To en moins d’une heure sur Airbyte Cloud.
Jusqu’ici, les utilisateurs pouvaient déjà connecter BigQuery à Airbyte grâce à un connecteur communautaire. Mais la version 1.0 est nettement meilleure. Airbyte présente même cette nouvelle source comme la plus rapide jamais proposée sur sa plateforme.
Comment la source BigQuery 1.0 d’Airbyte peut-elle être aussi rapide ?
Pour comprendre ce gain, il faut regarder ce qui se passe sous le capot. En gros, une extraction classique depuis BigQuery repose notamment sur des requêtes qui doivent parcourir les données et gérer leur pagination.
Lorsqu’il faut parcourir d’énormes tables, cette méthode finit forcément par ralentir. Pour son nouveau connecteur, Airbyte a donc choisi une autre voie.
Sur Airbyte Cloud, BigQuery s’appuie sur l’API BigQuery Storage Read. Celle-ci récupère les données sous forme de lots compressés répartis sur plusieurs flux parallèles.
Le résultat se voit immédiatement dans les chiffres. Airbyte annonce un débit pouvant atteindre 480 Mo/s, contre seulement 3,7 Mo/s avec la méthode reposant sur les requêtes classiques. À ce rythme, transférer un téraoctet ne prend plus des heures interminables.
La vitesse n’est pas la seule nouveauté
En effet. Voyez-vous, l’ancien connecteur communautaire transformait notamment les dates, horodatages, données JSON et valeurs binaires en chaînes de caractères. Les structures et tableaux imbriqués perdaient également une partie de leur organisation.
La version 1.0, elle, conserve les types natifs de BigQuery pendant le transfert. Une date reste donc une date. Et un horodatage maintient son fuseau horaire. Les données JSON restent exploitables comme du JSON et les structures ainsi que les tableaux imbriqués gardent leurs champs.
Le connecteur récupère aussi directement les clés primaires définies dans les contraintes des tables. Les utilisateurs n’ont donc plus besoin de bricoler des transformations en aval pour remettre les données dans une forme exploitable.
Et en cas de coupure, inutile de tout recommencer. Sur Airbyte Cloud, si une synchronisation échoue ou s’arrête, la prochaine tentative repart depuis le dernier point de contrôle, dans la fenêtre de lecture de six heures de BigQuery.
Bon à savoir
La nouvelle source est disponible sur Airbyte Cloud en tant que mise à niveau optionnelle jusqu’au 1er décembre 2026. Pour l’activer, il faut ouvrir sa source BigQuery, sélectionner « Mettre à niveau », puis actualiser le schéma de chaque connexion.
Attention toutefois ! Airbyte considère cette version comme une rupture de compatibilité, puisque certains types de colonnes changent. Une migration mérite donc d’être préparée. Surtout lorsque des synchronisations incrémentales ou des modèles en aval dépendent encore des anciennes colonnes au format texte.
Sur Airbyte Core, le connecteur bénéficie aussi des nouvelles colonnes typées et des schémas imbriqués. La lecture passe cependant toujours par le chemin standard des requêtes, avec des performances inférieures à celles annoncées sur Airbyte Cloud.
- Partager l'article :
