Qu’est-ce qui est possible dans un avenir sans ETL?

Cet article a été écrit par Rahul Pathak, vice-président des moteurs de base de données relationnelles chez AWS. L’intégration de données au sein d’une organisation peut vous permettre de mieux comprendre vos clients, de rationaliser vos opérations et d’aider les équipes à prendre de meilleures décisions plus rapidement. Mais l’intégration de données n’est pas facile. Souvent, les organisations collectent des données à partir de différentes sources, en utilisant une variété d’outils et de systèmes tels que les services d’ingestion de données. Les données sont souvent stockées dans des silos, ce qui signifie qu’elles doivent être déplacées vers un lac de données ou un entrepôt de données avant que des charges de travail d’analyse, d’intelligence artificielle (IA) ou d’apprentissage machine (ML) puissent être exécutées. Et avant que ces données soient prêtes pour une analyse, elles doivent être combinées, nettoyées et normalisées, un processus connu sous le nom d’extraction, de transformation et de chargement (ETL), qui peut être laborieux et sujet aux erreurs. Chez AWS, notre objectif est de simplifier la connexion des organisations à l’ensemble de leurs données, et de le faire avec la vitesse et l’agilité dont nos clients ont besoin. Nous avons élaboré notre approche novatrice d’un avenir sans ETL en nous basant sur ces objectifs: briser les silos de données, simplifier l’intégration de données et accélérer l’innovation basée sur les données. Combiner les données provenant de différentes sources peut être assimilé à déplacer un tas de gravier d’un endroit à un autre – c’est difficile, chronophage et souvent décevant. Tout d’abord, l’ETL nécessite souvent que les ingénieurs en données écrivent du code personnalisé. Ensuite, les ingénieurs DevOps ou les administrateurs IT doivent déployer et gérer l’infrastructure pour s’assurer que les pipelines de données évoluent. Et lorsque les sources de données changent, les ingénieurs en données doivent modifier leur code manuellement et le déployer à nouveau.