Besoin de déplacer 1,2 exaoctets à travers le monde chaque jour ? Il suffit d’utiliser Effingo.

Sigcomm 2024 Google a révélé des détails techniques de son outil de transfert de données interne, appelé Effingo, et s’est vanté qu’il utilisait le projet pour déplacer en moyenne 1,2 exaoctets chaque jour. Comme expliqué dans un article [PDF] et une vidéo qui seront présentés le jeudi lors de la conférence SIGCOMM 2024 à Sydney, les contraintes de bande passante et la vitesse immuable de la lumière signifient que même Google n’est pas à l’abri du besoin de répliquer les données afin qu’elles se trouvent à proximité de l’endroit où elles sont traitées ou servies. En effet, l’article décrit le transfert de données géré comme « un héros méconnu des systèmes à grande échelle, distribués mondialement » car il « réduit la latence du réseau de centaines de millisecondes à des dizaines de millisecondes dans le même continent. » L’article souligne également que les outils de transfert de données ne sont pas difficiles à trouver, et se demande pourquoi une couche de gestion comme Effingo est nécessaire. La réponse est que les outils que Google pourrait trouver étaient soit optimisés pour le temps de transfert, soit géraient des flux de données de point à point – et ne pouvaient pas gérer les 1,2 exaoctets qu’Effingo déplace en moyenne chaque jour, à 14 téraoctets par seconde.