Au cours des derniers mois, nous avons attentivement observé les temps de latence pour GPT 3.5 et 4. Les motifs émergents ont été intrigants. La principale observation? GPT-4 rattrape son retard en matière de vitesse, réduisant ainsi l’écart de latence avec GPT 3.5. Nos résultats révèlent une réduction constante de la latence de GPT-4. Bien que vos résultats puissent varier en fonction des invitations spécifiques, la tendance générale est claire, comme le montre le graphique suivant présentant les requêtes médianes sur une période de trois mois. Mais quels sont les facteurs qui contribuent à la latence? Voyons cela de plus près: il est important de noter qu’un grand nombre de jetons ne signifie pas nécessairement une réponse plus lente. Par exemple, une invitation avec 204 jetons, bien qu’elle soit simple, peut être traitée en 4,5 secondes. D’un autre côté, une invitation de 33 jetons, si elle est complexe, peut prendre jusqu’à 32 secondes pour être traitée.
Nvidia pulvérise les records, Meta sacrifie 8 000 emplois pour l’IA et Google réinvente la recherche : le tournant du 21 mai 2026
Nvidia affiche 81,6 milliards de dollars de chiffre d’affaires trimestriel, Meta licencie 8 000 personnes pour financer son virage IA, et Google transforme radicalement sa recherche avec l’intelligence artificielle. L’équipe Netz Informatique décrypte ces bouleversements pour ses clients.