GPT-4 devient plus rapide

Au cours des derniers mois, nous avons observé avec attention les temps de latence des GPT 3.5 et 4. Les modèles émergents ont été intrigants. Le point saillant? GPT-4 rattrape son retard en vitesse, réduisant l’écart de latence avec GPT 3.5. Nos résultats révèlent une baisse constante de la latence de GPT-4. Bien que vos résultats puissent varier en fonction des promesses spécifiques, la tendance générale est claire, comme le montre le graphique suivant présentant les demandes médianes sur une période de trois mois. Mais quels facteurs contribuent à la latence? Voyons ça de plus près: Il est important de noter qu’un grand nombre de jetons ne se traduit pas toujours par une réponse plus lente. Par exemple, une promesse de 204 jetons, malgré son caractère simple, peut recevoir une réponse en 4,5 secondes. D’un autre côté, une promesse de 33 jetons, si elle est complexe, peut prendre 32 secondes pour être traitée.