GPT-4 devient plus rapide

Au cours des derniers mois, nous avons attentivement observé les temps de latence pour GPT 3.5 & 4. Les schémas émergents ont été intrigants. La principale observation? GPT-4 rattrape son retard en vitesse, réduisant l’écart de latence avec GPT 3.5. Nos résultats révèlent une baisse constante de la latence de GPT-4. Bien que vos résultats puissent varier en fonction des invites spécifiques, la tendance générale est claire, comme le montre le graphique suivant présentant les demandes médianes sur une période de trois mois. Mais quels sont les facteurs qui contribuent à la latence? Voyons ça de plus près: Il est important de noter qu’un grand nombre de jetons ne se traduit pas toujours par une réponse plus lente. Par exemple, une invite avec 204 jetons, bien qu’elle soit simple, peut recevoir une réponse en 4,5 secondes. D’un autre côté, une invite de 33 jetons, si elle est complexe, peut prendre 32 secondes pour être traitée.