GPT-4 est en train de devenir plus rapide

Au cours des derniers mois, nous avons observé avec intérêt les temps de réponse pour GPT 3.5 et 4. Les tendances émergentes ont été intrigantes. L’observation marquante? GPT-4 rattrape son retard en vitesse, réduisant l’écart de latence avec GPT 3.5. Nos résultats révèlent une baisse constante de la latence de GPT-4. Bien que vos résultats puissent varier en fonction des invitations spécifiques, la tendance générale est claire, comme le montre le graphique suivant mettant en évidence les demandes médianes sur une période de trois mois. Mais quels facteurs contribuent à la latence? Voyons ça en détail: il est important de noter qu’un grand nombre de jetons ne signifie pas toujours une réponse plus lente. Par exemple, une invitation avec 204 jetons, bien que simple, peut être traitée en 4,5 secondes. D’un autre côté, une invitation de 33 jetons, si elle est complexe, peut prendre jusqu’à 32 secondes pour être traitée.