GPT-4 est de plus en plus rapide

Au cours des derniers mois, nous avons attentivement observé les temps de latence pour GPT 3.5 et 4. Les motifs émergents ont été intrigants. La principale observation? GPT-4 rattrape son retard en matière de vitesse, réduisant ainsi l’écart de latence avec GPT 3.5. Nos résultats révèlent une réduction constante de la latence de GPT-4. Bien que vos résultats puissent varier en fonction des invitations spécifiques, la tendance générale est claire, comme le montre le graphique suivant présentant les requêtes médianes sur une période de trois mois. Mais quels sont les facteurs qui contribuent à la latence? Voyons cela de plus près: il est important de noter qu’un grand nombre de jetons ne signifie pas nécessairement une réponse plus lente. Par exemple, une invitation avec 204 jetons, bien qu’elle soit simple, peut être traitée en 4,5 secondes. D’un autre côté, une invitation de 33 jetons, si elle est complexe, peut prendre jusqu’à 32 secondes pour être traitée.