Au cours des derniers mois, nous avons observĂ© avec attention les dĂ©lais d’exĂ©cution pour GPT 3.5 et 4. Les modĂšles Ă©mergents Ă©taient intrigants. La principale observation? GPT-4 rattrape son retard en termes de vitesse, rĂ©duisant l’Ă©cart de latence avec GPT 3.5. Nos rĂ©sultats rĂ©vĂšlent une baisse constante de la latence de GPT-4. Bien que vos rĂ©sultats puissent varier en fonction des invite spĂ©cifiques, la tendance gĂ©nĂ©rale est claire, comme le montre le graphique suivant prĂ©sentant les requĂȘtes mĂ©dianes sur une pĂ©riode de trois mois. Mais quels sont les facteurs qui contribuent Ă la latence? Voyons ça de plus prĂšs: il est Ă noter qu’un grand nombre de jetons ne signifie pas toujours une rĂ©ponse plus lente. Par exemple, une invite avec 204 jetons, malgrĂ© sa simplicitĂ©, peut ĂȘtre traitĂ©e en 4,5 secondes. D’un autre cĂŽtĂ©, une invite de 33 jetons, si elle est complexe, peut prendre jusqu’Ă 32 secondes pour ĂȘtre traitĂ©e.
« Les livres de Penguin Random House disent maintenant explicitement ‘non’ Ă la formation IA »
‘Ăcrit par Emma Roth, dont le portfolio couvre aussi bien les percĂ©es technologiques grand public, les dynamiques de l’industrie du
