La mise à jour de mise en cache d’OpenAI du 22 septembre ajoute un tableau de bord, des diagnostics d'absence de cache et des points d'arrêt explicites pour les applications GPT-6. La société affirme que les préfixes d'invite partagés éligibles réutilisés dans une fenêtre de 30 minutes bénéficient de remises en cache, avec des remises en jeton d'entrée en cache allant jusqu'à 90 %.
Les développeurs peuvent inspecter la réutilisation, comparer les demandes et choisir les limites du cache. L'annonce décrit également le contexte de préchauffage et la préservation du cache lors de l'ajustement du raisonnement ou de la disponibilité des outils. Les économies dépendent du comportement des entrées réutilisées éligibles et des applications, plutôt que de s’appliquer uniformément à chaque demande. Annonce officielle.