Une fenêtre contextuelle est l'espace de travail qu'un modèle de langage peut utiliser pour une réponse particulière. Les jetons mesurent la manière dont le contenu est représenté dans cet espace. Aucun des deux numéros ne vous indique à lui seul si un assistant répondra correctement à une question concernant un long document. Une bonne préparation facilite la localisation et la vérification des informations pertinentes.
Séparer la capacité de la connaissance
La formation fournit les modèles appris du modèle. La conversation actuelle fournit un contexte spécifique à la tâche. La mémoire du compte, les projets enregistrés, la recherche et la récupération de documents sont des fonctionnalités supplémentaires du produit ; leur existence ne signifie pas que chaque élément stocké est présent dans chaque réponse.
Guide contextuel officiel d’Anthropic explique que le contexte inclut le matériel utilisé pour une réponse et le résultat généré, les outils et autres entrées consommant également de l'espace. Cela fait également la distinction entre la capacité et le rappel efficace. La comptabilité exacte dépend du service et du modèle, alors vérifiez la documentation de l'interface que vous avez choisie.
Ne convertissez pas les mots en jetons avec un rapport universel
Les jetons peuvent représenter des mots entiers, des fragments, des signes de ponctuation ou d'autres éléments codés. Les langues, le code, les tableaux et le formatage produisent des décomptes différents. Une estimation approximative peut aider à la planification, mais il ne s’agit pas d’un contrôle d’admission fiable pour un modèle spécifique.
Lorsque vous utilisez une API, préférez la méthode de comptage prise en charge par le fournisseur pour ce modèle. Dans une application grand public, inspectez toutes les informations disponibles sur l’utilisation ou la limite de saisie. Le nombre de pages n'est qu'une description du fichier : dix pages de feuille de calcul denses et dix diapositives clairsemées peuvent contenir des quantités d'informations très différentes.
Laissez de l'espace pour la sortie dont vous avez besoin
Une question sur un document nécessite plus que le document lui-même. Les instructions, l’historique des conversations, les résultats de l’outil et la réponse attendue peuvent tous avoir leur importance. Ne planifiez pas une entrée qui utilise toutes les unités disponibles et attendez-vous ensuite à ce qu'un long rapport s'adapte automatiquement.
À titre d'exemple fictif, si un système avait 100 000 unités de capacité de travail partagée et que la tâche nécessitait une réponse estimée à 10 000 unités, préparer une entrée de 100 000 unités ne laisserait aucune place pour cette réponse. Ceci illustre la budgétisation ; ce n'est pas la limite d'un produit coté ni une promesse sur ses règles comptables.
Organiser la tâche avant de diviser le document
Commencez par la question à laquelle vous souhaitez répondre. Si vous avez besoin de dates de renouvellement, fournissez les sections définissant la durée du contrat, les prolongations et les exceptions. Si vous avez besoin d'une comparaison globale, incluez une carte du document afin que l'assistant puisse identifier les sections pertinentes avant de produire une synthèse.
Lorsque vous divisez un long document, conservez les titres, les identifiants de source et les limites des sections. Conservez les définitions importantes avec les clauses qui en dépendent. Étiquetez chaque pièce de manière cohérente. Des fragments arbitraires peuvent séparer une déclaration de son exception et créer une réponse apparemment raisonnable mais incomplète.
Utiliser des résumés comme aides à la navigation
Créez une note concise contenant l'objectif, les faits établis, les questions non résolues et les emplacements des sources d'origine. Utilisez-le pour redémarrer ou poursuivre une longue tâche. Gardez les documents sous-jacents disponibles car un résumé laisse inévitablement de côté les détails.
Pour une comparaison sur plusieurs fichiers, demandez d'abord une extraction structurée : une ligne par source, avec le fait et l'emplacement pertinents. Vérifiez les lignes avant de demander le récit final. Cela rend les preuves manquantes ou contradictoires plus faciles à remarquer que de demander immédiatement un rapport soigné.
Vérifiez que les détails cruciaux ont survécu
Testez le résultat par rapport aux détails connus de différentes sections, y compris une exception ou un qualificatif. Si la réponse omet quelque chose d’important, restreignez la question et fournissez à nouveau le matériel pertinent. L’augmentation de la capacité n’est pas le seul remède ; une meilleure sélection de source peut être plus utile.
Enregistrez le modèle ou l'interface, la date, l'ensemble de fichiers et la méthode lorsque la tâche doit être reproductible. Conservez les tailles de fenêtre numériques sur une référence de produit gérée séparément. Ce guide se concentre sur un flux de travail qui reste utile lorsque ces chiffres changent.
