指南

上下文窗口與 Token:怎樣處理長文檔

理解模型的工作空間,為回答留出容量,并保留可核查的來源位置。

精簡譯文。完整細節請閱讀英文全文。 英文全文

上下文是某次響應的工作空間,Token 是內容表示單位;大窗口不保證正確回憶。訓練知識、當前對話、記憶、檢索和項目文件不同,并非所有保存資料都進入每次響應。語言、代碼、表格與格式的 Token 比例不同,應使用供應商計數方法。

輸入之外還要容納說明、歷史、工具結果和輸出。虛構的 100,000 單位窗口若需 10,000 單位回答,不能塞滿 100,000 單位輸入;這不是任何產品額度。先確定問題,再按標題、定義、例外與來源標識拆分,不要隨意切斷條款。

維護目標、已知事實、未決問題和來源位置摘要,但保留原文。多文件先逐來源提取再綜合,核查不同章節及例外。遺漏時縮小問題并補充相關材料,記錄模型、日期、文件及方法;具體窗口大小應另外維護。

參考鏈接

原始來源官方來源
工具導覽Claude功能、存取與方案