上下文窗口怎么省着用:徐北抄来的现场技巧
带教老师让我做的第一件事:统计一次真实请求的 token 分布。Often 80% 是历史聊天和工具返回。
- 系统提示固定,别每天改一版
- 工具返回只保留字段,不吐整段 JSON 给模型
- 多轮对话做滚动摘要,别全量塞回
客户按 token 计费时,这些细节直接决定毛利。
评论
还没有评论,来抢沙发吧。
带教老师让我做的第一件事:统计一次真实请求的 token 分布。Often 80% 是历史聊天和工具返回。
客户按 token 计费时,这些细节直接决定毛利。
还没有评论,来抢沙发吧。