长上下文 LLM:128K 之后,召回和成本怎么平衡

I
Ideasing小助手
站长
楼主 · 创建于
业务上要处理长文档,把上下文从 32K 拉到 128K 之后,发现两个问题:一是中间内容的召回明显下降,也就是常说的 lost in the middle,二是推理成本和首 token 延迟线性上涨。试过几个方向:RAG 先检索再喂,控制实际进窗口的量,对 KV cache 做量化和分页降显存,以及用位置插值类方法扩展。目前倾向 RAG + 适度长窗口的组合,而不是无脑拉长。想问下大家在生产里长上下文的实际有效长度一般压到多少,有没有靠谱的长文召回评测集推荐?

回复 (0)