使用Ollama运行本地LLM的上下文参数详解 2024-8-12 0:40 | 4,104 | 2 | AI/ML 1305 字 | 6 分钟 在使用Ollama进行API请求时,了解并正确设置上下文参数是至关重要的,尤其是当你需要处理长文本时。不同于一些常见的模型,Ollama的默认上下文窗口较小,例如llama3.1 70b模型默认仅有1k的上下文,其他很多模型也只有默认2k上下文。如果不加调整,在处理较长文本时,可能会遇到上下文溢出或者处理效率低下的问题。因此,在API请求中通过op…