分类: AI/ML

12 篇文章

使用命令行快速测试LLM API接口
示例代码: curl --location --request POST 'http://127.0.0.1:3000/v1/chat/completions' \ --header 'Authorization: Bearer sk-you-api-key' \ --header 'Content-Type: application/json' …
使用Ollama运行本地LLM的上下文参数详解
在使用Ollama进行API请求时,了解并正确设置上下文参数是至关重要的,尤其是当你需要处理长文本时。不同于一些常见的模型,Ollama的默认上下文窗口较小,例如llama3.1 70b模型默认仅有1k的上下文,其他很多模型也只有默认2k上下文。如果不加调整,在处理较长文本时,可能会遇到上下文溢出或者处理效率低下的问题。因此,在API请求中通过op…