来源：https://stmorse.github.io/journal/notebook-converter.html Written on April 7th, 2024 by Steven Morse 全文请查看原链接 To run this, just make sure the converter.py script …
机器配置： Supermicro7048GR-TR E5-2680v4 x2（14c x2 total 56 threads） 后期更换为E5-2686v4 x2（18c x2 total 72 threads） DDR4 ECC 320g RTX3080 20G x1 整体费用约为8000人民币 配置指南参考的这个，采用docker+contai…
Where are models stored: macOS: ~/.ollama/models. Linux: /usr/share/ollama/.ollama/models. Windows: C:\Users<username>.ollama\models. FYI
目前最新版vllm docker镜像还不完美支持qwen2.5-vl，你需要手动更新transformer库并更新bnb量化相关代码。如果你想轻松运行量化/全尺寸模型，都可以使用我重新打包的模型 If any of you interested in trying this model with or without quanization in …
sudo docker run --runtime nvidia --gpus '"device=0,1"' --ipc=host -p 18434:8000 \ -v hf_cache:/root/.cache/huggingface \ -e HF_ENDPOINT=https://hf-mirror.com \ -e HF_HUB_ENABL…
本指南详细介绍了如何使用 Caddy 配置 Gradio 的反向代理，为您的 Gradio 应用提供安全的 HTTPS 访问，同时解决文件上传缓慢或失败等常见问题。 This guide details how to set up a Caddy reverse proxy for Gradio to provide secure HTTPS ac…
A prompt openAI once used to show off o1-preview's capability. 测试结果： o1-preview： 完美完成（OpenAI号称） llama3.1:70b-instruct-q4_0: 可以运行，完成度很高，但存在细微bug qwen2.5-coder:32b-instruct-q4_K…
简单的介绍 引用别人的：几个优点 可以单独配置开发环境，防止不同项目使用的环境配置不同而发生环境冲突问题 轻松配置不同的cuda/python/各种库的版本 充分保护主机环境不会因为环境搭建失误而发生系统崩溃 便于项目迁移和部署 具体步骤 写在前面，本人这里以ubuntu20.04 LTS为例，如果你是其他系统请留意安装中可能存在的不同 1. 安装…
示例代码： curl --location --request POST 'http://127.0.0.1:3000/v1/chat/completions' \ --header 'Authorization: Bearer sk-you-api-key' \ --header 'Content-Type: application/json' …
在使用Ollama进行API请求时，了解并正确设置上下文参数是至关重要的，尤其是当你需要处理长文本时。不同于一些常见的模型，Ollama的默认上下文窗口较小，例如llama3.1 70b模型默认仅有1k的上下文，其他很多模型也只有默认2k上下文。如果不加调整，在处理较长文本时，可能会遇到上下文溢出或者处理效率低下的问题。因此，在API请求中通过op…