我的配置 SuperMicro7048 CPU:e5-2686v4 * 2 RAM:DDR4-2133-16g * 8 GPU:RTX4080Super 32g * 2 Sys:Ubuntu22.04 with Docker 关键1:选用Llama.cpp而非Vllm运行模型 选用unsloth/Qwen3.5-122B-A10B-UD-Q2_K_…
1) Export the model’s current Modelfile ollama show --modelfile llama3.2 > Modelfile (Replace llama3.2 with your model name.) (Ollama 文档) That output typically includes a c…
老问题了,Windows 11和Linux双系统时间不一致是常见问题,主要是因为 Windows默认将硬件时钟(RTC/BIOS)视为本地时间,而Linux(如Ubuntu)默认将其视为UTC (协调世界时),导致切换系统时时间偏移(经常是切回Windows发现Windows时间异常),解决办法通常是修改其中一个系统使其与另一个…
提前安装 dkms、build-essential、以及当前内核对应的 linux-headers,确保驱动能在当前内核上编译并加载。
目标状态:我希望在 PVE 上创建一个虚拟内网(如 10.10.11.0/24),让虚拟机能访问外网,但不能访问宿主机所在的物理局域网(192.168.1.x),同时在宿主机上做一个端口转发(例如 192.168.1.94:2222 → 10.10.11.2:22),这样外部设备可以通过端口映射安全连接到内网 VM,而 VM 自身无法反向访问主网。…
本教程适合希望将现有物理机(无论是 Linux 还是 Windows)制作成虚拟机镜像的用户。我们将使用 Ubuntu 安装盘的「Try Ubuntu without installing」模式,通过 qemu-img 安全地导出整块硬盘为 .qcow2 文件。 一、准备工作 1. 下载 Ubuntu 安装盘 前往 Ubuntu 官网,下载 Ubu…
本文记录了我在 OpenWRT 旁路由上排查 “主路由指向旁路由后无法上网” 的全过程,以及最终的正确配置与原理分析。 一、网络拓扑与目标 我这里的家庭/实验环境如下: ┌──────────────┐ │ 光猫 │ │ (ISP出口) │ └──────┬───────┘ │ ┌─────▼────────────┐ │ 主路由 │ │ IP: …
博主提交的PR已合并,更新FunASR到最新版即可 太长不看,直接解决问题(覆盖安装博主Fork并打补丁的FunASR库):pip install --no-cache-dir git+https://github.com/MotorBottle/FunASR.git@main 已提交PR,该PR尚未合并,但测试有效,合并后会在此说明,如已合并,直…
Docker 和 NVIDIA 官方文档里,关于 GPU 的写法不一样: 一个用 deploy.resources.reservations.devices(Docker 官方), 一个用 runtime: nvidia + 环境变量(NVIDIA 官方)。 它们都能跑,但机制不同、不能混用。 以下用同一个 Whisper GPU 服务作为示例,清…
把 Ollama 自带的 OpenAI 兼容端点直接拿来接入 Claude Code、RAG 服务或者自研应用,总会遇到各种“不够像原版”的坑:参数缺失、工具调用对不上、上下文控制不够细……Ollama2OpenAI 就是为了解决这些痛点而来,用一层轻量网关把本地模型彻底转换成 OpenAI / Anthropic 服务器。 为什么需要它 渠道差异…