Mac安装软件解决已损坏
sudo xattr -r -d com.apple.quarantine /Applications/应用名称.app 这条命令用于删除 macOS 系统为下载自网络的应用程序设置的“检疫”属性。/Applications/应用名称.app 可以是app直接被拖进命令行,会直接把路径对应进去 “已损坏”提示通常出现在运行“非App Store下载…
Ollama默认模型存储路径
Where are models stored: macOS: ~/.ollama/models. Linux: /usr/share/ollama/.ollama/models. Windows: C:\Users<username>.ollama\models. FYI
使用Vllm在docker中运行qwen2.5-vl系列模型
目前最新版vllm docker镜像还不完美支持qwen2.5-vl,你需要手动更新transformer库并更新bnb量化相关代码。如果你想轻松运行量化/全尺寸模型,都可以使用我重新打包的模型 If any of you interested in trying this model with or without quanization in …
Racknerd国外便宜VPS推荐
博主自己这个Blog就是用这家的搭的,LA机房ping稳定100出头比很多香港新加坡线路还低,博主朋友正好需要,顺带看了下怎么挂推广就挂上了,大家看自己需求购买就行,每月TB级流量,最低约140元/年(还支持支付宝付款),不管是建网站、搭服务还是科学都是很不错的。 【最新】 促销优惠活动 RackNerd 2026 VPS 促销优惠活动,…
迁移 WinToGo VHD 到新硬盘
教程用GPT总结,博主实测可行。 在本文中,我们将介绍如何将一个已经配置好的 Windows To Go (WinToGo) VHD 文件迁移到一个新的硬盘或分区。迁移过程包括准备目标磁盘的 EFI 系统分区(ESP),复制并挂载 VHD 文件,执行引导构建命令,并最终进行测试。 准备工作 1. 确保目标磁盘有有效的 EFI 分区(ESP) 首先,…
Docker多gpu运行VLLM
sudo docker run --runtime nvidia --gpus '"device=0,1"' --ipc=host -p 18434:8000 \ -v hf_cache:/root/.cache/huggingface \ -e HF_ENDPOINT=https://hf-mirror.com \ -e HF_HUB_ENABL…
LLM性能快速测试prompt
A prompt openAI once used to show off o1-preview's capability. 测试结果: o1-preview: 完美完成(OpenAI号称) llama3.1:70b-instruct-q4_0: 可以运行,完成度很高,但存在细微bug qwen2.5-coder:32b-instruct-q4_K…