使用Vllm在docker中运行qwen2.5-vl系列模型
目前最新版vllm docker镜像还不完美支持qwen2.5-vl,你需要手动更新transformer库并更新bnb量化相关代码。如果你想轻松运行量化/全尺寸模型,都可以使用我重新打包的模型 If any of you interested in trying this model with or without quanization in …
Racknerd国外便宜VPS推荐
博主自己这个Blog就是用这家的搭的,LA机房ping稳定100出头比很多香港新加坡线路还低,博主朋友正好需要,顺带看了下怎么挂推广就挂上了,大家看自己需求购买就行,每月TB级流量,最低约140元/年(还支持支付宝付款),不管是建网站、搭服务还是科学都是很不错的。 【最新】 促销优惠活动 RackNerd 2026 VPS 促销优惠活动,…
迁移 WinToGo VHD 到新硬盘
教程用GPT总结,博主实测可行。 在本文中,我们将介绍如何将一个已经配置好的 Windows To Go (WinToGo) VHD 文件迁移到一个新的硬盘或分区。迁移过程包括准备目标磁盘的 EFI 系统分区(ESP),复制并挂载 VHD 文件,执行引导构建命令,并最终进行测试。 准备工作 1. 确保目标磁盘有有效的 EFI 分区(ESP) 首先,…
Docker多gpu运行VLLM
sudo docker run --runtime nvidia --gpus '"device=0,1"' --ipc=host -p 18434:8000 \ -v hf_cache:/root/.cache/huggingface \ -e HF_ENDPOINT=https://hf-mirror.com \ -e HF_HUB_ENABL…
LLM性能快速测试prompt
A prompt openAI once used to show off o1-preview's capability. 测试结果: o1-preview: 完美完成(OpenAI号称) llama3.1:70b-instruct-q4_0: 可以运行,完成度很高,但存在细微bug qwen2.5-coder:32b-instruct-q4_K…
如何低价购买域名
我个人的经验之谈,国内国外价格需要分别去查 如果有购买便宜VPS的需求可以看看这个 https://blog.motorbottle.site/archives/377 国内: 如果你需要的是越便宜越好且不太在乎后缀,国内很多不太主流的域名腾讯云可以几块钱一年/100多十年。 国外: 如果你需要的是.ai .li这样的国内不太好买的域名,有一个网站…