使用Vllm在docker中运行qwen2.5-vl系列模型
目前最新版vllm docker镜像还不完美支持qwen2.5-vl,你需要手动更新transformer库并更新bnb量化相关代码。如果你想轻松运行量化/全尺寸模型,都可以使用我重新打包的模型 If any of you interested in trying this model with or without quanization in …
Racknerd国外便宜VPS推荐
博主自己这个Blog就是用这家的搭的,LA机房ping稳定100出头比很多香港新加坡线路还低,博主朋友正好需要,顺带看了下怎么挂推广就挂上了,大家看自己需求购买就行。这家最便宜的10刀左右一年,最近还能买到的最划算的个人觉得是2核2.5G的那款,每月3000G流量,不到140元/年(还支持支付宝付款),不管是建网站、搭服务还是科学都是很不错的。 2…
迁移 WinToGo VHD 到新硬盘
教程用GPT总结,博主实测可行。 在本文中,我们将介绍如何将一个已经配置好的 Windows To Go (WinToGo) VHD 文件迁移到一个新的硬盘或分区。迁移过程包括准备目标磁盘的 EFI 系统分区(ESP),复制并挂载 VHD 文件,执行引导构建命令,并最终进行测试。 准备工作 1. 确保目标磁盘有有效的 EFI 分区(ESP) 首先,…
Docker多gpu运行VLLM
sudo docker run --runtime nvidia --gpus '"device=0,1"' --ipc=host -p 18434:8000 \ -v hf_cache:/root/.cache/huggingface \ -e HF_ENDPOINT=https://hf-mirror.com \ -e HF_HUB_ENABL…
LLM性能快速测试prompt
A prompt openAI once used to show off o1-preview's capability. 测试结果: o1-preview: 完美完成(OpenAI号称) llama3.1:70b-instruct-q4_0: 可以运行,完成度很高,但存在细微bug qwen2.5-coder:32b-instruct-q4_K…
如何低价购买域名
我个人的经验之谈,国内国外价格需要分别去查 如果有购买便宜VPS的需求可以看看这个 https://blog.motorbottle.site/archives/377 国内: 如果你需要的是越便宜越好且不太在乎后缀,国内很多不太主流的域名腾讯云可以几块钱一年/100多十年。 国外: 如果你需要的是.ai .li这样的国内不太好买的域名,有一个网站…
使用AU Audition 任意更改音频时长
首先,添加音频文件到AU,并创建一个多轨混音项目 将音频添加至多轨混音项目,然后前往属性-重新混合指定想要更改到的时长即可 最后导出