楔子
- 本地 最近不是
deepseek火爆么,官方服务又不给力(服务忙),弄得现在又流行本地部署deepseek R1(甚至还有手机部署的)。哎!可惜啊!贫贱不能移!手里都没一个内存的大点的机器。本地跑不了啊。so!so!因此只能望模型兴叹。 - 远程 刚好过完大年,又要干活了!又要炼丹跑数据了。刚好手里有台远程的机器
16u 60G内存 4090d显卡。跑数据的空隙,顺便就来部署一下deepseek R1(都说很简单 ,但是呢!把戏!把戏!总要过过手才知道。今天跑数据的时候,好多命令都忘了,关键这些都是自己以前写的啊)。
部署
- ollama 现在不都是利用
ollama一键部署么,而且远程机器带宽更好,速度更快。那就下载ollama,其实就是一句话(linux的好处):curl -fsSL https://ollama.com/install.sh | sh
- 启动服务 下载好了
ollama,首先需要启动一下ollama服务,第二句话:ollama serve
拉取模型 现在就可以拉取模型,启动
deepseek了,新开一个窗口(老窗口别关),先跑一个8b模型玩玩(),第三句话:ollama run deepseek-r1:8b
愉快对话 现在就可以直接与自己部署
deepseek R1 8B愉快的对话了。感觉用起来挺快的,简单问题基本还是能够正常还是能够回答(就部署网页chat端测试,没公网IP,弄了还要本地转发,懒得搞)。不过问了一个朋友名字问认识他不,8b说不知道!哈哈哈!deepseek家满血的大模型认识!哈哈哈!以后就拿这个去判断模型!哈哈哈。正在下载32b的模型,准备准备跑跑.20GB的数据,得下载一个小时吧。等呗!
END
- 练手 这次主要是练练手手,过过手。目前还没感觉到有什么具体服务需要自己部署大模型的。其实这玩意成本也不低(相对
API来说),就是现在这个配置2块小时(比现在网吧便宜点),真长期跑还是费钱(还没算微调的成本)。顺便今天也来测试一下inleo.io发帖方便不?