如何在ollama导入解除限制的deepseek-R1 模型

发布于 2025-02-05  722 次阅读


https://pan.baidu.com/s/1Qoj3zm4LpF7z0X91DzeoRw?pwd=yc5w

下载此链接内的14B模型,建议8G显存+6G以上可用内存使用。

其余大小模型:https://pan.quark.cn/s/19751d183c57#/list/share

在下载目录创建一个文件:Modelfile (无后缀名)

Modelfile填写内容示例:(下列代码不行,过于简陋)

FROM ./DeepSeek-R1-Distill-Qwen-14B-abliterated.Q4_K_S.gguf

新Modelfile代码:下载

https://www.123684.com/api/srr?sk=Xlpujv-DXUgh&st=s

打开cmd,然后用cd命令转到模型所在目录,使用命令即可创建:

ollama create deepseek-r1:14b-open -f ./test

deepseek-r1:14b-open 可修改为自定义名,我写个-open意思是已破解限制的版本

2025/03/02更新 :如果用于写故事或者涩涩,建议用 richard-Halide-12b-v1.0.Q8 模型

自选量化规格:https://hf-mirror.com/RichardErkhov/Azazelle_-_MN-Halide-12b-v1.0-gguf/tree/main

我用的规格(8G显存的4060+16G内存,12B Q8基本上刚好把内存显存吃满):https://hf-mirror.com/RichardErkhov/Azazelle_-_MN-Halide-12b-v1.0-gguf/blob/main/MN-Halide-12b-v1.0.Q8_0.gguf

本文参考资料:https://www.cnblogs.com/r-key/p/18312627


懒的时候摆烂一天,有动力的时候能通宵。