采用Ollama本地布署DeepSeekCoderV2

1、安装Ollama的过程略。安装目录一般为C:\Users\XXX\AppData\Local\Programs\Ollama

2、下载DeepSeekCoderV2大模型。官网下载慢，就在魔搭社区【modelscope.cn】下载了。

wget -c https://modelscope.cn/models/AI-ModelScope/DeepSeek-Coder-V2-Lite-Instruct-GGUF/resolve/master/DeepSeek-Coder-V2-Lite-Instruct-Q5_K_L.gguf

3、下载后的文件gguf文件放到如下图文件夹，并创建Modelfile文件，文件填如下内容。

FROM ./DeepSeek-Coder-V2-Lite-Instruct-Q5_K_L.gguf

4、导入模型。将模型命为deepseekcoder-v2-lite-instruct，可随意改。

ollama create deepseekcoder-v2-lite-instruct -f ./Modelfile

5、运行模型。模型名与第4步保持一致。

set OLLAMA_NUM_GPU=999
set OLLAMA_ORIGINS="*"
ollama run deepseekcoder-v2-lite-instruct

6、Ollama提供API的URL地址为：http://127.0.0.1:11434。可在VSCode中利用CLine等插件调用。