用 Ollama 轻松玩转本地大模型
摘自：https://sspai.com/post/85193 前言Ollama 一个简明易用的本地大模型运行框架。 随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了。 快速上手Ollama【win(preview) / mac / linux】 下载页面：https://ollama.com/download Docker也可以直接使用其官方镜像。 Docker 模式下，指令可直接在 docker exec -it ollama 下运行 当你运行 ollama --version 命令成功查询到版本时，表示 Ollama 的安装已经顺利完成，接下来便可以用 pull 命令从在线模型库下载模型来玩了。 以中文微调过的 Llama2-Chinese 7B 模型为例，下述命令会下载接近 4GB 的 4-bit 量化模型文件，需要至少 8GB 的内存进行推理，推荐配备 16GB 以流畅运行。 1% ollama pull llama2-chinese 下载完成后，使用 run 命令运行模型，可直接将消息附在命令后...
公告