Llama3[1]是2024年4月Meta公司发布的最新一代开源语言大模型(LLM)。Llama3堪称当今最强开源大模型，笔者记录自己在本地台式机(运行Windows10)安装和运行Llama3的流程，供需要的读者参考。本文的撰写参考了[2]和[3]。
下载&安装Ollama
Ollama 是一个免费的开源应用程序，它允许你在自己的电脑上运行各种大型语言模型，包括 Llama 3，即使是在资源有限的情况下也可以。Ollama 利用了 llama.cpp 的性能提升，这是一个开源库，旨在让你在相对较低的硬件要求下本地运行 LLMs。它还包括一种软件包管理器，允许你通过单一命令快速有效地下载和使用 LLMs。从Ollama官方下载链接[4]中下载Ollama并安装。安装完毕可以检查Ollama确实已经安装到本地，如下图：
运行Llama3
打开Ollama，并打开另一个PowerShell窗口，输入下面命令运行Llama3（Parameter Size: 8B Quantization Level: Q4_0）:
ollama run llama3
首次运行Llama3时Ollama会先自动下载Llama3(大小约为4.7GB)再运行。
笔者询问了越南岘港五日游的行程安排，在Shell窗口输入下面语句：
I want to travel to Da Nang in Vietnam 5 days, give me a travel plan
Llama3回复如下图所示：
笔者自己感觉回答质量很接近ChatGPT-3.5，而且回复生成速度更快。
人机图形界面
这里使用Docker+ Open WebUI的方式[5]。Open WebUI是一个可扩展、功能丰富且用户友好的自托管Web用户界面，专为完全离线操作而设计。它支持各种大型语言模型（LLM）运行器，包括Ollama和兼容OpenAI的API。Open WebUI允许用户自定义提示、模型预设，并共享来自Open WebUI社区的聊天记录。这个界面的目的是提供一个平台，使用户能够有效地与不同的AI模型交互，无需通过在线服务，从而增强安全性和可靠性 。
首先在Docker官网[6]下载安装Docker Desktop。安装完毕运行启动Docker，如下图(注意保证Docker已经正常运行，图左下角显示"Engine running")所示：
接着按照Open WebUI安装教程[7]通过Docker安装Open WebUI,
如果台式机上没有GPU，打开一个cmd命令窗口并输入下面指令：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果台式机上有GPU加速支持，打开一个cmd命令窗口并输入下面指令：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway --volume open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Docker会先自动下载Open WebUI(大小约为1.2GB)再运行。可以观察到Docker里显示Open WebUI已经顺利启动，如下图所示：
最后，打开网页浏览器，输入地址 http://localhost:3000/ 和你的专属AI助手Llama3进行对话吧！
加载了Llama3后的Open WebUI人机界面
