高级搜索 返回首页  
名人名言
哲理小故事
技术文章
    - LINUX文章
    - AI(人工智能)
山阴客技术文章AI(人工智能)下载&安装Ollama
下载&安装Ollama
2024-08-19 20:30:46
by 山阴客  
Rating: 2.6/52.6/52.6/52.6/52.6/52.6/52.6/52.6/52.6/52.6/5
1 2 3 4 5 6 7 8 9 10

下载&安装Ollama

Llama3[1]是2024年4月Meta公司发布的最新一代开源语言大模型(LLM)。Llama3堪称当今最强开源大模型,笔者记录自己在本地台式机(运行Windows10)安装和运行Llama3的流程,供需要的读者参考。本文的撰写参考了[2][3]

 

下载&安装Ollama

Ollama 是一个免费的开源应用程序,它允许你在自己的电脑上运行各种大型语言模型,包括 Llama 3,即使是在资源有限的情况下也可以。Ollama 利用了 llama.cpp 的性能提升,这是一个开源库,旨在让你在相对较低的硬件要求下本地运行 LLMs。它还包括一种软件包管理器,允许你通过单一命令快速有效地下载和使用 LLMs。从Ollama官方下载链接[4]中下载Ollama并安装。安装完毕可以检查Ollama确实已经安装到本地,如下图:

运行Llama3

打开Ollama,并打开另一个PowerShell窗口,输入下面命令运行Llama3(Parameter Size: 8B Quantization Level: Q4_0):

ollama run llama3

首次运行Llama3时Ollama会先自动下载Llama3(大小约为4.7GB)再运行。

笔者询问了越南岘港五日游的行程安排,在Shell窗口输入下面语句:

I want to travel to Da Nang in Vietnam 5 days, give me a travel plan

Llama3回复如下图所示:

笔者自己感觉回答质量很接近ChatGPT-3.5,而且回复生成速度更快。

 

人机图形界面

这里使用Docker+ Open WebUI的方式[5]。Open WebUI是一个可扩展、功能丰富且用户友好的自托管Web用户界面,专为完全离线操作而设计。它支持各种大型语言模型(LLM)运行器,包括Ollama和兼容OpenAI的API。Open WebUI允许用户自定义提示、模型预设,并共享来自Open WebUI社区的聊天记录。这个界面的目的是提供一个平台,使用户能够有效地与不同的AI模型交互,无需通过在线服务,从而增强安全性和可靠性 。

首先在Docker官网[6]下载安装Docker Desktop。安装完毕运行启动Docker,如下图(注意保证Docker已经正常运行,图左下角显示"Engine running")所示:

接着按照Open WebUI安装教程[7]通过Docker安装Open WebUI,

如果台式机上没有GPU,打开一个cmd命令窗口并输入下面指令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

如果台式机上有GPU加速支持,打开一个cmd命令窗口并输入下面指令:

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway --volume open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

Docker会先自动下载Open WebUI(大小约为1.2GB)再运行。可以观察到Docker里显示Open WebUI已经顺利启动,如下图所示:

 

最后,打开网页浏览器,输入地址 http://localhost:3000/ 和你的专属AI助手Llama3进行对话吧!

加载了Llama3后的Open WebUI人机界面

推荐给好友 打包下载这篇文章 打印这篇文章

Copyright © 2002 myarticle.com.cn
All rights reserved.

备案号:浙ICP备17002154号-3 Powered by: MyArticle Version 1.0dev
Processed Time: 0.0028 s Querys: 5 [ Gzip Level 0 ]