Loading...

GPT本地最佳替代品,支持多种大模型

日常推荐4个月前更新 Jone
375 0 0

不是chatgpt用不起,而是Jan更有性价比!!!

不过Jan可不是chatgpt那种大模型对话机器人,Jan相当于一个客户端,不仅仅支持配置API KEY 来访问最新chatgpt还支持运行本地大模型(需要显卡好点,不然很慢)。最主要的是客户端颜值非常高,用户自定义非常高。

Jan支持Mac、Windows和Linux系统,提供Hub仓库来下载网上开源的大模型,比如LLMA和Mixol等,完全实现本地私密对话。下面来介绍下本地如何使用吧。

Jan

官网:Open-source ChatGPT Alternative | Jan

GPT本地最佳替代品,支持多种大模型

选择你自己的操作系统对应版本下载,默认应该是去github下载,打不开的话用魔法。

GPT本地最佳替代品,支持多种大模型

windows版本下载完后就这样子,总体来说颜值还是可以的。

GPT本地最佳替代品,支持多种大模型

默认是只有GPT的接口的,需要输入你的KEY才能正常运行。如果仅仅这样使用的话,这只能算上一个套壳GPT的工具,但其还支持下载大模型本地运行。就比如第一个4.37GB的大模型,是我从网上下载的。

GPT本地最佳替代品,支持多种大模型

里面相当于有个模型市场,可以选择下载你喜欢的模型来本地运行。不过中国这网络环境你是知道的,从这里基本上下不下来,只能自己手动魔法下载模型后放到执行文件夹目录才可以。

下载模型

首先需要找到Jan的模型安装目录,默认是装在用户目录的jan下,可以在文件资源管理器输入%UserProfile%/jan自动跳转。

GPT本地最佳替代品,支持多种大模型

这个就是模型的安装目录,下载的本地模型都是放在这里。

这里随便找个模型来演示下如何从网上下载完模型,再安装到本地运行。本次的大模型是mistral-ins-7b-q4

GPT本地最佳替代品,支持多种大模型

打开里面的model.json文件,找到模型下载地址source_urlid对应的值。source_url对应的是模型下载地址,id对应的是模型名称。

GPT本地最佳替代品,支持多种大模型

模型有点大且需要魔法才能下载,也可以用我的阿里云盘链接下载。

云盘链接:https://www.alipan.com/s/r3kXm4vcMzP

下载完成后把模型移动到与model.json同级目录下并把名字改成与id对应的值一样,如上图所示。

GPT本地最佳替代品,支持多种大模型

model.json里面模型的状态,在最下面增加一行"state": "ready"即可。

此时重启下应用,应该就能在已安装的模型目录下找到我们刚刚下载的模型,使用即可。

使用模型

选择我们新下载的模型mistral-ins-7b-q4,然后就能愉快的聊天了。由于模型差不多5G,如果你的显卡和cpu不是特别优秀的话,加载很慢。硬件不够的话建议换个小点的模型,我的1650还能勉勉强强使用。

GPT本地最佳替代品,支持多种大模型

左下角显示的是当前你正在用哪个模型。目前支持的模型还不是特别多,不过官网上作者说后面会陆续支持其他大模型的,敬请期待吧。

闲聊

屁事一堆,真鸡儿烦,啥时候过年啊。

© 版权声明

相关文章