不是chatgpt用不起,而是Jan更有性价比!!!
不过Jan可不是chatgpt那种大模型对话机器人,Jan相当于一个客户端,不仅仅支持配置API KEY 来访问最新chatgpt还支持运行本地大模型(需要显卡好点,不然很慢)。最主要的是客户端颜值非常高,用户自定义非常高。
Jan支持Mac、Windows和Linux系统,提供Hub仓库来下载网上开源的大模型,比如LLMA和Mixol等,完全实现本地私密对话。下面来介绍下本地如何使用吧。
Jan
官网:Open-source ChatGPT Alternative | Jan
选择你自己的操作系统对应版本下载,默认应该是去github下载,打不开的话用魔法。
windows版本下载完后就这样子,总体来说颜值还是可以的。
默认是只有GPT
的接口的,需要输入你的KEY才能正常运行。如果仅仅这样使用的话,这只能算上一个套壳GPT的工具,但其还支持下载大模型本地运行。就比如第一个4.37GB
的大模型,是我从网上下载的。
里面相当于有个模型市场,可以选择下载你喜欢的模型来本地运行。不过中国这网络环境你是知道的,从这里基本上下不下来,只能自己手动魔法下载模型后放到执行文件夹目录才可以。
下载模型
首先需要找到Jan的模型安装目录,默认是装在用户目录的jan下,可以在文件资源管理器输入%UserProfile%/jan
自动跳转。
这个就是模型的安装目录,下载的本地模型都是放在这里。
这里随便找个模型来演示下如何从网上下载完模型,再安装到本地运行。本次的大模型是mistral-ins-7b-q4
。
打开里面的model.json
文件,找到模型下载地址source_url
和id
对应的值。source_url
对应的是模型下载地址,id
对应的是模型名称。
模型有点大且需要魔法才能下载,也可以用我的阿里云盘链接下载。
云盘链接:https://www.alipan.com/s/r3kXm4vcMzP
下载完成后把模型移动到与model.json
同级目录下并把名字改成与id
对应的值一样,如上图所示。
改model.json
里面模型的状态,在最下面增加一行"state": "ready"
即可。
此时重启下应用,应该就能在已安装的模型目录下找到我们刚刚下载的模型,使用即可。
使用模型
选择我们新下载的模型mistral-ins-7b-q4
,然后就能愉快的聊天了。由于模型差不多5G,如果你的显卡和cpu不是特别优秀的话,加载很慢。硬件不够的话建议换个小点的模型,我的1650还能勉勉强强使用。
左下角显示的是当前你正在用哪个模型。目前支持的模型还不是特别多,不过官网上作者说后面会陆续支持其他大模型的,敬请期待吧。
闲聊
屁事一堆,真鸡儿烦,啥时候过年啊。