雨晴LLM是给安卓端本地离线大模型推理工具，不用联网就能跑。省去麻烦的编译步骤，轻松在手机部署大模型。开启服务后，任何兼容OpenAI接口的客户端都能连上手机里的Gemma模型。自带悬浮小窗口，后台挂着推理服务时，随时看显存占用和生成速度。CPU/GPU后端随心切换，性能面板实时监控。模型文件需要自己导入，各类开源权重基本都能适配。

雨晴LLM怎么使用

1、打开雨晴LLM软件，在主控台界面，点击去授权，授予存储、后台悬浮窗、后台运行权限

2、点击最下方的模型界面

3、点击任意Gemma大模型，等待下载完成即可(也可以点击右上角的导入模型，选择本地已有的大模型文件，然后等待上传成功即可使用)

4、点击右下角设置，填写端口、完成模型相关设置，即可启动本地API服务

雨晴LLM常规问题

1、运行雨晴LLM需要联网吗？

不需要，本地离线推理，模型跑在手机上，不会上传数据。

2、模型文件是自带的吗？

不是，需要你自行下载导入开源模型权重，支持多种参数量。

3、悬浮窗口不显示怎么办？

检查是否授予悬浮窗权限，同时不要被系统后台清理。

4、推理速度很慢怎么优化？

可以切换GPU后端，降低模型参数量，减少手机后台占用。

5、其他AI客户端怎么接入？

启动服务后，在支持OpenAI接口的客户端填入对应地址即可连接。

雨晴LLM软件特色

1、纯本地离线运行，不用联网，推理数据不会上传，隐私更安心。

2、部署简单，省去复杂编译操作，手机就能搭建Gemma模型推理服务。

3、自带悬浮控制窗，后台常驻推理，随时查看显存、推理速度等状态。

4、CPU/GPU后端自由切换，内置性能仪表盘，方便按需调节性能。

5、兼容OpenAI接口，各类支持该接口的客户端都能接入，模型可自行导入。

雨晴LLM更新日志

v1.0.0版本

修复了一些问题