雨晴LLM

雨晴LLM是一款运行于Android平台的本地离线大模型推理服务器，依托Google LiteRT-LM引擎驱动Gemma系列模型端侧运行，全程无需联网即可保障数据隐私安全。

程序内置NanoHTTPd在本机发布兼容OpenAI标准的API接口，可对接各类聊天客户端与自动化脚本，打通移动端本地大模型生态。

雨晴LLM核心功能亮点

1、多终端接入：

支持多客户端同时连接本地API服务，局域网内其他设备也能访问推理接口，让手机化身家庭离线AI中枢，供多终端调用大模型能力。

2、参数自定义：

提供温度、上下文长度、最大生成长度等基础推理参数调节选项，适配创意写作、逻辑推理、代码生成等不同任务需求。

3、资源调度优化：

针对移动端优化后台推理时的功耗与内存占用策略，减少长时间运行出现卡顿、闪退问题，延长离线推理任务的持续运行时长。

4、轻量整合方案：

整合端侧离线推理、标准API服务、硬件加速、悬浮快捷操控等能力，是移动端搭建私人本地大模型服务的轻量化解决方案。

雨晴LLM操作便捷性

1、悬浮窗操控：

提供可拖动悬浮窗口，无需常驻应用主界面，在任意界面快速启停服务、切换模型、查看运行日志，多任务并行操作更便捷。

2、持久后台服务：

启动推理服务后可切至后台持续运行，不会因页面退出中断推理任务，稳定为外部客户端持续提供AI接口服务。

3、模型独立下载：

采用独立下载机制，用户按需获取对应量化规格的Gemma权重文件导入，不强制捆绑内置模型，灵活平衡存储空间与推理效果。

4、标准接口兼容：

完整兼容标准OpenAI对话接口格式，支持多轮对话上下文与参数自定义，几乎无需修改代码即可将原有云端AI程序迁移至手机本地离线运行。

雨晴LLM适用场景

1、离线问答助手：

在无网络环境下搭建私人对话环境，实现离线问答、知识查询，摆脱公共API限制与网络依赖。

2、移动端开发调试：

为移动端开发者提供本地推理测试环境，方便调试AI应用逻辑、验证接口兼容性，无需依赖云端服务。

3、自动化工作流：

通过OpenAI标准接口对接自动化脚本与AI工具，在手机端完成代码生成、文本处理等自动化任务。

4、隐私敏感场景：

所有计算在手机端完成，对话数据不出设备，适合处理隐私敏感内容，充分保护用户数据安全。

雨晴LLM怎么使用

1、下载安装雨晴LLM后打开应用，根据提示开启存储权限、后台悬浮窗权限以及后台运行权限，确保软件可以正常运行。

2、进入雨晴LLM的模型管理界面，在这里可以选择并下载需要使用的 Gemma 量化模型文件，等待模型资源加载完成。

3、下载模型后，根据设备性能选择合适的推理方式，可以使用 CPU 或 GPU 推理后端，然后启动本地 API 服务。

4、打开支持 OpenAI API 接口的客户端，在接口地址中填写本地服务地址http://127.0.0.1:8080，即可连接雨晴LLM并调用本地模型进行AI交互。

5、运行过程中，可以通过悬浮窗快速查看AI生成状态，还能随时进行模型切换、查看服务运行情况或关闭本地API服务。

小编简评

雨晴LLM把本地大模型部署的门槛拉到了新低，无需复杂编译环境，装好APK导入模型就能跑。CPU/GPU后端切换让低配机也能稳定运行，悬浮窗加后台常驻的设计很懂移动端使用习惯。对于想摆脱网络依赖、追求数据隐私的AI爱好者来说，这是一套值得尝试的轻量级本地推理方案。