Open Doubao

Open Doubao（豆馅）把AI智能体的能力延伸到了手机操作层面，它通过接入兼容Chat Completions格式的模型服务，让AI能够读取屏幕内容、代替用户点击和输入，从而自动完成一系列跨应用任务。除了任务执行，它还内置了陪伴模式，可以让AI定时查看当前画面并给出简短评论，适合需要聊天解闷或希望AI协助处理手机操作的用户尝试。

Open Doubao核心能力与任务执行方式

1、Open Doubao的任务执行依赖无障碍服务读取屏幕，用户在下达指令后，应用会依据需求打开对应应用、点击按钮并填写内容，完成后反馈结果。

2、任务输入支持文字和语音两种方式，首页输入框左下角提供麦克风图标作为语音入口，确认指令后点击右下角黑色圆形三角形按钮即可开始执行。

3、执行过程中遇到发送、付款、删除等敏感操作时，应用会暂停并征求用户同意，输入密码或凭据仍需用户手动处理，不会擅自完成。

4、任务执行期间可以随时返回首页或点击已启动的悬浮球停止操作，控制权始终保留在用户手中。

Open Doubao模型配置与陪伴模式设置

1、规划与视觉模型配置

在首页点击“还没有设置模型”卡片，或通过底部齿轮图标进入设置页的“模型”标签，在“规划与视觉模型”区域填写完整接口地址（通常以/v1/chat/completions结尾）、模型名称或ID以及API Key。该模型负责拆解任务、查看截图和总结结果，必须支持图片输入的Chat Completions接口。

2、Jev决策模型的选用

Jev决策模型属于可选项，用于判断输入是聊天还是任务，以及挑选操作和判断效果。API Key留空时该模型停用，所有指令按任务方式执行，用户可根据实际需要决定是否启用。

3、陪伴模式选项调整

在首页陪伴模式区域进入“陪伴设置”，可以开启陪伴语音播报，开启后将使用“语音”页面配置的音色与服务进行播报；也可以开启独立模型，单独选择成本更低的陪伴模型，默认则复用已保存的规划与视觉模型。设置完成后点击底部保存并返回首页点击“开始陪伴”。

4、陪伴运行时的注意事项

锁屏、息屏、开始任务或退出悬浮球时陪伴会停止；截图会发送给所选模型，但截图和陪伴评论不保存到任务记录；被排除的应用、密码页面和本应用不参与陪伴。开启“Jev多模态（实验）”后，还会将前后两张截图交给Jev判断画面变化。

Open Doubao配置与任务操作流程

首次使用时，打开Open Doubao进入首页，点击黑色提示卡片“还差一步：开启无障碍服务”，按手机系统提示完成授权后返回应用。这一步是后续功能的前提，未完成权限配置时“启动悬浮球”和“开始陪伴”均呈灰色不可用，不同手机的系统设置页面可能有所差异，以实际提示为准。

权限配置完成后点击首页的“启动悬浮球”，当屏幕右侧出现圆形头像且按钮变为“退出悬浮球”时表示启动成功。不需要时点击“退出悬浮球”即可关闭。需要注意的是，悬浮球启动并不代表模型已配置，如果首页仍显示“还没有设置模型”，需要继续完成模型配置。

接着点击首页“还没有设置模型”提示卡片，或点击底部右侧齿轮图标进入设置，选择顶部“模型”标签，在“规划与视觉模型”区域填写完整接口地址、模型名称或ID以及API Key，并按页面实际提供的保存方式完成配置。该模型用于拆解任务、查看截图和总结结果，必须支持图片输入。下方的“Jev决策模型”为可选项，API Key留空时停用。

如果只需要执行任务，可以跳过陪伴设置。想使用陪伴功能时，返回首页点击陪伴模式区域的“陪伴设置”，按需调整陪伴语音播报和使用独立模型两个选项，点击底部“保存陪伴设置”，再返回首页点击“开始陪伴”。应用会定时查看画面并简短评论，画面变化不大时保持安静。

最后返回首页，在任务输入框中写下需求，输入框左下角麦克风图标为语音输入入口，确认指令后点击右下角黑色圆形三角形开始按钮，应用即开始自动执行。执行过程中可随时返回页面或点击悬浮球停止，遇到敏感操作会暂停征求同意。

OpenDoubao使用教程

1、首先打开OpenDoubao应用，进入首页后找到黑色提示卡片中的【还差一步：开启无障碍服务】，点击该选项进入权限设置页面，并按照系统提示完成无障碍服务授权。

2、完成相关权限配置后，返回软件首页，找到并点击【启动悬浮球】按钮。启动成功后，屏幕上会显示悬浮球图标，方便后续快速调用应用功能。

3、接下来需要配置模型，点击首页的【还没有设置模型】提示卡片，也可以点击底部右侧的齿轮图标进入设置页面。在模型配置区域填写服务商提供的模型名称或模型ID，并根据页面要求完成接口地址及API Key等相关参数设置，保存后即可使用。

4、完成权限授权和模型配置后，即可根据实际需求开启陪伴、对话等功能，按照页面提示输入内容或选择对应功能进行操作。

Open Doubao小编简评

Open Doubao把AI智能体的任务执行能力与手机操作结合起来，通过无障碍服务和自定义模型接口，让AI能够代替用户完成跨应用的点击、输入等操作，同时提供陪伴模式满足聊天互动需求。它的使用门槛主要在于模型接口配置和无障碍权限开启，适合愿意自行准备API服务、希望尝试AI自动操作手机的用户。内容完全开源，功能扩展空间较大，实际体验取决于所接入模型的能力。

FAQ

问：Open Doubao必须配置模型才能使用吗？

答：执行任务和陪伴功能都依赖已配置的规划与视觉模型，未配置时首页会显示“还没有设置模型”提示，悬浮球虽然可以启动，但无法正常拆解任务和查看截图，因此需要先完成模型配置。

问：Open Doubao的陪伴功能会保存截图和评论吗？

答：截图会发送给所选模型用于分析，但截图和陪伴评论不会保存到任务记录中，被排除的应用、密码页面和本应用也不参与陪伴。