手机上的全能智能体，Auto小二正式开源
<p>从小我就有一个愿望——拥有一个真正生活在手机或电脑里的“数字朋友”。它可以像我远方的朋友一样，和我通过社交软件聊天，给我分享它看到的有趣的事。市面的大模型虽然聪明，但往往被困在对话框里，缺乏真实世界里的“行动力”；而很多手机自动化项目又更偏向于“指令执行器”（我一步步教它怎么做，它再去执行），包括豆包手机，定位也是偏向于手机助手的角色。</p><p>但是，如果我们把这个需求拆分，把操作手机的部分作为“手”，另外给它配一个大语言模型作为“大脑”来代替人为指令，再把它装进一部安卓手机里独立运行，是不是就能真正拥有一个活在手机里的赛博伙伴了？</p>
<p>基于这个想法，我开发了 <strong>Auto小二</strong> —— 一个基于双 Agent 架构的纯端侧安卓智能体应用，现已完全开源！</p>
<h2 id="核心架构大脑与双手的完美协作">核心架构：“大脑”与“双手”的完美协作</h2>
<p>Auto小二摒弃了传统的单线指令执行，引入了基于 ReAct 模式的 <strong>双 Agent 架构</strong>：</p>
<ul>
<li><strong>大脑（LLM-Agent）</strong>：采用 <code>glm-4.7</code> 模型。负责维持人设、思考、逻辑拆分、任务规划。所有的模糊任务都会先交给它进行消化，然后派发具体的子步骤。</li>
<li><strong>双手（Phone-Agent）</strong>：采用智谱开源的 <code>autoglm-phone</code> 视觉模型。负责在图形界面上执行具体的点击、滑动、输入等操作。</li>
</ul>
<p>LLM-Agent 采用 ReAct 架构，在执行过程中，Phone-Agent 执行完每一步后，LLM-Agent 会通过“观察（Observe）”当前的屏幕结果，来动态规划下一个行为。</p>
<h2 id="核心能力与特性亮点">核心能力与特性亮点</h2>
<h3 id="1-突破被动响应自主感知与主动交互">1. 突破被动响应：自主感知与主动交互</h3>
<p>Auto小二不仅仅是一个你问我答的工具，它拥有脱离人为干预的“节律”。</p>
<ul>
<li><strong>定时任务</strong>：“每天早上 10 点发微信提醒我工作”、“下午 3 点帮我盯一下某只股票”。</li>
<li><strong>通知触发</strong>：收到微信消息后，自动读取上下文并回复。真正做到主动与真实世界交互。</li>
</ul>
<h3 id="2-人类级别的视觉操作能力">2. 人类级别的视觉操作能力</h3>
<p>无需复杂的 API 接入，它直接通过视觉理解手机屏幕。这意味着它可以操作手机上的<strong>任何 App</strong>：</p>
<ul>
<li>帮你刷朋友圈、点赞</li>
<li>帮你查天气、订外卖</li>
<li>和你的朋友在社交软件上聊天</li>
<li>甚至操作你家里的智能家居 App</li>
</ul>
<h3 id="3-高稳定性防幻觉机制">3. 高稳定性防幻觉机制</h3>
<p>视觉模型在长流程操作中极易出现“幻觉”或卡死。为此，我为 Phone-Agent 增加了两道限制：</p>
<ol>
<li><strong>单次执行步数限制在 10 步</strong>。</li>
<li><strong>上下文内容限制在 200 字以内</strong>。<br>
一旦“双手”在操作中走偏或卡死，“大脑”能在第一时间发现并叫停，进行重新规划。这让长任务的执行成功率有了质的飞跃。</li>
</ol>
<h3 id="4-贴心的电源与屏幕管理">4. 贴心的电源与屏幕管理</h3>
<p>为了让它能24小时运行在一台备用机上，系统会在开始任务时自动唤醒亮屏并解锁，结束任务时自动息屏。不仅省电，还完美避免了长期运行导致的烧屏风险。</p>
<h2 id="极简且高效的设计理念">极简且高效的设计理念</h2>
<p>不同于“龙虾” “豆包AI手机”，Auto小二的定位非常纯粹——一个轻量级的赛博伙伴。它目前并没有沉重的长期记忆库，也没有复杂的 Skills 插件系统。它的人设完全由系统提示词赋予，所有的回复与交互都直接基于社交软件的实时上下文。</p>
<p>面临需要“记住”的长期需求时，它会聪明地将其直接转换为未来待执行的自动化任务。得益于这种“事件驱动”的无状态设计，系统抛弃了繁冗的上下文历史，每次任务都能独立、轻快地运行，在保证极高执行切分效率的同时，也将 Token 的消耗降到了极致。</p>
<p>它是一个可以通过社交软件与你聊天的远方朋友，也是一个全能的手机私人助理。随着未来多模态模型的迭代，它的能力边界还可以无限拓展。这也就是它的终极进化方向——是一位朋友，也是一部分“你”。</p>
<h2 id="开源与致谢">开源与致谢</h2>
<p>本项目站在了巨人的肩膀上，特别感谢 Open-AutoGLM 和 AutoGLM-For-Android 等优秀开源项目，孕育了 AutoXiaoer 的诞生。另外也感谢 vibe coding 的方式，极大降低了安卓开发的门槛。</p>
<p><strong>GitHub 项目地址传送门：</strong><br>
👉 https://github.com/Joy-word/AutoXiaoer</p>
<p>如果你对这个项目感兴趣，家里正好有一台闲置的安卓机，欢迎拉取代码领养属于你的“小二”！也欢迎提 Issue、PR 共同完善它。如果觉得项目有意思，<strong>求点赞、求 Star ⭐️</strong>，感谢支持！</p><br><br>
来源：https://www.cnblogs.com/Joy-Word/p/19863484
頁:
[1]