C114门户论坛百科APPEN| 举报 切换到宽版

亚星游戏官网

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

亚星游戏官网-yaxin222  三级军士长

注册:2015-11-142
发表于 2024-11-29 16:36:47 |显示全部楼层

机器之心原创

编辑:泽南、杜伟

大家需要的是「真正解放双手的智能体」。
最近一段时间,大模型领域正在经历智能体(AI Agent)引发的革命。Anthropic 推出的升级版 Claude 3.5 Sonnet,一经推出即引爆了 AI 圈。

作为新一代 AI 智能体,它跨过了大模型的次元壁,能够像人一样直接操纵电子设备,根据你给出的自然语音指令移动光标、点击相应位置以及通过虚拟键盘输入信息,模仿人类与计算机的交互方式。大家都在自发探索智能体的使用方法,比如有人已经在用智能体自动代肝崩铁每日任务了。

亚星游戏官网-yaxin222



除了打游戏,在工作环境中智能体还可以接管很多日常事务,比如撰写邮件、安排会议、整理文件等等,据说从科研到写代码样样都行。

有人表示,智能体工具的出现标志着全新人机交互范式踏出了新的一步。

没过多久,国内企业就拿出了对标的产品,而且还更进一步,一次性实现了手机、PC、AI 原生硬件的覆盖

今天上午,智谱 Agent 宣布升级,开放「百万内测」申请,翻开了人机交互体验的新一页。

这是智谱第一个产品化的智能体 Agent,可以做到让 AI 通过语音直接操纵硬件设备,还能跨不同 App 全局操作。

在发布会现场,智谱 CEO 张鹏展示了一番智能体的能力。让 Agent 与现场观众建面对面群聊。

亚星游戏官网-yaxin222



发一个总计两万块钱的红包。

亚星游戏官网-yaxin222



AI 发的红包瞬间就抢空了。不得不说谢谢张总,谢谢 AI Agent。

深入手机、PC,能自己做主

智谱智能体的手机版 AutoGLM 与电脑版 GLM-PC,内测阶段覆盖部分常用的 App 及应用。AutoGLM 支撑包括微信、抖音、小红书、微博等社交平台、美团、饿了么、等美食平台、淘宝、京东、拼多多等购物平台、高德和百度地图等出行平台、以及 12306、去哪儿、携程等旅游订票平台。

用户打开 AutoGLM 后,只需要动动嘴(当然也支撑文字输入),就能让智能体接管自己的手机,并在上面这些 App 上自动实行任何指令任务,比如在微信上对某个公众号的文章进行摘要总结、在高德地图上为你规划出行路线,等等。

此次,智谱给 AutoGLM 进行了一系列能力升级。基于这些新能力,大家看到了一些新玩法。

一是「更长」,即 AutoGLM 可以理解、遵循并自主完成超长、复杂的指令,支撑超过 50 步的无打断连贯操作。在长任务上实行的速度比人类实操还要快。

亚星游戏官网-yaxin222



二是「跨 App」,即 AutoGLM 在更强大泛化能力和思维链的加持下,支撑复杂任务的跨 App 操作。有了这个智能体,用户与应用之间多了一个可以自动实行的调度层,省去了在不同 App 之间来回切换的麻烦,实现了这些 App 之间的协同操作。

大家以不同 App 之间的信息分享为例,命令 AutoGLM「在小红书上种草几款单反相机,然后分享到微信的『编辑部之插科打诨』群」,操作很丝滑。

亚星游戏官网-yaxin222



再比如跨不同 App 购物,AutoGLM 也能一气呵成。

亚星游戏官网-yaxin222



更多新玩法进一步拓展了 AutoGLM 的功能,包括「短口令」,类似于手机上的快捷指令。在这种模式下,AutoGLM 可以一键存储用户自定义的快捷短口令,在触发该指令后自动发起并实行关联长任务。

更有意思的还有「开盲盒」,AutoGLM 会默认跳过对话步骤,对于用户发出的模糊指令,让 AI 主动帮你完成选择。过程中只有在涉及重要操作(比如支付)时才会进行二次确认。

亚星游戏官网-yaxin222



AutoGLM 的自主实行能力还扩展到了网页端。智谱在浏览器(谷歌 Chrome 和 微软 Edge)的智谱清言插件上提供了 AutoGLM-Web 功能。该功能适配了知乎、微博、X 和豆瓣等社媒网站,百度、GOOGLE和必应等搜索引擎,百度学术、GOOGLE学术和 arXiv 等学术网站,以及 GitHub 代码托管网站和资讯类网站。

在这些网站上,智能体遵循用户指令,可以自动实行站内搜索、内容总结、生成 arXiv 日报、搭建 GitHub 仓库、在微博超话签到等个性化功能,可玩性不错。如下所示,大家可以让它自动帮大家在微博分享新鲜事。

亚星游戏官网-yaxin222



在桌面端,智谱同样推出了像人一样操作计算机App的应用 GLM-PC,它基于通用视觉大模型 CogAgent 的理解与任务规划能力,让用户通过简单的一句话指令实行复杂任务。

亚星游戏官网-yaxin222



比如查询并总结网页上的信息,并通过微信发送给别人:

亚星游戏官网-yaxin222



在淘宝上买 XL 码的羽绒服并购买:

亚星游戏官网-yaxin222



即将上线的隐形屏幕功能更加科幻。AI 可以在不打扰你的情况下提供帮助,解放屏幕使用权给人,自己在另外一个隐形屏幕上完成工作。

亚星游戏官网-yaxin222



从实现原理来讲,GLM-PC 在充分理解用户指令后对任务进行规划,然后识别电脑界面中的窗口、图形、文字等信息,然后自动操作电脑。另外,这个 AI 助手在使用过程中可以根据页面信息更改计划并自我纠错,从而更好地完成任务。

据先容,GLM-PC 尤为擅长处理办公场景,可以在微信、飞书、钉钉、Tencent会议等平台实行多样性任务,比如发送信息、预定和参与会议。同时支撑浏览器网页搜索以及网页内容的阅读总结、翻译,还能进行多种文档处理,包括下载、发送和总结。

亚星游戏官网-yaxin222



打开并加入飞书会议。

亚星游戏官网-yaxin222



邮件发送会议纪要。

不仅如此,智谱还实现了 GLM-PC与手机端的联动。用户现在可以在手机上远程向 GLM-PC 发消息,让它自动进行电脑端操作。

亚星游戏官网-yaxin222



最后,智谱在发布会现场表示,要对十个亿级 App 进行免费 Auto 升级。荣耀、华硕、小鹏汽车等大厂,高通、英特尔等硬件、芯片厂商也纷纷站台,先容了与智谱的合作。

随着端到端、多模态、视频等新能力的大模型出现,大模型已经初步具备了和物理世界互动的能力。

大家能够逐渐想象出山姆·奥特曼口中「前所未有的自然交互」的样子,但眼前能够接触到的很多落地产品,却似乎总是差点意思。这可能是因为想要构建颠覆性的产品,需要的不止是大模型能力,还有对于技术方向的提前预判,以及完整系统的优化。

其实在发展大模型基础技术之外,智谱最近还一直在推进另一件事:构建体系。

亚星游戏官网-yaxin222



大家能够逐渐想象出山姆奥特曼口中「前所未有的自然交互」的样子,但眼前能够接触到的很多落地产品,却似乎总是差点意思。这可能是因为想要构建颠覆性的产品,需要的不止是大模型能力,还有对于技术方向的提前预判,以及完整系统的优化。

智谱在大模型 Agent 方向上的研究由来已久。自 2023 年 4 月,智谱就陆续提出了 AgentTuning、AgentBench、CogAgent 等大模型智能体工作,今年智谱又连续发布了AutoWebGLM、AutoGLM 等成果。智谱针对 AutoGLM、GLM-PC 的研发工作也经历了一年半以上的时间。

在探索大模型智能体能力边界的过程中,智谱逐渐获得了两个重要的观察。

首先,智能体和推理本质上服从着同大模型训练类似的 Scaling Law。智能体通过和环境交互,模型获得来自环境的反馈监督信号,具有类似的规模扩展效应。这说明,通过扩展计算规模,大家可以持续地提升大模型智能体的表现水平。

在新的 Scaling Law 背后,智谱设计了 WebRL,一个自进化在线课程强化学习算法框架。通过引入大模型特有的自进化演化策略,并利用课程学习实现智能体由易到难进行泛化,并最终借助在线 off-policy 强化学习,AutoGLM 实现了在在线环境中的智能体扩展规律。

其次,智谱进一步的探索发现了Agent 存在 Emergent Ability,即能力涌现

10 月发布之初,AutoGLM 尚只能在单个应用、短距离任务上展现能力。然而,随着工程师们进一步训练和规模的扩展,最新版本的 AutoGLM 已初步具备跨应用、长距离任务的胜任水平,甚至能够能遵从复杂指令在从未见过的 App 应用中操作。

其实在发展大模型基础技术之外,智谱最近还一直在推进另一件事:构建体系。

亚星游戏官网-yaxin222



由于多模态大模型的出现,现在的 AI 已经具备了语义理解、屏幕内容解析和行为语义理解等能力。接下来要做的似乎就是找到一种机制,让大模型能够一步一步地解题。

智能体(AI Agent)就是用来实行这样复杂的任务的。它既具有自主性,又能进行环境交互,可以分解复杂任务进行规划,使用专业的模型或外部工具来提升自身能力,还拥有远超大模型本身的记忆能力。

这意味着加入智能体之后,手机这样的设备可以利用相对轻量级的模型,承载起更加复杂的自动化任务。

此前在业内,一些科技大厂、创业企业和手机厂商已在 PC、AI 手机上构建了智能体能力,并获得了不错的效果。但从技术发展的角度来看,这往往是各自产品路线的延伸。智谱提供的解决方案在此基础上还会覆盖汽车、智能眼镜、智能音箱,甚至具身智能的机器人等 AI 原生硬件,体现出了另一种思路。

智谱认为,将来不同的硬件设备都可能由统一体系的 AI 智能体来操作,这样才能实现人机交互的提升。为此,他们也在芯片、应用 App、操作系统 OS 和模型侧进行了提前布局。

包括与芯片、终端厂商持续合作,从硬件底层进行优化,持续优化端侧大模型的能力。在 10 月高通骁龙 8 至尊版发布时,智谱就宣布已联合高通对最新一代端侧视觉大模型 GLM-4V 进行了深度适配和推理优化。在端侧部署后,今年的新一代旗舰手机已经可以支撑丰富的多模态交互方式,让人们获得更加情境化、个性化的终端侧智能体验。

智谱也和众多手机、电脑厂商合作,在 AI PC、手机端智能助手领域给大模型进行落地。率先亮出 AI 智能体操作手机的荣耀,就在九月份与智谱达成了 AI 大模型技术的战略合作。

本周,智谱还与英特尔、机械革命联合发布了专为程序员设计的 CODE AI 程序员笔记本,预装了基于端侧的智能编程助手。

通过端侧芯片性能优化和端云一体架构,智谱的大模型智能体技术,不久后将出现在越来越多的设备上。

Agent 的尽头是什么?

尽管目前的技术还在初期,但 AI 智能体已经展现出了前景。

再往更深的层次想,过去键盘鼠标、触控屏幕这样物理交互的形式,从 DOS、Windows 再到 iOS、安卓等操作系统,都是为了让人更好地与机器沟通。

大模型正在走一条相反的路,让大家无需花费大量时间去理解各种应用的复杂界面,减少机械的劳动,反过来让机器适应人类。

智谱 CEO 张鹏在发布会上表示:「目前的 Agent 能力更像是在用户和应用、设备之间增加一个智能的调度层。可以看做是大模型通用操作系统 LLM-OS 的一种雏形。这已经对人机交互形式产生极大的影响。更重要的是,大家看到了一种大模型操作系统 LLM-OS 的可能,基于大模型智能能力,有机会实现原生的人机交互。」


来源:网易

举报本楼

本帖有 1 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系大家 |网站地图  

GMT+8, 2024-12-2 21:47 , Processed in 0.246342 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部
XML 地图 | Sitemap 地图