672阅读
2回复

[智能应用]苹果开发出新款AI：能“看懂”屏幕上内容并用语音回复[1P] [复制链接]

上一主题下一主题查看指定楼层

在线huozm32831

UID: 329002

精华: 1097
职务: 超级斑竹
级别: 玉清道君

发帖: 106166

金币: 2179

道行: 19523

原创: 29307

奖券: 17275

斑龄: 190

道券: 10126

获奖: 0

座驾

设备: EOS—7D

摄影级: 专家级认证

在线时间: 20019(小时)
注册时间: 2007-11-29
最后登录: 2024-11-23

只看楼主倒序阅读使用道具楼主发表于: 04-03

— 本帖被兵马大元帅执行加亮操作(2024-04-19) —

苹果公司的研究团队最近发表了一篇论文，宣布他们成功开发出了一款创新的人工智能系统。这个系统能够准确地理解屏幕上模糊的内容及其相关对话和背景环境，进而实现与语音助手更加自然的互动。

这个系统被命名为ReALM（Reference Resolution As Language Modeling，即以语言建模为基础的参考解析），它通过大语言模型的运用，将理解屏幕视觉元素指向的复杂任务转化为一个纯粹的语言问题。这一转换使得ReALM在性能上相较于现有技术有了显著的提升。
苹果研究团队强调：“让对话助手能够理解上下文，包括相关的内容指向，非常关键。能让用户根据他们所看到的屏幕内容进行提问，是确保真正实现语音操作体验的重要一步。”
增强对话助手的能力
ReALM的一大创新在于它能够重新构建屏幕内容，即通过分析屏幕上的信息及其位置信息来生成文本表示，这一点对捕捉视觉布局至关重要。研究人员展示了这种方法与专为内容指向调整的语言模型结合起来，能在执行相关任务时超越GPT-4的性能。
研究人员表示：“我们对现有系统进行了显著改进，在处理多种类型的内容指向时均展现出卓越性能。我们的最小模型就实现了超过5%的性能提升，而大型模型的表现则明显超过了GPT-4。”
实际应用与局限性
这项研究凸显了专注于语言模型在处理如内容指向解析等任务上的巨大潜力。由于响应时间或计算资源的限制，大型端到端模型往往难以实施。通过这项创新性研究，苹果展现了其持续投入，使Siri等产品在对话和理解上下文方面更加出色。
尽管如此，研究人员也指出，依靠自动化解析屏幕内容仍然面临挑战。在处理更复杂的视觉内容，比如区分多个相似图像时，可能需要结合计算机视觉和多模态技术。
努力缩小与AI竞争对手差距
虽然在人工智能领域苹果曾稍显落后，但它正在默默取得显著进展。从融合视觉与语言的多模态模型，到开发AI驱动的动画工具，再到构建高性能的专业AI技术，苹果的研究实验室持续实现技术突破。
面对谷歌、微软、亚马逊和OpenAI等公司的激烈竞争——这些公司已在搜索、办公软件、云服务等领域推出了先进的AI产品——作为一个以保密闻名的科技巨头，苹果正努力不落人后。
长期以来，苹果更多在创新领域扮演跟随者而不是领先者的角色，现在正面临着一个由人工智能快速改变的市场。在6月举办的全球开发者大会上，苹果预计将推出新的大语言模型框架、“Apple GPT”聊天机器人及其生态系统中的其他AI功能。
“我们很高兴今年晚些时候分享我们在人工智能方面的工作进展，”首席执行官蒂姆·库克（Tim Cook）最近在一次盈利电话会议上暗示。尽管苹果向来低调，但其在AI领域的广泛努力已经引起了业界的广泛关注。
然而，在日益激烈的人工智能领域竞争中，苹果的相对滞后使其处于不利地位。但凭借其雄厚的资金实力、品牌忠诚度、一流的工程师团队和紧密整合的产品线，苹果仍有机会扭转局面。

山庄提示：道行不够，道券不够？---☆点此充值☆

分享到 淘江湖新浪 QQ微博 QQ空间开心人人豆瓣网易微博百度鲜果白社会飞信

在线jjybzxw

UID: 551814

精华: 0
职务: 超级斑竹
级别: 得道成仙

发帖: 103146

金币: 1096205

道行: 1951

原创: 2163

奖券: 2124

斑龄: 28

道券: 567

获奖: 0

座驾

设备

摄影级

在线时间: 24783(小时)
注册时间: 2008-10-01
最后登录: 2024-11-24

只看该作者沙发发表于: 04-03

申请VIP---在山庄畅通无阻还送FTP单独下载账号!

近日，苹果公司推出了一款新的AI技术，名为“Visual Assistant”，它能够“看懂”屏幕上显示的内容，并通过语音进行回复。这一创新技术将有助于提高Siri的准确性，特别是在处理视觉信息方面。

Visual Assistant使用了先进的计算机视觉和自然语言处理技术，使Siri能够更准确地理解用户的问题和需求。例如，当用户向Siri提问关于屏幕上显示的一张图片的问题时，Visual Assistant可以识别图片中的内容，并提供相应的回答。

此外，Visual Assistant还可以帮助Siri更好地执行与视觉信息相关的任务，如搜索图片、识别物体和场景等。这一技术的推出将进一步提升Siri在智能助手市场的竞争力，为用户提供更加便捷和智能的服务。

苹果公司表示，Visual Assistant仍在开发阶段，未来将逐步完善其功能，并将其整合到更多的苹果产品和服务中。