苹果发布AI辅助功能,眼神可控制轮椅
「苹果在全球可访问性意识日发布系列AI辅助功能,包括用眼神控制Vision Pro轮椅、AI语音描述图像、实时字幕等,深度融合Apple Intelligence。」
在第15个全球可访问性意识日到来之际,苹果公司发布了一系列突破性的辅助功能预览。这套全新的无障碍工具深度融合了Apple Intelligence(苹果智能)技术,旨在通过系统级的AI赋能,全面提升残障人士在iPhone、Mac以及Apple Vision Pro等设备上的日常使用体验。
在视觉与控制方面,得益于大模型的加持,苹果经典的VoiceOver功能迎来了图像资源管理器的重大升级。视障用户现在只需按下iPhone的动作按钮,AI就能对摄像头取景框中的画面进行深度理解,并以自然的语言详细描述镜头前的物体或个人记录。这一功能将大语言模型的能力直接集成到系统级的辅助工具中,使得AI不仅能识别物体,还能进行上下文相关的描述,例如“你面前是一杯冒着热气的咖啡,旁边有一本翻开的书”。这种自然语言交互方式极大降低了视障用户获取视觉信息的门槛。
而在空间计算领域,Apple Vision Pro推出了令人瞩目的眼球追踪新功能。通过精准的眼部动作识别,肢体不便的残障用户如今可以直接用“眼神”来控制与之兼容的智能动力轮椅,极大地拓展了他们的行动自由度。这意味着用户只需注视轮椅移动的方向,AI系统就会解读其意图并驱动轮椅前进、转向或停止。这项技术将空间计算与辅助移动设备结合,为行动障碍者提供了全新的、非接触式的控制方式。
在语音与字幕方面,针对听障和语言障碍群体,本次更新同样带来了多项实用工具。全新的声音控制功能支持更高级的自然语言输入,用户无需死记硬背特定的数字或标签指令,只需用日常口语描述屏幕上的按钮,AI就能准确执行操作。例如,用户可以直接说“点击分享按钮”或“返回上一页”,AI会理解口语指令并映射到对应的UI元素上,大幅降低了语音控制的学习成本。
此外,基于设备端侧运行的AI技术,苹果生态还将支持为所有未提供字幕的视频内容实时生成中文字幕。这意味着用户在任何应用中观看视频时,即使原始内容没有字幕,系统也能通过端侧AI自动识别语音并生成同步字幕。端侧运行保证了隐私安全,同时避免了网络延迟,使得字幕生成几乎无感。这套融合了前沿AI的辅助功能组件预计将在今年晚些时候通过系统更新正式向全球用户推送。从整体来看,苹果此次将AI能力深度嵌入到无障碍工具中,不仅提升了现有功能的智能化水平,还开创了像眼神控制轮椅这样的全新交互范式,展示了AI在改善特殊群体生活质量方面的巨大潜力。
来源:Heooo AI工具导航