苹果Vision Pro:为何科学家也为之狂热?

我爱免费

作者：微信文章


原文作者：Jonathan O'Callaghan

这款头戴式设备为无障碍和医疗领域都带来了新的可能性——同时也引发了有关人类行为的担忧。



2月2日于美国发售的苹果Vision Pro头戴式设备能为穿戴者提供虚拟现实和增强现实的显示。图源：David Swanson/AFP/Getty

苹果的虚拟现实（VR）头戴式设备Vision Pro年初刚刚发售——科学家们已经开始纠结于它能如何应用在科研上了。研究者说这个头戴可以成为广泛使用VR的分水岭，它的高精确度可以用来辅助科研任务，或是模仿类似于手术的活动。所有这些都会对人类行为有影响，为科学家开启了一大批研究课题。

“这太疯狂了。”丹麦奥胡斯大学研究人机交互的Ken Pfeuffer说。2017年，Pfeuffer设计了一套“注视+指捏”的概念，和苹果Vision Pro所使用的虚拟操控系统很相似。当他拿到Vision Pro头戴的时候，Pfeuffer打算研究它是如何应用这套概念的。

自从2月2日Vision Pro在美国发售起，这款价格3499美元的设备获得了至今先进的VR和AR（增强现实）设备的名声——虽然苹果还是把它叫做空间计算设备。ChatGPT的制作公司OpenAI的首席执行官Sam Altman把它叫做iPhone以来“第二厉害”的技术。

包括微软和Meta在内的科技巨头此前都发布过VR和AR头戴设备。但专家表示，Vision Pro的高性能，包括它极为真实的“Passthrough”模式——近实时显示现实世界的功能——使之独一无二。8个向外部的摄像头可以将外部世界投影到它2300万像素的内部屏幕上，延迟只有12毫秒。四台向内的摄像机会追踪佩戴者的眼睛，让用户可以将屏幕和物品投影到虚拟世界中；人们使用眼睛来导航，就像使用鼠标一样。然后用指捏手势“点击”或互动。

Vision Pro的人气和顺滑的性能可能会为未来带来一批更小的设备，让人类能与现实世界中的虚拟覆盖物交互。“可佩戴的电脑可能会取代手持的[智能手机]成为未来。”英国布里斯托大学研究计算机视觉的Dima Damen说。

精密医疗

Pfeuffer说人们过去没发现注视+指捏虚拟导航的潜力，但苹果的应用使之变得理所当然了。“在苹果之前，我试着推销我的注视+指捏想法的时候，所有人都说‘谁需要这个啊？’”他说，现在“变得很清楚了。现在更多学生跟我做科研，也更容易拿到经费了。”

这套系统在Vision Pro之外还有一些应用，Pfeuffer说。“你不用点，只要看就可以。”他说，这可能会给残障人士带来使用计算机和访问信息的新方式。“可能你受伤了，手动不了。”Pfeuffer说，“现在就不用动了。”



这款头戴式设备有8个向外的摄像头，还有4个向内的摄像头追踪眼睛的移动。图源：Bing Guan/Bloomberg/Getty

这套头戴的高性能在医疗项目上也展现出了前景。德国埃森大学医院的医疗研究者Jan Egger和Jens Kleesiek正在寻找这套设备在医疗领域的潜在应用。他们说Vision Pro先进的眼球追踪技术可能可以发现一些症状，例如眩晕，甚至中风或痴呆的早期信号。他们二人的计划是拿到头戴设备之后就开始研究。“你有不同的眼球运动，用这类设备可以检测。”Kleesiek说，“传感器数据的质量高到真的可以用来执行这些医疗项目。”

Vision Pro重量大约600克，使用时还必须装上一块350克的电池。所以它长时间使用的时候会不太舒服，但未来的版本预计会更小——可能有一天会变成一副眼镜的样子，Kleesiek说。

比如说，一个可能的场景是，外科医生在手术中戴着头戴，看到信息覆盖上去。“你看着病人，然后眼镜就会显示出一个全息影像，指引你绕开敏感的血管。”Egger说。

未来视觉

如果空间计算头戴设备能像智能手机一样更普及的话，可能会影响人类的行为，Damen说。苹果的首席执行官Tim Cook说Vision Pro是“新计算时代的开端”，数字世界和物理世界将融合在一起。

“它会像之前的技术一样改变我们的社会，[像]手机。”Damen说，“这类技术可能真的会带来捷径，把事情变好。”

一个例子是分享信息和知识的手段，Damen说。她引述了她和同事的一个项目，使用穿戴式摄像机收集日常活动的视频。“我们让人们记录他们三天之内在厨房做的所有事情。”她说，“我记得我的博士生走进办公室跟我讲，‘你不知道怎么切洋葱哎。’当前，我们在自己知道的问题上寻求改进，但还有很多事情我们可能没想到该寻求改进。”

行为，甚至大脑中的神经连接，都可能因此发生改变：视觉是VR头戴可能会影响到的一种人类感官。“它可能会改写你对起初陌生之物的感觉。”Damen说，“这是你的三维世界的一个二维投影。它会对实际的三维视觉产生什么影响？”

持续暴露在世界的虚拟影像中也引发了一些担忧。“投影可以被任意操纵。”Damen说，可能是通过生成式人工智能做的，它正和VR与AR同时发展。“你可能以为你看到的是世界，但其实并不是。”

参考文献：

1.Pfeuffer, K., Mayer, B., Mardanbegi, D. and Gellersen, H. in Proc. 5th Symposium on Spatial User Interaction 99–108 (Association for Computing Machinery, 2017).

2.Egger, J. et al. Preprint at arXiv https://doi.org/10.48550/arXiv.2308.04313 (2023).

原文以Apple Vision Pro: what does it mean for scientists?标题发表在2024年2月12日《自然》的新闻版块上

© nature

Doi：10.1038/d41586-024-00387-z

点击阅读原文查看英文原文

点击文字或图片阅读相关文章

“读心”机器面世：是时候担心了吗？



“读心术”侵犯的隐私权谁来保护？



Neuralink大脑芯片：受试者可用意念控制鼠标



版权声明：

本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件China@nature.com。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。

© 2024 Springer Nature Limited. All Rights Reserved

星标我们