Jon Peddie博士是计算机图形领域先驱之一,成立了Jon Peddie Research (JPR)并出任主席,为客户提供详细技术咨询和市场预测服务。Peddie在许多国际会议上做过有关图形技术和数字媒体技术新趋势的专题讲座。最近被任命为最具影响力的分析师之一,定期为科技领域的投资者提供咨询,在贸易和商业出版物中经常被引用;他是Siggraph Pioneers组织的主席,并为包括CNN、TechTV和Future Talk TV在内的众多出版栏目撰写文章。2015年,他获得了CAAD学会颁发的终身成就奖。他是Siggraph执行委员会顾问,并于2018年被接受为ACM杰出演讲者。迄今为止,Peddie已经发表了数百篇论文,撰写了不下13本书。
Jon Peddie博士是计算机图形领域的先驱之一,多年关注增强现实领域。他成立了Jon Peddie Research,为客户提供详细技术咨询和市场预测服务,并在许多国际会议上做过有关图形技术和数字媒体技术新趋势的专题讲座。作为最具影响力的分析师之一,他定期为科技领域的投资者提供咨询。曾担任SIGGRAPH Pioneers组织主席,SIGGRAPH执行委员会顾问,于2018年获评为ACM杰出演讲者。Peddie已发表数百篇论文,出版十几本著作。
Thomas A. Furness为本书作序
在20世纪80年代中期,媒体对我在美国俄亥俄州赖特帕特森(Wright-Patterson)空军基地主持的超级驾驶舱(Super Cockpit)①项目进行了集中报道。曾经有人就此事向我咨询,是否有可能在军事领域之外应用这种虚拟界面技术呢?我当时觉得这类问题难以直接给出答案。其中有个人是来自澳大利亚的高尔夫球职业选手,他想创造一种更好的培训方法来指导高尔夫球新手如何进行挥杆操作。他还告诉我,他曾经试验过很多方法:首先对这些新手说,看着我和照我的样子做,然后演示如何站起来、握住球杆、挥动球杆等;他会给新手看他们自己挥杆动作流程的视频,指出并纠正其中的错误;当新手紧握着球杆击球时,他会试图站在身后近距离指导可是,尝试过所有这些方法之后,新手们仍然没有搞明白如何操作;最后,这个专家非常沮丧地问我,你有没有办法用类似这种虚拟界面的东西把我放进学生的身体里就像个幽灵一样呢?这样,当学生戴上头戴设备时,他们会看到我的胳膊和脚从他们自己的身体里长出来,反之,他们只需要把自己真正的脚、手和球杆放在我所放的位置上,然后再把自己的操作放入这种虚拟界面中展示出来即可。这样他们就有了一种切身体会或从内向外的视角,而不是传统培训里典型的从外向内的旁观者视角。高尔夫球职业选手与新手之间的问题显然只是其中一个典型例子也就是说,需要从传统第三人,或者从外在内在的视角,转变为第一人的视角。
这个问题为虚拟界面的其他领域的应用打开了一个新的思路,而不仅仅是我当时所追求的军事领域的应用。我想到了虚拟嵌入式专家的概念,可以用于教育培训、远程操作和物理治疗等多个领域。例如,一位与人耦合的嵌入式专家可以向人们展示如何修理喷气式发动机、如何进行脑部手术或进行物理治疗(告诉他们将胳膊抬到我所抬的位置上或把手放在我所放的位置上)。例如,就像我的妻子可以向我建议说,让我来教你如何从我的角度编织毛衣或学习美国手语。非常有意思的是,这种合作可以在距离很远的合作者之间对等地完成,因为不同的合作者不必处在同一物理位置上。通过这种方式,远程外科医生可以实时地向战场上的医务人员展示如何在他们自己的视角下完成伤员救治流程,然后告诉战地医务人员:跟随我的手,做我指示你做的事情就可以了。
哇,这种视角上的转变具有重要的意义!
1966年,我开始研发和应用虚拟界面,当时我被任命为空军工程部门官员,负责管理赖特帕特森空军基地的空军研究实验室。我的工作是研究、设计、建造和测试更好的战斗机座舱人机接口,这将提升飞行员及其所操纵飞机在军事行动中的系统整体性能,但显然这件事做起来并不容易。最让人望而生畏的制约因素是,我们需要在很狭窄的驾驶舱空间中放置大量的仪器和控制装置(可能有大约300个开关和75个仪表显示器)。这样,如果在此基础上再增加新型传感器图像显示设备(这样飞行员还可以在夜间看到周边环境)几乎是不可能的。那是促使我转向超级驾驶舱项目研究的主要原因①,其目的就是研究一种将飞行员的感知能力与复杂机器更好地结合起来的方法。如果虚拟图像能够叠加在飞行员的头盔上,我们就可以创造出与飞行员眼睛(视场角)相匹配,并且具有足够大小和分辨率的传感显示器。增加对头盔的位置、姿态的跟踪功能,使我们能够根据飞行员头部的运动,同步这些传感器的感知信息,从而创建一个可移动的界面或图像窗口,以便在驾驶舱中和夜间都能看到这些传感器所获取的实时信息。此外,这些虚拟信息可用图形或符号的方式显示,用于展示飞行员所面临的威胁程度,或飞机当前的飞行动力学相关信息,例如位置、方向、空速、高度和其他参数等。此外,这种头盔位姿跟踪能力还允许飞行员将各种武器系统及其瞄准视线结合起来,直接用于作战打击。值得注意的是,所有这些关键功能都将在不占用任何驾驶舱空间的情况下按需添加!
我不是第一个想到这些问题的人②。在早期的陆军海军仪器(Army Navy Instrumentation)项目(开始于1953年)中,已经发展了许多关于在先进驾驶舱中使用虚拟界面(如头盔显示器和能在外部世界上叠加虚拟图形对象的显示器)的最初概念性想法。该项目的动机是采用以用户为中心的驾驶舱设计方法,即从飞行员角度出发设计驾驶舱内的仪器、仪表结构,而不是传统的从机器到飞行员角度的工作方式。正是这个项目建立的平台框架激发了我在虚拟界面、视觉耦合辅助设备,最终在超级驾驶舱方面的进一步研究工作。
当然,我愿意走上这条虚拟化技术道路的另一个原因是我对科幻小说的痴迷。从我的童年,也就是大约20世纪40年代开始,我就是一个科幻迷和梦想家,我最喜欢的作品之一是:James Blish的They Shall Have Stars(《他们应该有星星》),这是James Blish的系列小说Cities in Flight(《飞行中的城市》)的第一部。有趣的是,在1956年首次出版时,这个小说的原名叫做Year 2018(《2018年》)。小说中生动地描述了建筑工人在木星上用冰冻氨建造一座奇特的桥的过程,由于木星上生存环境非常恶劣,工作人员只能被安顿在一颗围绕木星运行的卫星上,但他们可以在木星的表面上实现远程呈现(telepresent),这是通过在两端安装传感器和显示器,将施工人员的眼睛和手传送到处在一定距离之外木星表面上的施工设备来实现的。其他同类小说进一步扩展了这些概念,如Heinlein的Waldo(《瓦尔多》)和Starship Troopers(《星际飞船士兵》)。Edward Elmer Smith的Lensman(《伦斯曼》)空间歌剧系列解放了我的思维,让我想到使用虚拟界面(Virtual Interface)命令和控制应用程序,通过虚拟图像投影和手势来控制远处的物体。
现在,这些当时的梦想和早期的发展已经演变成我们这个时代的新型工具。我把他们的到来比作原子裂变,释放出巨大能量来进一步解放和连接我们的思想。这种解放来自增强现实、虚拟现实和混合现实技术带给我们(例如,高尔夫球职业选手)