新書推薦:
《
地下(村上春树沙林毒气事件的长篇纪实)
》
售價:NT$
332.0
《
偿还:债务与财富的阴暗面
》
售價:NT$
347.0
《
清华大学藏战国竹简校释(壹):《命训》诸篇
》
售價:NT$
408.0
《
封建社会农民战争问题导论(光启文库)
》
售價:NT$
296.0
《
虚弱的反攻:开禧北伐
》
售價:NT$
429.0
《
泰山:一种中国信仰专论(法国汉学经典译丛)
》
售價:NT$
380.0
《
花外集斠箋
》
售價:NT$
704.0
《
有兽焉.8
》
售價:NT$
305.0
|
編輯推薦: |
1. 12个实操案例,手把手带你实践互动开发;2.全彩印刷,质感纸张呈现细腻效果;3.内容全面,涵盖互动开发的主流领域;4. 配套丰富,附赠讲解视频、源代码
|
內容簡介: |
本书从虚实互动的角度详细介绍如何通过外部软硬件来控制 Unreal Engine 5(简称 UE5)的内容呈现,以及如何使用 UE5 来控制外部软硬件设备。利用各类技术手段高效便捷地完成与 UE5 的虚实互动,让互动作品变得更加炫酷出彩,是本书的核心内容。第 1 章介绍这些技术原理;第 2 章介绍 UE5借助 Arduino 连接物联网硬件的方法;为了让 UE5 与外部设备之间的互动更加生动而富有吸引力,第3 章介绍如何在 UE5 中使用b备的数学知识;第 4 章讲解利用 Live Link 技术让 UE5 获取精确的外部设备空间位置数据流,来实现更高级的互动;第 5 章讲解 UE5 利用 NDI 技术助力 OBS 实现互动直播的技巧;第 6 章和第 7 章涉及全景互动和音频互动,属于进阶内容,UE5 的全景技术可以让全景展示的构建效率倍增,而出色的音频互动则可以让视听效果相得益彰。
|
關於作者: |
蔡山,1998年毕业于湖北大学经济系。曾在全球五百强外企Synnex担任电子商务部技术经理,后任优酷士豆集团广告技术部技术总监。在多年的技术生涯中,博采众长,兼收并蓄,尤其在互动开发上颇有心得。在众多的项目实战中,为了迎合各类客户的需要,对视觉、音效、交互体验和交互性能的融合与平衡方面研究不辍。对于如何综合运用不同的开发语言和硬件平台,有自己独到的见解。对全景互动、三维互动、物联网开发和虚拟现实都有深入的探索和技术积累。参与过数十家企业的员工技能培训,在团队培训方面有丰富的经验以及扎实的授课能力。
|
內容試閱:
|
在讲“互动开发”前,我们先聊聊大众更能直观感受的“数字互动”。关于“数字互动”这个话题的讨论,其实从互联网时代开启的那天起就已经不绝于耳了。那时网友们在论坛里互相留言、评论、点赞,朋友间相互发送电子邮件嘘寒问暖,这些便是数字互动的雏形。
紧随而至出现了移动互联网,数字互动从 PC 延伸到了手机等移动设备上,于是走在路上的人们便可以拿出手机与坐在办公桌前的亲友通信。这样的互动让人与人之间建立起了一种连接,但这类互动却不是实时发生的。例如,发送邮件后可能过了半小时才收到回信,评论留言可能在 5 分钟之后才得到回复,电子订单提交一天后可能才通知商家发货。那么,数字互动该如何定义呢?
“数字互动”的含义
本书中讲到的“数字互动”对用户更具吸引力,应具备实时交互性、软硬件互通性和虚实互动性。
● 实时交互性要求被连接的双方可以在同一瞬间完成信号的发送与接收,并能够立即做出交互动作上的反馈。
● 更为大众所青睐、更加新颖的数字互动形式是发生在不同设备上的软件或硬件之间的交互,这就是所说的软硬件互通性,具体而言就是指分布在两台设备甚至多台设备上的软件或硬件的通信互控。例如,用手机来控制计算机屏幕中的数字视听效果的变化,同时对计算机屏幕的触控也可以影响手机设备的运行。
● 数字互动最后需要满足的一个特性就是虚实互动性,即虚拟的数字画面内容(包括视听效果)与外部真实存在的软硬件之间发生的互动,并且是在人的操控下触发的数字互动。
数字互动的应用场景
在 2001 年网络游戏的热潮下,人们感受到了联机游戏、手柄游戏、激光射击游戏等数字互动形式带来的愉悦体验,体感游戏、VR 游戏更是把数字互动带向了一波高潮。伴随着时代的发展,早期的消费互联网、娱乐互联网正在逐步拓展到金融、零售、产业、工业、基于这个角度来看,读者可能会觉得使用鼠标和键盘就是实时互动,因为当用户敲击键盘或移动鼠标时,屏幕上的字母或光标就会立即发生变化。没错,键盘、鼠标对屏幕画面的控制的确是实时的,但是屏幕画面却不能反过来操控鼠标和键盘,这就没有真正满足互动(interactive)的定义。况且键盘、鼠标已被定义为传统的输入设备,已经被人们认为是计算机本体的一部分。
企业协同、AIoT、智能家庭、智能汽车等各方面。互动技术的运用不再局限于游戏娱乐中,而是开始逐渐侧重于设备之间的连接互动,尤其是存在行业跨度的软硬件设备之间。将虚拟数字内容的变化与外部软硬件的功能融为一体,能带给用户前所未有的沉浸式体验。在大型晚会活动现场,这类互动技术已经开始崭露头角,现场的超级大屏幕与现场炫酷的光电设备交相呼应,对现场人群气氛的推动起到了至关重要的作用。
在 2016 年,说唱歌手幼稚冈比诺以他的“灯塔”演唱会震惊了观众。该演唱会在巨大的穹顶会场中进行,自始至终都有未来派的影像和动画投影环绕在观众和艺人周围。为了配合这种科技体验,演唱会推出了周边产品,包括一个 360°视频和一款 VR 伴侣应用。由于演唱会大获成功,因此幼稚冈比诺决定在 2018 年 11 月再举办一次,这一回他使用了一套采用虚幻引擎的全交互式实时系统(如图 1 所示),创造了定制灯光、烟雾、激光表演和实时投影到穹顶会场内部的迷人视觉体验,不仅让歌迷如痴如醉,还在 2019 年 2 月赢得了著名的 VES 特别会场项目杰出视觉效果奖。
图 1
时下,各类大型展会上已经可以看到不同形式的数字互动崭露头角,现场的参观者可以利用现场的器械设备或随身的手机来控制展厅大屏幕里的视听效果,这给参与者和周边的围观者都留下了深刻的印象。
如今的电影制片行业也开始大量使用虚实互动解决方案进行虚拟制片,如拍片过程中使用大屏幕里的虚拟背景作为演员的后置背景(如图 2 所示)。工作人员或导演都可以远程遥控背景画面的切换以及色调明暗的变换,这些方案给影视制片行业带来了工作流程变革和效率提升。
图 2
在当下火热的直播行业里,主办方可以通过遥控 OBS Studio 直播软件实现摄影机位的自动切换,可以把主播与逼真的虚拟美景融合,还能让虚拟环境(包括前景和背景)随时按照主办方的意图与主播互动起来,从而打造出高端的富有吸引力的直播栏目(如图 3 所示)。数字互动开发的应用场景正变得越来越丰富,所涉及的行业也日趋多元化。
图 3
互动开发涉及的技术
笔者将实现数字互动效果的开发过程称为互动开发。为了发掘更新颖的互动形式,各类技术都被尝试着运用到了互动开发上。在物联网技术的推动下,互动开发可以更加便捷地利用 Web 前端技术、各类通信协议,将各类硬件设备联系起来。用于互动开发的工具和开发语言不一而足。例如,通过 Arduino IDE 工具用 C 语言进行物联网硬件相关的开发,使用 Visual Studio 基于 C 语言进行 Unreal Engine 5(后文简称 UE5)开发,使用Python、JavaScript、PHP、ASP.NET 等语言进行 Web 互动开发。在有些互动开发项目中,这些技术甚至可能被整合起来一起使用。针对不同的数字互动方案,需要灵活选择合适的开发工具与开发语言,没有某一个工具是可以满足所有的互动创意的。
本书主要介绍外部软硬件与 UE5 数字视听内容的互动,毕竟这类互动在国外很多知名的大型现场活动中都有不俗的表现与口碑。虚幻引擎 UE5 具备强大的实时三维渲染能力,可将画面投射到各类屏幕(如穹顶屏幕、球面屏),并且其 MetaSound 系统对音频有很好的控制力,这些都将屏幕设备上呈现的视听效果推向了一个全新的高度。如果再结合各类性能丰富的智能传感器硬件,让大屏幕中的数字内容与现实空间里的器械设备互动起来,就能带给体验者一种普通浏览器无法相比的感受。
本书选择让 UE5 借助 Arduino 来连接各类装置,从而实现互动。Arduino IDE 和 UE5 都可以很稳定地在 Windows、macOS、Linux 三大主流操作系统上运行,本书以 Windows 10 为例讲解各章细节,大部分章节都采用了当下(笔者写作时)最新的 UE5 版本创建 UE 项目。具体来讲,本书涉及的软硬件技术如下。
1. UE5 技术
①本书使用 UE5 来呈现互动开发最终实现的视觉效果和听觉效果,UE5 在其中主要起到了展现互动开发结果的作用,同时也扮演了互动控制界面的角色。这就需要读者理解相关的通信协议,以及如何使用插件与外部进行通信。本书会重点介绍 UE5 支持的多种通信协议,包括 HTTP、UDP、DMX、OSC、MIDI 等。
②详细讲解使用 UE5 插件与外部软硬件通信的方法。UE5 的插件有很多,有些是用C 开发的,有些是用 Java 开发的,还有的是基于 Node.js 开发的。本书讲解的插件都是笔者经过反复实践、深入测试后选择出来的,这些插件均具有很高的可用性和易用性,同时这些插件都能应用于当下最新的 UE5 版本中。笔者把这些插件推荐给读者,期望这些工具能帮助读者在实现自己的互动创意之路上走得步履轻快!
③书中与 UE5 相关的内容离不开蓝图设计的初级知识,所以也会介绍 UE5 蓝图设计的内容。
2. 物联网开发环境、前端知识
本书涉及的物联网部分均采用 Arduino IED 开发,所以会涉及 C/C 编写的初级知识,笔者在代码中都作了详细的中文注释,便于读者理解代码含义。
为了能与 Web 通信交互,书中涉及一些 Web 前端的知识,包括 AJAX、HTML 和 PHP。
当然,本书适合对这些领域具备基础开发知识的读者阅读和学习。具备较强开发能力的读者,也可以将本书作为一本开发知识笔记或者备忘录,方便随时查阅相关的知识点。
3. 硬件选择
在硬件设备上,笔者选择了三种 Arduino 开发板。用 Arduino 进行开发简单易上手,使得开发者能够更关注创意的实现,更快地完成自己的项目部署,大大降低学习的成本,缩短开发周期。越来越多的软件开发者使用 Arduino 进入硬件、物联网等开发领域,大学中的自动化、软件甚至艺术专业,也纷纷开展了 Arduino 相关课程。
具体来说,笔者选择了物联网业内耳熟能详的 Arduino UNO 板、Arduino ESP8266 板和 Arduino ESP32 板,因为它们都是非常适合入门且功能齐全、物美价廉的电子开发板,均能通过各种各样的传感器来感知环境,包括通过控制灯光、电动机和其他的装置来反馈、影响环境。UNO 板是最廉价、最易于入门学习的开发板,而 ESP8266 在 UNO 板的基础上增加了 Wi-Fi 功能,ESP32 板则进一步增加了触摸引脚以及蓝牙功能,并大大增强了运算能力。
4. 直播软件 OBS Studio
电子商务已经与我们的生活息息相关,而如今的电商基本离不开直播,还有很多商务需求也非常倚重直播能力。在直播中加入虚实互动(不是指看直播的用户触摸手机屏上的图标来点赞或连麦、刷礼物那样的互动),让直播工作人员可以实时遥控直播画面中的人与景,可以营造较为高端的主播与虚拟布景互动的视听效果,为业务增色,为直播带来更大的流量和吸引力。
在直播展示过程中,针对商品本身的展示是核心需求,而利用周围环境作为商品的陪衬、烘托购物氛围则是重要的营销手段。UE5 能完美地利用全景展示技术为商品快速构建环绕式三维背景,通过周围环境的光影渲染打造以商品为中心的 360°景观。了解了 UE5 的全景使用技巧,对有兴趣做在线商品展示或是在展会现场进行商品互动展示的读者大有裨益。
为此,本书专门用第 5 章来讲述如何将互动开发带入到直播领域,以主流直播推流软件 OBS Studio 结合 UE5 的互动通信技术,为直播行业带来全新的、高端的解决方案。
读完本书,读者应该可以感受到实时数字互动提供的巨大便利性和参与机会,让生产效率和生活、工作便利性得到的巨大提高,以及对一些行业领域的颠覆性。互动开发技术将会成为一种连接不同行业的能力,实时互动技术的开发将有越来越广阔的市场前景。互动、交互是互联网的精髓,很多高端展示场景(包括直播)都可以借助互动通信、远程通信技术,让虚拟环境、数字内容与现实物体融为一体并互通有无,达到真正的数实共生、虚实互动。
让 UE5 中的三维渲染能力与互动开发技术珠联璧合,可以让互动创意方案变得更具吸引力、更有商业价值。本书侧重在 UE5 中与互动展示、互动通信联系较为密切的部分,让读者可以利用 Arduino 智能硬件与 UE5 互控,可以让全景展示和三维展示都能借助OBS Studio 直播软件为直播业务助力。具备了本书这些知识后,理解数字孪生、大数据可视化、元宇宙等概念性的技术话题就会容易很多了。
本书各章的内容安排
本书共分为 7 章,从多个角度围绕 UE5 讲述互动开发技术。
第 1 章重点讲解 UE5 与外界远程通信的技术基础,也就是 UE5 与外界的通信桥梁,包括 WebSocket、Remote Control API、OSC、DMX 和 MIDI 等技术。人们可以根据自己实际的交互场景灵活选择这些通信技术,从而让外部的移动设备(如平板电脑、手机或计算机)上的软件与 UE5 进行通信,让远程操控 UE5 的需求得以轻松满足。
数字交互是双向的,外部软硬件可以遥控 UE5 中的内容,而 UE5 中的虚拟物件也是可以遥控现实中的硬件对象的,包括真实的风扇、电动机、继电器、灯具、音响等。所以第 2 章讲解如何利用串口连接或 UDP,让智能硬件可以直接与 UE5 通信,还有 MQTT 技术可以成为 UE5 与物联网之间的桥梁,让 UE5 可以方便地与外部硬件交流,从而实现对外部硬件的控制。
如果要让互动变得富有吸引力,就需要逻辑合理且有趣味性,这些离不开数学计算,否则互动会变得没有真实性甚至逻辑错乱,最终导致用户失去兴趣。因此第 3 章选取互动开发中一些比较重要的几何知识,讲解如何将它们应用到 UE5 的具体操作中。
UE5 支持连接先进的外部跟踪设备(tracker),如 HTC 头盔和 OCULUS 穿戴设备,通过它们来准确地获知外部设备在现实世界空间里的位置变化、角度变化等信息,这种跟踪数据或者动画数据的传递依托的是什么技术呢?第 4 章给出答案,那就是 Live Link Data技术。
第 5 章谈及如火如荼的直播业务,让直播变得更加高质量,通过虚拟互动让直播变得更加高端,笔者可以借助 UE5 的互动能力以及 OBS Studio 的互动技术打造属于自己的更富吸引力的直播画面。本章重点突显的是软件之间的融合,让多种软件融合后发挥更大的业务推动力。
如果把全景展示引入直播业务,直播背景或产品展示的背景都将变得更加生动华丽。当下很多展示场景都需要全景展示,让用户全方位观察整体空间,如果还能让用户远程控制全景的切换或与全景中的某些道具互动,那将更能调动用户的参与热情。第 6 章就详细介绍 UE5 如何构建互动全景的方案,包括全景制作与直播软件的联动技术。
UE5 的虚拟数字内容应该包括视觉和音效,所以第 7 章讲解 UE5 如何使用 MetaSound 系统播放声音、让音效也能与外界进行互动的技术细节。
本书围绕 UE5,并加入了 Arduino 硬件以及 OBS Studio 直播工具的技术,为大家诠释当下各类常见互动方式的技术实现原理和思路,借此希望能对读者朋友们有所助益,重点是能为大家点燃灵感,有助于激发更多的有关创意互动的思路。
如何使用本书
学习本书知识,读者需要具备 UE 基础以及一些 Web 前端的基础知识,因为本书没有赘述 UE5 的下载安装、Node.js 下载安装等过程,也没有细说如何编辑一个 HTML 网页的基础知识。
如果读者对 UE5 还处于非常陌生的阶段,建议先阅读第 3 章,因为 UE5 的互动离不开数学,第 3 章的知识可以帮助你先一步了解一些 UE5 的基础常识。如果读者已经具备一定的 UE 基础和 Web 开发能力,则可以按照本书的编排循序阅读。
本书提及一些 Arduino 板和传感器,如果读者想加以实践,则需要自行购置相关电子器件。这些部件的价格都相当便宜,如 UNO 板的价格低于 60 元,而电动舵机、超声波传感器等电子器件大多是几十元的价格。如果你完全没有接触过这些电子器件,则需要在实践之前先上网搜索学习资料来了解一些 Arduino 板的基础知识。例如,如何将其连接至计算机、如何读取各类传感器的数据以及基础的 C/C 编程知识。正常情况下,学习这些周边的基础知识可能会花费一周的时间,整体难度不会太大。本书的各个实践案例都从基础部分入手,如果你拥有一颗崇尚互动的心,真切地想让你周遭的软件和硬件能彼此“握手”互动起来,那么本书一定是值得你细细品读的!
本书所有章节都有对应的项目文件源代码,并附带了下载链接(请扫描封底“本书资源”二维码下载),所有的实践案例都有对应的视频讲解,并提供了视频二维码。我们也建立了 QQ 群(账号:742541372),方便有疑问的读者后续深入交流。
读者对象
本书面向的读者对象主要是对虚实结合的数字互动技术感兴趣的朋友,包括展览展会设计领域的从业人员、展览展示专业的学生、文创行业和影视行业从事虚拟制片的相关人员、涉及直播业务的工作人员,以及在业务中想引入创意互动展示来为现场吸引流量的极客。本书也可以作为计划投身数字孪生开发、大数据可视化开发领域的计算机专业学生的基础读物。
另外,由于本书涉及 Web 前端的基础知识和 Arduino 开发的基础知识,所以比较适合已具备一定的基础编程能力的读者。
蔡山
2023 年 8 月
|
|