数字交互引擎是在文化创意场景下产生、伴随数字文化产业升级而不断实现技术迭代的一类工具集,集成了物理模拟、3D建模、实时渲染等多种前沿技术,是文化科技融合的典型产物。数字交互引擎主要由图形模块、仿真模块、实时渲染等模块构成,它以软件代码包形式创造虚拟场景,动态呈现其外观变化,支持其与物理世界进行实时交互。
在发展前期,数字交互引擎主要应用于游戏场景,在行业场景下被称为“游戏引擎”;在服务游戏产业高效构建虚拟世界、与现实世界高质量交互的过程中,不断实现技术迭代、提升跨平台通用能力,逐步成为跨行业、跨场景应用的数字交互引擎。当前,数字交互引擎已经应用于文旅、汽车、工业等多元领域,成为构建实时虚拟世界、实现虚实交互的关键工具集。
随着以数字交互引擎为代表的游戏科技进入游戏之外的更多领域,游戏将迎来新的产业扩容,成为不断创造新价值与新可能的“超级数字场景”。游戏作为前沿科技的“试炼场”,在深度跨界、产业扩容的过程中,必然将推动数字交互引擎进一步与多种前沿技术形成广泛连接,其中,数字交互引擎与AIGC的加速融合、互相驱动将成为重要趋势。
首先,数字交互引擎为AIGC爆发提供了重要推动力,并有望助力AIGC迈过“深水区”。游戏为AI提供了测试与训练的重要环境,促进AI决策更加智能;同时,AIGC当前在3D内容侧的能力仍存障碍,游戏行业的PCG(程序化内容生成)技术已大量应用于3D内容制作,两者的结合可助力AIGC提升3D侧能力。未来,数字交互引擎及其创建的大量3D数字资产也将为AI大模型训练提供重要支持。
其次,AIGC技术融入数字交互引擎,将加速数字文化产业的工业化进程。当前,AIGC已渗透进数字文化制作的多个环节,包括动画、语音、美术、3D资产及场景等领域,简化内容开发流程。未来数字交互引擎将进一步集成多种AIGC能力,提升影视、游戏、广告等行业的智能化、工业化水平。
此外,数字交互引擎与AIGC的结合,将辐射多元社会场景,打造构建超级数字场景的高效工具集。例如,英伟达的Omniverse平台集成了数字交互引擎、AI等多种技术能力,不仅能够支持高效开发场景逼真、物理精确的游戏,也能广泛助力工业制造、自动驾驶等领域的虚拟仿真与协作。未来,数字交互引擎与AIGC相结合,将加速打造更多的超级数字场景,在感知与认知的双重维度上,实现人类生产与生活模式的全面升级。
随着数字交互引擎与AIGC的融合加深、工具门槛进一步降低,数字交互引擎有望走向UGC工具形态,以更低的使用门槛为大众提供3D内容的生产力。正如短视频变革了今天的社会信息传播方式,未来,数字交互引擎也有望作为大众化的3D内容生产与交互工具,支持人们创造自身在虚拟空间中的形象及资产等,在数实相生世界里实现生产与生活。
当前,面向大众的游戏创作工具已经初现雏形,但数字交互引擎要真正走向大众化,还需要从技术、生态、商业模式等维度积累资源、构建能力,实现高质量的画面效果及实时算力支撑,培育丰富的开发者与多元内容体系,构建可持续的商业模式以推动创作者变现,进一步聚集内容开发者,真正推动“交互式内容”的大众化时代到来。
当前,数字交互引擎的应用正在从社会消费端向生产端延伸:不仅作为文化数字化的重要技术支撑,助力文化业态打破时空局限、实现多维升级;也走向制造业领域的“新型工业软件”,支持实时、智能、高度可视化的数字场景,帮助企业生产提质增效。
数字交互引擎凭借其在数据可视化、实时渲染、友好交互等方面的能力,已成为工业数字孪生重要的构建及运行平台,并支撑各行各业的数字孪生在应用层面提升实时性,使数字孪生技术在实时交互、灵活部署方面更进一步。数字交互引擎与数字孪生技术的结合,不仅可在数字空间中将物理实体构建为可视化、智能化的“副本”,还能支持数据的实时感知接入、可视化展现,实现3D模型的实时渲染和展示,支持用户对孪生体的快速查看、调用和修改,为汽车、民航等工业制造领域提供实时监控管理、演练测试的数字场景。
未来,随着数字交互引擎集成更加成熟的AI能力,也将进一步提升数字孪生构建的效率与智能化水平。例如,自动驾驶的仿真测试,可通过采集真实数据,在数字交互引擎中重建数字场景,然后进行编辑、生成更多场景。采用 AIGC 技术可以让这项工作效率大幅增长,并且可以创造出更多的合成数据,填补真实数据中的缺口,提升训练和测试样本的多样性、完备性和均衡性。AI与数字交互引擎的结合,将助力数字孪生技术以更智能化的形式服务于各行各业,促进各领域提高研发生产效率、降低产业创新风险。
在信息爆炸的时代,新媒体已经成为我们生活中不可或缺的一部分。视频作为当今互联网时代重要的信息载体之一,在互联网数据中具有非常高的占比。根据Sandvine的报告,2022年视频服务占互联网流量的65.93%。同时,截至2022年12月,我国网络视频(含短视频)用户规模达10.31亿,较2021年12月增长5586万,占网民整体的96.5%。在这个背景下,如何更有效地传递信息,提供更好的用户体验,成为了新媒体领域亟待解决的问题。
多媒体技术经历了电视、PC流媒体、移动互联等阶段,其中标准、设备、交互方式均发生了对应的变化。技术也不断发展。未来,多媒体技术将聚焦四大方面,一是如何提高qoe和qos,进一步降低时延、提高压缩比。二是更高效的内容生成和呈现,如AIGC、HDR技术。三是更多样的内容、互动内容、新媒体,以及沉浸式交互和体验。四是更深入产业,助力产业互联网。
随着虚拟现实(VR)、增强现实(AR)以及混合现实(MR)等技术的发展,沉浸式体验和交互逐渐成为新媒体的发展方向。3DoF(自由度)视频已经在视频号、快手等平台实现商用,裸眼3D产品也逐渐走进大众视野。这些技术的应用为用户提供了更加真实、身临其境的感官体验,使用户在享受内容的同时,更加沉浸其中。未来,随着硬件的进一步成熟和6DoF技术的演进,更多的UGC(用户生成内容)3D沉浸式内容将会出现。此外,模型文件将成为多媒体的重要载体。例如,3D模型可以用于游戏、电影、广告等多个领域,为用户带来更加丰富的视觉体验。同时,随着5G等新一代通信技术的普及,沉浸式体验的传输速度和质量也将得到显著提升。
伴随着人工智能技术的不断进步,AIGC技术在多媒体的文字、图片生成等方面已经实现商用。未来,AIGC技术将继续聚焦生成更加稳定的视频和3D内容。同时,在垂直领域如数字人、超分、老片修复等方向,AI技术将不断强化多媒体的能力,为用户提供更高质量的内容。此外,深度学习技术将进一步提升视频编解码的压缩效率。随着更多样化的块划分方法和编码模式的不断涌现,以及更复杂的预测和变换技术的引入,传统视频编码算法的复杂度不断提高。深度学习技术为图像/视频编码框架定义了全新的结构范式,实现了图像和视频编码器性能的显著提升,这为图像/视频编码领域带来了新的研究思路和方向。
随着互联网技术的不断发展,产业互联网逐渐崛起,为各行各业带来了新的机遇。在这个过程中,多媒体技术在产业互联网中的应用将根据不同场景进行优化,从而更好地满足产业互联网的需求。在产业互联网中,网络协议需要根据场景需求进行优化以提高传输效率。传统的直播传输-播放模型存在诸多问题,如缓存固定、传输可靠性过高、无法区分视频帧优先级等。
针对这些问题,在消费互联网中的WebRTC通信模型基础上,进行优化,在网络时延、QoE和可靠性等进行优化,对场景需求进行最优匹配。比如在2B2C的场景中,通过(1)信令改造,利用miniSDP和0-RTT的结合,大幅减少信令耗时、提升信令交互成功,进而降低首帧耗时和提升开播成功率。(2)音视频改造,让WebRTC支持AAC,H.265,附加前向纠错,抗50%以上丢包。还引入了B帧,增强了画质,同时大幅减少了码率。(3)传输改造,采样柔性分级丢帧的传输策略来渐进式降低码率,以适应弱网情况。支持P2P分发网络,能够将看同一视频流的用户群就近地组织成网络,相互分享传输。实现延时可降低到800ms以内,并同时兼顾延时、卡顿和首帧耗时,综合QoS远超传统直播。可以广泛应用在电商直播、体育赛事直播等领域另外一些场景,比如远程作业等2B场景,通过(1)信令改造:提升信令链路对网络异常抵抗能力,减少网络异常恢复时间,提升视频应用稳定性。(2)音视频改造,优化相机采集、视频渲染和视频编解码耗时,从音视频处理层面减少端到端画面延迟。(3)传输改造,以减少视频传输延迟为目标,适当平衡抗丢包和抗网络波动能力,减少视频延迟;并引入多网传输策略,减少单一网络依赖,提升传输稳定性。实现了画面延时可降低到100ms以内,兼顾抗弱网能力,在工业远程作业、医疗等领域应用前景广泛。
脑机接口(BCI,brain-computer interface),是在人或动物脑与外部设备间建立的直接连接通路,实现大脑与外部设备的直接交互。根据传感器或电极植入部位不同,主要分为非侵入式(Non-invasive)和侵入式(Invasive)两大类。
如果从1924年德国医生汉斯·伯格开发脑电图(EEG)算起,脑机接口经过百年的近现代技术发展,已形成一系列基本的技术研究和应用范式。然而,由于对人脑原理研究认识进展的缓慢和局限性,目前脑机接口整体仍处于发展早期。
近年来在数字技术尤其AI不断突破的加持下,加上生物相容性电极、小型化设计与集成、微创植入、多模式传感器等关键技术进展,脑机接口呈现出加速发展的趋势。预计医疗、军事、教育、混合现实交互、类脑智能等领域将发挥重点带动作用,全球商用市场将以17%的年平均增长率到2030年突破60亿美元。从长远看,脑机接口的意义更为重大,是人类应对人工智能威胁、减弱老龄化社会冲击、探索人类本质等重大问题,构建人机和谐社会的重要路径之一。
医疗领域是脑机接口未来发展的首要牵引,占据约60%市场份额,预计未来十年保持领先。脑机接口与医疗的结合应用展现出广阔的前景,能帮助开发更好的诊疗和康复手段,并加速神经科学和临床神经医学研究。重点应用方向包括:
神经调节:神经发育障碍和退行性导致的疑难疾病,脑机接口可实现精准监测、分析和干预。如脑深部刺激技术,正加速应用于癫痫和帕金森病治疗。对于学习障碍和自闭症等,基于脑电反馈的及时干预有显著应用潜能,如集中注意力、提升阅读效率。
运动恢复:通过捕捉大脑的运动意图并转换为控制信号,脑机接口可以帮助肢体受损或瘫痪人员恢复部分自主运动能力。如瑞士洛桑联邦理工大学成功让脊髓受损患者恢复行走能力,Neuralink以颈脊髓损伤等患者为临床试验重点对象。
感官补偿:脑机接口还能针对感官缺陷或损伤患者,解码大脑信息并实现感官补偿。目前助听方面已发挥重要作用,并向语音、视觉等拓展。如锁定综合征和渐冻症会导致失语,患者借助脑机接口能控制光标、文字生成、语音合成等,与外界重建交流。如加州大学成功将大脑信号转换成合成语音,帮助中风失语女性以高达80字/分钟的速度再“说话”。
未来,脑机接口可望向神经系统相关的疾病治疗、人体增强等多样化的场景深化应用。研发重点和难点之一涉及大脑记忆和意识的疾病,如阿尔茨海默症,利用脑机接口实时监测和干预可能加速病理研究和诊疗手段开发,并支持对人类大脑原理的研究。
新一代XR设备的兴起,激发人机交互模式的演进需求,驱动脑机接口的融合发展。脑机接口可以实现更直接的脑电交互,结合XR等的视觉、手势、语音等交互,能够提供更为丰富、自然的交互方式。近期突出的市场创新进展有:
肌电交互:Meta正在研发一款具有革命性的交互腕带,基于EMG(肌电图)读取用户手臂神经信号,可以在手指运动发生前就定位跟踪,甚至能感知极微小的手势,能用于隔空操控鼠标、打字、玩游戏等。
眼动交互:苹果正式发布头显Vision Pro,提出空间计算并展现出惊艳的虚实交互体验。其中暗藏了眼动交互功能,如通过监测瞳孔变化预测用户行为从而实时重建UI,使得个性化交互更便捷、流畅。
脑电+XR多重交互:OpenBCI与Varjo合作开发出Galea BCI设备,成功把包含多种传感器的非侵入式脑机接口系统和混合现实系统整合一体,创造出能进行多重体验交互的新型软硬件平台,如让残疾人能更精准脑控无人机。
未来在商业及生活服务方面,脑机接口与XR等结合适用领域会十分广泛,如娱乐、社交、身份识别、疲劳干预、个性化学习等。这类脑机技术多采用非植入式,更加安全便捷、更易被大众接受,更有可能形成消费级应用从而加速脑机接口普及。
生成式AI爆发带来潜在威胁,提高了脑机接口发展的必要性。脑机接口有望架设人脑与数字体、机器等的高速连接,增强人脑能力避免被直接替代,同时促进更安全、高效的AI发展。类脑智能成为重点发展方向之一,主要有两方面:
提高大脑解读能力:AI大模型等技术的加速突破,能支持更高效处理脑机接口采集的大量脑信号,提升对大脑文字、影像等信息解码与重建效率,促进大脑信息处理机制等的基础研究。如大阪大学研究团队基于扩散模型,成功重建通过功能近红外光谱(fMRI)获得的人脑活动图像。
促进类脑计算发展:脑机接口促进脑数据采集和脑科学研究,能反过来支持类脑计算的框架、算法、芯片等技术创新,跳出冯-诺伊曼计算结构局限,推动更低功耗、高效率、可信可控的AI发展。如IBM推出类脑芯片原型NorthPole,相比传统CPU大幅提升能效25倍。
未来随着脑机接口和AI结合的进一步深入,长期有望促成新的类脑计算结构体系、赛博格(人机融合体)、脑联网等的发展突破,降低AI风险、促进人机和谐共生。
任命章雄同志为上海市人民政府办公厅主任。任命周亚明、张英同志为上海市人民政府副秘书长;免去庄木弟同志的上海市人民政府副秘书长职务。
据美媒报道,美国洛杉矶骚乱仍在继续,6月9日,美国前众议院议长佩洛西发文抨击称,特朗普政府在加州的行动升级和挑衅加剧了紧张局势,煽动了暴力。
斥资11亿元由五星酒店改成的高端妇产医院开业6年后破产重整! (每日经济新闻)
近日,央视罕见公布镇国神器东风-5洲际导弹具体参数,引发全网强烈关注!(剪辑:鲲鹏)
中国海军双航母编队赴远海域开展实战化训练,检验部队远海防卫和联合作战能力。(剪辑:鲲鹏)
当地时间10日,央视记者获悉,美国加利福尼亚州一名联邦法官当天驳回了加州请求法院立即阻止特朗普政府动用美军和加州国民警卫队在该州各社区参与执法活动的临时限制令动议,但决定于12日就此动议举行听证会。
女生高考后独自挑着行李离校引热议 其所在中学回应:成绩出来前不想影响到她
大皖新闻讯 近日,一位女生高考完独自挑着行李回家的视频受到广泛关注。视频中,一位戴眼镜的女生背着书包、拿着行李,肩膀上扛着木棍挑起两个行李包,步伐坚定,眼神直视前方。网民拍摄视频截图有网民评论称,没有鲜花、没有拥抱,却是无数高考学子的日常。
来源:【四川新闻网】考场外翘首以盼的“陪考大军”四川新闻网 - 首屏新闻记者 周琼 邱可欣 摄影报道6月9日下午,随着最后一堂考试结束铃声响起,四川省首届新高考正式落下帷幕。考场外,翘首以盼的家长们化身“陪考大军”,抱着鲜花和横幅,默默等待孩子们胜利归来。
云南曲靖“恒达煤矿3人遇难事故调查”公布:县长等12名公职人员被建议问责
近日,国家矿山安全监察局云南局公布了去年12月20日云南曲靖市富源县恒达煤业有限公司恒达煤矿煤仓溃仓致3人遇难的事故调查报告。