期刊名称：人工智能 创刊时间：2017年12月 主管单位：工业和信息化部 主办单位：中国电子信息产业发展研究院、赛迪工业和信息化研究院（集团）有限公司 刊期：双月刊 国内统一连续出版物号：CN 10-1530/TP 国际标准连续出版物号：ISSN 2096-5036 邮发代号：80-381 电话：010-88558766 email：aiview@ccidmedia.com
对现实世界的有效感知是计算机视觉的长期努力方向,也是当前以视觉为基础的下一代人机交互的重要基础。现代计算机视觉技术可以为日常对象成功地标识语义标签,并可以在大型复杂场景重建对应空间信息的稠密深度图。然而,针对视野内物理场景的同时语义和空间统一理解仍然是一个具有挑战性的问题,也成为服务并赋能视觉人机交互(XR)的下一代人工智能技术的核心里程碑。当前,我们正寻求一种对周围世界理解和数字重建的创新能力,其中比较有代表意义的新兴领域是基于深度神经网络的"语义及空间尺度协同感知"。本文总结了当前基于深度神经网络的"语义及空间尺度统一理解"的最新趋势,通过回顾当前基于成熟计算机视觉和机器学习所开展的稠密三维语义建图,以及如何借助深度神经网络技术发展推动的语义及空间尺度协同感知的创新实践,展示了这种新兴能力的潜在技术价值和可以预见的广阔创新空间。
自2016年VR元年以来,VR相关技术已经被广泛应用在影视传媒行业,并陆续受到多类大型国际电影节、电影电视类奖项的认可。获奖作品在地区上存在分布不均匀,影片内容原创比例较高,且优秀作品除了凸显VR技术本身的交互体验外,在主题上也呈现出多样化特征与浓厚的人文关怀。
随着软件技术和硬件设备的发展,将虚拟世界场景和真实世界融合起来的人机交互方式是一种非常核心的需求。因此,我们需要一套统一的虚实融合场景数据的描述方案,以保证不同设备间的视觉显示效果,从而提升交互体验。本文提出了虚实融合环境的统一描述语言,主要贡献包括:在X3D标准下提出了统一描述语言的扩展设计;构建了虚实融合环境统一语言解析器,支持跨平台解析描述语言文件;开发了基于实体组件系统(Entity Component System,ECS)架构、支持虚实融合环境解析与呈现的视觉交互系统。
点云压缩在沉浸式媒体、自动驾驶等领域有着广泛的应用前景。代表性算法有传统的基于几何、基于映射的编码技术等。随着人工智能在图像压缩、点云处理等课题上取得了巨大的成果,将人工智能应用于点云压缩是一个有潜力的研究方向。本文简要介绍了点云压缩的相关背景,并在此基础上介绍了人工智能在点云压缩中的研究现状,并展望了未来应用前景。
动作识别是计算机视觉领域的重要研究方向。在动作识别的研究中,可以用来识别动作类别的数据模式包括RGB数据、深度图像和骨骼点数据。不同的模态提供不同形式的信息,这些信息很有可能与其他信息互补。在此理论基础上,本文提出了一种基于运动能量的多模态信息互补网络模型架构。该网络同时利用RGB数据提供的丰富的外观特征信息和深度数据提供的深度信息,以及对亮度、观察角度鲁棒性的特点。通过两种模态的信息互补特性完成多模态的融合。此外,为了更好地对长范围时间结构建模,同时考虑到具有子动作共享现象的动作类别,采用了能量引导的视频分割方法。而在特征融合阶段,又提出了跨模态的十字融合方式,通过连接多个卷积层的特征图谱,使得卷积网络不仅在浅层中可以共享两个模态的局部特征,还可以在深层次的卷积层中获得全局特征的融合。最后,该模型在NTU-RGB+D数据集上证明了出色的性能。
基于视觉的人机交互技术通过捕捉识别身体语言为人们提供更加灵活便捷的交互方式,是人工智能与自然人机交互领域极具价值的研究内容。基于深度学习的三维人体姿态估计技术作为底层基础技术,对基于视觉的人机交互技术的快速发展与广泛应用起到了重要的推动作用。本文首先概述三维人体姿态估计技术的基本概念与主要挑战,并对不同方法进行分类,随后分别介绍使用RGB图像以及RGB-D图像进行三维姿态估计的深度学习技术,最后介绍这些技术的典型应用及未来的发展趋势展望。
增强现实(Augmented Reality,AR)是一种将虚拟信息与真实世界巧妙融合的技术。百度基于在计算机视觉、计算机图形学等人工智能技术领域的领先优势与海量数据处理能力,逐步构建了以人像感知、物理空间感知和虚实融合渲染等核心能力为基座的AR技术体系,聚焦虚拟形象生成与视觉定位与增强两大技术方向,致力于探索AR技术在营销文娱、智慧出行和智能工业等行业中的创新应用,并取得规模化的社会效益和经济效益。
2020年是5G商用元年。5G的逐步普及与人工智能的飞速发展,为基于视觉的下一代人机交互奠定了重要的基础。数字虚拟人是人机交互的一种重要渠道,作为数字虚拟人的核心技术之一,可操纵人像生成技术得到越来越多的关注。本文介绍了可操纵人像生成技术的发展状况,指出了其在工业界多个领域中的应用情况,分析了可操纵人像生成技术面临的挑战,并指出该技术的未来发展方向。
人机交互是自动驾驶技术中的重要问题。在目前众多人机交互解决方案中,视觉方案拥有自然高效、应用约束少等优势,发展潜力巨大,但同时也面临着计算能力不足和模糊性等潜在应用风险。我们认为,在发展基于视觉的人机交互时,应重点关注涉及的交通安全、网络安全、个人信息和运营等法律问题,平衡好效率与安全的关系。以此为基础,提出建立数据分级分类管理机制,设计执法互动程序及设备,选择法律风险较小的领域开展功能和业务试点等促进视觉人机交互规范发展的建议。
依托人工智能技术,网联自动驾驶车辆为乘客提供强大的人机交互系统,乘客可以通过该系统获取包括道路安全信息、娱乐应用等在内的多种信息。然而,自动驾驶车联网的网络开放性使得上述人机交互过程容易成为攻击者的目标,本文介绍了自动驾驶车联网中针对人机交互的攻击模式与相应解决方案,包括信息路由攻击、组件攻击和数据隐私攻击下的防护方案,旨在提升网联自动驾驶车辆的人机交互系统在未来使用的安全性。
5G网络带来了一些全新的架构和技术,如SBA、Massive MIMO、网络切片等,这些新技术的引入对网络的运营运维带来了新的挑战,采用人工智能技术实现网络智能化成为必然趋势。本文对网络智能化的相关课题做了全面综述。从智能化的定义及分级出发,提出了网络智能化的三层架构,总结三个层次上当前算法研究的主要方向及进展,并介绍了基于AI算法的网络节能实际应用案例。最后,总结了网络智能化面临的挑战及应对方案,并提出了实现路径的建议。