REALITY是日本聚逸株式会社（GREE, Inc.）旗下的全资子公司，其研究开发部门GREE VR Studio Laboratory今天公开了一段技术演示影像，展示元宇宙时代的虚拟演奏技术AI Fusion。
近年来，人们期望在三维空间中提高虚拟化身的表现力，以便在元宇宙中提供服务。虚拟化身技术是个人用户的表现力和实时动作生成技术的融合，这种技术的改进将扩大创作者经济的价值和可能性。
这次发布的视频，通过将元宇宙手机App“REALITY”中的虚拟化身和智能手机的面部识别以及“AI Fusion”技术相结合，实现了高度表现力且多变的音乐演奏。
图源：REALITY
视频中的原创歌曲《Tsuyuhanabi》专为此次实验编写（作词/作曲：菜那），系统基于该歌曲生成了正确演奏四种乐器——钢琴、吉他、贝司和架子鼓的手臂与手指动作。
视频展示出“AI Fusion”技术动态地融合了整个身体的运动和面部表情，使表演者能够在实时视频中自由地进行自然和高级的表演。唱歌时的面部表情是通过元宇宙手机App“REALITY”以及通用算法录制的，而全身动作则是在Crescent公司录制的。
利用这次开发的技术，将来有望实现在一个自由的空间里，只使用智能手机与其他用户同时以全身动作来进行歌唱和任意音乐的高级表演。
来源：PRTimes
