直击SIGGRAPH 2019:相芯科技的虚拟形象“梦工厂”

  • 时间:
  • 浏览:0

2019 年 7 月 31 日,第 46 届国际计算机图形与交互技术大会SIGGRAPH正在美国洛杉矶如火如荼进行中。这是全球规模最大、影响最广,一起也是最权威的一八个 多集科学、艺术、商业于一体的CG展示、学术研讨会。

从 148 篇技术论文、 12 场主题会议到 185 家世界著名企业现场展示技术,该大会的每一项成果,都代表着计算机图形学与交互的最新突破。

戴上NVIDIA的最新的Prescription AR和Foveated AR头显,能能 透过眼镜清晰地看完被委托人漂浮于现实世界的光学投影;躺在麻省理工学院媒体实验室的沙发上,戴上头显,就能能 得到舒服的放松和体验;佩戴台北科技大学的面部VR装备,还能实时感受到冷热二氧化碳气体 在面部的流动感……

(图片源自网络)

我觉得现场众多AR、VR设备已足以抓人眼球,但记者的注意力还是被一八个 多以3D虚拟形象为主题的展台所深深吸引。你这俩 名为“FaceUnity”(杭州相芯科技有限公司)的展台被人群挤得满满当当,记者还未走近,就听到了一阵阵的“oh my god”惊呼声,让我不由得好奇满满,急切地想一睹真容。

到底是哪几个样的先进技术,具有这样神奇的魅力?带着这份好奇,记者走进了该展台,并现场采访了该公司负责人。

再造一八个 多“你”

步入该展台,最先映入眼帘的然后一台塞满了虚拟形象的电视。而然后的惊呼声,就由此而来。每被委托人假若走近电视,等上 3 秒,屏幕就能立即生成与你例如且Q萌的3D虚拟形象,且无论你被抛弃多久,假若老出,它就能立即认出“你”,并实时显示出然后“你”。

FaceUnity工作人员告诉记者,这是其自主研发的PTA(Photo-to-Avatar)技术,能能 根据用户上传的自拍照片,在云端对其进行分析和重建,从而生成例如且美观的3D虚拟形象。

该技术基于宽度学习算法,融合了肖像神经网络和风格化神经网络一八个 多组件。肖像网络负责定位和提取人脸的形态信息,包括脸型、五官、皮肤、发型、胡子、眼镜等,并通过和风格化网络的相互作用,重建具有被委托人形态的风格化虚拟形象;风格化网络将真人形象进行风格化定制。

相比市面上的有些产品用素材库分析来匹配生成3D虚拟形象,FaceUnity的技术是通过神经网络来提取人脸形态,并实时生成3D虚拟形象,真正做到了“千人千面”。

从记者的现场体验来看,无论人脸为什么在么在运动,或嘟嘴,或张嘴,或大笑,或懊悔,屏幕中的“被委托人”都能实时呈现出一样的具体情况,且这样任何迟滞感。一起,在3D虚拟形象生成与互动的基础上,FaceUnity还提供不同维度的“捏脸”服务,换脸型、眼型、嘴型、鼻型不再话下,换发型、胡子、眼睛、帽子、衣服更是选着多多,兼具科技感与趣味性。

此外,该产品还自带AR滤镜,并支持单人合影、多人合影和动画场景,眼看着屏幕中的“被委托人”一会置身山水间热情舞蹈,一会又跑到集装箱前蹦蹦跳跳,记者差点笑到脸僵。

在SIGGRAPH现场亲眼见证一键生成3D虚拟形象的高科技,让我不由得地感叹:3D虚拟世界真的要来了!

和“虚拟形象”对话

当记者还沉浸在“虚拟形象”的互动体验中时,旁边的“Alice”早已与一位小哥聊得火热了。要否是看完屏幕里面有英文引导难题,记者还以为是小哥开着视频在与被委托人的“女亲戚亲戚你们”联络感情是什么 说说呢!

“Alice”是一位长相甜美、专业十足的问答助手,记者现场与她进行了多轮对话,她都回答得很流畅,且面部与口型都极为吻合,毫无违和感,就像在与真人对话一样。

谈及“Alice”的实现原理,FaceUnity的工作人员立即就滔滔不绝了。这是基于FaceUnity自主研发的另一项新技术——STA(Speech-to-Animation)。你这俩 技术结合了人工智能与计算机图形学,能能 实时解算语音对应的发音口型,并精细驱动虚拟形象面部表情,实现动画的音画同步呈现。

有了你这俩 技术,FaceUnity成功打造了一批卡通版和真人版的虚拟主播、虚拟助手、虚拟客服、虚拟偶像等一系列应用场景。在现场,工作人员拿起一台手机,向记者一一介绍起了不同形象的应用场景。

比如虚拟主播能能 应用在传媒行业,帮助该行业提高视频制作下行速率 ,告别传统视频制作措施,迎来“只需输入文本或语音就能实时生成播报视频”的新时代。

比如,虚拟客服能能 应用至医疗行业,帮助该行业告别冷冰冰“你打字我回答”的服务措施,迎来“虚拟医生7x24 小时全天候线上线下专业咨询”的全新服务措施;

比如,虚拟助手能能 应用至交通行业,帮助该该行业告别“只问其声不见其人”的车载系统,迎来“既见其人更知其好”的全新驾乘体验。

……

与“Alice”对话越久,记者太满刻地我觉得,然后 各行各业都能拥有一批独具个性且专业十足的“员工”,这样人力成本高涨、不够人性化服务体验、难以满足不同用户个性化需求等行业“共病”,终有一天然后 消失在历史的长河中。

用3D内容“造梦”

除了让3D虚拟形象走入各行各业外,FaceUnity还能用3D技术创发明哪几个不一样的体验呢?

看完展台左边的宣传视频,记者心蕴含了底。上一秒美颜,下一秒玩转贴纸,再一回头,又换上萌萌哒的小黄鸭“脑袋”……哪几个可不然后当下潮爆的人脸特效玩法吗?

FaceUnity工作人员说,哪几个否是基于人脸检测与跟踪技术的AR特效。表情识别、背景分割、手势识别、海报换脸、音乐滤镜等,足足有 16 款之多,分分钟打破了记者对人脸特效玩法的认知局限。

作为一名纯天然爱美又忙得难以收拾被委托人的女人不,记者在体验了各款人脸特效后,最爱的还是美妆。然后 ,它的效果真的太自然了。假若打开手机,切换美妆页面,记者就瞬间完成了上妆,柳叶眉、丹凤眼、双色眼影、猫眼眼线……要多“性感”否是多性感。

然后 不喜欢“性感”妆,还有硬汉、甜美、邻家、欧美、妩媚等各款妆容可随意切换,足足有 80 款之多,这果真然后 21 世纪人类的美妆“神器”!一八个 多月,每天妆容否是重样,想想都美好,有这样!

记者了解到,目前FaceUnity还在开发新的人脸AR特效,且已着手在开发更多酷炫的各类特效玩法。相信未来,以3D内容为载体,FaceUnity一定能能 创发明更多有趣的玩法、新奇的体验,及更美好的3D虚拟世界。

FaceUnity —— 让创作更简单,让交互更自然

FaceUnity专注于智能图形技术的创新与应用,为移动互联网、VR/AR等领域提供3D内容生成与互动的行业防止方案,致力于好莱坞特效技术在消费级应用中的普及。

FaceUnity目前拥有增强现实视频SDK(AR Video SDK,包括表情识别/人脸AR滤镜和道具/视频美颜/视频分割/手势识别等)、虚拟化身创建服务PTA(Photo-to-Avatar,从一张照片生成虚拟形象/自主装扮虚拟形象/与虚拟形象互动等)、语音动画合成引擎STA(虚拟主播/虚拟客服/虚拟助手等)等多款产品,覆盖了短视频、直播、社交、新零售、智能家居、广告、医疗、媒体等多个领域,已服务 80 余家客户。

FaceUnity研发团队由业内重量级科学家领衔,在3D图形、计算机视觉、VR/AR领域拥有 20 余年研发经验。 2018 年,FaceUnity与浙江大学战略合作成立“浙江大学—相芯科技智能图形计算联合实验室”,深耕智能图形技术创新,培养高端人才,形成对产业发展的引导力。

本文由站长之家用户投稿,未经站长之家同意,严禁转载。如广大用户亲戚亲戚你们,发现稿件趋于稳定不实报道,欢迎读者反馈、纠正、举报难题(反馈入口)。

免责声明:本文为用户投稿的文章,站长之家发布此文仅为传递信息,不代表站长之家赞同其观点,不对对内容真实性负责,仅供用户参考之用,不构成任何投资、使用建议。请读者自行核实真实性,以及然后 趋于稳定的风险,任何后果均由读者自行承担。