W3C

Web 中文兴趣组会议

2022年9月6日

题目:虚拟模特生成技术的实践与思考

讲者:何侵嵚(阿里巴巴)[演示文稿]

现场纪要

何侵嵚:

大家上午好,我是来自阿里巴巴人工智能治理与可持续发展实验室的何侵嵚。

[多媒体演示]首先看一下四张图片,有哪个是真人模特呢?其实四张图里的模特都是我们通过AI合成算法生成出来的模特,并不是真人。不知道大家有没有这样的感受,平时在上网有两个同样的商品图,但是有一个商品图有好看的模特图,但另一个商品只放了服装的平铺图,大家是不是更倾向于模特图更好的商品呢?对我自己来说,模特图好看的商品对我的吸引购买力更大。

正因为这个原因,商家用他们全部的力量尽他们最大的可能制造好看的模特图,提高商品的展示能力。

实际上,在现实情况中,对中小商家来说,使用模特图特别是请专业模特和摄影师拍摄成本很高,他们又担心自己当模特会导致隐私泄漏以及肖像权的问题,所以,有些商家就采用了盗图,盗取他人的图片作为自己的模特图进行上新。就是因为这样的情况引发了我们的思考,我们能不能通过现有的AI合成技术,给商家提供正向赋能的工具,帮助他们解决商品图上新的问题。

所以,经过一系列的调研,我们去了一些商家实地走访,例如浙江的童装拍摄基地和服装厂商基地,经过调研以后,我们总结出了他们商品上新的整体流程,设计了基于AI算法的虚拟模特塔玑,塔玑可以根据商家风格量身定制专属模特。而且模特是世界上独一无二的,不会和其他模特撞脸,它的好处是24小时在线,高颜值,不受时间地点的限制。我们可以根据商家的需求进行模特的定制,修改肤色和年龄,还可以为他们提供不同的搭配和多样化的姿态选择。

[多媒体演示]这里展示的是塔玑的使用流程,左边是商家需要上传的图片,需要拍照上传一张正面的服装图像,和一张反面的服装图像。上传之后,塔玑算法会给商家提供8张不同姿态的模特图。

商家只需要在我们平台上一键下载,就可以获得这个模特的穿衣效果图。

我们也注意到商家的外贸需求,因为疫情情况下,很多外国模特无法来国内拍摄,一些外国商家的需求非常紧急。因此,我们对算法进行了升级,可以对外贸商家提供外籍模特,比如我们对他们的妆容、容貌、肤色以及身体的特定特征进行修改,帮他们制作出针对性的外籍模特。

[多媒体演示]这里展示的是中小商家使用需外籍模特的案例。商家的商品图也在他们的店铺中进行了产品上新。

目前,我们对商家免费提供,他们只需要在塔玑注册,根据前面的要求上传图片,就可以获得虚拟模特的穿衣效果了。

现在童模的需求在市面上也广泛存在,童模并不是合法的职业,更多是兼职存在。童模还需要兼顾自己的学业发展,对孩子自身的成长并不是很有帮助,我们看到这样的情况,希望为童模发展贡献出自己的力量。我们和淘宝、天猫一些商家合作,制作出了针对性的童模。目前有balabala、阿迪达斯都使用了我们的童模产品。

通过一些调研和总结,我们的智能算法确实可以帮助商家实实在在的节约成本。用拍图来说,之前拍一张图的费用,除了要后期的制作费用之外,前面模特的费用、拍摄摄影师费用占大头,但是现在他们使用我们的产品,只需要上传平铺图就可以了,成本降低了90%,而且真正实现了只需要一个人、一部手机、一台电脑在一天之内就可以得到生成的模特图。

现在看一个视频,看看商家对使用我们产品的一些反馈[多媒体演示]。

除了在商品图上新场景之外,塔玑产品也尝试跨行业的多场景合作,比如线下的银泰百货,他们使用我们的塔玑服务进行了商品快速化。因为银泰使用的商品都是线下商场的,因为它们打造了一个APP“喵街”,不知道你们有没有用过?如果线下商品都请模特拍摄,上新到喵街上的成本非常高,所以他们借助我们的产品迅速实现了线下商品的线上数字化。

同时,像“犀牛智造”团队也使用塔玑进行推款、测款,降低成本。同时我们也和天猫男装等国际化场景进行合作,和他们一起建立商家使用虚拟模特的心智。

塔玑项目的价值主要体现在以下方面:首先,它是绿色低碳的。用这个产品给商家创造实实在在的价值,商家用我们产品,节省下来的费用可以帮助他们创造更好的产品,提升设计理念。同时,因为这个正向赋能的工具,也帮助平台减少了盗图现象的产生,增强了知识产权保护,这也符合我国数字经济创新的导向。

始于业务的深耕,精于技术创新。塔玑这个虚拟模特的算法,涵盖了18项AI渲染前沿算法,包括模特人脸合成算法、服装模特渲染算法、渲染及工程加速算法以及短视频和主播合成算法,基于这18项合成算法我们发表了5篇顶级会议论文和8项国家发明专利。

同时,我们也与业内顶级高校进行了合作,我们与北京服装学院共同探讨模特动图设备的研发。在国家网络安全周上,也作为知识产权保护案例才占,在国际顶级学术和科技峰会上,例如清华大学AI科技论坛等。在新媒体传播端,我们和一些商家进行合作,像安踏儿童、巴拉巴拉、Mini Peace等,“虚拟模特”的话题引起了3.4亿关注和3.8万讨论。塔玑在抖音上的宣传视频获得了65.3万的浏览。

我们的一些科技论坛以及合作视频也被媒体多方报道,比如B站、知乎、学习强国党员社区都有塔玑的身影。

除了在产品上新环节,现在我们正在尝试在多个环节推广服务,现在我们正在探索的多尺寸试衣、直播试衣,我们还制作了塔玑的虚拟试衣小程序,我们希望用多样化的设计满足商家多样化需求,更好完成这个产品。

因为现在虚拟模特生成技术发展很快,我们也在思考如何做好虚拟人的安全治理。[多媒体演示]左下角的图是我们通过深度算法合成的模特图,并进行了数字水印的加密,肉眼看上去和普通图片没有区别,但它有塔玑的密钥,通过这个技术虚拟模特图是完全可追溯、可召回的状态。

同时我们团队在深度伪造视频检测、深度伪造人脸检测上进行了探索,这两方面的探索都为我们对虚拟人的治理打下了坚实的基础。

未来的发展方向,我们是希望在更多的场景更好的完善塔玑产品。比如借助现在很火的数字可穿戴设备,和混合现实的生成技术,实现消费者实时试衣或者换装搭配的功能,最后实现商品数字化。

我们希望借助塔玑产品,引发更多创新思想。希望它作为星星之火,能激发出更多的创造性价值工作,为整个社会带来价值。

谢谢大家的聆听!

提问:大家好,我是子韬。回到何老师的一个问题,她问了如果我作为一个消费者,更愿意用平面图还是愿意用model的图?我愿意用平面图,因为我实在分辨不出到底是衣服好看还是模特长得好看。这是第一个问题。

提问:第二个问题,如果在场景上,我认为虚拟人发展作为虚拟模特的话,一定程度上是有必要的,但我认为不是感官直接带来的购买欲,而是能够让我有一种客观的参考。我可能不需要模特长得很好看,但是我很需要有不同身材、不同比例的模特,让我看看穿那个size,比如像T恤穿得是否好看,它是这样的方式,而不是刺激购买欲。

提问:刚才我想提的问题是关于虚拟人数据资产管理的问题,但是,现在好像已经有一些已有的研究,数据人一方面是作为数据资产,有一种数据版权在里面,我觉得如果进一步开展的话,它的法律法规以及数据资产是需要考虑的。

何侵嵚:非常感谢您的建议!针对您提出的问题,我想说现在我们团队已经在您刚才提到的多尺寸试衣上已经有一定的探索了。因为我们和天猫的一些商家合作,比如大码女装,我们最想做的是商家看到模特图,想象他们的商品穿在身上的成果,所以虚拟模特不是局限于好看的模特图,后续我们会在多尺寸试衣上做更多努力。

何侵嵚:在虚拟人的安全治理上,现在我们做的数字水印安全技术,为虚拟人的数字资产保护提供了很好的方法。因为现在很多虚拟生成的东西,比如网上很火的换脸技术,换脸之后并不知道是虚拟的还是现实的,是有一些损坏。现在我们团队研究的deep fink(音)技术对数字资产有一些保护,对数字资产有一些保护和召回。谢谢!


返回[会议总结页面]获取其他话题的会议纪要。

若您对上述内容有任何疑问或需进一步协助,请联系:讲者 何侵嵚 <heqqin29@163.com> 或会议主办方 W3C 北航总部 <team-beihang-events@w3.org>。