皇冠体育寻求亚洲战略合作伙伴,皇冠代理招募中,皇冠平台开放会员注册、充值、提现、电脑版下载、APP下载。

首页科技正文

免费足球贴士网:这套名叫「TECH」的AI不只能画画,只要输入文字就能做出流畅3D动画!

admin2022-11-227

免费足球贴士网www.hgbbs.vip)是国内最权威的足球赛事报道、预测平台。免费提供赛事直播,免费足球贴士,免费足球推介,免费专家贴士,免费足球推荐,最专业的足球心水网。

ADVERTISEMENT

让3D动画人物做一连串很平滑的动作,需要手动算绘多久? 

现在交给AI,输入几句话就能搞定(不同颜色代表不同动作): 看向地面并抓住高尔夫球杆,挥动球杆,小跑一段,蹲下。

在这之前,AI控制的3D人体模型基本只能「每次做一个动作」或「每次完成一项指令」,难以连续完成指令。 

现在,无需剪辑或编辑,只需按顺序输入几条命令,3D人物就能自动完成每一套动作,全程很平滑的完成没有停顿。 

这个新AI的名字叫TEACH,由马普所和古斯塔夫·艾菲尔大学所开发。

网友们开始发挥各种想像开: 

这样以后拍3D动画电影,是不是只用剧本就能搞定了? 显然,游戏和模拟行业可以考虑一下了。

More grist to the mill in the 「text-to-graphic output」 world… impressive stuff.

Gaming and simulations an obvious application. I’m not going say the metaverse word… https://t.co/65iZEcjdf1

— Chris McKibbin (@ChrisMcKibbin) September 13, 2022 

那么,这样的3D人物动作神器是怎么来的呢? 

用编码器「记住」前一个动作

TEACH的架构,基于团队不久前提出的另一个3D人体运动产生框架TEMOS。 

TEMOS基于Transformer架构设计,利用人体真实运动资料进行训练。 

它在训练时会采用两个编码器,分别是动作编码器(Motion Encoder)和文本编码器(Text Encoder),同时透过动作解码器(Motion Decoder)输出。 

但在使用时,原本的动作编码器就会被「扔掉」、只保留文本编码器,这样模型直接输入文本后,就能输出对应的动作。 

与其他输入单一文本、输出确定性动作的AI不同,TEMOS能透过单一文本,产生多种不同的人体运动。 

例如「人绕圈」和「站着走几步路停下来」这种单一指令,就能产生好几种不同的运动方式:

转圈方式、走路步幅都不一样

TEACH的架构正是基于TEMOS设计,动作编码器直接就从TEMOS那儿移植过来。 

但TEACH重新设计了文本编码器,其中包括一个名叫Past Encoder的编码器,它会在产生每一个动作时,提供前一个动作的上下文,以增加动作与动作之间的连贯性。

如果是一系列指令中的第一个动作,就禁用Past Encoder,毕竟没有前一个动作可以学了。 

TEACH在BABEL资料集上进行训练,这是一个时长43小时的动作捕捉资料集,包含过渡动作、整体抽象动作、以及每一格的具体动作。 

,

lô đề là gì(www.84vng.com):lô đề là gì(www.84vng.com) cổng Chơi tài xỉu uy tín nhất việt nam。lô đề là gì(www.84vng.com)game tài Xỉu lô đề là gì online công bằng nhất,lô đề là gì(www.84vng.com)cổng game không thể dự đoán can thiệp,mở thưởng bằng blockchain ,đảm bảo kết quả công bằng.

,

在训练时,BABEL的这一系列动作捕捉资料会被切分成很多个子集,每个子集中包含一些过渡动作,让TEACH能学会过渡并输出。 

至于为什么不用另一个资料集KIT进行训练,作者们也给出了自己的看法。 

例如在动词类型上,BABEL出现要比KIT更具体,相比之下KIT更喜欢用do/perform这种「模糊的」词汇。

研究人员将TEACH与TEMOS就连续动作产生效果进行了对比。 

比TEMOS效果更好

先来看看TEACH产生一系列动作的效果,连续不重复:

随后,研究人员将TEMOS与TEACH进行了对比。 

他们使用两种方法对TEMOS模型进行了训练,并分别将它们称之为Independent和Joint,区别在于训练用的资料上。 

其中,Independent直接用单个动作训练,在产生时将前后两个动作用对齐、球面线性插值等方式融合在一起;Joint直接用动作对和分隔开的语言标签作为输入。 

Slerp是一种线性插值运算,主要用于在两个表示旋转的四元数之间平滑插值,让变换过程看起来更流畅。

 

以产生「挥挥右手,举起左手」连续两个动作为例。 

Independent的表现效果最差,人物当场坐下了;Joint效果好一点,但人物并没有举起左手;效果最好的是TEACH,在挥动右手后又举起了左手,最后才放下。

在BABEL资料集上测试表明,TEACH的产生误差是最低的,除此之外Independent和Joint的表现都不太好。 

研究人员还测了测使用上一个动作的最佳格数,发现当使用前一个动作的5格时,产生的过渡动作效果最好。 

作者介绍

Nikos Athanasiou,马普所在读研究生,研究方向是多模态AI,喜欢探索人类行动和语言背后的关系。Mathis Petrovich,在古斯塔夫·艾菲尔大学(Université Gustave Eiffel)读博,同时也在马普所工作,研究方向是基于标签或文字说明产生真实的、多样化人体运动。

Michael J. Black,马克思·普朗克智慧系统研究所主任,如今谷歌学术上论文引用次数超过62,000次。Gül Varol,古斯塔夫·艾菲尔大学助理教授,研究方向是电脑视觉、视频特征学习、人体运动分析等。目前TEACH已经开源,有兴趣的人可以透过下方连结阅读更多资料。 

GitHub连结:

  • https://github.com/athn-nik/teach 

论文连结: 

  • TEACH: Temporal Action Composition for 3D Humans
  • TEMOS: Generating diverse human motions from textual descriptions
,

Telegram私人频道www.tel8.vip)是一个Telegram群组分享平台。Telegram私人频道导出包括Telegram私人频道、telegram群组索引、Telegram群组导航、新加坡telegram群组、telegram中文群组、telegram群组(其他)、Telegram 美国 群组、telegram群组爬虫、电报群 科学上网、小飞机 怎么 加 群、tg群等内容。Telegram私人频道为广大电报用户提供各种电报群组/电报频道/电报机器人导航服务。

网友评论

1条评论
  • 2022-11-22 00:11:02

    在大健康的时代背景下,随着近年来公共卫生事件频发,大众对健康日益重视,各医疗机构也加大了对优化医疗空间环境的关注。医疗照明作为其中一环,帮助提升医务人员工作效率,促进医患关系和谐,也成为当下医疗环境的构建亮点之一。这个肯定能出名

热门标签