Sora到底懂不懂物理世界 Sora需要克服哪些物理难点
我要新鲜事2024-02-20 16:56:220阅
OpenAI所发布的文生视频模型Sora在最近几天受到全世界的关注。Keras之父Francois Chollet、图灵奖的得主Yann LeCun等众人针对Sora是不是物理引擎,甚至是不是世界模型展开了深入的探讨。Sora和以往的模型不同,以往的模型只能生成几秒钟的视频,而Sora却能够生成一段长达60秒钟的视频。不仅能够将用户在Prompt当中所提出的要求全部了解,还能够get到物、人在物理世界中的存在方式,以OpenAI所发布的海盗船在咖啡杯中的缠斗为例,Sora想要使生成的效果看起来更加逼真,需要克服多个物理难点。
比例和规模的适合
首先要将海盗船的尺寸进行缩小,让其能够在咖啡杯中缠斗,同时还要保持海盗船的结构和细节,这是一个相当大的挑战。AI需要充分的对这些需求进行理解,并且将这些对象在现实生活中的尺寸进行调整,这样才能够在视觉上给人带来合理的感觉。
流动动力学
咖啡杯中的咖啡对于海盗船的运动会产生一定的影响。AI模型可需要充分的将液体动力学的效果模拟出来,包括溅水、船只移动时液体的流动、以及波浪等,这些在计算方面是相当复杂的。
阴影和光线的处理
要使拍摄的场景看起来更加的真实,AI需要对光线如何照射在这个小型的场景当中进行精确的模拟,包括船只的阴影、透光效果、咖啡的反光等。
运动和动画的真实性
海盗船在咖啡杯中的运动需要与真实世界的物理规律相符合。也就是说AI需要考虑到船体结构在动态环境中的形、碰撞、浮力、重力等多种因素。
Sora所生成的视频效果虽然存在着一些瑕疵,但是已经非常的成功了。从中可以充分的体现出Sora是懂得一些物理的。英伟达的一位高级研究科学家甚至称Sora是一个使用数据驱动的物理引擎。这个模拟器可以学习,甚至表示Sora是世界模型。
0000
评论列表
共(0)条相关推荐
金星上可能存在生命,与地球完全不同(生命的伟大)
人类在地球上的足迹只有200万年,与其他生命相比,人类在地球上的生命相对较短。但人类已经找到了生存的密码,到达食物链的顶端,成为自然界的顶级捕食者。曾经,我们的祖先站在辽阔的草原上,望着浩瀚的宇宙和繁星。他们还在心里质疑,在浩瀚的恒星的一端,是否有像他们一样的人。我要新鲜事2023-05-17 12:01:30000206块钱的麻辣烫什么梗:网恋的代价(网恋只有6块钱麻辣烫)
6块钱麻辣烫是指曾经有一位女子到四川省成都,去会见自己网恋的男朋友。但是当时的这位男朋友显得非常的小气,只请这一位女子吃了一碗价值6元的麻辣烫。男子由于贪图女子的美色,随即把女子拉入酒店两人发生了多次性关系。等到女子回到家之后,内心感到非常的气愤,于是在当时的相关社交平台上通过6块钱麻辣烫这个故事表达内心的不满。一、6块钱的麻辣烫梗是怎么火起来的我要新鲜事2023-05-13 18:54:590002十二生肖里是没有鸡 那个位置是属于凤凰(鸡就是凤)
在十二生肖当中鸡代表的就是凤。鸡在六畜当中排在首位,这足以代表古人对肌是非常重视的。古代民间的老人们经常会说一句话就是宁做鸡头不做凤尾,这句话的意思也就是说在做某件事情的时候或者是工作的时候,不愿意以去做高层末尾的一员,还不如在较为低的层次里去做崭露头角的那一员。鸡与凤凰的关系我要新鲜事2023-05-22 06:48:180000北极熊难道真的要灭绝了吗?(冰川融化)
防止北极环境继续恶化,也是帮助了我们自己虽然北极熊可以依靠它们的能量储存来维持活动,但它们的能量储存并不是无限的,而且长时间的休眠会对北极熊种群的健康和生存产生影响。在一些北极熊种群中已经观察到食物短缺造成的变化。这些人口的健康状况较差,生殖率较低,生存率和数量也减少。如果海冰继续融化,北极熊种群的情况将变得更加可怕,灭绝将不再是危言耸听的场景。我要新鲜事2023-05-19 09:34:030000玉桂狗是什么意思:动漫形象(日本三丽鸥公司吉祥物角色)
最近抖音上有许多关于库洛米美乐蒂玉桂狗的音乐卡点视频,这些都是一些动漫中的可爱角色,之前也有一些动漫或其他角色的梗流传,比如说玛卡巴卡、玲娜贝儿这些形象,而最近玉桂狗的形象也非常火,那么玉桂狗是什么意思呢?接下来我们就一起去了解一下吧!玉桂狗是什么意思我要新鲜事2023-05-14 20:33:130000