当地时间5月6日,全球知名人工智能研究公司OpenAI 发布了最新开源项目Shap-E,目前在Github上已经突破了2000颗星。
开源地址:https://github.com/openai/shap-e
Shap-E亮点何在?Shap-E采用了3D模型领域创新的隐式神经表示(INR),支持神经辐射场 (NeRF)和纹理网格(DMTet)两种方法。因此,它突破了传统的局限性,可以直接生成隐式函数,更好的捕捉细粒度的形状和纹理,从而更准确、快速地生成3D模型。
早在去年12月份,OpenAI就开源了另一款模型——Point-E。Point-E和Shap-E的工作原理相似,都是通过文本生成3D模型。但是,Point-E在生成效果、工作效率方面要比Shap-E差很多。所以,Shap-E也被很多人称为是“Point-E增强版”。
Shap-E之所有能比Point-E更胜一筹,归根到底是因为使用了NeRF的原因。NeRF是Shap-E的核心技术之一,这一点也在OpenAI发布的论文中得到了佐证。那么什么是NeRF?
2020年,谷歌高级研究科学家Jon Barron开发出NeRF。NeRF是一种用于三维场景重建的深度学习方法。NeRF可以通过学习2D照片生成3D场景,同时兼顾物体表面的颜色和光照,以便可以从任意视角生成高质量的渲染3D模型。相比传统的基于几何的重建方法,在生成3D模型的过程中,NeRF在处理复杂光照、遮挡和反射等问题时表现出更强的性能。
2022年3月,在NeRF的基础之上,美国人工智能计算公司NVIDIA推出了Instant NeRF。Instant NeRF有效解决了NeRF训练、生成模型慢等问题,训练效率提升了1000倍,只需几秒钟就能训练几十张静态图片,在几十毫秒内就能生成3D场景。
Shap-E随之吸取了Instant NeRF的优势,在模型训练方法上分为两个阶段进行。首先,通过训练基于 Transformer的编码器来生成3D资源的INR参数。其次,在编码器的输出上训练扩散模型,可同时生成代表NeRF和纹理网格的INR允许它们以多种方式呈现。
OpenAI给出了几个通过Shap-E生成的实际案例,例如,一架看起来像香蕉的飞机、一只绿色的靴子、一架宇宙飞船、一只企鹅、一碗蔬菜等,都精准、快速地生成了3D模型。不过细节方面还是略显粗糙,有很大的优化空间。
像是Shap-E这样能够高效生成3D模型的人工智能模型,未来在各行业的应用将是非常广泛的,例如影视制作、游戏开发、3D打印、工业设计、VR/AR等。Point-E和Shap-E的连续出现,也让很多人猜测OpenAI是否在为GPT-5做准备?GPT-5是否可以直接生成3D模型?OpenAI官方现在还没有公布更多消息,本站也将持续关注!
AI俱乐部,致力于打造最专业的AI交流社群。
星球将分享:
1、ChatGPT的使用方法,最新资讯,商业价。
2、邀请顶尖行业大佬,每周给大家发现一个商业落地案例。
3、组织星球小伙伴一起参与实战项目,亲身感受AI浪潮。
4、系列课程和训练营,手把手带着大家去实操ChatGPT。
5、一些副业思考、创业案例、落地案例分享。
6、最早期、专业的AI交流社群。探讨未来关于ChatGPT的机遇,帮助大家解决遇到的问题。
如果有小伙伴感兴趣的话,可以一起加入星球哦!