开源模型FLUX.1问世,AI图像生成领域或将变天,Midjourney、DALL·E 3地位岌岌可危?

9个月前发布AI俱乐部
8 0 0
开源模型FLUX.1问世,AI图像生成领域或将变天,Midjourney、DALL·E 3地位岌岌可危?的封面图

在众多图像生成模型中,一款名为FLUX.1的新工具正引起业界的广泛关注。它不仅具备媲美Midjourney的出色图像生成能力,而且能够在一台消费级电脑上运行。与其他需要大量算力才能流畅运行的图像生成模型(如DALL·E3和Midjourney V6)不同,FLUX.1对硬件的要求相对较低,使得更多人可以体验到AI图像生成的乐趣。

我们需要深入了解FLUX.1的创新之处。该项目由Stability AI的前研究员Robin Rombach主导开发,他也是图像生成领域的重要人物。他此前的研究主要集中在优化图像生成模型的效率和可访问性。他曾参与VQGAN、Taming Transformers和Latent Diffusion等项目的研发,这些项目为Stable Diffusion等开源图像生成模型的诞生奠定了基础。可以说,Robin Rombach在AI图像生成领域扮演着关键角色。

在过去三年里,Robin一直在Stability AI默默耕耘。但就在不久前,他选择离开,并全身心投入到FLUX.1的开发中。值得一提的是,在项目启动之初,FLUX.1就获得了著名风投机构Andreessen Horowitz提供的320万美元天使轮融资。由此可见,FLUX.1的潜力和价值得到了业界的广泛认可。

那么,FLUX.1到底有哪些独特之处呢?它采用了Vision Transformer架构,并结合了前沿的图像处理技术,能够生成高质量、高分辨率的图像,同时还具备出色的细节还原能力和色彩表现。目前,FLUX.1提供了三种不同的运行模式:

  • Pro模式:提供API接口,便于进行图像生成集成。

  • Dev模式:允许用户自定义图像生成过程,是Pro模式的高级版本。

  • Schnell模式:侧重于快速图像生成,可以快速生成结果。

考虑到FLUX.1的运行效率,推荐使用Schnell模式。在该模式下,它可以在本地流畅运行,能够实现图像修复、图像编辑、风格迁移以及高清图像生成等功能。即使与Midjourney v6.0、DALL·E3 (HD)和SD3-Ultra等模型相比,也毫不逊色。此外,由于它是在本地运行,因此FLUX.1具有更高的安全性。

总而言之,AIbase相信这项开源技术的进步将带来更多可能性。以下是一些可以帮助你快速了解FLUX.1的关键信息:

安装和运行本地推理

重要提示:请务必安装最新版本的PyTorch。同时,强烈建议配置一个拥有足够显存的GPU环境,例如使用A100等高端GPU。

下载预训练模型

重要提示:图像质量;视频;音频;文本等相关资源。

安装依赖项

重要提示:务必确保安装了所有必要的依赖项,包括torch、transformers以及其他第三方库,以确保项目的顺利运行。

运行推理

AIbase提供了一些便捷的脚本和工具,可以帮助用户轻松地运行推理过程。此外,FLUX.1还提供了一系列详细的文档和示例,供用户参考。

总的来说,FLUX.1的出现降低了AI图像生成的技术门槛。对于希望在本地运行图像生成模型的用户来说,它是一个非常不错的选择。如果你想充分利用图像生成技术,可以像Sora、Gen-3、Luma等AI模型一样进行探索。

总而言之,在可访问性和AI创新方面,FLUX.1代表着一个重要的进步。Schnell模式能够支持本地图像生成,并集成了Comfyui的强大功能。如果你的设备配备了36GB以上的显存,就可以利用t5的fp16模式。请记住,t5xxlfp16.safetensors和clipl.safetensors是VAE模型的重要组成部分。

FLUX.1的最大亮点在于,它让更多人能够体验到AI图像生成技术的魅力,同时也在本地AI应用领域开辟了新的可能性。它的便捷性和可定制性,将推动AI图像生成技术的发展。我们有理由相信,在不久的将来,我们可以使用FLUX.1等AI工具,在本地创作出令人惊艳的AI作品,而无需依赖大型云服务器或专业设备。这无疑将极大地激发创新,并促进AI技术的普及。未来,我们或许能够见证更多基于本地AI的创新应用涌现,如同Midjourney一样,彻底颠覆我们对AI图像生成技术的认知。

项目地址:https://github.com/black-forest-labs/flux

在线演示:https://replicate.com/black-forest-labs/flux-pro

Comfyui工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/

快讯中提到的AI工具

AIbase
AIbase

智能匹配最适合您的AI产品和网站

PyTorch
PyTorch

深度学习领域的强大资源平台

Sora
Sora

OpenAI 开发的文本到视频生成模型

Stable Diffusion
Stable Diffusion

Stability AI旗下,引领生成式人工智能创新发展

Midjourney
Midjourney

开启 AI 绘画的奇幻之旅

© 版权声明:
本文地址:https://aidh.net/kuaixun/m4a0jdau

暂无评论

none
暂无评论...