T项目或者游戏中的建筑。 3D矢量风格动物 通过改变粗体内容,生成不同的矢量动物形象 kawaii low poly panda character, 3d isometric render, white background, ambient occlusion, unity engi 3D游戏风格房间 可改变粗体内容,生成不同的房间 Tiny cute isometric living room in a cutaway box, soft smooth lighting, soft colors, purple and blue color scheme, soft colors, 100mm lens, 3d blender render 通过以上案例我们可以看到,AIGC 可以在图片设计上辅助甚至取代画师,你可以创造出独一无二的艺术风格、角色,而不需要掌握绘画的技巧,这是生产力的极大进步。 模型训练 以上工作流使用的是开源的 Stable Diffusion 通用模型,它无法生成模型素材中不存在的东西,比如你无法让它生成一只无聊猿,模型本身也不知道什么是无聊猿,所以它存在局限性和时效性。为了解决以上提到的问题,我们可以训练自己的模型,将需要的素材都放进去,从而使模型输出内容符合我们的预期,这在 NFT 二创、扩展,GameFi 辅助设计等方面都有很大的应用潜力。 展示几张我训练的无聊猿模型二创成图效果,从左到右分别是蝙蝠侠风格,黏土风格,毕加索抽象风格和黄金材质: 当然也可以控制生成与原本项目图片相似度极高的图片,下列四张图片有两张原图,两张用无聊猿模型生成的图,几乎很难分辨,你可以猜一下,后面我会揭晓答案。 模型训练原理很简单,用自己提供的图片训练出一个专属模型,但是让普通人从零开始训练一个AIGC模型是很困难的,好在Stable Diffusion 给我们提供了一些比较简单的模型训练方法。 现在常用的技术方案有三种:Fine-Tuning、DreamBooth、Textual-Inversion 特性解释: Fine-Tuning -- 模型训练、原生框架 优点:功能最全,效果最好,prompt 控制精确,是优质精细模型的统一技术方案 缺点:训练复杂,硬件要求高,训练时间长,训练图片需要标记词 DreamBooth -- 模型训练、简易框架、添加特殊标识符 优点:训练简单、速度快、硬件要求相对低、不需要精确的图片标记词,能较好地生成不同风格的图片,开放模型最常用方案 缺点:受限于 [X][类别] 的表示方式,训练SD模型中不存在的类效果会差一些,整体出图质量低于Fine-Tune,模型文件:2-4G Textual-Inversion -- 新定义特征向量,不改变模型本身 优点:需要图片数量少:3-5张,训练文件小:几十KB 缺点:对于原SD中不存在的创新的物体、画风等出图效果不好,暂无商业用例 综合考虑成本与难度,新手推荐使用 DreamBooth 训练自己的模型,这里我给大家找了一个最简单的Colab版本,它可以使用谷歌免费的服务器训练模型并生成图片,前期需要处理的素材也最少。 训练模型之前,你需要训练使用的准备图片,初次尝试最好在10张左右,尺寸512*512,如果图片尺寸不合适可以使用 BIRME 等工具调整。 打开上面的链接,也就是:https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb 主页显示如下,这是一个即时更新的页面,它不会保存你的更改,你可以直接在这个页面使用,或者点击“文件”选择“在云端硬盘中保存一份副本”,打开副本页,这个页面会保存你的所有更改。 之后我们开始模型训练,首先点击第一行的运行按钮,连接Google云端硬盘,安装到gdrive。 运行完成后在按钮前面会出现绿色的对勾,右上角RAM/磁盘也出现绿色对勾,后面每段程序运行完成的标志都是这个小对勾。上一段程序运行结束后,点击下一段的按钮继续运行。 接下来安装依赖,下载模型 开始正式训练,首先为你的模型起个名字。 上传图片,点击运行后会出现“选择文件”按钮,选定图片后上传,我这里选择了八张 CloneX 的图片作为训练素材,并为它们命名为 CloneX1-8,这里对图片的命名不要与已有单词相同,它是对你训练素材的特殊标记。图片命名方式可以参考下图。 运行 Captions,并跳过 Concept images 开始训练,训练步数设置为图片数量*100,我是用了八张图片,这里选择 800,其他参数暂时不需要调整,等后面熟练掌握了模型训练方法再进行更精准的训练。 点击运行,出现以下界面表示训练开始,等待训练完成。这里有两个训练过程,一个是训练文字,一个是训练图片。 训练完成后直接运行测试模型,这里不需要调整参数。 程序运行完后会出现一个链接,点击打开到可以作图的 WebUI 界面。 WebUI 的主页如下,1处选择使用的模型,2处输入描述词,也就是你对想要输出图片的内容,3处输入负面描述词,也就是你不想要图片出现什么内容,3可以空着不填。填写完描述词后点击生成图片。 因为我们对图片的标记是CloneX,所以我们生成图片时前部分要指定主体,这里推荐固定句式“a picture of clonex with + ......”,with 后面加对图片的描述,每个描述词(短语)之间用逗号隔开。 简单测试,这里输入提示词“a picture of clonex with beautiful girl, red hair”,结果应该会出现一个红色头发的女生CloneX形象,效果如下图: 测试2,输入提示词:“a picture of clonex with beautiful girl, Long green hair, black coat, yellow eyes”也就是绿色长发、黑色外套、黄色眼镜的女CloneX,生成效果如下 从以上两个简单测试来看,用10张以内的素材图片训练的模型就可以很好的生成想要的图片,而且这些CloneX是原本不存在的,是你创造了它们!以后喂10张图给AI,它可以给你10,000张图,这是生产力质的提升。 我把这个训练的模型上传到了 Huggingface,有兴趣的朋友可以拿去玩,在训练过程中遇到什么问题也可以联系我。链接:https://huggingface.co/wheart/clonexnft 揭晓答案,无聊猿那四张图片,前两张是AI生成的,后面两张是原图。 现有AI+Web3项目简析 随着 AIGC 的兴起、ChatGPT 的爆火、微软对 AI 百亿投资等事件的铺垫,Crypto 很多 AI 项目也得到了更多的关注,诸如 AGIX 之类的 AI 概念 Token 都迎来了一波不错的涨幅。但是就目前这些 AI+Web3 的项目来看,我并没有发现真正有想象力的产品。这段时间受到关注的项目大都是很久之前的老项目,所以只能看作是版块轮动带动了它们,长线来看没有好的标的。如果后面出现基于新 AI 技术做的产品或许可以关注。 目前很多 Crypto 大佬,像 CZ、Vitalik 都对 AI 技术产生了兴趣,所以对于 AI+Web3 之后的发展,我个人认为还是值得期待的。 总结 综合来看,目前 AIGC 在 Web3 的应用还处于非常初级的阶段。现阶段利用好 AI 工具可以对项目的设计、开发、运营工作提供极大的便利,下一阶段肯定会出现更多优秀的产品,我们要做的就是学习、使用、分析、发现,比大部分人多走一步,不错过 AIWeb3 这趟车。 来源:金色财经lg...