我们尝试让画画AI成为负责插画的新同事
如果有更好的建议或者想看更多关于综合百科技术大全及相关资讯,可以多多关注茶馆百科网。

随着讨论热度的逐渐消退,这段时间关于“AI绘画”的话题似乎也逐渐停止了兴风作浪,但不少游戏公司已经悄然将AI绘画加入到自己的工作流程中。在探索AI绘画工具的浪潮中,作为绘画领域的一群业余爱好者,触乐也已经迈出了第一步。在朱佳音老师的指导下,我们正在尝试使用AI绘画工具生成文章所需的插图。
文章插图的版权问题对于大多数用户来说是一个很大的隐患,在开源或者有版权的图片网站上为文章找到贴合主题的插图并不容易。AI绘画似乎是个不错的选择。——在我们的想象中,通过给AI提供几个描述或者关键词,AI就可以“读懂并画出”我们想要的图片。真的这么简单吗?为了实现“让AI帮我们画插图”的目标,最大程度的解放劳动力,我们做了一些尝试。
画风、付费、本地化?
为了生成具有相应风格的插图,第一步当然是选择合适的模型。AI绘画的模型进化进度在最近半年突飞猛进。国内外主流模式有五六种,各种风格化模式百花齐放。然而,要找到一个适合生成文章插图的模型并不容易。有的模型是开源的,有的需要付费才能使用,有的游走在法律的灰色地带,被破解后偷偷下载.
无论哪种方式,你都必须尝试一下。最后,我们选择了四种模型作为备选方案:稳定扩散模型;开源后支持本地部署,曾被称为“最强绘画AI”;DALL E;老牌AI研究团队OpenAI旗下最早的图像生成AI之一;中途;设置在Discord通道中,不断更新模型;最后,支持日本绘画风格的NovelAI本地部署版本。
首先必须说明,虽然AI绘画的版权问题还不清楚,但“本地部署版NovelAI”一定是最不靠谱的一个。——没有提到图片库的版权问题,模型来源本身就行走在法律的灰色地带。相比之下,本地部署的稳定扩散要“合理”得多。自从StableDiffusion宣布开源后,StableDiffusion的新旧版本都可以在GitHub上下载。在本地设置好之后,可以借助WebUI工具直观地调整生成图片的参数和图片预览。
然而,天下没有免费的午餐。——虽然开源的行为已经接近于“往嘴里送午餐”,但是运行程序也需要足够的计算能力。几年前配置还不错的GeForceRTX2060显卡,现在有些力不从心了。有人用StableDiffusion模型统计过不同显卡生成512512大小的图像所需的时间。2060显卡需要17秒,3080需要7秒。——不一定足够准确,但也有参考价值。
3080耗时不到2060的一半。
当然,在实际使用中,你会意识到17秒只是理想情况。随着迭代步数的增加、帧数的调整和生成图像数量的增加,生成图像所需的时间几乎呈指数级增长。最合理的办法是生成一张512大小的图片,然后通过图像放大算法放大。即便如此,当你不断增加迭代步数时,你可能会面临内存溢出的风险。更直观的感受是,图片生成过程中,电脑风扇的声音几乎没有停止过。
相比之下,另外两幅付费画AI——DALL E和Midjourney对电脑显卡友好得多。它们的图像生成不需要你紧张地监控显卡的温度,防止它烧坏。只需向他们的服务器发送相应的描述符,服务器就会吐出一组图片供用户选择。只是相应的,每次占用服务器资源生成图片,都需要消耗一定的积分。起初,你可以免费试用。在试用完每个账户的免费额度后,必须充值该账户的积分才能继续生成。
一般来说,用一组关键词生成四个512512的图,大约需要1个积分。每幅画AI的积分定价略有不同。——DALL E的付费积分相对要贵一些,大概是15美元115积分,相当于1元人民币产生一次人民币。Midjourney提供每月约200张图片的套餐,每月10美元,便宜很多。
无论是DALL E、Midjourney还是StableDiffusion,最重要的当然是图像生成的质量。我们使用了几组不同的关键词来测试AI的性能。
描述与关键词
在插画方面,朱佳音更喜欢手绘杂志插画风格,而不是精致的3D建模图片或接近照片的写实图片。但是在风格的描述上有很多麻烦:如何告诉AI我们需要什么?
起初,我们试图通过杂志的标题来描述杂志的插图风格:例如,在关键词中添加《纽约客》(纽约客)。问题随之而来:即使是同一本杂志,插画风格也不统一。在这一点上,自由稳定扩散为我们提供了大量的试错案例。即使你加上“手绘”、“不含糊”等关键词,加上艺术家的名字,绘画AI还是不太明白你真正想要的是什么,一次只能给你带来几张不同风格的图片供你选择。你可以看到这些风格确实出现在杂志上。至于能不能找到自己想要的,还得靠运气。
当指定范围较宽时,StableDiffusion会一次生成多张不同风格的图片。
知道一个具体画风的名字并不容易。大多数情况下,我们想了半天也只能得出“手绘”或者“水彩”这样的笼统描述。幸运的是,我们找到了搜索引擎Lexica。
,网站上整理了不少描述词与生成图片的案例,可以通过文字或是图片搜索找到你想要的词汇。Lexica上可以搜索到其他用户分享的案例
不过,Lexica也并非百试百灵。一方面,如果你瞄准的是不那么大众的艺术家,尝试生成对应风格图片的用户不多,能提供的例子也十分有限。另一方面,AI生成图片的过程伴随不小的随机性,用户上传的图片与关键词不是每次都足够准确——上传的例图看起来不错,实际生成时怎么也跑不出类似的图片更是常态。
StableDiffusion的问题在这里也渐渐显露:模型在生成真实照片风格或是细腻的原画风格上可谓一骑绝尘,特别是更新后的StableDiffusion2.1版本,生成的照片风格图像几乎可以以假乱真。但相对应的,当涉及相对平面的艺术风格时,想要生成出合适的图片,需要做出不少尝试。
StableDiffusion在生成真实照片风格的图片上做得相当好
生成平面风格的图像,则需要更多尝试
当然,描述词带来的门槛也是问题之一——任何人在生成图片的过程中,不断调整、修正并找到合适的关键词同样需要时间。从这一点上来说,StableDiffusion对零基础使用者并非那么友好。如果不细致调整关键词,直接用自然语言描述想要的图片,可能需要生成不少图片才能获得一张令人满意的图像。例如,我们描述了一个具体的场景:“一个女孩在堆满了杂物的办公桌前,桌上的外卖袋和泡面摞得很高,墙上有个日历,日历上‘发售日’后面的数字被红笔划掉了好几道。女孩抱着头,显得非常痛苦。”
直接将这一整段描述塞给StableDiffusion之后,它展现出了前所未有的疑惑。
如果描述不太准确,StableDiffsion生成的图片并不总能令人满意
相比起来,付费的DALL·E与Midjourney模型在经历了不断的迭代与调整之后,生成无法使用的“废图”的概率要低得多。在Midjourney中使用同一组关键词,只需要一个简单的关键词“byYukoShimizu”来指定画风,便可得到表现相当不错的结果。
可以看出,Midjourney正确理解了“外卖盒”,但对于“痛苦的”(Painful)的理解则有些奇怪
DALL·E对画风的理解不太到位,却正确理解了描述的内容。在数个模型中,DALL·E描绘的人物情感可谓惟妙惟肖。
DALL·E将“痛苦”与“双手抱头”联系了起来
在生成文章插图的需求当中,如果考虑实际投入使用,付费的DALL·E与Midjourney看起来确实是更好的选择。在风格化插画方面,Midjourney的表现又更胜一筹。只需要几个关于绘画风格或作者的关键词,Midjourney就能很快“理解”你想要的究竟是什么。
美式漫画与故事板风格
版权,与接下来的麻烦
显而易见,目前已经有一些绘画AI投入商业运营了,它的用户中也有一些要将AI生成的图片投入商业使用。既然如此,版权自然是个绕不过去的话题。在这一点上,由于AI绘画领域的发展速度实在太快,总体上,相关的法律法规都没来得及跟上。目前,大部分AI绘画模型的版权条款都秉承着“撒手掌柜”的风格。Midjourney与StableDiffusion都明确表示,生成图片的版权将归于生成者所有,但同时也这样指出:请勿尝试创建涉及色情、歧视等可能对他人造成伤害的图像。如若引起争议,一切职责与平台无关,由争议双方自行解决。
判定内容是否合法,最后还是落在了具体的作品上。如果是已经不再受到版权法保护的画家作品(一般是画家去世50年以后),模仿他们的风格进行再次创作当然没有问题。如果要模仿仍受版权法保护的现代画家们,便要好好斟酌尺度才行。
StableDiffusion生成的梵高风格画作
尽管在大多数情况下,AI绘画并不能完美地生成你所想要的单一风格,看起来更像是多种风格的杂糅,但如果针对某种风格或某一位画师的作品进行训练,AI生成的作品难免会出现跟模仿对象过于相似的问题。在这一点上,主流的几个大型模型其实都“做得不错”:即便指定了作者,在DALL·E或Midjourney中,也很难做到和作者画得一模一样。
值得再次强调的是,在最近短短半年的时间里,AI绘画模型的进化速度可谓突飞猛进,但法律法规还没能赶上这个速度,目前国际上仍不存在对应的法律法规用以规范AI绘画的版权问题。AI图像的商业使用仍旧存在一定的风险——当我们向AI绘画平台付费后,平台是否应当为训练所使用的网络图片集付费?
个人使用者面对的问题相对简单,只要AI绘画平台不倒打一耙,突然宣称版权不归属于生成者,一般来说在版权上不会出现什么幺蛾子,尤其是个人非商业的使用,并无太大风险。对借助AI工具辅助工作的美术工作者们来说,另一方面的问题是,AI生成图像并不一定能被所有受众接受。几天前,某款移动端游戏的宣传图片便被怀疑是借助AI工具进行了辅助绘画——背景中的金属部件很明显“不像是人画的”。这件事在玩家间激起了一阵波澜——一些玩家对此十分失望,在他们看来,“AI绘画”似乎天然与“廉价”“不认真”等描述挂钩。
这件事并不是个例,不少游戏开发者透露,他们已将AI绘画加入自己的工作流,却不敢将这个事实公之于众。但从另一个角度出发,如果将AI绘画作为辅助工具,排除训练库版权上的隐患问题,它与Blender、Enscape等3D辅助软件的差别在哪里?如果将AI绘画作为图片素材库,它与Unsplash等无版权素材库得到的结果又有多大的差别?
无论如何,现在的AI绘画模型确实还不太成熟,但你可以直观地感受到技术的快速进步——说不定过不了多久,我们真的会使用AI生成插图,那会是更逼真、更像是人画的插图,到那时,不知各位读者是否能发现呢?
Midjourney生成的“手握柯基与蘸酱薯片的教皇”,看起来真是有模有样
(本文题图均由绘画AIMidjourney生成。)
本文主要介绍了关于我们尝试让画画AI成为负责插画的新同事的相关养殖或种植技术,综合百科栏目还介绍了该行业生产经营方式及经营管理,关注综合百科发展动向,注重系统性、科学性、实用性和先进性,内容全面新颖、重点突出、通俗易懂,全面给您讲解综合百科技术怎么管理的要点,是您综合百科致富的点金石。
以上文章来自互联网,不代表本人立场,如需删除,请注明该网址:http://23.234.50.4:8411/article/305594.html