Ai可以做动画吗(怎么用AI画动画)

Ai可以做动画吗(怎么用AI画动画)

Ai可以做动画吗(怎么用AI画动画)

什么是 PaintsTorch?

着色是赋予插画最耗时的任务之一,尤其是动画,必须对每一帧都进行着色。它需要亮度、着色和纹理方面的知识。掌握这些艺术对人类来说并不简单,几年前被认为对机器来说几乎是不可能的。

自动线稿着色对于计算机视觉来说是一项具有挑战性的任务,因为它不是唯一的解决方案问题,而且黑白线稿缺乏语义信息。

PaintsTorch 是一种 AI 驱动的自动着色器,给定一个动漫 Lineart 和颜色提示,它使用最先进的深度学习技术来生成高质量的插画。

?PaintsTorch 已在 2019 年伦敦 CVMP 会场发布,此工具不仅限于动漫艺术线条。

Ai可以做动画吗(怎么用AI画动画)

什么是深度学习?

深度学习是一种机器学习和人工智能 (AI),它会模仿人类获取某些类型知识的方式。深度学习是数据科学的一个重要元素,其中包括统计和预测建模。

对于负责收集、分析和解释大量数据的数据科学家来说,是非常有益的;深度学习使这个过程更快更容易。

简而言之,可以将深度学习视为自动化预测分析的一种方式。传统的机器学习算法是线性的,而深度学习算法则以复杂性和抽象性不断增加的层次结构堆叠。

Ai可以做动画吗(怎么用AI画动画)

如何用深度学习着色

首先,我们需要一个数据集,包含非彩色图像和彩色图像的数据集。可以使用 Pix2Pix 创建映射,因此我们需要一个包含成对图像的数据集(非彩色图像和彩色图像应成对)。下面是一个对的例子。

Ai可以做动画吗(怎么用AI画动画)

如何从图像中提取线条

先进行扩张,然后进行除法:

se = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (6, 6))
bg = cv2.morphologyEx(img, cv2.MORPH_DILATE, se)
result = cv2.divide(img, bg, scale=255)

这种方法并不适用于所有图像,对于一些深色和颜色复杂的插图,提取结果不是很理想。

Ai可以做动画吗(怎么用AI画动画)

我们可以分别使用 U-Net 和 PatchGAN 作为生成器和鉴别器

Ai可以做动画吗(怎么用AI画动画)

Pix2Pix 模型是一个 GAN,或者更具体地说,它是一种条件 GAN (cGAN)。就像 GAN 一样,Pix2Pix 同时训练生成器和鉴别器。但是 Pix2Pix 生成器不是从潜在空间中获取样本,而是将图像作为输入。

在这个模型中,生成器将学习一个函数将非彩色图像 X 映射到彩色图像 Y。它会欺骗判别器,让判别器认为生成的图像是真实的并且来自目标域。同时,鉴别器将尝试学习一个函数来正确分类假图像和真实图像。

有关 Pix2Pix 模型详细代码的链接我会放到结尾

在训练中增加图像大小

最初,我用输入大小 256×256 训练了 Pix2Pix 模型。现在我简单地将其增加到 512×512,#训练 100 个 epoch 后的一些结果:

(从左到右:输入图像输入颜色真实情况预测结果

Ai可以做动画吗(怎么用AI画动画)

Ai可以做动画吗(怎么用AI画动画)

Ai可以做动画吗(怎么用AI画动画)

Ai可以做动画吗(怎么用AI画动画)

自定义颜色

上面的生成器仅使用任意颜色绘制输入图像。但是,如果我们想用特定颜色绘制艺术品的特定部分怎么办?我们能否为输入提供一些颜色指南,以便生成器知道如何用我们想要的颜色绘制图像?

OK 啦,我们必须在训练模型时在输入中包含颜色,以便它学习映射:非彩色图像 + 颜色→彩色图像。

但是我们如何创建颜色呢?好吧,根据论文的内容,我的想法是在随机位置的脱色图像(或新的单独图像)上绘制一些颜色点。然后我们用这些处理过的图像再次训练我们的模型。

Ai可以做动画吗(怎么用AI画动画)

首先将非彩色图像与其颜色图像连接起来,然后将它们输入我们的模型以训练它,就像之前所做的一样。

以下是 120 个 epochs 训练后的结果:

Ai可以做动画吗(怎么用AI画动画)

Ai可以做动画吗(怎么用AI画动画)

总结

使用 Pix2Pix 的着色结果很棒,但我认为不够好。未来有几个方面需要解决和加强:

  • 颜色有时会泄漏到周围区域
  • 需要创建更大更清晰的数据集
  • 以更高的分辨率制作
  • 试试其他模型架构

作为深度学习的初学者,我从这个内容中学到了很多东西,但我还是建议大家不用像我一样进行学习研究,可以直接在 github 下载 PaintsTorch 尝试。

这里猫老师,下次再见。

模型代码:pix2pix: Image-to-image translation with a conditional GAN

参考文献:PaintsTorch,动漫线条艺术着色工具

参考论文:Pix2Pix

参考论文:User-Guided Deep Anime Line Art Colorization with Conditional Adversarial Networks

参考论文:Interactive Anime Sketch Colorization with Style Consistency via a Deep Residual Neural Network

参考文献:User-Guided Deep Anime Line Art Colorization with Conditional Adversarial Networks

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 sumchina520@foxmail.com 举报,一经查实,本站将立刻删除。
如若转载,请注明出处:https://www.dasum.com/41812.html