什么是 PaintsTorch？

着色是赋予插画最耗时的任务之一，尤其是动画，必须对每一帧都进行着色。它需要亮度、着色和纹理方面的知识。掌握这些艺术对人类来说并不简单，几年前被认为对机器来说几乎是不可能的。

自动线稿着色对于计算机视觉来说是一项具有挑战性的任务，因为它不是唯一的解决方案问题，而且黑白线稿缺乏语义信息。

PaintsTorch 是一种 AI 驱动的自动着色器，给定一个动漫 Lineart 和颜色提示，它使用最先进的深度学习技术来生成高质量的插画。

?PaintsTorch 已在 2019 年伦敦 CVMP 会场发布，此工具不仅限于动漫艺术线条。

什么是深度学习？

深度学习是一种机器学习和人工智能 (AI)，它会模仿人类获取某些类型知识的方式。深度学习是数据科学的一个重要元素，其中包括统计和预测建模。

对于负责收集、分析和解释大量数据的数据科学家来说，是非常有益的；深度学习使这个过程更快更容易。

简而言之，可以将深度学习视为自动化预测分析的一种方式。传统的机器学习算法是线性的，而深度学习算法则以复杂性和抽象性不断增加的层次结构堆叠。

如何用深度学习着色

首先，我们需要一个数据集，包含非彩色图像和彩色图像的数据集。可以使用 Pix2Pix 创建映射，因此我们需要一个包含成对图像的数据集（非彩色图像和彩色图像应成对）。下面是一个对的例子。

如何从图像中提取线条

先进行扩张，然后进行除法：

se = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (6, 6))
bg = cv2.morphologyEx(img, cv2.MORPH_DILATE, se)
result = cv2.divide(img, bg, scale=255)

这种方法并不适用于所有图像，对于一些深色和颜色复杂的插图，提取结果不是很理想。

我们可以分别使用 U-Net 和 PatchGAN 作为生成器和鉴别器

Pix2Pix 模型是一个 GAN，或者更具体地说，它是一种条件 GAN (cGAN)。就像 GAN 一样，Pix2Pix 同时训练生成器和鉴别器。但是 Pix2Pix 生成器不是从潜在空间中获取样本，而是将图像作为输入。

在这个模型中，生成器将学习一个函数将非彩色图像 X 映射到彩色图像 Y。它会欺骗判别器，让判别器认为生成的图像是真实的并且来自目标域。同时，鉴别器将尝试学习一个函数来正确分类假图像和真实图像。

有关 Pix2Pix 模型详细代码的链接我会放到结尾

在训练中增加图像大小

最初，我用输入大小 256×256 训练了 Pix2Pix 模型。现在我简单地将其增加到 512×512，#训练 100 个 epoch 后的一些结果：

（从左到右：输入图像、输入颜色、真实情况、预测结果）

自定义颜色

上面的生成器仅使用任意颜色绘制输入图像。但是，如果我们想用特定颜色绘制艺术品的特定部分怎么办？我们能否为输入提供一些颜色指南，以便生成器知道如何用我们想要的颜色绘制图像？

OK 啦，我们必须在训练模型时在输入中包含颜色，以便它学习映射：非彩色图像 + 颜色→彩色图像。

但是我们如何创建颜色呢？好吧，根据论文的内容，我的想法是在随机位置的脱色图像（或新的单独图像）上绘制一些颜色点。然后我们用这些处理过的图像再次训练我们的模型。

首先将非彩色图像与其颜色图像连接起来，然后将它们输入我们的模型以训练它，就像之前所做的一样。

以下是 120 个 epochs 训练后的结果：

总结

使用 Pix2Pix 的着色结果很棒，但我认为不够好。未来有几个方面需要解决和加强：

• 颜色有时会泄漏到周围区域
• 需要创建更大更清晰的数据集
• 以更高的分辨率制作
• 试试其他模型架构

作为深度学习的初学者，我从这个内容中学到了很多东西，但我还是建议大家不用像我一样进行学习研究，可以直接在 github 下载 PaintsTorch 尝试。

这里猫老师，下次再见。

模型代码：pix2pix: Image-to-image translation with a conditional GAN

参考文献：PaintsTorch，动漫线条艺术着色工具

参考论文：Pix2Pix

参考论文：User-Guided Deep Anime Line Art Colorization with Conditional Adversarial Networks

参考论文：Interactive Anime Sketch Colorization with Style Consistency via a Deep Residual Neural Network

参考文献：User-Guided Deep Anime Line Art Colorization with Conditional Adversarial Networks