机器之心专栏
作者：未来修建实验室
修建设计会常常遇到出夜景效果图的时分，日夜景的效果转化，描摹勾勒、烘托出图、后期加工...工序繁复。除了对制造东西的娴熟，更要害的是需依托经历判别修建明暗、光影和色彩等在白天和夜晚的不同状况。
近来，AI 修建研讨团队未来修建实验室运用之前一项深度学习效果，做到 10 秒内完结日夜景转化，让修建菜鸟也能快速具有合格效果图。
三步完成日夜景秒速转化
by 未来修建实验室
第一步，挑选一张日景图 S (source)；
第二步，再挑选一张目标的夜景图 R (reference)；
第三步，根据深度学习的色彩算法将在两张图片上对具有类似语义结构(sementic structures)的部分进行色彩搬迁，秒速生成一张新的图片 T（target）。它有着 S 的结构和内容，一起具有 R 的色彩风格(即R+S=T)。
中秋版Demo演示，by未来修建实验室
修建色彩搬迁黑科技简介：
Neural Color Transfer
Neural Color Transfer(下称 NCT)是根据语义信息的对应(correspondence)进行匹配和色彩的搬迁，NCT 运用了卷积神经网络来对图片提取特征以便于后续的匹配。在匹配完结后，NCT 运用了一个线性模型，在满意部分和全体一致性的状况下进行优化。
by 未来修建实验室
在匹配完结后，为了色彩搬迁在部分改变和全体上的一致性，NCT 运用了一个线性模型在一起满意部分和全体的束缚下进行优化。
输入的图片 S 和 R 同享许多语义上相关的(semantically-related)内容，一起在展现上又有很大的不同。
S 和 R 中都包括修建，但别离为日景和夜景。要在两张存在很大色差的图片上树立语义的对应是一个十分扎手的问题，尤其是传统的特征提取算法是无法有用的提取出图片的语义信息。
因而运用预练习好的深度学习模型来提取特征成为处理这个问题的有用途径, 这也契合搬迁学习(transfer learning)的思维：
“Transfer learning is a research problem in machine learning that focuses on storing knowledge gained while solving one problem and applying it to a different but related problem.”
(West, Jeremy; Ventura, Dan; Warnick, Sean (2007). "Spring Research Presentation: A Theoretical Foundation for Inductive Transfer")。
怎么做到日夜景秒速转化？
NCT选用经典图片分类的多层卷积神经网络(CNN)模型VGG19。
VGG19 是在 ImageNet 上，1000 个分类的合计约 120 万张图片上预练习的(http://image-net.org/challenges/LSVRC/2014/browse-synsets)。这个模型有十分强的泛用性，被遍及使用于图片特征提取。
跟着模型的层数由浅到深(下图从左到右)，VGG19 能够抽取从图片的初级细节(对色彩灵敏)到高档的语义信息(对色彩不灵敏)。
图片分类的多层卷积神经网络(CNN)模型 VGG19 结构图：(https:///help/deeplearning/ref/vgg19.html)
关于 S 和 R 两张图片，别离提取 VGG19 在 relu1_1, relu2_1, relu3_1, relu4_1 和 relu5_1 五个层的输出作为这两张图片在 5 个层级(L = 1, 2, 3, 4, 5)的特征图。
当处于某个层级L时，可经过 VGG19 提取出图片S和R对应的特征图FLS和FLR，对 S 和 R 树立映射。又经过运用概率进行快速匹配的 PatchMatch 算法(https://gfx.cs.princeton.edu/pubs/Barnes_2009_PAR/) ，别离树立了FLS到FLR的映射 LSR和FLR到FLS的映射 LRS。
PatchMatch 算法：
(http://vis.berkeley.edu/courses/cs294-69-fa11/wiki/images/1/18/05-PatchMatch.pdf)
但当 L>1 时，特征图的尺度小于原图，将导致映射联系发生改变。重构的图片在形状、同语义像素等方面添加额定的束缚后经过线性回归，可进行部分色彩搬迁，以处理丢掉部分原有一致性的问题。如尺度还小于原图，将选用快速导向滤波 Fast Guided Filter(https://arxiv.org/pdf/1505.00996.pdf) 尽可能完成对细节的保存。
by 未来修建实验室
怎么做到更细节化的体现效果？
前面也说到，VGG19 是一个泛用模型, 在某些状况下难以提取有用的语义信息，关于细部复原还有待提高。所以，针对 NCT 咱们进行了两方面的改善：1. 特征规范化；2. 添加特征维度。
1. 特征归一化(normalization)
图片 S 对应的特征图FLS形状为(高, 宽, 通道)，某种意义上，FLS的每个通道代表图片 S 的某一个特征。经过实践比照后发现，在每一个通道上像素值的改变规模呈现巨大差异，例如有的通道像素点取值规模在 [-500, +100]，有的只在 [-1, +1] 之间。
这可能会导致的状况：特征图FLS的某一通道提取出一种很重要的语义信息，但由于其改变规模过小，从而在 PatchMatch 过程中对成果的影响很小，导致并未在原图 S 和 R 上树立有用映射。
规范正态分布(Standard Normal Distribution)便是处理这个问题的办法之一，关于特征图的每一个通道进行如下操作：
z = (x - μ) / σ
x 为该通道每个像素的值
μ 是该通道一切像素的平均值
σ 为该通道一切像素值的规范差
2. 添加特征维度
为了更好地树立 S 和 R 之间的映射，添加额定特征也是一种有用办法。聚类和语义切割都是弥补图片特征的有用办法。
聚类
by未来修建实验室
S 为修建日景图，R 为修建夜景图，层级 L 为 1，聚类发生的簇的数量(number of clusters)为 3。
用FCLS和FCLR代替本来的FLS和FLR，且仅在 L = 1 时做一次搬迁的效果如下：
vs
by未来修建实验室
经过上面两组图的比照能够看到在参加聚类特征后，仅在最低的层级做一次色彩搬迁的效果要比本来从高到低在 5 个层级上做搬迁的效果还要好。
语义切割(semantic segmentation)
语义切割模型的效果办法和聚类类似，但它运用了语义切割模型的输出代替了聚类图CLS和CLR。咱们运用的语义切割模型为根据 MIT 的 ADE20K 数据集练习的 PSPNet 模型(https://github.com/Vladkryvoruchko/PSPNet-Keras-tensorflow)。
这种办法的长处在于能够选用练习好的、适用于特定使用场景的语义切割模型，给色彩搬迁供给方向性的辅导。
越是针对某个笔直范畴的使用场景就越需求一个专门针对该场景的语义切割模型。由于不管是在 ImageNet 数据集上练习的 VGG19 仍是在 ADE20K 数据集上练习的 PSPNet 相对都是比较泛用的模型，很难满意专业需求。
针对杂乱工作场景还需进行更详尽的收集和标示，堆集到必定的数据量后再挑选适宜的语义切割模型进行练习，将其作为特征提取模型参加（或许替代） VGG19。
中秋版Demo限时敞开，快来体会！
现在，未来修建实验室开始完结对修建日夜景转化的研制，还将连续研制和敞开更多的使用场景。
AI日夜景转化-中秋版Demo
限时敞开，快来扫码体会，
为修建披上月色~
