? ? ? ? 要說最近抖音最火的效果是什么，無疑就是上周推出的漫畫效果，這里本人來對(duì)該效果進(jìn)行一些技術(shù)分析。

? ? ? ? 首先，我們先看一下效果展示：

? ? ? ? 這個(gè)效果可謂非常驚艷，真切的將真人照片轉(zhuǎn)換為了漫畫風(fēng)格，而且支持多人處理，也是因此，一時(shí)間刷遍了抖音和朋友圈，周末兩天的使用量達(dá)到了20億次以上。

? ? ? ? 對(duì)于抖音的漫畫效果，包括兩個(gè)版本，一個(gè)是實(shí)時(shí)處理版本，也就是抖音上線的第一個(gè)版本，如圖Fig.1所示，可以實(shí)時(shí)展示漫畫效果；另一個(gè)是后來的圖片版本，如圖Fig.2所示，這個(gè)版本更加精細(xì)；該功能目前同步上線字節(jié)跳動(dòng)旗下的一些app，比如：抖音/剪映/FaceU等。

? ? ? ? 下面，我們針對(duì)這個(gè)動(dòng)漫效果來做一些技術(shù)分析，幫助大家了解一下背后的技術(shù)秘密。

? ? ? ? 本人以實(shí)時(shí)版本為例，經(jīng)過分析和測試，對(duì)該效果做了如下幾點(diǎn)總結(jié)：

實(shí)時(shí)版本中，漫畫并非全圖處理，而是基于人臉矩形框區(qū)域進(jìn)行動(dòng)漫處理；人臉之外的背景區(qū)域非漫畫效果，而是做了一些類似漫畫的濾鏡處理；整體漫畫分辨率不高；不同的人臉，漫畫人臉風(fēng)格始終保持一致；

? ? ? ? 本人多年來一直從事人像特效相關(guān)工作，這里，我們先了解一下漫畫風(fēng)格的特點(diǎn)，這里總結(jié)如下：

? ? ? ? 1，線條化，漫畫風(fēng)格的邊緣比較突出，主要表現(xiàn)為線條感強(qiáng)烈；

? ? ? ? 2，顏色單一，一種漫畫風(fēng)格往往使用的顏色數(shù)比較少，不會(huì)像真實(shí)照片中那樣包含那么多顏色數(shù)，往往只有幾種顏色搭配，比如新海誠效果，如圖Fig.3所示；

? ? ? ? 3，人臉五官簡單、夸張，這一點(diǎn)可以參考大多數(shù)漫畫的五官分類，抖音漫畫的五官繪制模型如下圖Fig.4所示；

? ? ? ? 與正常的真人照片相比，鼻子，嘴巴和眉毛基本都以線條來表達(dá)，簡單清晰，而眼睛則表現(xiàn)為夸張的大眼睛，也比較符合漫畫的審美；

? ? ? ? 有了上述的知識(shí)前綴，我們就可以對(duì)漫畫風(fēng)格有所理解了。本人先做了一個(gè)簡單的測試，用美女景甜的圖做了漫畫效果如下：

? ? ? ? 通過這個(gè)效果我們可以發(fā)現(xiàn)對(duì)于景甜的人臉五官，漫畫效果非常好，但是右圖卻隱約看到了一個(gè)人臉框區(qū)域，在這個(gè)區(qū)域之外的漫畫風(fēng)格好像與人臉框內(nèi)不太一樣，仔細(xì)觀察，確實(shí)如此，這也和前面本人的總結(jié)相一致了，也就是說，漫畫風(fēng)格只處理了人臉框區(qū)域。

? ? ? ? 為什么這么做？本人認(rèn)為有以下幾點(diǎn)：①人像照片包括半身照和全身照以及多人情況，分類復(fù)雜，場景也復(fù)雜，直接全圖處理技術(shù)上要更難一點(diǎn)；②實(shí)時(shí)版本追求用戶的實(shí)時(shí)處理，對(duì)時(shí)間消耗要求較高，如果全圖處理，很有可能無法達(dá)到實(shí)時(shí)要求；

? ? ? ? 對(duì)于人臉框之外的區(qū)域，本人也做了分析，發(fā)現(xiàn)，這些區(qū)域是做了一些顏色濾鏡和 包邊特效之類，整體的色調(diào)與動(dòng)漫色調(diào)保持一致；

? ? ? ? 綜合以上幾點(diǎn)，本人對(duì)實(shí)時(shí)版本的動(dòng)漫效果算法流程做了如下設(shè)計(jì)：

? ? ? ? ①假設(shè)用戶圖為S，效果圖為D，將S進(jìn)行人臉檢測，得到人臉區(qū)域圖像A，A一般為正方形；

? ? ? ? 人臉檢測技術(shù)目前已經(jīng)較為成熟，開源算法也較多，大家可以自行了解；

? ? ? ? ②使用深度學(xué)習(xí)技術(shù)來生成漫畫效果，這一步個(gè)人猜測，抖音大概率應(yīng)該是使用的GAN網(wǎng)絡(luò)，通過圖像直接生成效果，即輸入圖像A，輸出人臉漫畫效果圖B；

? ? ? ? 目前可以實(shí)現(xiàn)漫畫效果的可行性網(wǎng)絡(luò)，本人推薦：Pix2Pix，CycleGan，CartoonGan等。

? ? ? ? ③構(gòu)建一張與A大小相同的正方形蒙版圖C，這個(gè)蒙版為黑白色，白色表示前景，黑色表示背景，如下圖Fig.6中的蒙版所示；

? ? ? ? ④對(duì)圖S進(jìn)行濾鏡調(diào)色和保邊算法處理，得到圖M，使得M的色調(diào)與B一致；

? ? ? ? 這里的濾鏡調(diào)色，可以直接使用LUT，速度最快。

? ? ? ? ⑤將M和B按照蒙版C進(jìn)行Alpha混合，C圖像素灰度值表示為alpha值，得到最終效果圖D，公式如下：

D = B * alpha + (1 - alpha) * M

? ? ? ? ⑥將D填充到S即可。

? ? ? ? 整個(gè)流程如圖Fig.6所示。

? ? ? ? 上述步驟就是本人對(duì)抖音實(shí)時(shí)版漫畫效果算法的推演解析，當(dāng)然，只是個(gè)人意見。上述的難點(diǎn)在于第2步驟中，如何生成漫畫效果，這個(gè)步驟中，如果選用Pix2Pix網(wǎng)絡(luò)，那么需要成對(duì)的樣本，也就是一張?jiān)瓐D對(duì)應(yīng)一張漫畫效果圖，這樣的樣本非常稀缺，也非常難以制作，因此，本人覺得抖音應(yīng)該沒有使用這個(gè)方法。而CycleGan不需要成對(duì)的樣本來訓(xùn)練，因此個(gè)人覺得，CycleGan是個(gè)不錯(cuò)的選擇！

? ? ? ? 本文主要針對(duì)當(dāng)前最新技術(shù)進(jìn)行了一些細(xì)節(jié)分析，由于沒有實(shí)現(xiàn)，因此，代碼無從參考，不過，無論是Pix2Pix還是CycleGan，代碼在github上都有開源，這個(gè)不是什么難事，總之，這個(gè)效果，關(guān)鍵問題就是樣本和優(yōu)化。

? ? ? ? 這里我們給出一些相關(guān)代碼鏈接：

? ? ? ? Pix2Pix:

? ? ? https://github.com/williamFalcon/pix2pix-keras

? ? ? ? CycleGan:

? ? ? https://github.com/simontomaskarlsson/CycleGAN-Keras

? ? ? https://github.com/d1ggs/cycleGAN-keras

? ? ? ? CartoonGan:

? ? ? https://github.com/penny4860/Keras-CartoonGan

? ? ? ? 最后，本人使用Pix2Pix做了一些其他風(fēng)格的漫畫特效，如下圖所示，左邊為原圖，其余為效果圖。

? ? ? ? 本人公眾號(hào)“SF圖像算法”，QQ交流群：600926436

?

?