機(jī)器之心

選自arXiv

作者：Debayan Deb等

機(jī)器之心編譯

參與：魔王、杜偉

尋找失蹤兒童何其難！小孩失蹤時(shí)還很小，找到卻可能已過了數(shù)年甚至十幾年。如何判斷找回人員的身份，讓他們回家？這是亟待解決的難題。

近日，密歇根州立大學(xué)的研究者提出一個(gè)「增齡」模塊，將失蹤兒童原始圖像中的深度人臉特征「老化」（或者說「增齡」），從而幫助匹配原來的圖像和數(shù)年后的圖像。

論文鏈接：https://arxiv.org/pdf/1911.07538.pdf

引言

人口販賣是世界各國(guó)普遍面臨的一項(xiàng)嚴(yán)重社會(huì)問題。根據(jù)聯(lián)合國(guó)兒童基金會(huì)（UNICEF）和機(jī)構(gòu)間打擊販運(yùn)人口協(xié)調(diào)小組（ICAT）的數(shù)據(jù)，全球被販賣人口中兒童比例高達(dá) 28%。據(jù) 2012 年《華爾街日?qǐng)?bào)》報(bào)道，每年全球范圍內(nèi)約有 800 萬兒童失蹤。與父母分離的兒童，如難民和移民，最易被販賣。

截至 2018 年，18 歲以下青少年占美國(guó) NCIC 報(bào)告中登記在案失蹤人口的 34.8%。而失蹤兒童的實(shí)際數(shù)量要遠(yuǎn)遠(yuǎn)高于官方統(tǒng)計(jì)數(shù)據(jù)：出于對(duì)人口販賣者的恐懼、缺少信息、對(duì)當(dāng)局缺乏信任等原因，上報(bào)的兒童失蹤案件少于實(shí)際情況。

人臉識(shí)別可能是找回失蹤兒童任務(wù)中最有前景的生物識(shí)別技術(shù)，因?yàn)槭й檭和母改赣H屬擁有其人臉照片的概率遠(yuǎn)高于其他生物模態(tài)，如指紋或虹膜信息。而自動(dòng)人臉識(shí)別（Automated Face Recognition，AFR）系統(tǒng)已經(jīng)能夠達(dá)到很高的識(shí)別率，它們可在兒童年齡增長(zhǎng)有限的情況下識(shí)別兒童。

人臉會(huì)隨著時(shí)間發(fā)生很多變化，如皮膚紋理、重量、面部毛發(fā)等（見下圖 1）。

圖 1：Dakota Fanning（第一行）和 David Gallagher（第二行）的不同年齡照片。

多項(xiàng)研究分析了人臉隨時(shí)間的變化對(duì) AFR 性能的影響，見下表 2：

這些研究得出了兩個(gè)重要結(jié)論：

隨著后續(xù)圖像與原始圖像的時(shí)間間隔變長(zhǎng)，系統(tǒng)識(shí)別人臉的性能下降；

相較于年齡較大的人，AFR 系統(tǒng)對(duì)年齡較小的個(gè)體性能下降更加迅速。

下圖 3 展示了，當(dāng)前最優(yōu)人臉匹配器在匹配失蹤兒童圖像和較長(zhǎng)時(shí)間間隔后的圖像時(shí)失敗率較高。因此，增強(qiáng) AFR 系統(tǒng)的縱向性能非常必要，尤其是對(duì)于在年齡較小時(shí)失蹤的孩童。

圖 3：rank-1 識(shí)別準(zhǔn)確率（%）熱圖。a 未使用本研究提出的模塊修改 FaceNet 特征，而 b 利用提出模塊修改了 FaceNet 特征（顏色越深表示準(zhǔn)確率越高）。圖中橫軸表示兒童年齡時(shí)間差，縱軸表示失蹤兒童圖像中的年齡。

定位失蹤兒童類似于人臉識(shí)別中的識(shí)別（開集或閉集），我們從失蹤兒童照片庫(kù)中進(jìn)行搜索，以確定找回的較大年齡孩童的身份。找回孩童照片與失蹤孩童照片之間時(shí)間間隔越長(zhǎng)，搜索任務(wù)就越難。之前對(duì)年齡變化下的人臉識(shí)別（包括成年人和孩童）的研究主要探索了生成和判別式模型。但是，當(dāng)前最優(yōu)人臉識(shí)別系統(tǒng)仍然難以確定在較大年齡找回的孩童的身份。

該研究提出「增齡」模塊，它學(xué)習(xí)特征空間中的投影，并可作為任意現(xiàn)有人臉匹配器的 wrapper。該模塊還能夠基于個(gè)體年齡和指定目標(biāo)年齡合成增齡后特征所對(duì)應(yīng)的人臉圖像。

對(duì)于時(shí)間間隔大于 10 年的情況（即失蹤兒童在 10 年或更久之后才被找到），該研究提出的增齡模塊將 FaceNet 在閉集上的識(shí)別準(zhǔn)確率從 40% 增加到 49.56%，將 CosFace 在童星數(shù)據(jù)集 ITWCC 上的識(shí)別準(zhǔn)確率從 56.88% 提升到 61.25%。該方法在公開增齡數(shù)據(jù)集 FG-NET 上的 rank-1 識(shí)別率超越當(dāng)前最優(yōu)方法，實(shí)現(xiàn)了從 94.91% 到 95.91% 的提升，該方法在 CACD-VS 數(shù)據(jù)集上同樣超越了 SOTA 方法，將識(shí)別率從 99.50% 提升到 99.58%。這些結(jié)果表明，使人臉特征「增齡」能夠增強(qiáng)識(shí)別找回兒童是否為販賣誘拐受害者的幾率。

使深度人臉特征「增齡」

直接操縱人臉圖像中的像素可能無法在特征空間中保留兒童的身份信息。因此，該研究提出一種增齡模塊，學(xué)習(xí)低維特征空間中的深度特征投影，從而直接改進(jìn)人臉識(shí)別系統(tǒng)識(shí)別較長(zhǎng)時(shí)間間隔兒童圖像的準(zhǔn)確率（見下圖 6）。

圖 6：該研究提出的深度特征增齡方法圖示。該增齡模塊可以將人臉特征向量增加到任意指定年齡。

激活

為了分析「增齡」對(duì)兒童人臉匹配性能的影響，我們令 S = {S^t}^T_t=0，T 是數(shù)據(jù)集中所有可能年齡的集合。這里，其中 S^t 是數(shù)據(jù)集中年齡為 t 的所有失蹤兒童圖像的集合（共 N_t 張）。使用現(xiàn)有的人臉匹配器（如 FaceNet），我們可以提取出圖像 x^t_i 的深度特征表示 φ(x^t_i )。

研究者首先計(jì)算 S 中所有年齡的平均人臉表示。對(duì)于年齡 t，其平均人臉特征可表示為：

研究者從 UTKFace 數(shù)據(jù)集中抽取平均人臉特征。為了分離年齡變化引起的人臉嵌入?yún)^(qū)別，研究者將一個(gè)屬性向量定義為在年齡為 t_1 和 t_2 時(shí)，任意兩個(gè)平均人臉特征的區(qū)別，其中 t_1 << t_2。與深度特征內(nèi)插類似，研究者將年齡 t_1 的兒童人臉圖像 x^t1_i 映射至特征空間中的點(diǎn) φ(x^t1_i)，并通過將其沿著屬性向量 ˉδ^t1,t2 線性移動(dòng)。

下圖 4 展示了 5 歲和 12 歲孩童人臉特征的解碼圖像樣本，它們沿著流形 (α = 1) 線性移動(dòng)。

這個(gè)實(shí)驗(yàn)表明：

人臉嵌入可捕捉到增齡所需的年齡信息；

增齡可以通過在特征空間中執(zhí)行線性內(nèi)插來實(shí)現(xiàn)。

學(xué)習(xí)特征增齡

完美的人臉特征空間 Z 應(yīng)該僅編碼身份顯著特征（identity-salient feature），年齡相關(guān)組件應(yīng)與身份相關(guān)特征分離。但事實(shí)上，人臉匹配器自然而然地在潛在空間中編碼年齡相關(guān)信息，以增強(qiáng)判別能力。該研究旨在開發(fā)一種增齡方法，能夠在任意人臉匹配器的特征空間中學(xué)習(xí)投影（見下圖 5）。

預(yù)訓(xùn)練人臉匹配器將人臉圖像 x 嵌入 d 維歐幾里得空間 φ(x) ∈ R^d 中。假設(shè)有圖像對(duì) (x^t_1_i , x^t_2_j ) 組成的訓(xùn)練集，其中 x_i 和 x_j 分別是同一個(gè)人在年齡為 t_1 和 t_2 時(shí)的照片。此處，x_i ∈ X，t_a ∈ A，X 是人臉圖像域，A 是所有可能年齡的集合。研究者想要學(xué)習(xí)一個(gè)模型，該模型以人臉特征向量 φ^t_1 為輸入，為期望年齡 t_2 合成人臉嵌入，從而在年齡相關(guān)組件與 φ^t_2 類似的條件下，保留個(gè)體身份信息。

該研究提出一種編碼器-解碼器架構(gòu)，可在特征空間中自動(dòng)學(xué)習(xí)增齡。編碼器 E : (R^d , A, A) → R^k 是一組全連接線性層的堆疊，它們可將特征向量映射至 k 維潛在表示 E(φ(x^t1), t_1, t_2)。編碼器基于輸入特征 φ(x^t_1)、原始圖像拍攝時(shí)的年齡 t_1 和增齡后的期望年齡 t_2。解碼器 D : R^k → R^d 也是一組全連接線性層的堆疊，它們基于原始人臉特征 φ(x^t_1) 的潛在表示 E(φ(x^t_1 ), t_1, t_2) 將其合成為增齡版本。為了確保保存身份顯著特征和年齡增加到期望年齡的合成特征，研究者使用均方差 (MSE) 損失來訓(xùn)練增齡模塊：

其中 P 是所有原始對(duì)的集合。模型訓(xùn)練完成后，增齡模塊可以將人臉特征推進(jìn)至期望年齡。

實(shí)驗(yàn)

為評(píng)估模型對(duì)兒童人臉圖像的性能，研究者使用了兩個(gè)數(shù)據(jù)集（見下表 1）：

其中，Children』s Face Aging (CFA) 數(shù)據(jù)集包含年齡范圍為 2 ? 20 歲的 9,196 名青少年兒童每年的入學(xué)照，共計(jì) 25,180 張。

In The Wild Child Celebrity (ITWCC) 數(shù)據(jù)集包含 745 個(gè)童星的 7,990 張圖像。

下表 3 展示了所有方法的平均差和標(biāo)準(zhǔn)差：

從上表中可以看出，該增齡方法能夠提高 FaceNet 和 CosFace 的搜索準(zhǔn)確率。此外，在特征增齡模塊的幫助下，開源人臉匹配器 CosFace 的性能超過了 COTS。

下圖 8a 和 8b 展示了模型在兒童和成年人圖像上的性能。該研究提出的模型能夠改進(jìn)模型對(duì)所有存在間間隔的人臉圖像進(jìn)行匹配，而當(dāng)時(shí)間間隔增大時(shí)其貢獻(xiàn)尤甚。

下圖 11 展示了在不使用該研究提出的深度特征增齡模塊時(shí)，CosFace 從所有圖像中檢索到了錯(cuò)誤的兒童。

為了評(píng)估增齡模塊的泛化性能，研究者在 CFA 和 ITWCC 數(shù)據(jù)集上進(jìn)行訓(xùn)練，并在公開可用增齡數(shù)據(jù)集 FG-NET 上進(jìn)行性能基準(zhǔn)測(cè)試。研究者按照標(biāo)準(zhǔn)的留一法進(jìn)行操作，結(jié)果見下表 4。

實(shí)驗(yàn)表明，該研究提出的特征增齡模塊可以提升 CosFace 的性能。研究者還在相同的訓(xùn)練集上微調(diào)了 CosFace 的最后一層，但是準(zhǔn)確率下降明確表明，移動(dòng)到新的潛在空間可以展示出原始特征。該增齡模塊可以提升模型性能，同時(shí)仍然在原始匹配器運(yùn)行的相同特征空間中。

此外，研究者還在成年人增齡數(shù)據(jù)集 CACD-VS13 上進(jìn)行了性能基準(zhǔn)測(cè)試。但是，與之前的研究 [28, 31, 4] 不同，研究者并未在 CACD-VS 數(shù)據(jù)集上微調(diào)模型。

下表 5 展示了，該研究提出的特征增齡模塊提升了 CosFace 在 CACD-VS 數(shù)據(jù)集上的性能，這表明該模型對(duì)成年人增齡后的人臉識(shí)別也有作用。

本文為機(jī)器之心編譯，轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)。

原標(biāo)題：《尋找走失多年的兒童，這個(gè)算法讓父母看到孩子長(zhǎng)大的模樣》

閱讀原文