導(dǎo)讀

近期，海塞姆科技首席科學(xué)家北京航空航天大學(xué)潘兵教授課題組在Experimental Mechanics上發(fā)文“User-Independent, Accurate and Pixel-Wise DIC Measurements with a Task-Optimized Neural Network”。論文介紹了一種新的基于任務(wù)優(yōu)化神經(jīng)的深度學(xué)習(xí)數(shù)字圖像相關(guān)方法（Digital image correlation, DIC）—RAFT-DIC，通過針對性地改進深度學(xué)習(xí)DIC框架并開發(fā)新的數(shù)據(jù)集生成方法對模型進行訓(xùn)練，RAFT-DIC可實現(xiàn)全自動、逐像素、高精度的位移場測量。與現(xiàn)有深度學(xué)習(xí)DIC方法相比，RAFT-DIC的亞像素位移測量精度約高出一個數(shù)量級，且具有更強的跨數(shù)據(jù)集泛化性能和實用性。

文章信息：Pan B, Liu Y. User-Independent, Accurate and Pixel-Wise DIC Measurements with a Task-Optimized Neural Network[J]. Experimental Mechanics, 2024: 1-15.

研究背景

數(shù)字圖像相關(guān)方法因其非接觸全場測量、使用簡單便捷、適用范圍廣泛等優(yōu)點，已成為實驗力學(xué)領(lǐng)域主流的位移和變形測量技術(shù), 被廣泛應(yīng)用于不同科學(xué)和工程領(lǐng)域。盡管基于圖像子區(qū)的局部DIC算法（常規(guī)DIC）在測量精準(zhǔn)度、計算效率和魯棒性方面取得了重大進展，并在商業(yè)軟件中普遍使用，但仍存在以下兩個不足：

1） 常規(guī)DIC計算要求用戶明確輸入關(guān)鍵計算參數(shù)（圖像子區(qū)大小、形函數(shù)階數(shù)等）以進行后續(xù)的相關(guān)計算，無法實現(xiàn)使用者獨立的全自動測量；

2） 常規(guī)DIC計算是在參考圖像上指定均勻分布的計算點（相鄰點之間的距離是使用者指定的計算步長）上進行的，因此輸出的是離散計算結(jié)果，無法實現(xiàn)逐像素稠密位移場測量。

為了解決常規(guī)DIC的這些固有局限，深度學(xué)習(xí)是一種可能的解決方案。自 2021 年深度學(xué)習(xí)被首次引入 DIC以來，各種基于深度學(xué)習(xí)的 DIC 方法已經(jīng)證明了神經(jīng)網(wǎng)絡(luò)在圖像變形測量方面的潛力和優(yōu)勢。與常規(guī)DIC相比，深度學(xué)習(xí)DIC可以在網(wǎng)絡(luò)訓(xùn)練后以端到端的方式輸出稠密位移場，且該過程無需使用者人為選擇計算參數(shù)。盡管已有很多學(xué)者嘗試將深度學(xué)習(xí)引入DIC，但現(xiàn)有深度學(xué)習(xí)DIC的亞像素位移測量精準(zhǔn)度與常規(guī)DIC相比沒有明顯優(yōu)勢，特別是對于（平移、轉(zhuǎn)動、拉伸和剪切或其組合等）低頻位移場。此外，現(xiàn)有深度學(xué)習(xí)DIC的泛化能力不足，導(dǎo)致其在實際實驗圖片中的表現(xiàn)不如測試數(shù)據(jù)集。

技術(shù)路線

在網(wǎng)絡(luò)框架方面，本文借鑒了深度學(xué)習(xí)光流估計領(lǐng)域研究進展，并充分利用了DIC測量的先驗信息（計算像素之間的相似度及迭代更新位移場），從根本上優(yōu)化了網(wǎng)絡(luò)框架。在光流估計領(lǐng)域中，遞歸全對場變換框架（Recurrent All-Pairs Field Transforms, RAFT）框架在提出時達到了最高的光流估計精度（誤差約為3個像素），并成為深度學(xué)習(xí)光流估計的第三代標(biāo)準(zhǔn)框架。盡管RAFT在光流估計領(lǐng)域表現(xiàn)出優(yōu)異的性能，但其亞像素精度遠遠達不到DIC測量需求，因此RAFT框架并不適合直接應(yīng)用于DIC測量。

為此，本文對原始 RAFT 框架進行了針對性的修改以提高其測量性能。修改后的位移估計框架稱為RAFT-DIC（主要模塊如圖1所示），其主要整體框架由三個模塊組成：1）編碼器模塊：提取參考散斑圖像和變形圖像的特征信息；2）4D相關(guān)層：通過構(gòu)建參考圖像特征和變形圖像的特征向量所有對之間的4D 相關(guān)層，計算出參考圖像和變形圖像的相似性；3）迭代更新運算模塊：使用基于卷積神經(jīng)網(wǎng)絡(luò)的迭代更新運算模塊更新RAFT-DIC估計的位移場。

圖1. RAFT-DIC框架的主要模塊：1) 輸出全分辨率特征的特征編碼器和上下文編碼器；2) 以兩個尺度（1和1/2）池化的4D相關(guān)層構(gòu)建的多尺度相關(guān)金字塔，3) 更新更新算子，用于更新和細化位移場。

RAFT-DIC對原始 RAFT 框架在兩個方面做了針對性的修改：首先，去除了編碼模塊中所有的下采樣操作，從而使模塊感知更多的空間信息，大大提高了位移估計精度；其次，4D相關(guān)層的金字塔層數(shù)減少到兩個，因此網(wǎng)絡(luò)可以更高效地注重小位移精度。

在訓(xùn)練數(shù)據(jù)集方面，本文還開發(fā)了隨機散斑圖像和位移場數(shù)據(jù)集生成技術(shù)。通過充分考慮真實測量場景的因素（光照變化、散焦、相機放大倍率等），建立了分布廣泛的散斑圖像數(shù)據(jù)集（圖2）。

圖2. 合成的散斑數(shù)據(jù)集圖像示例

此外本文提出一種無模型位移場數(shù)據(jù)集生成方法，將隨機自然影像的灰度分布通過灰度歸一化、隨機模糊、隨機放縮一系列操作轉(zhuǎn)化為位移場分布（圖3）。與現(xiàn)有的使用特定數(shù)學(xué)模型的位移場生成技術(shù)相比，位移場數(shù)據(jù)集的多樣性和復(fù)雜性有所提高。基于所建立的散斑圖像和位移場數(shù)據(jù)集生成技術(shù)，構(gòu)建了一個分布廣泛、魯棒性強的數(shù)據(jù)集，極大地提高了RAFT-DIC的泛化性能。

圖3. (a) 基于隨機自然圖像的位移場生成流程，(b) 隨機自然圖像樣本以及相應(yīng)的生成位移場。

實驗結(jié)果

為驗證RAFT-DIC方法相對于現(xiàn)有的基于一階和二階形函數(shù)的常規(guī)DIC (采用當(dāng)前先進的IC-GN算法) 和不同深度學(xué)習(xí)DIC (StrainNet-f、DisplacementNet和原始RAFT ) 的亞像素位移測量精準(zhǔn)度，首先在圖4的數(shù)值模擬圖片中進行了測試，不同方法的實驗結(jié)果如圖5所示。實驗結(jié)果表明，所提出的RAFT-DIC的精準(zhǔn)度比其它方法高出約一個數(shù)量級。

圖4. (a) 參考散斑圖像和 (b) 施加的正弦位移場

圖5. 使用一階 DIC（圖像子區(qū)大小21×21 像素，一階形函數(shù)）、二階 DIC（圖像子區(qū)大小 ： 21*21 像素）、StrainNet-f、DisplacementNet、原始 RAFT 和RAFT-DIC測量的 u 位移（左）和誤差圖（右）的比較。

為了進一步驗證RAFT-DIC在真實實驗圖像中的性能，在橡膠試樣三點彎曲試驗和DIC challenge中的單向拉伸實驗上進行了進一步測試。實驗結(jié)果進一步證明了RAFT-DIC具有較強的跨數(shù)據(jù)集泛化性能和實用性。

圖6. (a) 參考圖像和 (b) 三點彎曲實驗中的變形圖像

圖7. 標(biāo)準(zhǔn) DIC、RAFT-DIC、StrainNet-f、DisplacementNet 和原始 RAFT 計算的 u 和 v 位移場

圖8. (a) 單軸拉伸試驗的參考圖像和變形圖像，(b) 常規(guī) DIC（圖像子區(qū)大小： 21 × 21 像素，計算步長 ： 3 像素）、RAFT-DIC、StrainNet-f、DisplacementNet 和原始 RAFT 對應(yīng)的 u 和 v 位移場

總結(jié)與展望

本文提出一種采用任務(wù)優(yōu)化神經(jīng)網(wǎng)絡(luò)框架的深度學(xué)習(xí)DIC方法—RAFT-DIC，該方法可在無用戶輸入的情況下，以端到端的方式實現(xiàn)精準(zhǔn)和像素級稠密的位移場測量。仿真實驗和真實實驗結(jié)果表明，RAFT-DIC在測量精準(zhǔn)度和跨數(shù)據(jù)集泛化能力方面均優(yōu)于現(xiàn)有的深度學(xué)習(xí)DIC方法。與常規(guī)DIC相比，RAFT-DIC不僅能輸出逐像素的密集位移，無需手動選擇關(guān)鍵計算參數(shù)，在具有復(fù)雜變形圖像的位移測量上具有明顯更高的精準(zhǔn)度，對于簡單變形圖像則可獲得與常規(guī)DIC相當(dāng)?shù)奈灰茰y量精準(zhǔn)度。未來，研究人員將進一步提高RAFT-DIC的實用性，例如與其它神經(jīng)網(wǎng)絡(luò)結(jié)合拓展其位移測量范圍，以及實現(xiàn)基于Raft-DIC的全自動、精準(zhǔn)和稠密的3D-DIC測量，該先進算法將應(yīng)用在海塞姆科技的新版軟件中。