近日，我校信息科學與技術學院（網絡空間安全學院）鄭煜辰副教授團隊在離線手寫簽名鑒定領域研究中取得新進展，研究結果分別以“HTCSigNet: A Hybrid Transformer and Convolution Signature Network for Offline Signature Verification”（HTCSigNet：用于離線簽名鑒定的混合Transformer和卷積簽名網絡）發表于《Pattern Recognition》（中國科學院一區TOP，IF：7.5）和“Learning Discriminative Representations by a Canonical Correlation Analysis-based Siamese Network for Offline Signature Verification”（基于典型相關分析的孿生網絡學習判別表示用于離線簽名鑒定）發表于《Engineering Applications of Artificial Intelligence》（中國科學院二區TOP，IF：7.5）。

手寫簽名廣泛應用在人們的日常生活中，特別是離線手寫簽名（靜態簽名圖像），在銀行、法律文書和金融交易中常常作為個人身份的代表。然而，由于其具有易偽造性，模仿者通過多次模仿即可書寫出與真實簽名非常相近的熟練偽造簽名，這無疑為個人信息安全帶來了嚴峻的挑戰。手寫簽名作為一種典型的生物特征，書寫者的特定筆畫信息是獨一無二的，也是用于判斷簽名真偽性的關鍵依據。因此，有效學習真實簽名和熟練偽造簽名之間的微變形特征可以提升手寫簽名鑒定系統的性能。

為有效解決“捕捉真實簽名和熟練偽造簽名之間的微變形特征”這一技術難題，團隊首先提出構造4種不同簽名組合（真實簽名-真實簽名、真實簽名-熟練偽造簽名、真實簽名-隨機偽造簽名、熟練偽造簽名-熟練偽造簽名），在特征學習階段使用典型相關分析算法計算和優化簽名組合之間的相關系數，使同類簽名組合（真實簽名-真實簽名、熟練偽造簽名-熟練偽造簽名）之間的相關性更大，不同類簽名組合（真實簽名-熟練偽造簽名、真實簽名-隨機偽造簽名）之間的相關性更小，從而捕獲不同簽名之間的微小差別，為簽名鑒定系統提供更好的特征。

圖一：基于不同手寫簽名組合構建孿生網絡

其次，團隊又提出另外一種混合Transformer和卷積神經網絡的創新架構，該架構能夠很好地學習真實簽名和熟練偽造簽名之間的微變形特征?；旌霞軜嫷哪康氖翘崛∈謱懞灻亩喑叨忍卣?，這種多尺度特征即包含了手寫簽名的局部特征，又包含了手寫簽名的全局特征。所提出的混合架構在關注簽名的關鍵筆畫信息方面表現出了可觀的效果。使用該混合架構提取的多尺度特征與其他先進的鑒定系統相比表現出了最優的性能，并且可以很容易遷移到未曾見過的不同語言的手寫簽名數據集中。

圖二：基于Transformer和卷積神經網絡的混合深度模型

我校信息科學與技術學院（網絡空間安全學院）碩士研究生鄭禮東為上述兩篇論文的第一作者，鄭煜辰副教授為論文的通訊作者。該工作得到了國家級高層次青年人才項目的資助。

（通訊員：鄭煜辰 郭夢夢）