ICLR 2018 | 斯坦福大學論文通過對抗訓練實現可保證的分佈式魯棒性

  選自ICLR

  作者:Aman Sinha,Hongseok Namkoong,John Duchi

  機器之心編譯

  參與:Jane W、黃小天、許迪

  

  神經網絡容易受到對抗樣本的影響,研究者們提出了許多啟發式的攻擊和防禦機制。本文主要從分佈式魯棒優化的角度出發,從而保證了對抗輸入擾動下神經網絡的性能。

  

  試想經典的監督學習問題,我們最小化期望損失函數 EP0 [(θ;Z)](θ∈Θ),其中 ZP0 是空間 Z 上的分佈, 是損失函數。在許多系統中,魯棒性對於變化的數據生成分佈 P0 是可取的,不管它們來自協變量變化、潛在定義域變化 [2],還是對抗攻擊(adversarial attack)[22,28]。隨著深度網絡在現代以性能至上的系統中變得普遍(例如自動駕駛車的感知、腫瘤的自動檢測),模型失敗會日益導致危及生命的情況發生;在這些系統中,部署那些我們無法證實魯棒性的模型是不負責任的。

  然而,最近的研究表明,神經網絡容易受到對抗樣本的影響;看似不可察覺的數據擾動可能導致模型的錯誤,例如輸出錯誤分類 [22,28,34,37]。隨後,許多研究者提出了對抗攻擊和防禦機制 [44,38,39,40,48,13,31,23]。雖然這些工作為對抗訓練提供了初步基礎,但是不能保證所提出的白箱(white-box)攻擊是否能找到最有對抗性的擾動,以及是否存在這些防禦一定能夠成功阻止的一類攻擊。另一方面,使用 SMT 求解器對深度網絡的驗證提供了魯棒性的正式保證 [26,27,24],但通常是 NP-hard;即使在小型網絡上,這種方法也需要高昂的計算費用。

  我們從分佈式魯棒優化的角度出發,提供一種對抗性訓練過程,並在計算和統計性能上提供可證明的保證。我們假設數據生成分佈 P0 附近的分佈類別為 P,並考慮問題最小化 sup P∈P EP [(θ;Z)](θ∈Θ)。

  P 的選擇影響魯棒性保證和可計算性;我們發現具有高效計算性鬆弛(relaxation)的魯棒性集合 P,即使在損失 是非凸的情況下也適用。我們提供了一個對抗訓練過程,對於平滑的 ,享有類似於非魯棒方法的收斂性保證,即使對於最壞情況下的整體損失函數 supP∈P EP [(θ;Z)],也可以證明性能。在 Tensorflow 的一個簡單實現中,我們的方法實現經驗風險最小化(ERM, empirical risk minimization)所需時間是隨機梯度方法的 5-10 倍,與其它對抗訓練過程的運行時間相匹敵 [22,28,31]。我們表明,我們的方法通過學習防禦訓練集中的對抗性干擾來獲得泛化能力,使我們訓練出的模型能夠防止對測試集的攻擊。

  我們簡要概述我們的方法。令 c:Z×Z→R +∪{∞},其中 c(z,z0) 是攻擊擾亂 z0 到 z 的成本函數(我們通常使用。我們考慮在 Wasserstein 距離 Wc(·,·) 下的分佈 P0 的魯棒性區域(正式定義參見第 2 節)。對於深度網絡和其它複雜模型,這個問題(1)的表達式是在 ρ 取任意值時是難以解決的。因此,我們考慮該表達式在固定懲罰參數 γ≥0 時的拉格朗日鬆弛,即

  (關於這些等式的嚴格陳述,請參閱命題 1)。在這裡,我們已經用魯棒性的替代函數 φγ(θ;Z) 代替了通常的損失函數 (θ;Z)。這個替代函數(2b)允許數據 z 的對抗擾動,由懲罰 γ 調整。我們通常用經驗分佈 Pbn 代替懲罰問題(2)中的分佈 P0 來解決問題,因為 P0 是未知的(我們在下面把這稱為懲罰問題)。

  懲罰問題(2)的關鍵特徵是穩健水平的魯棒性——特別是針對不可察覺的對抗擾動的防禦——可以在基本上平滑損失函數 沒有計算/統計成本下實現。特別的是,對於足夠大的懲罰 γ(在對偶、足夠小的魯棒 ρ 下),魯棒替代函數(2b)z 7→(θ; z)γc(z, z0) 是嚴格下凸(凹函數)的,因此優化更加容易(如果 (θ, z) 在 z 中是平滑)。因此,應用於問題(2)的隨機梯度方法與非魯棒方法(ERM)具有相似的收斂保證。在第 3 部分中,我們為任意 ρ 提供了魯棒性保證;我們給出了在最壞情況下可以高效計算的基於數據的損失函數上限 supP:Wc(P,P0)≤ρ EP [(θ;Z)]。即,我們主要的對抗訓練過程輸出的最壞情況下的性能保證不比它差。當 ρ=ρbn 時,我們的約束是緊的,這對於經驗目標而言是魯棒的。這些結果表明,使用平滑激活函數的網絡比使用 ReLU 的網絡更具有優勢。我們在第 4 部分通過實驗驗證了我們的結果,並且表明,即使對於非平滑的損失函數,我們也可以在各種對抗攻擊情況下達到最先進網絡的性能。

  魯棒優化和對抗訓練對於某些不確定集合 U,標準的魯棒優化方法可以將以形式為 supu∈U (θ; z+u) 的損失函數最小化 [3,42,51]。不幸的是,這種方法是棘手的,除了特殊結構的損失函數,如線性和簡單的凸函數的組成 [3,51,52]。儘管如此,這種魯棒方法構成了對抗訓練近期取得進展的基礎 [46,22,39,13,31],它啟發式地提供了在隨機優化過程中擾動數據的方法。

  其中一種啟發式算法使用局部線性化損失函數(以「快速梯度符號法」[22] 提出,p=∞):

  一種對抗訓練方式基於這些擾動損失函數進行訓練 [22,28],同時其它許多函數基於迭代的變量 [39,48,13,31]。Madry 等人 [31] 觀察到這些過程試圖優化目標,這是懲罰問題(2)的限制版本。這種魯棒性的概念通常是難以處理的:內含的上確界在 u 中通常是非凹的,因此不清楚使用這些技術的擬合模型是否收斂,並且可能存在這些技術無法發現的最壞情況的擾動。事實上,當深度網絡使用 ReLU 激活函數時,發現最壞情況擾動是 NP-hard 的,這意味著快速迭代啟發式算法是困難的(參見附錄 B 中的引理 2)。平滑可以在標準深度結構中用指數線性單位(ELU's)[16] 獲得,這使我們能夠以低計算成本找到拉格朗日最壞情況擾動。

  分佈魯棒優化為了說明當前的工作,我們回顧了一些關於魯棒性和學習的重要工作。在魯棒目標中選擇 P(1)會影響我們希望考慮的不確定性集合的豐富性以及最終優化問題的易處理性。之前的分佈魯棒性方法已經考慮了 P 的有限維參數,例如矩的約束集、支持度(support)或方向偏差 [14,17,21],以及概率測量的非參數距離,如 f-散度 [4,5,32,29,18,35] 和 Wasserstein 距離 [8,19,45]。與 f-散度(例如χ2- 或 Kullback-Leibler 散度)相反(當分佈 P0 的支持度是固定時有效),圍繞 P0 的 Wasserstein 球包含一組分佈 Q,它們具有不同支持度並且(在某種意義上)保證對未知數據的魯棒性。

  許多作者研究了易處理類型的不確定集合 P 和損失函數 。例如,Ben-Tal 等人 [4] 與 Namkoong 和 Duchi[36] 使用 f-散度球的凸優化方法。對於由 Wasserstein 球形成的最壞情況的 P 域,Esfahani 和 Kuhn[19]、Shafieezadeh-Abadeh 等人 [45] 與 Blanchet 等人 [8] 展示瞭如何將鞍點(saddle-point)問題(1)轉換為正則化的 ERM 問題,但這隻適用於有限類凸損失函數 和成本函數 c。在這項工作中,我們處理更大的一類損失函數和成本函數,併為拉格朗日鬆弛鞍點問題提供直接解決方法(1)。

  算法 1 分佈魯棒優化的對抗訓練

  圖 1. 合成數據的實驗結果。訓練數據用藍色和紅色表示。ERM、FGM 和 WRM 的分類邊界分別以黃色、紫色和綠色表示。左邊為邊界與訓練數據一起的圖示,右邊為分開的真實類邊界的圖示。

  圖 2. 用合成數據(a)和 MNIST(b)進行實驗的魯棒性保證(11)(藍色)和樣本外(out-of-sample/測試)最差情況下的性能(紅色)之間的經驗性比較。在(11)中省略了統計誤差項 n(t)。垂直虛線表示在訓練集 ρbn(θWRM)上達到的魯棒性水平。

  圖 3. 對 MNIST 數據集的 PGM 攻擊。(a)和(b)分別顯示了對於 PGM 攻擊在歐氏距離和∞範數下的測試錯誤分類錯誤與對抗擾動水平 adv。(a)中的垂直虛線表示用於訓練 PGM、FGM 和 IFGM 模型的擾動水平以及估計的半徑 pρbn(θWRM)。對於 MNIST,C2=9.21 和 C∞=1.00。

  圖 4. 損失函數表面的穩定性。在(a)中,我們顯示了給定 γadv 的擾動分佈 ρbtest 的平均距離,這是對於決策表面的輸入的局部穩定性指標。(a)中的垂直虛線表示我們用於訓練 WRM 的 γ。在(b)中,我們將最小的 WRM 擾動(最大 γadv)可視化,以使模型對數據點進行錯誤分類。更多的例子見附錄 A.2。

  表 1. 1000 次實驗後的 Episode 長度(平均數 ± 標準差)

  圖 5. 訓練中的 Episode 長度。縱座標 Episode 長度的環境上限為 400 步長。

  論文:Certifiable Distributional Robustness with Principled Adversarial Training

  

  論文鏈接:https://arxiv.org/abs/1710.10571

  摘要:神經網絡容易受到對抗樣本的影響,研究者們提出了許多啟發式的攻擊和防禦機制。我們主要從分佈式魯棒優化的角度出發,它保證了對抗輸入擾動下的性能。通過對在 Wasserstein 球中的潛在數據分佈採用拉格朗日懲罰形式的擾動,我們提供了一種用最壞情況下的訓練數據擾動來增加模型參數更新的訓練過程。對於平滑損失函數,相對於經驗風險最小化,我們的過程證明地實現了穩健水平的魯棒性,並伴有很小的計算/統計成本。此外,我們的統計保證使我們能夠有效證明整體損失函數的魯棒性。對於不可察覺的擾動,我們的方法達到或優於啟發式方法的性能。

  本文為機器之心編譯,轉載請聯繫本公眾號獲得授權

  ------------------------------------------------

  加入機器之心(全職記者/實習生):[email protected]

  廣告&商務合作:[email protected]

《更多精彩内容,按讚追蹤Gooread·精選!》
喜歡這篇文章嗎?立刻分享出去讓更多人知道~

    相關閱讀


您可能感興趣