マシンベースのマルウェア分析を向上させるツール「LIME」

2017.08.11

正しく構築されたディープラーニング (深層学習) モデルは、マルウェアや悪意のある Web ページの検出に非常に役立ちます。


しかし、ディープラーニングモデルは、特定の Web ページやアプリケーションが不正なものである可能性を示す数値を 1 つ吐き出すだけで、そのサンプルを不正だと判断した理由については有用な情報をほとんど提供してくれません。いわば、サンプルを入れると魔法によって分類される「ブラックボックス」のようなものです。


理由を考えるよりも、一刻も早く危険を突き止めて阻止することが優先されるセキュリティ企業にとっては、それでも問題ありません。しかし、セキュリティ研究者は今後の対策を強化するために理由を明らかにする必要があります。


幸いにも、それを可能にするツールが存在します。ソフォスの主席データサイエンティスト Richard Harang が火曜日の BSidesLV において、そうしたツールの 1 つである LIME (Local Interpretable Model-Agnostic Explanations) に焦点を当てた講演を行いました。


LIME はワシントン大学の研究者 Marco Tulio Ribeiro、Sameer Singh、Carlos Guestrin によって開発された(リンク先:英語)ツールで、ディープラーニングモデルがどのような方法で安全なものと危険なものを判断しているのかを説明する技術です。


機械学習の動向


多くのセキュリティ専門家が、機械学習は次世代のマルウェア対策技術だと高く評価しています。ソフォスが今年初めに Invincea 社を買収したのも、機械学習ベースのマルウェア対策技術を取り込むことが目的でした。


機械学習は、マルウェアがエンドユーザーにとって問題になる前に未然に阻止する効率的な方法であると考えられています。重要なポイントは次のとおりです。


  • ディープラーニング型のニューラルネットワークモデルを使用することで、検出率は向上し、誤検出は低減します。
  • 既知のマルウェアと共通の特徴を持つコードが一掃されます。人間による分析では、このような共通の特徴はしばしば見過ごされてしまいます。
  • 動作ベースの検出により、高度な攻撃者が用いる戦術と技術が幅広くカバーされます。

困難な「理由」の特定


素晴らしい技術のように聞こえますが、完璧な技術など存在しません。データサイエンティストたちは機械学習に関して、悪意があると分類する理由を分かりやすく説明してもらいたいと考えています。Harang は次のように述べています。


(引用文日本語訳) こうした分類ツールはブラックボックス的性質を持っているため、結果を評価すること、モデルの問題を診断すること、既存の知識を組み込むことが容易ではありません。あるアーティファクトに対して出力された 1 つの数値だけを見ても (その数値がバイナリラベル、悪意スコアのどちらであっても)、そのアーティファクトの問題点についての洞察を得ることはできず、また、さらなる分析をどこから始めればよいのかも分かりません。


これは問題だと Harang は述べています。その理由は以下のとおりです。


  • あなたがアナリストで、「X、Y、Z を理由に、この実行ファイルはランサムウェアであると言えます」と言うだけの仕事であれば、(裏付けとなる証拠なしに「おそらく悪意のあるものでしょう」としか言えないため、) ディープラーニングモデルは仕事に役立ちません。
  • 裏付ける証拠がなければ、ディープラーニングモデルのトラブルシューティングは困難です。使用しているモデルが突然サンプルに関して間違った回答を出したとしても、何が起きていて、どうすれば修正できるのかを判断するのは極めて難しい可能性があります。

LIME について


Harang は講演の中で、モデルのパフォーマンスにとって重要なドキュメントの特徴を特定するだけではなく、一歩先を行く分析を実行できるように、LIME を導入する方法について説明しています。アナリストは LIME を使用することで、悪意のある要素が含まれている可能性が高いと「考え」られるドキュメントの主要コンポーネントを特定することもできます。


研究者は LIME 技術にいくつか変更を加えることで、モデルがデータからどのようなパターンを抽出したのかやモデル全体をどうすれば改良できるのかを把握したり、モデルの間違いをトラブルシューティングしたり、場合によっては間違いを犯す前にモデルを修正したりできる、と Harang は述べています。


LIME には Human Interoperable Features (HIF) と呼ばれる機能が搭載されています。HIF の各クラスは、研究者がファイルの分析に使用するレンズの 1 種類のように機能するので、特定の特性 (スクリプト、ハイパーリンク、またはファイルの特定の部分) が分類にどのように影響するのかを調査することができます。


その他の特長:


  1. 1. 120 KB の HTML ドキュメントの場合、LIME は迅速かつ効率的にこのドキュメントを重要なビットに絞り込むことができます。
  2. 2. 悪意のあるドキュメントだとモデルが分類していない場合であっても、疑わしい重要な要素を特定できることが少なくありません。
  3. 3. さまざまな HIF と、HIF によるドキュメント分析の方法を調べることで、モデルがデータからどのような特徴を学習したのかを調査できます。
  4. 4. HIF を別のサンプルに適用してその影響を調べることで、特徴のコンテキスト感度を評価できます。

Harang のスライドにあるように、ディープラーニングモデルは複雑であるため、正しい洞察の抽出は不可能ではありませんが困難です。


それに適した汎用ツールが LIME です。LIME に調整を少し加えるだけで、ディープラーニングモデルが有益なアーティファクト分析ツールになり、関心のある部分を浮かび上がらせることができます。


LIME をさまざまなドキュメントや HIF に適用することで、モデルの長所短所やデータのバイアスをより正確に理解でき、その新たに取得した知識に基づいてディープラーニングモデルをより効果的に活用できるようになります。


引用元

おすすめの記事はこちら