サイバーセキュリティのR&D系を担当している政府関係者によると、重視している分野が２つあって、AIと自動車だという。自動車というのは、よく分かる。Appleが次世代自動車事業に乗り出し、その製造委託をされる企業はどこだと話題になっている。通常のPCやスマートフォンが、物理的に人間を傷つけることはあまり考えられないが、自動車となると暴走して人を撥ねるなどということも危惧される。Connected Carに、サイバーセキュリティは必須だろう。
じゃあもうひとつのAI分野って何なのか、聞いてみると２種類あるらしい。
・AI for Security
AIをセキュリティ対策に使うということ。24時間マルウェアの侵入監視や不正送信検知を人手で行うよりは、AIを使った方が効率が上がるし、ミスも少ないだろう。あるいは攻撃者の特定（アトリビューション）用のAIなども、開発されつつあるという。逆にAIを使って攻撃する（Attack using AI）ことも、この内に入るかもしれない。
・Security for AI
AIシステムそのものを攻撃から守るということ。どんな攻撃かと言うと、例えば「敵対的サンプル」のようなもの。AIとはおおむね機械学習のことだが、サンプルをデータとして取り入れて学習し成長する。そのサンプルに間違ったものを紛れ込ませて、AIの判断や成長を阻害するということだ。
今後の研究開発の方向性はと聞くと、前者については「検知や監視」の幅を広げたり、別の使い方を考えることだとの回答だった。例えば、デジタルの監視だけでなく不審な動作をする人間のようなアナログ的なものも対象とすることや、リスク管理を総合的に判断させることだろうと推測した。
後者については、敵対的サンプル以外の脅威（攻撃手法）をまず考えること。これもいろいろあり得て、
・AIの入出力を盗み見て、内部を推測するようなもの
・AIの出力から、どんな入力があったかを推測するようなもの
などが候補になる。前者はある程度理解できるのだが、後者は僕の頭ではまだ五里霧中。ただ、入出力は盗まれるかもしれないが内部はブラックボックス（のまま）にしておけばリスクは下がるように思う。
欧州委員会などが要求するAIの説明責任というのは、システムの脆弱性を高める可能性もあります。やはりその限度というのは、定めておきませんとね。
