Neuro-Symbolic AIとは

記事をシェアする:

近年の人工知能や機械学習の技術的なブームは、ここ10年の深層学習の進化と隆盛によるものが大きいことは多くの人が知るところでしょう。深層学習は、大量の画像識別データセットからの畳み込みニューラルネットワークによる学習が有名です。その肝は、人手でチューニングした特徴量を用いるのをやめ、多層に構成したニューラルネットワークに、大量のデータから特徴抽出のしかた自体を学ばせること、そして、それを画像処理向けに特化して高性能化したGPUを使って高速に処理することにあります。一方で、現実の問題に適用していく上で、

・大量のデータがないと複雑な学習ができず、データ効率が悪い

・学習した内容はブラックボックスで、動作説明や解析ができない

・学習したデータと異なるドメインでは学習結果を活用できない

という問題が出てくることが頻繁にあります。

そこでIBM Researchが力を入れて研究を行っている最新のAI技術がNeuro-Symbolic（Neuro=ニューラルネットワーク、Symbolic=記号的表現に基づく）AIです。これは、深層ニューラルネットワークの強みと、シンボリック（記号的表現に基づく）AIの強みを併せ持ったAIを指向する取り組みのことです。シンボリックAIは、1950年代に遡る、第１次AIブームで支配的だったパラダイムで、知識を記号で表現し、問題を解くために推論など、記号上の計算を行います。強力な推論を行える一方で、すべての知識や事象を記号で表現することが一般的には困難だったために実用できる領域は限られました。しかし、一旦記号化された知識は、人間に解釈しやすい形態であり、さまざまなドメインに転用することが容易です。

例えば、Wikipediaのデータベース版であるDBPediaには、「オバマ大統領（リソースID: http://dbpedia.org/resource/Barack_Obama (外部ページ、英語)）の生まれ（述語 ID: http://dbpedia.org/ontology/birthPlace (外部ページ、英語)）はハワイ州（リソースID：http://dbpedia.org/resource/Hawaii (外部ページ、英語)）である」といった記号的な知識が大量に蓄えられています。深層学習を用いた言葉や音声の解釈や生成は、近年のスマートスピーカーなどで大活躍していますが、典型的な深層学習では、決まった種類の質問に対応した定型のテーブル形式の辞書から答えを探してくるような簡単なタスクに限られるか、複雑な質問応答タスクに対応していくためには、非現実的なほどの大量のデータセットから１から学ばせるしかありませんでした。DBPediaのような立派な知識ベースをかなり限定的にしか活用できないのは非常にもったいないことです。さらには、不具合があったときや動作を保証したいときなど、なにがどう学べているのか判別がつきません。

上のような問題に対処するためには、深層ニューラルネットワークの強みとシンボリックAIの強みを併せ持ったAIが望まれますが、一口に２つのアプローチのいいとこ取りをするといっても、容易なことではありません。現在、Symbolic AIからのアプローチでは、データのノイズやラベル付けの少々の間違いに対応できることや、推論結果の正否から後方伝搬によって学習する既存の深層学習ネットワークと共存していけるようにする取り組みがなされつつあります。一方で、深層学習からのアプローチでは、深層学習で学んだことを論理的な記号表現に落とすことや、論理的表現で得られる知識を深層学習ネットワークの一部として入れ込めるようにする取り組みがなされつつあります。

IBM Researchから発表された LNN (Logical Neural Networks) もそのような動きの１つです。LNNは、論理ネットワークとニューラルネットワークの両方の性質を併せ持っています。その応用例のひとつであるDTQA (Deep Thinking Question Answering) システムは、LNNの論理ネットワークとして構成したDBPediaなどの知識ベースの一部を活用して、「テニスのフェデラーの生まれた都市はアメリカ合衆国ですか？」のような、複数の知識と多段階の推論を必要とする質問に答えることのできる質問応答 (QA: Question Answering) システムです。これに関してのオンライン記事 (外部ページ、英語)が最近投稿されました。また、YouTubeでは、Neuro-Symboic関連の公開セミナー (外部ページ、英語)もときおり投稿されていきます。興味がありましたらぜひ見てみてください。

2020年12月6日から開催されたNeurIPS 2020 国際会議 (外部ページ、英語)でIBM Researchメンバーが主催するExpo Workshopの１つ、「Perspectives on Neurosymbolic Artificial Intelligence Research (外部ページ、英語)」では、DTQAについての講演（IBM FellowのSalim RoukosとPavan Kapanipathiが登壇）が初めて行われました。LNNを用いてDTQAがどのように構成されるか、わかりやすく解説しています。ビデオアーカイブが公開された場合(未定)はぜひご覧ください。

また、IBMリサーチのメンバーが他の研究機関のメンバーと共同運営する IJCAI 2020 国際会議 (外部ページ、英語)は、COVID-19の影響で延期され2021年1月7日-15日にオンライン開催されます。この会議でのワークショップ「 Knowledge Based Reinforcement Learning (外部ページ、英語)」では、知識活用していくタイプの強化学習についての研究発表や招待講演が行われます。この中では、LNNを活用した強化学習についての研究発表（東京基礎研究所の木村大毅が登壇予定）や、Neuro-Symbolic強化学習研究へのIBMリサーチの取り組みに関する招待講演（Neuro-Symbolic AI副社長のAlex Grayとともに東京基礎研究所の立堀道昭が登壇予定）なども行う予定です。ぜひご期待ください。