MIT のリキッド ニューラル ネットワークがロボット工学から自己に至る AI の問題をどのように解決できるか

Jul 21, 2023

VB Transform 2023 のセッションを表示するには、オンデマンド ライブラリにアクセスしてください。ここから登録してください。

現在の人工知能 (AI) の状況では、大規模言語モデル (LLM) に関する話題が、ますます大規模なニューラル ネットワークの作成に向けた競争につながっています。 ただし、すべてのアプリケーションが、非常に大規模な深層学習モデルの計算量とメモリの需要をサポートできるわけではありません。

これらの環境の制約は、いくつかの興味深い研究の方向性につながりました。 リキッド ニューラル ネットワークは、MIT のコンピューター サイエンスおよび人工知能研究所 (CSAIL) の研究者によって開発された新しいタイプの深層学習アーキテクチャであり、特定の AI 問題に対するコンパクトで適応性のある効率的なソリューションを提供します。 これらのネットワークは、従来の深層学習モデルに固有の課題のいくつかに対処するように設計されています。

リキッド ニューラル ネットワークは、AI における新たなイノベーションを促進する可能性があり、ロボット工学や自動運転車など、従来の深層学習モデルが困難を抱えている分野では特に刺激的です。

「リキッド ニューラル ネットワークのインスピレーションは、機械学習への既存のアプローチについて考え、それがロボットやエッジ デバイスが提供する安全性が重要なシステムにどのように適合するかを検討したことでした」と MIT CSAIL ディレクターのダニエラ ラス氏は VentureBeat に語った。 「ロボットでは、実際には大規模な言語モデルを実行することはできません。そのための計算 [パワー] スペースや [ストレージ] スペースが実際には存在しないからです。」

VB Transform 2023 オンデマンド

VB Transform 2023 のセッションを見逃しましたか? 登録すると、すべての注目セッションのオンデマンド ライブラリにアクセスできます。

Rus とその共同研究者は、クラウドに接続することなくロボットのコンピューター上で実行できる、正確かつ計算効率の高いニューラル ネットワークを作成したいと考えていました。

同時に、彼らは、わずか 302 個のニューロンで複雑なタスクを実行する C. エレガンス線虫などの小さな生物に見られる生物学的ニューロンの研究からインスピレーションを受けました。 彼らの研究の結果、リキッド ニューラル ネットワーク (LNN) が誕生しました。

リキッド ニューラル ネットワークは、従来の深層学習モデルからの大きな脱却を表しています。 彼らは、計算コストが低く、トレーニング中にニューロンを安定させる数学的定式化を使用します。 LNN の効率性の鍵は、動的に調整可能な微分方程式の使用にあり、これによりトレーニング後に新しい状況に適応できるようになります。 これは、一般的なニューラル ネットワークには見られない機能です。

「基本的に私たちが行っていることは、既存のモデルよりも 2 つの洞察によってニューロンの表現学習能力を向上させることです」と Rus 氏は言います。 「1 つ目は、学習中のニューロンの安定性を高める、ある種の適切に動作する状態空間モデルです。 そして、シナプス入力に非線形性を導入して、トレーニングと推論の両方でモデルの表現力を高めます。」

また、LNN は従来のニューラル ネットワークとは異なる配線アーキテクチャを使用しており、同じ層内での横方向の再帰接続を可能にします。 基礎となる数式と新しい配線アーキテクチャにより、液体ネットワークは動作を動的に調整できる連続時間モデルを学習できます。

「このモデルは、認識した入力に基づいてトレーニング後に動的に適応できるため、非常に興味深いです」と Rus 氏は言います。 「そして、それが観察する時定数は、それが観察する入力に依存するため、このニューロンの定式化を通じて、はるかに高い柔軟性と適応性が得られます。」

LNN の最も顕著な特徴の 1 つは、そのコンパクトさです。 たとえば、古典的なディープ ニューラル ネットワークでは、車を車線内に維持するなどのタスクを実行するために、約 10 万個の人工ニューロンと 50 万個のパラメーターが必要です。 対照的に、Rus らは、わずか 19 個のニューロンで同じタスクを達成するように LNN をトレーニングすることができました。

このサイズの大幅な縮小は、いくつかの重要な結果をもたらすとラス氏は述べた。 まず、ロボットやその他のエッジ デバイスに搭載されている小型コンピューター上でモデルを実行できるようになります。 そして第二に、ニューロンが少なくなると、ネットワークはより解釈しやすくなります。 解釈可能性は AI の分野における重要な課題です。 従来の深層学習モデルでは、モデルがどのようにして特定の決定に至ったのかを理解するのが難しい場合があります。