ChatGPT の作成者は AI を使って自分自身を説明しようとしているが、大きな問題に遭遇している

ChatGPT の作成者は、システムを一目瞭然にしようと努めてきました。

そして、彼らは成功した一方で、人間には名前も理解されていない概念を AI が使用する可能性があるという事実を含め、いくつかの問題があることを発見しました。

ChatGPT を開発した OpenAI の研究者は、GPT-4 として知られるそのモデルの最新バージョンを使用して、以前のバージョンである GPT-2 の動作を説明しようとしました。

GPT などの大規模な言語モデルを使用して、いわゆるブラック ボックス問題を克服する試みです。 このようなシステムに何が出入りするかについては比較的よく理解できていますが、内部で行われている実際の作業はほとんどが謎のままです。

これは、研究者にとって物事を困難にするという点だけが問題ではありません。 また、どのような結論に至ったのかを知る方法がほとんどないため、システムにどのようなバイアスが組み込まれているのか、あるいはシステムを使用している人々に誤った情報を与えているのかを知る方法がほとんどないことも意味します。

エンジニアや科学者は、モデル自体の内部を調べ、何が起こっているのかをよりよく理解する方法を模索する「解釈可能性研究」を通じて、この問題を解決することを目指しています。 これには、多くの場合、そのようなモデルを構成する「ニューロン」に注目する必要があります。人間の脳と同じように、AI システムは、全体を形成するいわゆるニューロンの集合で構成されます。

しかし、人間が手動でニューロンを選択して調べて、それらが何を表しているのかを確認する必要があったため、個々のニューロンとその目的を見つけることは困難です。 しかし、一部のシステムには数千億のパラメータがあるため、人間がそのすべてにアクセスすることは不可能です。

現在、OpenAI の研究者は、動作をより迅速に特定するために、GPT-4 を使用してこのプロセスを自動化することを検討しています。 彼らは、システムがニューロンの動作について自然言語で説明できるようにする自動プロセスを作成し、それを別の以前の言語モデルに適用することによってこれを実現しました。

これは 3 つのステップで機能しました。GPT-2 でニューロンを調べ、GPT-4 を試して説明し、次にそれらのニューロンが何を行うかをシミュレートし、最後にシミュレートされた活性化が実際の活性化とどのように機能するかを比較することによってその説明を記録しました。

これらの解釈のほとんどはうまくいかず、GPT-4 自体のスコアも低くなります。 しかし研究者らは、今回の実験で、さらなる努力をすればAI技術を使って自らを説明できることが示されることを期待していると述べた。

しかし、作成者たちは一連の「限界」に直面していました。つまり、現在のシステムは人間ほど行動を説明できないということです。 問題の一部は、システムがどのように動作するかを平易な言語で説明するのが不可能であることかもしれません。システムはおそらく人間が名前を付けることができない個々の概念を使用しているためです。

「私たちは短い自然言語の説明に焦点を当てましたが、ニューロンは簡潔に説明することが不可能な非常に複雑な動作をする可能性があります」と著者らは書いています。 「たとえば、ニューロンは多意味（多くの異なる概念を表す）であることも、人間が理解できない、または言葉を持たない単一の概念を表すこともできます。」

また、個々のニューロンが何を行うかに特に焦点を当てており、それがテキストの後半にどのように影響するかに焦点を当てていないため、問題も発生します。 同様に、特定の動作は説明できますが、その動作を生み出すメカニズムは説明できないため、実際には特定の動作の原因ではないパターンを検出する可能性があります。

研究者らは、このシステムは大量の計算能力も使用することに注目しています。