AIの創発能力とは？ブラックボックスの不思議

2023年4月20日

本記事では、AIの創発能力とブラックボックスの不思議について紹介しています。

AIの創発能力とは？

AIの創発能力（Emergent Properties）とは、予想外のスキルを自ら学習する現象です。

大規模言語モデルは規模が大きなり、より多くのデータでトレーニングされるにつれて、新しいタスクが達成できるようになる現象が発生すると研究で報告されています。

Google、スタンフォード大学、DeepMind、チャペルヒルにあるノースカロライナ大学の研究者による新しい研究では、LLM が大きくなり、より多くのデータでトレーニングされるにつれて達成できる新しいタスクが調査されています。

この研究は、大規模言語モデルの規模とその「創発的」能力との関係を明らかにしています。

参照：AI scientists are studying the “emergent” abilities of large language models – TechTalks

ブラックボックスの不思議

GoogleのCEOであるサンダー・ピチャイ氏は、CBSのインタビューにおいて現場でブラックボックスと呼ばれていることを明かし、「人間の心の仕組みと同様に完全に理解することはできない」と発言しています。

以下はインタビュー内容の原文と日本語翻訳です。

Of the AI issues we talked about the most mysterious is called emergent properties.

Some AI systems are teaching themselves skills that they weren’t expected to have.

How this happens is not well understood?

For example one Google AI proglam adapted on it’s own after it was prompted in the language of Bangladesh which it was not trained to know.

私たちが話した AI の問題のうち、最も謎に包まれているのは、創発能力（創発的能力）と呼ばれるものです。

一部の AI システムは、期待されていなかったスキルを自ら学習しています

これがどのように起こるかはよく理解されていませんか？

たとえば、Google の AI プログラムは、訓練されていないバングラデシュの言語で指示された後、独自に適応しました。

これに対して、Googleのエンジニアは下記のように回答しています。

We discovered that with very few amounts of prompting in Bengali you can now translate all of Bengali.

So now all of sudden we now have a research effort where were now trying to get to a thousand languages.

ベンガル語でプロンプトを表示する量が非常に少ないだけで、ベンガル語のすべてを翻訳できることがわかりました。

そのため、突然、1,000 の言語に到達しようとしていた研究活動が開始されました。

続けて、サンダー・ピチャイ氏は下記のように回答しています。

There is an aspect of this which we call all of us in the field call it as a black box.

You don’t fully understand and you can’t quite tell why it said this or why it got wrong we have some ideas and our ability to understand this gets better over time but that’s where the state of the art is.

これには、現場の私たち全員がブラックボックスと呼んでいる側面があります。

あなたは完全には理解していませんし、なぜそれがそう言ったのか、なぜ間違っていたのかを完全に理解することはできません。
サンダー・ピチャイ氏の発言

インタビューアーのスコット氏に