OpenAI が掲げる”ミッション”を読んでみる【OpenAI動向】

私たちの使命は、人間よりも一般的に賢いAIシステムである人工汎用知能（AGI）が人類全体の利益になるようにすることです。

AGIが成功裏に創造された場合、この技術は豊かさを増大させ、グローバル経済を加速させ、可能性の限界を変える新しい科学的知識の発見を助けることによって、人類を高めるのに役立つかもしれません。

AGIは、私たち全員にほぼどんな認知タスクにも助けを提供することで、信じられないほど新しい能力を与える可能性があります。これは、人間の創造性と創造力のための素晴らしい力の増幅器となる世界を想像することができます。

一方で、AGIは悪用、劇的な事故、社会的混乱の深刻なリスクも伴います。AGIの利点が非常に大きいため、私たちは社会が永遠にその開発を停止することは可能でも望ましいことでもないと考えています。代わりに、社会とAGIの開発者がそれを正しく行う方法を見つけ出さなければなりません。

私たちは、予想よりも多くの贈り物を与えられたようです。例えば、AGIを作るのに膨大な量のコンピュートが必要になるため、世界はそれに取り組んでいる人々を知ることになるでしょう。最初に考えられていたような、互いに競合し進化する超進化したRLエージェントが、私たちが本当に観察できない方法で知能を進化させるという考えは、最初に思われたよりも起こりにくいようです。人類の集合的な好みと出力から学ぶことができる事前訓練された言語モデルのこのような進歩をほとんど誰も予測していませんでした。

AGIは近い将来、または遠い未来に起こる可能性があります。初期のAGIからより強力な後継システムへの離陸速度は、遅いか速いかのどちらかです。私たち多くは、短いタイムラインと遅い離陸速度の四分円が最も安全だと考えています。短いタイムラインは調整に適しており、コンピュートの過剰が少ないために遅い離陸をもたらす可能性が高いと考えられ、遅い離陸は安全問題を経験的に解決する方法と適応する方法を見つけ出すためにより多くの時間を与えます。

正確に何が起こるかを予測することはできませんが、もちろん現在の進歩が壁にぶつかる可能性もありますが、私たちは最も気にかけている原則を明確にすることができます：

私たちはAGIが人類が宇宙で最大限に繁栄することを可能にすることを望みます。未来が無条件のユートピアになるとは期待していませんが、良いことを最大化し、悪いことを最小化し、AGIが人類の増幅器になることを望んでいます。
私たちは、AGIの利益、アクセス、およびガバナンスが広く公平に共有されることを望んでいます。
私たちは、大規模なリスクをうまくナビゲートしたいと考えています。これらのリスクに直面する際、理論上正しいと思われることが実際には予想以上に奇妙な方法で展開することを認識しています。私たちは、技術のより弱力なバージョンを展開することによって継続的に学習し適応する必要があると信じています。「一発で正しくする」シナリオを最小限に抑えるためです。

短期的には、AGIに備えるために今行うべきいくつかの重要なことがあります。

まず、私たちは次第により強力なシステムを作成する際、それらを展開し、実世界での運用経験を積むことを望んでいます。私たちはこれが、AGIを存在へと慎重に導く最善の方法だと信じています。突然の移行よりも、AGIの世界への段階的な移行の方が良いと考えています。強力なAIは世界の進歩の速度を大幅に速めると期待しており、これに段階的に適応する方が良いと考えています。

段階的な移行は、人々、政策立案者、そして機関が何が起こっているのかを理解する時間を与え、これらのシステムの利点と欠点を個人的に体験し、私たちの経済を適応させ、規制を実施することを可能にします。また、社会とAIが共進化し、人々が相対的に低いリスクで何を望んでいるかを集団的に把握することを可能にします。

AI展開の課題をうまくナビゲートするための現在の私たちの信念は、迅速な学習と慎重な反復の緊密なフィードバックループであるということです。社会は、AIシステムが許可されるべきこと、バイアスと戦う方法、仕事の置き換えに対処する方法など、主要な質問に直面するでしょう。最適な決定は技術の進路に依存し、新しい分野のように、これまでのほとんどの専門家の予測は間違っていました。これは、真空の中で計画することを非常に困難にします。

例えば、OpenAIを始めたとき、私たちはスケーリングがこれほど重要になるとは予想していませんでした。それが重要になると気づいたとき、私たちの元の構造が機能しないことも理解しました。非営利団体として私たちの使命を達成するために十分な資金を調達することは単純にできないため、新しい構造を考え出しました。

別の例として、私たちは最初の考え方について間違っていたと今では信じています。すべてをリリースするべきだと考えていましたが（いくつかのものをオープンソースにし、将来的にもっとエキサイティングなものをオープンソースにする予定です！）、システムへのアクセスと利益を安全に共有する方法を見つけ出すべきだと考えるようになりました。社会が何が起こっているかを理解する利益は巨大であり、そのような理解を可能にすることが、社会全体が集団的に望むものが構築されるための最善の方法であると依然として信じています（明らかにここには多くのニュアンスと対立があります）。

一般的に、私たちは世界でのAIの使用が良いことにつながると考え、それを推進したいと考えています（私たちのAPIにモデルを置いたり、それらをオープンソースにしたりすることによって）。私たちは、民主化されたアクセスがさらに多くの良い研究、分散化された力、より多くの利益、そして新しいアイデアを提供する幅広い人々のセットにつながると信じています。

私たちのシステムがAGIに近づくにつれて、私たちはモデルの作成と展開にますます慎重になっています。私たちの決定は、社会が通常新技術に適用するよりもはるかに注意が必要であり、多くのユーザーが望むよりも注意が必要になるでしょう。AI分野の一部の人々は、AGI（および後継システム）のリスクが架空のものだと考えています。それらが正しいことが判明すれば私たちは喜びますが、これらのリスクが存在するものとして運営するつもりです。

いずれにせよ、展開の利点と欠点のバランス（悪意のあるアクターを強化したり、社会経済的な混乱を引き起こしたり、安全でない競争を加速させたりすることなど）が変化する場合、私たちは連続展開に関する計画を大幅に変更する可能性があります。

私たちのシステムがAGIに近づくにつれて、私たちはモデルの作成と展開にますます慎重になっています。

第二に、私たちはますます整合性が高く操縦可能なモデルを作成することに取り組んでいます。GPT-3の最初のバージョンからInstructGPTやChatGPTへのシフトは、この早い例です。

特に、私たちは社会がAIの使用方法について非常に広い範囲で合意することが重要だと考えていますが、その範囲内で個々のユーザーが多くの裁量を持つべきです。私たちの最終的な希望は、世界の機関がこれらの広い範囲について合意することです。短期的には、外部入力のための実験を実

施する予定です。AGIに関する複雑な決定のために、世界の機関は追加の能力と経験で強化される必要があります。

私たちの製品の「デフォルト設定」はかなり制約される可能性が高いですが、ユーザーが使用しているAIの振る舞いを簡単に変更できるようにする計画です。私たちは個人が自分自身の決定を下すことを信じ、アイデアの多様性の力を信じています。

私たちのモデルがより強力になるにつれて、新しい整合性技術を開発する必要があります（そして、現在の技術が失敗しているときを理解するためのテスト）。短期的には、より複雑なモデルの出力を評価し、複雑なシステムを監視するのに役立つAIを使用する予定です。長期的には、より良い整合性技術のための新しいアイデアを考え出すのにAIを使用する予定です。

重要なのは、しばしばAIの安全性と能力に同時に取り組む必要があるということです。それらを別々に話すことは誤った二分法です。それらは多くの方法で相関しています。私たちの最高の安全作業は、最も能力の高いモデルで働いてきた結果です。それにもかかわらず、安全性の進歩と能力の進歩の比率が増加することが重要です。

第三に、これらのシステムをどのように統治するか、それらが生成する利益をどのように公平に分配するか、そしてアクセスをどのように公平に共有するかについてのグローバルな会話を望んでいます。

これらの3つの領域に加えて、私たちは私たちのインセンティブを良い結果と一致させる方法で私たちの構造を設定しようと試みました。私たちの憲章には、後期のAGI開発で他の組織と競争するのではなく、安全性を進めるために他の組織を支援する条項があります。私たちの株主が稼げるリターンに上限があります。これにより、無制限に価値を取り込もうとするインセンティブがなく、潜在的に壊滅的に危険なものを展開するリスクを回避することができます（もちろん、社会と利益を共有する方法としても）。私たちは、私たちを統治し、人類のために運営することを可能にし、必要に応じて株主へのエクイティ義務をキャンセルしたり、世界で最も包括的なUBI実験をスポンサーすることができる非営利団体を持っています。

私たちは、私たちのような取り組みが新しいシステムをリリースする前に独立した監査に従うことが重要だと考えています。私たちは今年後半にこれについて詳しく話す予定です。いずれにしても、将来のシステムのトレーニングを開始する前に独立したレビューを得ることが重要になるかもしれませんし、最も進んだ取り組みが新しいモデルの作成に使用するコンピュートの成長率を制限することに同意することが重要になるかもしれません。AGIの取り組みがトレーニングランを停止すべき時、モデルがリリースに安全であると判断する時、または製品使用からモデルを引き上げるべき時についての公共の基準が重要です。最後に、特定の規模以上のトレーニングランについて主要な世界政府が洞察を持つことが重要だと思います。

長期的には、人類の未来は人類によって決定されるべきであり、進歩についての情報を公に共有することが重要です。AGIを構築しようとするすべての努力には厳しい監視が必要であり、主要な決定には公的な協議が必要です。

最初のAGIは知能の連続体に沿った単なる点に過ぎません。ここから進歩が続くと思われ、過去10年間に見られた進歩の速度が長期間にわたって維持される可能性があります。これが真実であれば、世界は今日とは大きく異なるものになり、リスクは非常に大きくなるかもしれません。誤整合の超知能AGIは、世界に甚大な

害を与える可能性があります。決定的な超知能リードを持つ専制政権も同様にそうする可能性があります。

科学を加速することができるAIは、考える価値のある特別なケースであり、他のすべてよりも影響が大きいかもしれません。自己の進歩を加速するのに十分な能力を持つAGIが、驚くほど迅速に主要な変化を引き起こす可能性があります（そして、移行がゆっくりと始まったとしても、最終段階ではかなり迅速に発生することを期待しています）。私たちは、遅い離陸が安全にするのが簡単であり、AGIの取り組み間の調整が重要な節目で遅くすることが重要になると思います（技術的な整合性の問題を解決するためにこれを行う必要がない世界でさえ、社会に適応するのに十分な時間を与えるために、遅くすることが重要かもしれません）。

超知能の世界への成功した移行は、人類史上おそらく最も重要であり、希望に満ち、そして恐ろしいプロジェクトかもしれません。成功は保証されておらず、無限の下降と無限の上昇の賭けは、私たち全員を結束させることを願っています。

私たちは、私たちのいずれかが完全に視覚化するのがおそらく不可能である程度に人類が繁栄する世界を想像することができます。私たちは、そのような繁栄と一致するAGIを世界に貢献することを望んでいます。