[Vol.2]LLMが直面する「環境負荷」の問題を解決するために｜ネットワーク分散AIから考える、AIの未来

[Vol.1]LLMの課題を乗り越えるAIモデルとは？
[Vol.2]LLMが直面する「環境負荷」の問題を解決するために

ネットワーク分散型AIは「環境負荷」の問題を打開できるか？

谷村：
大規模言語モデル（LLM）が抱える課題として、プライバシーやデータガバナンスと並んでよく指摘されるトピックが「エネルギー問題」です。特に最近のAIは巨大化しており、AIが学習するために新しい発電所を建てる必要性が出てくるほど、電力消費が非常に重要な問題になっています。

その反面、太陽光発電をはじめとした再生可能エネルギーは、局所的に見ると、余っていることが少なくありません。日本においても、東京で電力が足りない時でも、九州では余っていたりします。あるいは昼間の日光が強い時間帯は電力が余っているものの、夕方や夜間には電力が足りなくなることもある。こうしたアンバランスさがあるわけです。

このようなとき、クライアントごとにAIの処理、つまりは電力消費が分散されている連合学習、あるいはネットワーク分散AIは、地域における再生エネルギーの導入や活用と相性が良い可能性があります。AIが実行される、つまり電力を消費する地域が分散していれば、電力の余っている地域や時間に需要をうまく割り当てることで、エネルギーを効率的に利用できる可能性があるわけです。

もちろん、シンプルに電力の余っている地域から、電力の足りない別の地域に電力自体を送電する方法はありえます。しかし一般的には、各地域で余った電力を別の場所に送るよりも、AIのようなデータ処理を送るほうが容易です。例えば日本とアメリカの間で、光ファイバーを経由して通信を行いデータ処理を移動することができるわけですが、電力を日本からアメリカに太平洋を越えて送るのは、とても大変です。電力という資源を送るよりも、AIによる電力消費という需要を送るほうが、ある意味では簡単なわけです。

一方で通信は、電力ではなく、ある種の意味を送るわけですから、そこには、また別の問題が生じてきます。

中野：
たとえば国境の問題がありますね。日本国内であれば問題にならないことでも、国外にはデータを送ってはならない法的規制が存在します。実際に運用をめざすうえでは、これらの課題を解決していく必要があります。

部分が自律性を保ったまま、全体が組み上がっていくシステム

谷村：
環境負荷の議論に関して、三宅さんは何が問題だと考えていますか？

三宅さん：
そもそも今の時代は何かとクラウドに上げるのが一番良いといった風潮がありますが、私は基本的にローカルで回すべきものはローカルで回す方が良いと考えています。エネルギーも同様で、ローカルである程度の自律性を担保すべきでしょう。なぜなら、どこかが止まると全体が止まってしまうリスクがあるからです。

特に空間に関わるAIに関しては、独立したシステムがある単位として動くべきではないかと。さすがに「部屋単位」とは言わないまでも、ビルなのか、区域なのか、最適な単位に分けられるべきでしょう。それにより自律性を保ちつつ、セキュリティが守られるのだと思います。大きな空間知能の集合体としては、最終的にはスマートシティになると考えていますが、その設計も部分的に自律性を保ったまま全体が組み上がっていくようなシステムが望ましいと思います。逆に一極集中のアプローチを採ってしまうと、どんどん負荷が大きくなり、最終的にはスケールできなくなるのではないかと思います。

中野：
そうすると、ビルや区画などある単位ごとでデータセンターに当たるものが設置され、ローカルにデータが保存されて、モデルがどんどん洗練されていくのでしょうか？

三宅さん：
理想的にはそうなります。今は電力消費にしろ、ガスエネルギー消費にしろ、リアルタイムで計測するのが世界的にはトレンドになっています。そうすると、渋谷区なら渋谷区でデータを管理したいといった意向もあるかと思います。例えば区として「犯罪ゼロをめざす」とか「電力消費を抑える」といった目標を立てて管理する上でも、範囲を具体的に分ける方が望ましい場合が出てくるでしょう。

谷村：
「分散」の範囲をどう区切るのか、というのは大きな問題ですよね。分散といっても、国単位の分散、地域・市単位の分散、ビル単位・部屋単位の分散、自動車や電車車両ごとの分散、そして個人ごとの分散と、いくつものレベルが考えられます。

「SLM」（小規模言語モデル）の可能性

中野：
最近LLMを自動運転に搭載するという議論をよく目にしますが、そこでも消費電力の問題が指摘されています。仮に一台だとしてもデータを上げ続けるとなれば、一日何テラバイトといった大きな容量になってしまいます。だからこそ分散するエージェントを自律させたり、モデルを小型化することが不可欠なのだと思います。

三宅さん：
LLMは大規模化の一途を辿っていて、ローカルのコンピュータには収まらなくなっています。でも車に搭載するのであれば、LLMが何もかも知っている必要はないわけですよね。タクシーの中で使用される言語空間は限られているわけで、よりコンパクトなソリューションを作っていかなければならない。案外コンパクトなLLMが将来流行るかもしれません。

谷村：
はい。まさにその通りだと思います。LLMあるいはエージェントが、常に万能選手である必要は、必ずしもないんですよね。

その点、最近耳にすることの多くなった「SLM（Small Language Model：小規模言語モデル）」はLLMほど多様なタスクはこなせないものの、特定の用途に特化させることで効率的に機能します。これも、よりコンパクトなLLMを求める潮流の一部かなと思います。もちろん、SLMに注目が集まる背景には、ごく一部の巨大テック企業以外では計算資源の問題で最先端のLLMを作れなくなっている、ということもありますが。

ただ個人的に思っているのは、LLMを小型化してSLMを作るのは、巨大モデルを作るのとはまた別種の難しさがあるな、というところです。例えば、三宅さんがおっしゃったようにタクシーの中でだけ使うためのSLMを開発するとします。そうすると、使用する言語空間は制約されているが、とはいっても、一般的な推論能力や判断能力は備えていてほしい。では、LLMのなかから、いらない部分を削って小型化しよう、となります。しかし、そうしたとき、我々はまだ、LLMの中のどのモジュール、どのニューロンを外すと、どんな変化が起こるのかを、実は真の意味では理解していないんです。

これはLLMに限らず、ニューラルネットワーク全般に言えます。我々は、自分自身、つまり人間の知性が動作するメカニズムを理解していないし、同じように、LLMが持っている知的な振る舞いが、どんなメカニズムで行われているか、本当に深い意味では理解していない。

だから、ある種経験的、実験的に試していくしかないわけです。「このニューロンは、数学の問題を解くのに使っているから、タクシー内では必要ないだろうから削ろう」とはいかないわけです。そこに難しさがあります。

中野：
小規模化を図るため、特定の知能を切り取ろうとすると、全体としての知能レベルも下がってしまいますよね。

谷村：
この辺りは、生成AIのモデルサイズを大きくしていくと、ある時点で能力が創発的に発現するのではないか、という議論とも絡んでいるかもしれません。ともあれ、仕組みの解明は、まだ研究の途上ということですね。考えていくとだんだんと、そもそも知性とは何だろうか、のような哲学的な問いにぶつかってきます（笑）

取材協力／立教大学 池袋キャンパス

関連リンク

ネットワーク分散AIの実現に向けた連合学習 : 日立評論

生成AIをはじめとする深層学習ベースAIの構築とドメイン特化には膨大な業種特化データが不可欠です。本稿では、機密を保護しながら複数の組織に分散するデータを効果的に利用する「連合学習」技術の基本的な手法と、日立の取り組みについて解説するとともに、近年注目を集めている生成AIへの適用可能性についても考察します。

www.hitachihyoron.com

三宅 陽一郎
立教大学大学院人工知能科学研究科　特任教授

ゲームAI研究者、開発者。1975年生まれ、兵庫県出身。京都大学総合人間科学部卒業、大阪大学大学院理学研究科修士課程を経て、東京大学工学系研究科博士課程単位取得満期退学。博士（工学、東京大学）。デジタルゲームにおける人工知能の開発・研究に従事し、立教大学大学院人工知能科学研究所特任教授・東京大学生産技術研究所特任教授を務める。2020年度人工知能学会論文賞受賞。著書は『戦略ゲームAI 解体新書』『人工知能が「生命」になるとき』など多数。

谷村 崇仁
日立製作所 研究開発グループ デジタルサービス研究統括本部 デジタルサービスプラットフォームイノベーションセンタ エッジインテリジェンス研究部 主任研究員

先端ネットワークシステムの研究開発、ネットワーク分野における深層学習技術の研究開発経験を経て、2020年株式会社日立製作所に入社。現在は、ネットワークと分散生成AIの融合をめざした研究に従事。東京工業大学理学部卒業、東京工業大学大学院理工学研究科修士課程了。東京大学工学系研究科博士課程了。博士（工学、東京大学）。電子情報通信学会シニア会員。日本物理学会会員。全国発明表彰 特許庁長官賞、科学技術分野の文部科学大臣表彰 科学技術賞（開発部門）受賞。

中野 和香子
日立製作所 研究開発グループ デジタルサービス研究統括本部 デジタルサービスプラットフォームイノベーションセンタ エッジインテリジェンス研究部 研究員

1995年生まれ、関西学院理工学研究科修士課程修了。2020年株式会社日立製作所に入社。現在は、ネットワークと分散生成AIの融合をめざした研究に従事。電子情報通信学会会員。

[Vol.1]LLMの課題を乗り越えるAIモデルとは？
[Vol.2]LLMが直面する「環境負荷」の問題を解決するために