【ハイブリッド開催】第152回 「ロボットのためのLLM・VLM 利活用」

注意事項：最初にご確認ください

• 現地会場は入構時セキュリティがある為、事前に会場入場登録をする必要があります。その為現地会場申込締切は通常より早まりますことをご了承ください。
• 講演者は現地会場にて講演予定です。講演者の体調不良等でオンラインでの講演になる場合は本ページにてお知らせいたします。
• 資料配布は現地参加／オンラインいずれもクラウドサーバのBOX（https://app.box.com）よりダウンロードいただきます。詳細は、参加費お支払い完了後の返信メールにてご案内いたします
• オンライン参加申込みの場合、申込み完了と同時にオンライン参加方法の詳細をご連絡するため、原則現地参加への申込み変更をお受けいたしかねます。
• 現地参加／オンライン参加いずれの参加形態でも、講演後見逃し配信を実施予定です（通信状況により一部欠損する場合もございます）。
• 体調不良等で現地参加が難しくなった場合には事務局までご連絡ください。
以上をご了承の上でお申込みくださいますようお願いいたします。

口　上：

　近年発展を続けているLLM(Large Language Models)及びVLM(Vision LanguageModels)は、ロボットシステムでも活⽤されるようになってきました．ロボットシステムへの LLM・VLM利⽤は、例えばロボットの利⽤者視点から⾒ると、ロボットの操作が容易に利⽤できるといった利点を持ちます．⼀⽅で実利⽤時は、ロボットの低レイヤーの制御や基本的な認識技術をどこまで⽤意する必要があるか、どのような⼊⼒が有⽤かなど、実際に開発する際に検討を要する項⽬もあります．本セミナーでは専⾨ 家の⽅々を講師に迎えて、LLM・VLM の概要から様々なロボットへのLLM 応⽤までをご紹介いただきます．本セミナーを通じて、LLM・VLM をロボットに利⽤する知⾒を共有します．

オーガナイザー：坂井　亮（日立製作所）

講演内容：

09:50-10:00 ＜開会挨拶・講師紹介＞

10:00-11:00 第1話　⾃⼰教師あり学習によるビジョン基盤モデルの事前学習

中部⼤学　藤吉 弘亘

   ⾃⼰教師あり学習は，ラベルなしデータを⽤いた事前学習法である．⾃⼰教師あり学習では，データから正解ラベルを⾃動で作成できるプレテキストタスクにより事前学習を⾏い，様々な下流タスクに効果的な特徴表現を獲得する．対照学習に基づく⼿法が教師あり事前学習法と同程度以上の学習効果が⽰されて以降，対照学習の派⽣⼿法が数多く提案された．また，Vision Transformer (ViT) の台頭以降は，ViT の構造に合わせた⽅法として Masked Image Modeling が提案され，現在に⾄るまで盛んに研究が⾏われている．本チュートリアルではまず⾃⼰教師あり学習の概要と代表的な評価⽅法について紹介し，対照学習と Masked Image Modeling ⼿法について解説する．

11:00-11:05＜休憩＞

11:05-12:05 第2話　ロボティクスにおける⼤規模⾔語モデル・視覚⾔語モデルの利活⽤

慶応義塾⼤学 　杉浦 孔明

   ⼤規模⾔語モデル（LLM）や視覚⾔語モデル（VLM）の急速な発展は社会全体に影響を与えており、ロボティクスも⼤きな転換期を迎えている．複雑な環境の理解、⾃然な対話、⻑期の動作計画、等を統合したロボットシステムの構築には複数分野に亘る専⾨性が必要であったが、LLM や VLM は各機能の汎⽤性を向上させるとともに、それらの統合を容易にした．本講演では、LLM やVLM の概要、視覚⾔語情報の利⽤⽅法、マルチモーダル⾔語処理の応⽤、ロボティクス応⽤における注意すべきポイントと展望について述べる．

12:05-13:00 ＜休憩（昼食）＞

13:00-14:00 第3話　LLM・VLM の実ロボット応⽤例とその分類

東京⼤学　河原塚 健⼈  

   LLM・VLM に代表される基盤モデルは, ⾔語や画像, ⾳声, 深度などの多様な⼊出⼒を扱うことができ,すでにロボットの認識・制御・動作計画などの様々な領域に応⽤が広がっている.本講演ではまず, 実ロボットへの適⽤という観点から, 多様な⼊出⼒を持つ基盤モデルを分類し, その特徴を整理する.次に, ロボットの認識・制御・動作計画のそれぞれについて, どのような形で基盤モデルを適⽤することができるのか, 世界中の研究例, そして我々の事例を紹介する.

14:00-14:05 ＜休憩＞

14:05-15:05 第4話 ロボット基盤モデルの構築に向けて　

東京⼤学　松嶋 達也

  近年，GPT や CLIP などの⼤規模⾔語モデル（LLMs）や⼤規模視覚⾔語モデル（VLMs）を，認識やプランニングのモジュールとして活⽤し，実世界の中でタスクや環境の変化に頑健な汎⽤性の⾼いロボットシステムの研究開発が盛んになっている．⼀⽅ で，ロボットが実世界で⾏動することにより蓄積されるデータを活⽤して，ロボットの制御とより密接に結びついた基盤モデル（いわばロボット基盤モデル）を構築しようとする研究も進⾏している．本発表では，これらのロボット基盤モデルの構築を⽬指した，モデルやデータセットのスケール化に向けた取り組みを解説する． 　

15:05-15:15 ＜休憩＞

15:15-16:15 第5話 ⼤規模マルチモーダル物理基盤モデルとしてのロボティクス　

早稲⽥⼤学　尾形 哲也

  ⼤規模⾔語モデル（LLM）のロボティクス利⽤が活発となってきている．しかし⾔語は世界の抽象表現であり、今後、マルチモーダル情報を基盤とした世界モデル（能動的なインタラクションモデル）が重要となるだろう．本講演では、これらの概念の基盤となる能動的推論についての基本的な考え⽅を概説し、実ロボットへの応⽤事例を紹介する．またムーンショットプロジェクトを例に今後の展望についても議論する． 　

16:15-16:20 ＜休憩＞

16:20-17:20 パネルディスカッション　

17:20 ＜閉会＞

参加申込方法　※現地会場とオンラインの申込締切日が異なりますのでご注意ください　

必ず参加申込みおよび参加費のお支払い方法のご案内ページをご確認の上，下記よりお申し込みください．

※運用方法（オンライン配信のタイムシフト配信(見逃し配信)の実施）の変更により、第132回セミナーより申込後のキャンセルは一切不可と致します。