こんにちは！23 年度新卒のアルゴリズムエンジニアとして PKSHA Technology に入社しました、​髙﨑環​と古川拓磨です。2023年6月6日〜9日 に熊本で開催された 2023年度人工知能学会 全国大会（JSAI2023）に、AI 研究の最先端にキャッチアップすることを目的として我々 2 名が参加しました。この記事では、JSAI2023 の振り返りをしたいと思います。

大会概要

人工知能学会は、AI に関わる諸学問の合同研究活動を促進することを目的に 1986 年に設立された団体です。人工知能学会が主催する全国大会は、人工知能分野の研究に従事する全国の研究者が集う大規模な学会であり、今年度で 37 回目の開催となります。

今年は熊本城ホール ＋オンラインのハイブリッド形式で開催、参加人数は 3500 名を超え、そのうち現地参加が 7 割という、近年では最も盛況な大会となりました。ハイブリッドで開催されたこともあり、現地熊本に足を運びつつも、一部の発表はオンラインで聴講するといった柔軟な参加形態が実現されていたことも、今大会の魅力の一つです。

会場の一つであるメインホールは 2000 席以上が収容された非常に大きな空間で、AI 研究に関わる研究者や学生の数の多さ、ますますの AI 研究の盛り上がりを肌で実感する機会となりました。発表件数についても、近年で最多となる 950 件にものぼりました。プログラム全体の傾向としては、基礎理論はもちろん、医療・製造・生命科学・小売・地震・社会科学といった他分野へAIを応用した、学際的な研究も多く見かけました。深層学習に限らず、数理最適化やエージェント、シミュレーションに関する発表も活発です。

また、今後ますます AI が社会に浸透していく未来を見据え、「人の創造力は AI との共進化によりどのように変化するか？」や「人間と AI の共存のあるべき姿を考える」、「日本は生成 AI を起爆剤にできるのか？」といったセッションがあったことも印象的でした。情報系の研究者のみならず、ソフトウェア産業や製造業をはじめとする様々な産業界の技術者、哲学や倫理といった人文科学分野の研究者など、多様なバックグラウンドの方々が AI について活発に議論している場に参加できたことは、非常に良い経験でした。

研究紹介

JSAI2023 における学術発表の中で、我々が特に興味深いと感じた研究をいくつか取り上げ、簡単にご紹介したいと思います。

[3B1-TS-3-01] 解釈可能な機械学習
こちらはチュートリアルセッションとしての講演で、解釈性が必要な理由に始まり、説明手法の紹介や、説明可能な AI の注意点などが非常にわかりやすく説明されていました。ニューラルモデルの規模が大きく・複雑になるにつれ、モデルの振る舞いを理解することは一般的には難しくなります。一方でAI を社会実装する際には、透明性や解釈性を意識したモデル分析・実運用も重要なポイントになります。
講演の内容の中でも、LLM での In-context-Learning において、軽量な代理モデルの計算結果を基に、貢献度の高い単語を用いて質の高い prompt を作成する研究は興味深く、試してみたいと感じました。

[2E4-GS-6-05] 事前学習済み言語モデル中の多段階推論に関与するニューロンに関する分析
大規模な事前学習済み言語モデルは、入力する文脈に少量のサンプルを与える文脈内学習により、様々な言語生成タスクを解くことができます。文脈内学習の工夫として、中間の推論過程を明示的に与える思考連鎖プロンプト（chain-of-thought prompts）により、算術・常識・記号推論のような複雑な推論タスクにおける性能が向上すること報告されています。本研究では、思考連鎖プロンプトがモデルに及ぼす影響を分析するために、多段階推論時におけるニューロンの活性化を分析しています。モデルのサイズに限らず一部のニューロンが多段階推論時に活性化すること、そしてニューロン活性化を抑制することで多段階推論の性能が低下することが報告されていました。また、異なるプロンプト間でもニューロン活性化の類似性を確認しているなど、prompt engineering を試行錯誤するエンジニアにとっても考えさせられる実験もあり、大変興味深い発表でした。

[2H5-OS-8a-02] 自己回帰型言語モデルによる個人の移動軌跡の生成
個人の移動軌跡についてのビックデータは、災害や感染症、マーケティングなど様々な社会問題を分析する上で有用である一方、個人情報保護の観点から取り扱いが難しいとされています。本研究では、Transformer モデルを既存の個人情報データで学習し、統計的特性を保持した移動軌跡データを人工的に生成する手法を提案しています。
時間情報と位置情報を様々な粒度でトークン化するなどの工夫や、提案手法が自宅に帰宅するなどの実際の人間のような軌跡を生成できることなどが報告されており、非常に面白い研究だと感じました。また、移動軌跡データが様々な社会問題の分析に有用であり、応用先が豊富な点も魅力的だと思いました。

[1E5-GS-6-06] 対話比較による話者同一性判定タスクの提案とベースラインモデルの検討
対話システムの研究において、より一貫した人間らしい応答を生成させるために、特定の話者の特徴を付与する研究が行われています。先行研究の課題として、対話システムの評価者が再現の対象となる話者を熟知している必要があることを取り上げ、本研究では対話の比較のみを用いた評価手法を新たに提案しています。提案された話者同一性判定の人手・自動評価を実施した結果、いずれも高い精度で判定可能であることを報告しています。
社内でも一貫した対話応答の実現については活発な議論が行われており、本研究の評価手法も大変参考になると感じました。

[4A3-GS-6-04] 画像キャプショニングは画像そのものよりも多くを語る
様々なモダリティのデータを統合的に扱う研究が進展する中で、画像とテキストを扱う Vision&Language 領域の発展も目まぐるしいものがあります。本研究では、入力された画像に対する説明文を出力する画像キャプショニングというタスクを取り上げ、画像キャプショニングによって得られる文を画像分類器の特徴量として使用する試みを行っています。実験の結果、キャプション情報のみを用いた画像分類が CNN ベースの分類器の性能を上回りうることや、キャプション情報が CNN とは異なる見方で画像を見ていることを示しています。画像キャプショニングが音声認識と類似した問題構造をしているという主張や、細やかかつ具体を伴った分析などがされている点で、大変魅力的な研究だと感じました。

[1F5-GS-5-06] 深層強化学習を用いた協調的狩猟における学習過程の探索
チンパンジーやイルカなどが群れで狩りを行う「協調的狩猟」は生物集団で広く観察され、追い込み役と挟み込み役に分かれる、など互いに補完的な役割分担が観測されるそうです。本研究では、捕食者および獲物の行動を、深層強化学習（DQN）によりモデリングし、高度な知能は果たして協調的狩猟に必要なのか？という問いにアプローチしています。シミュレーションの結果、「捕食者のスピードは獲物より遅い」、「報酬は 2 体の捕食者で分配する」という二つの条件のもとで、追い込み役・挟み込み役という役割分担が自ずと生じる様子が観測されました。「他者の意図を汲み取る」といった高度な機構を明示的に与えていないにも関わらず、味方や獲物の位置や速度といった情報を DQN の入力として学習を重ねていくことで、自ずと役割分担が生じていくという観測結果は、大変興味深いと感じました。

感想

今大会で最も印象に残ったのは、AI にまつわる技術開発について、基礎理論から社会実装レベルまで幅広いレイヤーでの議論が盛り上がっていることでした。先述した学術発表だけではなく、企業によるスポンサーブースの訪問やインダストリアルセッションの聴講を通し、各社の取り組みについても詳細にお伺いすることができ、新たな AI の社会実装事例を生み出すヒントになることを数多く学ぶことができました。

PKSHA では、長年にわたり様々な業界に対しアルゴリズムの社会実装を行っており（事例はこちら）、今後も生成 AI をはじめとする最先端の技術を取り込んでいくために、来年以降の JSAI にも注目していきたいと思います。改めてにはなりますが、今大会の実現のために尽力された運営委員の皆様、興味深い発表をしてくださった登壇者の皆様、そして交流していただいた参加者の方々に感謝申し上げます。

株式会社 PKSHA Technology では、機械学習を含むアルゴリズムを社会に実装していく仲間を募集しています。AI関連の研究開発に従事されてきた方はもちろん、Kaggleなどのコンペティションに積極的に参加している方や、情報系以外のバックグラウンドから参画後に活躍している方など、多様なバックグラウンドを持つエンジニアが在籍しています。研究開発やコンペティションで育まれた技術を社会に還元することにご興味のある方は、是非各種サイトよりご応募いただけると幸いです。

▼採用職種一覧

▼Wantedlyはこちら

▼アルゴリズムインターン（25卒向け）はこちら

hrmos.co 長期就業型インターンシップ（PKSHAグループ）

株式会社PKSHA Technology 東京都文京区 ほか0箇所 インターン

募集要項をみる