はじめに
シェルパ・アンド・カンパニー株式会社の梶川（AI事業部インターン）と神田（AI事業部）です。
弊社ではESG領域の課題解決を中心的テーマとして自然言語処理技術の研究開発を行っています。去る2025年3月に開催された言語処理学会第31回年次大会（NLP2025）ではプラチナスポンサーとして協賛・出展し、また1件の学会発表を行いました。本記事では、その参加の様子や発表内容を報告します。
NLP2025のセクションは神田が、それ以降のセクションは梶川が執筆を担当します。
NLP2025
言語処理学会年次大会（NLP）は、自然言語処理に関する研究発表および国内交流の目的で毎年開催されている学会です。参加者数は年々増加しており、今年度は777件の発表件数となっています。今年は長崎県の出島メッセ長崎で行われました。
弊社からはAI事業部のメンバーを中心に6名が現地参加しました。また、昨年に引き続きプラチナスポンサーとして協賛致しました。ブースには多くの方にお立ち寄りいただき、弊社のESGに関する取り組みや、最近の研究成果について、充実した意見交換をさせていただきました。製品デモに関心を示してくださった方も多く、大変有意義なブース出展でした。
発表した論文
弊社では、様々な媒体のドキュメントを効率的に検索しなければならない課題があります。梶川はインターンの課題としてこれらの検索精度改善に取り組んでいました。その中で得られた知見の一つを成果としてまとめ、本学会で発表しました。その内容を紹介します。
ベクトル検索において、テキスト同士の特徴が異なる状況で同じ埋め込みモデルを用いると、正しく検索できない問題があります。例えば、クエリは疑問文かつ簡潔な文である一方で、文書は平叙文かつ複雑な文書になっている場合、ベクトル化した際に取り込まれる情報が異なるため、うまく検索できないことがあります。
このような現象はシェルパの業務においても発生し、実際に製品上での検索精度を落とす原因となります。本研究ではこの問題を回避するために、テキスト同士を同じ形式に統一する前処理手法を提案しました。具体的には下図のように、クエリと検索文書をあらかじめLLMに通し、同一の形式に変換したものをベクトル検索の対象とすることで検索精度の改善を図ります。
どのような形式が検索に適しているかは議論の余地がありますが、本研究ではテキストの重要な情報を抽出し、”{属性}: {値}”の形式で書き下すものとしました。上図の例では、”カテゴリー”, “キーワード”, “説明” という3つの属性を用いてクエリと文書からそれぞれの値を抽出しています。これにより、クエリと文書の比較を同一構造の文の上で行うことができるようになります。変換した両者のテキストは単一の埋め込みモデルでベクトル化され、最終的な類似度が計算されます。
この手法がどの程度有効かを調べるために、日本語のテキスト検索タスクであるJQaRAデータセットと複数の埋め込みモデルを用いて検証しました。その実験結果を以下の表に示します。
「ベースライン」がテキスト構造化を適用しなかった場合、「提案手法」がテキスト構造化を適用した場合の結果です。全ての埋め込みモデルにおいて、テキスト構造化を適用することで性能が改善することが確認できます。
ところで、この性能改善は本当に構造化による恩恵から来るものでしょうか。事例レベルの分析を行った結果、提案手法によるテキスト構造化では元のクエリ文には含まれない擬似的な回答情報まで生成されていることが判明しました。擬似回答を用いた検索精度改善は先行研究でも報告されており、上記の結果が擬似回答によるものなのか、それともテキスト構造化によるものかは、この実験結果だけでは分かりません。
そこで要因分析として、HyDEと呼ばれる擬似回答生成手法を適用した場合と、HyDEに加えて提案手法のテキスト構造化を行った結果との差分を比較することで、テキスト構造化単体の精度改善の有無を確認しました。分析の結果、全体として両者に有意な差はなく、テキスト構造化単体の性能面での寄与は限定的であることが確認されました。ただし、提案手法では構造化の結果として対象となる特徴量がソフトウェア的に管理しやすくなるなど、擬似回答生成では得られない性能と実用の両面での複合的な優位性が存在することも確認されました。
分析の詳細が気になる方はぜひ本論文を参照していただければと思います。
発表当日は沢山の方と質疑応答できました。ありがとうございました。
気になった論文
NLPでは学術界・産業界問わず、多くの発表がありました。その中で特に気になった論文を梶川がいくつか紹介します。
「実用的な品質観点に基づくRAG性能評価用QAデータセットの自動生成」
本研究では、RAGシステムの高品質な評価セットを自動生成する手法を提案しています。単に生成するのではなく、多様性や現実性といった品質観点に基づいて生成するように工夫がされていました。RAGの実運用を意識した研究であり、今後の発展に期待が持てました。
「LLMにおける内部表現を用いた日本語スタイル制御メカニズムの分析」
文のスタイルを制御する手法として、モデルの内部表現を直接操作する研究が注目されています。しかし、内部表現の介入がスタイル制御にどう影響するかは明確になっていません。本研究では、日本語のスタイルに対する内部表現操作の効果を検証しています。文におけるスタイル制御の影響範囲によって、うまくスタイル制御できないものがあることが面白ポイントでした。
「プロンプトに基づくテキスト埋め込みのタスクによる冗長性の違い」
プロンプトを用いることで、タスクごとに適切な埋め込み表現を出力する埋め込みモデルが提案されています。これらのモデルは数千次元もの埋め込み表現を出力することから推論・保存コストがかかることが問題視されていましたが、実際は数次元だけでも同等の有効性が確認されたというのが本研究の話です。実験設定が丁寧に書かれていて良かったです。自分もこれくらい分かりやすく丁寧に説明できるようになりたいです。
おわりに
自然言語処理はホットな学術分野のうちの一つであり、本会議でも多くの研究が発表されました。会期中は研究発表の聴講に加えて、スポンサーブースや懇親会を通して外部の方々との交流ができ、とても有意義な時間を過ごしました。本会議ではSlackでのコミュニケーションも活発に行われていて、まるで聴講者全員が一体となって参加しているような感覚があり、とてもいい文化だと思いました。今後もこの業界に携わりたいと思わせてくれる、そんな充実した学会でした。
シェルパ・アンド・カンパニー株式会社では、自然言語処理・機械学習のエンジニアや、インターンシップの募集を行っています。応募をお待ちしております。
