はじめに

こんにちは。お茶の水女子大学大学院1年の新井深月です。CA Tech JOBインターンシップに8月から9月までの2ヶ月間参加しました。
インターンの成果をまとめ、YANS（NLP若手の会）に参加し「LLMを用いた広告文生成における『制作意図』の有効性検証」というテーマでポスター発表を行いました。

本記事では、研究の背景、得られた成果、そして発表に至るまでのプロセスと学びをまとめます。

 

広告文生成への挑戦

私は広告ドメインの知識がほぼゼロの状態から本テーマに取り組みました。専門用語の理解やタスクの全体像の把握が課題でした。実際に手を動かしながら、用語の定義や広告文の評価観点を学び、Slack上での会話履歴や定例会議での議題からタスクの位置付けを徐々に理解していきました。

 

研究の背景

LLMによる広告文の自動生成は進化していますが、効果の高い広告生成のための設計は依然として課題です。とりわけ、広告主や広告運用のコンサルタントが意図する訴求軸やターゲットなどの広告の「制作意図」が十分に反映されないまま生成が行われている点に改善の余地がありそうです。そこで私はインターン期間内に、制作意図を踏まえた広告文生成が品質向上につながるか、仮説検証をしました。

実験

手法はシンプルで、広告文生成時のプロンプトに、LLMが広告グループのメタ情報（キーワードや配信済み広告）から推定した広告の「制作意図」を明示的に付与し、その有無で出力を比較しました。

将来的には実配信での効果検証まで行う想定でしたが、時間の都合上オフライン評価までを対象としています。

• ベースライン：商品・機能説明のみで生成
• 提案手法：上記に加え、制作意図を付与して生成
  

人手評価

まず人手評価で、提案手法により制作意図が反映されていそうか、確認してもらいました。

 

評価方法

制作意図が反映されているか否かを判定し、その評価理由を教えていただきました。

広告運用の知見が必要と判断し、アノテーションは有識者に依頼しました。外注するという工程は非常に貴重な経験だったと感じます。アノテータの誤解や評価のばらつきを防ぐため、評価シート（評価観点・回答形式の指定・定義・例示）を丁寧に整備しました。

 

評価結果

アノテータ評価では、制作意図が反映された広告文の割合が52%から54%に微増しました。評価理由にラベル付けを行ったところ、具体性と忠実性の観点での改善が多く見られました（例：抽象的な表現が具体的な表現に置き換わる、事実整合性を欠く言い回しが減る、など）。

 

 

 

 

 

LLMによる自動評価

人手評価の所見に基づき、「本当に”忠実性”と”具体性”が上がっているか」を確認しました。

 

評価方法

忠実性と具体性をLLMで二値（Y/N）判定する自動評価フローを構築しました。評価プロンプトは固定し、忠実性が高いか低いか、具体性が高いか低いかという二値判定を行わせました。

 

評価結果

忠実性が高いと評価された割合は53%->55%、具体性が高いと評価された割合は24->27%と、いずれもわずかながら改善が確認できました。人手評価と自動評価の方向性は整合的で、提案手法が「誇張の抑制」や「訴求軸の明確化」に寄与する傾向が示唆されました。

 

 

 

 

ポスター制作と発表準備の裏

実験が計画通りに進まず、ポスター着手が遅れたのは正直なところです。限られた時間の中で、学術的な構成（背景→課題→方法→結果→示唆）と、視覚的に伝わる図解の両立に苦戦しました。

 

YANS当日：議論から得た示唆

当日は多くの研究者の方に立ち止まっていただき、活発な議論ができました。最も多かったのは、

• 「そのわずかな精度向上で最終的な成果（CTR/CPA）はどのくらい上がったの？

という質問です。今回は運用評価までは到達できておらず、オフラインでどこまで妥当な評価設計を構築できるかに重心をおいた研究構成だったため、図星で悔しさもありました。一方で、KPIに寄与しやすい要件（訴求軸の種類、具体性度合いなど）を知識として整理しておけば、議論を一段深められたのではないかと反省しています。企業の方から質問が多かったことからも、「運用するに値するか」＝事業指標への接続が重要視されるポイントであることを再認識しました。

 

最後に

短期間で思うように進まない局面もありましたが、与えていただいたタスクに対して、仮説→検証→分析のプロセスを何度も往復し、評価設計やストーリーを見直し続けた経験が大きな収穫でした。YANS発表前日まで可能な限り多面的に分析を重ねました。結果のばらつきや思い通りに進まない悔しさも含めて、どこが足りず、何を足せば次に進めるのかを言語化できるようになったのは、トレーナーとの継続的な対話と、チームの支援のおかげです。

今回の経験は、今後どんな場面でも通用する考え方の基盤として大切にしていきます。学びの機会をくださった皆様に、感謝申し上げます。ありがとうございました！！

 

※詳細はポスターをご覧ください！