3月24日、サイバーエージェントのエンジニア・クリエイターによる技術カンファレンス「CyberAgent Developer Conference2022」を開催しました。本記事では、リサーチサイエンティストの數見による「マッチングアプリにおける出会いを分析する」の模様をお届けします。

マッチングアプリタップルで、ソフトウェアエンジニア/リサーチサイエンティストを務める數見です。「タップル」は、グルメ・映画・スポーツなど、共通の趣味をきっかけに恋の相手を探せる国内最大規模のマッチングアプリです。本セッションでは「タップル」のレコメンドに焦点をあててご紹介したいと思います。

婚活を取り巻く環境と意識の変化

まずはこの数年で婚活を取り巻く環境と、恋愛・結婚に対する意識について起こった変化について簡単に説明します。

下記のグラフは、オンライン婚活サービスの利用経験割合を示したものです。

オンライン婚活サービスの利用実態について、2017年は約9％の利用経験割合でしたが、現在は20％を超えています。また2017年に実施された調査では、恋人や結婚相手とは職場や学校、サークルなど、いわゆる自然な出会い方を希望する人が大多数でした。

しかし2017年以降、オンライン婚活サービスの利用経験割合は年々増加しています。背景としては「時短婚活」が注目されたこと。また外出自粛が求められるコロナ禍において、オンライン婚活サービスの方が効率的に出会えるというメリットを感じる人が増えていることなどが挙げられます。

さらに、コロナ禍で恋愛や結婚に対する意識が変化した人の割合も増えています。「コロナ禍以前と比較して、恋人が欲しくなった」「コロナ禍以前と比較して、結婚したくなった」と回答した人は3割にのぼります。

●タップルの特徴

「タップル」では、気になる相手に「いいかも！」「ありがとう」といった、ボタンを押すだけの簡潔なコミュニケーションでマッチング（メッセージのやり取りの開始）することができます。

パートナー候補者については、ユーザーが「タップル」のアプリを立ち上げると、相性の良さそうな人が推薦されるので、相手の写真やプロフィールを確認した上で、「いいかも！」もしくは「イマイチ」のボタンを押します。「いいかも！」を押した相手にはそれが通知され、相手が「ありがとう」と返答すると、連絡を取り合うことができるようになる仕組みです。

本発表では、この一連の行動に名前をつけます。興味をもった相手に「いいかも！」ボタンを押す行為を「コンタクト」する、コンタクトに対して「ありがとう」と返答することを「メッセ認可」と呼ぶことにします。

●タップルでの安心・安全な取り組み例
「タップル」では、安心安全な利用のため、18歳未満であるかを検知するアルゴリズムや、プロフィール写真が本人の画像であるかどうかを検査するアルゴリズムなどを導入するなど、安心・安全に向けた取り組みを強化しています。

マッチングアプリ「タップル」、機械学習技術を活用した「悪質スコア」の導入で不正利用者の早期検知システムを強化

さらに、人手による監視を組み合わせることで、より精度高く安心安全な出会いの場を提供すべく務めています。その取り組みのひとつに、プロフィールに表示される年齢が本物であるかどうかを、公的な書類を使って証明するというものがあります。
では、プロフィールに表示される年齢が本物であると証明することが、メッセ認可にどのような影響を与えるのでしょうか。これを検証する方法を考えましょう。

●高次元データの扱いと推定戦略

「タップル」に登録されるユーザー属性は、高次元なデータであるため、他の変数を調整した上で、興味ある変数がメッセ認可率にどのような影響を与えているのかということを検証することは容易ではありません。

例えば欠落変数バイアスなどを除去するため、全ての属性情報とその交互作用を共変量として計算に加えることが理想的ではありますが、計算リソースの観点から、それは非現実的です。そこで、私たちはdouble-selectionという方法を用いて、処置変数とアウトカムの予測に必要な共変量を選択し、モデルを作成することにしました。

以下に、double-selectionにより推定された分析結果を紹介します。

●安心安全な出会い

年齢が本物であると証明されることによって、男女ともにメッセ認可率が有意に増加するという結果を得ました。男性の年齢が本物であると証明されると、女性からのメッセ認可率は、2％有意に増加し、女性の年齢が本物であると証明されると、男性のメッセ認可率が約36％有意に増加します。男性のほうがメッセ認可時に、女性の年齢が本物であるかどうかを気にする傾向が高いことがうかがえます。年齢確認は、18歳未満の利用を防ぐことと、ユーザーが無用なトラブルに巻き込まれるのを防ぐための施策ですが、このような安心安全のための施策が、間接的にマッチングにポジティブな影響を与えているといえそうです。

協調フィルタリングをベースとしたレコメンドアルゴリズム

「タップル」におけるレコメンドの目的は、マッチング率の向上です。ユーザーに興味のありそうな相手ばかりを推薦しても、相手からのリアクションがなく、マッチングに至らなければ意味がありません。そこで「タップル」では、相手から自分がどう思われているのか？という要素を加味した、協調フィルタリングをベースとしたレコメンドアルゴリズムを作成しています。

まず、男性から女性、女性から男性、それぞれ「いいかも！」「ありがとう」とアクションしたデータを準備します。

それぞれのデータセットから、男性から女性への興味スコアおよび女性から男性への興味スコアを算出し、これらを集約することで、双方向の興味スコアとして採用し並び替え、マッチングしそうな相手を推薦しています。この取り組みは、一定の成果を得ることができています。では次に、現状のレコメンドアルゴリズムを評価しつつ、今後どのような改善を計画しているかについて説明します。

レコメンドアルゴリズムの改善

●候補生成と並べ替え

「タップル」の推薦システムは、一般的な推薦システムと同じような構成です。推薦候補を生成するコンポーネント、並び替えを担当するコンポーネント、そしてランキングモデルを学習するコンポーネントです。ここで説明する改善計画は、下記スライドの星印がついた部分、候補生成、並び替え、ランキングモデルのいずれかで行われます。

●現行のレコメンデーションの評価

現行モデルの再現率を評価すると、男性にはほとんど漏れなく、コンタクトしそうな女性を推薦できています。一方で、女性は、実際にコンタクトしそうな男性を見逃している可能性があります。つまり再現率を見ると、男性から女性への評価は0.9。一方で、女性から男性への再現率評価は0.2まで減少するという結果が出ています。これにはどういった解決案があるでしょうか。

●解決案
前述のコンポーネントに沿って考えると、候補生成を工夫する必要がありそうです。例えば、女性に対してレコメンドする男性の数を増やすのはどうでしょうか。しかし、女性は閲覧する男性数が多くなってしまうため、UXの不具合が発生するかもしれません。まだ利用していない特徴量がいくつかあるので、ランキングモデルを改良することも考えられます。テキスト情報、画像情報といった、まだランキングのモデルに考慮されていない特徴量を加えて、モデル自身の予測性能を向上することで、女性が実際にコンタクトしそうな男性を見逃さないようなモデルを組み立てることができそうです。

●推薦機会の不平等
他にもレコメンデーションにおいて、一部のユーザーが推薦され過ぎているという分析結果があります。

上記の通り、被推薦回数を極端に稼ぐ「スーパースター」が存在します。しかし、いわゆる人気を集める人を推薦し続けると、マッチングできないユーザーが出てくることになります。プラットフォームが、どれだけ不平等な被推薦体験になっているのかを計測するには、所得格差などでよく使われるジニ係数を使って算出します。

この現象は他のマッチングアプリでも観察されているようです。例えば、台湾のオンラインデーティングアプリでは、ジニ係数は0.75程度であったと報告されています。最も不平等が高い状態が1であるので、被推薦回数の格差があったのではないかと考えられます。

こうした課題は、どのように解決していけばいいでしょうか。先ほどのコンポーネントに沿って考えると、被推薦回数を制限するなど、並び替えのコンポーネントの部分で工夫することもできます。しかしこれは、制限の回数をどれくらいにするのかという部分が難しく、上手く設定しないと、マッチングの数が減少してしまう懸念も考えられます。

一方、ランキングモデルを工夫することも考えられます。例えば先ほど例に挙げた、台湾のオンラインレーティングアプリでは、Transferable utilityというモデルを推薦に組み込み、不平等の緩和に成功したという事例があります。一部実験では、ジニ係数が0.75であったものが、0.6まで減少したという報告があります。

●検証とリリース
最後に、これらのアイデアをどのようにして進めているかについてご紹介します。

現在は、オンライン検証とオフライン検証を行ないながら、ユーザーの反応を観察し、全ユーザーにロールアウトするかを決めています。

オフライン検証で成功すれば、全ユーザーに適応するロールアウトのフェーズに進みます。ここでは、hypothesis kitというフォーマットを参考にしながら、仮説と結果をドキュメントとしてまとめ、ナレッジ化しています。

具体的には、施策の定量的、定性的背景、そして変更の内容です。何の数値を改善しようとしているのか、さらには、ビジネスにどのような影響があるのか、ということをまとめるためのフォーマットです。より良い推薦体験をユーザーに提供すべく、これらの解決施策の検討を進めています。

■まとめ

本セッションでは「タップル」におけるレコメンドの機能と、現状の課題や取り組みについてご紹介しました。少子化問題やコロナ禍での外出自粛が求められている昨今の状況を鑑みると、マッチングアプリの社会的役割は、今後さらに拡大することが予想されます。そうした中で、良い出会いを生み出すプラットフォームを提供するために、今後もさまざまなチャレンジを続けたいと思います。