サイバーエージェントでは2004年にブログを中心とした「Ameba」をリリースし、アバターサービス「アメーバピグ」やコミュニティサービス「755」、「タップル誕生」「CROSS ME」をはじめとするマッチングアプリ、2016年には映像配信プラットフォーム「FRESH!」やインターネットテレビ局「AbemaTV」を開始するなど、インターネット産業の変化にあわせて様々なメディアサービスを提供しています。
ユーザーの皆様に安心、安全に日々これらサービスを楽しんでいただけるよう、メディア事業では研究開発組織「秋葉原ラボ」のエンジニアが開発した独自の総合監視基盤システム「Orion（オライオン）」をカスタマーサービス（以下、CS）担当が活用しています。健全なサービス状態を維持するために日々行われている健全化業務は「Orion」を使った24時間365日の監視だけでなく、ユーザーの皆様にルールを知っていただくこともその一つ。自分でも気づかないうちにルール違反を犯してしまうこともあるため、サイバーエージェントでは「Amebaで守るべきこと」を策定するなど、日頃から広くルールを知っていただくための取り組みにも力を入れています。
また、健全化業務を今後さらに精度高く効率的に行うべく、秋葉原ラボが東京大学大学院大橋鳥海研究室と進めているデータマイニング技術における共同研究は、2017年5月24日（水）の「読売新聞」夕刊に掲載いただくなど注目いただいております。
本インタビューではCS室リーダーの大野と秋葉原ラボ エンジニアの藤坂、數見、高野にこれまでのメディア事業における健全化業務の変遷や共同研究の取り組み、今後の展望について話を聞きました。
大野 均 技術本部 カスタマーサービス(CS)室 プロジェクトリーダー。 2010年サイバーエージェント中途入社後、コミュニティサービス「アメーバピグ」のCSを経て、2013年よりメディアサービス全般のCS業務のリーダーとして、サービスの健全化に従事している。
藤坂 祐介 研究開発組織「秋葉原ラボ」エンジニア。 2012年サイバーエージェント新卒入社後、「秋葉原ラボ」にて監視基盤システム「Orion」の開発や運用を担当。その他画像解析や音声解析にも携わっている。
數見 拓朗 研究開発組織「秋葉原ラボ」エンジニア。博士（経済学）。 2013年サイバーエージェント新卒入社後、「秋葉原ラボ」にて主に「アメブロ」のスパム対策や広告のデータマイニング、監視基盤システム「Orion」のフィルタ機能の開発・運用を担当している。
高野 雅典 研究開発組織「秋葉原ラボ」データマイニングエンジニア。博士（情報科学）。 SIerを経て、2011年サイバーエージェント中途入社。ソーシャルゲームのフロントエンド開発を担当後2012年11月より「秋葉原ラボ」に異動し、アメーバのサービスのデータ分析を担当。現在は主に定額制音楽配信サービス「AWA」や「アメーバピグ」のデータ分析を行っている。2016年8月より東京大学大学院大橋鳥海研究室とデータマイニング技術における共同研究に従事。またソーシャルビッグデータを使った協調行動やコミュニケーションに関する計算社会科学研究も実施している。
CSと秋葉原ラボの協力体制で実現
ーーメディアサービスを健全に保つための現在の運用体制と、その中でのみなさんの担当について教えてください
大野：現在メディアサービスのサイト健全化業務は独自の監視基盤システム「Orion」で行っているのですが、その開発を秋葉原ラボの藤坂と數見が担当していて、実際に利用しているのが沖縄に拠点があるグループ会社の株式会社シーエー・アドバンスのCSのメンバーです。「Orion」を利用して約80名が沖縄で24時間365日の監視業務を担当しています。またシーエー・アドバンス所属のエンジニアも5名いて、CS担当からのシステム改善要望などを即座に反映できる体制です。
藤坂：私は「Orion」の運用責任者として自分で開発もしながら、シーエー・アドバンスのエンジニアの開発進捗を見たりプルリクを確認したりとプロダクトマネジメント業務も行っています。
數見：「Orion」には画像解析など様々なモジュールがあるのですが私はその中の一つ、ルール違反の可能性があるコンテンツを監視するためのフィルタの提供と運用を担当しています。
役割は大きく二つで、ひとつは「アメブロ」内のスパム対策調査。「アメブロ」のディレクターやSEO担当、CSの大野と連携して、最近のスパマーやスパムブログがどういう特徴をもっているのか、などを定量的に分析します。もうひとつはそれら調査結果をもとに、ルールに基づくフィルタや機械学習をベースとしたフィルタを組み合わせて通常のコンテンツかルール違反の可能性があるコンテンツか自動的に判定するためのフィルタの開発・運用をしています。
高野：2016年8月から東大の鳥海先生・平野さんとデータマイニングにおける共同研究を進めており、その一環で未成年の誘い出しに関する行動分析をしています。どういう未成年が誘い出されやすく、またどういう成人が誘い出しをしそうなのか、それら行動パターンを知ることがこの研究の最終目的です。
ーーこれまでどのような経緯でメディア事業の健全化が進めてきたのでしょうか？
大野：かつて未成年のフィルタリング端末から「Ameba」にアクセスできなくなってしまう問題がありました。その解決のために、2009年に青少年の保護と健全な育成を目的にWebサイト及びアプリケーションの運用管理体制の審査・認定及び啓発・教育活動を行う「EMA」（一般社団法人モバイルコンテンツ審査・運用監視機構）の認定を取得しました。
「EMA」の認定条件として、提供しているサービスを常時監視する必要があったため、このタイミングで常時監視がスタートしました。
当時は監視業務を外部の企業に委託しており、システムも外部のものを使用していたのですが、2012年頃からグループ会社のシーエー・アドバンスで監視業務を実施することになり、そこからシステムも内製化しました。
藤坂：ただこの頃の内製システムは画像、テキストなど監視する目的別にシステムが5つに分かれていたんです。
大野：現在利用している総合監視基盤システムの「Orion」を作ろうという話が出たのは2012年の「Ameba」プラットフォームのオープン化戦略の際です。同時にスマートフォン向け新規サービスを100個作る方針を打ち出したのですが、Ameba IDを持っていないユーザーでもサービスにコメントができたりするようになるので、これは従来のように一つ一つのツールでは監視しきれないということになりました。
藤坂：私は2012年に新卒入社したのですが、新卒の夏に「Orion」の開発を任され一人で開発をスタートさせました。その後沖縄のシーエー・アドバンスのエンジニア2名もアサインされたので彼らはフロントエンド開発、私は基盤側の開発ということで遠隔で開発を進めていました。毎週テレビ会議で進捗を共有していましたね。そして2013年4月に「Orion」をリリースしました。
まずは「Ameba」プラットフォームの監視のためにリリースしましたが、そもそも開発の前提としてその他の監視機能も統合するものだったので、リリース後に画像やピグのチャット監視も「Orion」のシステムに組み込みました。最終的に5つの監視ツールが「Orion」一つに統合されたのがリリースから約1年半後の2014年秋頃のことです。
大野：それまではテキストや画像など監視する目的別にツールを利用していたので監視コストもかかっていたのですが、シンプルに一つのシステムで完結するようになり、より効率的に監視業務を行えるようになりました。
またシステム責任者としてしっかり藤坂が立ってくれているので、すごく心強いです。藤坂以外にも、サービス側の要望や現場のCS要望を実装してくれるエンジニアチームの存在であったり、シーエー・アドバンスのたくさんのメンバーがとても真摯に情熱をもって対応してくれているおかげで、メディア事業の健全化への取り組みは成り立っていると思っています。
すべてはサービス本来の価値をユーザーに届けるため
ーースパム対策についても長年継続的に取り組んでいるそうですね
數見：かれこれ約4年、2013年冬頃から担当しています。当時は「アメブロ」内でスパムが増えてしまっていた頃で、SEO担当の発案で本格的に撲滅対策に取り組むことにしました。もう一人のメンバーと一緒にフィルタを増やし、CSメンバーにも協力してもらうなど積極的に対策を行いました。結果、対策を始めた2013年頃と比較して、2017年には「アメブロ」におけるスパムの投稿を大幅に減らすことができました。これら取り組みの中で、「アメブロ」への検索流入も大幅に上昇したのは嬉しかったですね。
また、2016年からGoogleが主催するAdvanced Hosting Meetup（以下、AHM）に参加しています。これまでのAHMで、参加企業はスパム対策の知見を共有してきました。もちろん、「アメブロ」でのスパム対策の知見も多く共有しており、実際に活用いただいた事例もあります。参加企業間での知見の共有を活発に行うことで、サイバーエージェントだけでなくWeb業界全体で健全なエコシステムを構築していければと思っています。
ーーサービスを健全な状態に保つ上で、日々心がけていることはありますか？
大野：私がCSのミッションはこうあるべきだと心がけていることは三つありまして、一つ目は当たり前ですがサービスのリスクを減らすこと。そのために違反ユーザーの投稿監視はもちろんですが、それだけではなくて、たとえばとあるサービスで新機能をリリースする前にはどういう告知文であればユーザーに伝わりやすいかというレビューやチェックもCSのプロフェッショナルの視点で行うようにしています。
これは、ユーザーの皆様にサービスをご利用いただく上で、分かりにくい部分を明確にしたり不快な気持ちになったりすることを防ぐことで、サービスを利用する上でのリスクを減らすという意味です。
二点目は、リスクを最低限に減らす努力を行った上でユーザー体験を守り、サービスの価値を正しく味わってもらうこと。たとえばカップリングサービスに既婚者がいれば安心な出会いを求めて利用するユーザーにとって正しい価値が提供できていないことになりますし、スパムブログがあるとブログを存分に楽しむことができません。
そのようにサービス本来の価値をしっかりと届けるために私たちの仕事はあると思っています。
さいごに、監視する上でのレギュレーションを固めすぎないことです。ある程度の基準はもちろん設けますが、事象によってはそのときの世論次第で捉え方が変わる場合もありますし、判断に迷った場合には時流に合わせて都度判断するようにしています。
藤坂：「Orion」のシステム責任者のミッションの立場でお話すると、監視にかかるコストを最小化することが重要なミッションです。
たとえば監視対象のフィルタリングにかかったもので、実際に問題になるものは1万分の1くらいしかありません。それにあたってどういう方法で投稿をしぼりこむべきか、機械学習を用いたりすることで工夫しています。
數見：私が大切にしていることは三点で、一点目は意識して様々なチャンネルにアンテナを立てておくことでどういうスパムが流行っているかキャッチアップを怠らないこと。「アメブロ」のユーザーアンケートも参考にして、CS担当やSEO担当、他社と連携して日々情報をキャッチアップしています。
二点目は、誰の視点でスパム対策をするかという点。単純にフィルタを設定すれば対策は終わりということではもちろんなく、ユーザー、サービス運営側、SEO担当、CS担当それぞれでスパムへの感じ方は異なります。そのため様々な視点に立って、目的を明確にした上でフィルタを作成するように心がけています。
三点目は機械学習に基づくフィルタを実システムへ適用することのリスクについてです。現在ルールベースと機械学習によるフィルタの運用を行っていますが、機械学習は元になる学習データによって出力の結果が変化します。さらに、学習データは人手でアノテーションされているためアノテーション結果を100%信頼できないデータでもあります。こうした側面は「ソフトウェア開発の技術的負債」と区別された「機械学習システムにおける技術的負債」として最近議論されています。また、ルールベースのフィルタと比較して、スパムでないものをスパムと認知してしまうリスクが比較的高いという問題もあります。
それら負債やリスクを減らすためにはどのような運用が効果的か、日々議論しているところです。
未成年の誘い出しにつながる行動パターンを把握したい
ーー鳥海研との共同研究によって、今後サービスの健全化に具体的にどのような改善が期待されるのでしょうか？
高野：今回の共同研究（THIS-Workshop、人工知能学会全国大会、2017年5月24日(水)「読売新聞」夕刊掲載）の究極の目標はどういう未成年が誘い出されやすく、またどういう成人が誘い出しを行いそうなのかを分析した上で、彼らの行動パターンを把握することです。
そのために当社が提供している新感覚SNS「755」のチャットデータを活用しました。これは「755」によって現在未成年の誘い出しが頻繁に行われているからという理由ではもちろんなく、サービスの特性上チャットデータが公開されているからです。
「755」はサービスの仕様上年齢情報を入力する箇所がないため、今回の研究ではまずはじめにチャットデータから年齢を推定する方法を開発しました。その結果、現在ではチャットデータの分析により90%の精度で未成年を判別できるようになっています。例えば「宿題」といった学校関係の単語を多く発言するユーザは未成年である可能性も高いと考えられます。
先行研究で、未成年への誘い出しを行うのは成人の中でも特に26歳以上が多いことが分かっているので、26歳以上の成人も判別し（こちらの精度は現在75%）この2つの年齢層がインタラクションする場合どのような行動が行われているかという点を分析しています。
言うまでもなく、未成年と26歳以上の成人がインタラクションしている全てのコミュニティが不健全であるということではありません。例えばプログラマーになりたい中高生に現役プログラマーが相談に乗っている部屋などもあり、ほとんどのユーザーは健全なやりとりを楽しんでいます。
今後共同研究を続けていく上で、当社として期待できるのは誘い出されやすそうな未成年と誘い出しを行いそうな成人ユーザーの早期発見です。これができると危険度に応じた監視の濃淡をつけることできます。それによって検出精度の向上や効率化が期待できます。
とてもセンシティブな部分なので慎重に検討する必要がありますが、たとえば誘い出しされそうな未成年に早い段階でアラートを出すとか、未成年と誘い出しを行いそうな成人の出会いの機会を減らすために検索面で適切な範囲でのゾーニングを行うなどの対策も考えられます。
先ほどもお話しましたが、未成年と成人が関わっていたとしても健全なコミュニティは全く問題ありません。ただ誘い出しに発展しそうな人たちの行動パターンが分かれば、彼らがサービス上で出会わないような状態を作り出すことができ、より多くのみなさんがサービスを安全に楽しく利用できるようになると考えています。
大野：ユーザー属性に合わせたゆるやかでスマートなゾーニングを実現することは重要だとCSとしても考えています。
自社サービスだけでなくWeb業界全体に貢献していく
ーーさいごに今後の展望を教えてください
高野：まずは現在の研究成果を検証・実装し実際にサービスに役立てたいと考えています。また、こういったサービスの行動データを手に入れづらい研究機関ではおとり役の人を用意して、未成年へ誘い出しを行う成人の行動を分析したりしている（参考: Perverted Justice Project）のですが、幸いなことに当社では「Orion」で蓄積されている様々なサービスの実データがあります。これらを使って、当社のサービスだけでなく業界としてWeb健全化に大きく貢献できればと思っています。そのためには国際会議や論文誌などの査読論文（専門家2〜5名によるによる評価や検証のプロセス。この査読で評価された論文が国際会議で発表される・論文誌に掲載される）として我々の研究成果を公開し、多くの方にも利用可能にすることがまずは大切な一歩ですね。
未成年の誘い出しにつながる行動パターンが分かれば、未成年が安全に楽しくインターネットを利用するための啓蒙活動にも生かすことができます。インターネットでのコミュニケーションはQOL（クオリティ・オブ・ライフ）につながるので、皆が楽しく安全に利用できるよう、データマイニングでそのお手伝いができればと考えています。
數見：約4年間スパム検知に関わってきましたが、ユーザーからの信頼と高い評価を得るためには、スプログをできるだけ少なくしてユーザーがルール違反の可能性があるコンテンツに接触しないような環境を維持する必要があると思っています。そのためにも今後は精度や網羅性の識別性能をさらに向上させていきたいです。また、秋葉原ラボでは、自然検索・情報推薦のモジュールを提供しているので、これらを開発するメンバーと協力することで、さらに取り組みを強化したいと考えています。
経済学における法則で「共有地の悲劇」（皆で協力すれば誰にとってもいい結果であったものが、各々が自らの利益を追求したため最終的に誰にとっても悪い結果になってしまうことの意）というものがあるのですが、これはインターネット社会についても同じことが言えるのではと個人的に思っています。
たとえば当社のサービスにおいてルール違反を行っているユーザーやスパムを放置したことで誰かが不利益を被ってしまうと、結果的にインターネット全体の信頼性や利便性を損なうことにつながります。
そういった意味でも、私たちが提供するサービスが業界全体に与える影響を日々考えていきたいです。
藤坂：総合監視基盤システム「Orion」がサービス運用者や監視オペレーターにとってさらに使いやすいものにすることで、引き続きルール違反の可能性がある投稿をすばやく発見し対処することができるようにしていきたいと思っています。
また、画像や映像などテキスト以外のマルチメディアが扱われる量が今後もっと増えていくので、画像認識などAIの知見を活かしていきたいですね。そういった意味でも、各サービスで得た健全化の知見を他サービスにも活用するなど、フィードバックに生かしていく仕組みも合わせて構築していければと思っています。
大野：技術のおかげでフィルタリングやユーザーの行動分析の精度が向上し日々進歩していますが、我々は違反ユーザーの投稿を自動的に削除したりということは基本的にはしていません。それは、やはり最終的な判断は “人” が担うべきだと考えているからです。
ユーザーのみなさんに当社が提供するサービスを安心して楽しんでいただきたい、という思いを持つシーエー・アドバンスの対応チームと秋葉原ラボのエンジニアがいることで、安全なサービスの運営が行えています。各メンバーの熱い志を追い風に、今後もサービスとユーザーのための健全化を進めていきたいと思っています。