オレシカナイトとは？
オレシカナイトは、「ABEMA」や「Ameba」をはじめとしたサイバーエージェントグループが運営するメディアにおいて、パブリッシャー独自の視点でアドテクノロジー開発を行うエンジニアの横断組織 「CyberAgent Publisher adTechnology Association (PTA)」が主催する技術者向け勉強会です。
今回は毎年開催されているビアバッシュLT大会をオンラインで開催しました。
株式会社AbemaTV 開発本部 プロジェクトマネージャー 福岡里緒菜
「非エンジニアの新卒PMがABEMAで新しい広告商品をリリースした話」
まずは株式会社AbemaTV プロジェクトマネージャーの福岡里緒菜の発表です。
開発未経験かつ、非エンジニアの新卒PMとして新しくてABEMAっぽい、効果の高い広告商品として、「起動広告※」をリリースするまでに様々な壁をどのように乗り越えていったのかを、以下の４つのTipsを交えて発表しました。
※起動広告：スマートフォンのアプリ起動時とPCトップ面に広告配信をすることでリーチ最大化が可能な商品
1.成功定義をすり合わせる
今回の新しい広告商品は、部署横断のプロジェクトであるため進行上のステークホルダーが多かったのですが、共通の成功定義がされていませんでした。ステークホルダー間の成功定義をすり合わせるために、社長や役員のミーティングに積極的に参加して一次情報を収集したり、営業に同行し、広告主のニーズをヒアリングしたりしました。こうして集めた情報を用いてステークホルダー間の成功定義をすり合わせたことにより、プロジェクトの進行がしやすくなりました。
2.強いチームを作る
プロジェクト成功のために強いチーム作りが必要と考え、チームメンバー全員が共通思想を持つことを目指しました。そのために、コミュニケーションを取る機会を増やし、職種問わず仕様についての議論ができる環境作りに励みました。またビジネスサイドの課題などに対して開発サイドも一緒に議論し、目的をより明確にすることで妥当性をチーム全員で認識することができました。
3.他KPIへの影響を考える
本プロジェクトが他プロジェクトにネガティブな影響が出ないことを証明するために、他プロジェクトと優先度のすり合わせやABテストを実施しました。
4.脱ウザい広告
新しい広告枠を印象には残したいが、ユーザーに広告が煩わしいと感じさせないようにバランスを取ることを意識しました。
主張しすぎない広告であることやクライアントサイトやLPへの導線がスムーズであることなど色々な要望を加味し、起動時のスプラッシュの後にアニメーションをはさみ、広告の動画素材を入れることができる汎用的な枠を作りました。
上記の４つのTipsを実践し、無事リリースを果たすことができました。
どんなプロジェクトでも直面する課題が多い中で、周りを巻き込んでマネージメントする大切さをこの発表で改めて感じました。
株式会社FLUX 取締役CTO Edwin Li様
「エンジニアチームをフルリモートに出来た話」
続いて、株式会社FLUX 取締役CTO Edwin Li様の発表です。
フルリモートを実現するために行った取り組みについて紹介していただきました。
エンジニアチームができてまもなく緊急事態宣言のリモートワークが余儀なくされました。
以前は一つの大きなテーブルにエンジニアが集まり、何か仕事や対応があった時にはお互いがフォローする形で作業を進めていましたが、リモートワークが始まってから以下の課題が浮き彫りになり、組織がもやもやしてしまいました。
- 対応の履歴が残っておらずワークフローが確立されてないためリモートでどう対応するか？
- リモート以前はフォローしすぎで若手が育っていない
- リモートになって質問がしづらい
- 相談事もしづらくストレスがたまる
- メンバーの進捗が確認できない
上記の課題の対応として、どういうワークフローがあるのかを一度洗い出し、作業するメンバーの役割をある程度固定して担当者を決めそれぞれの課題に取り組むようにしました。またリモート以前は顧客対応などなんとなく伝わっていた部分をテンプレート化し、課題に対して必要な情報をまとめることでワークフローがうまく回せるようになりました。
またコミュニケーション不足に対しては、Slack上で雑談チャンネルを作ることで業務と関係のない話ができる場を作ったり、全員のいるところで質問する心理的ハードルを下げるためにtimesチャンネルで質問ができるようにしました。また、社内サークルなどを立ち上げて終業後もコミュニケーションが取れるようにしました。
今後チャレンジしたいことは、以下とのことです。
- 勉強会やハッカソンなどのイベントをリモートで開催したい。
- エンジニアの顧客対応などを自動化させ時間を減らすことで、開発に集中できるようにしたい。
- エンジニアチームの情報発信の機会を増やしたい。
リモートワークを機能させるために、業務の課題だけでなくメンバーそれぞれの成長や課題に対して細かい工夫をされていて素晴らしいと思いました。
ログリー株式会社 lift事業部 開発グループ 副部長 和田 拓真様
「非エンジニアの僕が1年間エンジニアチームをマネジメントしてわかったこと」
次に、ログリー株式会社和田拓真様の発表です。
エンゲージメントの改善の大切さについて発表していただきました。
エンゲージメントとは、従業員の期待度と満足度を調査して、組織の状態を数値化したものです。
エンゲージメントスコアが高い時は与えられた範囲以上に取り組むことができ、自発的、能動的に動くことができる状態ですが、逆にそれが低い時はモチベーションが低下し、与えられた以上の業務はやらない（受け身）状態になってしまいます。
以前のエンジニア組織は一つの部署にエンジニアが集められ、CTOがマネージメントをしていました。しかし人数の増加により管理がうまくいかなくなり、エンゲージメントスコアが社内で最低レベルになってしまいました。そこで組織再編のため他事業部へ半数のメンバーが移動し、和田さんがマネージャーとなりエンゲージメントの改善を目指しました。
メンバーの話を聞くと自分たちが原因ではない課題が多く、しかもそれらが解消されていないことに閉塞感を感じていることがエンゲージメントが低い理由であることが分かりました。
それに対する改善策として、メンバーの抱えている課題の解決を後押しすること、そしてサポートすることを徹底しました。これによりエンゲージメントスコアが少しずつ改善されました。
また次の段階として、標語を作ることで自分達の課題だけでなく、事業の課題に目を向けることができ自発的に行動してもらえるようになりました。
エンゲージメントの改善方法はチームの状況次第ですが、本質的には期待と満足のギャップを埋めることだそうです。
非エンジニアのマネージャーとして、メンバーが抱える課題や悩みなどなかなか理解しづらい部分もあったと思うのですが、きちんと耳を傾けて解決に向かう姿勢が素晴らしいなと思いました。
株式会社サイバーエージェント AI事業本部 MLエンジニア/データサイエンティスト 加藤 直
「本番環境で動くMLモデルをログデータから再現できるか」
次の発表は株式会社サイバーエージェント MLエンジニアの加藤の発表です。
MLモデルの環境差異をどのように解決したかについて発表しました。
加藤が開発しているDynalystはゲームやECサイトなどのリターゲティング広告を配信しているプロダクトです。
そもそもWeb広告は広告枠だけが存在し、どの広告が掲載されるかは決まっておらず、ユーザーが訪れたタイミングでオークションを開催し、落札者が広告を出すという仕組みで取引されています。
Dynalistはそのオークションの参加者になります。
オークションの入札価格は、ユーザーが広告をクリックする確率（CTR）や広告商品のダウンロード/課金/購入（CVR）といった効果に基づく配信価値によって決められます。
この配信価値を正確に予測することが重要であり、Dynalistでは配信価値をMLで予測しています。
その中で、加藤は予測モデルの改善を目的に、ローカル環境で検証し、精度の向上を確認しました。しかし本番環境へ実装しABテストを開始したところ、本番環境で使ったモデルと同じパラメータ、特徴量で予測値を再現しようとしても少しズレてしまうという現象に悩まされました。
原因は特徴量がNullの時の値の補完方法がローカル検証時と本番推論時で異なっていたことと、特定の条件下で本番環境のパラメータが欠損しており、欠損した情報で推論していたのですが、ローカル環境では正しい情報で推論できていたことでズレが生じてしまったことの2点でした。
既存の実装を過信していてバグがないと思ってしまい、原因を発見するまでにかなりの時間がかかってしまったそうです。
この失敗からログから再現した予測値が本番環境で使った予測値と一致する割合を測定して、異常をSlackで通知するシステムを導入し、以後は実装ミスを素早く発見できました。
株式会社UltraImpression 取締役 プロダクト統括担当 大野 祐輔様
「UltraImpressionでこの1年取り組んできたこと」
Cookie,IDFAの規制により今後1st Party Dataの活用をどうしていくのかを中心に発表していただきました。
- 視聴ログを分析しデモグラ推計の特徴量に
デモグラが特定できる視聴ログを抽出し、機械学習にかけて特徴パターンを出していきます。
デモグラの情報がない視聴ログにモデルを当て、データを拡張しターゲティングのボリュームを増やしました。
- 動画本編のコンテキスト活用の検証
動画を解析し、そのメタデータをもとに広告の出し分けや視聴ログを強化しました。
まだ実証段階ですが、これにより例えば広告の直前に本編で化粧をしている女性が出演していた時に、化粧品メーカーの広告を出すといった広告の出し分けが実現できます。
- 媒体独自ID活用の導入
媒体側で独自に発行する1st Party Dataを引き渡していき、広告システムで受け取ったIDからユーザーを特定し活用していくことも検討しています。
今後も1st Party Dataの活用などを中心にポストCookie/MAID時代を生き残れるプロダクトを提供していく予定とのことです。
株式会社サイバーエージェント プロダクトマネージャー 柳川 由太郎
「コロナ禍で気づけた失敗」
次に株式会社サイバーエージェント プロダクトマネージャーの柳川が
自社のプロダクトを徹底的に粗探しし、マイナス点を改善することで売上をアップさせたことについて発表しました。
柳川は昨年1月からAmebaのディスプレイ広告のうちプログラマティック広告を担当することになりました。ところが直後にコロナ禍になり、その影響で広告の出稿控えなどが発生し売上が想定よりも減少してしまいました。
そんな中、他メディアよりも売上が下がっていることに違和感を覚え、他のマイナス要因を探りました。そして徹底した粗探しで初歩的なミスを多数発見しました。
その一例として、複数の広告主をブロックしてしまっていたということがありました。これを受けて、SSPのブロックリスト数千件を手作業で確認し、同じミスがないかを調べました。
対応を始めてから少しずつ売上も回復し、コロナ前と比較しても高い水準の売上を上げることに成功しました。
自分の領域や基本的なことの中に見落としている部分があるかもしれないので徹底的に疑い、深堀りすることが重要であることに気づくことができたそうです。
株式会社ヤプリ プロダクト開発本部 データサイエンティスト 阿部 昌利様
「新興SaaS企業であった本当のデータ話」
新興SaaS企業であるヤプリに転職した阿部様が体験した今年一番の衝撃についていくつかお話ししていただきました。
- あのフィールドがなかった件
ヤプリはアプリの開発・運用・分析をノーコードで提供するアプリプラットフォームです。
アプリプラットフォーマーとしてビジネスを展開しているわけですが、アプリとウェブは併用される可能性が高く、クライアントさんもアプリとウェブで一気通貫して施策を実施したり効果を測定したいはずです。なのでヤプリはすでにIDFA/AAIDを取得していると思っていたのですが、ようやく今年(本イベント開催当時の2020年)から取得に動いていた段階だったことに衝撃を受けました。
このことからアドテク以外の業界にいった場合には必ずしもIDFA/AAIDがあると思ってはいけないという教訓を得ました。
- あれをトラッキングしてなかった件
ヤプリでは、ダッシュボードでアプリの状態をチェックすることができ、行動ログを可視化しています。また特定のユーザーに対してプッシュ通知が行える機能があります。
購買寸前で離脱したユーザーにプッシュ通知をするなど、行動ログをもとにプッシュ通知をするニーズも高いはずです。
なのでユーザー単位で豊富にログを取得しているはずだと思っていたんですが、そちらも今年(本イベント開催当時の2020年)から取得に動いている状況でした。
アドテク経験者の阿部様がSaaS企業で感じたこと
- 一定の知名度を得たSaaSプロダクトでもデータ活用はこれからというケースもある
- SaaSと比べてアドテクのデータ活用は先進的であった
- アドテクの発想をSaaSプロダクトに活用することで市場の期待に応えられる場面が存在する
そんなオレシカナイトの15回目を、4/9(金)19:00よりオンラインにて開催します！（※時間が変動する可能性がありますので、connpassよりご確認ください。）
次回のテーマは「アドテク×アーキテクチャ」です。
どんな話が聞けるか楽しみですね！
以下のURLからぜひエントリーください！
https://cyberagent.connpass.com/event/204170/
▼PTA（Publisher adTechnology Associations by CyberAgent ）Twitter
Twitter：https://twitter.com/PTA_CyberAgent
-Profile
株式会社AbemaTV ビジネスディベロップメント本部 エンジニア
斉藤 航