外れ値検出のアルゴリズム(最終回)、GoでCLIツール入門してみた他「LT Thursday」Vol.19

みなさん、こんにちは。
MDH(メディア広告部門)の平井です。

GWはどのように過ごされましたか？

僕は2日間に1回ペースでプールに行って泳いだり、アニメを観たり、友達と会ってご飯を食べたり、買い物したりしてました。

今回の「LT Thursday」(技術者のスキルや知識共有のための勉強会)は、3人のエンジニアが以下のプレゼンを行いましたので、ご紹介します。

1. 外れ値検出のアルゴリズム(3) Local Outlier Factor　(MDH 大澤)

外れ値検出のアルゴリズム Local Outlier Factor from Shogo Osawa

3年目のエンジニア大澤が外れ値検出のアルゴリズムについて発表しました。
LT Thursdayでは珍しいシリーズものの発表で今回が最終回でした。
なお、第一回と第二回はそれぞれ以下からご覧ください。

外れ値検出とは

を見つけ出す問題です。

「変」や「期待されているパターン」は適用する領域によって異なります。

今回紹介したアルゴリズムはLocal Outlier Factorです。

Local Outlier Factorは「局所密度」の比(分母が対象の点、分子が近傍の点)の平均(外れ値スコア)を利用します。

「局所密度」とは、ある点Pとその近傍K個の点(ある点Pに近い上位K個の点)とのそれぞれの距離の平均の逆数です。

なので、ある点Pの近くに点があると距離の平均が小さくなるので局所密度は高くなります。この場合、点Pは正常値と考えられます。

逆に、ある点Pの近くに点がなくて遠くに点があると距離の平均が大きくなるので局所密度は低くなります。この場合、点Pは異常値と考えられます。

したがって、外れ値スコアは異常値の場合は高くなり、正常値の場合は小さくなります。

2. wstailのご紹介　(MDH 平松)

チーフアーキテクトの平松が独自に開発してるwstailについて発表しました。

wstailはWebSocketを利用してログファイルをtailするツールです。

さらにプラガブルにフィルターを追加することができます。

開発に至った経緯、類似したツールの説明、使い方、仕組み、組み込み予定のフィルターを紹介しました。

仕組みの説明が詳細な図解ですごくわかりやすかったです。

3. GoでCLIツール入門してみた (MDH 渋江)

ゼルダにハマり中の渋江が「GoでCLIツール入門してみた」について発表しました。

今回作成したCLIツールは専用のセレクタUIがセットになっているAmazon EC2のインスタンス一覧が見れるツールです。

開発に至った経緯、Goを採用した理由、使用したライブラリや参考にしたツール、今後追加したい機能について話しました。

最後に「pecoはすごかった」とありました。

実際、筆者もpecoを使用してみましたが、クエリのワードでリアルタイムに候補が絞られていってすごかったです。

以上、LT Thursdayレポートでした。
次回もお楽しみに。

Profile:
株式会社サイバーエージェント
Ameba統括本部広告部門アドテクノロジー局
平井芳孝