LegalOn Technologies Engineering Blog

LegalOn Technologies 開発チームによるブログです。

社内資料「プロダクトマネージャーのための検索推薦システム入門」を公開します

検索推薦

こんにちは。LegalOn Technologies 検索・推薦チームの浅野（@takuya_b / @takuya_a）です。

先日、社内のプロダクトマネージャー（以下、PdM）を主な対象として、検索推薦技術の入門講座を開催しました。このたび、その資料を公開します。

資料の概要

この講座では、検索推薦技術とその周辺について、概要をざっくり理解できるように努めました。技術的詳細、とくに具体的なアルゴリズムにはあまり立ち入らず、できるだけ平易なことばで説明したつもりです。なお、広範な範囲を扱うため、各回1時間（質疑応答込み）で、3回に分けて実施しました。

公開した資料は、PdM だけでなく、エンジニアリングマネージャー（EM）やソフトウェアエンジニアの方々にも読んでいただけると嬉しいです。

以下は、各回で扱ったトピックです。

第1回 全体概要と検索技術入門・・・資料P3~

  • 検索・推薦とはなにか
    • 検索システムとその周辺
    • 推薦の目的と種類
    • 検索と推薦の違い
  • 検索技術入門
    • 検索モデル
    • 検索意図（情報ニーズ）の分類
    • 検索結果の「よさ」
    • 転置インデックス
    • Elasticsearch
    • 全文検索の流れ
    • 意味検索（セマンティックサーチ）

第2回 推薦技術入門・・・資料P26~

  • 推薦技術入門
    • 概要推薦
    • 関連アイテム推薦
    • パーソナライズ推薦
    • アイテム系列消費
  • 推薦システムの概要
    • 推薦システムのモデル
    • 内容ベースフィルタリング
    • 協調フィルタリング
    • ハイブリッドフィルタリング
  • 推薦システムの「よさ」
  • 推薦システムのプロジェクト
    • 推薦プロジェクトの進め方

第3回 検索推薦システムの評価・・・資料P53~

  • 検索推薦システムの評価方法
    • オフライン評価
    • オンライン評価
    • ユーザースタディ
  • 評価指標
    • 集合の評価指標（適合率、再現率、F値、正解率）
    • 予測誤差の評価指標（MAE、RMSE、R2）
    • ランキングの評価指標（Precision@k、Recall@k、Reciprocal Rank、nDCG）
    • その他の評価指標（Jaccard係数、Kendall’s τ、Spearman’s ρ、RBO）
  • A/Bテストによるオンライン評価
    • 実験成熟度モデル
    • 代表的なオンライン評価指標（A/Bテスト、インターリービング、多腕バンディット）
    • A/Bテストのワークフロー
    • 総合評価基準（OEC）
    • Experiment Design Doc（EDD）
    • A/Bテストのための実験プラットフォーム

プロダクト開発と検索推薦チーム

弊社が今春に発表した旗艦プロダクトである「LegalOn Cloud」は、検索と推薦がコアコンセプトになっています。言い換えると、検索・推薦チームに求められる期待値も非常に大きくなってきています。

この「LegalOn Cloud」のプロダクト開発組織は、ドメインや機能ごとにチームが分かれています。たとえば、契約書審査を扱うレビューチーム、契約書管理を扱うコントラクトマネジメントチームなどがあります。

検索や推薦は、これらのドメインを横断する機能であるため、複数のプロダクト開発チームと足並みを揃えて開発を進める必要があります。とくに、各チームに所属している PdM との連携は非常に重要です。

しかし、検索推薦技術の専門性の高さもあり、前提を揃えながら仕事を円滑に進めるのは難しいことが分かってきました。たとえば、検索推薦技術でできることの認識や、精度評価の考え方に PdM 間で差がありました。また、複数チーム間で施策の優先度づけをすることにも課題がありました。

私自身も機能開発・精度改善の進め方や評価方法について、方法論や基準をある程度揃えて開発を加速させていきたい、という思いがありました。

社内勉強会の企画と開催

そんな中、社内の PdM の一人に相談したところ、そういった技術面の sync のきっかけとして、社内勉強会をアレンジしてくださいました。おかげさまで、多くの PdM や PMM (Product Marketing Manager) に参加していただけました。また、このときの録画は社内に共有され、エンジニアやカスタマーサポートの方々にも見ていただけたようです。

この社内勉強会では、検索推薦技術の基礎的な考えや最近の潮流について、3回にわたって話しました。質疑応答の時間では、これらの技術を実際のプロダクト開発にどう活かすか、といった踏み込んだ内容を PdM と議論することができ、自身にとっても非常に有意義でした。

おわりに

まだまだ道半ばではありますが、検索・推薦チームは、PdM とも協働しながらプロダクトを成長させていこうとしています。

そんな弊社の検索・推薦チームに興味をもってくださったエンジニア、あるいはエンジニアリングマネージャーの方々、ぜひ応募をお待ちしています。

herp.careers

herp.careers

herp.careers

謝辞

これらの方々に深く感謝します。この記事と資料はこれらの方々の協力なしではありえませんでした。ありがとうございました。