はじめに
株式会社LegalOn Technologies でデータエンジニアリングをしている 田中 晶 です。
LegalOn Technologies では、データドリブンな意思決定をするために、データ分析基盤や BI ツールの整備を行い、プロダクトに関わる多くの社員がデータを活用できる状態を維持し、さらなる活用を目指しています。
過去の啓蒙活動や整備の甲斐もあり、現在弊社で利用しているBIツールである Looker のライセンスは多くの社員に付与されており、またその活用も専門職だけでなく、営業部門の活用率も高いという利用率の計測結果も出ているほどです。
このように活用されているデータ分析基盤ですが、より高いデータの利活用水準を目指すためには、利用者や用途に関して、長期的に柔軟な利用状況の分析を行う必要がでてきました。
そこで幅広く Looker の活用度を測定するために使用状況やパフォーマンスに関する情報である System Activity をより有効活用するような仕組みを構築しました。
Looker の System Activity は活用しようとすると、その特性上データの取り込みとシステムが課題になります。
さらに、データ取り込みのシステムを既存のワークフローエンジンで実装する場合、クラスタ管理など費用や保守運用コストが必要になってしまいます。
そのような課題について BigQuery へのロードを Looker Action と Eventarc と Cloud Workflows を利用して、非常に低コストなサーバレスイベント駆動パイプラインとして実現した事例をご紹介いたします。
この仕組みを応用すれば、クラスタ管理が必要なワークフローエンジンがなく、専任のデータエンジニアがいないような組織でも、パイプラインを構築することが可能になります。
続きを読む