LegalOn Technologies Engineering Blog

LegalOn Technologies 開発チームによるブログです。

Data Engineering

条件付き文書ラベリングをスマートに解く - Structured Outputsでラベルの組み合わせ爆発を回避する方法

はじめに こんにちは、株式会社LegalOn Technologies で検索・推薦チームに所属している福田と申します。 わたしたちのチームでは、LLM (大規模言語モデル) を用いて文書をラベリングし、そのラベルを検索や推薦のサービスで役立てています。 この記事では、…

GeminiでdbtのDescriptionを自動補完したら、2,000件以上のメタデータ整備が1分以内で完了した話

はじめに 株式会社LegalOn Technologiesでアナリティクスエンジニアをしている鈴木です。 データ活用の現場では、メタデータの品質が分析や開発の効率を大きく左右します。特に、データベースのカラム定義(description)は、データの意味や使い方を理解する…

Lookerから実行されるBigQueryのクエリコストを分析可能にする方法

はじめに 株式会社LegalOn Technologies でデータエンジニアリングをしている鈴木です。 LegalOn Technologies ではBIツールにLooker(https://cloud.google.com/looker)を採用しており、分析用のデータウェアハウスにはBigQueryを採用しています。 この環…

プロダクト&データチームによるダッシュボード・メタデータ共創オペレーション

はじめに こんにちは。株式会社LegalOn Technologies データマネジメントチームでアナリティクスエンジニアをしております、須賀です。 この記事は、datatech-jp Advent Calendar 2024 *1 の19日目の記事として執筆されました。 *1: datatech-jp とはデータ…

Looker System Activity を低コストなサーバレスイベント駆動パイプラインで BigQuery へ取り込む

はじめに 株式会社LegalOn Technologies でデータエンジニアリングをしている 田中 晶 です。 LegalOn Technologies では、データドリブンな意思決定をするために、データ分析基盤や BI ツールの整備を行い、プロダクトに関わる多くの社員がデータを活用でき…