こんにちは、LegalOn Technologiesにてエンジニアリング推進グループに所属の荒木と申します。
2023年12月20日、弊社オフィスにて「検索技術勉強会(以降 勉強会)」が開催されました。
この勉強会の内容と「なぜオフライン勉強会を再開したのか」について、弊社の検索・推薦グループのエンジニアへインタビューを行いました。本記事ではこれらについてレポートします。
続きを読む検索クエリパーサー自作入門
はじめに
こんにちは。株式会社LegalOn Technologies でエンジニアをしております、勝田(@WinField95)です。この記事は、情報検索・検索技術 Advent Calendar 2023 の 20日目の記事として執筆されました。
この記事では、ANTLR[1]を使用したシンプルなクエリ構文の解析を行う検索クエリパーサーの生成と、解析結果から Elasticsearch の Query DSL[2]への変換までのプロセスと簡単な実装を紹介します。実務では、要求に応じて複雑なクエリ構文の文法定義が必要になる場合もありますが、この記事ではなるべく簡単なクエリ構文を取り扱います。解説で使用するコードは、この GitHub のリポジトリで公開しますので、参考にしてみてください。また、Search Engineering Tech Talk 2023 Winter では、この記事の内容をもとに発表を行いました。ぜひスライドもご覧ください。
続きを読むシフトレフトを実現する仕様確認会：QAエンジニア主導の新たな取り組み
はじめに
こんにちは。株式会社LegalOn Technologies で品質保証（QA）エンジニアをしております、リンです。
2021年にLegalOn Technologiesでキャリアをスタートしました。入社当時、QAチームはたった3人で、品質保証プロセスもまだ発展途上でした。時間が経つにつれ、会社は急速に成長し、現在では、QAエンジニアの数も19人に増えています。組織が成長すると共に、最も効果的な品質保証プロセスを見つけるための探求は続いています。
この記事では、その過程で取り入れた新しい取り組みについて説明します。
続きを読む社内勉強会で使用したSimCSEのチュートリアル資料を公開しました
こんにちは、LegalOn Technologies Researchで研究員をしている神田（@kampersanda）です。
弊社では、検索チーム主催でセマンティック検索とベクトル検索に関する社内勉強会を定期的に実施しています。この勉強会では、技術に関心のあるエンジニアが有志で議題を持ち寄り、知識共有を行っています。
その成果のひとつとして、文埋め込み技術であるSimCSEのチュートリアル資料を作成し、以下に公開しました。
この資料はNotebookとして作成されており、SimCSEの学習から評価までの一連の動作を簡単に試して頂くことができます。また、コードの各パートには詳細なコメントや引用を付与しています。
本記事では、資料作成の目的や方法などを簡単に紹介します。チュートリアルの内容については、Notebookをご参照ください。
続きを読むPyCon APAC 2023 に参加してきました
はじめに
こんにちは、LegalOn Technologies 検索チームの志水です。
2023/10/27と28に開催された PyCon APAC 2023 に参加したので、そのレポートをお送りします。
2日間あるイベントのうち、初日は私によるレポート、2日目はチームリーダーの打田によるレポートをお届けします。
続きを読むLooker System Activity を低コストなサーバレスイベント駆動パイプラインで BigQuery へ取り込む
はじめに
株式会社LegalOn Technologies でデータエンジニアリングをしている 田中 晶 です。
LegalOn Technologies では、データドリブンな意思決定をするために、データ分析基盤や BI ツールの整備を行い、プロダクトに関わる多くの社員がデータを活用できる状態を維持し、さらなる活用を目指しています。
過去の啓蒙活動や整備の甲斐もあり、現在弊社で利用しているBIツールである Looker のライセンスは多くの社員に付与されており、またその活用も専門職だけでなく、営業部門の活用率も高いという利用率の計測結果も出ているほどです。
このように活用されているデータ分析基盤ですが、より高いデータの利活用水準を目指すためには、利用者や用途に関して、長期的に柔軟な利用状況の分析を行う必要がでてきました。
そこで幅広く Looker の活用度を測定するために使用状況やパフォーマンスに関する情報である System Activity をより有効活用するような仕組みを構築しました。
Looker の System Activity は活用しようとすると、その特性上データの取り込みとシステムが課題になります。
さらに、データ取り込みのシステムを既存のワークフローエンジンで実装する場合、クラスタ管理など費用や保守運用コストが必要になってしまいます。
そのような課題について BigQuery へのロードを Looker Action と Eventarc と Cloud Workflows を利用して、非常に低コストなサーバレスイベント駆動パイプラインとして実現した事例をご紹介いたします。
この仕組みを応用すれば、クラスタ管理が必要なワークフローエンジンがなく、専任のデータエンジニアがいないような組織でも、パイプラインを構築することが可能になります。
続きを読むLegalOn Technologies のエンジニアグレード評価基準を公開します
こんにちは。LegalOn TechnologiesでCTOを務めている深川といいます。
もし私がどういう人なのか気になる方がいましたら、私のことは以下の弊社オープン社内報でも記載していますので、よかったらこちらの記事をご覧いただければと思います。
https://now.legalontech.jp/n/n36b23e19f7b0
エンジニア組織の運営は人数が増えていくにつれて加速度的に難易度があがります。その中でも、エンジニアリングマネージャーにとって常に頭を悩ませるものが人事評価制度です。特に、評価基準については、公正かつ納得感があり、それでいて属人化しない評価基準を作り上げるのは至難の業です。
弊社も例に漏れずエンジニアのグレード評価基準に課題を感じていたため、2022年10月にエンジニアグレード評価基準の刷新を行いました。そこから約10か月が経過し、徐々に刷新の効果や課題が見えてきました。
この記事では、弊社で2022年10月に実施した評価基準刷新の取り組みとそこから得られた学び、今後の方針をご紹介します。そして、得られた学びの結果として、Job Expectation と呼ばれる、実際に弊社で使われているエンジニアのグレード評価基準を公開します。
続きを読む