東京エレクトロンがデータ基盤を Azure Databricks へと集約、膨大かつフレッシュなデータをほぼリアルタイムで活用できる環境を実現

従来の複雑なデータ基盤では、急増するデータの活用が困難に

半導体製造装置のグローバル リーディング カンパニーとして、世界 18 の国と地域に 95 拠点を展開する東京エレクトロン株式会社 (以下、東京エレクトロン)。半導体製造における「前工程」の多くを自社装置で網羅できる総合力を持ち、先端半導体の歩留まりを左右する「EUV 露光向けコータ／デベロッパ (塗布現像装置)」では世界シェアの100％ を持つ、唯一無二の存在として知られています。また装置の導入前後にわたる技術サポートなどを提供する、フィールド ソリューションも積極的に展開。「装置✕サービス」の両輪によって、安定的な成長を続けています。

「当社は半導体の複数工程を担っており、それらの開発から生産製造まで、多岐にわたる部門からデータが生み出されています」と語るのは、東京エレクトロン デジタル統括ユニット DXデザイン部の部長を務める小林 仙尚 氏。また半導体市場が大きく成長していることから、半導体製造装置の提供企業に対する要求・要望も増え続けており、これに対応するため半導体製造現場で生み出されるデータを利活用していこうという動きも加速しているといいます。

「その結果、社内で取り扱うべきデータは急速に増大し続けています。しかし従来のデータ基盤は、複数のデータベースや ETL ツールで構成されており、運用管理が極めて煩雑でした。そのためデータを資産として素早く活用することが難しく、個人のスプレッドシートの中に埋もれてしまうデータも少なくありませんでした」。

データ活用を容易にする基盤として Azure Databricks を採用

データを資産に変えていくには、データを収集・蓄積するだけではなく、それらを 2 次利用・3 次利用していくことが重要になると判断。そのための新たなデータ基盤の検討が始まります。このタイミングでマイクロソフトから提案されたのが、Azure Databricks でした。2019 年 12 月にはその導入に向けた検討が本格化します。

Azure Databricks の採用理由について、東京エレクトロン デジタル統括ユニット ITオペレーション部 ネットワークDCグループでグループリーダーを務める橋本 栄二 氏は、次のように説明します。

「新たなデータ基盤として Azure Databricks を採用した理由は、すでに社内で Azure の運用環境が整えられており、他の Azure PaaS とも容易に連携できるからです。また、フルマネージド サービスであるため運用負荷が低いことや、小規模から大規模まであらゆるワークロードに対応可能でスケールも柔軟にコントロールできるといった特長も、採用の決め手になりました」。

フレッシュで高品質なデータをほぼリアルタイムで活用可能に

2020 年 3 月には PoC をスタート。マイクロソフトの支援を受けながら、すでに使っていた Azure の各種サービスとの親和性や連携、Azure Databricks のスケーラビリティなどが検証されていきます。2020 年 10 月頃には一部のユーザーへの提供を開始。その後も段階的にユーザーを増やし続けています。

「提供方法としては、データ基盤の仕組みをユーザー毎に設計するのではなく、Azure Databricks やデータベースなどを組み合わせたテンプレートを作成し、このテンプレートにもとづいた提供を行っています」と橋本 氏。すでにワークスペースを払い出しているプロジェクトは約 20 に上っており、SAP などを含む 16 のシステムから、15 分サイクルで最新データが収集されていると説明します。

収集された生データは「メダリオン アーキテクチャ」によって、ブロンズ→シルバー→ゴールドという 3 レイヤーで品質を向上。整備されたデータは Power BI で可視化・分析されており、グローバルで標準化されたデータ共有モデルも、Delta Sharing によって実現されています。

「私は前の部署でデータレイクを自前で構築する、という取り組みを行っていたのですが、ブロンズ以前の生データをシルバー テーブルまで持っていくのに、約 1 年かかりました。その後、Databricks のレイクハウスのコンセプトを知り、すぐに 50 ～ 70％ の完成度のデータができあがるのを見て、とても驚きました。今ではフレッシュなデータを、ほぼリアルタイムで活用できる基盤が整いつつあります」(小林 氏)。

試行錯誤が行いやすくスペック変更も容易、夜間バッチの処理時間も半減

それでは Azure Databricks の活用によって、どのようなメリットが得られているのでしょうか。まず開発者にとってのメリットを次のように説明するのは、データ基盤の構築・運用を担当する、東京エレクトロン デジタル統括ユニット DX デザイン部 DXデータ統合グループ エキスパートの大谷 陽介 氏です。

「Azure Databricks は非常に使いやすいサービスだと感じています。ノートブック形式で開発可能で、セルごとに実行してログを細かく確認することもできるため、試行錯誤が行いやすいのです。また、最初は低スペックでスタートし、後でスペックを上げたりクラスター ノードを増やしたり、といった調整も柔軟に行えます。さらに、導入後に Unity Catalog がリリースされるなど、進化し続けている点も気に入っています」。

また大谷 氏と同様にデータ基盤の構築・運用を担当する、東京エレクトロン デジタル統括ユニット DXデザイン部 データサイエンスグループの岸 佳名子 氏は、次のように述べています。

「Azure Databricks によって、夜間バッチの処理時間が短縮されつつあります。現時点では旧システムと並行稼働しているためその効果はまだ限定的ですが、完全に切り替わった際には処理時間を半減できると見込んでいます。また Databricks が提供する Unity Catalog による見える化によって、データがどこから来てどのように処理されているのかがわかりやすくなったことも、大きなメリットです」。

RAG のデータ基盤としても優位性が高いと評価

Azure Databricks で整備されたデータは、生成 AI の RAG 基盤でも活用されており、その優位性が高く評価されています。これに関して次のように語るのは、東京エレクトロン デジタル統括ユニット DXデザイン部 部長代理の荒木 琢磨 氏です。

「私は Azure Databricks による RAG 基盤の構築と運用を担当していますが、これを統一的なプラットフォームにすることを目指しています。旧システムからの移行を開始したのは 2023 年 4 月、2025 年 9 月には初回リリースを行いました。RAG 基盤として Azure Databricks の採用を決めたのは、AI エージェント系の機能追加が予定されているなど、将来性が高いと評価したからです」。

さらに、荒木 氏と共に RAG 基盤を担当する東京エレクトロン デジタル統括ユニット DX デザイン部 デジタル基盤グループ シニアスペシャリストの武藤 丈也 氏は、次のように付け加えます。

「設計者の観点での優位点は大きく 3 つあると考えています。第 1 は Unity Catalog を使うことで、アクセス管理を統合できること。第 2 は複数のチームで ETL 処理を分業しやすいこと。そして第3が、MLflow を使うことで精度評価の仕組みを確立できることです。MLflow の活用はまだこれからですが、近い将来にはこれによって、統一された指標で精度を評価できるようになると期待しています」。

今後は Azure Databricks をコアに全社標準のデータ基盤を確立

東京エレクトロンにおけるデータ基盤の移行はまだ進行中ですが、最終的には Azure Databricks をコアとした「AI Data Platform」を、全社標準のデータ基盤にする計画です。

「目指している姿は、この図に示すような『TEL AI Eco System』の実現です」と橋本 氏。社内のあらゆる業務現場で日々生成されるデータを AI Data Platform に統合し、一元的に管理・活用できる環境を構築することで、技術情報・品質情報やフィールド情報、調達・SCM データ、さらには文書・手順書・FAQ といったナレッジ情報までを取り込んだ RAG を実現しようとしているのです。そしてこの AI Data Platform を Microsoft 365 Copilot などと連携させることで、業務自体の「エージェント化」を段階的に推進していくことも視野に入っているといいます。

「データ・知識・エージェント実行の循環が可能になれば、業務の膨張を抑えながら成長し続けることも可能になるはずです」と小林 氏。「今後もマイクロソフトとロードマップを共有しながら、その運用モデルを共創していきたいと考えています」。