AVOps 導入によりデータのインジェストやアノテーション、データ処理と機械学習ワークフローが効率化、センサーフュージョン開発が加速し認識性能が向上。Azure AI Studio で画像シーン分析システムを構築検証中。
これからの社会において、実装が期待される技術分野のひとつに自動車の自動運転システムが挙げられます。自動運転システムの高度化は、運転手不足への対応や交通事故の防止、移動時間の新しい過ごし方（セカンダリ アクティビティ）の創出など、多くの社会課題を解決し、新たなイノベーションの起爆剤となることは間違いないでしょう。
我が国においても、すでにアクセル・ブレーキ操作と、ハンドル操作との両方が部分的に自動化された自動車が市販されており、さらなる自動運転システムの高度化に向けて、自動車関連企業、IT 企業、政府自治体が一体となった技術革新や法整備が進んでいます。一方で、乗り越えなければならないいくつかの障壁も存在しており、そのうちのひとつが、自動車の「眼」とも言うべきイメージング ＆ センシング技術の精度向上です。
ソニーセミコンダクタソリューションズ株式会社は、イメージング ＆ センシング技術を強みとした半導体デバイス事業を展開する企業です。主力事業であるイメージ センサー分野の金額シェアで世界ナンバー ワンを誇る同社では、2014 年から車載向けに特化したイメージ センサーの開発を本格化。デジタルカメラや携帯電話向けのイメージ センサー開発で培った技術を背景に、運転支援の実現とその先の応用を目指して、イメージング ＆ センシング技術の向上に取り組んでいます。
車載カメラ向けのイメージ センサー開発を進めるにあたっては、同社の強みを生かせる部分と、発想の転換が必要な部分があったと語るのは、ソニーセミコンダクタソリューションズ株式会社 車載事業部 事業部長の春田 勉 氏。
「これまで当社では、人間にとって見やすく、美しいと感じられるイメージング技術を進化させてきました。一方で、車載用イメージ センサーに必要なのは、時速数十 km での高速走行中や夜間でも、システムや AI が対象物を認識するために必要なデータを取得する技術、すなわちセンシング技術です。私たち車載事業部では、どのようなデータを取り込むことが車載カメラにとって有益なのか、そもそも機械が認識するとはどういうことか、といった課題を探究しながら、センシングに特化したイメージセンサーの開発に取り組んでいます」（春田氏）
春田氏によると、車載用カメラはデジタル カメラや携帯電話のカメラのように眼が見た映像のアウトプットを目的とするだけではなく、映し出された対象のデータを精緻に認識、活用するためのインプット デバイスと捉えているとのこと。「そして、データを有益に活用するためには認識段階こそが重要です」と春田氏。同事業部では、複数のセンサーを組み合わせて認識性能を高めることを目的としたソフトウェア「センサーフュージョンシステム」の開発にも取り組むようになりました。
「車載事業部が発足した 2016 年からソフトウェア開発は行われていましたが、当時はオンプレミス環境で構築しており、画像に含まれる膨大なデータを取り回すのに膨大な労力と時間がかかっていました」と振り返るのは、ソニーセミコンダクタソリューションズ株式会社 車載事業部 車載センシング開発部 統括課長の五十嵐 信之 氏 。その状況に加えて、同社は 2022 年から経済産業省が推奨するグリーン イノベーション基金に参画することになり、自動運転技術の開発に拍車がかかりました。
「車載用カメラを積んだ自動車が取得するデータは、1 日で数テラ バイトにも及びます。この量のデータを扱いながらソフトウェア開発をスピーディに進めなければならない状況を考えて、クラウド サービスである Microsoft Azure への開発環境の移行を行いました。車両で取得されたデータは、Azure Data Boxサービスを使用して Azure に転送しました。オフライン転送デバイスの Data Box ファミリーを使用することで、データは高速かつ安全で信頼性の高い方法で自動車からクラウドに転送ができました」（五十嵐氏）
ソフトウェアの開発においては、社内はもちろん社外の協力会社にもデータを共有する必要もあります。データの管理がしやすいクラウド環境は、作業効率の向上という意味でも必要なものでした。五十嵐氏によると、Azure の多様な PaaS サービスを組み合わせて効率的に活用できる点も導入理由のひとつだったそうです。
ものづくりに特化した私たちと、仕組みづくりに特化した日本マイクロソフトが協働することで、その未来に向けてさらに飛躍できるはず
春田 勉 氏, 車載事業部 事業部長, ソニーセミコンダクタソリューションズ株式会社
こうした開発環境の整備により、同社の「センサーフュージョンシステム」と呼ばれるソフトウェアの開発は大きく進展しました。センサーフュージョンシステムは、複数のセンサーを組み合わせて認識性能を高めるためのソフトウェアで、各センサーが得意とする機能による補足や組み合わせによって認識機能を高めることを目的としています。
この センサーフュージョンシステム開発のワークフローを下支えしているのが、Microsoft の自動運転開発用リファレンス アーキテクチャ「AVOps」です。
「AVOps は 2021 年の CES（Consumer Electronics Show） で知ったのですが、自動運転に必要とされるさまざまなソリューションが網羅されたアーキテクチャのことで、私たちが参考にできそうなものも含まれていました。開発環境を Azure に移行させようとしていた私たちにとって、最も使いやすいアーキテクチャでした」（五十嵐氏）
こうして AVOps を導入した同社では、3 年計画で同社向けにカスタマイズしたインフラの構築を目指すことになりました。ただ、経済産業省のグリーン イノベーション プロジェクトはすでにスタートしていたため、インフラ構築と同時並行でプロジェクトを進行する必要が生じました。
そこで同社では、同社にとっての課題でありこのインフラの柱となる機能から構築し、順次リリースする手法を採用。優先事項として、取得したデータのなかから必要なデータを加工、保存、抽出するインジェスト処理、機械学習のための属性付与を行うアノテーション、そしてバーチャル マシンによる機械学習の三工程がピックアップされました。
「インジェストの精緻化は常に大きな課題でした。またアノテーションにおいては、協力会社とのデータのやり取りを高速化する必要がありました。そして機械学習用の PC は高価なため複数台を揃えての作業ができなかったのですが、Azure Machine Learning を活用することで、コストを抑えつつ機械学習を並行して進められるようになりました」（五十嵐氏）
AVOps は、主に 3 つの工程から形成されています。 1 つ目は、自動車が走行しながら撮影した画像データを Azure Data Box サービスを利用し Azure 上に保存し、保存したデータのインジェスト処理やアノテーションを管理する DataOps。次に、 DataOps から提供されるデータを用いて機械学習モデルを開発するためのワークフローを管理する MLOps。そして 3 つ目が、MLOps 工程での学習を評価する ValOps です。同社ではこのうち、DataOps と MLOps の構築をすでに完了し、現在は ValOps の構築に着手している段階です。
「AVOps をはじめとする Azure 上で展開されるサービスは非常に多様で、導入すればするほど効率化につながるとは思いますが、私たちのプロジェクトにおける効果の度合いには大小があります。インフラ構築においては、コストを考慮しつつオーバー スペックにならないように心がけました」と五十嵐氏。「最適なソリューションの目利き」に注力することが、真に効果的なインフラ構築につながる点を強調します。
同社では、次の一手にも取り掛かっています。それが生成 AI の活用による作業効率化です。
膨大なデータから機械学習に必要なデータや評価すべきデータをいかに精度よく抽出するかは、センサーフュージョンシステム開発を効率的に進めるための課題です。しかもデータが増えれば増えるほど抽出作業は複雑になります。そこで同社では、Azure AI Studio を活用して画像のシーン分析を効率的に実行できるシステムを構築し、現在検証を行っています。
「これまでのような人力によるタグづけでは、検索ワードに一致するワードが画像に埋め込まれていなければヒットしませんでした。生成 AI によって画像の詳細シーン説明文によるタグを埋め込み、自然言語で検索できるようになれば、曖昧検索も可能になるので、効率性とともに検索性も高まると考えています」（五十嵐氏）
自然言語の検索だけでなく、画像による検索も可能になるため、似たようなシーンを検索したい場合には言語すら必要なくなるそうです。ゆくゆくは、アノテーションの品質チェックや、認識に失敗した際の原因調査、テスト用画像の生成といった工程における生成 AI の活用も視野に入れているといいます。
「認識に失敗したシーンを学習して、それを改善するためのモデル強化や評価のサイクルを自動で回すことができれば、生成 AI の真の価値を感じられるのではないかと思っています」（五十嵐氏）
Azure AI Studio の実装においては、日本マイクロソフトがエンジニアを派遣。ソニーセミコンダクタソリューションズのエンジニアと密にコミュニケーションを取りながら作業が進められました。五十嵐氏は、「迅速な実装を実現できただけでなく、当社のエンジニアも刺激を受けていたようです」と、この協働を評価します。
生成 AI によって画像の詳細シーン説明文によるタグを埋め込み、自然言語で検索できるようになれば、曖昧検索も可能になるので、効率性とともに検索性も高まると考えています
五十嵐 信之 氏, 車載事業部 車載センシング開発部 統括課長, ソニーセミコンダクタソリューションズ株式会社
「インフラや開発基盤には開発の終わりはないと考えています」と五十嵐氏。2022 年から 3 年計画で進めてきたインフラ構築プロジェクトに、ある程度目処がついてきた現状を鑑み、今後は機能の拡充と同時に運用の改善や自動化を視野に入れていきたいと語ります。
「クラウド ツールの活用やインフラの構築によって、開発効率が改善されていることは十分実感してはいますが、忘れてはいけないのは、これらはあくまで手段だということです」と力を込める五十嵐氏。「ツールを活用する人間の側が、しっかりと目標を認識してコミュニケーションを取り合い、本当に必要な手段を吟味し続けることがなにより重要」という同氏の言葉に、春田氏も大きく頷き「私たちのイメージ センサーがインプット デバイスとして進化する先には、自動運転のみならずさまざまなシーンで“人間の眼以上”の機能を持つ機械が活躍して、私たちの生活をより豊かにしてくれる未来があると信じています」と、使うツールや技術は移り変わっても、目指すものが「人々の豊かな生活」であるという点は変わらないことを強調。最後に「ものづくりに特化した私たちと、仕組みづくりに特化した日本マイクロソフトが協働することで、その未来に向けてさらに飛躍できるはず」と、日本マイクロソフトとのさらなるコラボレーションへの期待を語りました。
「Sense the Wonder」というコーポレート スローガンを掲げ、「この世界に溢れる素晴らしいものに、もっと驚きたい、感動したい」という思いを形にしてきたソニーセミコンダクタソリューションズ。人間が持つ無限の可能性を拡張し、未来を切り拓こうと常に進化を模索し続ける同社の変革に、私たち日本マイクロソフトも引き続き伴走してまいります。
ものづくりに特化した私たちと、仕組みづくりに特化した日本マイクロソフトが協働することで、その未来に向けてさらに飛躍できるはず
春田 勉 氏, 車載事業部 事業部長, ソニーセミコンダクタソリューションズ株式会社
Microsoft をフォロー