ニーズ

事前情報、ステレオ光学、または測定なしでオブジェクトの位置や向き、アイデンティティを正確に捉えるのは非常に困難です。規模や距離を測定することは難しく、オブジェクトの認識にはラベル付きの大きなデータセットが必要です。

アイデア

畳み込みニューラルネットワーク (CNN) は、自動運転車両などで使用されるように、オブジェクトの認識、分類、セグメンテーションにおいて大きな進歩をもたらしました。 PoseTracker は CNN のパワーを活用して、3D でオブジェクトを認識および追跡します。

ソリューション

PoseTracker は、特許取得済みの光学マーカー アプローチを使用して、2D 画像からオブジェクトの姿勢を推定します。そして事前定義された 3D 方向との比較に基づいて、1 つの画像からすべての後続画像までの位置を追跡します。

PoseTracker に関する技術的な詳細

ディープ ニューラル ネットワークの一種である畳み込みニューラル ネットワークは、近年、オブジェクトの認識、分類、セグメンテーションの面で大きな進歩を遂げ、自動運転車両やさまざまなコンピューター ビジョン アプリケーションの開発に大きく貢献しています。

しかし、オブジェクトの 3D 姿勢推定において、これらの高度なアプローチの実用的な実装はほとんどありません。 3D 参照空間でオブジェクトを認識して追跡する機能は、いくつかの困難な問題があるため、依然として解決が難しい問題です。

  1. 3D 姿勢情報はキャプチャするのが難しく、ステレオ光学式または磁気式のローカリゼーション装置を含む複雑なセットアップが必要です。
  2. 対象のオブジェクトに関する事前情報が不足しています。
  3. 適切な姿勢情報を含むラベル付きデータセットを大量に取得することは、非常に困難です。 軸のスケーリングや変換などの従来の画像操作では、必然的に 3D 姿勢情報を壊してしまいます。

アイデアとしては、CNN の能力を活用し、3D でオブジェクトの姿勢 (位置と方向) を認識および追跡するアプリケーションを実装します。これには、オブジェクトの回転を識別して、オブジェクトの姿勢を推定するのに役立つ特許取得済みの光学マーカーを使用します。

PoseTracker は、シンプルなオブジェクトの姿勢検出パイプラインの概念実証であり、3D 姿勢追跡ソリューション (光学マーカー) に基づく回転情報と統合されています。

このアプリケーションは、光学マーカーが常に見える状態でカメラから取得した 2D 画像を分析します。 アプリケーションは、教師ありトレーニングでマーカーを検出します。マーカーは、事前定義された 3D 方向との比較に基づき、1 つの画像から後続のすべての画像について、その方向情報を推測します。

姿勢追跡の問題を解決するこの新しいアプローチは、将来携帯電話のカメラを使用して、オブジェクトがあなたからどの角度、向き、距離にあるかをリアルタイムで取得するのに役立ちます。

リソース:

PoseTracker に関連するプロジェクト

ビジネス シナリオのプロジェクトをもっと見る

AI の可能性を探る

Microsoft AI の学習リソースと開発ソリューションで、独自の AI イノベーションをすぐに始めることができます。