東芝は、市販のカメラで撮影した画像を利用し、カメラのレンズによる画像のブレをディープラーニングで分析することで、ステレオカメラの精度で距離を測定できる3D認識AIを開発しました。この技術はステレオカメラの使用を排除し、最終的にはコストとスペースを削減します。東芝は、2019年10月30日午前10時から韓国で開催されるコンピュータビジョン国際会議（ICCV2019）でこの成果を発表します。
画像センシングはますます重要になり、物体を動かすロボット、自律型無人機、インフラストラクチャを検査する遠隔制御ドローンなどのアプリケーションでは、被写体の画像だけでなく、形状や距離を含む3Dデータを分析するための小さなデバイスが必要です。そのため、画像化された物体の形状、背景、その他の風景データをよりよく学習するために深層学習を使用することにより、単眼カメラ（小型化が容易）を使用した測定技術を開発する研究が増えています。
この方法には欠点があります。距離の精度は、学習した風景データに基づいて単眼カメラを使用して推定されます。これにより、さまざまな風景で撮影されたショットによって精度が低下します。これを克服するために、東芝は、レンズに2つのカラーフィルターを取り付け、被写体からの距離に応じて画像のぼけの色とサイズを分析するカラーフィルター絞り写真を開発しました。これによりデータ依存の問題は解決されますが、既存のレンズを変更するには時間と費用がかかります。
東芝は、ステレオカメラシステムと同等の高精度な距離測定を実現するために、ディープラーニングを利用してレンズ上の位置に応じて画像がどのようにぼやけているかを分析する3D認識技術を備えたAIを開発することでこの問題を克服しました。、通常の単眼カメラを使用しますが、風景データは必要ありません。これまで、ぼけの形状に基づいて距離を測定することは理論的に不可能であると考えられていました。これは、焦点から等距離にあるオブジェクトの距離と距離の両方で同じです。しかし、分析結果は、焦点から等距離にある場合でも、オブジェクトの近くと遠くのブラー形状の間に実質的な違いがあることを示しています。これにより、東芝は、ディープニューラルネットワークモデルでトレーニングされたディープラーニングモジュールによって、キャプチャされた画像からのブラーデータの分析に成功しました。
光がレンズを通過すると、作成されるブラーの形状は、光の波長とレンズ内の位置に応じて変化することが知られています。開発したネットワークでは、位置と色を別々に処理してぼかし形状の変化を適切に認識し、加重注意メカニズムを通過した後、距離を正しく測定するために明るさの勾配のどこに焦点を合わせるかを制御します。学習を通じて、ネットワークが更新され、測定された距離と実際の距離の間の誤差が減少します。東芝は、このAIモジュールを使用して、市販のカメラで撮影した1枚の画像で、ステレオカメラと同じ距離測定精度を実現できることを確認しました。詳細については、東芝の公式ページをご覧ください。
東芝は、市販のカメラやレンズでシステムの汎用性を確認し、画像処理のスピードアップを図り、2020年度の公募を目指します。