JP7143449B2 - デプス画像補完方法及び装置、コンピュータ可読記憶媒体 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１９年０８月３０日にに提出された、出願番号が２０１９１０８１７８１５．１である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、画像処理技術に関し、特にデプス画像補完方法及び装置、コンピュータ可読記憶媒体に関する。

現在、一般的なデプス画像取得方法は、ライダー（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ：ＬｉＤＡＲ）センサ、両眼カメラ、飛行時間型（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ：ＴＯＦ）センサなどにより、三次元シーンのデプス画像を取得する。両眼カメラとＴＯＦセンサの有効距離は、一般的には、１０ｍ内であり、スマートフォンなどの端末に適用されることが多い。ＬｉＤＡＲの有効距離が大きく、数十メートル、ひいては百メートルに達することができ、自動運転、ロボットなどの分野に適用可能である。

ＬｉＤＡＲを利用してデプス画像を取得する時、三次元シーンにレーザビームを発射し、続いて、三次元シーンにおける各物体の表面から反射されたレーザビームを受信し、発射時刻と反射時刻との時間差を算出し、三次元シーンのデプス画像を取得する。しかしながら、実際の適用において、一般的には、３２／６４ビームのＬｉＤＡＲを主に利用するため、疎らなデプス画像しか取得できない。デプス画像補完は、デプス画像を密なデプス画像に復元するプロセスである。関連技術において、デプス画像補完は、デプス画像を直接的にニューラルネットワークに入力し、密なデプス画像を得ることである。しかしながら、このような方式は、疎らポイントクラウドデータを十分に利用していないため、得られた密なデプス画像の正確度が低い。

本願は、疎らなポイントクラウドデータを十分に利用し、補完後のデプス画像の正確度を向上させることができるデプス画像補完方法及び装置、コンピュータ可読記憶媒体を提供する。

本願の技術的解決手段は、以下のように実現する。

第１態様によれば、本願の実施例は、デプス画像補完方法を提供する。前記方法は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集することと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定することと、
前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、ことと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することと、を含む。

第２態様によれば、本願の実施例は、デプス画像補完装置を提供する。前記装置は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集するように構成される収集モジュールと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される処理モジュールであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、処理モジュールと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するように構成される拡散モジュールと、を備える。

第３態様によれば、本願の実施例は、デプス画像補完装置を更に提供する。前記装置は、メモリと、プロセッサと、を備え、
前記メモリは、実行可能なデプス画像補完命令を記憶するように構成され、
前記プロセッサは、前記メモリに記憶された実行可能なデプス画像補完命令を実行し、上記第１態様のいずれか一項に記載の方法を実現させるように構成される。

第４態様によれば、本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に、実行可能なデプス画像補完命令が記憶されており、プロセッサにより実行される時、上記第１態様のいずれか一項に記載の方法を実現させる。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
デプス画像補完方法であって、前記方法は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集することと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定することと、
前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、ことと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することと、を含む、デプス画像補完方法。
（項目２）
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することは、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定することと、
前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記拡散待ち画像は、初期段階の補完デプス画像であり、前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定することは、
前記拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とすることと、
拡散後の画像を補完後のデプス画像とすることと、を含むことを特徴とする
項目２に記載の方法。
（項目４）
前記拡散待ち画像は、第１平面原点距離画像であり、前記デプス画像及び前記二次元画像に基づいて拡散待ち画像及び特徴画像を決定することは、
前記カメラのパラメータ行列を取得することと、
前記収集されたデプス画像及び前記二次元画像に基づいて、前記初期段階の補完デプス画像、前記特徴画像及び法線方向予測画像を決定することであって、前記法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指す、ことと、
前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出することであって、前記第１平面原点距離画像は、前記初期段階の補完デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値とした画像である、ことと、を含むことを特徴とする
項目２に記載の方法。
（項目５）
前記方法は、
前記収集されたデプス画像及び前記二次元画像に基づいて第１信頼度画像を決定することであって、前記第１信頼度画像は、前記収集されたデプス画像における各画素に対応する信頼度を画素値として用いた画像を指す、ことと、
前記収集されたデプス画像、前記パラメータ行列及び前記法線方向予測画像に基づいて、第２平面原点距離画像を算出することであって、前記第２平面原点距離画像は、前記収集されたデプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値として用いた画像を指す、ことと、
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得ることと、を更に含むことを特徴とする
項目４に記載の方法。
（項目６）
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得ることは、
前記第２平面原点距離画像から、前記第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、前記置換え画素点の画素値を決定することであって、前記第１画素点は、前記第１平面原点距離画像におけるいずれか１つの画素点である、ことと、
前記第１信頼度画像から、前記置換え画素点に対応する信頼度情報を決定することと、
前記置換え画素点の画素値、前記信頼度情報及び前記第１平面原点距離画像の第１画素点の画素値に基づいて、前記第１平面原点距離画像の前記第１画素点の最適化後の画素値を決定することと、
を繰り返して実行し、前記第１平面原点距離画像の各画素の最適化後の画素値を決定して前記最適化後の第１平面原点距離画像を得るまで継続すること、を含むことを特徴とする
項目５に記載の方法。
（項目７）
前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することは、
所定拡散範囲に基づいて、前記拡散待ち画像から、前記拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、前記拡散待ち画素集合における各画素の画素値を決定することであって、前記第２画素点は、前記拡散待ち画像におけるいずれか１つの画素点である、ことと、
前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出することと、を含み、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定することは、
前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定すること、
を繰り返して実行し、前記拡散待ち画像における各画素の拡散後の画素値を決定するまで継続すること、を含むことを特徴とする
項目２－６のうちいずれか一項に記載の方法。
（項目８）
前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出することは、
拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することと、
前記特徴画像において、前記拡散待ち画像の第２画素点に対応する画素を第１特徴画素とすることと、
前記特徴画像において、前記拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とすることであって、前記第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である、ことと、
前記第１特徴画素の特徴情報及び前記第２特徴画素の特徴情報を抽出することと、
前記第１特徴画素の特徴情報、前記第２特徴画素の特徴情報、前記強度正規化パラメータ及び所定拡散制御パラメータ利用して、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出することと、
を繰り返して実行し、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を決定するまで継続することと、
前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を前記拡散待ち画像の第２画素点に対応する拡散強度とすることと、を含むことを特徴とする
項目７に記載の方法。
（項目９）
前記サブ拡散強度は、前記拡散待ち画像の第２画素点と前記拡散待ち画素集合における第３画素点との類似度であることを特徴とする
項目８に記載の方法。
（項目１０）
拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することは、
前記拡散待ち画像の第２画素点の特徴情報及び前記拡散待ち画素集合における第３画素点の特徴情報を抽出することと、
抽出して得られた拡散待ち画像の第２画素点の特徴情報、前記拡散待ち画素集合における第３画素点の特徴情報及び前記所定拡散制御パラメータ利用して、前記拡散待ち画素集合における第３画素点のサブ正規化パラメータを算出することと、
を繰り返して実行し、前記拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続することと、
前記拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることと、を含むことを特徴とする
項目８に記載の方法。
（項目１１）
前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定することは、
前記拡散強度における各サブ拡散強度をそれぞれ前記拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第１拡散部を得ることと、
前記拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第２拡散部を得ることと、
前記拡散待ち画像の第２画素点の画素値、前記拡散待ち画像の第２画素点の第１拡散部及び前記拡散待ち画像の第２画素点の第２拡散部に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を算出することと、を含むことを特徴とする
項目８に記載の方法。
（項目１２）
前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定した後、前記方法は、
前記補完後のデプス画像を拡散待ち画像とし、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続することを更に含むことを特徴とする
項目３に記載の方法。
（項目１３）
前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定した後、前記方法は、
前記補完後のデプス画像を初期段階の補完デプス画像とし、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップ、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続することを更に含むことを特徴とする
項目４－１１のうちいずれか一項に記載の方法。
（項目１４）
毎回に実行される、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップは、
前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出するステップと、
前記収集されたデプス画像及び前記二次元画像に基づいて、第１信頼度画像を決定するステップと、
前記収集されたデプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出するステップと、
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするステップと、を含むことを特徴とする
項目１３に記載の方法。
（項目１５）
デプス画像補完装置であって、前記装置は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集するように構成される収集モジュールと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される処理モジュールであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、処理モジュールと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するように構成される拡散モジュールと、を備える、デプス画像補完装置。
（項目１６）
前記拡散モジュールは更に、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定し、前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定するように構成されることを特徴とする
項目１５に記載のデプス画像補完装置。
（項目１７）
前記拡散待ち画像は、初期段階の補完デプス画像であり、
前記拡散モジュールは、前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するように構成される場合、更に、前記拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とし、拡散後の画像を補完後のデプス画像とするように構成されることを特徴とする
項目１６に記載のデプス画像補完装置。
（項目１８）
前記拡散待ち画像は、第１平面原点距離画像であり、
前記処理モジュールは、前記デプス画像及び前記二次元画像に基づいて拡散待ち画像及び特徴画像を決定するように構成される場合、更に、前記カメラのパラメータ行列を取得し、前記デプス画像及び前記二次元画像に基づいて、前記初期段階の補完デプス画像、前記特徴画像及び法線方向予測画像を決定するように構成され、前記法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指し、前記処理モジュールは更に、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出するように構成され、前記第１平面原点距離画像は、前記初期段階の補完デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値とした画像であることを特徴とする
項目１６に記載のデプス画像補完装置。
（項目１９）
前記処理モジュールは更に、前記デプス画像及び前記二次元画像に基づいて第１信頼度画像を決定するように構成され、前記第１信頼度画像は、前記デプス画像における各画素に対応する信頼度を画素値として用いた画像を指し、前記処理モジュールは更に、前記デプス画像、前記パラメータ行列及び前記法線方向予測画像に基づいて、第２平面原点距離画像を算出するように構成され、前記第２平面原点距離画像は、前記デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値として用いた画像を指し、前記処理モジュールは更に、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るように構成されることを特徴とする
項目１８に記載のデプス画像補完装置。
（項目２０）
前記処理モジュールは、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るように構成される場合、更に、前記第２平面原点距離画像から、前記第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、前記置換え画素点の画素値を決定することであって、前記第１画素点は、前記第１平面原点距離画像におけるいずれか１つの画素点である、ことと、前記第１信頼度画像から、前記置換え画素点に対応する信頼度情報を決定することと、前記置換え画素点の画素値、前記信頼度情報及び前記第１平面原点距離画像の第１画素点の画素値に基づいて、前記第１平面原点距離画像の前記第１画素点の最適化後の画素値を決定することと、を繰り返して実行し、前記第１平面原点距離画像の各画素の最適化後の画素値を決定して前記最適化後の第１平面原点距離画像を得るまで継続するように構成されることを特徴とする
項目１９に記載のデプス画像補完装置。
（項目２１）
前記処理モジュールは、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される場合、更に、所定拡散範囲に基づいて、前記拡散待ち画像から、前記拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、前記拡散待ち画素集合における各画素の画素値を決定するように構成され、前記第２画素点は、前記拡散待ち画像におけるいずれか１つの画素点であり、前記処理モジュールは更に、前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出するように構成され、
前記拡散モジュールは、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定するように構成される場合、更に、前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定すること、を繰り返して実行し、前記拡散待ち画像における各画素の拡散後の画素値を決定するまで継続するように構成されることを特徴とする
項目１６－２０のうちいずれか一項に記載のデプス画像補完装置。
（項目２２）
前記処理モジュールは、前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出するように構成される場合、更に、拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することと、前記特徴画像において、前記拡散待ち画像の第２画素点に対応する画素を第１特徴画素とすることと、前記特徴画像において、前記拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とすることであって、前記第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である、ことと、前記第１特徴画素の特徴情報及び前記第２特徴画素の特徴情報を抽出することと、前記第１特徴画素の特徴情報、前記第２特徴画素の特徴情報、前記強度正規化パラメータ及び所定拡散制御パラメータ利用して、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出することと、を繰り返して実行し、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を決定するまで継続することと、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を前記拡散待ち画像の第２画素点に対応する拡散強度とすることと、を実行するように構成されることを特徴とする
項目２１に記載のデプス画像補完装置。
（項目２３）
前記処理モジュールは、拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出するように構成される場合、更に、前記拡散待ち画像の第２画素点の特徴情報及び前記拡散待ち画素集合における第３画素点の特徴情報を抽出することと、抽出して得られた拡散待ち画像の第２画素点の特徴情報、前記拡散待ち画素集合における第３画素点の特徴情報及び前記所定拡散制御パラメータ利用して、前記拡散待ち画素集合における第３画素点のサブ正規化パラメータを算出することと、を繰り返して実行し、前記拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続することと、前記拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることと、実行するように構成されることを特徴とする
項目２２に記載のデプス画像補完装置。
（項目２４）
前記拡散モジュールは、前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定するように構成される場合、更に、前記拡散強度における各サブ拡散強度をそれぞれ前記拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第１拡散部を得て、前記拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第２拡散部を得て、前記拡散待ち画像の第２画素点の画素値、前記拡散待ち画像の第２画素点の第１拡散部及び前記拡散待ち画像の第２画素点の第２拡散部に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を算出するように構成されることを特徴とする
項目２２に記載のデプス画像補完装置。
（項目２５）
前記拡散モジュールは更に、前記補完後のデプス画像を拡散待ち画像とし、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続するように構成されることを特徴とする
項目１７に記載のデプス画像補完装置。
（項目２６）
前記拡散モジュールは更に、前記補完後のデプス画像を初期段階の補完デプス画像とし、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップ、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続するように構成されることを特徴とする
項目１８－２４のうちいずれか一項に記載のデプス画像補完装置。
（項目２７）
前記拡散モジュールは、毎回に実行される、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするように構成される場合、更に、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出し、前記デプス画像及び前記二次元画像に基づいて、第１信頼度画像を決定し、前記デプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出し、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするように構成されることを特徴とする
項目２６に記載のデプス画像補完装置。
（項目２８）
デプス画像補完装置であって、前記装置は、メモリと、プロセッサと、を備え、
前記メモリは、実行可能なデプス画像補完命令を記憶するように構成され、
前記プロセッサは、前記メモリに記憶された実行可能なデプス画像補完命令を実行し、項目１－１４のうちいずれか一項に記載の方法を実現させるように構成される、デプス画像補完装置。
（項目２９）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、実行可能なデプス画像補完命令が記憶されており、実行可能なデプス画像補完命令が、プロセッサに、項目１－１４のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。

本願の実施例は、デプス画像補完方法及び装置、コンピュータ可読記憶媒体を提供する。設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集し、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、拡散待ち画像及び特徴画像に基づいて、拡散待ち画像における各画素の拡散強度を決定する。拡散強度は、拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す。拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定する。上記実現方式を利用することで、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像を得ることができる。拡散待ち画像に、収集されたデプス画像における全てのポイントクラウドデータが残されている。これにより、拡散待ち画像における各画素値及びそれに対応する拡散強度を利用して、拡散待ち画像における各画素の拡散後の画素値を決定する時、収集されたデプス画像における全てのポイントクラウドデータを利用する。これにより、収集されたデプス画像におけるポイントクラウドデータを十分に利用することで、三次元シーンにおける各３Ｄ点のデプス情報の正確度がより高くなり、補完後のデプス画像の正確度が向上した。

本願の実施例によるデプス画像補完方法を示す第１フローチャートである。 本願の実施例によるデプス画像補完方法を示す第２フローチャートである。 本願の実施例による第１平面原点距離画像の演算を示す概略図である。 本願の実施例による収集されたデプス画像の雑音を示す概略図である。 本願の実施例による第１信頼度画像を示す概略図である。 本願の実施例によるデプス画像補完方法を示す第３フローチャートである。 本願の実施例によるデプス画像補完方法のプロセスを示す第１概略図である。 本願の実施例によるデプス画像補完方法のプロセスを示す第２概略図である。 本願の実施例によるデプス画像補完方法のプロセスを示す第３概略図である。 本願の実施例によるデプス画像補完方法を示す第４フローチャートである。 本願の実施例によるデプス画像補完方法を示す第５フローチャートである。 本願の実施例による拡散待ち画像の第２画素点の拡散後の画素値を示す概略図である。 本願の実施例による所定の繰り返し回数の値による補完後のデプス画像の誤差への影響を示す第１概略図である。 本願の実施例による所定の繰り返し回数の値による補完後のデプス画像の誤差への影響を示す第２概略図である。 本願の実施例による所定の誤差フォールトトレラントパラメータによる第１信頼度画像の真値画像への影響を示す概略図である。 本願の実施例による所定の誤差フォールトトレラントパラメータによる信頼度の真値－絶対誤差曲線分布への影響を示す概略図である。 本願の実施例による所定の予測モデルのサンプリング率による補完後のデプス画像への影響を示す第１概略図である。 本願の実施例による所定の予測モデルのサンプリング率による補完後のデプス画像への影響を示す第２概略図である。 本願の実施例による三次元シーンの収集されたデプス画像及び二次元画像を示す概略図である。 本願の実施例による畳み込み空間伝播ネットワークで得られた補完したデプス画像を示す図である。 本願の実施例によるＮＣｏｎｖ－畳み込みニューラルネットワークで得られた補完したデプス画像を示す図である。 関連技術における疎－密な方法で得られた補完したデプス画像を示す。 本願の実施例による法線方向予測画像を示す図である。 本願の実施例による第１信頼度画像を示す図である。 本願の実施例による補完したデプス画像を示す図である。 本願の実施例によるデプス画像補完装置の構造を示す概略図である。 本願の実施例によるデプス画像補完装置の構造を示す概略図である。

以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。

画像処理技術の成長に伴い、ますます多くの装置は、デプス画像を取得し、デプス画像を更に処理し、様々な機能を実現させることができる。一般的なデプス画像取得方法は、ライダー（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ：ＬｉＤＡＲ）センサ、ミリ波レーダー、両眼カメラ、飛行時間型（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ：ＴＯＦ）センサなどの方式で三次元シーンのデプス画像を得る。しかしながら、両眼カメラとＴＯＦによるデプス画像取得の有効距離は、一般的には、１０ｍ内であり、一般的にスマートフォンなどの端末に適用され、顔などのターゲットのデプス画像を得る。ＬｉＤＡＲの有効距離大きく、数十メートル、ひいては百メートルに達することができ、自動運転、ロボットなどの分野に適用可能である。

ＬｉＤＡＲを利用してデプス画像を取得する時、三次元シーンにレーザビームを能動的に発射し、続いて、三次元シーンにおける各物体の表面から反射されたレーザビームを受信し、レーザビームを発射する発射時刻と反射レーザビームを受信する受信時刻との時間差を算出し、三次元シーンのデプス画像を取得する。ＬｉＤＡＲがレーザビームの時間差に基づいてデプス画像を取得するため、ＬｉＤＡＲで取得されたデプス画像は、疎らなポイントクラウドデータからなる。また、実際の適用において、一般的には、３２／６４ビームのＬｉＤＡＲを主に利用するため、疎らなデプス画像のみを取得することができる。従って、デプス補完により、疎らなデプス画像を密なデプス画像に変換しなければならない。関連技術において、デプス画像補完方法は、大量の疎らなデプス画像及び三次元シーンの二次元画像からなる訓練データにより、ニューラルネットワークに対して教師あり訓練を行い、訓練されたニューラルネットワークモデルを得て、続いて、疎らなデプス画像及び三次元シーンの二次元画像を訓練したニューラルネットワークのモデルに入力し、デプス補完プロセスを完了し、密なデプス画像を得る。しかしながら、このような方式において、デプス画像におけるポイントクラウドデータを十分に利用していないため、得られた補完したデプス画像の正確度が低い。

上記デプス補完方法に存在する問題に対して、本願の実施例の要旨は、収集された疎ら的なデプス画像及び三次元シーンの二次元画像に基づいて、拡散待ち画像を得て、続いて、拡散待ち画像で画素レベルの拡散を実現させ、補完後のデプス画像を得て、疎らなデプス画像における各疎らなポイントクラウドデータを十分に利用し、正確度が高いデプス補完画像を得ることである。

上記本願の実施例の要旨によれば、本願の実施例は、デプス画像補完方法を提供する。図１に示すように、該方法は、以下を含んでもよい。

Ｓ１０１において、設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集する。

本願の実施例は、収集された疎らなデプス画像に対してデプス画像補完を行うシーンで実現する。まず、それ自体に設けられたレーダーにより、ターゲットシーンのデプス画像を収集すると共に、装置上に設けられたカメラにより、ターゲットシーンの二次元画像を収集する。

設けられたレーダーによりデプス画像を収集する時、レーザビームの発射時刻と受信時刻との時間差に基づいて、レーザビームに対応する三次元シーンにおける３Ｄ点のデプス情報を算出し、算出したデプス情報を画素値として、デプス画像を得ることができることに留意されたい。勿論、例えば、位相情報のようなレーザビームの他の特性により、レーザビームに対応する３Ｄ点のデプス情報を算出して、デプス画像を得ることもできる。本願の実施例は、これを限定するものではない。

本願の実施例において、レーダーにより収集されたデプス画像は、疎らなデプス画像であることに留意されたい。

本願の実施例において、設けられたレーダーは、３２／６４ビームのＬｉＤＡＲセンサであってもよく、ミリ波レーダーであってもよく、又は他のタイプのレーダーであってもよく、本願の実施例は、これを限定するものではない。

本願の実施例において、設けられたカメラにより二次元画像を収集する時、カラーカメラの光学デバイスにより、三次元シーンにおける各３Ｄの画素値情報を得て、二次元画像を得ることができる。他の方式で、ターゲットシーンの二次元画像を得ることもでき、本願の実施例は、これを限定するものではない。

本願の幾つかの実施例において、設けられたカメラは、三次元シーンのカラーの二次元画像を得るカラーカメラであってもよい。三次元シーンの赤外グレースケール画像を得る赤外カメラであってもよい。勿論、設けられたカメラは、他のタイプのカメラであってもよく、本願の実施例は、これを限定するものではない。

本願の実施例において、収集されたデプス画像の解像度と二次元画像の解像度は、同じであっても異なってもよい。収集されたデプス画像の解像度と二次元画像の解像度が異なる時、収集されたデプス画像及び二次元画像のうちのいずれか１つに対してスケーリング操作を行うことで、収集されたデプス画像の解像度と二次元画像の解像度を一致させることができることに留意されたい。

本願の実施例において、レーダー及びカメラは、実際の需要に応じて設置されて配置されてもよく、本願の実施例は、これを限定するものではない。

Ｓ１０２において、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像及び特徴画像を得る。

Ｓ１０３において、拡散待ち画像及び特徴画像に基づいて、拡散待ち画像における各画素の拡散強度を決定し、拡散強度は、拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表し、拡散強度に基づいて、拡散待ち画像における各画素の画素値が隣接画像へどのぐらい拡散するかを決定する。

拡散待ち画像及び特徴画像に基づいて、拡散待ち画像における各画素の拡散強度を決定する時、まず、拡散待ち画像における各画素に対して、隣接する幾つかの画素を決定し、続いて、特徴画像に基づいて、各画素とそれに対応する隣接画素との類似度を１つずつ対比することで、拡散強度を決定することに留意されたい。

Ｓ１０４において、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定する。

本願の実施例において、拡散待ち画像は、デプス画像及び二次元画像に基づいて決定されたものであるため、拡散待ち画像に、収集されたデプス画像における全てのポイントクラウドデータが残されている。従って、拡散待ち画像における各画素の画素値及びそれに対応する拡散強度を利用して、拡散待ち画像における各画素の拡散した画素値を決定する時、収集されたデプス画像における全てのポイントクラウドデータを利用する。これにより得られた三次元シーンにおける各３Ｄ点に対応するデプス情報の正確度がより高く、補完後のデプス画像の正確度が向上した。

本願の幾つかの実施例において、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するステップＳ１０４の実現プロセスは、Ｓ１０４１－Ｓ１０４２を含んでもよい。

Ｓ１０４１において、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、拡散待ち画像における各画素の拡散後の画素値を決定する。

Ｓ１０４２において、拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定する。

なお、本願の実施例における補完後のデプス画像は、補完後の密なデプス画像を指している。それは、比較的包括的な三次元シーンのデプス情報を持ち、デプス画像を必要とする種々のシーンに直接的に適用可能である。

本願の実施例において、拡散待ち画像における各画素の画素値及びそれに対応する拡散強度を利用して拡散待ち画像における各画素の拡散後の画素値を算出し、拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定する場合、収集されたデプス画像における全てのポイントクラウドデータを利用する。従って、得られた三次元シーンにおける各３Ｄ点に対応するデプス情報の正確度がより高く、補完後のデプス画像の正確度が更に向上した。

上記実施例と同様な発明構想によれば、本願の幾つかの実施例において、拡散待ち画像は、初期段階の補完デプス画像であり、拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定するステップＳ１０４２の実現プロセスは、Ｓ１０４２ａ－Ｓ１０４２ｂを含んでもよい。

Ｓ１０４２ａにおいて、拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とする。

Ｓ１０４２ｂにおいて、拡散後の画像を補完後のデプス画像とする。

初めて得られる初期段階の補完デプス画像は、収集されたデプス画像及び二次元画像に基づいて得られた画像であり、つまり、収集されたデプス画像及び二次元画像に対して平面分割、デプス情報のパディングなどの操作を行い、三次元シーンにおける各３Ｄ点のデプス情報を得て画素値とすることで得られた画像であり、又は、初めて得られた初期段階の補完デプス画像は、関連技術により、収集されたデプス画像及び二次元画像を処理することで得られたものであることに留意されたい。ここで、初期段階の補完デプス画像におけるポイントクラウドデータの密度は、収集されたデプス画像におけるポイントクラウドデータの密度より大きい。

本願の実施例において、拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とし、拡散後の画像を補完後のデプス画像とする。これにより、収集されたデプス画像における全てのポイントクラウドデータを十分に利用し、デプス画像におけるポイントクラウドデータを利用して、効果が高い補完後のデプス画像を得る。

本願の幾つかの実施例において、拡散待ち画像は、第１平面原点距離画像である。この場合、図２に示すように、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像及び特徴画像を決定するステップＳ１０２の実現プロセスは、Ｓ１０２１－Ｓ１０２３を含んでもよい。

Ｓ１０２１において、カメラのパラメータ行列を取得する。

取得されたパラメータ行列は、カメラに固有のパラメータ行列であり、該パラメータ行列は、カメラの内部パラメータ行列を指してもよく、カメラの射影変換パラメータ及び焦点距離が含まれてもよいことに留意されたい。勿論、パラメータ行列に、第１平面原点距離画像の算出に必要なパラメータが含まれてもよく、本願の実施例は、これを限定するものではない。

Ｓ１０２２において、収集されたデプス画像及び二次元画像に基づいて、初期段階の補完デプス画像、特徴画像及び法線方向予測画像を決定し、法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指す。

本願の実施例において、法線方向予測画像は、三次元シーンにおける各３Ｄ点の表面法線ベクトルを画素値とすることで得られた画像を指す。３Ｄ点の表面法線ベクトルは、該３Ｄ点から開始した該３Ｄ点に垂直な接平面のベクトルと定義される。

始めて得られた初期段階の補完デプス画像は、収集されたデプス画像及び二次元画像を利用することで決定された三次元シーンにおける各３Ｄ点の一次デプス情報を画素値とした画像を指すことに留意されたい。

Ｓ１０２３において、初期段階の補完デプス画像、カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出し、第１平面原点距離画像は、初期段階の補完デプス画像を利用することで算出されたカメラと各点の所在する平面との距離を画素値とした画像である。

初期段階の補完デプス画像、パラメータ行列及び法線方向予測画像を得た後、初期段階の補完デプス画像における各画素の画素値、パラメータ行列及び法線方向予測画像における各画素の画素値に基づいて、各３Ｄ点に対して、第１平面原点距離を算出し、続いて、各３Ｄ点の第１平面原点距離を画素値として、第１平面原点距離画像を得る。これにより、後続で、第１平面原点距離画像及び特徴画像に基づいて、第１平面原点距離画像における各画素に対して、拡散後の画素値を算出することで、補完後のデプス画像を得る。

本願の実施例において、第１平面原点距離は、初期段階の補完デプス画像により算出されたカメラの中心と三次元シーンにおける各３Ｄ点の所在する接平面との距離を指す。

第１平面原点距離画像は、各３Ｄ点の第１平面原点距離であるカメラの中心と３Ｄ点の所在する接平面との距離を画素値とすることで得られた画像であるため、同一の接平面に位置する３Ｄ点は、同一又は類似の第１平面原点距離を有すべきである。１つの３Ｄ点の第１平面原点距離と、該３Ｄ点と同一の接平面に位置する他の３Ｄ点の第１平面原点距離と、の差が大きい場合、該３Ｄ点の第１平面原点距離が、修正されるべき異常値であることを表す。つまり、同一の接平面に位置する３Ｄ点は、幾何学的に制約される。該幾何学的制約の要旨によれば、第１平面原点距離画像及び特徴画像に基づいて、第１平面原点距離画像における各画素に対して、拡散後の画素値を算出する時、第１平面原点距離画像における異常値を修正し、正確率が高い第１平面原点距離画像を得て、更に、正確率が高い第１平面原点距離画像に基づいて、効果が高い補完後のデプス画像を得ることができる。

本願の実施例において、まず、三次元シーンにおける各３Ｄ点の第１平面原点距離を算出し、続いて、各３Ｄ点の第１平面原点距離を画素値とし、第１平面原点距離画像を得る。各３Ｄ点の第１平面原点距離を算出する時、まず、各３Ｄ点の、画像平面への２Ｄ投影を決定し、カメラのパラメータ行列に対して反転を行い、パラメータ行列の逆行列を得る。続いて、一次補完ｓれたデプス画像から、各３Ｄ点に対応する一次デプス情報を得て、法線方向予測画像から、各３Ｄ点の所在する接平面の法線ベクトルを得る。最後に、各３Ｄ点に対応する一次デプス情報、各３Ｄ点の所在する接平面法線ベクトル、パラメータ行列の逆行列及び３Ｄ点の、平面画像への２Ｄ投影を乗算することで、各３Ｄ点の第１平面原点距離を得る。

例示的に、本願の実施例において、３Ｄ点の第１平面原点距離を算出する式を提供する。それは、式（１）に示すとおりである。

ただし、

は、３Ｄ点の第１平面原点距離を表し、

表示は、３Ｄ点の、平面画像への２Ｄ投影を表し、

は、３Ｄ点に対応する一次デプス情報を表し、

は、３Ｄ点Ｘの所在する接平面の法線ベクトルを表し、Ｃは、パラメータ行列を表す。これにより、３Ｄ点の、画像平面への２Ｄ投影の座標値、３Ｄ点に対応する一次デプス情報の値及び３Ｄ点の所在する接平面の法線ベクトルを得た後、それらを（１）に代入し、３Ｄ点の第１平面原点距離を算出し、続いて、各３Ｄ点の第１平面原点距離を画素値として、第１平面原点距離画像を得る。

幾何学的関係により、３Ｄ点の第１平面原点距離を算出する式を導き出すことができることに留意されたい。幾何学的関係から分かるように、カメラの中心から３Ｄ点の所在する接平面までの距離は、３Ｄ点の所在する平面におけるいずれか一点及び３Ｄ点の所在する平面の法線ベクトルにより決定されてもよい。３Ｄ点の三次元座標は、３Ｄ点の、画像平面への２Ｄ投影、３Ｄ点の一次デプス情報及びパラメータ行列により求められるため、カメラの中心から３Ｄ点の所在する接平面までの距離を、３Ｄ点の一次デプス情報、３Ｄ点の所在する平面の法線ベクトル、パラメータ行列及び２Ｄ投影により求めることができる。初期段階の補完デプス画像について言えば、各画素点の位置情報は、３Ｄ点の２Ｄ投影であり、各画素点の画素値は、３Ｄ点に対応するデプス情報である。同様に、法線方向予測画像について言えば、各画素点の位置情報は、３Ｄ点の２Ｄ投影であり、各画素点の画素値は、３Ｄ点の法線ベクトル情報である。従って、初期段階の補完デプス画像、法線方向予測画像及びパラメータ行列から、全ての３Ｄ点の第１平面原点距離を取得することができる。

例示的に、本願の実施例において、幾何的関係を利用して３Ｄ点の第１平面原点距離を算出する式を導き出すプロセスを提供する。つまり、式（１）の導き出しプロセスを提供する。

幾何的関係から分かるように、三次元シーンにおける３Ｄ点と３Ｄ点の所在する接平面の距離の関係は、式（２）に示すとおりである。

ただし、Ｘは、三次元シーンにおける３Ｄ点を表し、

は、３Ｄ点の、画像平面への２Ｄ投影を表し、

は、３Ｄ点Ｘから開始した３Ｄ点Ｘの所在する接平面に垂直な法線ベクトルを表し、

は、カメラの中心から３Ｄ点Ｘの所在する接平面までの距離を表し、つまり、３Ｄ点の一次デプス情報を表す。

式（２）に対して変換を行うことで、式（３）を得ることができる。

三次元シーンにおける３Ｄ点は、式（４）で表される。

ただし、Ｘは、三次元シーンにおける３Ｄ点を表し、

は、３Ｄ点の、画像平面への２Ｄ投影を表し、

は、３Ｄ点に対応する一次デプス情報を表し、Ｃは、パラメータ行列を表す。

式（４）を式（３）に代入することで、式（１）を得ることができる。

例示的に、本願の実施例は、第１平面原点距離画像の演算を表す概略図を提供する。図３に示すように、Ｏは、カメラの中心であり、Ｘは、三次元シーンにおける１つの３Ｄ点であり、

は、３Ｄ点の、画像平面への２Ｄ投影であり、Ｆは、３Ｄ点の接平面であり、

は、３Ｄ点の所在する接平面の法線ベクトルであり、

は、３Ｄ点に対応する一次デプス情報である。初期段階の補完デプス画像を得た後、初期段階の補完デプス画像から、３Ｄ点の２Ｄ投影

、該３Ｄ点に対応する一次デプス情報を知ることができる。続いて、法線方向予測画像から、知３Ｄ点の所在する接平面の法線ベクトルを知る。パラメータ行列Ｃは、既知のものであるため、３Ｄ点の２Ｄ投影

、３Ｄ点に対応する一次デプス情報

、法線ベクトル

及びパラメータ行列Ｃを式（１）に代入することで、３Ｄ点の第１平面原点距離を算出することができる。式（１）により、三次元シーンにおける各３Ｄ点の第１平面原点距離を得た後、各３Ｄ点の第１平面原点距離を画素値として、第１平面原点距離画像を得ることができる。

本願の実施例において、収集されたデプス画像及び二次元画像を利用して、初期段階の補完デプス画像、特徴画像及び法線方向予測画像を得て、初期段階の補完デプス画像、法線方向予測画像及び自体に記憶されたパラメータ行列に基づいて、第１平面原点距離画像を算出し、第１平面原点距離画像における各画素について、拡散後の画素値を算出する。幾何学的制約により、第１平面原点距離画像における異常値を除去し、第１平面原点距離画像の正確率を向上させる。これにより、後続で、正確率が高い第１平面原点距離画像に基づいて、効果が高い補完後のデプス画像を得ることができる。

本願の幾つかの実施例において、初期段階の補完デプス画像、カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出するステップＳ１０２３を実行した後、該方法は、Ｓ１０２４－Ｓ１０２６を更に含む。

Ｓ１０２４において、収集されたデプス画像及び二次元画像に基づいて、第１信頼度画像を決定し、第１信頼度画像は、デプス画像における各画素に対応する信頼度を画素値として用いた画像を指す。

本願の実施例において、第１信頼度画像は、三次元シーンにおける各３Ｄ点の一次デプス情報の信頼度を画素値として用いることで得られた画像を指す。

Ｓ１０２５において、収集されたデプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出し、前記第２平面原点距離画像は、収集されたデプス画像により算出されたカメラから三次元シーンの各点の所在する平面までの距離を画素値とした画像を指す。

本願の実施例において、第２平面原点距離は、デプス画像により算出されたカメラの中心から三次元シーンにおける３Ｄ点の所在する接平面までの距離を指す。

デプス画像、パラメータ行列及び法線方向予測結果に基づいて、第２平面原点距離画像を算出する時、まず、三次元シーンにおける各３Ｄ点の第２平面原点距離を算出する必要がある。各３Ｄ点の第２平面原点距離を算出する時、まず、各３Ｄ点の、画像への２Ｄ投影を決定し、パラメータ行列に対して逆演算を行い、パラメータ行列の逆行列を得て、続いて、収集されたデプス画像から、各３Ｄ点に対応するデプス情報を得て、法線方向予測画像から、各３Ｄ点の所在する接平面の法線ベクトルを得る。続いて、各３Ｄ点に対応するデプス情報、各３Ｄ点の所在する接平面の法線ベクトル、パラメータ行列の逆行列及の３Ｄ点の、平面画像への２Ｄ投影を乗算し、各３Ｄ点の第２平面原点距離を得る。

例示的に、本願の実施例において、式（５）により、各３Ｄ点の第２平面原点距離を算出することができる。

ただし、

は、３Ｄ点の第２平面原点距離であり、

は、３Ｄ点に対応するデプス情報であり、

は、３Ｄ点の所在する接平面の法線ベクトルであり、

は、３Ｄ点の画像平面への２Ｄ投影であり、Ｃは、カメラのパラメータ行列である。各３Ｄ点のデプス情報の値、各３Ｄ点の所在する接平面の法線ベクトル、パラメータ行列及び各３Ｄ点の、画像への２Ｄ投影の座標を取得した後、これらを式（５）に代入して、各３Ｄ点の第２平面原点距離を算出することができる。続いて、全ての３Ｄ点の第２平面原点距離を画素値として、第２平面原点距離画像を得ることができる。

Ｓ１０２６において、第１信頼度画像における画素、第２平面原点距離画像における画素及び第１平面原点距離画像における画素に基づいて、第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得る。

レーダーにより、移動中のターゲット又は物体の縁に対してデプス情報収集を行う時、雑音は、不可避的に発生するため、収集されたデプス画像に、不確実なデプス情報が存在することに留意されたい。これに対して、第１信頼度画像を導入して、デプス情報の信頼性を評価することができる。

本願の実施例において、第１信頼度画像は、各３Ｄ点のデプス情報の信頼度である、デプス画像における各画素に対応する信頼度を画素値とすることで得られた画像を指す。

第１信頼度画像における画素、第２平面原点距離画像における画素及び第１平面原点距離画像における画素を利用して、第１平面原点距離画像を最適化する時、第１信頼度画像における１つの画素の画素値に基づいて、該画素に対応する３Ｄ点のデプス情報の信頼度を判定することができる。第１信頼度画像における該画素の画素値が高いと、該画素点に対応する３Ｄ点のデプス情報が確実であり、３Ｄ点の実際のデプスに近く、該画素点に対応する３Ｄ点の第２平面原点距離の信頼性もより高いと認められる。この場合、該画素点に対応する３Ｄ点の第２平面原点距離を利用して、該画素点に対応する３Ｄ点の第１平面原点距離に対して置き換え最適化を行うと、最適化後の第１平面原点距離画像における一部の画素値を実際の平面原点距離の画素点に近くすることができる。従って、最適化後の第１平面原点距離画像及び特徴画像に基づいて、画素拡散を実現させる時、第１平面原点距離画像における異常値を除去できるだけでなく、収集されたデプス画像における異常値を低減させ、最適化後の第１平面原点距離画像による影響を低下させ、最適化後の第１平面原点距離画像の正確度を更に向上させることができる。

本願の幾つかの実施例において、第１信頼度画像の画素値により、値の範囲を設定することで、元デプス情報の信頼度を表すことができる。例示的に、第１信頼度画像の画素値範囲は、［０，１］と設定されてもよい。第１信頼度画像の画素値が１に近いと、該画素点に対応する３Ｄ点の元デプス情報が確実であることを表す。第１信頼度画像の画素値が０時，該画素点に対応する３Ｄ点の元デプス情報が確実ではないことを表す。勿論、実際の状況に応じて、第１信頼度画像の画素値の範囲を設定してもよく、本願の実施例は、これを限定するものではない。

例示的に、本願の実施例は、収集されたデプス画像の雑音を示す概略図を提供する。図４（ａ）に示すように、レーダーが領域１において運動状態である自動車に対してデプス情報を収集する時、雑音が発生する。例えば、小さな四角い枠における点がずれる。これにより、得られたデプス情報は、実際のデプス情報に合わなく、デプス情報が確実ではない。この場合、図４（ｂ）の領域１における各画素点の画素値により、原始デプス情報の信頼度を判定することができる。図４（ｂ）から分かるように、領域１全体の色が濃く、領域１に、画素値が０に近い大量の画素点が存在することを表す。つまり、領域１に、デプス情報が確実ではない大量の画素点が存在する。画素の置換えを行う時、これらの画素点の信頼度状況に応じて、置き換えを行なわない。これにより、これらの画素点の、最適化した第１平面原点距離画像への影響を低減させる。

本願の実施例において、第１信頼度画像に基づいて、第２平面原点距離画像から、確実な第２平面原点距離を有する画素点を選び出し、第１平面原点距離画像において、該画素点に対応する画素点の画素値に対して置き換えを行い、最適化後の第１平面原点距離画像を得ることができる。これにより、最適化後の第１平面原点距離画像に基づいて、補完後のデプス画像を得ることができる。従って、第１平面原点距離画像における異常値を除去できるだけでなく、レーダーにより収集されたデプス画像における異常値により最適化後の第１平面原点距離画像への影響を低減させ、最適化した第１平面原点距離画像の正確度を向上させ、更に、補完したデプス画像の正確度を向上させることができる。

本願の幾つかの実施例において、第１信頼度画像における画素、第２平面原点距離画像における画素及び第１平面原点距離画像における画素に基づいて、第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るステップＳ１０２６の実現プロセスは、Ｓ１０２６ａ－Ｓ１０２６ｅを含んでもよい。

Ｓ１０２６ａにおいて、第２平面原点距離画像から、第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、置換え画素点の画素値を決定し、第１画素点は、第１平面原点距離画像におけるいずれか１つの画素点である。

置換え画素点を決定する時、第１平面原点距離画像の第１画素点の座標情報に基づいて、第２平面原点距離画像において、これに対応する画素点を探すと共に、該画素点の画素値を置換え画素点の画素値として取得することに留意されたい。

Ｓ１０２６ｂ、第１信頼度画像から、置換え画素点に対応する信頼度情報を決定する。

置換え画素点及び置換え画素点の画素値を決定した後、第１信頼度画像から、置換え画素点の座標情報に基づいて、置換え画素点に対応する画素点を決定し、該画素点の信頼度情報である該画素点の画素値を取得する必要がある。これにより、置換え画素点に対応する信頼度情報を決定することができる。

Ｓ１０２６ｃにおいて、置換え画素点の画素値、信頼度情報及び第１平面原点距離画像の第１画素点の画素値に基づいて、第１平面原点距離画像の第１画素点の最適化後の画素値を決定する。

第１平面原点距離画像の第１画素点の最適化後の画素値を算出する時、まず、置換え画素点の画素値が０より大きいかどうかを判定し、真理関数により判定結果を記録することに留意されたい。つまり、置換え画素点の画素値が０より大きい時、真理関数の関数値は、１であり、置換え画素点の画素値が０以下である時、真理関数の関数値は、０である。続いて、真理関数の関数値、置換え画素点の画素値、信頼度情報及び第１平面原点距離画像の第１画素点の画素点に基づいて、第１画素点の最適化後の画素値を算出する。

本願の実施例において、真理関数の関数値を信頼度情報、置換え画素点の画素値と乗算することで、第１サブ最適化画素値を得ると共に、真理関数の函数値を信頼度情報と乗算し、１と、得られた乗算結果と、の差分値を求め、差分値を第１平面原点距離画像の第１画素点の画素値と乗算することで、第２サブ最適化画素値を得る。最後に、第１サブ最適化画素値と第２サブ最適化画素値を加算し、第１画素点の最適化後の画素値を得る。他の形態に応じて、所定の距離算出モデルを設けることもできる。本願の実施例は、これを限定するものではない。

例示的に、本願の実施例は、真理関数の関数値、置換え画素点の画素値、信頼度情報及び第１平面原点距離画像の第１画素点の画素値に基づいて、第１画素点の最適化後の画素値を算出する式を提供する。これは、式（６）に示すとおりである。

ただし、

は、真理関数であり、

は、置換え画素点の信頼度情報であり、

は、置換え画素点の画素値であり、

は、第１平面原点距離画像の第１画素点の画素値であり、

は、第１平面原点距離画像の第１画素点の最適化後の画素値である。

Ｓ１０２６ｄにおいて、上記ステップを繰り返して実行し、第１平面原点距離画像の各画素の最適化後の画素値を決定して最適化後の第１平面原点距離画像を得るまで継続する。

上記ステップにおける第１平面原点距離画像の第１画素点の最適化後の画素値の算出方法により、第１平面原点距離画像における各画素に対して、最適化後の画素値を算出し、これらの最適化後の画素値を利用して、最適化後の第１平面原点距離画像を構成する。

本願の実施例において、第１平面原点距離画像における各画素に対して、最適化後の画素値を算出することで、最適化後の第１平面原点距離画像を得ることができる。従って、後続で、最適化後の第１平面原点距離画像及び特徴画像に基づいて、最適化後の第１平面原点距離画像の各画素の拡散きょづおを決定し、拡散強度及び最適化後の第１平面原点距離画像の画素値に基づいて、効果が高い補完したデプス画像を得ることができる。

本願の幾つかの実施例において、図５に示すように、拡散待ち画像及び特徴画像に基づいて、拡散待ち画像における各画素の拡散強度を決定するステップＳ１０３の実現プロセスは、Ｓ１０３１－Ｓ１０３２を含んでもよい。

Ｓ１０３１において、所定拡散範囲に基づいて、拡散待ち画像から、拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、拡散待ち画素集合における各画素の画素値を決定し、第２画素点は、拡散待ち画像におけるいずれか１つの画素点である。

拡散待ち画素集合は、拡散待ち画像の第２画素点の近傍領域に位置する画素を指す。所定拡散範囲に基づいて、まず、拡散待ち画像の第２画素点の近傍領域範囲を決定し、続いて、該近傍領域範囲内に位置する全ての画素を抽出し、拡散待ち画像の第２画素点に対応する拡散待ち画素集合を構成する。

本願の幾つかの実施例において、所定拡散範囲は、実際の需要に応じて設定されてもよく、本願の実施例は、これを限定するものではない。例示的に、所定拡散範囲を４近傍領域と設定し、４つの画素点を取り出して拡散待ち画素集合を構成することができる。所定拡散範囲を８近傍領域と設定し、拡散待ち画像の第２画素点の周辺に位置する８個の画素を取り出して拡散待ち画素集合を構成することもできる。

Ｓ１０３２において、特徴画像、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素を利用して、拡散待ち画像の第２画素点に対応する拡散強度を算出する。

特徴画像から、拡散待ち画像の第２画素点に対応する特徴情報及び拡散待ち画素集合における各画素に対応する特徴情報を取得し、これらの特徴情報に基づいて、拡散待ち画像の第２画素点に対応する拡散強度を算出する。

拡散待ち画素集合が複数の画素からなるものであるため、拡散待ち画像の第２画素点に対応する拡散強度を算出する時、拡散待ち画像の第２画素画素点と拡散待ち画素集合における各画素により、画素ペアを構成し、これらの画素ペアのサブ拡散強度をそれぞれ算出し、続いて、これらのサブ拡散強度を拡散待ち画像の第２画素点に対応する拡散強度とする。

拡散待ち画像の第２画素点に対応する拡散強度を得た後、拡散待ち画像における各画素の画素値に基づいて、拡散待ち画像における各画素の拡散後の画素値を決定することは、Ｓ１０３３－Ｓ１０３４を含んでもよい。

Ｓ１０３３において、拡散待ち画像の第２画素点の拡散強度、拡散待ち画像の第２画素点の画素値及び拡散待ち画素集合における各画素の画素値に基づいて、拡散待ち画像の第２画素点の拡散後の画素値を決定する。

拡散待ち画像の第２画素点に対応する拡散強度を得た後、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、拡散待ち画像における各画素の拡散後の画素値を決定することは、拡散待ち画像の第２画素点の拡散強度、拡散待ち画像の第２画素点の画素値及び拡散待ち画素集合における各画素の画素値に基づいて、拡散待ち画像の第２画素点の画素値を決定することになる。

Ｓ１０３４において、上記ステップを繰り返して実行し、拡散待ち画像における各画素の拡散後の画素値を決定するまで継続する。

例示的に、本発明の実施例は、デプス画像補完方法のプロセスを示す概略図を提供する。図６に示すように、該例において、初期段階の補完デプス画像を拡散待ち画像とする。レーダーにより、デプス画像

を収集すると共に、カメラにより、三次元シーンの二次元画像

を収集する。

を所定の予測モデル１に入力し、初期段階の補完デプス画像

及び特徴画像

，を得て、続いて、初期段階の補完デプス画像

及び特徴画像

に基づいて、初期段階の補完デプス画像

における各画素の拡散強度２を決定し、初期段階の補完デプス画像

における各画素の画素値及び拡散強度２に基づいて、初期段階の補完デプス画像

における各画素の拡散後の画素値を得て、補完後のデプス画像

を得る。

第１平面原点距離画像を拡散待ち画像として、第１平面原点距離画像の拡散後の画素値を算出した後、拡散された第１平面原点距離画像を得るが、拡散された第１平面原点距離画は、補完後のデプス画像ではなく、補完後のデプス画像を得るために。拡散された第１平面原点距離画像に対して逆変換を行う必要がある。

本願の実施例において、第１平面原点距離画像は、初期段階の補完デプス画像、法線方向予測画像及びパラメータ行列に基づいて算出されたものであるため、拡散された第１平面原点距離画像、法線方向予測画像及びパラメータ行列に基づいて、デプス画像を逆算する。更に、算出したデプス画像を、補完後のデプス画像とする。

本願の実施例において、まず、法線方向予測画像から、各３Ｄ点の所在する接平面の法線ベクトル、各３Ｄ点の、画像平面への２Ｄ投影を取得し、拡散された第１平面原点距離画像から、各３Ｄ点の拡散された第１平面原点距離を取得すると共に、パラメータ行列に対して反転を行い、パラメータ行列の逆行列を得る。続いて、各３Ｄ点の所在する接平面の法線ベクトル、各３Ｄ点の、画像平面への２Ｄ投影及びパラメータ行列の逆行列を乗算し、乗算結果を得る。拡散された第１平面原点距離と、得られた乗算結果と、の比を求め、得られた比を各３Ｄ点に対応するデプス補完情報とする。続いて、各３Ｄ点に対応するデプス補完情報を画素値として、補完後のデプス画像を得る。

例示的に、本願の実施例は、各３Ｄ点に対応するデプス補完情報の演算プロセスを提供する。それは、式（７）に示すとおりである。

ただし、

は、各３Ｄ点に対応するデプス補完情報を表し、

は、３Ｄ点拡散された第１平面原点距離を表し、

は、３Ｄ点の、画像平面への２Ｄ投影を表し、

は、３Ｄ点Ｘの所在する接平面の法線ベクトルを表し、Ｃは、パラメータ行列を表す。

各３Ｄ点の所在する接平面の法線ベクトル、各３Ｄ点の、画像平面への２Ｄ投影の座標、パラメータ行列、及び各３Ｄ点の拡散された第１平面原点距離の数値を得た後、これらのパラメータを式（７）に代入し、各３Ｄ点に対応するデプス補完情報を算出する。これにより、各３Ｄ点に対応するデプス補完情報に基づいて、補完後のデプス画像を得る。

例示的に、図７に示すように、本願の実施例は、デプス画像補完方法のプロセスを示す概略図を提供する。該例において、第１平面原点距離画像を拡散待ち画像とする。収集されたデプス画像

及び二次元画像

を入力として、所定の予測モデル１に送り込み、初期段階の補完デプス画像を出力するためのサブネットワーク２から出力された初期段階の補完デプス画像

と、法線方向画像を予測するためのサブネットワーク３から出力された法線方向予測画像

と、を得ると共に、１つの畳み込み層により、初期段階の補完デプス画像を出力するためのサブネットワーク２と法線方向画像を予測するためのサブネットワーク３に対して、直列接続４を行い、該畳み込み層における特徴データに対して可視化を行い、特徴画像

を得る。続いて、初期段階の補完デプス画像

、法線方向予測画像

及び取得したパラメータ行列Ｃに基づいて、（１）により、三次元シーンにおける各３Ｄ点に対応する第１平面原点距離を算出し、第１平面原点距離画像

を更に得る。最後に、得られた第１平面原点距離画像

及び特徴画像

に基づいて、第１平面原点距離画像

における各画素の拡散強度５を決定し、第１平面原点距離画像

における各画素の画素値及び拡散強度５に基づいて、第１平面原点距離画像

における各画素の拡散後の画素値を得て、拡散された第１平面原点距離画像

を得る。最後に、式（７）により、拡散された第１平面原点距離画像

、法線方向予測画像

に対して逆変換を行い、補完後のデプス画像

を得る。

同様に、最適化後の第１平面原点距離画像を拡散待ち画像として、拡散後の画素値を算出することで、拡散された最適化した第１平面原点距離画像を得ることができる。続いて、拡散された最適化した第１平面原点距離画像に対して逆変換を行い、補完後のデプス画像を得ることができる。

本願の実施例において、まず、拡散された最適化した第１平面原点距離画像から、各３Ｄ点の平面原点距離を取得し、法線方向予測画像から、各３Ｄ点の所在する接平面の法線ベクトル及び各３Ｄ点の、画像平面への２Ｄ投影を取得すると共に、パラメータ行列の逆行列を求める。続いて、各３Ｄ点の所在する接平面の法線ベクトル、各３Ｄ点の、画像平面への２Ｄ投影及び及パラメータ行列の逆行列を乗算し、乗算結果を得る。更に、各３Ｄ点の平面原点距離画像と、上記乗算結果と、の比を求め、得られた比を各３Ｄ点に対応するデプス補完情報とする。最後に、各３Ｄ点に対応するデプス補完情報を画素値として、補完後のデプス画像を得る。

例示的に、本願の実施例は、式（８）により、各３Ｄ点に対応するデプス補完情報を算出することができる。

ただし、

は、３Ｄ点に対応するデプス補完情報であり、

は、画素拡散により得られた３Ｄ点の平面原点距離であり、

は、３Ｄ点の所在する接平面の法線ベクトルであり、

は、３Ｄ点の、画像平面への２Ｄ投影であり、Ｃは、カメラのパラメータ行列である。

３Ｄ点の平面原点距離の具体的な数値、３Ｄ点の所在する接平面の法線ベクトル及び３Ｄ点の、画像平面への２Ｄ投影の座標を取得した後、これらのパラメータを式（８）に代入し、各３Ｄ点に対応するデプス補完情報を得て、更に各３Ｄ点に対応するデプス補完情報を画素値として、補完後のデプス画像を得ることができる。

例示的に、本願の実施例は、デプス画像補完方法のプロセスを示す概略図を提供する。図８に示すように、収集されたデプス画像

及び二次元画像

を所定の予測モデル１に送り込み、初期段階の補完デプス画像を出力するためのサブネットワーク２から出力された初期段階の補完デプス画像

と、法線方向画像を予測するためのサブネットワーク３から出力された法線方向予測画像

と、第１信頼度画像を出力するためのサブネットワーク４から出力された第１信頼度画像

と、を得る。それと同時に、畳み込み層を利用して、初期段階の補完デプス画像を出力するためのサブネットワーク２と法線方向画像を予測するためのサブネットワーク３に対して直列接続５を行い、畳み込み層における特徴データを可視化し、特徴画像

を得る。続いて、式（４）及び得られた初期段階の補完デプス画像

、法線方向予測画像

及びパラメータ行列Ｃにより、各３Ｄ点の第１平面原点距離を算出し、更に第１平面原点距離画像

を得る。それと同時に、式（５）及びレーダーにより収集されたデプス画像

、法線方向予測画像

及びパラメータ行列Ｃにより、各３Ｄ点の第２平面原点距離を算出し、更に第２平面原点距離画像

を得る。続いて、第１信頼度画像

に基づいて、確実な第２平面原点距離を有する画素点を選び出し、確実な第２平面原点距離により、第１平面原点距離画像

における各画素に対して最適化６を行い、最適化後の第１平面原点距離画像

を得て、最適化後の第１平面原点距離画像

及び特徴画像

に基づいて、

における各画素の拡散強度７を決定する。更に、最適化後の第１平面原点距離画像

における各画素の画素値及び拡散強度７に基づいて、最適化後の第１平面原点距離画像

における各画素の拡散後の画素値を得て、拡散された最適化した第１平面原点距離画像

を得る。最後に、式（８）により、拡散された最適化した第１平面原点距離画像

、法線方向予測画像

に対して逆変換を行い、各３Ｄ点のデプス補完情報を算出し、更に、補完後のデプス画像を得る。

本願の実施例において、所定拡散範囲に基づいて、各拡散待ち画像の各画素について、対応する拡散待ち画素集合を決定し、更に、特徴画像、拡散待ち画像の各画素及び拡散されるべき各画素に対応する拡散待ち画素集合に基づいて、拡散待ち画像の各画素の拡散強度を算出する。これにより、拡散強度、拡散待ち画像の各画素の画素値及び拡散待ち画像の各画素に対応する拡散待ち画素集合に基づいて、拡散待ち画像における各画素の拡散後の画素値を算出し、補完後のデプス画像を得ることができる。

本願の幾つかの実施例において、図９に示すように、特徴画像、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素により、拡散待ち画像の第２画素点に対応する拡散強度を算出するステップＳ１０３２の実現プロセスは、Ｓ１０３２ａ－Ｓ１０３２ｆを含んでもよい。

Ｓ１０３２ａにおいて、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素を利用して、拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出する。

拡散待ち画像の第２画素点に対応する拡散強度を算出する時、まず、事前設けられた所定の特徴抽出モデルにより、拡散待ち画像の第２画素点に対して特徴抽出を行い、所定の範囲で決定された拡散待ち画素集合における各画素に対しても特徴抽出を行う。続いて、抽出された特徴情報に基づいて、拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出する。これにより、後続で、強度正規化パラメータにより、拡散待ち画像の第２画素点に対応する拡散強度を得る。

強度正規化パラメータは、第１特徴画素の特徴情報、第２特徴画素の特徴情報の算出結果に対して正規化を行い、サブ拡散強度を得るためのパラメータであることに留意されたい。

例えば、

の畳み込みカーネルのような寸法が小さい畳み込みカーネルを所定の特徴抽出モデルとして用いることができる。同様な目的を達成できる他の機器学習モデルを所定の特徴抽出モデルとして用いることもできる。本願の実施例は、これを限定するものではない。

所定の特徴抽出モデルにより、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素を処理し、つまり、所定の特徴抽出モデルにより、少なくとも２種類の画素を処理できることに留意されたい。従って、同一の所定の特徴抽出モデルにより、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素に対して特徴抽出を行うことができる。また、異なる所定の特徴抽出モデルにより、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素に対して特徴抽出を行うこともできる。

Ｓ１０３２ｂにおいて、特徴画像において、拡散待ち画像の第２画素点に対応する画素を第１特徴画素とし、拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とし、第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である。

拡散待ち画像の第２画素点の強度正規化パラメータを算出した後、特徴画像において、拡散待ち画像の第２画素点に対応する画素を探し、探した画素を第１特徴画素とする。それと同時に、特徴画像において、拡散待ち画素集合における第３画素点に対応する画素を探し、探した画素作を第２特徴画素とする。第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点であってもよい。

特徴画像は、所定の予測モデルにおける一層の特徴データを可視化することで得られた画像であるため、特徴画像において、拡散待ち画像の第２画素点に対応する画素を探すために、所定の予測モデルから、寸法が拡散待ち画像の寸法と同じである畳み込み層を選択し、該畳み込み層における特徴データを可視化して特徴画像を得て、特徴画像と拡散待ち画像の画素を一対一に対応させ、更に、拡散待ち画像の第２画素点の位置情報に基づいて、第１特徴画素を見付けることができ、同様に、拡散待ち画素集合における第３画素点の位置情報に基づいて、第２特徴画素を見付けることができることに留意されたい。装置は、他の方式により、第１特徴画素及び第２特徴画素を探すこともできる。本願の実施例は、これを限定するものではない。

Ｓ１０３２ｃにおいて、第１特徴画素の特徴情報及び第２特徴画素の特徴情報を抽出する。

本願の実施例において、第１特徴画素の特徴情報を抽出する時、まず、第１特徴画素の画素値を抽出し、続いて、所定の特徴抽出モデルにより、第１特徴画素の画素値を演算し、第１特徴画素の特徴情報を得る。同様に、第２特徴画素の特徴情報を抽出する時にも、まず、第２特徴画素の画素値を抽出し、続いて、所定の特徴抽出モデルにより、第２特徴画素の画素値を演算し、第２特徴画素の特徴情報を得る。

例示的に、所定の特徴抽出モデル

により、第１特徴画素に対して特徴抽出を行い、所定の特徴抽出モデル

により、第２特徴画素に対して特徴抽出を行うことができる。第１特徴画素は、特徴画像における、拡散待ち画像の第２画素点に対応する画素であり、

で表されてもよい。第２特徴画素は、特徴画像における、拡散待ち画素集合における第３画素点に対応する画素であり、

で表されてもよい。なお、第１特徴画素の特徴情報は、

であり、第２特徴画素の特徴情報は、

である。従って、装置は、第１特徴画素の特徴情報及び第２特徴画素の特徴情報を得る。

Ｓ１０３２ｄにおいて、第１特徴画素の特徴情報、第２特徴画素の特徴情報、強度正規化パラメータ及び所定拡散制御パラメータ利用して、拡散待ち画像の第２画素点及び拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出する。

本願の実施例において、所定拡散制御パラメータは、サブ拡散強度値を制御するためのパラメータである。所定拡散制御パラメータは、実際の需要に応じて設定された固定値であってもよく、学習を行う可変パラメータであってもよい。

本願の実施例において、所定の拡散強度演算モデルにより、まず、第１特徴画素の特徴情報に対して転置を求め、転置結果を得る。続いて、転置結果と第２特徴画素の特徴情報を乗算し、１と得られた乗算結果との差分値を求め、差分値結果を得る。続いて、差分値結果を二乗し、所定拡散制御パラメータの二乗の倍数との比を求める。続いて、得られた比を指数関数の指数とし、自然対数ｅを指数関数の底として、演算を行い、最後に、強度正規化パラメータにより、得られた演算結果を正規化し、最終的なサブ拡散強度を得る。所定の拡散強度演算モデルの具体的な形態は、実際の需要に応じて設定されてもよい。本願の実施例は、これを限定するものではない。

例示的に、本願の実施例は、所定の拡散強度演算モデルを提供する。これは、式（９）に示すとおりである。

ただし、

は、拡散待ち画像の第２画素点を表し、

は、拡散待ち画素集合における第３画素点を表し、

は、拡散待ち画像の第２画素点に対応する強度正規化パラメータを表し、

は、第１特徴画素を表し、

は、第２特徴画素を表し、

は、第１特徴画素の特徴情報であり、

は、第２特徴画素の特徴情報であり，

は、所定拡散制御パラメータを表し、

は、拡散待ち画像の第２画素点及び拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を表す。

第１特徴画素の特徴情報

、第２特徴画素の特徴情報

を得て、拡散待ち画像の第２画素点に対応する強度正規化パラメータ

を算出した後、これらのパラメータの具体的な数値を式（９）に代入し、拡散待ち画像の第２画素点及び拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度

を算出することができる。

Ｓ１０３２ｅにおいて、上記ステップを繰り返して実行し、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素からなる画素ペアのサブ拡散強度を決定するまで継続する。

Ｓ１０３２ｆにおいて、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を拡散待ち画像の第２画素点に対応する拡散強度とする。

本願の実施例において、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素からなる拡散画素ペアに対してそれぞれサブ拡散強度の演算を行い、続いて、算出された全てのサブ拡散強度を拡散待ち画像の第２画素点の拡散強度とする。このような方式により、拡散待ち画像における各画素の拡散強度を得て、拡散強度に基づいて、拡散待ち画像における各画素に対して、拡散後の画素値を算出し、正確率が高い補完後のデプス画像を得る。

本願の幾つかの実施例において、サブ拡散強度は、拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点との類似度であってもよい。

本願の実施例において、拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点との類似度をサブ拡散強度とすることができる。つまり、拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点との類似度に基づいて、拡散待ち画素集合における第３画素点が拡散待ち画像の第２画素点へ拡散する強度を決定することができる。拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点との類似度が高いと、拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点は、三次元シーンにおける同一の平面に位置する可能性が極めて高いと認められる。この場合、拡散待ち画素集合における第３画素点が拡散待ち画像の第２画素点へ拡散する強度は大きい。拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点が類似しないと、拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点が同一の平面に位置しないと認められる。この場合、拡散待ち画素集合における第３画素点が拡散待ち画像の第２画素点へ拡散する強度は小さい。これにより、画素拡散プロセスにおけるエラーの発生を避ける。

本願の実施例において、拡散待ち画像における画素と拡散待ち画素集合における各画素との類似度に基づいて、サブ拡散強度を決定する。これにより、拡散待ち画像における画素と同一の平面に位置する画素により、拡散待ち画像における各画素の拡散後の画素値を算出し、正確率が高い補完後のデプス画像を得る。

本願の幾つかの実施例において、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素を利用して、拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出するステップＳ１０３２ａの実現プロセスは、Ｓ２０１－Ｓ２０４を含んでもよい。

Ｓ２０１において、拡散待ち画像の第２画素点の特徴情報及び拡散待ち画素集合における第３画素点の特徴情報を抽出する。

所定の特徴抽出モデルにより、拡散待ち画像の第２画素点の特徴情報を抽出する時、まず、拡散待ち画像の第２画素の画素値を取得し、所定の特徴抽出モデルにより、該画素値を算出し、拡散待ち画像の第２画素点の特徴情報を得る。同様に、拡散待ち画素集合における第３画素点の特徴情報を抽出する時にも、まず、拡散待ち画素集合における第３画素点の画素値を抽出し、続いて、該画素値に対して、所定の特徴抽出モデルにより、演算を行い、拡散待ち画素集合における第３画素点の特徴情報を得る。

例示的に、拡散待ち画像の第２画素点は、

で表され、拡散待ち画素集合における第３画素は

で表される場合、所定の特徴抽出モデル

により、拡散待ち画像の第２画素点に対して特徴抽出を行い、所定の特徴抽出モデル

により、拡散待ち画素集合における第３画素に対して特徴抽出を行うと、拡散待ち画像の第２画素点の特徴情報は、

で表されてもよく、拡散待ち画素集合における第３画素点の特徴情報は、

で表されてもよい。勿論、他の所定の特徴抽出モデルにより、拡散待ち画像の第２画素点及び拡散待ち画素集合における第３画素点に対して特徴抽出を行うこともできる。本願の実施例は、これを限定するものではない。

Ｓ２０２において、抽出して得られた拡散待ち画像の第２画素点の特徴情報、拡散待ち画素集合における第３画素点の特徴情報及び所定拡散制御パラメータ利用して、拡散待ち画素集合における第３画素のサブ正規化パラメータを算出する。

所定のサブ正規化パラメータ演算モデルにより、まず、拡散待ち画像の第２画素点の特徴情報に対して行列転置を行い、転置結果と拡散待ち画素集合における第３画素点の特徴情報を乗算し、続いて、１と得られた乗算結果との差分値を求め、得られた差分値結果を二乗し、二乗結果を得る。続いて、二乗結果と所定拡散制御パラメータの二乗の倍数との比を求める。最後に、得られた比を指数函数の指数とし、自然対数ｅを指数関数の底として、演算を行い、最終的な演算結果を拡散待ち画素集合における第３画素点に対応するサブ正規化パラメータとすることに留意されたい。勿論、所定のサブ正規化パラメータ演算モデルは、実際の需要に応じて、他の形態に設けられてもよい。本願の実施例は、これを限定するものではない。

例示的に、本願の実施例は、所定のサブ正規化パラメータ演算モデルを提供する。これは、式（１０）に示すとおりである。

ただし、

は、拡散待ち画像の第２画素点を表し、

は、拡散待ち画素集合における第３画素点を表し、

、拡散待ち画像の第２画素点の特徴情報を表し、

は、拡散されるべき画素集における第３画素点の特徴情報を表し、

は、所定拡散制御パラメータを表し、

は、拡散待ち画素集合における第３画素点に対応するサブ正規化パラメータを表す。

拡散待ち画像の第２画素点の特徴情報

、拡散待ち画素集合における第３画素点の特徴情報

を得て、所定拡散制御パラメータ

を取得した後、これらのパラメータの具体的な数値を式（１０）に代入し、拡散待ち画素集合における第３画素点に対応するサブ正規化パラメータを算出することができる。

Ｓ２０３において、上記ステップを繰り返して実行し、拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続する。

Ｓ２０４において、拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、拡散待ち画像の第２画素点に対応する強度正規化パラメータを得る。

例示的に、拡散待ち画素集合における第３画素のサブ正規化パラメータが

である場合、装置は、式（１１）により、拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることができる。

ただし、

は、拡散待ち画素集合を表し、

は、拡散待ち画像の第２画素点の強度正規化パラメータを表す。

拡散待ち画素集合における各画素のサブ正規化パラメータの数値を算出する時、これらのサブ正規化パラメータの数値を直接的に式（１１）に代入して累加し、得られた累加結果を拡散待ち画像の第２画素点に対応する強度正規化パラメータとすることができる。

本願の実施例において、まず、拡散待ち画像の第２画素点に対して特徴抽出を行い、拡散待ち画素集合における各画素に対して特徴抽出を行い、続いて、所定のサブ正規化パラメータ演算モデルにより、抽出された特徴情報及び所定拡散制御パラメータに対して演算を行い、サブ正規化パラメータを得て、得られた全てのサブ正規化パラメータを累加し、強度正規化パラメータを得る。これにより、装置は、後続で、強度正規化パラメータにより、拡散強度を算出することができる。

本願の幾つかの実施例において、図１０に示すように、拡散待ち画像の第２画素点の拡散強度、拡散待ち画像の第２画素点の画素値及び拡散待ち画素集合における各画素の画素値に基づいて、拡散待ち画像の第２画素点の拡散後の画素値を決定するステップＳ１０３３の実現プロセスは、Ｓ１０３３ａ－Ｓ１０３３ｄを含んでもよい。

Ｓ１０３３ａにおいて、拡散強度における各サブ拡散強度をそれぞれ拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、拡散待ち画像の第２画素点の第１拡散部を得る。

本願の実施例において、まず、拡散待ち画像の第２画素点の画素値及び拡散待ち画像の第２画素点の拡散強度を取得し、拡散待ち画像の第２画素点の拡散強度のうち、拡散待ち画素集合における第３画素点のサブ拡散強度と拡散待ち画像の第２画素点の画素値を乗算し、乗算結果を得る。このように繰り返し、拡散待ち画素集合における各画素のサブ拡散強度と拡散待ち画像の第２画素点の画素値を乗算した後、得られた全ての積を累加し、拡散待ち画像の第２画素点の第１拡散部を算出することができる。

本願の実施例において、他の方式により、拡散待ち画像の第２画素点の第１拡散部を算出することもできる。本願の実施例は、これを限定するものではない。

例示的に、本願の実施例は、式（１２）により、第１拡散部を算出することができる。式（１２）は、以下に示すとおりである。

ただし、

は、拡散待ち画素集合における第３画素点に対応するサブ拡散強度であり、

は、拡散待ち画素集合を表し、

は、拡散待ち画像の第２画素点の画素値を表し、

は、算出された拡散待ち画像の第２画素点の第１拡散部を表す。

拡散待ち画像の第２画素点の画素値及び拡散待ち画素集合における各画素のサブ拡散強度の数値を得た後、拡散待ち画像の第２画素点の画素値及び拡散待ち画素集合における各画素のサブ拡散強度の数値を式（１２）に代入し、拡散待ち画像の第２画素点の第１拡散部を算出することができる。

拡散待ち画像の第２画素点の拡散強度を算出する時、強度正規化パラメータにより、サブ拡散強度に対して正規化を行ったため、各サブ拡散強度と拡散待ち画像の第２画素点の画素値を乗算して累加した後、得られた累加結果の数値は、元の拡散待ち画像の第２画素点の画素値より大きくないことに留意されたい。

Ｓ１０３３ｂにおいて、拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、拡散待ち画像の第２画素点の第２拡散部を得る。

サブ拡散強度をそれぞれ拡散待ち画素集合における各画素値と乗算する時、拡散待ち画素集合における第３画素点に対応するサブ拡散強度を拡散待ち画素集合における第３画素点の画素値と乗算し、乗算結果を得て、このように繰り返し、各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素値と乗算するまで継続し、最後に、全ての積を累加し、得られた累加結果を拡散待ち画像の第２画素点の第２拡散部とすることに留意されたい。

本願の実施例において、他の方法により、拡散待ち画像の第２画素点の第２拡散部を算出することもできる。本願の実施例は、これを限定するものではない。

例示的に、本願の実施例において、式（１３）により、第２拡散部を算出することができる。

ただし、

は、拡散待ち画素集合における第３画素点に対応するサブ拡散強度であり、

は、拡散待ち画素集合を表し、

は、拡散待ち画素集合における第３画素点の画素値を表し、

は、算出された拡散待ち画像の第２画素点の第２拡散部を表す。

拡散待ち画素集合における第３画素点の画素値及び拡散待ち画素集合における各画素のサブ拡散強度の数値を得た後、拡散待ち画素集合における第３画素点の画素値及び拡散待ち画素集合における各画素のサブ拡散強度の数値を式（１３）に代入し、拡散待ち画像の第２画素点の第２拡散部を算出することができる。

Ｓ１０３３ｃにおいて、拡散待ち画像の第２画素点の画素値、拡散待ち画像の第２画素点の第１拡散部及び拡散待ち画像の第２画素点の第２拡散部に基づいて、拡散待ち画像の第２画素点の拡散後の画素値を算出する。

本願の実施例において、拡散待ち画像の第２画素点の画素値から、第１拡散画素部を差し引き、続いて、得られた差分値と第２拡散部を加算し、最後の加算結果を拡散後の画素値とすることができる。本願の実施例は、拡散待ち画像の第２画素点の画素値、第１拡散画素部及び第２拡散画素部に対して他の処理を行い、拡散待ち画像の第２画素点の拡散後の画素値を得ることもできる。本願の実施例は、これを限定するものではない。

例示的に、本願の実施例は、式（１４）により、拡散待ち画像の第２画素点の拡散画素値を得て、画素拡散を完了することができる。

ただし、

は、拡散待ち画像の第２画素点の画素値を表し、

は、拡散待ち画素集合における第３画素点に対応するサブ拡散強度を表し、

は、拡散待ち画素集合を表し、

は、拡散待ち画素集合における第３画素点の画素値を表す。

拡散待ち画像の第２画素点の画素値、拡散待ち画素集合における各画素に対応するサブ拡散強度、拡散待ち画素集合における各画素の画素値を得た後、これらのパラメータの具体的な数値を式（１４）に代入し、拡散待ち画像の第２画素点の拡散後の画素値を算出することができる。

例示的に、本願の実施例は、式（１４）を導き出すプロセスを提供する。

本願の実施例において、拡散待ち画像の第２画素点の画素値から、第１拡散画素部を差し引き、続いて、得られた差分値と第２拡散部を加算し、最後の加算結果を拡散画素値とすることができる。これは、式（１５）で表されてもよい。

ただし、

は、算出された拡散待ち画像の第２画素点の第１拡散部を表し、

は、算出された拡散待ち画像の第２画素点の第２拡散部を表し、

は、拡散待ち画像の第２画素点の画素値を表す。

式（１２）及び式（１３）を式（１５）に代入し、式（１６）を得ることができる。

式（１６）を合わせて整理すると、式（１４）を得ることができる。

例示的に、本願の実施例は、拡散待ち画像の第２画素点の拡散後の画素値の算出を示す概略図を提供する。図１１に示すように、拡散待ち画像１及び特徴画像２に基づいて、拡散待ち画像の第２画素点の拡散後の画素値を算出する時、まず、拡散待ち画像の第２画素点について、拡散待ち画素集合を決定する。本願の実施例において、８近傍領域により、拡散待ち画素集合３を決定する。図１１に示すように、拡散待ち画像の第２画素点

は、左上の９ブロック型ボックスの中心に位置し、周囲の８個の画素点からなる集合は、拡散待ち画素集合３である。続いて、特徴画像２から、拡散待ち画像の第２画素点に対応する第１特徴画素及び拡散待ち画素集合における第３画素に対応する第２特徴画素を見付け、所定の特徴抽出モデル

により、第１特徴画素に対して特徴抽出を行い、所定の特徴抽出モデル

により、第２特徴画素に対して特徴抽出を行う（特徴抽出プロセスは、示されていない）。ここで、

は、

の畳み込みカーネルとして設定されてもよい。通ぢて、所定の拡散強度演算モデル４、式（９）及び拡散強度の演算に必要なパラメータを利用して、拡散強度を算出し、続いて、拡散待ち画像の第２画素点の画素値、拡散強度、拡散待ち画素集合における各画素の画素値を式（１４）に代入し、拡散待ち画像の第２画素点の拡散後の画素値５を算出し、更に、補完後のデプス画像６を得る。これにより、拡散待ち画像の第２画素点の拡散後の画素値の演算を完了する。

Ｓ１０３３ｄにおいて、上記ステップを繰り返して実行し、拡散待ち画像における各画素の拡散後の画素値を得るまで継続する。

拡散待ち画像の第２画素点に対する画素拡散を完了した後、上記ステップを繰り返し、拡散待ち画像における各画素の拡散後の画素値を算出し、補完後のデプス画像を得る。

本願の実施例において、拡散待ち画像における各画素の画素値、及び拡散待ち画像の各画素に対応する拡散待ち画素集合における全ての画素の画素値及び算出された拡散強度に基づいて、拡散待ち画像における各画素の拡散後の画素値に対して一つずつ演算を行うことができる。これにより、収集されたデプス画像を十分に利用して、正確率が高い補完後のデプス画像を得ることができる。

本願の幾つかの実施例において、拡散待ち画像及び特徴画像に基づいて、画素拡散を実現させ、補完後のデプス画像を得るステップＳ１０４を行った後、該方法は、Ｓ１０５を更に含んでもよい。

Ｓ１０５において、補完後のデプス画像を拡散待ち画像とし、拡散待ち画像及び特徴画像に基づいて拡散待ち画像における各画素の拡散強度を決定するステップ、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続する。

補完後のデプス画像を得た後、引き続き、補完後のデプス画像を改めて、拡散待ち画像として、拡散待ち画像における各画素の拡散後の画素値を算出し、画素拡散を更に十分にし、最適化した補完後のデプス画像を得ることもできる。

本願の幾つかの実施例において、所定の繰り返し回数を８回としてもよい。補完後のデプス画像を得た後、該補完後のデプス画像に対して、上記ステップを引き続き７回実行し、画素拡散をより十分にする。所定の繰り返し回数は、実際の需要に応じて設定されてもよく、本願の実施例は、これを限定するものではないことに留意されたい。

本願の幾つかの実施例において、拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定するステップＳ１０４を実行した後、該方法は、Ｓ１０６を更に含んでもよい。

Ｓ１０６において、補完後のデプス画像を初期段階の補完デプス画像とし、初期段階の補完デプス画像、カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出して第１平面原点距離画像を拡散待ち画像とするステップ、拡散待ち画像及び特徴画像に基づいて拡散待ち画像における各画素の拡散強度を決定するステップ、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続する。

本願の幾つかの実施例において、初期段階の補完デプス画像、カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出して第１平面原点距離画像を拡散待ち画像とするステップは、
初期段階の補完デプス画像、カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出するステップと、デプス画像及び二次元画像に基づいて、第１信頼度画像を決定するステップと、デプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出するステップと、第１信頼度画像における画素、第２平面原点距離画像における画素及び第１平面原点距離画像における画素に基づいて、第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするステップと、を含む。

本願の実施例において、収集されたデプス画像

及び二次元画像に基づいて、初期段階の補完デプス画像

、法線方向予測画像

及び第１信頼度画像

を得た後、初期段階の補完デプス画像

における全ての画素ｘに対して、第２平面原点距離情報を算出し、更に、第２平面原点距離画像を得て、全ての画素の第１平面原点距離情報を算出し、更に、第１平面原点距離画像を得る。続いて、現在の繰り返し回数が所定の反復回数未満であると判定した場合、第１平面原点距離画像における各画素値

に対して、置換え距離情報を算出し、画素値の最適化を行い、更に、最適化後の第１平面原点距離画像を得る。続いて、最適化後の第１平面原点距離画像を拡散待ち画像とし、最適化後の第１平面原点距離画像における第２画素点について、対応する拡散待ち画素集合を決定し、第２画素点に対応する拡散強度を算出し、続いて、拡散強度における各サブ拡散強度、拡散待ち画素集合における各画素の画素値及び最適化後の第１平面原点距離画像における第２画素点の画素値に基づいて、最適化後の第１平面原点距離画像の第２画素点の拡散後の画素値を算出し、拡散された最適化した第１平面原点距離画像を得る。更に、拡散された最適化した第１平面原点距離画像に対して逆変換を行い、補完後のデプス画像を得る。補完後のデプス画像を得た後、現在の繰り返し回数ｉに１を加算し、新たな現在の繰り返し回数を得る。続いて、新たな現在の繰り返し回数を所定の繰り返し回数と比較し、新たな現在の繰り返し回数が所定の繰り返し回数未満である場合、上記プロセスを引き続き実行し、新たな現在の繰り返し回数が所定の繰り返し回数以上になるまで継続し、最終的な補完後のデプス画像を得る。

例示的に、本願の実施例は、所定の繰り返し回数の値による補完后されたデプス画像の誤差への影響を示す。図１２（ａ）に示すように、ＫＩＴＴＩデータ集合により試験を行う。横座標は、所定の繰り返し回数であり、縦座標は、二乗平均平方根誤差（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ：ＲＭＳＥ）である。ＲＭＳＥの単位は、ｍｍである。図面における３本の曲線は、それぞれ、全サンプル試験回数（ｅｐｏｃｈ）の様々な値により得られた結果である。図１２（ａ）から分かるように、ｅｐｏｃｈ＝１０である場合、つまり、ＫＩＴＴＩデータ集合における全てのサンプルが１０回試験される場合、ＲＭＳＥは、所定の繰り返し回数の増加に伴って降下する。所定の繰り返し回数が２０である場合、ＲＭＳＥは、最も小さく、０に近い。ｅｐｏｃｈ＝２０である場合、ＲＭＳＥは、まず、所定の繰り返し回数の増加に伴って降下し、続いて不変のまま保持し、ＲＭＳＥは、０に近い。ｅｐｏｃｈ＝３０である場合、ＲＭＳＥは、所定の繰り返し回数の増加に伴って降下し、続いて、小幅に上昇するが、ＲＭＳＥは、最大限５以下であり、ＲＭＳＥが０に近くなるまで継続する。図１２（ｂ）は、ＮＹＵデータ集合により試験を行った結果を示す図である。図１２（ａ）と同様に、図１２（ｂ）の横座標も所定の繰り返し回数であり、縦座標は、ＲＭＳＥであり、図面における３本の曲線は、それぞれｅｐｏｃｈの様々な値により得られた結果を表す。図１２（ｂ）から分かるように、ｅｐｏｃｈ＝５、ｅｐｏｃｈ＝１０、ｅｐｏｃｈ＝１５に関わらず、所定の繰り返し回数の増加に伴って、ＲＭＳＥは、まず減少し、０に近くなるまで継続し、続いて不変のまま保持する。図１２（ａ）及び図１２（ｂ）から分かるように、所定の繰り返し回数の画素拡散を行うことで、補完後のデプス画像のＲＭＳＥを著しく減少させることができる。つまり、所定の繰り返し回数の画素拡散を行うことで、補完後のデプス画像の正確度を更に向上させることができる。

本願の実施例において、補完後のデプス画像を得た後、引き続き、補完後のデプス画像に対して補完を繰り返して行い、補完後のデプス画像の正確度を更に向上させることができる。

本願の幾つかの実施例において、デプス画像補完方法は、所定の予測モデルにより実現することができる。ターゲットシーンのデプス画像及び二次元画像を収集した後、まず、デプス画像補完装置内に事前記憶された所定の予測モデルを取得し、続いて、デプス画像及び映像画像を入力として所定の予測モデルに送り込んで演算を行い、一次予測処理を行い、所定の予測モデルから出力された結果に基づいて、拡散待ち画像及び特徴画像を得る。これにより、後続で、拡散待ち画像及び特徴画像に基づいて、画素拡散を実現させる。

本願の実施例において、所定の予測モデルは、訓練されたモデルであることが理解されるべきである。本願の実施例において、訓練された畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：ＣＮＮ）モデルを所定の予測モデルとして用いることができる。勿論、実際の状況に応じて、同様な目的を達成できる他のネットワークモデル又は他の機器学習モデルを所定の予測モデルとすることもできる。本願の実施例は、これを限定するものではない。

例示的に、本願の実施例において、ＣＮＮにおける残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋｓ：ＲｅｓＮｅｔ）の変形ＲｅｓＮｅｔ－３４又はＲｅｓＮｅｔ－５０を所定の予測モデルとして用いることができる。

所定の予測モデルにより、収集されたデプス画像及び二次元画像に対して予測処理を行った後、実際の設定に応じて、例えば、初期段階の補完デプス画像、法線方向予測画像、延いてはデプス画像に対応する信頼度画像などを得ることができるため、所定の予測モデルにより得られた予測結果を直接的に拡散待ち画像とすることができ、予測結果に対して処理を行うことで拡散待ち画像を得ることもできることに留意されたい。

得られた拡散待ち画像は、所定の予測モデルの出力に基づいて得られた、画素値の拡散を行うための画像を指し、得られた特徴画像は、デプス画像及び二次元画像を所定の予測モデルに入力して演算を行った後、所定の予測モデルにおける一層の特徴データを可視化することで得られた特徴画像を指すことに留意されたい。

所定の予測モデルにより、デプス画像及び二次元像を予測することで、初期段階の補完デプス画像及び法線方向予測画像を得ることができ、つまり、所定の予測モデルは、２つの出力を有するため、特徴画像を得る時、初期段階の補完デプス画像を出力するためのサブネットワークにおける特徴データのみを可視化することで特徴画像を得ることができ、法線方向予測画像を出力するためのサブネットワークにおける特徴データのみを可視化することで特徴画像を得ることもでき、初期段階の補完デプス画像を出力するためのサブネットワークと法線方向予測画像を出力するためのサブネットワークを直列接続し、直列接続ネットワークにおける特徴データを可視化することで、特徴画像を得ることもできることに留意されたい。勿論、他の方式で特徴画像を得ることもできる。本願の実施例は、これを限定するものではない。

例示的に、所定の予測モデルがＲｅｓＮｅｔ－３４である場合、まず、デプス画像及び二次元画像をＲｅｓＮｅｔ－３４に送り込んで予測を行い、続いて、ＲｅｓＮｅｔ－３４の最後から２層目における特徴データを可視化し、可視化結果を特徴画像とすることができる。勿論、他の方式により、特徴画像を得ることもできる。本願の実施例は、これを限定するものではない。

本願の幾つかの実施例において、所定の予測モデルは、下記方法で訓練される。

Ｓ１０７において、訓練サンプル及び予測モデルを取得する。

レーダーによりターゲットシーンのデプス画像を収集し、カメラによりターゲットシーンの二次元画像を収集する前に、訓練サンプル及び予測モデルを取得する必要もある。これにより、後続で、訓練サンプルにより、予測モデルを訓練することができる。

所定の予測モデルにより、初期段階の補完デプス画像、法線方向予測画像、特徴画像及び第１信頼度画像を得ることができるため、取得された訓練サンプルに、少なくとも訓練デプス画像サンプル、訓練二次元画像サンプル、訓練デプス画像サンプルと訓練二次元画像サンプルに対応する初期段階の補完デプス画像の真値画像、法線方向予測画像の真値画像及び第１信頼度画像の真値画像が含まれることに留意されたい。ここで、初期段階の補完デプス画像の真値画像は、三次元シーンの真実のデプス情報を画素値とすることで構成された画像を指す。法線方向予測画像の真値画像は、初期段階の補完デプス画像の真値画像に対して主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＰＣＡ）を行うことで算出された画像を指す。第１信頼度画像の真値画像は、訓練デプス画像及びデプス画像の真値画像を利用することで算出された画像を指す。

本願の実施例において、各３Ｄ点の信頼度の真値に対して演算を行い、続いて、各３Ｄ点の信頼度の真値を画素値として、第１信頼度画像の真値画像を得る。各３Ｄ点の置信度の真値を算出する時、まず、３Ｄ点のデプス情報から、３Ｄ点デプス情報の真値を差し引き、得られた差分値の絶対値を求め、絶対値結果を得る。続いて、絶対値結果と所定の誤差フォールトトレラントパラメータとの比を求める。最後に、得られた比を指数関数の指数とし、自然対数ｅを指数関数の底として演算を行い、各３Ｄ点の信頼度の真値を得る。

例示的に、本願の実施例において、式（１７）により、３Ｄ点の信頼度の真値を算出することができる。式（１７）は、以下に示すとおりである。

ただし、

は、３Ｄ点のデプス情報を表し、

は、３Ｄ点の訓練デプス情報の真値を表し、ｂは、所定の誤差フォールトトレラントパラメータであり、

は、算出された信頼度の真値である。

各３Ｄ点のデプス情報、各３Ｄ点の訓練デプス情報の真値、及び所定の誤差フォールトトレラントパラメータの数値を取得した後、これらのデータを式（１７）に代入し、各３Ｄ点の信頼度の真値を一つずつ算出し、更に各３Ｄ点の信頼度の真値を画素値として、第１信頼度画像の真値画像を得ることができる。

本願の実施例において、所定の誤差フォールトトレラントパラメータは、第１信頼度画像の真値画像の演算プロセスに影響を与えるため、所定の誤差フォールトトレラントパラメータは、経験に応じて設定されてもよく、本願の実施例は、これを限定するものではないことに留意されたい。

例示的に、本願の実施例は、所定の誤差フォールトトレラントパラメータによる第１信頼度画像の真値画像の誤差への影響を示す。図１３（ａ）に示すように、横座標は、所定の誤差フォールトトレラントパラメータｂの値であり、縦座標は、様々な所定の誤差フォールトトレラントパラメータｂにより算出された第１信頼度画像の真値画像の二乗平均平方根誤差（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ：ＲＭＳＥ）である。ＲＭＳＥの単位は、ｍｍである。図１３（ａ）から分かるように、ｂの値は、

から次第に増大し、

となるまで継続する場合、第１信頼度画像の真値画像のＲＭＳＥは、まず減少し、続いて増大する。また、ｂが

である場合、第１信頼度画像の真値画像ＲＭＳＥは、最小になる。これから分かるように、第１信頼度画像の真値画像のＲＭＳＥを最小にするために、所定の誤差フォールトトレラントパラメータｂを

とすることができる。本願の実施例は、所定の誤差フォールトトレラントパラメータの値による信頼度の真値－絶対誤差（Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ：ＡＥ）曲線分布への影響を更に示す。図１３（ｂ）における横座標は、絶対誤差であり、ＡＥの単位は、ｍである。縦座標は、信頼度の真値

である。図１３（ｂ）における５本の曲線は、左から右へ、順に、ｂ＝０．１である場合の

曲線分布、ｂ＝０．５である場合の

曲線分布、ｂ＝１．０である場合の

曲線分布、ｂ＝１．５である場合の

曲線分布、ｂ＝２．０である場合の

曲線分布、及びｂ＝５．０である場合の

曲線分布である。これらの曲線分布から分かるように、ｂの値が小さすぎる時、例えば、ｂ＝０．１、ｂ＝０．５である時、ＡＥが小さくても、信頼度の

も低い。実際の適用において、誤差が小さい信頼度真値に対して、高い信頼度を求めることができない。つまり、信頼度が不正確である。同様に、ｂの値が大きすぎる時、つまり、ｂ＝２．０、ｂ＝５．０である時、ＡＥが大きいが、信頼度の真値

は高い。実際の適用において、雑音に対する許容度が高い。従って、誤差が大きい信頼度の置信度の真値に対して、低い信頼度を求めることができない。ｂが１である時、小さなＡＥについて、信頼度

が高く、大きなＡＥについて、信頼度

が低い、信頼度の真値に対して、適切な信頼度を求めることができる。

Ｓ１０８において、訓練サンプルにより、予測モデルを訓練し、予測パラメータを得る。

訓練サンプルを得た後、訓練サンプルにより、予測モデルに対して教師あり訓練を行い、損失関数が要件を満たすまで訓練を中止し、予測パラメータを得る。これにより、後続で、所定の予測モデルを得る。

所定のモデルを訓練する時、訓練デプス画像サンプル及び訓練二次元画像サンプルを入力として、訓練デプス画像サンプル及び訓練二次元画像サンプルに対応する初期段階の補完デプス画像の真値画像、法線方向予測画像の真値画像及び第１信頼度画像の真値画像を監督として、教師あり訓練を行うことに留意されたい。

本願の実施例において、初期段階の補完デプス画像の真値画像、法線方向予測画像の真値画像及び第１信頼度画像の真値画像に対してそれぞれサブ損失関数を設定し、続いて、これらのサブ損失関数をそれぞれそれに対応する損失関数の重み調整パラメータと乗算し、最後に乗算結果に基づいて、所定の予測モデルの損失関数を得ることができる。

例示的に、所定の予測モデルの損失関数を以下に設定してもよい。

ただし、

は、初期段階の補完デプス画像の真値画像に対応するサブ損失関数であり、

は、法線方向予測画像の的真値画像に対応するサブ損失関数であり、

は、第１信頼度画像の真値画像に対応するサブ損失関数であり、

は、損失関数の重み調整パラメータである。勿論、所定の予測モデルの損失関数を他の形態に設定してもよく、本願の実施例は、これを限定するものではない。

損失関数の重み調整パラメータは、実際の状況に応じて設定されてもよく、本願の実施例は、これを限定するものではないことに留意されたい。

初期段階の補完デプス画像の真値画像に対応するサブ損失関数は、以下のように設定されてもよい。

ただし、

は、訓練サンプルから予測された３Ｄ点の一次デプス情報を表し、

は、３Ｄ点の元デプス情報の真値を表し、ｎは初期段階の補完デプス画像の画素の総数である。

法線方向予測画像の真値画像に対応するサブ損失関数は、以下のように設定されてもよい。

ただし、

は、訓練サンプルから予測された３Ｄ点の所在する接平面の法線ベクトルを表し、

は、３Ｄ点の真実の法線ベクトルを表し、ｎは、法線方向予測画像の画素の総数である。

第１信頼度画像の真値画像に対応するサブ損失関数は、以下のように設定されてもよい。

ただし、

は、訓練サンプルから予測された３Ｄ点に対応する信頼度情報を表し、

は、式（１７）により算出された３Ｄ点に対応する信頼度情報の真値を表し、ｎは、第１信頼度画像の画素の総数である。

訓練プロセスにおいて、多くのハイパーパラメータが、例えば、サンプリング率などのような、最後に得られた所定の予測モデルの性能に影響を与えるため、装置は、適切なハイパーパラメータを選択して予測モデルに対して訓練を行うことができることに留意されたい。これにより、後続で、効果が高い所定の予測モデルを得る。

Ｓ１０９において、予測パラメータ及び予測モデルにより、所定の予測モデルを構成する。

予測モデルを訓練して、予測パラメータを得た後、得られた予測パラメータ及び予測モデルにｙり、所定の予測モデルを構成する。これにより、後続で、装置は、所定の予測モデルにより、装置により収集されたデプス画像及び二次元画像を予測することができる。

例示的に、本願の実施例は、所定の予測モデルのサンプリング率による補完後のデプス画像への影響を示す概略図を提供する。図１４（ａ）に示すように、ＫＩＴＴＩデータ集合で試験を行う。横座標は、サンプリング率であり、縦座標は、ＲＭＳＥであり、ＲＭＳＥの単位は、ｍｍである。図面における３本の曲線は、それぞれ、ｅｐｏｃｈ＝１０、ｅｐｏｃｈ＝２０及びｅｐｏｃｈ＝３０である場合に得られた結果である。図１４（ａ）から分かるように、ｅｐｏｃｈ＝１０、ｅｐｏｃｈ＝２０、ｅｐｏｃｈ＝３０に関わらず、サンプリング率が０から１．０へ逓増する時、ＲＭＳＥは、ますます小さくなり、且つ、サンプリング率が１．０である場合、ＲＭＳＥは、最小になる。図１４（ｂ）は、ＮＹＵデータ集合で試験を行った結果を示す。図１４（ａ）と同様に、図１４（ｂ）における横座標は、サンプリング率であり、縦座標は、ＲＭＳＥであり、ＲＭＳＥの単位は、ｍｍである。図面における３本の曲線は、それぞれ、ｅｐｏｃｈ＝１０、ｅｐｏｃｈ＝２０及びｅｐｏｃｈ＝３０である場合に得られた結果である。図１４（ａ）と同様に、ｅｐｏｃｈ＝１０、ｅｐｏｃｈ＝２０、ｅｐｏｃｈ＝３０に関わらず、サンプリング率が０から１．０へ逓増する時、ＲＭＳＥは、ますます小さくなり、且つ、サンプリング率が１．０である場合、ＲＭＳＥは、最小になる。図１４（ａ）及び図１４（ｂ）から分かるように、所定の予測モデルに対して適切なサンプリング率を選択することで、補完後のデプス画像のＲＭＳＥを著しく低下させることができ、つまり、効果が高い補完後のデプス画像を得ることができる。

本願の実施例において、予測モデルに対して訓練を行い、予測パラメータを得て、予測パラメータ及び予測モデルで所定の予測モデルを構成することができる。従って、後続で、所定の予測モデルにより、リアルタイムに収集されたデプス画像及び二次元画像に対して予測処理を行うことができる。

例示的に、本願の実施例は、デプス画像補完方法の効果と関連技術におけるデプス補完技術の効果との比較を示す概略図を提供する。図１５（ａ）に示すように、収集された三次元シーンのデプス画像及び二次元画像を示す概略図である。観察を容易にするために、デプス画像と二次元画像を重ね合せて示す。図１５（ｂ）は、関連技術における畳み込み空間伝播ネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｐａｔｉａｌ Ｐｒｏｐａｇａｔｉｏｎ Ｎｅｔｗｏｒｋ：ＣＳＰＮ）によりデプス補完を行うことで得られた補完したデプス画像を示す。図１５（ｃ）は、関連技術におけるＮＣｏｎｖ－畳み込みニューラルネットワーク（ＮＣｏｎｖ－ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＮＣｏｎｖ－ＣＮＮ）により得られた補完したデプス画像を示す。図１５（ｄ）は、関連技術における疎ら－密な（Ｓｐａｒｓｅ－ｔｏ－Ｄｅｎｓｅ）方法で得られた補完したデプス画像を示す。図１５（ｅ）は、本願の実施例による予測した法線方向予測画像を示す。図１５（ｆ）は、本願の実施例による予測した第１信頼度画像を示す。図１５（ｇ）は、本願の実施例によるデプス画像補完方法で得られた補完后したデプス画像を示す。図１５（ｂ）、図１５（ｃ）、図１５（ｄ）を図１５（ｇ）と比較すると、従来技術に比べて、本願の実施例によるデプス画像補完方法で得られた補完したデプス画像の効果がより高く、誤ったデプス情報を有する画素点の数がより少なく、且つ補完後のデプス画像の細部情報もより十分であることが明らかになる。

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。

本願の幾つかの実施例において、図１６に示すように、本願の実施例は、デプス画像補完装置１を提供する。該デプス画像補完装置１は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集するように構成される収集モジュール１０と、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される処理モジュール１１であって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、処理モジュール１１と、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するように構成される拡散モジュール１２と、を備えてもよい。

本願の幾つかの実施例において、前記拡散モジュール１２は更に、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定し、前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定するように構成される。

本願の幾つかの実施例において、前記拡散待ち画像は、初期段階の補完デプス画像であり、前記拡散モジュール１２は、前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するように構成される場合、更に、前記拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とし、拡散後の画像を補完後のデプス画像とするように構成される。

本願の幾つかの実施例において、前記拡散待ち画像は、第１平面原点距離画像であり、前記処理モジュール１１は、前記デプス画像及び前記二次元画像に基づいて拡散待ち画像及び特徴画像を決定するように構成される場合、更に、前記カメラのパラメータ行列を取得し、前記デプス画像及び前記二次元画像に基づいて、前記初期段階の補完デプス画像、前記特徴画像及び法線方向予測画像を決定するように構成され、前記法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指し、前記処理モジュール１１は更に、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出するように構成され、前記第１平面原点距離画像は、前記初期段階の補完デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値とした画像である。

本願の幾つかの実施例において、前記処理モジュール１１は更に、前記デプス画像及び前記二次元画像に基づいて第１信頼度画像を決定するように構成され、前記第１信頼度画像は、前記デプス画像における各画素に対応する信頼度を画素値として用いた画像を指し、前記処理モジュール１１は更に、前記デプス画像、前記パラメータ行列及び前記法線方向予測画像に基づいて、第２平面原点距離画像を算出するように構成され、前記第２平面原点距離画像は、前記デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値として用いた画像を指し、前記処理モジュール１１は更に、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るように構成される。

本願の幾つかの実施例において、前記処理モジュール１１は、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るように構成される場合、更に、前記第２平面原点距離画像から、前記第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、前記置換え画素点の画素値を決定することであって、前記第１画素点は、前記第１平面原点距離画像におけるいずれか１つの画素点である、ことと、前記第１信頼度画像から、前記置換え画素点に対応する信頼度情報を決定することと、前記置換え画素点の画素値、前記信頼度情報及び前記第１平面原点距離画像の第１画素点の画素値に基づいて、前記第１平面原点距離画像の前記第１画素点の最適化後の画素値を決定することと、を繰り返して実行し、前記第１平面原点距離画像の各画素の最適化後の画素値を決定して前記最適化後の第１平面原点距離画像を得るまで継続するように構成される。

本願の幾つかの実施例において、前記処理モジュール１１は、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される場合、更に、所定拡散範囲に基づいて、前記拡散待ち画像から、前記拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、前記拡散待ち画素集合における各画素の画素値を決定するように構成され、前記第２画素点は、前記拡散待ち画像におけるいずれか１つの画素点であり、前記処理モジュール１１は更に、前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出するように構成され、
前記拡散モジュール１２は、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定するように構成される場合、更に、前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定すること、を繰り返して実行し、前記拡散待ち画像における各画素の拡散後の画素値を決定するまで継続するように構成される。

本願の幾つかの実施例において、前記処理モジュール１１は、前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出するように構成される場合、更に、拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することと、前記特徴画像において、前記拡散待ち画像の第２画素点に対応する画素を第１特徴画素とすることと、前記特徴画像において、前記拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とすることであって、前記第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である、ことと、前記第１特徴画素の特徴情報及び前記第２特徴画素の特徴情報を抽出することと、前記第１特徴画素の特徴情報、前記第２特徴画素の特徴情報、前記強度正規化パラメータ及び所定拡散制御パラメータ利用して、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出することと、を繰り返して実行し、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を決定するまで継続することと、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を前記拡散待ち画像の第２画素点に対応する拡散強度とすることと、を実行するように構成される。

本願の幾つかの実施例において、前記処理モジュール１１は、拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出するように構成される場合、更に、前記拡散待ち画像の第２画素点の特徴情報及び前記拡散待ち画素集合における第３画素点の特徴情報を抽出することと、抽出して得られた拡散待ち画像の第２画素点の特徴情報、前記拡散待ち画素集合における第３画素点の特徴情報及び前記所定拡散制御パラメータ利用して、前記拡散待ち画素集合における第３画素点のサブ正規化パラメータを算出することと、を繰り返して実行し、前記拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続することと、前記拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることと、実行するように構成される。

本願の幾つかの実施例において、前記拡散モジュール１２は、前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定するように構成される場合、更に、前記拡散強度における各サブ拡散強度をそれぞれ前記拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第１拡散部を得て、前記拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第２拡散部を得て、前記拡散待ち画像の第２画素点の画素値、前記拡散待ち画像の第２画素点の第１拡散部及び前記拡散待ち画像の第２画素点の第２拡散部に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を算出するように構成される。

本願の幾つかの実施例において、前記拡散モジュール１２は更に、前記補完後のデプス画像を拡散待ち画像とし、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続するように構成される。

本願の幾つかの実施例において、前記拡散モジュール１２は更に、前記補完後のデプス画像を初期段階の補完デプス画像とし、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップ、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続するように構成される。

本願の幾つかの実施例において、前記拡散モジュール１２は、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするように構成される場合、更に、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出し、前記デプス画像及び前記二次元画像に基づいて、第１信頼度画像を決定し、前記デプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出し、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするように構成される。

幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。

本願の幾つかの実施例において、図１７は、本願の実施例によるデプス画像補完装置の構造を示す概略図である。図１７に示すように、本願で提供されるデプス画像補完装置は、プロセッサ０１と、プロセッサ０１による実行可能な命令を記憶したメモリ０２と、を備えてもよい。プロセッサ０１は、メモリに記憶された実行可能なデプス画像補完命令を実行し、本願の実施例で提供されるデプス画像補完方法を実現させるように構成される。

本願の実施例において、上記プロセッサ０１は、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理機器（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。様々な機器について、上記プロセッサの機能を実現させるための電子機器は、他のものであってもよく、本願の実施例は、これを限定するものではないことが理解されるべきである。該端末は、メモリ０２を更に備えてもよい。該メモリ０２は、プロセッサ０１に接続されてもよい。ここで、メモリ０２は、高速ＲＡＭメモリを含んでもよく、例えば、少なくとも２つの磁気ディスクメモリのような不揮発性メモリを含んでもよい。

上記適用において、上記メモリ０２は、プロセッサ０１に命令及びデータを提供するための、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）のような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、例えば、読出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）又はソリッドステートドライブ（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）のような不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、又は上記メモリの組み合わせであってもよい。

なお、本実施例における各機能モジュールは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。

集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器（パーソナルコンピュータ、サーバ又はネットワーク装置など）又はｐｒｏｃｅｓｓｏｒ（プロセッサ）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読出し専用メモリ、ランダムアクセスメモリ、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。

本願の実施例におけるデプス画像補完装置は、例えば、デスクトップコンピュータ、ノートパソコン、マイクロコンピュータ、車載コンピュータなどのような、演算機能を有する装置であってもよい。具体的な装置の実施形態は、実際の需要に応じて決まってもよく、本願の実施例はこれを限定するものではない。

本願の実施例提供は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に、実行可能なデプス画像補完命令が記憶されており、端末に適用される。該プログラムがプロセッサにより実行される時、本願の実施例で提供されるデプス画像補完方法を実現させる。

本願の実施例は、方法、システム又はコンピュータプログラム製品として提供されてもよい。従って、本願は、ハードウェア実施例、ソフトウェア実施例又は、ソフトウェアとハードウェアを組み合わせる実施例の形態を用いてもよいことが当業者であれ理解すべきである。また、本願は、コンピュータによる利用可能なコンピュータコードを含む１つ又は複数のコンピュータによる利用可能な記憶媒体（磁気ディスクメモリ及び光学メモリなどを含むが、これらに限定されない）で実行されるコンピュータプログラム製品の形態を利用することができる。

本願は、本願の実施例の方法、機器（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、説明される。コンピュータプログラム命令により、フローチャート及び／又はブロック図における各フロー及び／又はブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせを実現することができることが理解されるべきである。これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。

これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ又は他のプログラマブルデータ処理装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能を実現する各態様の命令を含む製品を備える。

これらのコンピュータプログラム命令をコンピュータ又は他のプログラマブルデータ処理装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能を実現させる。

後続の説明において、「モジュール」、「部材」又は「ユニット」のような素子を表すための接尾語は、本願の説明を容易にするためのものだけであり、その自体は、特定の意味を持たない。従って、「モジュール」、「部材」又は「ユニット」は混用してもよい。

上記は、本願の好ましい実施例に過ぎず、本願の保護範囲を限定するものではない。

本実施例において、デプス画像補完装置は、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像を得ることができる。拡散待ち画像に、収集されたデプス画像における全てのポイントクラウドデータが残されている。これにより、拡散待ち画像における各画素値及びそれに対応する拡散強度を利用して、拡散待ち画像における各画素の拡散後の画素値を決定する時、収集されたデプス画像における全てのポイントクラウドデータを利用する。これにより、収集されたデプス画像におけるポイントクラウドデータを十分に利用することで、三次元シーンにおける各３Ｄ点のデプス情報の正確度がより高くなり、補完後のデプス画像の正確度が向上した。

Claims (17)

1. デプス画像補完方法であって、前記方法は、
   設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集することと、
   収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定することと、
   前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、ことと、
   前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することと
   を含む、デプス画像補完方法。
2. 前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することは、
   前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定することと、
   前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定することと
   を含む、請求項１に記載の方法。
3. 前記拡散待ち画像は、初期段階の補完デプス画像であり、前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定することは、
   前記拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とすることと、
   拡散後の画像を補完後のデプス画像とすることと
   を含む、請求項２に記載の方法。
4. 前記拡散待ち画像は、第１平面原点距離画像であり、前記デプス画像及び前記二次元画像に基づいて拡散待ち画像及び特徴画像を決定することは、
   前記カメラのパラメータ行列を取得することと、
   前記収集されたデプス画像及び前記二次元画像に基づいて、初期段階の補完デプス画像、前記特徴画像及び法線方向予測画像を決定することであって、前記法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指す、ことと、
   前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出することであって、前記第１平面原点距離画像は、前記初期段階の補完デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値とした画像である、ことと
   を含む、請求項２に記載の方法。
5. 前記方法は、
   前記収集されたデプス画像及び前記二次元画像に基づいて第１信頼度画像を決定することであって、前記第１信頼度画像は、前記収集されたデプス画像における各画素に対応する信頼度を画素値として用いた画像を指す、ことと、
   前記収集されたデプス画像、前記パラメータ行列及び前記法線方向予測画像に基づいて、第２平面原点距離画像を算出することであって、前記第２平面原点距離画像は、前記収集されたデプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値として用いた画像を指す、ことと、
   前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得ることと
   を更に含む、請求項４に記載の方法。
6. 前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得ることは、
   前記第２平面原点距離画像から、前記第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、前記置換え画素点の画素値を決定することであって、前記第１画素点は、前記第１平面原点距離画像におけるいずれか１つの画素点である、ことと、
   前記第１信頼度画像から、前記置換え画素点に対応する信頼度情報を決定することと、
   前記置換え画素点の画素値、前記信頼度情報及び前記第１平面原点距離画像の第１画素点の画素値に基づいて、前記第１平面原点距離画像の前記第１画素点の最適化後の画素値を決定することと、
   を繰り返して実行し、前記第１平面原点距離画像の各画素の最適化後の画素値を決定して前記最適化後の第１平面原点距離画像を得るまで継続することを含む、請求項５に記載の方法。
7. 前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することは、
   所定拡散範囲に基づいて、前記拡散待ち画像から、前記拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、前記拡散待ち画素集合における各画素の画素値を決定することであって、前記第２画素点は、前記拡散待ち画像におけるいずれか１つの画素点である、ことと、
   前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出することと
   を含み、
   前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定することは、
   前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定すること、
   を繰り返して実行し、前記拡散待ち画像における各画素の拡散後の画素値を決定するまで継続することを含む、請求項４～６のうちいずれか一項に記載の方法。
8. 前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出することは、
   拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することと、
   前記特徴画像において、前記拡散待ち画像の第２画素点に対応する画素を第１特徴画素とすることと、
   前記特徴画像において、前記拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とすることであって、前記第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である、ことと、
   前記第１特徴画素の特徴情報及び前記第２特徴画素の特徴情報を抽出することと、
   前記第１特徴画素の特徴情報、前記第２特徴画素の特徴情報、前記強度正規化パラメータ及び所定拡散制御パラメータ利用して、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出することと、
   を繰り返して実行し、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を決定するまで継続することと、
   前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を前記拡散待ち画像の第２画素点に対応する拡散強度とすることと
   を含む、請求項７に記載の方法。
9. 前記サブ拡散強度は、前記拡散待ち画像の第２画素点と前記拡散待ち画素集合における第３画素点との類似度である、請求項８に記載の方法。
10. 拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することは、
    前記拡散待ち画像の第２画素点の特徴情報及び前記拡散待ち画素集合における第３画素点の特徴情報を抽出することと、
    抽出して得られた拡散待ち画像の第２画素点の特徴情報、前記拡散待ち画素集合における第３画素点の特徴情報及び前記所定拡散制御パラメータ利用して、前記拡散待ち画素集合における第３画素点のサブ正規化パラメータを算出することと、
    を繰り返して実行し、前記拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続することと、
    前記拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることと
    を含む、請求項８に記載の方法。
11. 前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定することは、
    前記拡散強度における各サブ拡散強度をそれぞれ前記拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第１拡散部を得ることと、
    前記拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第２拡散部を得ることと、
    前記拡散待ち画像の第２画素点の画素値、前記拡散待ち画像の第２画素点の第１拡散部及び前記拡散待ち画像の第２画素点の第２拡散部に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を算出することと
    を含む、請求項８に記載の方法。
12. 前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定した後、前記方法は、
    前記補完後のデプス画像を拡散待ち画像とし、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続することを更に含む、請求項３に記載の方法。
13. 前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定した後、前記方法は、
    前記補完後のデプス画像を初期段階の補完デプス画像とし、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップ、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続することを更に含む、請求項４～１１のうちいずれか一項に記載の方法。
14. 毎回に実行される、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップは、
    前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出するステップと、
    前記収集されたデプス画像及び前記二次元画像に基づいて、第１信頼度画像を決定するステップと、
    前記収集されたデプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出するステップと、
    前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするステップと
    を含む、請求項１３に記載の方法。
15. デプス画像補完装置であって、前記装置は、
    設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集するように構成される収集モジュールと、
    収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される処理モジュールであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、処理モジュールと、
    前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するように構成される拡散モジュールと
    を備える、デプス画像補完装置。
16. デプス画像補完装置であって、前記装置は、メモリとプロセッサとを備え、
    前記メモリは、実行可能なデプス画像補完命令を記憶するように構成され、
    前記プロセッサは、前記メモリに記憶された前記実行可能なデプス画像補完命令を実行することにより、請求項１～１４のうちいずれか一項に記載の方法を実現するように構成される、デプス画像補完装置。
17. コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体には、実行可能なデプス画像補完命令が記憶されており、前記実行可能なデプス画像補完命令は、請求項１～１４のうちいずれか一項に記載の方法を実現することをプロセッサに行わせる、コンピュータ読み取り可能な記憶媒体。

Images