JP6584369B2 - 壁の背後に位置するシーンの雑音のない画像を求めるシステムおよび方法 - Google Patents

Description

本発明は、包括的には、壁透過撮像（ＴＷＩ）に関し、より詳細には、ＭＩＭＯアンテナアレイおよび圧縮センシングを用いて画像を雑音除去し、壁の背後のシーンを再構成することに関する。

壁透過撮像（ＴＷＩ）は、壁の背後のシーン内の物体を検出するのに用いることができる。すなわち、物体は、壁によって囲まれた構造物の内部に位置決めされ、その構造物の外部から検出される。通常の用途では、１つまたは複数の送信アンテナがレーダーパルスを放出する。これらのレーダーパルスは、壁を透過して伝播し、物体によってエコーとして反射される。これらのエコーは、１つまたは複数の受信アンテナによって取得される。これらのエコーは、その後、レーダー撮像システムまたは方法を用いて処理され、物体の位置および反射率を表すレーダー画像が生成される。

しかしながら、壁の誘電率および透過率に応じて、エコーは、雑音を有する再構成画像の原因となるゴーストアーティファクトをもたらす壁からの間接的な２次反射によって破損されることが多い。画像を雑音除去することによって、ＴＷＩの品質を大幅に改善することができる。

本発明の実施の形態は、壁の背後のシーンの雑音を有する画像を組み合わせて、雑音のない画像を生成するシステムおよび方法を記載している。通常、シーンは、物体、例えば、人物等の反射物を含むものと仮定される。

本システムは、壁の前方のそれぞれ異なるロケーションからレーダーパルスを放出する送信アンテナを備える。これらのレーダーパルスは、壁を透過して伝播し、シーンによってエコーとして反射される。一組の静止した受信アンテナが、それぞれ異なる各ロケーションから送信された各パルスに対応するエコーを取得する。

送信アンテナおよび一組の受信アンテナに、例えば、コントローラーを介して接続されたレーダー撮像システムが、送信アンテナ１１０の各ロケーションについてシーンの単一入力多出力（ＳＩＭＯ）の雑音を有する画像を求める。全変動デノイザーが、各雑音を有するＳＩＭＯ画像を雑音除去し、雑音除去された画像を生成する。次に、コンバイナーが、これらの雑音除去された画像をインコヒーレントに組み合わせて、対応する雑音のない画像を生成する。

本発明の１つの実施の形態は、シーンの反射およびマルチパス反射に対するスパース性制約を有する構造化ブラインド逆畳み込み問題として雑音除去をモデル化する、スパース反転によるマルチパス除去（ＭＥＳＩ）方法に基づく物体検出のために拡張物体反射の空間相関を組み込む。これは、別個の畳み込みカーネルが、検出された物体ごとに、対応するマルチパス反射を整合させるように求められることを確保することによって、雑音除去を改善する。

本発明の実施の形態による壁の背後のシーンの雑音のない画像を求めるシステムおよび方法の概略図である。 本発明の実施の形態による送信機および静止した受信機ならびにピクセル強度のプロファイルの概略図である。 本発明の実施の形態によるＭＥＳＩ方法のフロー図である。

システムセットアップ
図１に示すように、本発明の実施の形態は、壁４０の背後に位置するシーンの雑音のない画像を求めるシステムおよび方法を記載している。通常、シーンは、物体、例えば、人物５０等の反射物を含む。システムセットアップ、シーンおよび壁の効果の詳細は、関連出願である２０１３年７月２２日にMansourによって出願された米国特許出願公開第２０１５００２２３９０号「Method and System for Through-the-Wall Imaging using Sparse Inversion for Blind Multi-Path Elimination」に記載されている。この米国特許出願公開は、引用することによって本明細書の一部をなす。

本システムは、壁４０の前方のそれぞれ異なるロケーション１１１からレーダーパルス１４を放出する送信アンテナ１１０を備える。これらのレーダーパルスは、壁を透過して伝播し、エコー１２として反射される。通常、反射物は、人物等の物体５０である。しかしながら、本発明は、任意のタイプの壁の背後のシーンに適用することができることが理解される。一組の静止した受信アンテナ１２０は、それぞれ異なる各ロケーションから送信された各パルスに対応するエコー１２を取得する。

レーダー撮像サブシステム１３０は、送信アンテナおよび一組の受信アンテナに、例えば、コントローラー１２５を介して接続され、送信アンテナの各ロケーションのシーンの雑音を有する（単一入力多出力（ＳＩＭＯ））画像１３１を求める。コントローラー１２５は、送信機および受信機ならびにシステムの残りの部分の動作を同期させるのに用いることができる。

全変動デノイザー１４０は、各雑音を有する画像１３１を雑音除去し、雑音除去された対応する画像１４１を生成する。画像１３１を求めて画像１３１を生成することは、それぞれ異なるロケーションについて繰り返される（１３５）。

その後、コンバイナー１５０は、雑音除去された画像１４１をコヒーレントまたはインコヒーレントに組み合わせ、例えば、総和し、雑音のない画像１５１を生成する。

これらのサブシステム、デノイザーおよびコンバイナーは、当該技術分野において知られているように、メモリおよび入力／出力インターフェースに接続された１つまたは複数のプロセッサにおいて実施することができる。代替的に、これらは、個別の構成要素またはハードウェア回路として実施することができる。

１つの実施の形態では、送信アンテナは、送信モードで動作するアンテナ１２０のうちの１つであり、レーダーパルス１４を放出するそれぞれ異なるロケーションごとにそれぞれ異なるアンテナが選択される。パルスが放出された後、アンテナを受信機モードに再び切り替えることができる。

信号モデル
単一の送信アンテナ１１０および一組のｎ_ｒ個の受信アンテナ１２０を有する図１に示すモノスタティック（送信アンテナおよび受信アンテナが同じ場所に配置される）物理開口レーダーシステムの場合、時間領域波形は、ｓである。シーン内にＫ個の物体５０が存在するとき、受信アンテナｎ∈｛１・・・ｎ_ｒ｝におけるｋ∈｛１・・・Ｋ｝によってインデックス付けされる物体の時間領域１次インパルス応答（エコー）は、ｇ_ｋ（ｎ）である。この結果、クラッターのない受信信号ｒ（ｎ）＝ｓ＊ｇ_ｋ（ｎ）が得られる。ここで、

は、ｎ_ｔ次元時間領域測定値であり、＊は、畳み込み演算子である。

シーンは、Ｎ_ｘ×Ｎ_ｙ空間グリッドに分割することができ、

は、ｘ_ｋが物***置の支持部を除くあらゆる場所で０であるような画像領域における物体応答とすることができる。点物体の場合、インパルス応答を以下のように表すことができる。

周波数帯域幅は、ｎ_ｆ個のビンに離散化することができ、

は、

であるような受信アンテナｎの遅延および和演算子とすることができる。ここで、τ_ｊ（ｎ）は、送信アンテナからグリッド点ｊ∈Ｎ_ｘ×Ｎ_ｙまでと、受信アンテナｎまでの戻りとのラウンドトリップ時間である。

あらゆる物体ｋについて、全ての受信アンテナは、雑音を有するマルチパス応答ｍ_ｋ（ｎ）を、対応する１次応答ｇ_ｋ（ｎ）と遅延畳み込みカーネルｄ_ｋを誘発する同一の雑音との畳み込み、すなわち、ｍ_ｋ（ｎ）＝ｇ_ｋ（ｎ）＊ｄ_ｋとして取得する。その結果、受信アンテナｎにおける受信信号は、以下のようにモデル化することができる。

ここで、ｄ_ｋは、受信アンテナｎのロケーションに依存しない。

この状況において、全てのｎ∈｛１，・・・ｎ_ｒ｝について受信信号ｒ（ｎ）のみを所与としてシーン内の全ての物体の遅延畳み込みカーネルｄ_ｋおよび物体応答ｘ_ｋが推定される。本発明者らの解は、スパース反転によるマルチパス除去（ＭＥＳＩ）方法を高度化したものに部分的に基づいている。これについては、Mansour他「Blind multi-path elimination by sparse inversion in through-the-wall-imaging」Proc. IEEE 5th Int. Workshop on Computational Advances in Multi-Sensor Adaptive Process, (CAMSAP), pp. 256-259, December 2013および２０１３年７月２２日にMansourによって出願された米国特許出願公開第２０１５００２２３９０号「Method and System for Through-the-Wall Imaging using Sparse Inversion for Blind Multi-Path Elimination」を参照されたい。

スパース反転によるマルチパス除去（ＭＥＳＩ）
ＭＥＳＩ方法は、物体を検出し、２つのステップ、すなわち、
スパース１次物体応答を推定するステップと、
この１次物体応答を受信エコー内の可能なクラッターに整合させる遅延畳み込みカーネルを推定するステップと
を交互に行うことによって、例えば、壁クラッターに起因した雑音を除去する。

ＭＥＳＩ方法の詳細は、図３に示されている。本システムは、プロセッサ１００を備える。このプロセッサは、各物体の拡張物体反射を個別に求め（３１０）、この拡張物体反射をエコー内の同様のマルチパス反射に整合させる遅延畳み込みカーネルを取得し（３２０）、拡張物体反射およびマルチパス反射をエコー３２９から取り去る（３３０）。これらのステップは、終了条件３４０、例えば、所定の反復回数または収束に到達するまで繰り返される。

ベクトルｖの周波数応答を、上付き記号の付いた

によって示す。一組の測定値が与えられると、全ての受信アンテナｎ∈｛１，・・・ｎ_ｒ｝の受信エコーｒ（ｎ）３２９は、ベクトル

にスタックされ、遅延および和演算Ｗ_ｎをスタックすることによって単一送信機多受信機（ＳＩＭＯ）撮像行列Ｗが形成される。

順モデルｆを以下のように定義する。

反復ｋにおける残りの測定値を、

とする。ここで、ｇ_ｊは、式（１）を用いてｘ_ｊから求められる。

その後、ＭＥＳＩ方法は、２つのステップを交互に行う。第１のステップにおいて、スパース１次物体応答の推定値

が、以下の式を解くことによって求められる。

ここで、ｅは、要素単位のアダマール積であり、σ_ｘは、近似的なスパース性境界である。

第２のステップにおいて、残りの測定値は、ｒ_ｄ＝ｒ_ｘ−ｓ＊ｇ_ｋに更新され、１次物体応答を整合させる対応する遅延畳み込み演算子は、以下の式となる。

ここで、σ_ｄは、ｄに関するスパース性境界である。上記２つのステップは、所定の反復回数の間、または事前に設定されたデータ不整合に到達するまで繰り返される。その後、全ての反復ｋにわたって

を総和する（１５０）ことによって、雑音のない物体画像

１５１が求められる。

全変動を用いた雑音軽減
送信アンテナ１１０のロケーションがシーンのいくつかのビューを取得するためにそれぞれ異なる図２に示すようなセットアップを考える。具体的に言えば、送信アンテナの特定のロケーションにそれぞれ対応するｎ_ｓ個の異なる測定が行われる。

送信アンテナおよび受信アンテナの対２１０のそれぞれ異なる配置の下でのシーンの観測は、再構成された画像における雑音を低減することができる。基本となる前提は、送信アンテナのロケーションを反復的に変更する（１１１）ことによって、同じ画像位置についての物体反射のプロファイル２３０は、一貫した応答を有するのに対して、間接的なパスからの反射は、ランダム雑音のような応答を有するということである。

したがって、全変動（ＴＶ）雑音除去１４０が、雑音を有するＳＩＭＯ画像１３１に適用される。これについては、Rudin他「Nonlinear total variation based noise removal algorithms」Physica D, vol. 60, no. 1-4, pp. 259-268, November 1992を参照されたい。ＴＶは、過度でかつスプリアスな場合があり得る細部を有する信号は、より大きな全変動を有するという原理に基づいている。したがって、ＴＶは、物体に対応するピクセルを様々なタイプの雑音に対応するピクセルから分離する。

一組の雑音を有する画像

１３１が与えられると、雑音除去は、以下の最適化問題として定式化される。

ここで、λ＞０は、適用する雑音除去の量を制御する正則化パラメーターである。ＴＶは、物体のプロファイルを求めるという本発明者らの目的に適合した、区分的に滑らかなプロファイル２３０を有する信号を推定する画像処理中に適用することができる。

本発明者らの実施態様は、各画像が特定の送信機ロケーションに対応する画像１３１に作用する高速反復縮小閾値処理アルゴリズム（ＦＩＳＴＡ：fast iterative shrinkage and thresholding algorithm）に部分的に基づいている。これについては、Beck他「Fast gradient-based algorithm for constrained total variation image denoising and deblurring problems」IEEE Trans. Image Process, vol. 18, no. 11, pp. 2419-2434, November 2009を参照されたい。

拡張物体検出
従来のＭＥＳＩ方法の１つの限界は、所与の反復ｋにおいて、この方法が物体応答ｘ_ｋ全体の取得に失敗する可能性があるということである。その結果、その反復において求められた遅延畳み込みカーネルは、必ずしも実際の物体に対応しない。これは、通常、性能の劣化をもたらす。

したがって、本発明者らの方法は、特定の物体に対応する雑音を有する画像内の全てのピクセルを認識して抽出することによって、雑音のない画像の品質を大幅に改善する。これは、実際には、式（４）を以下のような最も強い反射物の検出器と置き換えることによって達成することができる。

次に、

の周囲の空間近傍をスキャンし、全ての接続されたピクセルを同じ物体ｋに割り当てることによって、拡張物体反射

が求められる。

このように、本発明者らの実施態様は、最も強い反射物と近傍におけるピクセルとの間の相対エネルギー差を比較する。この相対エネルギーが所与の閾値よりも高い場合、そのピクセルは、拡張物体の一部として受け入れられ、そうでない場合、そのピクセルは、背景として廃棄される。

Claims (11)

1. 壁の背後に位置するシーンの雑音のない画像を求めるシステムであって、
   前記壁の前方のそれぞれ異なるロケーションからレーダーパルスを放出する１台の送信アンテナであって、該レーダーパルスは、前記壁を透過して伝播し、前記シーンによってエコーとして反射される、送信アンテナと、
   それぞれ異なる各ロケーションから送信された各パルスに対応する前記エコーを取得する一組の静止した受信アンテナと、
   前記送信アンテナの前記各ロケーションについて前記シーンの雑音を有する画像を求める、前記送信アンテナおよび前記一組の受信アンテナに接続されたレーダー撮像サブシステムと、
   各雑音を有する画像から雑音に対応するピクセルを分離することで雑音除去し、対応する雑音除去された画像を生成する全変動デノイザーと、
   前記雑音除去された画像をインコヒーレントに組み合わせて、前記雑音のない画像を生成するコンバイナーと
   を備える、システム。
2. 前記シーンは、前記パルスを前記エコーとして反射する物体を含む、請求項１に記載のシステム。
3. 前記雑音を有する画像は、単一入力多出力（ＳＩＭＯ）画像であり、前記雑音のない画像は、多入力多出力（ＭＩＭＯ）画像である、請求項１に記載のシステム。
4. 前記コンバイナーは、前記雑音除去された画像を総和する、請求項１に記載のシステム。
5. 前記送信アンテナは、各ロケーションについて送信モードで動作する前記一組の受信アンテナのうちの１つである、請求項１に記載のシステム。
6. 全ての受信アンテナは、対応する１次応答と、遅延畳み込みカーネルを誘発する同一の雑音との畳み込みとして、マルチパスの雑音を有する応答を取得する、請求項１に記載のシステム。
7. 前記遅延畳み込みカーネルは、スパース反転によるマルチパス除去（ＭＥＳＩ）方法を用いて推定される、請求項６に記載のシステム。
8. 前記ＭＥＳＩ方法は、スパース１次物体応答を推定するステップと、該１次物体応答を整合させる前記遅延畳み込みカーネルを推定するステップとを含む２つのステップを交互に行う、請求項７に記載のシステム。
9. 前記ＭＥＳＩは、各物体に対応する前記雑音を有する画像内の全てのピクセルからなる拡張物体反射を抽出する、請求項７に記載のシステム。
10. プロセッサをさらに備え、該プロセッサは、
    前記各物体の前記拡張物体反射を別々に求め、
    前記拡張物体反射を前記エコーにおけるマルチパス反射に整合させる前記遅延畳み込みカーネルを取得し、
    前記拡張物体反射およびマルチパス反射を前記エコーから取り去り、
    終了条件に到達するまで、上述した求めること、取得すること、および取り去ることを繰り返す、請求項９に記載のシステム。
11. 壁の背後に位置するシーンの雑音のない画像を求める方法であって、
    前記壁の前方のロケーションにおける１台の送信アンテナを用いて、レーダーパルスを放出するステップであって、該レーダーパルスは、前記壁を透過して伝播し、前記シーンによってエコーとして反射される、放出するステップと、
    一組の静止した受信アンテナを用いて、送信されたパルスに対応する前記エコーを取得するステップと、
    前記送信アンテナおよび前記一組の受信アンテナに接続されたレーダー撮像サブシステムを用いて、前記シーンの雑音を有する画像を求めるステップと、
    全変動デノイザーを用いて、雑音除去された画像を生成するために前記雑音を有する画像から雑音に対応するピクセルを分離することで雑音除去するステップと、
    前記放出するステップ、前記取得するステップ、前記求めるステップ、および前記雑音除去するステップをそれぞれ異なるロケーションについて繰り返すステップと、
    その後、前記雑音除去された画像をインコヒーレントに組み合わせて、前記雑音のない画像を生成するステップと
    を含む、方法。

Images