JP6584369B2 - System and method for determining a noise-free image of a scene located behind a wall - Google Patents

System and method for determining a noise-free image of a scene located behind a wall Download PDF

Info

Publication number
JP6584369B2
JP6584369B2 JP2016128528A JP2016128528A JP6584369B2 JP 6584369 B2 JP6584369 B2 JP 6584369B2 JP 2016128528 A JP2016128528 A JP 2016128528A JP 2016128528 A JP2016128528 A JP 2016128528A JP 6584369 B2 JP6584369 B2 JP 6584369B2
Authority
JP
Japan
Prior art keywords
image
noise
wall
scene
receive antennas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016128528A
Other languages
Japanese (ja)
Other versions
JP2017040644A (en
Inventor
大幸 半田
大幸 半田
ハッサン・マンソール
デホン・リウ
ウルグベック・カミロフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/831,057 external-priority patent/US9971019B2/en
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2017040644A publication Critical patent/JP2017040644A/en
Application granted granted Critical
Publication of JP6584369B2 publication Critical patent/JP6584369B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、包括的には、壁透過撮像（ＴＷＩ）に関し、より詳細には、ＭＩＭＯアンテナアレイおよび圧縮センシングを用いて画像を雑音除去し、壁の背後のシーンを再構成することに関する。   The present invention relates generally to wall transmission imaging (TWI), and more particularly to denoising an image using a MIMO antenna array and compressed sensing to reconstruct a scene behind the wall.

壁透過撮像（ＴＷＩ）は、壁の背後のシーン内の物体を検出するのに用いることができる。すなわち、物体は、壁によって囲まれた構造物の内部に位置決めされ、その構造物の外部から検出される。通常の用途では、１つまたは複数の送信アンテナがレーダーパルスを放出する。これらのレーダーパルスは、壁を透過して伝播し、物体によってエコーとして反射される。これらのエコーは、１つまたは複数の受信アンテナによって取得される。これらのエコーは、その後、レーダー撮像システムまたは方法を用いて処理され、物体の位置および反射率を表すレーダー画像が生成される。   Wall transmission imaging (TWI) can be used to detect objects in a scene behind a wall. That is, the object is positioned inside the structure surrounded by the wall and detected from the outside of the structure. In typical applications, one or more transmit antennas emit radar pulses. These radar pulses propagate through the wall and are reflected as echoes by the object. These echoes are acquired by one or more receive antennas. These echoes are then processed using a radar imaging system or method to generate a radar image representing the position and reflectivity of the object.

しかしながら、壁の誘電率および透過率に応じて、エコーは、雑音を有する再構成画像の原因となるゴーストアーティファクトをもたらす壁からの間接的な２次反射によって破損されることが多い。画像を雑音除去することによって、ＴＷＩの品質を大幅に改善することができる。   However, depending on the dielectric constant and transmittance of the wall, the echo is often corrupted by indirect secondary reflections from the wall that lead to ghost artifacts that cause noisy reconstructed images. By denoising the image, the quality of the TWI can be greatly improved.

本発明の実施の形態は、壁の背後のシーンの雑音を有する画像を組み合わせて、雑音のない画像を生成するシステムおよび方法を記載している。通常、シーンは、物体、例えば、人物等の反射物を含むものと仮定される。   Embodiments of the present invention describe systems and methods for combining images with scene noise behind a wall to produce a noise-free image. Usually, a scene is assumed to include an object, for example, a reflector such as a person.

本システムは、壁の前方のそれぞれ異なるロケーションからレーダーパルスを放出する送信アンテナを備える。これらのレーダーパルスは、壁を透過して伝播し、シーンによってエコーとして反射される。一組の静止した受信アンテナが、それぞれ異なる各ロケーションから送信された各パルスに対応するエコーを取得する。   The system includes a transmit antenna that emits radar pulses from different locations in front of the wall. These radar pulses propagate through the wall and are reflected as echoes by the scene. A set of stationary receive antennas acquire an echo corresponding to each pulse transmitted from each different location.

送信アンテナおよび一組の受信アンテナに、例えば、コントローラーを介して接続されたレーダー撮像システムが、送信アンテナ１１０の各ロケーションについてシーンの単一入力多出力（ＳＩＭＯ）の雑音を有する画像を求める。全変動デノイザーが、各雑音を有するＳＩＭＯ画像を雑音除去し、雑音除去された画像を生成する。次に、コンバイナーが、これらの雑音除去された画像をインコヒーレントに組み合わせて、対応する雑音のない画像を生成する。   A radar imaging system connected to a transmit antenna and a set of receive antennas, for example, via a controller, determines an image having scene single input multiple output (SIMO) noise for each location of the transmit antenna 110. A total variation denoiser denoises the SIMO image with each noise and generates a denoised image. The combiner then incoherently combines these denoised images to produce a corresponding noiseless image.

本発明の１つの実施の形態は、シーンの反射およびマルチパス反射に対するスパース性制約を有する構造化ブラインド逆畳み込み問題として雑音除去をモデル化する、スパース反転によるマルチパス除去（ＭＥＳＩ）方法に基づく物体検出のために拡張物体反射の空間相関を組み込む。これは、別個の畳み込みカーネルが、検出された物体ごとに、対応するマルチパス反射を整合させるように求められることを確保することによって、雑音除去を改善する。   One embodiment of the present invention is an object based on a multipath removal by sparse inversion (MESI) method that models denoising as a structured blind deconvolution problem with sparsity constraints on scene reflection and multipath reflection. Incorporate extended object reflection spatial correlation for detection. This improves denoising by ensuring that a separate convolution kernel is required for each detected object to match the corresponding multipath reflection.

本発明の実施の形態による壁の背後のシーンの雑音のない画像を求めるシステムおよび方法の概略図である。1 is a schematic diagram of a system and method for determining a noise-free image of a scene behind a wall according to an embodiment of the invention. 本発明の実施の形態による送信機および静止した受信機ならびにピクセル強度のプロファイルの概略図である。FIG. 2 is a schematic diagram of a transmitter and stationary receiver and pixel intensity profile according to an embodiment of the invention. 本発明の実施の形態によるＭＥＳＩ方法のフロー図である。FIG. 3 is a flow diagram of a MESI method according to an embodiment of the present invention.

システムセットアップ
図１に示すように、本発明の実施の形態は、壁４０の背後に位置するシーンの雑音のない画像を求めるシステムおよび方法を記載している。通常、シーンは、物体、例えば、人物５０等の反射物を含む。システムセットアップ、シーンおよび壁の効果の詳細は、関連出願である２０１３年７月２２日にMansourによって出願された米国特許出願公開第２０１５００２２３９０号「Method and System for Through-the-Wall Imaging using Sparse Inversion for Blind Multi-Path Elimination」に記載されている。この米国特許出願公開は、引用することによって本明細書の一部をなす。 System Setup As shown in FIG. 1, embodiments of the present invention describe a system and method for determining a noise-free image of a scene located behind a wall 40. Usually, the scene includes an object, for example, a reflector such as a person 50. Details of system setup, scenes and wall effects can be found in US Patent Application Publication No. 20150022390 “Method and System for Through-the-Wall Imaging using Sparse Inversion for Filing” on July 22, 2013, a related application. Blind Multi-Path Elimination ”. This US patent application publication is incorporated herein by reference.

本システムは、壁４０の前方のそれぞれ異なるロケーション１１１からレーダーパルス１４を放出する送信アンテナ１１０を備える。これらのレーダーパルスは、壁を透過して伝播し、エコー１２として反射される。通常、反射物は、人物等の物体５０である。しかしながら、本発明は、任意のタイプの壁の背後のシーンに適用することができることが理解される。一組の静止した受信アンテナ１２０は、それぞれ異なる各ロケーションから送信された各パルスに対応するエコー１２を取得する。   The system includes a transmit antenna 110 that emits radar pulses 14 from different locations 111 in front of the wall 40. These radar pulses propagate through the wall and are reflected as echoes 12. Usually, the reflecting object is an object 50 such as a person. However, it is understood that the present invention can be applied to scenes behind any type of wall. A set of stationary receive antennas 120 obtain echoes 12 corresponding to each pulse transmitted from each different location.

レーダー撮像サブシステム１３０は、送信アンテナおよび一組の受信アンテナに、例えば、コントローラー１２５を介して接続され、送信アンテナの各ロケーションのシーンの雑音を有する（単一入力多出力（ＳＩＭＯ））画像１３１を求める。コントローラー１２５は、送信機および受信機ならびにシステムの残りの部分の動作を同期させるのに用いることができる。   The radar imaging subsystem 130 is connected to a transmit antenna and a set of receive antennas via, for example, a controller 125 and has scene noise at each location of the transmit antenna (single input multiple output (SIMO)) image 131. Ask for. The controller 125 can be used to synchronize the operation of the transmitter and receiver and the rest of the system.

全変動デノイザー１４０は、各雑音を有する画像１３１を雑音除去し、雑音除去された対応する画像１４１を生成する。画像１３１を求めて画像１３１を生成することは、それぞれ異なるロケーションについて繰り返される（１３５）。   Total variation denoiser 140 denoises image 131 having each noise and generates a corresponding image 141 that has been denoised. The determination of the image 131 and generating the image 131 is repeated for each different location (135).

その後、コンバイナー１５０は、雑音除去された画像１４１をコヒーレントまたはインコヒーレントに組み合わせ、例えば、総和し、雑音のない画像１５１を生成する。   The combiner 150 then combines the denoised image 141 in a coherent or incoherent manner, for example, summing it to generate a noise free image 151.

これらのサブシステム、デノイザーおよびコンバイナーは、当該技術分野において知られているように、メモリおよび入力／出力インターフェースに接続された１つまたは複数のプロセッサにおいて実施することができる。代替的に、これらは、個別の構成要素またはハードウェア回路として実施することができる。   These subsystems, denoisers and combiners can be implemented in one or more processors connected to memory and input / output interfaces, as is known in the art. Alternatively, they can be implemented as separate components or hardware circuits.

１つの実施の形態では、送信アンテナは、送信モードで動作するアンテナ１２０のうちの１つであり、レーダーパルス１４を放出するそれぞれ異なるロケーションごとにそれぞれ異なるアンテナが選択される。パルスが放出された後、アンテナを受信機モードに再び切り替えることができる。   In one embodiment, the transmit antenna is one of the antennas 120 operating in the transmit mode, and a different antenna is selected for each different location that emits the radar pulse 14. After the pulse is emitted, the antenna can be switched back to the receiver mode.

信号モデル
単一の送信アンテナ１１０および一組のｎｒ個の受信アンテナ１２０を有する図１に示すモノスタティック（送信アンテナおよび受信アンテナが同じ場所に配置される）物理開口レーダーシステムの場合、時間領域波形は、ｓである。シーン内にＫ個の物体５０が存在するとき、受信アンテナｎ∈｛１・・・ｎｒ｝におけるｋ∈｛１・・・Ｋ｝によってインデックス付けされる物体の時間領域１次インパルス応答（エコー）は、ｇｋ（ｎ）である。この結果、クラッターのない受信信号ｒ（ｎ）＝ｓ＊ｇｋ（ｎ）が得られる。ここで、

Figure 0006584369
は、ｎｔ次元時間領域測定値であり、＊は、畳み込み演算子である。 Signal Model For the monostatic (transmit and receive antennas co-located) physical aperture radar system shown in FIG. 1 with a single transmit antenna 110 and a set of n r receive antennas 120, the time domain The waveform is s. When there are K objects 50 in the scene, the time domain first impulse response (echo) of the object indexed by k∈ {1... K} at the receiving antenna n∈ {1... N r }. ) Is g k (n). As a result, a received signal r (n) = s * g k (n) without clutter is obtained. here,
Figure 0006584369
 Are n t- dimensional time domain measurements and * is a convolution operator.

シーンは、Ｎｘ×Ｎｙ空間グリッドに分割することができ、

Figure 0006584369
は、ｘｋが物***置の支持部を除くあらゆる場所で０であるような画像領域における物体応答とすることができる。点物体の場合、インパルス応答を以下のように表すことができる。 The scene can be divided into N x × N y space grids,
Figure 0006584369
 Can be the object response in the image region such that x k is 0 everywhere except the support of the object position. In the case of a point object, the impulse response can be expressed as:

Figure 0006584369
Figure 0006584369

周波数帯域幅は、ｎｆ個のビンに離散化することができ、

Figure 0006584369
は、
Figure 0006584369
 であるような受信アンテナｎの遅延および和演算子とすることができる。ここで、τｊ（ｎ）は、送信アンテナからグリッド点ｊ∈Ｎｘ×Ｎｙまでと、受信アンテナｎまでの戻りとのラウンドトリップ時間である。 The frequency bandwidth can be discretized into n f bins,
Figure 0006584369
 Is
Figure 0006584369
 Can be the delay and sum operator of the receive antenna n. Here, τ j (n) is the round trip time from the transmitting antenna to the grid point jεN x × N y and the return to the receiving antenna n.

あらゆる物体ｋについて、全ての受信アンテナは、雑音を有するマルチパス応答ｍｋ（ｎ）を、対応する１次応答ｇｋ（ｎ）と遅延畳み込みカーネルｄｋを誘発する同一の雑音との畳み込み、すなわち、ｍｋ（ｎ）＝ｇｋ（ｎ）＊ｄｋとして取得する。その結果、受信アンテナｎにおける受信信号は、以下のようにモデル化することができる。 For every object k, all receive antennas convolve the noisy multipath response m k (n) with the corresponding primary response g k (n) and the same noise that induces the delayed convolution kernel d k , That is, it is obtained as m k (n) = g k (n) * d k . As a result, the received signal at the receiving antenna n can be modeled as follows.

Figure 0006584369
Figure 0006584369

ここで、ｄｋは、受信アンテナｎのロケーションに依存しない。 Here, d k does not depend on the location of the receiving antenna n.

この状況において、全てのｎ∈｛１，・・・ｎｒ｝について受信信号ｒ（ｎ）のみを所与としてシーン内の全ての物体の遅延畳み込みカーネルｄｋおよび物体応答ｘｋが推定される。本発明者らの解は、スパース反転によるマルチパス除去（ＭＥＳＩ）方法を高度化したものに部分的に基づいている。これについては、Mansour他「Blind multi-path elimination by sparse inversion in through-the-wall-imaging」Proc. IEEE 5th Int. Workshop on Computational Advances in Multi-Sensor Adaptive Process, (CAMSAP), pp. 256-259, December 2013および２０１３年７月２２日にMansourによって出願された米国特許出願公開第２０１５００２２３９０号「Method and System for Through-the-Wall Imaging using Sparse Inversion for Blind Multi-Path Elimination」を参照されたい。 In this situation, the delay convolution kernel d k and the object response x k of all objects in the scene are estimated given only the received signal r (n) for all n∈ {1,... N r }. . Our solution is based in part on an advanced version of the sparse inversion multipath removal (MESI) method. For this, see Mansour et al. “Blind multi-path elimination by sparse inversion in through-the-wall-imaging” Proc. IEEE 5th Int. Workshop on Computational Advances in Multi-Sensor Adaptive Process, (CAMSAP), pp. 256-259 , December 2013 and U.S. Patent Application Publication No. 20150022390, “Method and System for Through-the-Wall Imaging using Sparse Inversion for Blind Multi-Path Elimination,” filed by Mansour on July 22, 2013.

スパース反転によるマルチパス除去（ＭＥＳＩ）
ＭＥＳＩ方法は、物体を検出し、２つのステップ、すなわち、
スパース１次物体応答を推定するステップと、
この１次物体応答を受信エコー内の可能なクラッターに整合させる遅延畳み込みカーネルを推定するステップと
を交互に行うことによって、例えば、壁クラッターに起因した雑音を除去する。 Multipath removal by sparse inversion (MESI)
The MESI method detects an object and has two steps:
Estimating a sparse primary object response;
By alternately performing the step of estimating a delayed convolution kernel that matches this primary object response to a possible clutter in the received echo, for example, noise due to wall clutter is removed.

ＭＥＳＩ方法の詳細は、図３に示されている。本システムは、プロセッサ１００を備える。このプロセッサは、各物体の拡張物体反射を個別に求め（３１０）、この拡張物体反射をエコー内の同様のマルチパス反射に整合させる遅延畳み込みカーネルを取得し（３２０）、拡張物体反射およびマルチパス反射をエコー３２９から取り去る（３３０）。これらのステップは、終了条件３４０、例えば、所定の反復回数または収束に到達するまで繰り返される。   Details of the MESI method are shown in FIG. The system includes a processor 100. The processor individually determines (310) the extended object reflection for each object, obtains a delayed convolution kernel (320) that matches this extended object reflection to a similar multipath reflection in the echo, and extends the object reflection and multipath. The reflection is removed from the echo 329 (330). These steps are repeated until an end condition 340, eg, a predetermined number of iterations or convergence is reached.

ベクトルｖの周波数応答を、上付き記号の付いた

Figure 0006584369
によって示す。一組の測定値が与えられると、全ての受信アンテナｎ∈｛１，・・・ｎｒ｝の受信エコーｒ（ｎ）３２９は、ベクトル
Figure 0006584369
 にスタックされ、遅延および和演算Ｗｎをスタックすることによって単一送信機多受信機（ＳＩＭＯ）撮像行列Ｗが形成される。 The frequency response of the vector v with the superscript
Figure 0006584369
 Indicated by. When a set of measurements are given, all the reception antennas n∈ {1, ··· n r} received echo r (n) 329 of the vector
Figure 0006584369
 The stacked, single transmitter multi receiver (SIMO) imaging matrix W is formed by stacking a delay and sum operation W n.

順モデルｆを以下のように定義する。   The forward model f is defined as follows.

Figure 0006584369
Figure 0006584369

反復ｋにおける残りの測定値を、

Figure 0006584369
とする。ここで、ｇｊは、式（１）を用いてｘｊから求められる。 The remaining measurements at iteration k are
Figure 0006584369
 And Here, g j is obtained from x j using equation (1).

その後、ＭＥＳＩ方法は、２つのステップを交互に行う。第１のステップにおいて、スパース１次物体応答の推定値

Figure 0006584369
が、以下の式を解くことによって求められる。 Thereafter, the MESI method performs two steps alternately. In the first step, an estimate of the sparse primary object response
Figure 0006584369
 Is obtained by solving the following equation.

Figure 0006584369
Figure 0006584369

ここで、ｅは、要素単位のアダマール積であり、σｘは、近似的なスパース性境界である。 Here, e is a Hadamard product of the elements units, sigma x, which is approximate sparsity boundaries.

第２のステップにおいて、残りの測定値は、ｒｄ＝ｒｘ−ｓ＊ｇｋに更新され、１次物体応答を整合させる対応する遅延畳み込み演算子は、以下の式となる。 In the second step, the remaining measurements are updated to r d = r x -s * g k and the corresponding delayed convolution operator that matches the primary object response is:

Figure 0006584369
Figure 0006584369

ここで、σｄは、ｄに関するスパース性境界である。上記２つのステップは、所定の反復回数の間、または事前に設定されたデータ不整合に到達するまで繰り返される。その後、全ての反復ｋにわたって

Figure 0006584369
を総和する（１５０）ことによって、雑音のない物体画像
Figure 0006584369
 １５１が求められる。 Here, σ d is a sparsity boundary with respect to d. The above two steps are repeated for a predetermined number of iterations or until a preset data inconsistency is reached. Then over all iterations k
Figure 0006584369
 By summing (150), the object image without noise
Figure 0006584369
 151 is required.

全変動を用いた雑音軽減
送信アンテナ１１０のロケーションがシーンのいくつかのビューを取得するためにそれぞれ異なる図２に示すようなセットアップを考える。具体的に言えば、送信アンテナの特定のロケーションにそれぞれ対応するｎｓ個の異なる測定が行われる。 Noise Reduction Using Total Variation Consider a setup as shown in FIG. 2 where the location of the transmit antenna 110 is different to obtain several views of the scene. Specifically, n s number of different measurements are performed which correspond to a particular location of the transmitting antenna.

送信アンテナおよび受信アンテナの対２１０のそれぞれ異なる配置の下でのシーンの観測は、再構成された画像における雑音を低減することができる。基本となる前提は、送信アンテナのロケーションを反復的に変更する（１１１）ことによって、同じ画像位置についての物体反射のプロファイル２３０は、一貫した応答を有するのに対して、間接的なパスからの反射は、ランダム雑音のような応答を有するということである。   Observation of the scene under different arrangements of transmit antenna and receive antenna pairs 210 can reduce noise in the reconstructed image. The basic premise is that by iteratively changing the location of the transmit antenna (111), the object reflection profile 230 for the same image position has a consistent response, whereas from the indirect path Reflection means having a response like random noise.

したがって、全変動（ＴＶ）雑音除去１４０が、雑音を有するＳＩＭＯ画像１３１に適用される。これについては、Rudin他「Nonlinear total variation based noise removal algorithms」Physica D, vol. 60, no. 1-4, pp. 259-268, November 1992を参照されたい。ＴＶは、過度でかつスプリアスな場合があり得る細部を有する信号は、より大きな全変動を有するという原理に基づいている。したがって、ＴＶは、物体に対応するピクセルを様々なタイプの雑音に対応するピクセルから分離する。   Accordingly, total variation (TV) denoising 140 is applied to the noisy SIMO image 131. See Rudin et al. “Nonlinear total variation based noise removal algorithms” Physica D, vol. 60, no. 1-4, pp. 259-268, November 1992. TV is based on the principle that signals with details that can be excessive and spurious have a greater total variation. Thus, the TV separates pixels corresponding to objects from pixels corresponding to various types of noise.

一組の雑音を有する画像

Figure 0006584369
１３１が与えられると、雑音除去は、以下の最適化問題として定式化される。 An image with a set of noises
Figure 0006584369
 Given 131, noise removal is formulated as the following optimization problem.

Figure 0006584369
Figure 0006584369

ここで、λ＞０は、適用する雑音除去の量を制御する正則化パラメーターである。ＴＶは、物体のプロファイルを求めるという本発明者らの目的に適合した、区分的に滑らかなプロファイル２３０を有する信号を推定する画像処理中に適用することができる。   Here, λ> 0 is a regularization parameter that controls the amount of noise removal to apply. TV can be applied during image processing to estimate a signal having a piecewise smooth profile 230 that is adapted to our objective of determining the profile of an object.

本発明者らの実施態様は、各画像が特定の送信機ロケーションに対応する画像１３１に作用する高速反復縮小閾値処理アルゴリズム（ＦＩＳＴＡ：fast iterative shrinkage and thresholding algorithm）に部分的に基づいている。これについては、Beck他「Fast gradient-based algorithm for constrained total variation image denoising and deblurring problems」IEEE Trans. Image Process, vol. 18, no. 11, pp. 2419-2434, November 2009を参照されたい。   Our implementation is based in part on a fast iterative shrinkage and thresholding algorithm (FISTA) where each image operates on an image 131 corresponding to a particular transmitter location. See Beck et al. “Fast gradient-based algorithm for constrained total variation image denoising and deblurring problems” IEEE Trans. Image Process, vol. 18, no. 11, pp. 2419-2434, November 2009.

拡張物体検出
従来のＭＥＳＩ方法の１つの限界は、所与の反復ｋにおいて、この方法が物体応答ｘｋ全体の取得に失敗する可能性があるということである。その結果、その反復において求められた遅延畳み込みカーネルは、必ずしも実際の物体に対応しない。これは、通常、性能の劣化をもたらす。 Extended Object Detection One limitation of conventional MESI methods is that at a given iteration k, this method may fail to obtain the entire object response x k . As a result, the delayed convolution kernel determined in that iteration does not necessarily correspond to an actual object. This usually results in performance degradation.

したがって、本発明者らの方法は、特定の物体に対応する雑音を有する画像内の全てのピクセルを認識して抽出することによって、雑音のない画像の品質を大幅に改善する。これは、実際には、式（４）を以下のような最も強い反射物の検出器と置き換えることによって達成することができる。   Thus, our method significantly improves the quality of a noiseless image by recognizing and extracting all pixels in the image having noise corresponding to a particular object. This can be achieved in practice by replacing equation (4) with the strongest reflector detector as follows:

Figure 0006584369
Figure 0006584369

次に、

Figure 0006584369
の周囲の空間近傍をスキャンし、全ての接続されたピクセルを同じ物体ｋに割り当てることによって、拡張物体反射
Figure 0006584369
 が求められる。 next,
Figure 0006584369
 The extended object reflection by scanning the space neighborhood around and assigning all connected pixels to the same object k
Figure 0006584369
 Is required.

このように、本発明者らの実施態様は、最も強い反射物と近傍におけるピクセルとの間の相対エネルギー差を比較する。この相対エネルギーが所与の閾値よりも高い場合、そのピクセルは、拡張物体の一部として受け入れられ、そうでない場合、そのピクセルは、背景として廃棄される。   Thus, our embodiment compares the relative energy difference between the strongest reflector and the neighboring pixels. If this relative energy is higher than a given threshold, the pixel is accepted as part of the extended object, otherwise it is discarded as background.

Claims (11)

壁の背後に位置するシーンの雑音のない画像を求めるシステムであって、
前記壁の前方のそれぞれ異なるロケーションからレーダーパルスを放出する１台の送信アンテナであって、該レーダーパルスは、前記壁を透過して伝播し、前記シーンによってエコーとして反射される、送信アンテナと、
それぞれ異なる各ロケーションから送信された各パルスに対応する前記エコーを取得する一組の静止した受信アンテナと、
前記送信アンテナの前記各ロケーションについて前記シーンの雑音を有する画像を求める、前記送信アンテナおよび前記一組の受信アンテナに接続されたレーダー撮像サブシステムと、
各雑音を有する画像から雑音に対応するピクセルを分離することで雑音除去し、対応する雑音除去された画像を生成する全変動デノイザーと、
前記雑音除去された画像をインコヒーレントに組み合わせて、前記雑音のない画像を生成するコンバイナーと
を備える、システム。 A system for obtaining a noise-free image of a scene located behind a wall,
A transmit antenna that emits radar pulses from different locations in front of the wall, the radar pulses propagating through the wall and reflected as echoes by the scene;
A set of stationary receive antennas that capture the echoes corresponding to each pulse transmitted from each different location;
A radar imaging subsystem connected to the transmit antenna and the set of receive antennas for determining an image having the scene noise for each location of the transmit antenna;
A total variation denoiser that denoises by separating the pixels corresponding to the noise from the image having each noise and generates a corresponding denoised image;
A combiner that incoherently combines the denoised image to produce the noiseless image. 前記シーンは、前記パルスを前記エコーとして反射する物体を含む、請求項１に記載のシステム。   The system of claim 1, wherein the scene includes an object that reflects the pulse as the echo. 前記雑音を有する画像は、単一入力多出力（ＳＩＭＯ）画像であり、前記雑音のない画像は、多入力多出力（ＭＩＭＯ）画像である、請求項１に記載のシステム。   The system of claim 1, wherein the noisy image is a single-input multiple-output (SIMO) image, and the no-noise image is a multiple-input multiple-output (MIMO) image. 前記コンバイナーは、前記雑音除去された画像を総和する、請求項１に記載のシステム。   The system of claim 1, wherein the combiner sums the denoised images. 前記送信アンテナは、各ロケーションについて送信モードで動作する前記一組の受信アンテナのうちの１つである、請求項１に記載のシステム。   The system of claim 1, wherein the transmit antenna is one of the set of receive antennas operating in a transmit mode for each location. 全ての受信アンテナは、対応する１次応答と、遅延畳み込みカーネルを誘発する同一の雑音との畳み込みとして、マルチパスの雑音を有する応答を取得する、請求項１に記載のシステム。   The system of claim 1, wherein all receive antennas obtain a response with multipath noise as a convolution of the corresponding primary response and the same noise that induces a delay convolution kernel. 前記遅延畳み込みカーネルは、スパース反転によるマルチパス除去（ＭＥＳＩ）方法を用いて推定される、請求項６に記載のシステム。   The system of claim 6, wherein the delayed convolution kernel is estimated using a multipath removal by sparse inversion (MESI) method. 前記ＭＥＳＩ方法は、スパース１次物体応答を推定するステップと、該１次物体応答を整合させる前記遅延畳み込みカーネルを推定するステップとを含む２つのステップを交互に行う、請求項７に記載のシステム。   8. The system of claim 7, wherein the MESI method alternates between two steps including estimating a sparse primary object response and estimating the delayed convolution kernel that matches the primary object response. . 前記ＭＥＳＩは、各物体に対応する前記雑音を有する画像内の全てのピクセルからなる拡張物体反射を抽出する、請求項７に記載のシステム。   8. The system of claim 7, wherein the MESI extracts an extended object reflection consisting of all pixels in the noisy image corresponding to each object. プロセッサをさらに備え、該プロセッサは、
前記各物体の前記拡張物体反射を別々に求め、
前記拡張物体反射を前記エコーにおけるマルチパス反射に整合させる前記遅延畳み込みカーネルを取得し、
前記拡張物体反射およびマルチパス反射を前記エコーから取り去り、
終了条件に到達するまで、上述した求めること、取得すること、および取り去ることを繰り返す、請求項９に記載のシステム。 A processor further comprising:
Separately determining the extended object reflection of each object;
Obtaining the delayed convolution kernel that matches the extended object reflection to a multipath reflection in the echo;
Removing the extended object reflection and multipath reflection from the echo;
The system of claim 9, wherein the determination, acquisition, and removal described above are repeated until an end condition is reached. 壁の背後に位置するシーンの雑音のない画像を求める方法であって、
前記壁の前方のロケーションにおける１台の送信アンテナを用いて、レーダーパルスを放出するステップであって、該レーダーパルスは、前記壁を透過して伝播し、前記シーンによってエコーとして反射される、放出するステップと、
一組の静止した受信アンテナを用いて、送信されたパルスに対応する前記エコーを取得するステップと、
前記送信アンテナおよび前記一組の受信アンテナに接続されたレーダー撮像サブシステムを用いて、前記シーンの雑音を有する画像を求めるステップと、
全変動デノイザーを用いて、雑音除去された画像を生成するために前記雑音を有する画像から雑音に対応するピクセルを分離することで雑音除去するステップと、
前記放出するステップ、前記取得するステップ、前記求めるステップ、および前記雑音除去するステップをそれぞれ異なるロケーションについて繰り返すステップと、
その後、前記雑音除去された画像をインコヒーレントに組み合わせて、前記雑音のない画像を生成するステップと
を含む、方法。 A method for obtaining a noise-free image of a scene located behind a wall,
Emitting a radar pulse using a single transmitting antenna at a location in front of the wall, the radar pulse propagating through the wall and reflected as an echo by the scene And steps to
Obtaining the echo corresponding to the transmitted pulse using a set of stationary receive antennas;
Using a radar imaging subsystem connected to the transmit antenna and the set of receive antennas to determine an image having noise in the scene;
Using a total variation denoiser to denoise by separating pixels corresponding to the noise from the noisy image to produce a denoised image;
Repeating the emitting, obtaining, obtaining, and denoising steps for different locations;
And then incoherently combining the denoised images to generate the noise free image.
JP2016128528A 2015-08-20 2016-06-29 System and method for determining a noise-free image of a scene located behind a wall Expired - Fee Related JP6584369B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/831,057 2015-08-20
US14/831,057 US9971019B2 (en) 2013-07-22 2015-08-20 System and method for through-the-wall-radar-imaging using total-variation denoising

Publications (2)

Publication Number Publication Date
JP2017040644A JP2017040644A (en) 2017-02-23
JP6584369B2 true JP6584369B2 (en) 2019-10-02

Family

ID=58202793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016128528A Expired - Fee Related JP6584369B2 (en) 2015-08-20 2016-06-29 System and method for determining a noise-free image of a scene located behind a wall

Country Status (1)

Country Link
JP (1) JP6584369B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349103A (en) * 2019-07-01 2019-10-18 昆明理工大学 It is a kind of based on deep neural network and jump connection without clean label image denoising method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090110285A1 (en) * 2007-10-26 2009-04-30 Technion Research And Development Foundation Ltd Apparatus and method for improving image resolution using fuzzy motion estimation
CN101907709B (en) * 2010-06-25 2012-06-27 武汉大学 Method for searching and positioning moving human object by through-wall detecting radar (TWDR)
US9244158B2 (en) * 2012-02-27 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Depth sensing using active coherent signals
US9335408B2 (en) * 2013-07-22 2016-05-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for through-the-wall imaging using sparse inversion for blind multi-path elimination
US9261592B2 (en) * 2014-01-13 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for through-the-wall imaging using compressive sensing and MIMO antenna arrays
US10042046B2 (en) * 2015-07-07 2018-08-07 Mitsubishi Electric Research Laboratories, Inc. System and method for radar imaging using distributed arrays and compressive sensing
CN106093933B (en) * 2016-08-22 2018-05-25 电子科技大学 A kind of multipaths restraint method of multiple target side wall after through-wall radar imaging
CN106324595B (en) * 2016-09-14 2018-12-04 电子科技大学 A kind of multipath decoy suppressing method based on multi-angle detection imaging
US10657446B2 (en) * 2017-06-02 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. Sparsity enforcing neural network
CN107817493B (en) * 2017-10-25 2021-05-14 电子科技大学 2D near-field synthetic aperture radar image reconstruction method based on compressed sensing
CN108594222B (en) * 2018-03-21 2020-05-08 中国科学院电子学研究所 Elevation reconstruction method and device for dual-frequency interference synthetic aperture radar

Also Published As

Publication number Publication date
JP2017040644A (en) 2017-02-23

Similar Documents

Publication Publication Date Title
US9971019B2 (en) System and method for through-the-wall-radar-imaging using total-variation denoising
JP6529462B2 (en) Method and system for generating an image of a scene behind a wall
JP6188640B2 (en) A system to detect targets in scenes behind walls
EP3094987B1 (en) Method and system for reconstructing scene behind wall
EP3132418B1 (en) Non local image denoising
Karabchevsky et al. FPGA-based adaptive speckle suppression filter for underwater imaging sonar
JP2017021013A (en) Method and system for generating high-resolution two-dimensional radar image
CA2883945A1 (en) Memory-bound surface-related multiple prediction method for large datasets
Mansour et al. Blind multi-path elimination by sparse inversion in through-the-wall-imaging
Cho et al. Real-time sonar image enhancement for AUV-based acoustic vision
JP2022551539A (en) Image reconstruction using an artificial intelligence (AI) module that is agnostic to image acquisition settings
JP6584369B2 (en) System and method for determining a noise-free image of a scene located behind a wall
Chen et al. Ultrawideband tomographic imaging in multipath-rich environment
Subhahan et al. Cuckoo Search Optimization-Based Bilateral Filter for Multiplicative Noise Reduction in Satellite Images
CN107219523B (en) Multi-target back wall one-time multipath suppression method after three-dimensional imaging of through-wall radar
Liu et al. Sparsity-driven distributed array imaging
CN107976663A (en) It is a kind of based on the external illuminators-based radar of subspace projection to targeted compression detection method
WO2023098809A1 (en) Systems and methods for radio frequency interference suppression in radar
Ambrosanio et al. Ultrasound despeckling based on non local means
Handa et al. Extended target localization with total-variation denoising in through-the-wall-imaging
JP7452678B2 (en) Radar equipment, imaging methods and imaging programs
Kostenko et al. Method of image denoising in generalized phase space with improved indicator of spatial resolution
Oral et al. Plug-and-play reconstruction with 3D deep prior for complex-valued near-field MIMO imaging
Cui et al. Image Despeckling Based on LMMSE Wavelet Shrinkage
Prakash et al. Report on image denoising for Gaussian noise affected images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190312

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190312

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190903

R150 Certificate of patent or registration of utility model

Ref document number: 6584369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees