JP4305148B2 - Ｓａｒ画像超解像装置 - Google Patents

Description

この発明は、ＳＡＲ（Synthetic Aperture Radar）画像に信号処理を施して、電波画像の解像度を向上させる超解像法の高速化手法を導入したＳＡＲ画像超解像装置に関するものである。

本発明で対象とする超解像法は、信号処理を利用して、電波画像の解像度を向上させる方法であり、例えばリモートセンシングや電波到来方向推定等において用いられている。
以下では、説明を容易にするため、超解像法の１つであるＭＵＳＩＣ（Multiple Signal Classification）を、ＳＡＲ画像に適用して、解像度を向上させる例で説明する。

ＭＵＳＩＣを利用した超解像処理では、解像度を向上させる対象の画像から任意の部分を切り出して処理を実行可能である。この超解像処理の計算量は、入力画像（処理対象の画像領域）のサイズに比例（レンジ方向のみを拡張する事例では画像サイズＮの３乗に比例）する。このため、与えられた入力画像を分割して実行する処理方法が、高速化の１候補として容易に考えられる。

このような従来の技術として、特開平１１−１４４４３号公報“モード固有値計測方法”がある。この従来技術は、海洋中の音波伝搬特性を計算する音波伝搬シミュレーション方法に用いられ、雑音成分の影響を軽減したモード固有値計測方法を提供するものであり、ＭＵＳＩＣを用いている。ここでは、雑音成分の影響低減のために、画像領域を分割して実行し、その結果を合成している（例えば、特許文献１参照）。

特開平１１−１４４４３号公報（段落００１８、図３）

電波画像の超解像処理では、処理対象の画像を分割して超解像処理を実行した場合に、分割された処理領域の両端で、散乱点の情報が消える、散乱点のパワー（画像上の明るさ）が低下するといった画質の劣化が起こる。そのため、例えば、単純に画像を複数の処理領域に分割し、その処理結果を合成すると、超解像処理結果に画質が劣化している部分を含んでしまう課題がある。
また、電波画像の超解像処理では、同じ部分の超解像処理であっても、処理を実行する範囲を変えた場合に処理結果が変わるため、分割した画像を単純に合成すると、実際の数よりも多い散乱点が現れる、散乱点が消えるといった現象が起きる可能性があるという課題がある。

以上の課題に対して、従来技術は、音波を対象としたＭＵＳＩＣの適用において有効なのであり、本発明で対象とする電波画像を対象とした超解像処理の高速化には適用できない。また、この従来例での画像分割の基準は、雑音成分の低減であり、処理時間の短縮（高速化）に対する記述はない。この他、超解像処理の特性を考慮して分割による処理結果画像の品質を補正するような記述もない。
電波画像の超解像処理に対して、処理の特性を考慮して画像を分割して処理を高速化するような従来例はない。

本発明は、上記の様な課題を解消するためになされたものであり、画質が劣化する範囲を考慮して、入力画像を複数の処理領域に分割し、劣化範囲を含まないように処理領域での超解像結果を合成することで、分割した処理領域の両端での画質の劣化を回避できるＳＡＲ画像超解像装置を得ることを目的とする。
また、本発明は、要求仕様としての処理時間を基準に画像の分割方法を決定することで、要求仕様に対して適切な処理時間で超解像処理を実行できるＳＡＲ画像超解像装置を得ることを目的とする。
さらにまた、本発明では、画像を分割して超解像処理を実行した画像を合成する時に、合成による散乱点の消失や多重検出を改善できるＳＡＲ画像超解像装置を得ることを目的とする。

この発明に関わるＳＡＲ画像超解像装置は、画像を分割して超解像処理を実行した時の超解像処理にかかる実行時間の予測と、処理領域の両端で発生し得る画質の劣化の範囲から、画質が劣化しないように、かつ、要求された時間内で処理を終了するように入力画像を複数の処理領域に分割して超解像処理を行うことができるようにしたものである。また、分割した画像を合成する時に、合成位置の近傍に重複した範囲を設け、重複範囲での散乱点の相関を考慮して画像を合成できるようにしたものである。

この発明に関わるＳＡＲ画像超解像装置は、画像を適切なサイズに分割して高速に超解像処理を実行でき、かつ、画像の分割により処理領域の両端での画質が劣化する可能性がある部分を用いずに、各処理領域での超解像結果を合成することができる。また、画像を合成する際に生じ得る散乱点の消失や多重検出の問題を改善し、超解像画像を出力することができる。
このため、高速化と品質の両方を満たすことができるＳＡＲ超解像画像処理装置を得られる効果がある。

以下、この発明の実施の形態に従って、図１を参照しながら説明する。

実施の形態１．
以下、この発明の実施の一形態を説明する。
図１は、この発明の実施の形態１によるＳＡＲ画像超解像装置１を示す構成図である。
図２は、この実施の形態１によるＳＡＲ画像超解像装置１のフローチャート図である。
図３は、分割実行領域決定部２のフローチャート図である。

図１において、分割実行領域決定部２は、実行時間予測部３で予測した超解像処理の実行時間および劣化範囲計算部４で特定した画質の劣化の範囲を考慮し、画質が劣化しないように画像を複数の処理領域に分割する。実行時間予測部３は、入力画像を分割してＭＵＳＩＣを適用するときに、入力画像を分割するサイズ（以降、画像分割サイズという）と解像度を向上させる割合によって実行時間がどのように変化するかという情報を予め保持しており、この情報をもとに入力条件に対して、画像の分割範囲のサイズに対しての実行時間を予測する。劣化範囲計算部４は、処理領域の両端で発生する画質の劣化の範囲を特定する。
ここでは、処理範囲の画像サイズと処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）から、画像が劣化する範囲を特定できる。超解像処理部５は、分割実行領域決定部２で分割した処理領域ごとに超解像処理を実行する。分割領域合成部６は、超解像処理部５から得られた各処理領域での超解像結果を、画質が劣化する可能性がある範囲を用いずに合成し、超解像画像を出力する。

まず、図２を使って、ＳＡＲ画像超解像装置１の動作を説明する。
ＳＴＥＰ１で、超解像処理対象の入力画像データ（ここでは、ＳＡＲ再生済画像。入力画像サイズの情報も含む。）および要求時間（要求仕様としての超解像処理に対する目標実行時間）および処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）が、分割実行領域決定部２に送られる。

次に、ＳＴＥＰ２で、分割実行領域決定部２は、実行時間予測部３および劣化範囲計算部４から得られた情報を考慮して、要求時間内で超解像処理が行われるように、画像を複数の処理領域に分割する。この分割範囲を算出する時には、分割領域での画質の劣化範囲が重ならないように分割領域を決定するとともに、分割領域を合成する位置（合成位置）の情報も算出し、保持しておく。この分割領域の算出終了後に、分割実行領域決定部２は、超解像処理部５に入力画像データと、分割領域の情報を渡す（ＳＴＥＰ３へ進む）。
ＳＴＥＰ３では、超解像処理部５が、分割実行領域決定部２から得た入力画像データと分割処理領域の情報から、入力画像に対して分割処理領域ごとに超解像処理を行い、分割領域合成部６に各処理領域ごとの超解像処理結果を渡す（ＳＴＥＰ４へ進む）。
ＳＴＥＰ４では、分割領域合成部６が、超解像処理部５から得た各処理領域での超解像結果を、分割実行領域決定部２で保持する合成位置の情報を参照して合成し、超解像画像として生成する（ＳＴＥＰ５）。

次に、図３を使って、分割実行領域決定部２の動作について説明する。
ＳＴＥＰ２−１で、分割実行領域決定部２は、入力画像サイズの情報と、要求時間（要求仕様としての超解像処理に対する目標実行時間）と、処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）を実行時間予測部３に送る。
超解像処理の実行時間は、処理対象の画像サイズに比例する。ここでは、画像データに含まれる散乱点数による影響も受けるが、画像サイズと解像度を向上させる割合がわかれば、処理時間を一定の精度で予測できる。実行時間予測部３は、いくつかの画像サイズ、解像度を向上させる割合で処理を実行した時の計測結果や、画像サイズによりどのように処理時間が変動するかという情報（例、３乗に比例するなど）を保持しており、これらの情報から画像サイズ別の実行時間を予測する。
分割実行領域決定部２から入力画像サイズと要求時間を送られた実行時間予測部３は、要求時間を満足する範囲で利用可能な画像分割サイズとその実行時間のペアを、予め保持している情報を用いて判断し、候補となる画像分割サイズとその実行時間のペアを分割実行領域決定部２に出力する。

次に、ＳＴＥＰ２−２で、分割実行領域決定部２は、画像分割サイズと処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）を劣化範囲計算部４に送る。
画質の劣化範囲は、解像度を向上させる割合と画像分割サイズと観測条件により決定
される。そこで、劣化範囲計算部４は、処理領域の両端で発生する画質の劣化の範囲を特定するため、処理領域のサイズ（分割画像サイズ）と処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）によって画質の劣化範囲がどのように変化するかという情報を予め保持している。分割実行領域決定部２から分割画像サイズと処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）を送られた劣化範囲計算部４は、処理領域の両端で画質が劣化する範囲を、予め保持している情報を用いて特定し、結果を分割実行領域決定部２に出力する（ＳＴＥＰ２−３へ進む）。

ＳＴＥＰ２−３で、分割実行領域決定部２は、実行時間予測部３で予測した超解像処理の実行時間および劣化範囲計算部４で特定した画質の劣化の範囲を考慮し、要求時間内で超解像処理が行われるように、かつ、画質が劣化しないように画像を複数の処理領域に分割する。このとき、分割領域での画質の劣化範囲が重ならないように、分割領域を合成する位置（合成位置）の情報を算出し、保持しておく。内部で合成位置の情報を保持して、分割実行領域決定部２は、超解像処理部５に入力画像データと、分割領域の情報を渡す。

分割実行領域決定部２の分割方法の１例を示す。この例では、可能な限り大きな処理領域を確保するように画像を分割するケースを考える。
まず、超解像処理対象の入力画像データ（ここでは、ＳＡＲ再生済画像。入力画像サイズの情報も含む）および要求時間（要求仕様としての超解像処理に対する目標実行時間）および処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）が、分割実行領域決定部２に送られる。

分割実行領域決定部２は、入力画像サイズの情報と、要求時間（要求仕様としての超解像処理に対する目標実行時間）と、処理パラメータを実行時間予測部３に送る。
実行時間予測部３は、入力画像を分割して超解像処理を適用するときに、入力画像を分割するサイズ（画像分割サイズ）と解像度を向上させる割合によって実行時間がどのように変化するかという情報を予め保持している。図４に、実行時間予測部３が予め保持している情報の一例を表で示す。この例では、図４に示すように、画像分割サイズがＡ、Ｂ、Ｃ、Ｄで、解像度を向上させる割合（倍率）が元画像の２倍、３倍、４倍、５倍（以下、それぞれ、割合２、３、４、５という）である場合の超解像処理の実行時間を保持しているとする。ここで、画像分割サイズは、Ａ＜Ｂ＜Ｃ＜Ｄであるとする。解像度を向上させる割合が同じであれば、画像分割サイズが大きいほうが実行時間を要することになる。予め保持している情報のうち、入力画像サイズよりも大きな画像分割サイズに関するものは考慮する必要がない。この例では、入力画像サイズが画像分割サイズＡ、Ｂ、Ｃ、Ｄよりも大きいとする。

ここでは、解像度を向上させる割合が４である場合を考える。このとき、検討の対象となる実行時間は、ＴＡ４、ＴＢ４、ＴＣ４、ＴＤ４である。ＴＡ４＜ＴＢ４＜ＴＣ４＜ＴＤ４であり、これらの実行時間のうち、画像分割サイズがＤである場合の実行時間ＴＤ４のみが要求時間を超えてしまい、その他の画像分割サイズＡ、Ｂ、Ｃの実行時間ＴＡ４、ＴＢ４、ＴＣ４は要求時間内におさまるとする。このとき、実行時間予測部３は、要求時間を満足する範囲で利用可能な画像分割サイズとその実行時間のペアを分割実行領域決定部２に出力する。すなわち、画像分割サイズと実行時間のペアを（画像分割サイズ、実行時間）と表すとすると、（Ａ、ＴＡ４）、（Ｂ、ＴＢ４）、（Ｃ、ＴＣ４）が出力される。

次に、分割実行領域決定部２は、画像分割サイズと処理パラメータを劣化範囲計算部４に送る。劣化範囲計算部４に送られる画像分割サイズは、実行時間予測部３で選択された、要求時間を満たす画像分割サイズであり、ここでは、Ａ、Ｂ、Ｃである。
劣化範囲計算部４は、処理領域の両端で発生する画質の劣化の範囲を特定するため、処理領域のサイズ（画像分割サイズ）と処理パラメータによって画質の劣化範囲がどのように変化するかという情報を予め保持している。図５に、劣化範囲計算部４が予め保持している情報の一例を表で示す。この例では、図５に示すように、画像分割サイズがＡ、Ｂ、Ｃ、Ｄで、解像度を向上させる割合が２、３、４、５の場合の劣化範囲を保持しているとする。

分割実行領域決定部２から分割画像サイズと処理パラメータを送られた劣化範囲計算部４は、候補である画像分割サイズＡ、Ｂ、Ｃについて、解像度を向上させる割合が４の場合に、処理領域の両端で画質が劣化する範囲を特定し、結果を分割実行領域決定部２に出力する。すなわち、画像分割サイズＡ、Ｂ、Ｃに対して、それぞれ劣化範囲ＲＡ３、ＲＢ３、ＲＣ３を分割実行領域決定部２に送る。

前述のように、この例では、可能な限り大きな処理領域を優先して選択するようにした。このため、分割実行領域決定部２は、実行時間予測部３で予測した超解像処理の実行時間（（Ａ、ＴＡ４）、（Ｂ、ＴＢ４）、（Ｃ、ＴＣ４））および劣化範囲計算部４で特定した画質の劣化の範囲（ＲＡ４、ＲＢ４、ＲＣ４）を考慮し、要求時間内で超解像処理が行われるように、かつ、画質が劣化しないように分割方法を検討する。この結果、画像分割サイズＣ単位で処理を実行していくこととして、最終的な分割法（処理領域の割り当て）を決定していく。画像分割サイズＣでの画質が劣化する範囲はＲＣ４、実行時間はＴＣ４である。

図６を使って、画像のサイズがＸである入力画像での分割範囲の決定法を示す。ここでは、前記と同様に可能な限り大きな処理領域を優先して選択する例で説明する。画像分割サイズＤ以上を選択すると要求時間を満たせないため、まず、画像分割サイズＣ単位を優先して割り当てていく。ここでは、要求時間を満たす限り、画像分割サイズＣ単位で処理領域を割り当てていくが、もし、実行時間が要求時間を超えてしまう場合には、それよりも画像サイズの小さい画像分割サイズＡや画像分割サイズＢを用いて実行時間が要求時間を超えないように処理領域を割り当てていく。

この例では、入力画像の両端では、劣化範囲を考慮しない例で説明する。このため、入力画像の左端を含む分割実行範囲１では、左端の劣化範囲を考慮しない。同様に、分割した領域が入力画像の右端を含む場合も、分割した領域の右端に劣化範囲を考慮しない。
まず、図６のように、画像サイズがＣである分割実行範囲１を設定する。次に、画質が劣化する範囲を考慮して、分割実行範囲１と分割実行範囲２の領域の一部が重なるように、画像を分割する。
すなわち、分割実行範囲１を、合成位置１を挟んで左側に画像が劣化しない部分、右側に劣化範囲計算部４で特定した画像が劣化する部分となるように設定し、さらに、分割実行範囲２の左側の画質が劣化する部分が、合成位置１の左側に位置し、その他の部分が合成位置１の右側に位置するように設定する。このとき、分割実行範囲２の画像分割サイズは、分割実行範囲１と分割実行範囲２の実行時間と残りの処理領域を実行するのに最低限かかる実行時間（最小の領域で劣化範囲を含まずに割り当てた時間）の総和が、要求時間を超えない範囲で決定する。ここでは、分割実行範囲２の画像分割サイズがＣを選択しても要求時間を満たすので、画像分割サイズとしてＣを選択するとする。

同様にして、要求時間を満たすように分割実行範囲３の画像分割サイズを選択する。ここでは、画像分割サイズＣを選択しても要求時間を満たすので、画像分割サイズとしてＣを選択するとする。そして、分割実行範囲２の右側の画質が劣化する部分が、合成位置２の右側に位置し、その他の部分が合成位置２の左側に位置するように設定する。さらに、分割実行範囲３の左側の画質が劣化する部分が、合成位置２の左側に位置し、その他の部分が合成位置２の右側に位置するように順次設定していく。ここで、要求時間が満たせない場合には、分割実行範囲２や分割実行範囲３のサイズが画像分割サイズＢや画像分割サイズＡとなる。

このように、画像サイズがＸである入力画像を、要求時間を満たすように画像分割サイズを決定して分割していくのであるが、図６の分割実行範囲３の右側に生じた領域において、分割実行範囲４を設ける際に、この画像のサイズをＣと選択しても要求時間を満たすが、これまでの分割実行範囲１と分割実行範囲２のように処理領域を割り当てた方法では、画像の端にぴったりと一致しない場合には、次のようにする。分割実行範囲４の右端を入力画像の右端とぴったり一致させる。次に、合成位置３を、分割実行範囲３と分割実行範囲４の両方で、画質が劣化しない適当な位置へ設定する。

分割実行範囲１と分割実行範囲２では、それぞれの領域の画質が劣化しない部分と劣化する部分の境界を合成位置としていたが、分割実行範囲３と分割実行範囲４では、それぞれの領域の画質が劣化しない部分に合成位置を設定することになる。この例では、分割実行範囲３と分割実行範囲４の領域の画質が劣化しない部分と劣化する部分の境界から同じ距離にある位置を合成位置３とすることにする。ここで、分割実行範囲３の、合成位置３を挟んで右側を画像の合成に用いない部分、左側を画像の合成に用いる部分と考え、また、分割実行範囲４の、合成位置３を挟んで左側を画像の合成に用いない部分、右側を画像の合成に用いる部分と考える。以上のような処理によって、全ての領域で、画質が劣化する範囲を用いることのないように、画像を分割することができる。

超解像処理部５は、分割実行領域決定部２から得た入力画像と分割処理領域の情報から、入力画像に対して分割処理領域ごとに超解像処理を行い、分割領域合成部６に各処理領域での超解像処理結果を渡す。
ここでの超解像法は、すでに知られているいくつかの電波画像に対する超解像法をもとに実装することが可能である。この超解像処理部５の具体的な実装方法の１例としては、特開平２００１−１１６８３８号公報の装置へ、各分割処理領域を順次渡していくことができる装置として実現することが考えられる。

次に、分割領域合成部６の動作について説明する。
分割領域合成部６は、分割実行領域決定部２で保持する合成位置情報を参照して、超解像処理部５から得られた各処理領域での超解像結果を合成し、超解像画像を出力する。

図６を使って、分割領域合成部６の合成方法の１例を示す。
ここでは、分割実行領域決定部２で、画像を分割実行範囲１と分割実行範囲２と分割実行範囲３と分割実行範囲４の４つの処理領域に分割し、超解像処理部５で、この４つの分割実行範囲に対してそれぞれ超解像処理を行い、分割領域合成部６に各処理領域での超解像処理結果が渡されたとする。

分割領域合成部６は、分割実行領域決定部２で保持する合成位置情報を参照して、超解像処理部５から得られた超解像結果を、合成位置を基準に合成して、超解像画像を出力する。すなわち、合成した結果の超解像画像に画質が劣化する範囲を含まないように、分割実行した結果を合成する。例えば、分割実行範囲１の合成位置１から左側の部分と、分割実行範囲２の合成位置１から右側の画質が劣化しない部分を用いて、合成し、結果を出力する。

本装置の効果を、画像のサイズがＸである入力画像に超解像処理を行う場合で示す。まず、図７のように、画像を単純に分割して超解像処理を行う場合を考える。入力画像の両端から等距離の位置に合成位置を設定し、この合成位置を挟んで左側が分割実行範囲１、右側が分割実行範囲２となるように単純に画像を分割して超解像処理を実行する。このとき、合成位置の近傍の領域で画質の劣化が生じる。したがって、合成位置で分割実行範囲１と分割実行範囲２での超解像処理結果を合成して超解像画像を生成すると、最終的に得られる超解像画像に画質が劣化する部分を含んでしまうことになる。

図８は、本装置で画像を分割して超解像処理を行った例である。分割実行範囲１を、合成位置を挟んで左側に画像が劣化しない部分、右側に画像が劣化する部分となるように設定し、さらに、分割実行範囲２の左側の画質が劣化する部分が、合成位置の左側に位置し、その他の部分が合成位置の右側に位置するように設定する。これにより、画像を分割して超解像処理を実行することによって画像の劣化は生じるが、画質が劣化する範囲を用いずに画像の合成処理を行うことができる。すなわち、合成位置の左側にある分割実行範囲１の画質が劣化していない超解像結果と、右側にある分割実行範囲２の画質が劣化していない超解像結果を合成して超解像画像を生成することにより、図７のように超解像処理結果に画質が劣化する部分を含んでしまうというこれまでの課題を解決することができる。

この実施の形態１によれば、画質が劣化する範囲を考慮して、与えられた入力画像を複数の処理領域に分割し、劣化範囲を含まないように処理像領域での超解像結果を合成することで、分割した領域の両端での画質の劣化を回避できる効果を奏する。
また、与えられた入力画像（処理対象の画像領域）を分割して実行することで、処理を高速化でき、要求仕様としての処理時間を基準に画像の分割方法を決定することで、要求仕様に対して適切な処理時間で超解像処理を実行できる効果を奏する。

この実施の形態１では、ＭＵＳＩＣ超解像処理を例に説明したが、解像度を向上させる対象の画像から任意の部分を切り出して処理を実行可能で、かつ、画像を分割して実行することで処理を高速化できるが、処理結果の画像の品質が影響を受ける、電波画像の超解像処理でも本装置を使用可能であり、同様の効果を得ることができる。

この実施の形態１では、分割実行領域決定部９の分割領域を決定するＳＴＥＰ２−３において、可能な限り大きな画像分割サイズの領域を用いて画像を分割するようにしたが、この領域のサイズは、要求時間を満たす範囲で任意のサイズを選択することが可能であり、同様の効果を得ることができる。
例えば、画像分割サイズを、内部で実行するＦＦＴなどの処理を高速化できる２のＮ乗のサイズの領域を選択することも可能であり、実施の形態１と同様の効果を発することができる。また、一定の大きさを保った上で処理時間を最短とするような選択も可能であり、上記実施の形態１と同様の効果を得ることができる。

この実施の形態１では、各処理領域の画質が劣化しない部分と劣化する部分の境界が合成位置となるように画像を分割したが、合成位置は、画質が劣化する範囲を合成処理に用いないように画像を分割することができる範囲で任意の位置に設定可能であり、同様の効果を得ることができる。
また、実施の形態１では、合成する２つの領域の画質が劣化しない部分と劣化する部分の境界から同じ距離にある位置を合成位置３としたが、合成位置は、２つの領域がともに劣化しない任意の場所を選択可能であり、同様の効果を得ることができる。

この実施の形態１では、画像を分割する際に、入力画像の両端については、劣化範囲を考慮しない例で説明したが、超解像処理の入力画像は、より大きなサイズのＳＡＲ画像から解像度を向上させたい部分を抜き出して指定されることが多い。
このため、入力画像の両端を広げて、少し大きなサイズを切り出せるケースが多い。このような場合には、解像度を向上させようとする画像領域の両端に、画質が劣化する範囲の大きさを加えたものを入力画像とすることにより、入力画像の両端に対して劣化範囲を考慮することが可能である。
このように、入力画像の両端の劣化範囲を考慮するようにしても実施の形態１同様の効果を得ることができる。この場合には、入力画像の両端における画質の劣化についても改善できる効果がある。

実施の形態２．
以下、この発明の実施の一形態を説明する。
図９は、この発明の実施の形態２によるＳＡＲ画像超解像装置を示す構成図である。
図１０は、この実施の形態２によるＳＡＲ画像超解像装置のフローチャート図である。
図１１は、重複型分割実行領域決定部９のフローチャート図である。
図１２は、重複型分割領域合成部１１のフローチャート図である。

図９において、重複型分割実行領域決定部９は、実行時間予測部３で予測した超解像処理の実行時間および劣化範囲計算部４で特定した画質の劣化の範囲および重複範囲計算部１０で特定した画像を重複させる大きさを考慮し、画質が劣化しない範囲で重複した合成用の処理領域（重複領域）を設けるように画像を複数の処理領域に分割できる。重複範囲計算部１０は、画像を領域が重なるように複数の処理領域に分割する際に、画像を重複させる大きさを特定できる。
ここでは、画像分割サイズと処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）から、合成用の処理領域の大きさを計算できる。重複型分割領域合成部１１は、超解像処理部５から得られた各処理領域での超解像結果を、重複領域での散乱点数は同じと仮定して、処理結果を合成し、画像を合成する際に生じ得る散乱点の消失や多重検出の問題を改善し、超解像画像を出力できる。

まず、図１０を使って、ＳＡＲ画像超解像装置１の動作を説明する。
この実施の形態２のＳＴＥＰ１は、データの送り先が分割実行領域決定部２から重複型分割実行領域決定部９に変更されたことを除いて、実施の形態１のＳＴＥＰ１の動作と同じであるので、説明を省略する。

ＳＴＥＰ２−Ａで、重複型分割実行領域決定部９は、実行時間予測部３および劣化範囲計算部４および重複範囲計算部１０から得られた情報を考慮して、要求時間内で超解像処理が行われるように、画像を複数の処理領域に分割する。この分割範囲を算出する時には、分割領域での画質の劣化範囲が重ならないように分割領域を決定するとともに、分割領域を合成する位置（合成位置）の情報も算出し、保持しておく。この分割領域の算出終了後に、重複型分割実行領域決定部９は、超解像処理部５に入力画像データと、分割領域の情報を渡す（ＳＴＥＰ３へ進む）。

この実施の形態２のＳＴＥＰ３は、データの入手先が分割実行領域決定部２から重複型分割実行領域決定部９に、データの送り先が分割領域合成部６から重複型分割領域合成部１１に変更されたことを除いて、実施の形態１のＳＴＥＰ３の動作と同じであるので、説明を省略する。
ＳＴＥＰ４−Ａでは、重複型分割領域合成部１１が、超解像処理部５から得た各処理領域での超解像結果を、重複型分割実行領域決定部９で保持する合成位置の情報を参照してＳＴＥＰ４−Ａ−１〜ＳＴＥＰ４−Ａ−７の手順で合成し、超解像画像として出力する。

次に、図１１を使って重複型分割実行領域決定部９の動作について説明する。
この実施の形態２のＳＴＥＰ２−Ａ−１は、実施の形態１のＳＴＥＰ２−１の動作と同じであるので、説明を省略する。また、この実施の形態２のＳＴＥＰ２−Ａ−２は、実施の形態１のＳＴＥＰ２−２の動作と同じであるので、説明を省略する。

ＳＴＥＰ２−Ａ−３で、重複型分割実行領域決定部９は、画像分割サイズと処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）を重複範囲計算部１０に送る。
画像を領域が重なるように分割する際に、領域を重複させる大きさは、解像度を向上させる割合と画像分割サイズと観測条件により決定
される。そこで、重複範囲計算部１０は、処理領域のサイズ（分割画像サイズ）と処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）によって領域を重複させる最適な大きさがどのように変化するかという情報を予め保持している。重複型分割実行領域決定部９から分割画像サイズと処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）を送られた重複範囲計算部１０は、画像を複数の処理領域に分割する際に設ける合成用の処理領域の大きさを決定するための基準となる範囲を、予め保持している情報を用いて計算し、結果を重複型分割実行領域決定部９に出力する（ＳＴＥＰ２−Ａ−４へ進む）。

ＳＴＥＰ２−Ａ−４で、重複型分割実行領域決定部９は、実行時間予測部３で予測した超解像処理の実行時間および劣化範囲計算部４で特定した画質の劣化の範囲および重複範囲計算部１０で計算した重複する領域の大きさを考慮し、要求時間内で超解像処理が行われるように、かつ、画質が劣化しないように画像を複数の処理領域に分割する。このとき、分割領域での画質の劣化範囲が重ならないように、分割領域を合成する位置（合成位置）の情報を算出し、保持しておく。内部で合成位置の情報を保持して、重複型分割実行領域決定部９は、超解像処理部５に入力画像データと、分割領域の情報を渡す。

重複方分割実行領域決定部９の分割方法の１例を示す．
ここでは、説明を容易にするために、超解像処理対象の入力画像データ（ここでは、ＳＡＲ再生済画像。入力画像サイズの情報も含む）および要求時間（要求仕様としての超解像処理に対する目標実行時間）および処理パラメータ（解像度を向上させる割合や入力画像の観測条件など）が、実施の形態１で示した例と同じであるとする。
また、この実施の形態２の実行時間予測部３および劣化範囲計算部４が、実施の形態１で示した例と同様に、それぞれ図４と図５に示した情報を保持しており、重複型分割実行領域決定部９が、実行時間予測部３および劣化範囲計算部４から実施の形態１の分割実行領域決定部２と同じ情報を得たとして説明を進める。

重複型分割実行領域決定部９は、画像分割サイズと処理パラメータを重複範囲計算部１０に送る。重複範囲計算部１０に送られる画像分割サイズは、実行時間予測部３で選択された、要求時間を満たす画像分割サイズであり、ここでは、Ａ、Ｂ、Ｃである。
重複範囲計算部１０は、画像を複数の処理領域に分割する際に設ける合成用の処理領域の大きさを決定するための基準となる範囲を計算するため、処理領域のサイズ（画像分割サイズ）と処理パラメータによって最適な合成用の処理領域の大きさがどのように変化するかという情報を予め保持している。この情報は、超解像アルゴリズムが過去に実行した結果等から入手しておく。図１３は、重複範囲計算部１０が予め保持している情報の一例を表で示す。この例では、図１３に示すように、画像分割サイズがＡ、Ｂ、Ｃ、Ｄで、解像度を向上させる割合が２、３、４、５の場合の重複する領域の大きさを保持しているとする。

重複型分割実行領域決定部９から分割画像サイズと処理パラメータを送られた重複範囲計算部１０は、候補である画像分割サイズＡ、Ｂ、Ｃについて、解像度を向上させる割合が４の場合に、最適な重複領域（合成用の処理領域）の大きさを計算し、結果を重複型分割実行領域決定部９に出力する。すなわち、画像分割サイズＡ、Ｂ、Ｃに対して、それぞれ重複領域サイズＯＡ４、ＯＢ４、ＯＣ４を重複型分割実行領域決定部９に送る。
重複型分割実行領域決定部９は、実行時間予測部３で予測した超解像処理の実行時間（（Ａ、ＴＡ４）、（Ｂ、ＴＢ４）、（Ｃ、ＴＣ４））および劣化範囲計算部４で特定した画質の劣化の範囲（ＲＡ４、ＲＢ４、ＲＣ４）および重複範囲計算部１０で計算した画像を重複させる大きさ（ＯＡ４、ＯＢ４、ＯＣ４）を考慮し、要求時間内で超解像処理が行われるように、かつ、画質が劣化しないように分割方法を検討する。

図１４を使って、画像のサイズがＸである入力画像での分割範囲の決定法を示す。ここでは、実施の形態１と同様に、より大きな処理領域を優先して選択する例で説明する。この例では、入力画像の両端では、劣化範囲を考慮しない例で説明する。このため、入力画像の左端を含む分割実行範囲１では、左端の劣化範囲を考慮しない。同様に、分割した領域が入力画像の右端を含む場合も、分割した領域の右端に劣化範囲を考慮しない。
まず、実施の形態１と同様に、画像分割サイズがＣである分割実行範囲１と分割実行範囲２の画像分割サイズを決定していく。ここでは、実行時間から、実施の形態１と同様に分割実行範囲１と分割実行範囲２で画像分割サイズＣが選択されたとする。

このあとの分割実行範囲の重ね方が実施の形態１と異なっている。実施の形態２では、重複領域どうしが重なるように、分割実行範囲１と分割実行範囲２を重ねる。重複領域は、分割実行範囲１または分割実行範囲２において、画質の劣化しない範囲の任意の位置とすることができる。この例では、画像の左端から、大きい処理領域を割り当てていく例で説明しているので、実行時間の効率も考慮して画像を分割する。すなわち、分割実行範囲２の左側の劣化範囲に隣接するように、重複領域を設けたのち、分割実行範囲１と分割実行範囲２の重複領域を重ねる。ここでは、分割実行範囲１と分割実行範囲２の画像分割サイズはＣであるため、重複領域の大きさは同じくＯＣ４である。
もし、分割実行範囲１と分割実行範囲２の画像分割サイズが異なり、重複させる領域のサイズが異なる場合は、決定された重複させる領域のサイズが大きいほうのサイズで重複領域を設け、画像を重複させる。重複領域の左端を合成位置１、右端を合成位置２とする。合成位置１と合成位置２の間の領域で、分割実行範囲１と分割実行範囲２の画質が劣化しない領域が重なる。

このように、画像サイズがＸである入力画像を、要求時間を満たすように画像分割サイズを決定して順次分割していくのであるが、図１４の分割実行範囲３の右側に生じた領域において、分割実行範囲４を設ける際に、この画像のサイズをＣと選択しても要求時間を満たすが、これまでの分割実行範囲１と分割実行範囲２のように処理領域を割り当てた方法では、画像の端にぴったりと一致しない場合には、次のようにする。まず、分割実行範囲４の右端を入力画像の右端とぴったり一致させる。
次に、分割実行範囲３の右側の劣化範囲に隣接するように、重複領域を設ける。重複領域の左端を合成位置５、右端を合成位置６とし、分割実行範囲４においても、合成位置５と合成位置６に含まれる領域を画質が劣化しない範囲で重複した合成用の処理領域（重複領域）と考える。また、分割実行範囲３と分割実行範囲４は、分割実行範囲４の画質が劣化しない部分と劣化する部分の境界と合成位置５間でも画質が劣化しない部分が重なるが、分割実行範囲４の対応する部分を合成に用いない範囲と考えることとする。

なお、分割実行範囲４についても、分割実行範囲２、分割実行範囲３と同様に、要求時間を満たせない時には、画像分割サイズＢか画像分割サイズＡにする。
以上のような処理によって、全ての領域で、画質が劣化する範囲を用いることのないように、画像を分割することができる。

次に、図１２を用いて重複型分割領域合成部１１の動作を説明する。
まず、ＳＴＥＰ４−Ａ−１で、超解像処理部５から、分割した処理領域での超解像結果が重複型分割領域合成部１１に送られる。また、重複型分割実行領域決定部９から、分割領域を合成する位置（合成位置）の情報が重複型分割領域合成部１１に送られる。
重複型分割領域合成部１１では、重複領域（画質が劣化しない範囲で重複した合成用の処理領域）と非重複領域で異なる合成処理を行う。そのため、まず、ＳＴＥＰ４−Ａ−２で超解像処理結果の領域を、重複領域と非重複領域に分類する。そして、重複領域の場合はＳＴＥＰ４−Ａ−３へ、非重複領域の場合はＳＴＥＰ４−Ａ−６へ進む。

重複領域の場合は、ＳＴＥＰ４−Ａ−３で、重複領域での散乱点の数が等しい場合と異なる場合に分類する。等しい場合はＳＴＥＰ４−Ａ−４へ、異なる場合はＳＴＥＰ４−Ａ−５へ進む。
ＳＴＥＰ４−Ａ−４では、重複領域でかつ散乱点の数が等しい場合の合成処理を行う。
ＳＴＥＰ４−Ａ−５では、重複領域でかつ散乱点の数が異なる場合の合成処理を行う。
ＳＴＥＰ４−Ａ−６では、非重複領域に対する合成処理を行う。この領域においては、処理結果をそのまま最終的な処理結果としてそのまま採用する。
ＳＴＥＰ４−Ａ−７では、全ての領域に対して合成処理が終了したかを判定し、終了していなければＳＴＥＰ４−Ａ−２〜ＳＴＥＰ４−Ａ−６の処理を繰り返す。

重複型分割領域合成部１１の処理の一例を説明する。
重複型分割領域合成部１１では、重複領域（画質が劣化しない範囲で重複した合成用の処理領域）と非重複領域で異なる合成処理を行う。また、重複領域の場合に、重複領域での散乱点の数が等しい場合と異なる場合によって異なる。そのため、それぞれの場合に対する処理に分けて説明する。
まず、重複領域でかつ散乱点の数が等しい場合のＳＴＥＰ４−Ａ−４での合成方法の１例を示す。
図１５のように、処理対象画像を分割実行範囲１と分割実行範囲２に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。ここでは、各重複領域の散乱点の数が等しく、分割実行範囲１の重複領域では散乱点Ａと散乱点Ｂと散乱点Ｃが検出され、分割実行領域２の重複領域では散乱点Ｄと散乱点Ｅと散乱点Ｆが算出されたとする。

このとき、まず、散乱点Ａと散乱点Ｄ、散乱点Ｂと散乱点Ｅ、散乱点Ｃと散乱点Ｆを順に対応付ける。すなわち、これらが同一の散乱点と仮定する。
次に、対応する散乱点の位置および振幅をそれぞれ平均して散乱点を算出し、得られた散乱点を最終的な重複合成領域での散乱点として出力する。すなわち、散乱点Ａと散乱点Ｄの情報から１つの散乱点Ｇを算出し、散乱点Ｂと散乱点Ｅの情報から１つの散乱点Ｈを算出し、散乱点Ｃと散乱点Ｆの情報から１つの散乱点Ｉを算出する。最終的に、３つの散乱点Ｇ、Ｈ、Ｉが算出される。

次に、重複領域でかつ散乱点の数が異なる場合のＳＴＥＰ４−Ａ−５での合成方法の１例を示す。ここでは、散乱点数が多いほうが正解に近いと仮定する例で説明する。図１６のように、処理対象画像を分割実行範囲１と分割実行範囲２に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。ここでは、各重複領域の散乱点の数が異なり、分割実行範囲１には散乱点Ａと散乱点Ｂと散乱点Ｃが算出され、分割実行領域２には散乱点Ｄと散乱点Ｅが算出されたとする。

このとき、分割実行領域１で検出された散乱点の数は３つ、分割実行領域２で検出された散乱点の数は２つである。よって、散乱点の数が多く検出された分割実行領域１の結果を、最終的な重複合成領域での散乱点として出力する。すなわち、最終的に、３つの散乱点Ａ、Ｂ、Ｃが出力される。
次に、ＳＴＥＰ４−Ａ−６での非重複領域に対する合成処理であるが、この領域においては、処理結果をそのまま採用する。

この装置の効果を説明するため、課題となる例に本装置を適用した例を示す。
例えば、図１７のように、本来１つの散乱点が検出されるべき画像を分割して超解像処理を行う場合を考える。この例では、与えられた処理対象画像を分割せずに超解像処理を実行すると、要求された時間内で処理を終了することができないため、処理対象画像を分割実行範囲１と分割実行範囲２に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。超解像処理では、センサの分解能以上の解像度を実現するため、様々な推定法か拡張法を用いる。
このため、画像を分割実行範囲１と分割実行範囲２の２つの領域に分割して超解像処理を実行した場合、同じ散乱点がお互いに同じ位置に検出される保証はない。例えば、図１７のように画質が劣化しない範囲で重複した合成用の処理領域（重複領域）を設けるように画像を複数の処理領域に分割したとする。ここで、分割実行範囲１で、本来検出される位置よりも左側に検出され、分割実行範囲２で、本来検出される位置よりも右側に検出されることもある。この場合に、重複領域で分割実行範囲１と分割実行範囲２で検出された散乱点を単純に足し合わせると、２つの散乱点が検出される結果となり、多重検出の問題が生じる。

これに対し、図１８に示すように、この実施の形態２では、分割実行範囲１と分割実行範囲２で検出された散乱点が同一のものであるとして、２つの散乱点の位置とピークを平均し、１つの散乱点を結果として算出するので、検出される散乱点は１つとなり、得られる超解像画像に多重検出の問題は生じない。このように、重複領域において分割して超解像処理を行った画像を合成する時に、合成による散乱点の消失や多重検出を改善することができる。

この実施の形態２によれば、画像を領域が重なるように複数の処理領域に分割し、各処理領域での超解像結果を、散乱点の消失や多重検出の問題が生じないように合成するように構成したので、画像を合成する際に生じ得る散乱点の消失や多重検出の問題を改善し、超解像画像を出力できる効果を奏する。

この実施の形態２では、図１４の分割実行範囲３と分割実行範囲４を重複させて分割した例のように、重複領域を画質が劣化する範囲（劣化範囲）に隣接するように設けたが、重複領域は、重複させる２つの画像の画質が劣化しない範囲内であれば、任意の位置に設定可能である。

この実施の形態２では、重複領域を重複範囲計算手段で決定した大きさで設けるようにしたが、この大きさはある画像サイズに対して必要最小限重複させなければならない領域の大きさであるので、よりも大きい重複領域を設けるように画像を重複させて分割することも可能であり、同様の効果を得ることができる。

この実施の形態２では、各重複領域を構成する分割実行範囲の数が２つとなるように画像を分割した例で説明したが、３つ以上の分割実行範囲を用いて各重複領域を構成するように画像を複数の処理領域に分割するようにしてもよい。この時には、重複領域で散乱点の数が違う時に、多数決をとって散乱点の個数を決定するような実装も可能となる。ただし、要求時間を満たす範囲で領域の大きさを選択し、劣化範囲を含まないよう画像を分割しなければならないことは同様である。

この実施の形態２では、重複型分割領域合成部１１の重複領域でかつ散乱点の数が等しい場合の処理ＳＴＥＰ４−Ａ−４において、対応する散乱点の位置および振幅をそれぞれ平均して散乱点を算出したが、対応する散乱点うち、ピークの大きい散乱点を最終的な重複合成領域での散乱点として出力するようにしても同様の効果を得ることができる。

図１９のように、処理対象画像を分割実行範囲１と分割実行範囲２に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。ここでは、各重複領域の散乱点の数が等しいと仮定し、分割実行範囲１には散乱点Ａと散乱点Ｂと散乱点Ｃが算出され、分割実行領域２には散乱点Ｄと散乱点Ｅと散乱点Ｆが算出されたとする。
まず、散乱点Ａと散乱点Ｄ、散乱点Ｂと散乱点Ｅ、散乱点Ｃと散乱点Ｆを対応する候補として選択する。次に、対応する散乱点うち、ピークの大きい散乱点を最終的な重複合成領域での散乱点として出力する。すなわち、散乱点のピークに関して、散乱点Ａ＞散乱点Ｄ、散乱点Ｂ＞散乱点Ｅ、散乱点Ｃ＜散乱点Ｆであるとすると、最終的に、３つの散乱点Ａ、Ｂ、Ｆを散乱点として出力する。

この実施の形態２では、重複型分割領域合成部１１の重複領域でかつ散乱点の数が異なる場合の処理ＳＴＥＰ４−Ａ−５において、対応する散乱点の位置および振幅をそれぞれ平均して散乱点を算出したが、検出された散乱点が少ない領域の処理結果を選択するようにしても同様の効果を得ることができる。

図２０のように、分割実行範囲１と分割実行範囲２があり、これを重複領域で合成する例で説明する。ここでは、各重複領域の散乱点の数が異なると仮定し、分割実行範囲１には散乱点Ａと散乱点Ｂと散乱点Ｃが検出され、分割実行領域２には散乱点Ｄと散乱点Ｅが検出されたとする。
このとき、分割実行範囲１で検出された散乱点の数は３つ、分割実行範囲２で検出された散乱点の数は２つである。よって、検出された散乱点の数が少ない分割実行領域２の結果を、最終的な重複合成領域での散乱点として出力する。すなわち、最終的に、２つの散乱点Ｄ、Ｅが検出される。

この実施の形態２では、重複型分割領域合成部１１により最終的な重複領域の散乱点を算出する際に、各重複領域で検出された散乱点の全てを合成処理に用いる候補として扱ったが、合成処理を行う前に、各重複領域で得られた散乱点から、散乱点の振幅がある基準よりも大きいもののみを候補として挙げるような処理を追加することによっても、同様の効果を得ることができる。

図２１のように、分割実行範囲１と分割実行範囲２があり、これを重複領域で合成する例で説明する。ここでは、分割実行範囲１には散乱点Ａと散乱点Ｂと散乱点Ｃが検出され、分割実行領域２には散乱点Ｄと散乱点Ｅと散乱点Ｆが検出されたとする。
このとき、ピーク（散乱点の振幅）に対してある基準値を設ける。この基準値よりも大きい散乱点が、散乱点Ａ、散乱点Ｃ、散乱点Ｄ、散乱点Ｆであるとする。
このとき、散乱点Ａ、散乱点Ｃ、散乱点Ｄ、散乱点Ｆを候補として考え、合成処理を行い、超解像画像を得る。

実施の形態３。
以下、この発明の実施の一形態を説明する。
図２２は、この発明の実施の形態３によるＳＡＲ画像超解像装置を示す構成図である。
図２３は、この実施の形態３によるＳＡＲ画像超解像装置のフローチャート図である。
図２４は、相関型分割領域合成部１２のフローチャート図である。
図２２において、相関型分割領域合成部１２は、超解像処理部５から得られた各処理領域での超解像結果を、重複領域での散乱点同士の相関関係を利用して処理結果を合成し、画像を合成する際に生じ得る散乱点の消失や多重検出の問題を改善し、超解像画像を出力できる。

まず、図２３を使って、ＳＡＲ画像超解像装置１の動作を説明する。
この実施の形態３のＳＴＥＰ１は、実施の形態２のＳＴＥＰ１の動作と同じであるので、説明を省略する。
この実施の形態３のＳＴＥＰ２−Ａは、実施の形態２のＳＴＥＰ２−Ａの動作と同じであるので、説明を省略する。
この実施の形態３のＳＴＥＰ３は、実施の形態１のＳＴＥＰ３の動作と同じであるので、説明を省略する。
ＳＴＥＰ４−Ｂでは、相関型分割領域合成部１２が、超解像処理部５から得た各処理領域での超解像結果を、重複領域での散乱点数どうしの相関関係を利用して処理結果を合成し、超解像画像として出力する。

次に、図２４を使って、相関型分割領域合成部１２の動作について説明する。
まず、ＳＴＥＰ４−Ｂ−１で、超解像処理部５から、分割した処理領域での超解像結果が相関型分割領域合成部１２に送られる。また、重複型分割実行領域決定部９から、分割領域を合成する位置（合成位置）の情報が相関型分割領域合成部１２に送られる。
ＳＴＥＰ４−Ｂ−２で、超解像処理結果の領域を、重複領域と非重複領域に分類する。そして、重複領域の場合はＳＴＥＰ４−Ｂ−３へ、非重複領域の場合はＳＴＥＰ４−Ｂ−７へ進む。
重複領域の場合は、まず、ＳＴＥＰ４−Ｂ−３で、各重複領域（画質が劣化しない範囲で重複した合成用の処理領域）の散乱点の対応関係の候補を列挙する。
次に、ＳＴＥＰ４−Ｂ−４で、対応する散乱点どうしの距離や一致度合いから、各候補に信頼度を設定する。

次に、ＳＴＥＰ４−Ｂ−５で、もっとも信頼度が高い対応関係の候補を選択する。
次に、ＳＴＥＰ４−Ｂ−６で、選択した候補の散乱点から最終的な重複領域での散乱点を算出し、出力する。
非重複領域の場合の処理ＳＴＥＰ４−Ｂ−７は、実施の形態２のＳＴＥＰ４−Ａ−６の動作と同じであるので、説明を省略する。
ＳＴＥＰ４−Ｂ−８では、全ての領域に対して合成処理が終了したかを判定し、終了していなければ処理を繰り返す。

相関型分割領域合成部１２の処理の一例を説明する。
図２５に示すように、処理対象画像を分割実行範囲１と分割実行範囲２に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。ここで、分割実行範囲１および分割実行範囲２ともに３つの散乱点が検出されたとする。図２５に示すように、分割実行範囲１の散乱点をＡ、Ｂ、Ｃ、そして、分割実行範囲２の散乱点をＤ、Ｅ、Ｆとする。
まず、各重複領域の散乱点の対応関係の候補を列挙する。この例では、散乱点Ａと散乱点Ｄ、散乱点Ａと散乱点Ｅ、散乱点Ａと散乱点Ｆ、散乱点Ｂと散乱点Ｄ、散乱点Ｂと散乱点Ｅ、散乱点Ｂと散乱点Ｆ、散乱点Ｃと散乱点Ｄ、散乱点Ｃと散乱点Ｅ、散乱点Ｃと散乱点Ｆ、の９とおりの組み合わせが考えられる。

次に、対応する散乱点どうしの距離や一致度合いから、各候補に信頼度を設定する。この例では、対応する散乱点の間で、ピークの大きさの差と画像上の距離の差に反比例した値を信頼度として算出する。信頼度を式で表すと、信頼度＝１／（画像上の距離の差×ピークの大きさの差）となる。全ての対応関係に対して信頼度を算出し、図２５に示すような判定行列を作る。判定行列は、行と列に各分割実行範囲で算出された散乱点をそれぞれ列挙し、全ての対応関係に対して信頼度が与えられたものである。

次に、判定行列から、起こり得る全ての対応関係の組み合わせに対して相関行列を作る。すなわち、各行、各列それぞれ高々１個の信頼度を選択する。選択されなかった対応関係には０を設定する。例えば、散乱点Ａと散乱点Ｄ、散乱点Ｂと散乱点Ｅ、散乱点Ｃと散乱点Ｆが対応する場合や、散乱点Ａと散乱点Ｆ、散乱点Ｂと散乱点Ｅ、散乱点Ｃと散乱点Ｄが対応する場合など、全ての対応関係の組み合わせに対して相関行列を作る。相関行列の行と列は判定行列と同じである。

次に、起こり得る全ての対応関係の組み合わせに対して作った相関行列の、値が０以外の信頼度を足しあわせ評価値とする。そして、この評価値が最も大きい対応関係の組み合わせを選択する。ここでは、散乱点Ａと散乱点Ｄ、散乱点Ｂと散乱点Ｅ、散乱点Ｃと散乱点Ｆが選択されたとする。
評価値が最も大きい対応関係の組み合わせを選択したのち、対応する散乱点の位置と振幅をそれぞれ平均し、最終的な散乱点を算出する。すなわち、散乱点Ａと散乱点Ｄから散乱点Ｇを、散乱点Ｂと散乱点Ｅから散乱点Ｈを、散乱点Ｃと散乱点Ｆから散乱点Ｉを算出し、最終的な結果として出力する。

この装置の効果を説明するため、課題となる例に装置を適用した例を示す。
重複領域において本来３つの散乱点が検出されるべき画像を分割して超解像処理を行う場合を考える。ここでは、処理対象画像を分割実行範囲１と分割実行範囲２に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。画像を分割実行範囲１と分割実行範囲２の２つの領域に分割して超解像処理を実行した場合、同じ散乱点がお互いに同じ位置に検出される保証はなく、例えば図２６に示すように、分割実行範囲１および分割実行範囲２で、ともに３つの散乱点が異なる位置で検出されることもある。図２６に示すように、分割実行範囲１で算出された散乱点をＡ、Ｂ、Ｃ、そして、分割実行範囲２で算出された散乱点をＤ、Ｅ、Ｆとする。この例では、散乱点Ａと散乱点Ｄ、散乱点Ｂと散乱点Ｅ、散乱点Ｃと散乱点Ｆが対応づけられた場合が正解であるとする。

合成位置１と合成位置２の間には、散乱点Ｂと散乱点Ｃと散乱点Ｄと散乱点Ｅと散乱点Ｆが含まれ、散乱点Ａは含まれない。この場合に、散乱点を順に対応付けると、散乱点Ｂと散乱点Ｄ、散乱点Ｃと散乱点Ｅが対応付けられることもある。この場合は、始めに仮定した正解が得られない。

これに対し、実施の形態３では、起こり得る全ての対応関係の組み合わせの中から、評価値が最も大きい対応関係の組み合わせを選択するようにしたので、散乱点Ｂと散乱点Ｅ、散乱点Ｃと散乱点Ｆを正しく対応付けることができる。

この実施の形態３によれば、超解像処理部から得られた処理像領域での超解像結果を、重複領域での散乱点同士の相関関係を利用して処理結果を合成し、超解像画像を出力できるように構成したので、画像を合成する際に生じ得る散乱点の消失や多重検出の問題を改善し、超解像画像を出力できる効果を奏する。

この実施の形態３では、相関型分割領域合成部１２の重複領域でかつ散乱点の数が異なる場合の処理ＳＴＥＰ４−Ｂ−６において、対応する散乱点の位置および振幅をそれぞれ平均して散乱点を算出したが、対応する散乱点のうち、ピークの大きいほうの散乱点を最終的な結果として選択するようにしても同様の効果を得ることができる。

この実施の形態３では、相関型分割領域合成部１２の重複領域でかつ散乱点の数が異なる場合の処理ＳＴＥＰ４−Ｂ−６において、対応する散乱点の位置および振幅をそれぞれ平均して散乱点を算出したが、対応する散乱点のうち、ピークの小さいほうの散乱点を最終的な結果として選択するようにしても同様の効果を得ることができる。

この実施の形態３では、相関型分割領域合成部１２の最も信頼度が高い対応関係の候補を選択する処理ＳＴＥＰ４−Ｂ−５において、ある基準で閾値を設け、算出した信頼度が閾値を超えない場合には、これらの散乱点を用いて最終的な重複領域の散乱点を算出しないようにしても同様の効果を得ることができる。

実施の形態４．
以下、この発明の実施の一形態を説明する。
図２７は、この発明の実施の形態４によるＳＡＲ画像超解像装置を示す構成図である。
図２８は、この実施の形態４によるＳＡＲ画像超解像装置のフローチャート図である。
図２９は、可変型分割領域合成部１３のフローチャート図である。
図２７において、可変型分割領域合成部１３は、超解像処理部５から得られた各処理領域での超解像結果を考慮して、画像の合成に用いる領域（重複領域）を変化させながら画像を合成し、画像を合成する際に生じ得る散乱点の消失や多重検出の問題を改善し、超解像画像を出力できる。

まず、図２８を使って、ＳＡＲ画像超解像装置１の動作を説明する。
この実施の形態４のＳＴＥＰ１は、実施の形態３のＳＴＥＰ１の動作と同じであるので、説明を省略する。
この実施の形態４のＳＴＥＰ２−Ａは、実施の形態３のＳＴＥＰ２−Ａの動作と同じであるので、説明を省略する。
この実施の形態４のＳＴＥＰ３は、データの送り先が相関型分割領域合成部１２から可変型分割領域合成部１３に変更されたことを除いて、実施の形態３のＳＴＥＰ３の動作と同じであるので、説明を省略する。

ＳＴＥＰ４−Ｃでは、可変型分割領域合成部１３が、超解像処理部５から得た各処理領域での超解像結果を、重複型分割実行領域決定部９で保持する合成位置の情報を参照して、超解像結果を考慮して重複領域（画像の合成に用いる領域）を変化させながら画像を合成し、超解像画像として出力する。

次に、図２９を用いて可変型分割領域合成部１３の動作を説明する。
可変型分割領域合成部１３は、図２９に示すように、実施の形態３の相関型分割領域合成部１２に、超解像結果から合成に用いる重複領域を決定する処理ＳＴＥＰ４−Ｃ−２を追加したものである。ＳＴＥＰ４−Ｃ−２以外の処理は実施の形態３の相関型分割領域合成部１２と同じであるので、ここでは、説明を簡単にするため、ＳＴＥＰ４−Ｃ−２についてのみ説明する。

ＳＴＥＰ４−Ｃ−２では、超解像処理部５から得た、分割した処理領域での超解像結果を考慮して、動的重複領域（実施の形態４での重複領域を他の実施の形態と区別するため、以後動的重複領域とする）を変化可能な範囲（可変重複範囲）で決定する。ここで、可変重複範囲は、実施の形態２において、重複範囲計算部１０で重複領域の大きさとして算出されたサイズの領域である。
その後の処理は実施の形態３と同じである。

可変型分割領域合成部１３の処理の一例を説明する。
図３０に示すように、超解像処理対象の画像を分割実行範囲１と分割実行範囲２の２つの領域に分割して処理を行った場合を考える。ここでは、各可変重複領域の散乱点の数が異なると仮定し、分割実行範囲１の可変重複範囲には散乱点Ａと散乱点Ｂが検出され、分割実行領域２の可変重複範囲には散乱点Ｃと散乱点Ｄと散乱点Ｅが検出されたとする。この時、２つの可変重複領域には、散乱点Ａと散乱点Ｂと散乱点Ｃと散乱点Ｄと散乱点Ｅがある。

まず、超解像処理部５から得た、分割した処理領域での超解像結果を考慮して、動的重複領域を変化可能な範囲（可変重複範囲）で最適な位置を決定する。
例えば、比較的散乱点同士の距離が近い散乱点Ａと散乱点Ｂと散乱点Ｄと散乱点Ｅを含むように動的重複領域を決定し、次に分割実行範囲２の散乱点Ｃを含むように動的重複領域を変化させるかどうかを考える。この場合、分割実行範囲１で算出された全ての散乱点はすでに全てが画像の合成に用いられることが決定されており、分割実行範囲２においても同じ数の散乱点が合成に用いられることになっている。また、他の４つの散乱点が比較的近くにあるのに対して散乱点Ｃだけはある程度離れている。以上のことを考慮して、散乱点Ｃを含まないように動的合成位置を決定する。

図３０のように動的重複領域が決定されたとする。動的重複領域には、散乱点Ａと散乱点Ｂと散乱点Ｄと散乱点Ｅが含まれる。
次に、決定した動的重複領域をもとに、画像の合成を行うための準備を行う。まず、分割実行範囲１の、動的重複領域よりも右側にある領域を、画像の合成に用いないこととする。また、分割実行範囲２の、動的重複領域よりも左側にある領域を、画像の合成に用いないこととする。これにより、動的重複領域と非重複領域が定義される。

次に、実施の形態３で示した合成処理方法を用いて、動的重複領域では相関を利用して画像を合成し、非重複領域は超解像処理結果をそのまま採用する。また、動的重複領域よりも右側にある非重複領域においては、分割実行範囲２の超解像処理結果が利用される。重複領域においては、散乱点Ａと散乱点Ｄ、散乱点Ｂと散乱点Ｅが対応するとしてそれぞれの位置と振幅を平均して新しい散乱点Ｆと散乱点Ｇが算出される。

この装置の効果を説明するため、課題となる例に装置を適用した例を示す。
図３１のように、処理対象画像を分割実行範囲１と分割実行範囲２に分割して超解像処理を実行し、超解像結果を重複領域で合成する例で説明する。ここで、分割実行範囲１の可変重複範囲では散乱点Ａと散乱点Ｂと散乱点Ｃが算出され、分割実行範囲２の可変重複範囲には散乱点Ｄと散乱点Ｅが算出されたとする。この例では、散乱点Ａと散乱点Ｄ、散乱点Ｂと散乱点Ｅが対応づけられた場合が正解であるとする。

まず、画像を合成する範囲を適当に決定する場合の１例を示す。例えば、図３１のような重複領域（固定）で画像の合成を行う場合も考えられる。この場合、合成処理に用いられる散乱点は、分割実行範囲１では散乱点Ｂと散乱点Ｃ、分割実行範囲２では散乱点Ｄと散乱点Ｅである。そのため、この領域で合成処理を行った場合、散乱点Ｂと散乱点Ｄ、および散乱点Ｃと散乱点Ｅが誤って対応付けられることも起こり得る。このとき、合成処理により得られる超解像画像には、散乱点Ａと、散乱点Ｂと散乱点Ｄの位置と振幅を平均して算出された散乱点と、散乱点Ｃと散乱点Ｅの位置と振幅を平均して算出された散乱点の３つが得られてしまう。

これに対し、本装置では、画像の合成に用いる領域（重複領域）を変化せることができる。すなわち、各処理領域での超解像結果を考慮して、画像を合成するのに最適な範囲が、図３２のような動的重複領域であることを決定する。この場合、散乱点Ａと散乱点Ｄ、散乱点Ｂと散乱点Ｅを同一の散乱点として正しく対応付けることができる。このように、重複領域において分割実行した画像を合成する時に、画像を合成するのに最適な範囲を決定できる。

この実施の形態４によれば、超解像処理部から得られた処理像領域での超解像結果を考慮して、画像を合成するのに最適な範囲を決定できるように構成したので、画像を合成する際に生じ得る散乱点の消失や多重検出の問題を改善し、超解像画像を出力できる効果を奏する。

この実施の形態４では、実施の形態３における相関型分割領域合成部１２の処理にＳＴＥＰ４−Ｃ−２の処理を追加した例で説明したが、実施の形態２における重複型分割領域合成部１１の処理にＳＴＥＰ４−Ｃ−２の処理を追加した場合も同様の効果を得ることができる。

この実施の形態４では、可変重複範囲として実施の形態２の重複領域を使用したが、可変重複範囲用に大きめのサイズを算出させるようにすることも可能であり、同様の効果を得ることができる。

この発明の実施の形態１によるＳＡＲ画像超解像装置の構成を示す図である。 この発明の実施の形態１によるＳＡＲ画像超解像装置の動作手順を示すフローチャート図である。 この発明の実施の形態１による分割実行領域決定部の動作手順を示すフローチャート図である。 この発明の実施の形態１による実行時間予測部が予め保持している情報の一例を示す図である。 この発明の実施の形態１による劣化範囲計算部が予め保持している情報の例を示す図である。 この発明の実施の形態１による分割実行領域決定部の分割方法の例を示す図である。 この発明の実施の形態１によるＳＡＲ画像超解像装置の効果を説明する図である。 この発明の実施の形態１によるＳＡＲ画像超解像装置の効果を説明する図である。 この発明の実施の形態２によるＳＡＲ画像超解像装置の構成を示す図である。 この発明の実施の形態２によるＳＡＲ画像超解像装置の動作手順を示すフローチャート図である。 この発明の実施の形態２による重複型分割実行領域決定部の動作手順を示すフローチャート図である。 この発明の実施の形態２による重複型分割領域合成部の動作手順を示すフローチャート図である。 この発明の実施の形態２による重複範囲計算部が予め保持している情報の一例を示す図である。 この発明の実施の形態２による重複型分割実行領域決定部の分割方法の例を示す図である。 この発明の実施の形態２による重複型分割領域合成部の合成方法の例を示す図である。 この発明の実施の形態２による重複型分割領域合成部の合成方法の例を示す図である。 この発明の実施の形態２によるＳＡＲ画像超解像装置の効果を説明する図である。 この発明の実施の形態２による重複型分割領域合成部の合成方法の例を示す図である。 この発明の実施の形態２による重複型分割領域合成部の合成方法の例を示す図である。 この発明の実施の形態２による重複型分割領域合成部の合成方法の例を示す図である。 この発明の実施の形態２による重複型分割領域合成部の合成方法の例を示す図である。 この発明の実施の形態３によるＳＡＲ画像超解像装置の構成を示す図である。 この発明の実施の形態３によるＳＡＲ画像超解像装置の動作手順を示すフローチャート図である。 この発明の実施の形態３による相関型分割領域合成部の動作手順を示すフローチャート図である。 この発明の実施の形態３による重複型分割領域合成部の合成方法の例を示す図である。 この発明の実施の形態３によるＳＡＲ画像超解像装置の効果を説明する図である。 この発明の実施の形態４によるＳＡＲ画像超解像装置の構成を示す図である。 この発明の実施の形態４によるＳＡＲ画像超解像装置の動作手順を示すフローチャート図である。 この発明の実施の形態４による可変型分割領域合成部の動作手順を示すフローチャート図である。 この発明の実施の形態４による可変型分割領域合成部の合成方法の例を示す図である。 この発明の実施の形態４によるＳＡＲ画像超解像装置の効果を説明する図である。 この発明の実施の形態４によるＳＡＲ画像超解像装置の効果を説明する図である。

符号の説明

１ ＳＡＲ画像超解像装置、 ２ 分割実行領域決定部、 ３ 実行時間予測部、 ４ 劣化範囲計算部、 ５ 超解像処理部、 ６ 分割領域合成部、 ７ 画像データと要求時間と計測条件、 ８ 超解像画像データ、 ９ 重複型分割実行領域決定部、 １０ 重複範囲計算部、 １１ 重複型分割領域合成部、 １２ 相関型分割領域合成部、 １３ 可変型分割領域合成部。

Claims (4)

1. 信号処理を施して電波画像の解像度を向上させるＳＡＲ画像超解像装置において、
   上記画像を複数の処理領域に分割して超解像処理を実行する時の超解像処理にかかる実行時間を予測する実行時間予測手段と、
   上記画像の分割時に上記それぞれの処理領域の両端で発生する散乱点の消失あるいは偽像の発生などの画質が劣化する範囲を、予め保持する画像の分割サイズと画質が劣化する範囲との関係を示す情報に基づいて、上記それぞれの処理領域に分割される画像の分割サイズに応じて特定する劣化範囲計算手段と、
   上記実行時間予測手段で予測した超解像処理の実行時間および上記劣化範囲計算手段で特定した画質の劣化の範囲に基づき、当該実行時間が超解像処理の目標実行時間を超えず、かつ上記各処理領域における上記画質の劣化する範囲が当該処理領域の隣の処理領域における上記画質の劣化する範囲を含まない領域と重なるように、上記分割される処理領域の一部を互いに重複させて、画像を複数の処理領域に分割する分割実行領域決定手段と、
   上記分割実行領域決定手段で分割した処理領域ごとに上記超解像処理を行う超解像処理手段と、
   上記超解像処理手段から得られる分割した処理領域ごとの超解像結果における、上記画質が劣化する範囲を含まないそれぞれの領域を合成し、超解像画像を出力する分割領域合成手段と、
   を備えたことを特徴とするＳＡＲ画像超解像装置。
2. 信号処理を施して電波画像の解像度を向上させるＳＡＲ画像超解像装置において、
   上記画像を複数の処理領域に分割して超解像処理を実行する時の超解像処理にかかる実行時間を予測する実行時間予測手段と、
   上記画像の分割時に上記それぞれの処理領域の両端で発生する散乱点の消失あるいは偽像の発生などの画質が劣化する範囲を、予め保持する画像の分割サイズと画質が劣化する範囲との関係を示す情報に基づいて、上記それぞれの処理領域に分割される画像の分割サイズに応じて特定する劣化範囲計算手段と、
   上記劣化範囲計算手段により特定された上記画質が劣化する範囲を含まない範囲で、上記画像を重複する複数の合成用の処理領域に分割する際に、処理領域の大きさを決定する基準となる処理領域の重複範囲を特定する重複範囲計算手段と、
   上記実行時間予測手段で予測した上記超解像処理の実行時間および上記劣化範囲計算手段で特定した画質の劣化の範囲および上記重複範囲計算手段で特定した重複範囲に基づき、当該実行時間が超解像処理に対する目標実行時間を超えず、かつ上記各処理領域における上記重複範囲が当該処理領域の隣の処理領域における上記重複範囲と重なるように、上記分割される処理領域の一部を互いに重複させて、画像を複数の処理領域に分割する重複型分割実行領域決定手段と、
   上記重複型分割実行領域決定手段で分割する処理領域ごとに上記超解像処理を行う超解像処理手段と、
   上記超解像処理手段から得られ、重複を設けるように分割された各処理領域での超解像結果における、上記画質が劣化する範囲を含まないそれぞれの領域を合成し、超解像画像を出力する重複型分割領域合成手段と、
   を備えたことを特徴とするＳＡＲ画像超解像装置。
3. 上記重複型分割領域合成手段は、上記超解像処理手段から得られ、重複を設けるように分割された各処理領域での超解像結果を、上記重複範囲での散乱点相互の相関関係を利用して合成し、上記超解像画像として出力することを特徴とする請求項２記載のＳＡＲ画像超解像装置。
4. 上記重複型分割領域合成手段は、上記超解像処理手段から得られ、重複を設けるように分割された各処理領域での超解像結果を、上記画像の合成に用いる領域を変化させながら合成し、上記超解像画像として出力することを特徴とする請求項２記載のＳＡＲ画像超解像装置。

Images