JP2022163882A - 信号処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】アーティファクトの発生を抑制する。【解決手段】信号処理装置は、第１の画像信号に対して、低周波成分を抽出する第１のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号を生成する第１のフィルタ処理部と、第１の画像信号とは位相の異なる第２の画像信号に対して、第１のフィルタとは異なり、低周波成分を抽出するとともに位相差補正を行う第２のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号と同じ位相の第２の低周波輝度信号を生成する第２のフィルタ処理部と、第１の低周波輝度信号および第２の低周波輝度信号に基づいて動き判定を行う動き判定部とを備える。本技術は信号処理装置に適用することができる。【選択図】図４

Description

本技術は、信号処理装置および方法、並びにプログラムに関し、特に、アーティファクトの発生を抑制することができるようにした信号処理装置および方法、並びにプログラムに関する。

従来、１つの単位画素内に、大きさ（感度）が異なる大画素と小画素を設けるサブピクセル構造を有するイメージセンサが知られている（例えば、特許文献１参照）。

このようなサブピクセル構造のイメージセンサを用いれば、大画素で撮像された画像と、小画素で撮像された画像とをHDR（High Dynamic Range）合成することで、よりダイナミックレンジの広い画像を得ることができる。

しかし、例えば大画素と小画素とで露光時間が異なるようにした場合、大画素と小画素とで、動被写体やLED（Light Emitting Diode）などの被写体部分に対する撮像結果に差が生じてしまう。そのような差はHDR合成時に動体アーティファクトを発生させるため、動き判定を行い、その判定結果に応じた補正を行うのが一般的である。

例えば、特許文献２には、異なる露光時間で撮像された複数の画像の差分を検出し、差分に応じた合成係数で、複数の画像を合成することが開示されている。

国際公開第２０１６／１４７８８５号 特開２０１８－１９３８７号公報

ところで、上述の動き判定では、互いに感度の異なる２つの画像の差分、つまり２つの画像信号の差分の大きさに基づいて、動きの有無が判定される。

このような動き判定は、被写体が静止していれば、互いに感度の異なる画像信号の感度差を補正すれば、それらの画像信号（画素値）は一致するという前提で行われる。

しかしながら、サブピクセル構造のイメージセンサでは、そもそも大画素と小画素の配置位置が異なる、つまり大画素で得られる信号と小画素で得られる信号の位相が異なるため、静止被写体に対しても上述の前提が当てはまらない（成立しない）。

そのため、サブピクセル構造のイメージセンサで得られた２つの画像信号に基づき動き判定を行い、その判定結果に応じてHDR合成を行ったとしても、動き判定の誤判定や誤補正が発生し、HDR合成により生成される画像にアーティファクトが生じてしまう。

本技術は、このような状況に鑑みてなされたものであり、アーティファクトの発生を抑制することができるようにするものである。

本技術の一側面の信号処理装置は、第１の画像信号に対して、低周波成分を抽出する第１のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号を生成する第１のフィルタ処理部と、前記第１の画像信号とは位相の異なる第２の画像信号に対して、前記第１のフィルタとは異なり、低周波成分を抽出するとともに位相差補正を行う第２のフィルタによるフィルタリングを行うことで、前記第１の低周波輝度信号と同じ位相の第２の低周波輝度信号を生成する第２のフィルタ処理部と、前記第１の低周波輝度信号および前記第２の低周波輝度信号に基づいて動き判定を行う動き判定部とを備える。

本技術の一側面の信号処理方法またはプログラムは、第１の画像信号に対して、低周波成分を抽出する第１のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号を生成し、前記第１の画像信号とは位相の異なる第２の画像信号に対して、前記第１のフィルタとは異なり、低周波成分を抽出するとともに位相差補正を行う第２のフィルタによるフィルタリングを行うことで、前記第１の低周波輝度信号と同じ位相の第２の低周波輝度信号を生成し、前記第１の低周波輝度信号および前記第２の低周波輝度信号に基づいて動き判定を行うステップを含む。

本技術の一側面においては、第１の画像信号に対して、低周波成分を抽出する第１のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号が生成され、前記第１の画像信号とは位相の異なる第２の画像信号に対して、前記第１のフィルタとは異なり、低周波成分を抽出するとともに位相差補正を行う第２のフィルタによるフィルタリングを行うことで、前記第１の低周波輝度信号と同じ位相の第２の低周波輝度信号が生成され、前記第１の低周波輝度信号および前記第２の低周波輝度信号に基づいて動き判定が行われる。

サブピクセル構造のイメージセンサについて説明する図である。 大画素画像と小画素画像の位相のずれについて説明する図である。 動き判定について説明する図である。 信号処理装置の構成例を示す図である。 大画素用輝度生成フィルタと小画素用輝度生成フィルタの例を示す図である。 画像合成処理を説明するフローチャートである。 本技術の効果について説明する図である。 小画素用輝度生成フィルタの他の例を示す図である。 コンピュータの構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術について〉
本技術は、動き判定に低周波の輝度信号を用い、かつ動き判定に用いる信号に対してのみ位相差補正を行うことで、アーティファクトの発生を抑制できるようにするものである。

以下では、サブピクセル構造のイメージセンサで得られた２つの画像信号に基づいてHDR合成を行う場合を例として説明する。そのような場合、イメージセンサには、例えば図１に示す配置で単位画素が設けられている。

例えば１つの単位画素PX1内には、互いに感度が異なる大画素SP1と小画素SP2とが隣接して設けられている。

すなわち、大画素SP1の受光面の面積（サイズ）が、小画素SP2の受光面の面積よりも大きくなるように大画素SP1と小画素SP2が形成されており、大画素SP1は小画素SP2よりも高い感度を有している。また、ここでは大画素SP1の図中、右上側に小画素SP2が配置されている。

サブピクセル構造のイメージセンサには、単位画素PX1と同じ構成の単位画素が複数行列状に配置されている。

さらに、この例では、各単位画素にはＲ（赤）、Ｇ（緑）、およびＢ（青）の何れかのカラーフィルタが設けられており、Ｒ、Ｇ、およびＢの各色のカラーフィルタを有する単位画素が市松状に配置されている。

すなわち、単位画素PX1を含む、図中、横方向に並ぶ複数の単位画素からなる画素行では、Ｂのカラーフィルタを有する単位画素と、Ｇのカラーフィルタを有する単位画素とが図中、横方向に交互に並べられている。

また、単位画素PX1を含む画素行に対して、図中、上下方向に隣接して設けられた画素行では、Ｒのカラーフィルタを有する単位画素と、Ｇのカラーフィルタを有する単位画素とが図中、横方向に交互に並べられている。

例えばＧのカラーフィルタを有する単位画素PX1に注目すると、単位画素PX1の図中、上下方向に隣接する単位画素はＲのカラーフィルタを有しており、単位画素PX1の図中、左右方向に隣接する単位画素はＢのカラーフィルタを有している。

なお、イメージセンサの各単位画素はどのようなカラーフィルタを有していてもよく、また、各単位画素にカラーフィルタが設けられていない構成とされてもよい。

また、以下、イメージセンサに設けられた大画素により撮像された画像の画像信号、すなわちイメージセンサで露光動作（撮像処理）を行い、各大画素から読み出された画素信号からなる画像信号を大画素画像信号とも称し、大画素画像信号に基づく画像を大画素画像とも称することとする。

同様に、以下、イメージセンサに設けられた小画素により撮像された画像の画像信号、すなわちイメージセンサで露光動作を行い、各小画素から読み出された画素信号からなる画像信号を小画素画像信号とも称し、小画素画像信号に基づく画像を小画素画像とも称することとする。

いま、図１に示した配置の単位画素を有するイメージセンサで大画素画像と小画素画像を撮像し、HDR合成を行うことを考える。

この場合、大画素画像（大画素画像信号）、小画素画像（小画素画像信号）、およびHDR合成ゲインに基づいて動き判定を行い、その動き判定の結果等から求まる所定の合成係数を用いて大画素画像と小画素画像のHDR合成を行うとする。

なお、HDR合成ゲインは、大画素画像と小画素画像の明るさを合わせるための係数であり、例えば大画素画像と小画素画像の感度差や露光時間の差などに基づいて予め算出される。また、合成係数は、HDR合成時における大画素画像と小画素画像の合成比（混合比）を示す係数である。

例えば図２に示す被写体をイメージセンサにより撮像すると、大画素画像と小画素画像は基本的には同じ画像となる。

すなわち、大画素画像と小画素画像の両方の画像には、室内にいる人や、部屋の窓、窓の外のビルなどが被写体として写っている。この例では、例えば領域R11の部分では、屋外にあるビルの窓部分が被写体として存在している。

ところが、大画素画像と小画素画像とでは位相が異なる、つまり対応する画素の位置が異なるため、撮像結果にずれが生じる。

具体的には、例えば大画素画像における、図１の大画素SP1に対応する画素を注目画素とする。このとき、小画素画像において、注目画素と対応する画素、つまり大画素画像における注目画素の位置と同じ位置関係にある、小画素画像上の画素（以下、対応画素とも称する）は、小画素SP2に対応する画素となる。

このように、注目画素と対応画素とは同じ位置関係にあるが、図１に示したように大画素SP1と小画素SP2は配置位置が異なる、つまり配置位置にずれがある。そのため、仮に被写体が静止していたとしても、注目画素と対応画素とでは互いに異なる被写体（被写体の異なる部分）が写っていることになる。

また、動き判定では、互いに感度の異なる大画素画像と小画素画像の差分の大きさに基づいて、動きの有無が判定される。

例えば、大画素と小画素とで、被写体の明るさに対して図３に示す信号レベル（画素値）が得られるとする。

なお、図３において横軸は被写体の明るさを示しており、縦軸は画素信号の値（画素値）、つまり被写体を撮像したときの信号レベルを示している。

また、折れ線L11は、各明るさに対して大画素SP1で得られる信号レベル（画素信号の値）を示しており、直線L12は、各明るさに対して小画素SP2で得られる信号レベル（画素信号の値）を示している。

いま、仮に大画素SP1の画素信号と小画素SP2の画素信号の位相が同じである、つまり大画素SP1の中心位置と小画素SP2の中心位置とが同じ位置であるとする。

また、被写体が静止している状態で撮像を行った結果、例えば矢印Q11に示すように小画素SP2の画素信号の値として信号レベルP11が得られ、大画素SP1の画素信号の値として信号レベルP12が得られたとする。

そのような場合、信号レベルP11に対してHDR合成ゲインを乗算することで得られる値は、信号レベルP12と一致する。

そのため、例えば信号レベルP11に対するHDR合成ゲインの乗算結果と信号レベルP12との差分を、所定の閾値やノイズレベル等と比較して動き判定を行うと、動きがない旨の判定結果が得られる。

一方、被写体が動いている状態で撮像を行った結果、例えば矢印Q12に示すように小画素SP2の画素信号の値として信号レベルP21が得られ、大画素SP1の画素信号の値として信号レベルP22が得られたとする。

そのような場合、信号レベルP21に対してHDR合成ゲインを乗算することで得られる値は、折れ線L11上における同じ明るさでの信号レベルP23とは一致するが、実際の大画素SP1の信号レベルP22とは一致しない。

すなわち、信号レベルP21に対してHDR合成ゲインを乗算しても、その結果として得られる値は信号レベルP22とは一致せず、信号レベルP21に対するHDR合成ゲインの乗算結果と信号レベルP22とには差分が生じる。

これは、撮像対象の被写体が動被写体であるため、大画素画像と小画素画像とで露光時間等が異なると、大画素SP1と小画素SP2とでは写る被写体の変化等によって被写体の明るさが変化するからである。

したがって、例えば信号レベルP21に対するHDR合成ゲインの乗算結果と信号レベルP22との差分を、所定の閾値やノイズレベル等と比較して動き判定を行うと、動きがある旨の判定結果が得られる。

しかし、上述のように大画素画像の画像信号と小画素画像の画像信号、すなわち大画素の画素信号と小画素の画素信号は位相が異なっている。

そのため、被写体が静止していれば、小画素の画素信号にHDR合成ゲインを乗算して得られるものと、その小画素に対応する大画素の画素信号とは一致する、つまり感度差を補正すれば小画素と大画素の画素信号は一致するという動き判定の前提が当てはまらない。

したがって、実際に得られた大画素の画素信号と小画素の画素信号に基づいて動き判定を行うと、大画素と小画素との画素信号の位相差によって、静止被写体に対してもそれらの画素信号の差分が大きくなってしまい、誤判定が生じてしまうことがある。

また、そのような動き判定の結果を用いてHDR合成を行うと、動きの誤補正が発生してしまうおそれもある。このような誤判定や誤補正は、HDR合成により生成される画像（以下、合成画像とも称する）にアーティファクトを生じさせる要因となる。

このような位相差による誤判定や誤補正を抑制するために、例えば小画素画像の画像信号に対して位相差補正を行い、大画素の画素信号と小画素の画素信号とを同じ位相の信号として動き判定およびHDR合成を行うことも考えられる。

しかしながら、位相差補正を行う場合、画像の絵柄を壊さずに、つまり歪み等を発生させることなく高周波信号の位相を補正する（ずらす）ことは困難である。

また、画像に対する位相差補正を行うと、偽色やがたつき等のアーティファクトが発生して画像の鮮鋭感が失われるなどの弊害が生じたり、位相差補正を実現するために回路規模が増大するなど、コストが高くなってしまったりする。特に、位相差補正を行う場合、ノイズリダクション等を行っても、位相差補正を行わずに動き判定をする場合よりも鮮鋭感の低い合成画像しか得られないこともある。

そこで、本技術では、動き判定に低周波の輝度信号を使用し、かつ動き判定に使用する信号に対してのみ位相差補正を行うことで、誤判定や誤補正の発生を抑制することができるようにした。これにより、アーティファクトの発生を抑制し、より高品質な合成画像を得ることができる。

特に、本技術では、低周波の輝度信号が用いられて動き判定が行われるが、このような低周波信号は高周波信号と比較して容易に位相を補正する（ずらす）ことが可能である。したがって、本技術によれば、回路規模の増加などといったコストの増加を生じさせることなく、誤判定や誤補正の発生を抑制することができる。

また、本技術では、合成画像の生成には位相差補正が行われていない信号を用いるため、アーティファクトの発生等により画像の鮮鋭感が失われてしまうなどの弊害が生じにくい。

〈信号処理装置の構成例〉
図４は、本技術を適用した信号処理装置の一実施の形態の構成例を示す図である。

図４に示す信号処理装置１１は、例えば車載用のカメラデバイスなどからなる。

信号処理装置１１は、イメージセンサ２１、信号生成部２２、動き判定部２３、およびHDR合成部２４を有している。

イメージセンサ２１は、サブピクセル構造を有するイメージセンサであり、撮像を行うことで大画素画像の画像信号と小画素画像の画像信号を生成する撮像部として機能する。

例えばイメージセンサ２１には、図１に示した配置で、互いに感度および位相（配置位置）の異なる大画素と小画素が複数設けられている。

イメージセンサ２１は、入射した光を光電変換することで被写体を撮像し、その結果得られた大画素画像の画像信号と小画素画像の画像信号を信号生成部２２およびHDR合成部２４に供給する。すなわち、イメージセンサ２１を構成する複数の大画素による撮像によって大画素画像の画像信号が生成され、イメージセンサ２１を構成する複数の小画素による撮像によって小画素画像の画像信号が生成される。これらの大画素画像の画像信号と小画素画像の画像信号は、互いに位相の異なる信号である。

なお、ここではイメージセンサ２１が信号処理装置１１に設けられている例について説明するが、イメージセンサ２１は信号処理装置１１外に設けられているようにしてもよい。

信号生成部２２は、イメージセンサ２１から供給された大画素画像の画像信号と小画素画像の画像信号に基づいて、動き判定のための低周波の輝度信号（低周波輝度信号）を生成し、動き判定部２３に供給する。

信号生成部２２は、大画素フィルタ処理部３１および小画素フィルタ処理部３２を有している。

大画素フィルタ処理部３１は、大画素画像の画像信号に対して、大画素用輝度生成フィルタによるフィルタリング（フィルタ処理）を行うことで、大画素画像の低周波の輝度信号である大画素低周波輝度信号を生成する。

例えば大画素用輝度生成フィルタは、大画素画像の画像信号から低周波成分、より詳細には所定周波数以下の輝度成分（低周波の輝度成分）を抽出するローパスフィルタなどとされる。

小画素フィルタ処理部３２は、小画素画像の画像信号に対して、小画素用輝度生成フィルタによるフィルタリング（フィルタ処理）を行うことで、位相差補正が施された小画素画像の低周波の輝度信号である小画素低周波輝度信号を生成する。このようにして得られる小画素低周波輝度信号は、大画素低周波輝度信号と同じ位相を有する信号である。

ここで、小画素用輝度生成フィルタは、大画素用輝度生成フィルタとは異なるフィルタとされる。例えば小画素用輝度生成フィルタは、小画素画像の画像信号から、低周波成分（低周波の輝度成分）を抽出するローパスフィルタとして機能するとともに、小画素画像の位相が大画素画像と同じ位相となるような位相差補正も実現するフィルタなどとされる。

信号生成部２２は、大画素フィルタ処理部３１で得られた大画素低周波輝度信号と、小画素フィルタ処理部３２で得られた小画素低周波輝度信号とを、動き判定のための低周波輝度信号として動き判定部２３に供給する。

動き判定部２３は、信号生成部２２から供給された大画素低周波輝度信号および小画素低周波輝度信号に基づいて動き判定を行い、その判定結果をHDR合成部２４に供給する。

HDR合成部２４は、動き判定部２３から供給された動き判定の判定結果に基づいて、イメージセンサ２１から供給された大画素画像の画像信号と小画素画像の画像信号とをHDR合成し、その結果得られた合成画像を後段に出力する。

〈低周波輝度信号の生成について〉
ここで、大画素用輝度生成フィルタと小画素用輝度生成フィルタの例について説明する。

例えば、イメージセンサ２１の画素配置が図１に示した配置とされる場合、大画素用輝度生成フィルタおよび小画素用輝度生成フィルタは、図５に示すフィルタとされる。

図５では、矢印Q21に示す部分に大画素用輝度生成フィルタの例が示されており、矢印Q22に示す部分に小画素用輝度生成フィルタの例が示されている。

ここでは、大画素用輝度生成フィルタは、３×３のサイズのフィルタとなっており、各四角形内に記された数値が、それらの四角形に対応する画素の画素値に乗算されるフィルタの係数を表している。なお、ここでいうフィルタのサイズとは、フィルタのタップ数、すなわちフィルタリングの対象となる画素領域の画素数（サイズ）である。

具体的な例として、例えば図１に示した大画素SP1を中心とする３×３の画素領域に対して、図５に示す大画素用輝度生成フィルタを用いたフィルタリングを行う場合について説明する。

この場合、図１中、大画素SP1の左上、真上、および右上に隣接する大画素の画素信号の値（画素値）に対して、係数の値である１、２、および１が乗算される。

また、図１中、大画素SP1の左側に隣接する大画素、大画素SP1、および図１中、大画素SP1の右側に隣接する大画素のそれぞれの画素信号の値（画素値）に対して、係数の値である２、４、および２が乗算される。

同様に、図１中、大画素SP1の左下、真下、および右下に隣接する大画素の画素信号の値（画素値）に対して、係数の値である１、２、および１が乗算される。

さらに、このようにして係数が乗算された合計９個の画素値の和（係数乗算後の画素値の和）が求められ、その和が９個の各係数の和である１６で除算され、その除算結果がフィルタリングにより得られる１つの画素の画素信号の値、つまり１画素分の大画素低周波輝度信号の値とされる。

この場合、新たに生成される大画素低周波輝度信号の位相、つまり画素の位置は、大画素SP1の中心位置となる。

なお、大画素用輝度生成フィルタの適用時には、対象となる３×３の画素領域の中心にある大画素のカラーフィルタの色によらず、矢印Q21に示す係数が用いられる。換言すれば、１つ（１画素分）の大画素低周波輝度信号の生成には、Ｒ、Ｇ、およびＢの各色のカラーフィルタを有する大画素の画素信号が用いられる。

一方、矢印Q22に示すように、小画素用輝度生成フィルタも大画素用輝度生成フィルタと同様に３×３のサイズのフィルタとなっている。ここでは、各四角形内に記された数値が、それらの四角形に対応する画素の画素値に乗算されるフィルタの係数を表している。

小画素用輝度生成フィルタは、３×３のフィルタであるが、対象となる画素領域のうち、図中、最も上側の画素行および図中、最も右側の画素列を構成する各画素の係数が全て０となっている。そのため、小画素用輝度生成フィルタは実質的には２×２のサイズのフィルタとなっている。

具体的な例として、例えば図１に示した小画素SP2を中心とする３×３の画素領域に対して、図５に示す小画素用輝度生成フィルタを用いたフィルタリングを行う場合について説明する。

この場合、図１中、小画素SP2の左側に隣接する小画素および小画素SP2のそれぞれの画素信号の値（画素値）に対して、係数の値である１が乗算される。

また、図１中、小画素SP2の左下および真下に位置する小画素の画素信号の値（画素値）に対して、係数の値である１が乗算される。

さらに、このようにして係数が乗算された合計４個の画素値の和が求められ、その和が４個の各係数の和である４で除算され、その除算結果がフィルタリングにより得られる１つの画素の画素信号の値、つまり１画素分の小画素低周波輝度信号の値とされる。

この場合、新たに生成される小画素低周波輝度信号の位相、つまり画素の位置は、小画素低周波輝度信号の生成に用いられた４つの小画素の中心の位置であり、その位置は大画素SP1の中心位置となる。したがって、生成された小画素低周波輝度信号は、対応する大画素低周波輝度信号と同じ位相の信号となり、小画素用輝度生成フィルタにより位相差補正が実現されることが分かる。

なお、小画素用輝度生成フィルタの適用時には、大画素用輝度生成フィルタの適用時と同様に、対象となる３×３の画素領域の中心にある小画素のカラーフィルタの色によらず、矢印Q22に示す係数が用いられる。

以上のように、大画素用輝度生成フィルタと小画素用輝度生成フィルタは、少なくとも係数が異なるフィルタである。

〈画像合成処理の説明〉
続いて、信号処理装置１１の動作について説明する。すなわち、以下、図６のフローチャートを参照して、信号処理装置１１による画像合成処理について説明する。

ステップＳ１１においてイメージセンサ２１の大画素および小画素は、入射した光を受光して光電変換することで、大画素画像および小画素画像を撮像する。

例えば大画素と小画素とでは、露光時間の長さや露光の開始または終了のタイミングが異なるように撮像が行われる。

イメージセンサ２１は、各大画素での撮像により得られた大画素画像の画像信号と、各小画素での撮像により得られた小画素画像の画像信号とを、信号生成部２２およびHDR合成部２４に供給する。

ステップＳ１２において大画素フィルタ処理部３１は、イメージセンサ２１から供給された大画素画像の画像信号に対して、大画素用輝度生成フィルタによるフィルタリングを行うことで、複数の画素位置ごとに大画素低周波輝度信号を生成する。

ステップＳ１３において小画素フィルタ処理部３２は、イメージセンサ２１から供給された小画素画像の画像信号に対して、小画素用輝度生成フィルタによるフィルタリングを行うことで、複数の画素位置ごとに小画素低周波輝度信号を生成する。

小画素フィルタ処理部３２では、画像信号から低周波数の輝度信号が抽出されるとともに位相差補正（位相の補正）も行われるので、小画素低周波輝度信号として、大画素低周波輝度信号と同じ位相の輝度信号が得られる。

信号生成部２２は、以上の処理により得られた大画素低周波輝度信号および小画素低周波輝度信号を動き判定部２３に供給する。

なお、ここではステップＳ１２およびステップＳ１３の処理は、大画素画像および小画素画像に対するデモザイク処理が行われる前に実行されるが、デモザイク処理後に実行されるようにしてもよい。

ステップＳ１４において動き判定部２３は、信号生成部２２から供給された大画素低周波輝度信号および小画素低周波輝度信号に基づいて動き判定を行い、その判定結果をHDR合成部２４に供給する。

例えば動き判定部２３は、HDR合成ゲインを小画素低周波輝度信号に乗算して得られる値と、大画素低周波輝度信号との差分を画素位置ごとに算出するとともに、得られた差分と、ノイズレベルや所定の動き判定閾値とを比較することで、被写体の動き量を求める。これにより、動き判定の結果として、画素位置ごとの被写体の動き量が得られる。

ステップＳ１５においてHDR合成部２４は、動き判定部２３から供給された動き判定の判定結果に基づいて、イメージセンサ２１から供給された大画素画像の画像信号と小画素画像の画像信号とをHDR合成することで合成画像の画像信号を生成する。

例えばHDR合成部２４は、大画素画像の画像信号に基づいて画素位置ごとに合成係数を生成するとともに、動き判定の判定結果に応じて動き補償を行うことで合成係数を調整し、最終的な合成係数を得る。そしてHDR合成部２４は、HDR合成ゲインを小画素画像の画像信号に乗算して得られる値と、大画素画像の画像信号とを合成係数により合成（混合）することで、合成画像の画像信号を得る。

このようにして得られた合成画像の画像信号がHDR合成部２４により後段に出力されると、画像合成処理は終了する。

以上のようにして信号処理装置１１は、同じ位相の大画素低周波輝度信号および小画素低周波輝度信号を生成し、動き判定を行うとともに、大画素画像と小画素画像とを合成し、合成画像を生成する。このように、同じ位相の低周波輝度信号を用いて動き判定を行うことで、誤判定や誤補正の発生を抑制することができる。これにより、アーティファクトの発生を抑制し、より高品質な合成画像を得ることができる。

例えば位相差補正を行うことで、動き判定部２３では、図７に示すように動き判定の判定精度を向上させることができる。なお、図７では、被写体（画像）における明るい部分ほど、動き判定において得られた動き量が大きいことを表している。

図７において、矢印Q31に示す部分には、図２に示した被写体を撮像して得られた大画素画像と小画素画像とから位相差補正を行わずに、低周波輝度信号を抽出して動き判定を行ったときの判定結果が示されている。

例えば領域R11の部分にはビルの窓部分が被写体として存在しており、矢印Q31に示す判定結果では、そのビルの窓部分など、特に絵柄の細かい箇所、すなわち高周波成分が含まれている部分において誤判定が生じてしまっていることが分かる。

これに対して、図７において、矢印Q32に示す部分には、図２に示した被写体を撮像して得られた大画素画像と小画素画像とから、信号生成部２２で低周波輝度信号を抽出するとともに位相差補正を行い、動き判定部２３で動き判定を行ったときの判定結果が示されている。すなわち、矢印Q32に示す部分には、信号処理装置１１の信号生成部２２および動き判定部２３で処理を行うことで得られる動き判定の判定結果が示されている。

この例では領域R11の部分など、高周波成分が含まれている部分においても、矢印Q31に示した例と比較して、誤判定の発生が抑制されていることが分かる。

以上のように、本技術では位相差補正を行い、かつ低周波の輝度信号を用いて動き判定を行うことで、回路規模の増加などといったコストの増加を生じさせることなく、図７に示したように動き判定時の誤判定の発生を抑制することができる。

しかも、そのようにして得られた判定結果を用いて、低周波の輝度信号ではない、イメージセンサ２１で得られた大画素画像と小画素画像をそのまま用いてHDR合成を行うことで、偽色やがたつき等のアーティファクトにより画像の鮮鋭感が失われるなどの弊害も生じにくくすることができる。その結果、より高品質でダイナミックレンジの広い合成画像を得ることができる。

〈変形例〉
なお、図５では、大画素用輝度生成フィルタや小画素用輝度生成フィルタが３×３のサイズのフィルタである例について説明したが、それらのフィルタは、例えば５×５など、どのようなサイズのフィルタであってもよい。

また、大画素用輝度生成フィルタと小画素用輝度生成フィルタは、同じサイズのフィルタであってもよいし、互いに異なるサイズのフィルタであってもよい。

さらに、小画素用輝度生成フィルタは、例えば図８に示すフィルタとされてもよい。

図８では、各四角形は小画素用輝度生成フィルタを適用する画素領域の画素を表しており、各四角形内の数値は、それらの四角形に対応する画素の画素値に乗算されるフィルタの係数を表している。

この例では、小画素用輝度生成フィルタは、３×３のサイズのフィルタとされており、対象となる画素領域の中心位置にある画素の画素値と、その画素の図中、左、左下、および下に隣接する画素の画素値には、係数として６３が乗算される。

また、画素領域の中心位置にある画素に対して図中、左上、上、右、および右下に隣接する画素の画素値には係数として１が乗算され、画素領域の中心位置にある画素に対して図中、右上に隣接する画素の画素値には係数として０が乗算される。

そして、それらの係数が乗算された各画素の画素値の和が２５６で除算され、その除算結果がフィルタリングにより得られる１つの画素の画素信号の値、つまり１画素分の小画素低周波輝度信号の値とされる。このようにすることでも、低周波輝度信号の抽出と位相差補正を実現することができる。

その他、以上においては、サブピクセル構造を有する１つのイメージセンサ２１で撮像された大画素画像と小画素画像の画像信号を対象として、動き判定やHDR合成を行う例について説明した。しかし、これに限らず、動き判定やHDR合成の対象とする２つの画像は、同じ被写体で互いに位相の異なる画像であれば、どのような画像であってもよい。

例えば２つのカメラを用いて互いに位相の異なる２つの画像を撮像し、それらの２つの画像に基づいて動き判定およびHDR合成を行って、合成画像を生成してもよい。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、上述の信号処理装置１１は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮像する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮像する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮像して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮像するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

〈移動体への応用例〉
このように、本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１０に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１０の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１１は、撮像部１２０３１の設置位置の例を示す図である。

図１１では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１１には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１や車外情報検出ユニット１２０３０などに適用され得る。具体的には、例えば図４に示した信号処理装置１１を撮像部１２０３１および車外情報検出ユニット１２０３０として用いることができ、動き判定時の誤判定の発生を抑制し、より高品質でダイナミックレンジの広い合成画像を得ることができる。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
第１の画像信号に対して、低周波成分を抽出する第１のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号を生成する第１のフィルタ処理部と、
前記第１の画像信号とは位相の異なる第２の画像信号に対して、前記第１のフィルタとは異なり、低周波成分を抽出するとともに位相差補正を行う第２のフィルタによるフィルタリングを行うことで、前記第１の低周波輝度信号と同じ位相の第２の低周波輝度信号を生成する第２のフィルタ処理部と、
前記第１の低周波輝度信号および前記第２の低周波輝度信号に基づいて動き判定を行う動き判定部と
を備える信号処理装置。
（２）
前記動き判定の結果に基づいて、前記第１の画像信号と前記第２の画像信号を合成する合成部をさらに備える
（１）に記載の信号処理装置。
（３）
撮像を行うことで、前記第１の画像信号および前記第２の画像信号を生成する撮像部をさらに備える
（１）または（２）に記載の信号処理装置。
（４）
前記撮像部は、前記第１の画像信号を得るための複数の第１の画素と、前記第１の画素とは感度が異なる、前記第２の画像信号を得るための複数の第２の画素とを有している
（３）に記載の信号処理装置。
（５）
前記第１の画素は、前記第２の画素よりも大きい
（４）に記載の信号処理装置。
（６）
前記第２のフィルタは、前記第１のフィルタと同じサイズのフィルタである
（１）乃至（５）の何れか一項に記載の信号処理装置。
（７）
前記第２のフィルタは、前記第１のフィルタとは異なるサイズのフィルタである
（１）乃至（５）の何れか一項に記載の信号処理装置。
（８）
信号処理装置が、
第１の画像信号に対して、低周波成分を抽出する第１のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号を生成し、
前記第１の画像信号とは位相の異なる第２の画像信号に対して、前記第１のフィルタとは異なり、低周波成分を抽出するとともに位相差補正を行う第２のフィルタによるフィルタリングを行うことで、前記第１の低周波輝度信号と同じ位相の第２の低周波輝度信号を生成し、
前記第１の低周波輝度信号および前記第２の低周波輝度信号に基づいて動き判定を行う
信号処理方法。
（９）
第１の画像信号に対して、低周波成分を抽出する第１のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号を生成し、
前記第１の画像信号とは位相の異なる第２の画像信号に対して、前記第１のフィルタとは異なり、低周波成分を抽出するとともに位相差補正を行う第２のフィルタによるフィルタリングを行うことで、前記第１の低周波輝度信号と同じ位相の第２の低周波輝度信号を生成し、
前記第１の低周波輝度信号および前記第２の低周波輝度信号に基づいて動き判定を行う
ステップを含む処理をコンピュータに実行させるプログラム。

１１ 信号処理装置， ２１ イメージセンサ， ２２ 信号生成部， ２３ 動き判定部， ２４ HDR合成部， ３１ 大画素フィルタ処理部， ３２ 小画素フィルタ処理部

Claims (9)

1. 第１の画像信号に対して、低周波成分を抽出する第１のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号を生成する第１のフィルタ処理部と、
   前記第１の画像信号とは位相の異なる第２の画像信号に対して、前記第１のフィルタとは異なり、低周波成分を抽出するとともに位相差補正を行う第２のフィルタによるフィルタリングを行うことで、前記第１の低周波輝度信号と同じ位相の第２の低周波輝度信号を生成する第２のフィルタ処理部と、
   前記第１の低周波輝度信号および前記第２の低周波輝度信号に基づいて動き判定を行う動き判定部と
   を備える信号処理装置。
2. 前記動き判定の結果に基づいて、前記第１の画像信号と前記第２の画像信号を合成する合成部をさらに備える
   請求項１に記載の信号処理装置。
3. 撮像を行うことで、前記第１の画像信号および前記第２の画像信号を生成する撮像部をさらに備える
   請求項１に記載の信号処理装置。
4. 前記撮像部は、前記第１の画像信号を得るための複数の第１の画素と、前記第１の画素とは感度が異なる、前記第２の画像信号を得るための複数の第２の画素とを有している
   請求項３に記載の信号処理装置。
5. 前記第１の画素は、前記第２の画素よりも大きい
   請求項４に記載の信号処理装置。
6. 前記第２のフィルタは、前記第１のフィルタと同じサイズのフィルタである
   請求項１に記載の信号処理装置。
7. 前記第２のフィルタは、前記第１のフィルタとは異なるサイズのフィルタである
   請求項１に記載の信号処理装置。
8. 信号処理装置が、
   第１の画像信号に対して、低周波成分を抽出する第１のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号を生成し、
   前記第１の画像信号とは位相の異なる第２の画像信号に対して、前記第１のフィルタとは異なり、低周波成分を抽出するとともに位相差補正を行う第２のフィルタによるフィルタリングを行うことで、前記第１の低周波輝度信号と同じ位相の第２の低周波輝度信号を生成し、
   前記第１の低周波輝度信号および前記第２の低周波輝度信号に基づいて動き判定を行う
   信号処理方法。
9. 第１の画像信号に対して、低周波成分を抽出する第１のフィルタによるフィルタリングを行うことで、第１の低周波輝度信号を生成し、
   前記第１の画像信号とは位相の異なる第２の画像信号に対して、前記第１のフィルタとは異なり、低周波成分を抽出するとともに位相差補正を行う第２のフィルタによるフィルタリングを行うことで、前記第１の低周波輝度信号と同じ位相の第２の低周波輝度信号を生成し、
   前記第１の低周波輝度信号および前記第２の低周波輝度信号に基づいて動き判定を行う
   ステップを含む処理をコンピュータに実行させるプログラム。

Images