JP2022030812A - 画像処理装置及び撮像装置及びそれらの制御方法及びプログラム - Google Patents

Abstract

【課題】 被写体に応じて解像度と電力を制御する。【解決手段】画像処理装置は、撮像手段に、高解像度の画像データを出力させる第１のモードと、低解像度の画像データの出力させる第２のモードのいずれかを実行する制御部と、画像データに対して、低解像度の画像データの出力することに起因して信号レベルが減衰する帯域の空間周波数に関する指標値を求める評価部とを有する。ここで、評価部は、低解像度の画像データの指標値を機械学習によって検出する検出部とを含む。そして、読み出し制御部は、その指標値に基づき、第１、第２のモードのいずれかを選択する。【選択図】 図１

Description

本発明は、画像処理装置及び撮像装置及びそれらの制御方法及びプログラムに関するものである。

デジタルカメラ等の撮像システムにおいて、ライブビュー表示用のディスプレイの解像度や動画のフォーマットに応じて、出力画素数を抑える駆動が用いられることがある。

特許文献１には、固体撮像素子から、画素混合による読み出しを行うことにより、高速、低電力な動画撮影を行う手法が提案されている。高速な読み出しにより、１フレームの時間において読み出しを行わない期間を生成でき、例えばＡＤ変換器の電源を当該期間において落とすことで、同一のフレームレートにて画素混合を行わず全ての画素を読み出す手法に比べ１フレームの画像取得にかかる電力を低減することが可能である。

ところで、一般的に用いられているベイヤ配列を用いた固体撮像素子では、画素を赤・緑・青の色に対応した画素に振り分けており、各画素にて全ての色情報を取得することができない。つまり、各画素の対応していない色情報は、現像時にデモザイク処理にて補間を行って得ている。この結果、高空間周波数の情報が失われるため、例えば各画素で３色の色情報を得る３板式の撮像装置などに比べ、解像感は落ちる。混合処理によって動画のフォーマットに応じた出力画素数で読み出す場合には、同様に高空間周波数の情報が失われている。

一方、画素混合を行わずに読み出すことで、動画フォーマット等で必要な画素数より多い画素数を固体撮像素子から読み出し、現像時に縮小することで高解像度な動画を生成することが可能である。高空間周波数の情報を保ったままデモザイク処理を行った後に縮小するので解像度の向上を行うことができる。対して、ＡＤ変換を行う画素数が増加し処理に時間がかかるため、同一フレームレートにおいて画像取得にかかる電力が増大してしまう。

また、メモリ容量の観点から、データサイズを抑制したいという要望もある。画像データの画素数を抑えることでデータサイズを抑制することができるが、画素数を抑えることによって高空間周波数の情報が減少してしまう。

このように固体撮像素子からの読み出す画素数に応じて、電力と画質のトレードオフ、あるいは、データサイズと画質のトレードオフが発生する。

ところで、近年、機械学習による画像認識が用いられている。撮像した画像データに対して、例えば、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）を用いた機械学習で特徴抽出を行う技術がある。特許文献２には、イメージセンサー内に特徴抽出部を備える特徴抽出素子が開示されている。

特開２００４－３１２１４０号公報 ＷＯ２０１７／１６８６６５号公報

しかしながら、被写体に応じて高解像度が必要な場合と、不要な場合がある。そのため、被写体に適した解像度と電力のトレードオフの設定が困難であるという課題や、被写体に適した解像度とデータサイズのトレードオフの設定が困難であるという問題がある。特に、画素混合などを用いた低解像度の読み出し時において、高空間周波数の情報が失われているため、画像を元に判断することが困難であった。

本発明は、被写体に応じた解像度と電力を制御する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
撮像手段に、第１の解像度の画像データを出力させる第１のモードと、前記第１の解像度よりも低い第２の解像度の画像データを出力させる第２のモードの、いずれかを実行する制御手段と、
取得した画像データに対して、前記第２の解像度の画像データを出力させることにより前記第１の解像度の画像データよりも前記第２の解像度の画像データにおいて信号レベルが減衰する帯域の空間周波数に関する指標値を求める評価手段とを有し、
該評価手段は、前記第２の解像度の画像データの前記指標値を機械学習によって検出する検出手段とを含み、
前記制御手段は、前記検出手段で検出された前記指標値に基づき、前記第１、第２のモードのいずれかを選択することを特徴とする。

本発明によれば、被写体に応じて解像度と電力を制御することが可能になる。

第１の実施形態に係る画像処理装置としての撮像装置の構成を示す図。 第１の実施形態に係る固体撮像素子の構成を示す図。 第１の実施形態に係る低解像度読み出しにおける混合画素を示す図。 第１の実施形態に係る空間周波数検出部の構成を示す図。 第１の実施形態に係る検出結果と読み出し画素数の関係を示す表。 第１の実施形態に係る撮像装置の読み出し制御を示すタイミングチャート。 第１の実施形態に係る学習部の構成を示す図。 第２の実施形態に係る固体撮像素子の構成を示す図。 第２の実施形態に係る空間周波数検出部の構成を示す図。 第３の実施形態に係る学習部の構成を示す図。 第４の実施形態に係る検出結果と画像取得回数の関係を示す図。 第４の実施形態に係る撮像装置の読み出し制御を示すタイミングチャート。 第４の実施形態に係る固体撮像素子のシフト駆動を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
第１の実施形態における画像処理装置、固体撮像素子、及びその駆動方法について説明する。

本第１の実施形態では、画素混合を用いた読み出しによる低解像度画像から、機械学習を用いた空間周波数検出部が、全ての画素を読み出す高解像度画像における空間周波数を空間周波数情報として検出する。それにより、被写体による空間周波数に応じて第１の読み出しとしての高解像度画像の読み出しと、第２の読み出しとしての低解像度画像の読み出しを切り替えるものである。

図１は第１の実施形態に係る画像処理装置としての撮像装置のブロック構成図である。

固体撮像素子１００は、光学系である撮影レンズ１０１により結像した光学像を信号に変換する。レンズ駆動部１０２は、制御部１０３からの制御信号に応じて、撮影レンズ１０１に対してフォーカス駆動、及び絞り駆動を行う。

制御部１０３は、ＣＰＵ及びＣＰＵが実行するプログラムを格納したＲＯＭ、及びワークエリアとして使用するＲＡＭで構成される。そして、制御部１０３は、固体撮像素子１００の制御、固体撮像素子１００より出力された信号の補正・現像を含む、撮像装置全体の制御を行う。加えて、制御部１０３は、動画フォーマット等で必要な解像度（画素数）以上の画像データを固体撮像素子１００より取得し、現像時には、動画フォーマットとなる解像度まで縮小することで、動画像データを生成する。

メモリ部１０４は、画像データを一時的に保存し、表示部１０５は各種情報や撮影画像の表示を行う。記録部１０６は、画像データの記録や読み出しを行う為の、半導体メモリ等の着脱可能な記録部である。操作部１０７は、撮像装置の各種インターフェースである。制御部１０３は、操作部１０７からの信号に従い、各ブロックを制御して、ユーザが意図した処理を行う。

続いて、本実施形態の固体撮像素子１００の構成について説明する。図２は、第１の実施形態に係る固体撮像素子１００の構成を示す回路図である。

画素部２００には、光電変換部（フォトダイオード）を備えた複数の単位画素が行列状に配置され、各画素は入射光を電気信号に変換し、画素信号としてＡＤ変換部２０１へ出力する。画素部２００は、読み出し制御部２０２により制御され、全単位画素を個別に読み出す高解像度読み出しと、複数の単位画素の画素信号を混合して読み出す低解像度読み出しを有する。単位画素と混合の組み合わせに関しては図３を用いて説明する。なお、高解像度読み出しで得られたデータを縮小することで得られる動画像データと、低解像度読み出しで得られる動画像データの画素数が同じであっても、前者のほうが高い解像感を有する動画像データとすることができる。これは、高解像度読み出しで得られたデータを縮小する際に、エッジ強度、エッジ方向、あるいは、ノイズ状態等を解析して適応的なフィルタ処理を行うことで、高周波成分の信号レベルの低下を抑制することができるためである。

ＡＤ変換部２０１は画素部２００から出力されたアナログの画素信号をデジタル信号に変換する。例えば、ＡＤ変換部２０１は、画素部２００の各列に対応した複数のＡＤ変換器を備え、画素部２００からのアナログの画素信号を行単位で並列にデジタル信号に変換する。ＡＤ変換した画素信号はＡＤ変換結果としてメモリ２０３に送出される。ＡＤ変換部２０１は、高解像度読み出しにおいては、全てのＡＤ変換器が使用される。一方、低解像度読み出しにおいては、例えば２列中１列のＡＤ変換器のみ使用され、且つ、２行中１行（偶数行もしくは奇数行）時のみ駆動する。その為、低解像度読み出しにおいては、１フレームの画像の読み出しにかかるＡＤ変換部２０１の消費電力は、高解像度読み出し時と比べて低下する。また、低解像度読み出しでは、高解像度読み出しに比べ、画素部２００の同じ範囲内においてＡＤ変換部２０１から少ない数のＡＤ変換結果が出力される。

読み出し制御部２０２は、画素部２００及びＡＤ変換部２０１の制御を行う。なお、実施形態における読み出し制御部２０２は、所定のフレームレート（例えば３０フレーム／秒）で読み出しを行うものとする。

メモリ２０３は、ＡＤ変換部２０１からのデジタルの画素信号を一時的に保持する信号保持部として機能する。メモリ２０３は、複数フレームの画素信号を保持できるように構成されている。

空間周波数検出部２０４は、メモリ２０３に一時的に保持された画素信号から、１フレームの画像における空間周波数を検出する。また、空間周波数検出部２０４は、畳み込みニューラルネットワーク等の機械学習アルゴリズムを用いた学習モデルを備える。このような構成により、低解像度読み出し時に入力される低解像度画像から、高解像度読み出しにおける空間周波数を検出する。すなわち、低解像度画像から、高解像度読み出しをした場合の、低解像度読み出しをすることに起因して信号レベルが減衰してしまった帯域の空間周波数レベルを推定する。高解像度読み出し時においては、低解像度画像に変換してから高解像度読み出しにおける空間周波数を検出しても良く、もしくは学習モデルを用いずに、公知の周波数分析手段によって空間周波数を検出してもよい。空間周波数検出部２０４は、検出結果を読み出し制御部２０２に出力する。読み出し制御部２０２は、検出結果に基づき、高解像度読み出し・低解像度読み出しを切り替える。

学習部２０５は、メモリ２０３に保持された高解像度画像を用いて、低解像度画像から高解像度読み出しにおける空間周波数を検出できるように、空間周波数検出部２０４の学習モデルを機械学習させるためのものである。この学習部２０５の詳細は図７を用いて後述する。

続いて、図３を参照して、低解像度読み出しにおける、単位画素の混合の組み合わせについて説明する。図３は、第１の実施形態に係る低解像度読み出しにおける混合画素を示す図である。図３では、説明の簡易化のために、画素部２００に同色の単位画素３００が、水平２４画素×垂直１２画素の合計２８８画素配置された例を示している。実際には画素部２００は、赤色・緑色・青色の入射光にそれぞれ対応したＲ、Ｇ、Ｂカラーフィルタを備えた単位画素３００がベイヤ配列で配置される。

隣接する同色の水平２画素・垂直２画素の単位画素３００は、混合画素３０１として、不図示の垂直線やＡＤ変換器においてアナログ信号として混合され、１つのデジタルの画素信号としてＡＤ変換される。つまり、低解像度読み出しでは、混合画素３０１が水平１２画素×垂直６画素の合計７２画素が読み出され、読み出す画素数は高解像度読み出しに比べ１／４となる。

次に図４を用いて、空間周波数検出部２０４の空間周波数検出処理の詳細を説明する。

図４は、第１の実施形態に係る空間周波数検出部２０４の構成を示す図である。空間周波数検出部２０４は、学習モデル４０１と判定部４０６を備える。

学習モデル４０１は、畳み込みニューラルネットワークを用いた学習モデルであり、入力層４０２、中間層４０３、出力層４０４という３層構造の処理層を備える。なお、図４では、中間層が１層である場合を示しているが、中間層は複数層設けられてもよい。

入力層４０２、中間層４０３、および出力層４０４は、入力された低解像度画像４００の高解像度読み出しにおける空間周波数の判定を並行して行う複数のノード４０５を備える。

入力層４０２の各ノードは、それぞれ中間層４０３の全ノードと接続される。中間層の各ノードは、それぞれ出力層４０４の全ノードと接続される。このように、学習モデル４０１は、ノード同士が接続されたニューラルネットワーク構造となっている。

入力層４０２のノード４０５には、メモリ２０３に保持された低解像度画像４００が入力される。高解像度読み出し時には、不図示の圧縮部によって画素混合と同様の処理が行われ、低解像度画像に変換された結果が入力される。

入力層４０２の各ノードは、入力された低解像度画像から高解像度読み出しにおいて高い空間周波数を含むかどうか判定を行い、高解像度読み出しにおいて該当する空間周波数の画像である可能性が高いほど高い重みづけをした判定結果を中間層４０３のノードへ出力する。中間層４０３も同様の判定を行い、該当する空間周波数の画像である可能性が高いほど高い重みづけをした判定結果を出力層４０４のノードへ出力する。出力層４０４は最終的に入力された低解像度画像が、高解像度読み出しにおいてどれくらいの高い空間周波数を含むか否かを所定の空間周波数レベル毎にそれぞれ重み付けした判定結果４０７を判定部４０６に出力する。判定部４０６は、周波数変換による高周波の含む程度を表す指標値を出力する。具体的には、判定部４０６は、例えば、Ａ～Ｅまでの５段階の空間周波数に分け、いずれの空間周波数が多いかを判定する。判定Ａは、高解像度読み出しにおいて最も高い空間周波数を多く含むことを示す。また、判定Ｅは、高解像度読み出しにおいて高い空間周波数が最も少ないことを示す。なお、ここでは空間周波数レベルを５段階に分離するものとしているが、分類する空間周波数レベルの数に特に制限はない。

判定部４０６は、出力層４０４から出力された空間周波数レベル毎に重みづけされた判定結果４０６をもとに、高解像度読み出しにおける空間周波数のレベルを判定し、その結果４０８を出力する。より具体例を示すと、判定部４０６は、判定結果４０７の内、最も重みづけの強い結果となった空間周波数のレベルを、判定結果（評価結果）４０８として出力する。この判定結果は、空間周波数検出結果情報として読み出し制御部２０２に送出される。

ここで、学習モデル４０１が、低解像度画像を元に高解像度読み出しにおいて、各々の空間周波数レベルを含むか否かの重みづけを精度よく行うためには、入力された低解像度画像と、高解像度で読み出した場合にどの程度の空間周波数が含まれているかを示す正解データとからなる教師データをもとにした機械学習を行う必要がある。この学習方法の詳細は図７で説明する。

続いて、図５を参照して、読み出し制御部２０２の制御について説明する。図５は、第１の実施形態に係る検出結果と読み出し画素数（水平画素数×垂直画素数）の関係を示す表である。図５では４Ｋ動画を撮影する際の読み出し制御部２０２の制御を示している。

読み出し画素数７６８０×４３２０は高解像度読み出しに対応しており、読み出された高解像度画像は、制御部１０３にて現像後に縮小されることで高解像度な４Ｋ動画のフレームを生成する。一方、読み出し画素数３８４０×２１６０は、低解像度読み出しに対応している。空間周波数の検出結果が高いことを示している場合には高解像度読み出しに設定され、検出結果が低いことを示している場合には、低解像度読み出しに設定されるように制御される。高い空間周波数を含まない場合に低解像度読み出しに設定することで、画質を損なうことなく電力を低減することが可能である。

本実施形態の撮像装置では、画質優先モードと電力優先モードの２モードがある。例えば電池の残量が多い場合に画質優先モードに設定され、それ以外の場合には電力優先モードに設定される。また、例えば動画撮影時の発熱による動画中断を回避するために、撮像装置が高温の場合に電力優先モードに設定しても良い。このように撮像装置がモードを設定しても良いが、ユーザが予めモードを設定できる構成としても良い。なお、残量の多少や、温度の高低の判定は、それぞれに設定された閾値との比較に従って判定されることになる。

画質優先モードと電力優先モードでは、低解像度読み出しと高解像度読み出しが切り替わる、検出結果の閾値が異なる。図５の例では、画質優先モードでは検出結果ＤとＥの間で切り替わり、電力優先モードでは、検出結果ＢとＣの間で切り替わるように制御される。このような複数のモードにより閾値を異ならせることにより、より状況に適した画質と電力の両立を図ることが可能となる。

続いて、図６を参照して、本実施形態による撮像装置の読み出し制御について説明する。

図６は、第１の実施形態に係る撮像装置の読み出し制御を示すタイミングチャートである。図６では、動画撮影における読み出し制御が切り替わる６フレームの一例を示している。また、ここでは画質優先モードでの例を示している。電力優先モードに関しては閾値が異なるのみなので説明を省略する。

図中、「画素部読み出し制御」では、画素部２００から読み出される単位画素３００の行と読み出すタイミングを模式的に表している。なお、説明の簡易化のために、１フレームで読み出す単位画素３００の行数を１２行として図示している点に注意されたい。また、図中、「検出部処理／結果」は、空間周波数検出部２０４の検出処理を行うタイミングと検出結果を示している。

続いてタイミングに沿って、固体撮像素子の駆動を説明する。タイミングｔ６００では、最初の１フレームの高解像度読み出しが開始され、単位画素３００の画素信号が１行順次でＡＤ変換される。最初の１フレームはどのような空間周波数を含むか情報がないので、高解像度読み出しが行われる。

タイミングｔ６０１では、次のフレームの読み出しが開始される。このタイミングではまだ検出結果がないため、引き続き高解像度読み出しが開始される。また、同時に１フレーム目の画像を元に空間周波数検出部２０４で空間周波数の検出が行われる。

タイミングｔ６０２では、検出処理（１フレーム目の画像に対する検出処理）が終わり、検出結果Ｅが出力される。当該検出結果に応じて読み出し制御部２０２は次のフレームの開始時から読み出しの制御を切り替える。

タイミングｔ６０３では、次のフレームの読み出しが開始される。空間周波数検出部２０４の検出結果Ｅに応じて、低解像度読み出しが行われる。画素部２００では、隣接する２行の単位画素３００が混合画素３０１として同時に読み出される。そのため、２行順次で読み出しが行われるが、読み出しの間隔を調整することで、１フレームの画像取得にかかる読み出し時間が変わらないようにすることが望ましい。これは、行順次で読み出すことによる高速に移動する被写体が歪んで見える現象の影響を、高解像度読み出しと低解像度読み出しで揃えることにより、不連続な切り替わりによって同現象が視認されやすくなることを防ぐことが可能だからである。

タイミングｔ６０４では被写体の状況が変わった画像の読み出しが行われる。例えば、絞りが解放にちかくボケが強い被写体から、レンズの絞りが絞り込まれたことによって空間周波数が高く変化する。タイミングｔ６０６では、被写体の状況の変化により、検出結果Ｄが出力される。低解像度読み出しにおいても、機械学習を用いた空間周波数検出部２０４では、高解像度読み出しにおける空間周波数を検出することができるため、被写体の変化による空間周波数の変化を検知することが可能である。

タイミングｔ６０７では、検出結果Ｄに応じて、高解像度読み出しに切り替わり、１フレームの読み出しが開始される。

なお、制御部１０３は、タイミングｔ６００、ｔ６０１、ｔ６０７で読み出した高解像度のフレームの現像処理では低解像度の画像データを生成する。この結果、全フレームの解像度を統一した動画像のフレームを生成し、出力する。

続いて、本実施形態による撮像装置の学習部２０５及び学習処理について説明する。図７は、第１の実施形態に係る学習部２０５の構成を示す図である。

学習部２０５は、高解像度画像を使用して、低解像画像から高解像度読み出しにおける空間周波数のレベルを検出（もしくは推定）するための学習モデルを生成する。

学習部２０５は解像度低減部７０１、正解データ生成部７０３、学習モデル調整部７０５により構成される。

学習部２０５には、メモリ２０３から学習用データとしての高解像度画像７００が入力される。

解像度低減部７０１は、入力された高解像度画像７００を低解像度再現画像７０２に変換する。変換処理は画素部２００及びＡＤ変換部２０１での混合処理を再現する処理である。本実施形態では、隣接する水平２画素×垂直２画素の合計４画素の平均出力を１つの混合画素の画素信号とする処理が行われる。

正解データ生成部７０３は、入力された高解像度画像７００の空間周波数レベルを算出する。具体的には、公知の空間周波数検出処理、例えば２次元フーリエ変換が行われ、空間周波数を算出する。そして、振幅が閾値を越える周波数成分の内、最大となる周波数によって、入力された高解像度画像７００の空間周波数のレベルを決定し、正解データ７０４を出力する。

学習モデル調整部７０５は、低解像度再現画像７０２と正解データ７０４を入力し、低解像度再現画像７０２から正解データである高解像度画像の空間周波数レベルを関連付けて検出できるように、図４に示した学習モデルの各ノード４０５の出力を調整する。

以上の処理を、複数の高解像度画像７００で繰り返し行うことで、低解像度画像から高解像度読み出しにおける空間周波数のレベルを学習モデルが検出できるようになる。

上記学習処理は、例えば、撮像装置の工場調整時に行われるが、出荷後に学習処理を行う学習モードを備え、ユーザが撮像装置の撮影モードを学習モードに設定した際に行うようにしても良い。

以上で述べた構成により、本第１の実施形態の撮像装置は、低解像度読み出しにおいても、高解像度読み出しにおける空間周波数を検出することができるため、被写体が高い空間周波数を含む状況に変化した際にも適した読み出し方法を選択することができる。このように、常に被写体に応じて解像度と電力を制御することが可能である。

なお、本実施形態において学習部２０５は固体撮像素子１００の内部に配置したがこれに限らず、固体撮像素子１００の外部で行う構成でも良い。

また、本実施形態において、低解像度読み出しを複数の単位画素を混合処理する構成としたがこれに限らず、例えば複数の単位画素の内１つの単位画素の画素信号を代表値として出力する構成でも良い。

また、上記実施形態では、個体撮像素子１００における画素部２００は単一色成分の画素データを出力するものとして説明した。そして、低解像度の読み出し画像の１画素が、高解像度の読み出し画像の２×２画素に相当するものとすることで、低解像度画像の読出時のＡ／Ｄ変換部２０１の稼働率を、高解像度時のそれの１／４とすることで電力削減を行うことができる。

［第２の実施形態］
以下、図８、図９を参照して、本第２の実施形態による、固体撮像素子について説明する。第２の実施形態は、画素部内の一部の領域毎に、空間周波数の検出及び高解像度読み出し・低解像度読み出しの切り替えを行う。つまり、領域毎に被写体に応じた解像度と電力の制御が行えるものであり、領域毎に含まれる空間周波数が異なる状況においても、より適した制御が行えるものである。

以下、本第２の実施形態では、先に説明した第１の実施形態と異なる点について説明する。

初めに、第２の実施形態による固体撮像素子の構成について説明する。図８は、第２の実施形態に係る固体撮像素子１００の構成を示す回路図である。

第２の実施形態における固体撮像素子１００は、第１の実施形態による固体撮像素子と比べ、画素部８００とＡＤ変換部８０２の構成が異なる。

画素部８００は、複数の分割画素領域８０１が行列状に配置されている。分割画素領域８０１は画素部８００に配置された単位画素を行列状に分割するように構成され、図８の例では、水平方向に６分割、垂直方向に３分割するように構成される。

ＡＤ変換部８０２は、複数のＡＤ変換器８０３が行列状に配置されている。ＡＤ変換器８０３は、分割画素領域８０１と同数で、同様に配置されており、同位置に配置された分割画素領域８０１に配置された単位画素の画素信号のＡＤ変換を行う。

読み出し制御部８０４は分割画素領域８０１及び対応するＡＤ変換器８０３毎に制御を行う。この構成により同一の分割画素領域８０１に配置された単位画素の画素信号を順にＡＤ変換を行う処理をそれぞれのＡＤ変換器８０３が行うことで１フレームの画像の読み出しを行う。

高解像度読み出しでは、ＡＤ変換器８０３はそれぞれ対応する分割画素領域８０１の全ての単位画素の画素信号に対し個別に順次ＡＤ変換を行う。

一方、低解像度読み出しでは第１の実施形態と同様に、隣接する同色の水平２画素・垂直２画素の単位画素は、混合画素として、不図示の信号線やＡＤ変換器においてアナログ信号として混合され、１つのデジタルの画素信号としてＡＤ変換される。そして、ＡＤ変換器８０３はそれぞれ対応する分割画素領域８０１の全ての混合画素の画素信号に対し個別に順次ＡＤ変換を行う。混合画素としてＡＤ変換を行うことで、第１の実施形態と同様に、手解像度読み出しにおいて読み出す画素数は高解像度読み出しに比べ１／４となる。そのため、低解像度読み出しでは、高解像度読み出しに比べ、分割画素領域８０１においてＡＤ変換部８０２から、より少ない数のＡＤ変換結果が出力される。

読み出された領域毎の高解像度画像と低解像度画像は、制御部１０３にてそれぞれ現像される。その際に高解像度画像は縮小処理がされた上で、低解像度画像と合成される。これにより、動画フォーマットに合った画素数の１フレームが生成される。

このような構成により、分割画素領域８０１及び対応するＡＤ変換器８０３毎に高解像度読み出し・低解像度読み出しが切り替えられる構成となっている。低解像度読み出しにおいては、１フレームの画像の読み出しにおいて、ＡＤ変換器８０３が行うＡＤ変換の回数が抑制される。そのため、ＡＤ変換を行わない間にＡＤ変換器８０３の電源を落とすことが可能となるため電力の削減効果が得られる。

続いて図９を参照して、第２の実施形態による空間周波数検出部８０６の構成について説明する。

図９は、本第２の実施形態に係る空間周波数検出部の構成を示す図である。入力層９０２のノード９０５には、低解像度画像９００の内、分割画素領域８０１に対応して、分割された領域毎に順次入力される。分割画素領域に含まれる空間周波数のレベルの検出は、第１の実施形態と同様の処理が順次行われ、図中、９０９に示すような領域毎の検出結果として読み出し制御部８０４へと出力される。

読み出し制御部８０４は当該領域毎の検出結果に基づき、分割画素領域及びＡＤ変換器８０３の高解像度読み出し／低解像度読み出しを切り替える制御を行う。

以上で述べた構成により、本実施の形態の撮像装置においても第１の実施形態と同様に、被写体に応じて解像度と電力を制御することが可能である。加えて、領域毎に被写体に応じた解像度と電力の制御が行えるものであり、領域毎に含まれる空間周波数が異なる状況においても、より適した制御が行えるものである。

［第３の実施形態］
以下、図１０を参照して第３の実施形態における画像処理装置としての撮像装置の構成について説明する。

本第３の実施形態は、学習部の他の構成例を示すものであり、低解像度読み出しによって低解像度画像に発生するノイズによる空間周波数レベルの正解データを生成するものである。この学習モデルを使用することで、空間周波数検出部２０４では、低解像度画像のノイズの空間周波数を検出し、ノイズによる画質劣化を防止するよう制御することができる。

以下では、上記第１、第２の実施形態と異なる点について説明する。

本第３の実施形態において、複数の単位画素の内１つの単位画素の画素信号を代表値として出力する。例えば、偶数列・偶数行の単位画素のみを読み出すことで、１／４の画素数の低解像度読み出しを行う。これにより、低解像度読み出しでは、画素部の同じ範囲内において高解像度読み出しに比べ、ＡＤ変換部から少ない数のＡＤ変換結果が出力される。このように、一定の間隔で離散的に単位画素を読み出すので、低解像度画像には、モアレと呼ばれる折り返しノイズが発生する可能性がある。本実施形態では、折り返しノイズを抽出し正解データの生成に用いる。

以下、本第３の実施形態における学習部２０５の構成について説明する。図１０は、本第３の実施形態に係る学習部２０５の構成図である。

学習部２０５における、解像度低減部１００１、伸長部１００３、抽出部としての減算部１００４、正解データ生成部１００５が、これまでの実施形態と異なる。

解像度低減部１００１は、第１の実施形態と同様に低解像度読み出しを再現するが、本第２の実施形態では画素信号を混合するのではなく、偶数列・偶数行の画素信号のみを抽出することで解像度を低減し、低解像度画像１００２を出力する。

伸長部１００３は、低解像度画像１００２を、元の高解像度画像と同じ画素数となるように伸長する。例えば、抽出した単位画素の画素信号を隣接した水平２画素、垂直２画素の信号に複製することで、画素数を４倍にし、元の高解像度画像と同じ画素数に伸長する。

減算部１００４では、伸長部１００３から出力された伸長画像から、元の高解像度画像１０００を減算し、差分画像を出力する。これにより、低解像度読み出しによる折り返しノイズを抽出した画像（差分画像）を出力することができる。

正解データ生成部１００５は、折り返しノイズ抽出画像に、公知の空間周波数検出処理、例えば２次元フーリエ変換を行い、折り返しノイズの空間周波数を算出する。そして、折り返しノイズの空間周波数を所定の閾値と比較し、空間周波数レベルとして正解データ１００６を生成する。より具体的には、例えば折り返しノイズの空間周波数の低い時は、元の高解像度画像に高い空間周波数が含まれるものとしてレベル付けし正解データとする。

学習モデル調整部１００７では、第１の実施形態と同様に、低解像度再現画像１００２から正解データである高解像度画像の空間周波数レベルを関連付けて検出できるように、学習モデルの各ノードの出力を調整する。

このような構成とすることで、画像としてノイズとして視認されやすい低い空間周波数の折り返しノイズが発生する状況において、高解像度読み出しに切り替えることができ、画質の劣化を抑えることが可能となる。

以上で述べた構成により、本実施の形態の撮像装置においても第１及び第２の実施の形態と同様に、被写体に応じて解像度と電力を制御することが可能である。加えて、折り返しノイズによる画質劣化を防止するよう制御することができる。

［第４の実施形態］
以下、図１１、図１２を参照して第４の実施形態における画像処理装置としての撮像装置の構成について説明する。

第４の実施形態は、固体撮像素子の位置をシフトしながら複数回の撮像を行い、それぞれの撮像で得た画像を合成することで高解像度の静止画像を得る。そして、本第４の実施形態では、撮影前の表示用画像を用いて画像の取得回数（撮像回数）を制御するものである。

このため、画素部２００はその位置を移動するため機構を有し、制御部１０３がその機構を制御するものとする。なお、画素部２００の移動の代わりに、画素部２００の結像面の前面に透明な平板（ガラス板）を設け、この平板を回動させることで、光を屈折させることで、結像する画素位置を変更するようにしても構わない。

画像を取得する回数を増やすと、すべての画像を取得するのに時間がかかるため、被写体が変化した際に合成した画像にノイズが発生しやすい。そのため、被写体の空間周波数に応じて取得回数を制御することで、上記駆動による効果を得にくい条件において、ノイズの発生を抑制することが可能となる。また、取得回数を低減することで画像取得にかかる電力を削減することができるため、第１～第３の実施形態と同様に電力を低減する効果得られるものである。

以下、本第４の実施形態における、上記第１～第３の実施形態と異なる点について説明する。

初めに、図１１を参照して、本第４の実施形態の読み出し制御部２０２の制御について説明する。

図１１は、第４の実施形態に係る検出結果と画像取得回数の関係を示すテーブルである。このテーブルは、制御部１０３内の不図示のＲＯＭに格納されているものとする。

高解像度読み出しにおいて高い空間周波数が含まれる場合である検出結果ＡもしくはＢである場合には、１６ショットの画像を取得し合成する。そして、検出結果ＣもしくはＤでは４ショットの画像を取得し合成する。そして、検出結果がＥの場合は、１ショットの画像のみ取得し、合成処理は行われない。この結果、少なくとも画素部２００が持つ解像度以上の画像を得ることができる。

続いて、図１２を参照して第４の実施形態によるによる撮像装置の読み出し制御について説明する。

図１２は、第４の実施形態に係る撮像装置の読み出し制御を示すタイミングチャートである。

図中の“レリーズ”はユーザが操作部１０７としてのレリーズボタンを操作したタイミングを示している。また、“撮像素子シフト駆動”は固体撮像素子１００の位置をシフトさせる駆動を行うタイミングを示している。具体的なシフト駆動制御に関しては、図１３を参照して説明する。

“画素部読み出し制御”に示す、空白の矩形図では、第１の実施形態と同様に単位画素、もしくは混合画素の読み出す行とタイミングを示している。一方、斜線パターンの矩形図は、フォトダイオードのリセットを行う単位画素の行とタイミングを示している。また、図中の行を示す数字は、同色のみを考慮した行数を示しており、実際には、ベイヤ配列の２行ずつ処理される。

“全体制御演算部”では、固体撮像素子をシフトしながら撮影した複数ショットの画像を合成し、高解像度な静止画像を生成する処理を行うタイミングを示している。

上記タイミングに沿って、本第４の実施形態の撮像装置の駆動を説明する。

タイミングｔ１２００では、ライブビュー表示に用いられる表示用画像取得が行われる。表示用画像取得は、消費電力を抑えるために、表示部１０５の解像度に合わせて低解像度読み出しが連続的に行われる。低解像度読み出しは、フォトダイオードのリセットと画素信号の読み出しが順次行われ、前記リセットから読み出しまでの間の期間にフォトダイオードに入射した光に応じた画素信号が読み出される。この際に、空間周波数検出部２０４では、読み出される低解像度画像を元に、高解像度読み出しである記録用画像取得における空間周波数レベルを検出する。

タイミングｔ１２０１は、レリーズボタンが押されたタイミングを表している。レリーズボタンが押下されると、制御部１０３は、表示用画像取得を終了する。

タイミングｔ１２０２にて、表示用画像の空間周波数検出結果が出力され、当該検出結果を元に記録用画像取得が開始される。図１２の例では、検出結果がＣであるので、制御部１０３は、図１１のテーブルに基づき４ショットの画像の取得合成の駆動を行うとして決定する。そして、制御部１０３は、これに合わせて固体撮像素子１００のシフト駆動を行う。なお、最初の１ショットの読み出しにおいてシフト駆動を省略することもできる。

タイミングｔ１２０３にて、制御部１０３は、固体撮像素子１００のシフト駆動の終了したタイミングで、フォトダイオードのリセットを開始する。

タイミングｔ１２０４にて、制御部１０３は、画素部２００の画素信号の読み出しを開始する。この際、前記リセットから読み出しまでの間の期間にフォトダイオードに入射した光に応じた画素信号が読み出される。

タイミングｔ１２０５にて、１ショット目の高解像度読み出しが終了し、２ショット目の高解像度読み出しが開始される。制御部１０３は、１ショット目と同様に、固体撮像素子１００のシフト駆動、フォトダイオードのリセット、画素信号の読み出し処理を順に行う。

タイミングｔ１２０２～１２０５の１ショット読み出しが指定回数、図１２の例では４回繰り返される。

タイミングｔ１２０６では、複数ショットの記録用画像取得が終了する。制御部１０３は、取得した４つの画像に基づき公知の合成処理を行い、高解像度の画像を生成する。

続いて、図１３（ａ），（ｂ）を参照して、固体撮像素子１００のシフト駆動について説明する。

図１３（ａ）、（ｂ）は、第４の実施形態に係る固体撮像素子のシフト駆動を示す図である。

図１３（ａ）は画像取得回数Ｎ＝４の場合の駆動を示し、同図（ｂ）は画像取得回数Ｎ＝１６の場合の駆動を示している。

画素部２００は単位画素１３００Ｒ、１３００Ｇ、１３００Ｂがベイヤ配列状に配置されており、図１３（ａ），（ｂ）はその一部である、水平４画素、垂直４画素の領域を抜粋して示している。

単位画素１３００Ｒは、赤い光の波長を透過するカラーフィルタを備えており、赤色の入射光に応じた画素信号を出力する。同様に、単位画素１３００Ｇでは緑色の入射光に応じた画素信号を、単位画素１３００Ｂでは青色の入射光に応じた画素信号を出力する。

画像取得回数Ｎ＝４においては、１ショット目を基準に、光軸と直交する平面上にて水平方向・垂直方向に、画素間隔と等しい量を順次シフトしていく。このようにシフトすることにより、例えば単位画素１３００Ｒに着目した際に、１ショット目の１３００Ｇ、１３００Ｂの位置においても、１３００Ｒによって赤色の入射光に応じた画素信号を得ることができる。このように、固体撮像素子１００をシフトさせながら撮影し合成処理をすることで、各色の空間分解能を向上させ、高解像度画像を取得することが可能となる。

一方、画像取得回数Ｎ＝１６においては、画素間隔の半分のシフト量で、水平４か所、垂直４か所の合計１６か所に固体撮像素子１００をシフトさせ画像を取得する。こうすることで、例えば単位画素１３００Ｒに着目した際に、画像取得回数Ｎ＝４の場合に対し、オーバーラップした半ピッチずれた出力を得ることができる。オーバーラップした半ピッチずれの画素信号を比較することで、画素間隔未満の位置における入射光量の変化を検出することができるので、画素間隔の半分にした、つまり解像度を４倍にした場合を模擬した超高解像度画像を生成することが可能となる。

以上で述べた構成により、固体撮像素子の位置をシフトしながら複数ショットの画像を撮影し合成することで高解像度の静止画像を得る駆動において、撮影前の表示用画像を用いて画像の取得回数を制御することが可能となる。そして、複数ショットの合成による解像度向上の効果が得られにくい状況において、被写体の変化によるノイズの発生の抑制、及び取得回数を低減することによる画像取得にかかる電力の削減を行うことができる。このように、本実施の形態の撮像装置においても第１～第３の実施の形態と同様に、被写体に応じて解像度と電力を制御することが可能である。

［変形例］
上述の第１乃至第４の実施形態では、撮像装置が空間周波数検出部と学習部を備え、現像処理が行われる前の画像に対して、空間周波数のレベルの検出を行っていた。これに対し、空間周波数検出部と学習部を、撮像装置の外部に設け、現像処理が行われた後の画像に対して、空間周波数のレベルを検出するように構成してもよい。

例えば、ネットワークカメラシステムでは、撮像装置で生成された動画像データはエッジコンピュータやクラウド等の情報処理装置に送られる構成が一般的である。情報処理装置が、空間周波数検出部と学習部を備え、撮像装置から送信された現像処理後の動画像データの空間周波数を検出し、この検出結果に応じて、撮像装置が出力する画像データのサイズを制御するようにしてもよい。

このとき、撮像装置は、必ずしも、高解像度読み出しと低解像度読み出しを切り替える必要はなく、読み出した画像の圧縮率やリサイズ率を変更するようにしてもよい。画像の圧縮率やリサイズ率を変更する場合は、Ａ／Ｄ変換部の稼働率を削減しているわけではないため、撮像装置の電力の抑制という観点では効果を期待できない。しかしながら、出力する画像データのサイズを抑制することで、通信時に動画像データによって使用される帯域の抑制や、動画像データを記録する際のメモリの容量削減という効果を得ることができる。

この場合、学習部には、圧縮前の画像の空間周波数レベルに基づく正解データと、各圧縮率での圧縮後の画像を入力することで、それぞれの圧縮率に対応する学習モデルを生成することができる。あるいは、リサイズ前の画像の空間周波数レベルに基づく正解データと、各リサイズ率でのリサイズ後の画像を入力することで、それぞれのリサイズ率に対応する学習モデルを生成することができる。いずれの場合も、低解像度の画像から、高周波側の空間周波数を推定することができるようになる。

なお、途中で圧縮率やリサイズ率が変更された場合には、変更前後で別の動画像データとして出力してもよい。また、動画像データに限らず、インターバル撮影に対しても適用することが可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…固体撮像素子、１０１…撮像レンズ、１０２…レンズ駆動部、１０３…制御部、１０４…メモリ部、１０５…表示部、１０６…記録部、１０７…操作部

Claims (11)

1. 撮像手段に、第１の解像度の画像データを出力させる第１のモードと、前記第１の解像度よりも低い第２の解像度の画像データを出力させる第２のモードの、いずれかを実行する制御手段と、
   取得した画像データに対して、前記第２の解像度の画像データを出力させることにより前記第１の解像度の画像データよりも前記第２の解像度の画像データにおいて信号レベルが減衰する帯域の空間周波数に関する指標値を求める評価手段とを有し、
   該評価手段は、前記第２の解像度の画像データの前記指標値を機械学習によって検出する検出手段とを含み、
   前記制御手段は、前記検出手段で検出された前記指標値に基づき、前記第１、第２のモードのいずれかを選択する
   ことを特徴とする画像処理装置。
2. 前記制御手段は、前記第１の解像度の画像データよりも前記第２の解像度の画像データにおいて信号レベルが減衰する帯域の空間周波数の程度が高い指標値ほど、前記第２のモードよりも前記第１のモードを優先して選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記評価手段は、画像データを複数に分割した複数の分割画素領域ごとに前記指標値を検出し、
   前記制御手段は、前記分割画素領域ごとの前記指標値に応じて、前記第１、第２の読み出しモードのいずれかを選択する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像処理装置は、前記評価手段を機械学習させる学習手段を更に有し、
   前記学習手段は、第１の解像度の画像の空間周波数の指標値と、当該第１の解像度の画像に対して前記変換手段による変換で得た第２の解像度の画像の空間周波数の指標値とに基づき学習する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像処理装置は、前記評価手段を機械学習させる学習手段を更に有し、
   前記学習手段は、
   前記変換手段による変換で得た第２の解像度の画像を伸長することで得た第１の解像度の画像と前記変換手段で変換する前の前記第１の解像度の画像との差分を求めることで得た差分画像の空間周波数の指標値と、前記変換手段による変換で得た前記第２の解像度の画像とを入力し学習する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記撮像手段は、入射した光を光電変換する光電変換部を備えた単位画素が行列状に配置された画素部と、該画素部における前記単位画素の画素信号のＡＤ変換を行うＡＤ変換部を有し、
   前記制御手段は、前記ＡＤ変換部を制御し、前記第２のモードでは、前記第１のモードよりも、より少ない数のＡＤ変換結果を出力させることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 入射した光を光電変換する光電変換部を備えた単位画素が行列状に配置された画素部を有する撮像装置であって、
   前記画素部の位置をシフトするシフト手段と、
   前記画素部による撮像で得た画像データの空間周波数を求め、高周波を含む程度の指標値を求める評価手段と、
   該評価手段で得た指標値に基づき前記画素部による画像の取得回数を決定し、決定した取得回数の撮像を、前記シフト手段で前記画素部の位置を変更する毎に行う制御手段と、
   該制御手段による制御で得た、前記取得回数の撮像で得た画像を合成することで、少なくとも前記画素部の解像度以上の解像度の画像を生成する生成手段と
   を有することを特徴とする撮像装置。
8. 撮像手段に、第１の解像度の画像データを出力させる第１のモードと、前記第１の解像度よりも低い第２の解像度の画像データを出力させる第２のモードの、いずれかを実行する制御工程と、
   取得した画像データに対して、前記第２の解像度の画像データを出力させることにより前記第１の解像度の画像データよりも前記第２の解像度の画像データにおいて信号レベルが減衰する帯域の空間周波数に関する指標値を求める評価工程とを有し、
   該評価工程は、前記第２の解像度の画像データの前記指標値を機械学習によって検出する検出工程とを含み、
   前記制御工程では、前記検出工程で検出された前記指標値に基づき、前記第１、第２のモードのいずれかを選択する
   ことを特徴とする画像処理装置の制御方法。
9. 入射した光を光電変換する光電変換部を備えた単位画素が行列状に配置された画素部と、該記画素部の位置をシフトするシフト手段とを有する撮像装置の制御方法であって、
   前記画素部による撮像で得た画像データの空間周波数を求め、高周波を含む程度の指標値を求める評価工程と、
   該評価工程で得た指標値に基づき前記画素部による画像の取得回数を決定し、決定した取得回数の撮像を、前記シフト手段で前記画素部の位置を変更する毎に行う制御工程と、
   該制御工程による制御で得た、前記取得回数分の画像を合成することで、少なくとも前記画素部の解像度以上の解像度の画像を生成する生成工程と
   を有することを特徴とする撮像装置の制御方法。
10. 画像処理装置のプロセッサーが読み込み実行することで、前記画像処理装置に、請求項８に記載の工程を実行させるためのプログラム。
11. 撮像装置のプロセッサーが読み込み実行することで、前記撮像装置に、請求項９に記載の工程を実行させるためのプログラム。

Images