JPWO2009098877A1 - 画像処理装置、及び画像処理方法 - Google Patents

Abstract

本発明に係る画像処理装置（２００）は、撮影期間を取得する撮影期間取得部（２０５）と、第１画素数の画素により変換された電気信号である低解像度画像信号を出力する高速読み出しモードと、第１画素数より多い第２画素数の画素により変換された電気信号である高解像度画像信号を出力する通常読み出しモードとを有する撮像部（２０２）と、撮影期間中に、撮像部（２０２）を高速読み出しモードで動作させ、撮影期間外に、撮像部（２０２）を通常読み出しモードで動作させる制御部（２１０）と、撮影期間外に撮像部（２０２）により出力された高解像度画像信号を用いて、撮影期間中に撮像部（２０２）により出力された低解像度画像信号を高解像度化することにより超解像画像信号を生成する超解像部（２０３）とを備える。

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、撮像装置を用いて撮像された低解像度な画像データを、高解像度化する画像処理装置に関する。

近年、デジタルスチルカメラ及びデジタルビデオカメラなどの撮影機器において、高精細な静止画を撮影するために多画素の撮像素子を用いるケースが増えてきている。しかしながら、これらの撮像素子を用いて連写及び動画撮影などの高フレームレートな画像を撮影する際、単位時間あたりに撮像素子から読み出されるデータ量が増大する。具体的には、単位時間あたりに撮像素子から読み出されるデータ量は、１フレームの画素数とフレームレートとの掛け算となる。これにより、単位時間あたりの読み出しデータ量に制約のある撮像素子では、全画素のデータを読み出しつつ高フレームレートで撮影することが困難である。

これに対して、撮像素子から読み出す画素数を間引くことによって単位時間あたりに読み出されるデータ量を抑えつつ、高フレームレートを達成する技術の一例が特許文献１に示されている。ここで、フレームとは、ある時刻における１枚の静止画像のことを指す。

さらには、間引かれた低解像度な複数枚のフレームから高解像度なフレームを生成する超解像技術の一例が、特許文献２によって示されている。

これらの組み合わせによって構成された画像処理装置１００の構成及び画像処理方法について、以下に説明する。

図１は、画像処理装置１００の構成を示すブロック図である。図１に示す画像処理装置１００は、撮影モード信号１２０を入力とし、読み出し方式指示信号１２１を出力する読み出し方式切替え部１０１と、読み出し方式指示信号１２１を入力とし、撮像画像信号１２２を出力する撮像部１０２と、撮像画像信号１２２を入力とし、出力画像信号１２９を出力する超解像部１０３とを備える。

読み出し方式切替え部１０１は、撮影モード信号１２０により現在の撮影モードが高速に画像を読み出すモード（以下、高速読み出しモード）であると示されている場合に、撮像部１０２に間引き画素読み出しを指示する読み出し方式指示信号１２１を出力する。また、それ以外の場合（以下、通常読み出しモード）には撮像部１０２に全画素読み出しを指示する読み出し方式指示信号１２１を出力する。

ここで、高速読み出しモードとは、例えば毎秒８枚などで撮影される高速連写モードであり、また例えば毎秒１２０フレームなどで撮影される高フレームレート動画撮影モードである。通常読み出しモードとは、例えば連写を行わない通常撮影モードであり、また例えば毎秒２枚などで撮影される低速連写モードであり、また例えば毎秒３０フレームなどで撮影される通常の動画撮影モードである。

撮像部１０２は、光学的な像を電気信号に変換する、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を含む。この撮像部１０２は、読み出し方式指示信号１２１によって全画素読み出しが指示されている場合は、１フレームを構成する全画素分の信号を撮像画像信号１２２として出力する。また、撮像部１０２は、読み出し方式指示信号１２１によって間引き画素読み出しが指示されている場合は、１フレームを構成する全画素よりも少ない間引かれた画素の信号を撮像画像信号１２２として出力する。

超解像部１０３は、読み出し方式指示信号１２１によって全画素読み出しが指示されている場合は、撮像画像信号１２２をそのまま出力画像信号１２９として出力する。また、超解像部１０３は、読み出し方式指示信号１２１により間引き画素読み出しが指示されている場合は、間引き画素読み出しされた低解像度な撮像画像信号１２２の時間的に連続する複数のフレームを用いて、例えば特許文献２に記載されるような超解像処理を用いて高解像度なフレームを生成し、生成した高解像度なフレームを出力画像信号１２９として出力する。

以下、図２を用いて、超解像部１０３の内部構成及び動作について説明する。図２は、超解像部１０３の構成を示すブロック図である。

図２に示す超解像部１０３は、撮像画像信号１２２を入力とし、記憶撮像画像信号１３１を出力するフレームメモリ１４４と、撮像画像信号１２２と記憶撮像画像信号１３１とを入力とし、動き情報信号１３２を出力する動き検出部１４３と、撮像画像信号１２２と記憶撮像画像信号１３１とを入力とし、超解像画像信号１３３を出力する超解像実行部１４２と、読み出し方式指示信号１２１と撮像画像信号１２２と超解像画像信号１３３とを入力とし、出力画像信号１２９を出力する信号切替え部１４１とを備える。

フレームメモリ１４４は、撮像画像信号１２２に含まれる、全画素又は間引き画素読み出しされたフレームを一時的に記憶し、記憶したフレームを記憶撮像画像信号１３１として出力する。

動き検出部１４３は、撮像画像信号１２２の現在のフレームと、記憶撮像画像信号１３１の過去に記憶されたフレームとの間の動きを検出し、現在のフレーム内の１つ以上の物体の動き量を示す動き情報信号１３２を出力する。

超解像実行部１４２は、動き情報信号１３２を用いて、間引き画素読み出しされた低解像度な撮像画像信号１２２に超解像処理を行うことにより、高解像度な超解像画像信号１３３を出力する。

信号切替え部１４１は、読み出し方式指示信号１２１によって全画素読み出しが指示される場合、撮像画像信号１２２を出力画像信号１２９として出力する。また、信号切替え部１４１は、読み出し方式指示信号１２１によって間引き画素読み出しが指示される場合、超解像画像信号１３３を出力画像信号１２９として出力する。

次に、図３及び図４を用いて、画像処理装置１００の具体的な動作の例を説明する。図３は、通常読み出しモード時の画像処理装置１００の動作を示す図である。図４は、高速読み出しモード時の画像処理装置１００の動作を示す図である。

また、撮影実施信号１２４は、撮影期間中の場合に値１となり、それ以外は値０となる信号である。読み出し方式指示信号１２１は、全画素読み出しの場合に値１となり、それ以外は値０となる信号である。撮影モード信号１２０は、高速読み出しモード時に値１となり、通常読み出しモード時に値０となる信号である。

まず、撮影モード信号１２０が値０の場合、すなわち通常読み出しモードの場合の画像処理装置１００の動作を説明する。図３に示すように、撮影モード信号１２０が値０のとき、読み出し方式切替え部１０１は、値０の読み出し方式指示信号１２１を出力する。これにより、撮像部１０２は全画素読み出しを行うとともに、１フレームを時間Ｔｆだけかけて撮像画像信号１２２として出力する。ここで、１つのフレームの転送時間がＴｆであるため、次のフレームの転送開始までの間隔は最低でもＴｆだけ必要である。

次に、撮影モード信号１２０が値１を取る場合、すなわち高速読み出しモードの場合の画像処理装置１００の動作を説明する。図４に示すように、撮影モード信号１２０が値１のとき、読み出し方式切替え部１０１は、値１の読み出し方式指示信号１２１を出力する。これにより、撮像部１０２は間引き読み出しを行うとともに、１フレームを時間Ｔｐだけかけて撮像画像信号１２２として出力する。ここで、高速読み出しモードでは、間引き読み出しを行うため、全画素読み出しされた画像に比べ画質は劣化するが、Ｔｐ＜Ｔｆであるため、撮影モード信号１２０が値０の場合に比べて高フレームレートな画像を撮影することが可能である。

次に、図５を用いて、画像処理装置１００の動作を説明する図５は、画像処理装置１００における画像処理方法のフローチャートである。

まず、読み出し方式切替え部１０１は、現在の撮影モードが、高速読み出しモードか否かを判断する（ステップＳ１）。現在の撮影モードが高速読み出しモードである場合（Ｓ１でＹｅｓ）、読み出し方式切替え部１０１は、間引き画素読み出しを撮像部１０２に指示し（ステップＳ５）、通常読み出しモードの場合（Ｓ１でＮｏ）、読み出し方式切替え部１０１は、全画素読み出しを撮像部１０２に指示する（ステップＳ２）。

全画素読み出しが指示された場合、撮像部１０２は、１フレームを構成する全画素の信号を読み出し、撮像画像信号１２２として出力する（ステップＳ３）。次に、超解像部１０３は、その読み出された撮像画像信号１２２をそのまま出力画像信号１２９として出力する（ステップＳ４）。

一方、ステップＳ５において間引き画素読み出しが指示された場合、撮像部１０２は、１フレームを構成する全画素よりも少ない間引かれた画素の信号を読み出す（ステップＳ６）。次に、超解像部１０３は、間引き画素読み出しされた低解像度な撮像画像信号１２２に含まれる時間的に連続する複数のフレームを用いて、例えば特許文献２のような処理を用いて高解像度なフレームを生成し、生成した高解像度なフレームを出力画像信号１２９として出力する（ステップＳ７）。

図６は、従来の超解像処理の一例を示す図である。図６に示すように、例えば、低解像度な画像の時間的に連続する３枚のフレームを用いて、高解像度な画像の１枚のフレームが生成される。
特開２００５−１０９９６８号公報 特開２０００−２４４８５１号公報

しかしながら、上記説明した画像処理装置１００においては、高速読み出しモードでは、撮像素子の画像転送速度が限られているので、単位時間あたりの転送フレーム数を増やすことと引き換えに、１フレームあたりの転送画素数を間引いている。これにより、画像処理装置１００では、解像度が落ちるなど、画質が低下するという課題がある。

図７は、画像処理装置１００における超解像処理の一例を示す図である。画像処理装置１００では、間引いた画像を超解像処理により復元しているので、例えば、図７に示すように、超解像処理により、間引かれた部分の画素値を正しく復元できない場合がある。

そこで、本発明は、高速読み出しモードにおける画質の低下を抑制できる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、撮影期間を取得する撮影期間取得部と、光を電気信号に変換する複数の画素を備え、前記複数の画素のうち、第１画素数の画素により変換された電気信号である低解像度画像信号を出力する第１モードと、前記複数の画素のうち、前記第１画素数より多い第２画素数の画素により変換された電気信号である高解像度画像信号を出力する第２モードとを有する撮像部と、前記撮影期間取得部により取得された撮影期間中に、前記撮像部を前記第１モードで動作させ、前記撮影期間外に、前記撮像部を前記第２モードで動作させる制御部と、前記撮影期間外に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化することにより超解像画像信号を生成する超解像部とを備える。

この構成によれば、本発明に係る画像処理装置は、撮影期間中は、低解像度な画像を撮影し、当該低解像度な画像に超解像処理を行うことにより、高解像度な画像を生成する。これにより、本発明に係る画像処理装置は、高フレームレートを維持したまま、高解像度な画像を撮影できる。

さらに、本発明に係る画像処理装置は、撮影期間外に高解像度な画像を撮影し、当該高解像度な画像を用いて、超解像処理を行う。これにより、超解像処理を用いて生成される高解像度な画像の画質を向上できる。また、高解像度な画像を撮影するので撮影期間外なので、撮影期間中のフレームレートが低下することはない。このように、本発明に係る画像処理装置は、高速読み出しモードにおいて、高フレームレートを維持したまま画質の低下を抑制できる。

また、前記制御部は、前記撮影期間終了後に、前記撮像部を前記第２モードで動作させ、前記超解像部は、前記撮影期間終了後に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化してもよい。

この構成によれば、本発明に係る画像処理装置は、撮影期間後に高解像度な画像を撮影し、当該高解像度な画像を用いて超解像処理を行う。ここで、撮影期間前に高解像度な画像を撮影する場合、撮影期間前に撮影された画像のフレームレートが低下する。例えば、撮像部によって撮影された画像をモニタ等に表示し、ユーザが当該画像を見ながら撮影を行う場合等を想定すると、撮影期間前に撮影される画像は、ユーザがより最適なタイミングにおいて撮影を行うためには、高フレームレートであることが好ましい。本発明に係る画像処理装置では、撮影期間後に高解像度な画像を撮影することにより、撮影開始前のモニタ表示における画像の動きの不自然さを回避できる。これにより、ユーザは、シャッターチャンスを逃さず快適に撮影できる。

また、前記制御部は、前記撮影期間開始前に、前記撮像部を前記第２モードで動作させ、前記超解像部は、前記撮影期間開始前に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化してもよい。

この構成によれば、本発明に係る画像処理装置は、撮影期間後に加え、撮影期間前にも高解像度な画像を撮影する。これにより、本発明に係る画像処理装置は、より時間的に近い、すなわち、相関が高い高解像度な画像を用いて、超解像処理を行うことができる。よって、本発明に係る画像処理装置は、超解像処理により、より高画質な画像を生成できる。

また、前記画像処理装置は、さらに、前記低解像度画像信号の画像、前記高解像度画像信号の画像、又は前記超解像画像信号の画像をモニタに表示するモニタ表示部を備え、前記制御部は、前記撮影期間開始前に、前記モニタ表示部が、前記低解像度画像信号の画像、前記高解像度画像信号の画像、又は前記超解像画像信号の画像をモニタに表示していない場合に、前記撮像部を前記第２モードで動作させ、前記撮影期間開始前に、前記モニタ表示部が、前記高解像度画像信号の画像、又は前記超解像画像信号の画像をモニタに表示している場合に、前記撮像部を前記第１モードで動作させてもよい。

この構成によれば、本発明に係る画像処理装置は、モニタ表示中の場合は、撮影期間前であっても、撮像部を第２モードで動作させない。これにより、撮影開始前のモニタ表示においてフレームレートが落ちることがないので、本発明に係る画像処理装置は、撮影開始前のモニタ表示における画像の動きの不自然さを回避できる。これにより、ユーザは、シャッターチャンスを逃さず快適に撮影できる。

また、前記撮影期間取得部は、シャッターボタンが半押しされているか否かを示す撮影準備信号を取得し、前記制御部は、前記撮影準備信号によってシャッターボタンが半押しされていることが示される場合に、前記撮像部を前記第２モードで動作させてもよい。

この構成によれば、本発明に係る画像処理装置は、撮影開始前の直前のタイミングに、超解像処理に用いる高解像度な画像を撮影できる。これにより、超解像処理に用いる高解像度な画像と、撮影期間中に撮影された低解像度な画像との時間的な距離が短くなるので、超解像処理に用いる高解像度な画像と、撮影期間中に撮影された低解像度な画像との相関が高くなる。よって、本発明に係る画像処理装置は、超解像処理により、より高画質な画像を生成できる。

また、前記制御部は、さらに、前記低解像度画像信号によって示される画像の動きが予め定められた値より小さい場合、前記撮影期間中に、前記撮像部を前記第２モードで動作させ、前記超解像部は、さらに、前記撮影期間中に前記撮像部により出力された前記高解像度画像信号を用いて、当該撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化してもよい。

この構成によれば、撮影期間中であっても、被写体の動きが小さい場合には、高解像度な画像を撮影する。撮影期間中に高解像度な画像を撮影した場合、この期間の画像のフレームレートは低下してしまうが、フレームレートが低下する画像は動きのない画像であるので、画像の動きががたつくといった主観的な画質劣化を抑えることができる。一方で、撮影期間中に高解像度な画像を撮影することにより、当該画像の画質を向上できる。さらに、この高解像度な画像を用いて、超解像処理に用いることにより、他の画像フレームの画質の向上も可能となる。

また、前記制御部は、前記低解像度画像信号によって示される画像の、時間的に前又は後の画像フレームと現在の画像フレームとの画素値の差分絶対値和の値が予め定められた値より小さい場合に、前記低解像度画像信号によって示される画像の動きが予め定められた値より小さいと判定してもよい。

また、前記超解像部は、前記低解像度画像信号によって示される画像の、時間的に前又は後の画像フレームと現在の画像フレームとの間において動き補償を行い、当該動き補償された時間的に前又は後の画像フレームと現在の画像フレームを用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化し、前記制御部は、前期動き補償された前記時間的に前又は後の画像フレームと現在の画像フレームとの画素値の差分絶対値和が予め定められた値より小さい場合、又は前記動き補償における動き量を示す動きベクトルの大きさが予め定められた値より小さい場合、又は両方の場合に、前記低解像度画像信号によって示される画像の動きが予め定められた値より小さいと判定してもよい。

また、前記超解像部は、前記低解像度画像信号の現在の画像フレームを高解像度化するために、前記高解像度画像信号の画像フレームのうち、当該現在の画像フレームに時間的に最も近い画像フレームを優先的に使用してもよい。

この構成によれば、本発明に係る画像処理装置は、現在の画像フレームに時間的に最も近い高解像度な画像フレーム、つまり相関が高い高解像度な画像フレームを用いて、超解像処理を行う。これにより、本発明に係る画像処理装置は、超解像処理により、より高画質な画像を生成できる。

また、前記制御部は、さらに、前記撮影期間中に、定期的に前記撮像部を前記第２モードで動作させ、前記超解像部は、さらに、前記撮影期間中に前記撮像部により出力された前記高解像度画像信号を用いて、当該撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化してもよい。

この構成によれば、本発明に係る画像処理装置は、より時間的に近い、つまり相関が高い高解像度な画像フレームを用いて、超解像処理を行うことができる。これにより、本発明に係る画像処理装置は、超解像処理により、より高画質な画像を生成できる。

また、前記制御部は、前記撮影期間終了の直後に、前記撮像部を前記第２モードで動作させ、前記超解像部は、前記撮影期間終了の直後に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化してもよい。

この構成によれば、撮影期間後に撮影される高解像度画像と、撮影期間中に撮影された低解像度画像との時間的な距離が短くなる。よって、撮影期間後に撮影される高解像度画像と、撮影期間中に撮影された低解像度画像との相関が高くなる。これにより、本発明に係る画像処理装置は、超解像処理により、より高画質な画像を生成できる。

また、前記撮像部は、前記第１モード時には、前記低解像度画像信号を第１フレームレートで出力し、前記第２モード時には、前記高解像度画像信号を、前記第１フレームレートより遅い第２フレームレートで出力してもよい。

なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な手段をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

さらに、本発明は、このような画像処理装置の機能の一部又はすべてを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置を備えるカメラとして実現したりできる。

以上より、本発明は、高速読み出しモードにおける画質の低下を抑制できる画像処理装置、画像処理方法、及びプログラムを提供できる。

図１は、従来の画像処理装置のブロック図である。 図２は、従来の超解像部のブロック図である。 図３は、従来の画像処理装置における通常読み出しモード時の動作を示す図である。 図４は、従来の画像処理装置における高速読み出しモード時の動作を示す図である。 図５は、従来の画像処理装置の処理を示すフローチャートである。 図６は、従来の画像処理装置における超解像処理を示す図である。 図７は、従来の画像処理装置における超解像処理を示す図である。 図８は、本発明の実施の形態１に係る画像処理装置のブロック図である。 図９Ａは、本発明の実施の形態１に係る、画素の間引き例を示す図である。 図９Ｂは、本発明の実施の形態１に係る、画素の間引き例を示す図である。 図９Ｃは、本発明の実施の形態１に係る、画素の間引き例を示す図である。 図１０Ａは、本発明の実施の形態１に係る、間引き画素の画素値の生成方向を示す図である。 図１０Ｂは、本発明の実施の形態１に係る、間引き画素の画素値の生成方向を示す図である。 図１１は、本発明の実施の形態１に係る画像処理装置における動作を示す図である。 図１２は、本発明の実施の形態１に係る超解像部のブロック図である。 図１３は、本発明の実施の形態１に係る画像処理装置における超解像処理を示す図である。 図１４は、本発明の実施の形態１に係る画像処理装置における超解像処理を示す図である。 図１５は、本発明の実施の形態１に係る画像処理装置における超解像処理を示す図である。 図１６は、本発明の実施の形態１に係る画像処理装置の処理を示すフローチャートである。 図１７は、本発明の実施の形態２に係る画像処理装置のブロック図である。 図１８は、本発明の実施の形態２に係る画像処理装置の処理を示すフローチャートである。 図１９は、本発明の実施の形態２に係る超解像部のブロック図である。 図２０は、本発明の実施の形態２に係る画像処理装置における超解像処理を示す図である。 図２１Ａは、本発明の実施の形態３に係る記録媒体の構成を示す図である。 図２１Ｂは、本発明の実施の形態３に係る記録媒体の構成を示す図である。 図２１Ｃは、本発明の実施の形態３に係るコンピュータシステムの構成を示す図である。 図２２Ａは、本発明の実施の形態４に係るデジタルカメラの外観を示す図である。 図２２Ｂは、本発明の実施の形態４に係るデジタルカメラの外観を示す図である。 図２２Ｃは、本発明の実施の形態４に係るデジタルカメラの外観を示す図である。

符号の説明

１００、２００、３００ 画像処理装置
１０１、２０１ 読み出し方式切替え部
１０２、２０２ 撮像部
１０３、２０３、３０３ 超解像部
１２０、２２０ 撮影モード信号
１２１、２２１ 読み出し方式指示信号
１２２、２２２ 撮像画像信号
１２４、２２４ 撮影実施信号
１２９、２２９ 出力画像信号
１３１、２３１ 記憶撮像画像信号
１３２、２３２ 動き情報信号
１３３、２３３ 超解像画像信号
１４１、２４１ 信号切替え部
１４２、２４２ 超解像実行部
１４３、２４３ 動き検出部
１４４、２４４、３４４ フレームメモリ
２０４、３０４ 判定部
２０５ 撮影期間取得部
２０６ 撮影モード取得部
２１０ 制御部
２２３ 撮影準備信号
２２５ 全画素読み出し指示信号
２２６ 動き判定信号
２２７ 撮影終了信号
３０７ モニタ表示部
３２７ モニタ有効信号
３３４ フレーム情報信号
３３５ フレーム選定信号
３４５ 時間差分判定部
４５０ フレキシブルディスク
４５１ ディスク
４５２ ケース
４５３ トラック
４５４ セクタ
４６０ コンピュータシステム
４６１ フレキシブルディスクドライブ
５００ デジタルカメラ
５０１ シャッターボタン
５０２ レンズ
５０３ モニタ画面
５０４ ファインダ
５０５ 撮影モード切替えダイアル
５０６ 連写モード切替えボタン
５０７ モニタ表示ボタン

以下、本発明に係る画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
本発明の実施の形態１に係る画像処理装置２００は、高速読み出しモード時において、撮影期間外に、高解像度な画像を撮影し、当該高解像度な画像を用いて、撮影期間内に撮影した低解像度な画像に対して超解像処理を行う。これにより、本発明の実施の形態１に係る画像処理装置２００は、高速読み出しモードにおける画質の低下を抑制できる。

まず、図８を用いて、本発明の実施の形態１に係る画像処理装置２００の構成について説明する。図８は、本発明の実施の形態１に係る画像処理装置２００の構成を示す図である。

図８に示す画像処理装置２００は、例えば、デジタルスチルカメラに搭載されるシステムＬＳＩである。この画像処理装置２００は、撮影モード信号２２０と、撮影準備信号２２３と、撮影実施信号２２４とを入力とし、出力画像信号２２９を出力する。また、画像処理装置２００は、制御部２１０と、撮像部２０２と、超解像部２０３と、撮影期間取得部２０５と、撮影モード取得部２０６とを備える。

撮影モード信号２２０は、ユーザの操作に基づく信号であり、ユーザの操作により通常読み出しモードが指定されているか、高速読み出しモードが指定されているかを示す信号である。具体的には、毎秒８枚などで撮影する高速連写モード、又は毎秒１２０フレームなどで撮影できる高フレームレート動画撮影モードがユーザの操作により指定された場合、撮影モード信号２２０は、高速読み出しモードを示す。また、連写を行わない通常撮影モード、毎秒２枚などで撮影する低速連写モード、又は毎秒３０フレームなどで撮影する通常の動画撮影モードがユーザの操作により指定された場合、撮影モード信号２２０は、通常読み出しモードを示す。

撮影実施信号２２４は、ユーザの操作に基づく信号であり、撮影期間を示す信号である。例えば、ユーザによりシャッターボタンが押下されている間、撮影実施信号２２４がアクティブとなることにより、撮影期間が示される。

撮影準備信号２２３は、ユーザの操作に基づく信号であり、撮影準備期間を示す信号である。ここで撮影準備期間とは、撮影期間の直前の期間である。具体的には、ユーザによりシャッターボタンが半押し状態にある間、撮影準備信号２２３がアクティブとなることにより、撮影準備期間が示される。

撮影モード取得部２０６は、ユーザの操作に応じた撮影モードを取得する。具体的には、撮影モード信号２２０を取得することにより、撮影モードを取得する。また、撮影モード取得部２０６は、取得した撮影モード信号２２０を制御部２１０に出力する。

撮影期間取得部２０５は、ユーザの操作に応じた撮影期間を取得する。具体的には、撮影準備信号２２３及び撮影実施信号２２４を取得することにより、撮影期間を取得する。言い換えると、撮影期間取得部２０５は、ユーザによる撮影開始指示及び撮影終了指示を検知する。また、撮影期間取得部２０５は、取得した撮影準備信号２２３及び撮影実施信号２２４を制御部２１０に出力する。さらに、撮影期間取得部２０５は、撮影実施信号２２４を用いて、撮影終了期間を示す撮影終了信号２２７を生成し、生成した撮影終了信号２２７を制御部２１０に出力する。ここで、撮影終了期間とは、撮影期間が終了した直後の、所定の時間幅を有する期間である。

また、撮影期間取得部２０５は、撮影前に予めユーザにより設定された撮影期間を取得してもよい。例えば、デジタルスチルカメラのシャッターボタンをユーザが押下したのち、所定の時間後に撮影を開始する、所謂タイマー撮影などの場合には、撮影期間取得部２０５は、当該シャッターボタンが押下された時刻に基づき決定される撮影準備信号２２３及び撮影実施信号２２４とを取得する。また、この場合には、撮影期間取得部２０５は、撮影実施信号２２４等の撮影の開始時刻を示す信号を取得し、当該信号を用いて撮影準備信号２２３を生成してもよい。

撮像部２０２は、光学像を電気信号に変換し、変換した電気信号を撮像画像信号２２２として出力する。具体的には、撮像部２０２は、行列状に配置された、光を電気信号に光電変換する複数の画素を備える。この撮像部２０２は、全画素読み出しモードと、間引き画素読み出しモードとを有する。

全画素読み出しモード時には、撮像部２０２は、画像フレーム（以下、単に「フレーム」と記す。）を構成する全画素に対応する電気信号、つまり、複数の画素のうち、すべての画素により光電変換された電気信号を撮像画像信号２２２として出力する。また、間引き画素読み出しモード時には、撮像部２０２は、フレームを構成する全画素よりも少ない間引かれた画素に対応する電気信号、つまり、複数の画素のうち、一部の画素により光電変換された電気信号を撮像画像信号２２２として出力する。

図９Ａ〜図９Ｃは、間引き画素読み出しモード時に読み出される画素の一例を示す図である。また、図９Ａ〜図９Ｃにおいて、斜線を用いて示す画素２５０が、間引き画素読み出しモード時に読み出される画素であり、画素２５１が間引き画素読み出しモード時には読み出されない画素である。図９Ａ〜図９Ｃに示すように、間引きの形状は、正方格子状（図９Ａ）、斜め格子状（図９Ｂ）、及びライン状（図９Ｃ）などがある。なお、それ以外の任意の形状に間引いてよい。また、間引き方はフレーム単位で異なってもよい。

図１０Ａ及び図１０Ｂは、間引き画素読み出しモード時に、読み出される画素値の算出方法を示す図である。図１０Ａ及び図１０Ｂに示すように、読み出す画素位置２５２に相当する画素値は、当該画素位置２５２の画素値データそのものでもよいし（図１０Ａ）、当該画素位置２５２の周辺の複数の画素位置２５３の画素値データを、電荷の混合などを行うことにより足し合わせたものでもよい（図１０Ｂ）。

なお、全画素読み出しモード時において、撮像部２０２が備えるすべての画素により光電変換された電気信号を、撮像部２０２が出力しなくてもよい。これは例えば、アスペクト比４：３の撮像素子において、上下を切り取ったアスペクト比１６：９の領域を出力する場合、又は電子ズームによる一部領域の切り出しの場合などがある。またその他任意の理由により全画素読み出しモード時において一部の画素により変換された電気信号を撮像部２０２が出力してもよい。さらには、撮像部２０２は、全画素読み出しモード時において、間引き読み出しモード時よりも間引き量の少ない間引かれた画素を読み出してもよい。

つまり、間引き画素読み出しモードとは、撮像部２０２が備える複数の画素のうち、第１画素数の画素により変換された電気信号を撮像部２０２が出力するモードである。また、全画素読み出しモードとは、撮像部２０２が備える複数の画素のうち、第１画素数より多い第２画素数の画素により変換された電気信号を出力するモードである。

また、撮像部２０２は、全画素読み出しモード時においては、低フレームレートで画像を出力し、間引き画素読み出しモード時には、全画素読み出しモード時よりも高フレームレートで画像を出力する。

超解像部２０３は、撮像部２０２が全画素読み出しモードで動作している場合は、撮像画像信号２２２をそのまま出力画像信号２２９として出力する。また、超解像部２０３は、撮像部２０２が間引き画素読み出しモードで動作している場合は、間引き画素読み出しされた低解像度な撮像画像信号２２２に超解像処理を行うことにより、低解像度な撮像画像信号２２２を高解像度化し、高解像度化した画像を出力画像信号２２９として出力する。この超解像処理において、超解像部２０３は、全画素読み出しモード時に撮像部２０２により出力された高解像度な撮像画像信号２２２を用いて、間引き画素読み出しモード時に撮像部２０２により出力された低解像度な撮像画像信号２２２を高解像度化する。

さらに、超解像部２０３は、異なる時刻の複数フレームの撮像画像信号２２２を用いて動き検出を行うことにより、現在のフレームに動きがあるか否かを判定する。具体的には、超解像部２０３は、現在のフレームの動きが所定値以上であるか否かを判定し、現在のフレームの動きが所定値以上である場合、現在のフレームに動きがあると判定し、現在のフレームの動きが所定値以下である場合、現在のフレームに動きがないと判定する。なお、以下において、動きが所定値以下の場合（動きがない場合及び動きが少ない場合）を「動きがない」と記す。また、超解像部２０３は、現在のフレームに動きがあるか否かを示す動き判定信号２２６を制御部２１０に出力する。

制御部２１０は、撮影モード信号２２０、撮影準備信号２２３、撮影実施信号２２４、撮影終了信号２２７、及び動き判定信号２２６に基づき、読み出し方式指示信号２２１を生成し、生成した読み出し方式指示信号２２１を撮像部２０２及び超解像部２０３に出力する。

具体的には、制御部２１０は、通常読み出しモード時には、撮像部２０２を全画素読み出しモードで動作させる。また、制御部２１０は、高速読み出しモード時、かつ、撮影期間中は、撮像部２０２を間引き画素読み出しモードで動作させる。また、制御部２１０は、高速読み出しモード時、かつ、撮影期間外に、撮像部２０２を全画素読み出しモードで動作させる。また、制御部２１０は、高速読み出しモード時、かつ、撮影期間中において、現在のフレームに動きがない場合、撮像部２０２を全画素読み出しモードで動作させる。

この制御部２１０は、判定部２０４と、読み出し方式切替え部２０１とを備える。

判定部２０４は、撮影実施信号２２４により撮影期間外であることが示され、かつ撮影準備信号２２３により、撮影準備期間であることを示された場合、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。また、判定部２０４は、撮影実施信号２２４により撮影期間外であることが示され、かつ撮影終了信号２２７により撮影終了期間であることが示される場合も、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。さらに、判定部２０４は、撮影実施信号２２４により撮影期間中であることが示され、かつ動き判定信号２２６により現在のフレームに動きがないと示されている場合、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。それ以外の場合は、つまり、撮影実施信号２２４により撮影期間中であることが示され、かつ動き判定信号２２６により現在のフレームに動きがあると示されている場合、間引き読み出しを示す全画素読み出し指示信号２２５を出力する。なお、判定部２０４は、動き判定信号２２６を入力とせず、動きに応じた全画素読み出し指示信号２２５の制御を行わなくてもよい。さらに、判定部２０４は、定期的に全画素読み出しを指示する全画素読み出し指示信号２２５を出力してもよい。

読み出し方式切替え部２０１は、撮影モード信号２２０によって高速読み出しモードが示され、かつ全画素読み出し指示信号２２５によって全画素読み出しが示される場合、全画素読み出しモードを示す読み出し方式指示信号２２１を出力する。それ以外の場合、つまり、撮影モード信号２２０によって通常読み出しモードが示される場合と、撮影モード信号２２０によって高速読み出しモードが示され、かつ全画素読み出し指示信号２２５によって間引き画素読み出しが示される場合とに、間引き画素読み出しモードを示す読み出し方式指示信号２２１を出力する。なお、撮影モード信号２２０によって高速読み出しモードが示されていない場合でも、読み出し方式切替え部２０１は、例えば撮影感度向上のための撮像画素混合など、他の目的で間引き画素読み出しを指示してもよい。

次に、図１１を用いて、高速読み出しモード時の、制御部２１０及び撮像部２０２の具体的な動作の例を説明する。図１１は、高速読み出しモード時の、制御部２１０及び撮像部２０２の動作例を示す図である。

図１１において、撮影準備信号２２３は、撮影準備期間の場合に値１となり、それ以外は値０となる信号である。撮影実施信号２２４は、撮影期間中の場合に値１となり、それ以外は値０となる信号である。撮影終了信号２２７は、撮影終了期間の場合に値１となり、それ以外は値０となる信号である。全画素読み出し指示信号２２５は、全画素読み出しを示す場合に値１となり、間引き画素読み出しを示す場合に値０となる信号である。読み出し方式指示信号２２１は全画素読み出しモードを示す場合に値１となり、間引き画素読み出しモードを示す場合に値０となる信号である。撮影モード信号２２０は、高速読み出しモードを示す場合に値１となり、通常読み出しモードを示す場合に値０となる信号である。動き判定信号２２６は、現在のフレームに動きがない場合に値１となり、現在のフレームに動きがある場合に値０となる信号である。なお、前記いずれの信号もその意味と実際の値との対応付けは前記以外のものであってもよい。

また、撮影モード信号２２０が値０を取る場合の動作は、上述した画像処理装置１００と同様であるので説明を省略する。

以下、撮影モード信号２２０が値１を取る場合、すなわち高速読み出しモードにおける画像処理装置２００の動作を説明する。

まず、撮影が開始されるよりも前に、撮影準備信号２２３が値１となり撮影準備期間であることが示される。このとき、判定部２０４は値１を示す全画素読み出し指示信号２２５を出力する。これにより、読み出し方式切替え部２０１は値１を示す読み出し方式指示信号２２１を出力する。これにより、撮像部２０２は全画素読み出しモードで動作する。つまり、撮像部２０２は、全画素読み出ししたフレームを時間Ｔｆだけかけて撮像画像信号２２２として出力する。

次に、撮影実施信号２２４が値０から値１に変化することにより、撮影が開始されたことが示されると、判定部２０４は値０を示す全画素読み出し指示信号２２５を出力する。これにより、読み出し方式切替え部２０１は値０を示す読み出し方式指示信号２２１を出力する。これにより、撮像部２０２は間引き読み出しモードで動作する。つまり、撮像部２０２は、間引き画素読み出ししたフレームを時間Ｔｐだけかけて撮像画像信号２２２として出力する。

ここで、画素を間引く分だけ１フレームのデータ量が減るため、転送時間ＴｆよりもＴｐの方が短くなる。これにより、間引き画素読み出しモード時の方が、全画素読み出しモード時より早く次のフレームの転送を開始できる。このように、撮影期間中は撮像部２０２を間引き画素読み出しモードで動作させることにより、撮影期間中に高速に画像を撮影することが可能となる。

また、撮影期間中に、撮像画像信号２２２に含まれるフレームに動きがないことが検出された場合は、超解像部２０３により値１の動き判定信号２２６が出力される。このとき、判定部２０４は値１を示す全画素読み出し指示信号２２５を出力する。これにより、読み出し方式切替え部２０１は値１を示す読み出し方式指示信号２２１を出力する。これにより撮像部２０２は全画素読み出しモードで動作する。つまり、撮像部２０２は、全画素読み出ししたフレームを時間Ｔｆだけかけて撮像画像信号２２２として出力する。このとき、Ｔｆ＞Ｔｐであるので当該全画素読み出し期間中はフレームレートが低下する。しかしながら、フレームレートが低下する画像は動きのない画像であるので、撮影画像の動きががたつくといった主観的な画質劣化を抑えることが可能である。一方で、撮影期間中に全画素読み出しを行うことにより、より高精細な画像を得られる。これにより、撮影画像の画質の向上が可能となる。

次に、撮影期間が終了すると、撮影準備信号２２３が値０となるとともに、撮影終了信号２２７が値１となり撮影終了期間であることが示される。このとき、判定部２０４は値１を示す全画素読み出し指示信号２２５を出力する。これにより、読み出し方式切替え部２０１は値１を示す読み出し方式指示信号２２１を出力する。これにより、撮像部２０２は全画素読み出しモードで動作する。つまり、撮像部２０２は、全画素読み出ししたフレームを時間Ｔｆだけかけて撮像画像信号２２２として出力する。

次に、図１２を用いて、超解像部２０３の内部構成及び動作について説明する。図１２は、超解像部２０３の構成を示すブロック図である。

図１２に示すように、超解像部２０３は、撮像画像信号２２２を入力とし、記憶撮像画像信号２３１を出力するフレームメモリ２４４と、撮像画像信号２２２と記憶撮像画像信号２３１とを入力とし、動き情報信号２３２と動き判定信号２２６とを出力する動き検出部２４３と、撮像画像信号２２２と記憶撮像画像信号２３１とを入力とし超解像画像信号２３３を出力する超解像実行部２４２と、読み出し方式指示信号２２１と撮像画像信号２２２と超解像画像信号２３３とを入力とし出力画像信号２２９を出力する信号切替え部２４１とを備える。

フレームメモリ２４４は、撮像画像信号２２２に含まれる全画素読み出し又は間引き画素読み出しされたフレームを一時的に記憶し、記憶したフレームを記憶撮像画像信号２３１として出力する。

動き検出部２４３は、撮像画像信号２２２に含まれる現在のフレームと、記憶撮像画像信号２３１に含まれる過去に記憶されたフレームとの間の動きを検出し、現在のフレーム内の１つ以上の物体の動き量を示す動き情報信号２３２と、現在のフレームに動きがあるか、ないかを示す動き判定信号２２６とを出力する。動き検出の方法については、例えば「ディジタル画像圧縮の基礎：安田浩、渡辺裕／日経ＢＰ出版センター／１．３．２節」（非特許文献：１）に説明されている動き検出法を利用してもよい。なお、それ以外の任意の動き検出法を利用してもよい。例えば、動き検出部２４３は、低解像度な撮像画像信号２２２によって示される画像の、時間的に前又は後のフレームと現在のフレームとの間において動き補償を行う。具体的には、フレームをブロック単位に分割してブロックマッチングを行う。

動き情報信号２３２は、例えばフレームをブロック単位に分割してブロックマッチングを行った場合の動きベクトル情報である。なお、動き検出の単位はブロックでなくとも任意形状の領域であってもよい。

また、動き判定信号２２６は、例えば、前記ブロックマッチングを行った場合の動き補償されたブロック間の各画素値の差分絶対値和であり、また、例えば、前記ブロックマッチングを行った場合の動き補償における動きベクトルの大きさである。なお、動き判定信号２２６は、動き補償を行わずに、単純に現在のフレームと過去に記憶されたフレームとの同じ位置同士の各画素値の差分絶対値和であってもよい。また、動き判定信号２２６及び動き情報信号２３２は、上記以外の動き検出法により導かれた動き量の指標であってもよい。

また、動き判定信号２２６は、動き量を示す複数の情報を含んでもよい。例えば、動き判定信号２２６は、上記差分絶対値和と、上記動きベクトルの大きさとを共に含んでもよい。この場合、判定部２０４は、上記差分絶対値和が予め定められた値より小さい場合、又は上記動きベクトルの大きさが予め定められた値より小さい場合、又は両方の場合に、現在のフレームに動きがないと判断する。

さらには、超解像部２０３の構成は、フレームメモリ２４４及び動き検出部２４３を備えず、超解像実行部２４２は時間的に異なるフレームの情報を用いずに高解像度化を行ってもよく、この場合には動き判定信号２２６を出力しなくともよい。

超解像実行部２４２は、間引き画素読み出しされた低解像度な撮像画像信号２２２に超解像処理を行うことにより、低解像度な撮像画像信号２２２を高解像度化し、高解像度化した画像を超解像画像信号２３３として出力する。例えば、超解像実行部２４２は、特許文献２と同様の方法により、超解像処理を行う。具体的には、超解像実行部２４２は、撮影期間外に撮像部２０２により出力された高解像度な撮像画像信号２２２を用いて、撮影期間中に撮像部２０２により出力された低解像度な撮像画像信号２２２を高解像度化することにより超解像画像信号２３３を生成する。また、超解像実行部２４２は、動き情報信号２３２を参照し、動き検出部２４３により動き補償された時間的に前又は後の画像フレームと現在の画像フレームを用いて、超解像処理を行う。つまり、超解像実行部２４２は、複数のフレームの動き補償されたブロックを用いて、ブロック単位で超解像処理を行う。

信号切替え部２４１は、読み出し方式指示信号２２１によって全画素読み出しモードが示される場合、撮像画像信号２２２を出力画像信号２２９として出力する。また、信号切替え部２４１は、読み出し方式指示信号２２１によって間引き画素読み出しモードが示される場合、超解像画像信号２３３を出力画像信号２２９として出力する。

図１３及び図１４は、超解像実行部２４２による超解像処理の一例を示す図である。例えば、図１３に示すように、超解像実行部２４２は、超解像画像信号２３３に含まれるある時刻のフレームを生成する場合、撮像画像信号２２２に含まれる当該時刻のフレームと、当該フレームに後続する２枚のフレームとを用いて、つまり、撮像画像信号２２２に含まれる時間的に連続する３枚のフレームを用いて、超解像画像信号２３３に含まれる当該時刻のフレームを生成する。また、当該３枚のフレームに高解像度なフレーム（全画素読み出しされたフレーム）が含まれない場合には、さらに、撮影期間外に撮影された、時間的に最も近い高解像度なフレームを加えた、４枚のフレームを用いて、超解像画像信号２３３に含まれる当該時刻のフレームを生成する。

このように高解像度画像を用いて超解像処理を行うことにより、図１４に示すように、元の低解像度なフレームに含まれない画素位置の信号を精度良く復元することができる。

なお、超解像処理に用いるフレームは、２枚又は４枚以上であってもよいし、複数の高解像度画像を含んでもよい。

また、図１３に示すように、撮影期間中の撮像画像信号２２２を超解像処理したフレームの信号のみが出力画像信号２２９として出力され、撮影期間外に撮影された撮像画像信号２２２は、出力画像信号２２９として出力されない。ここで、出力画像信号２２９は、例えば、デジタルスチルカメラが備える記憶部等に記録されたり、外部装置に出力されたりする信号である。なお、この出力画像信号２２９は、所定の画像処理（コントラスト補正、色変換、及び画像圧縮等）を行った後に、記憶部等に記録されたり、外部装置に出力されてもよい。

また、超解像部２０３は、撮影期間外に撮影されたフレームを含むすべてのフレームを含む出力画像信号２２９を出力してもよい。この場合、画像処理装置２００は、各フレームに、当該フレームが撮影期間中に撮影されたフレームか、撮影期間外に撮影されたフレームかを示すタグ情報を付与した上で、出力する。これにより、デジタルスチルカメラが備える後段の処理部、又は、他の装置において、撮影期間中に撮影された画像と、撮影期間外に撮影された画像とを容易に区別することができる。

また、撮像画像信号２２２に対して、直ちに超解像処理を行うのではなく、上述したタグ情報を付与した上で、記憶部又は外部装置等に出力してもよい。この場合、外部装置により、当該出力された撮像画像信号２２２を用いた超解像処理が行われてもよいし、デジタルスチルカメラ内の処理部により、任意のタイミング（ユーザの指示、又は外部装置への出力時等）において超解像処理が行われてもよい。

図１５は、フレームに動きがなく、撮影期間中に高解像度画像を撮影した場合の、超解像実行部２４２による超解像処理の一例を示す図である。

図１５に示すように、撮影期間中に撮影された高解像の撮像画像信号２２２は、そのまま出力画像信号２２９として出力される。

次に、画像処理装置２００における画像処理方法の流れを説明する。

図１６は、画像処理装置２００における画像処理方法のフローチャートである。

まず、撮影モード取得部２０６は、撮影モード信号２２０を取得することにより、撮影モードを取得する（ステップＳ２１）。

次に、制御部２１０は、撮影モード信号２２０を参照し、現在の撮影モードが、高速読み出しモードか否かを判断する（ステップＳ２２）。現在の撮影モードが高速読み出しモードである場合（ステップＳ２２でＹｅｓ）、撮影期間取得部２０５は、ユーザの操作に基づく撮像期間を取得する（ステップＳ２６）。次に、制御部２１０は、撮影準備信号２２３を参照し、撮影準備期間であるか否か、すなわちまだ撮影の開始が指示されておらず、かつこれから撮影が開始される状態であるか否かを判定する（ステップＳ２７）。

また、制御部２１０は、撮影終了信号２２７を参照し、撮影終了期間、すなわち撮影中の状態を終了した瞬間か否かを判定する（ステップＳ２８）。

また、制御部２１０は、動き判定信号２２６を参照し、現在のフレームに動きがないか否かを判定する（ステップＳ２９）。

撮影準備期間及び撮影終了期間でなく、かつ、現在のフレームに動きがある場合（ステップＳ２７でＮｏ、かつステップＳ２８でＮｏ、かつステップＳ２９でＮｏ）、制御部２１０は、撮像部２０２に間引き読み出しモードを指示する（ステップＳ３０）。これにより、撮像部２０２は、１フレームを構成する全画素よりも少ない間引かれた画素の信号を読み出し、読み出した信号を撮像画像信号２２２として出力する（ステップＳ３１）。次に、超解像部２０３は、間引き画素読み出しされた低解像度な撮像画像信号２２２に含まれる時間的に連続する複数のフレームを用いて、例えば特許文献２のような超解像処理を行うことにより、高解像度なフレームを生成し、生成したフレームを含む出力画像信号２２９を出力する（ステップＳ３２）。

一方、現在の撮影モードが通常読み出しモードの場合（ステップＳ２２でＮｏ）と、撮影準備期間の場合（ステップＳ２７でＹｅｓ）と、撮影終了期間の場合（ステップＳ２８でＹｅｓ）と、現在のフレームに動きがない場合（ステップＳ２９でＹｅｓ）とのうちいずれかの場合、制御部２１０は、全画素読み出しモードを撮像部２０２に指示する（ステップＳ２３）。これにより、撮像部２０２は、１フレームを構成する全画素を読み出し、撮像画像信号２２２として出力する（ステップＳ２４）。次に、超解像部２０３は、全画素読み出しされた撮像画像信号２２２を、そのまま出力画像信号２２９として出力する。

以上により、本発明の実施の形態１に係る画像処理装置２００は、高速読み出しモード時には、基本的には、撮像部２０２を間引き画素読み出しモードで動作させた上で、間引き画素読み出しされた低解像度な画像に超解像処理を行うことにより、高解像度な画像を生成する。これにより、画像処理装置２００は、高解像度な高速連写及び高フレームレート動画撮影を実現できる。

さらに、画像処理装置２００は、撮影期間外（撮影期間前及び撮影期間後）に撮像部２０２を全画素読み出しモードで動作させた上で、全画素読み出しされた高解像度なフレームを用いて、超解像処理を行う。これにより、超解像処理を用いて生成される高解像度な画像の画質を向上できる。また、全画素読み出しするフレームは、撮影期間外のフレームなので、全画素読み出しを行ったとしても、撮影期間中のフレームレートが低下することはない。このように、本発明の実施の形態１に係る画像処理装置２００は、高速読み出しモードにおいて、高フレームレートを維持したまま画質の低下を抑制できる。

さらに、画像処理装置２００は、撮影期間中において、被写体の動きが小さい場合には、全画素読み出しを行う。この全画素読み出しを行った期間ではフレームレートが低下してしまうが、フレームレートが低下する画像は動きのない画像であるので、撮影画像の動きががたつくといった主観的な画質劣化を抑えることが可能である。一方で、撮影期間中に全画素読み出しを行うことにより、より高精細な画像を得られる。また、この全画素読み出しを行ったフレームを、他の間引き画素読み出しを行ったフレームの超解像処理に用いることにより、他のフレームの画質の向上が可能となる。

なお、上記説明では、撮影準備期間と、撮影終了期間と、撮影期間中の動きがない期間とのすべての期間において、撮像部２０２は全画素読み出しを行っているが、いずれか1以上の期間において、全画素読み出しを行ってもよい。

また、撮影準備期間に撮像部２０２を全画素読み出しモードで動作させる場合と、撮影終了期間に撮像部２０２を全画素読み出しモードで動作させる場合とを比べると、撮影終了期間に撮像部２０２を全画素読み出しモードで動作させる場合には、以下の利点があげられる。

まず、図１１に示すように、撮影準備期間の最後に撮影された高解像度なフレームと、撮影期間の最初に撮影された低解像度なフレームとの時間間隔はＴｆとなるが、撮影終了期間の最初に撮影された高解像度なフレームと、撮影期間の最後に撮影された低解像度なフレームとの時間間隔はＴｐとなる。つまり、撮影終了期間に撮影されたフレームの方が、撮影準備期間に撮影されたフレームより、撮影期間中に撮影された低解像度なフレームとの時間的な距離が短くなる。よって、画像処理装置２００は、より時間的に近い、すなわち、相関が高い高解像度なフレームを用いて、超解像処理を行うことができる。よって、画像処理装置２００は、超解像処理により、より高画質な画像を生成できる。

さらに、撮影準備期間に高解像度な画像を撮影する場合、撮影準備期間に撮影された画像のフレームレートが低下する。例えば、撮像部２０２によって撮影された画像をモニタ等に表示し、ユーザが当該画像を見ながら撮影を行う場合等を想定すると、ユーザがより最適なタイミングによって撮影を行うためには、撮影準備期間に撮影される画像は高フレームレートであることが好ましい。一方、撮影終了期間にフレームレートが低下しても、ユーザの撮影にこのような悪影響を及ぼすことはない。

さらに、デジタルスチルカメラのシャッターボタンの半押しなど、従来の機能に基づき、撮影準備信号２２３を生成できる場合は問題にならないが、半押し判定のないボタン、又は、タッチパネル等の操作により、撮影を開始する場合には、撮影準備期間を特定するために機能の追加が必要となる。一方、撮影終了期間は、撮影期間から容易に導出することが可能である。つまり、撮影終了期間に全画素読み出しモードに切り替える制御は、多くの撮影機器において容易に実現が可能である。

また、上述した説明のように、撮影準備期間及び撮影終了期間の両方において、高解像度な画像を撮影し、当該高解像度な画像を用いて超解像処理を行うことがより好ましい。例えば、図１３に示すように、画像処理装置２００は、撮影期間の前半に撮影されたフレームに対しては、撮影準備期間に撮影された高解像度なフレームを用いて、超解像処理を行い、撮影期間の前半に撮影されたフレームに対しては、撮影終了期間に撮影された高解像度なフレームを用いて、超解像処理を行うことができる。つまり、画像処理装置２００は、時間的により近い高解像度なフレームを用いて、高解像処理を行うことができる。よって、画像処理装置２００は、超解像処理により、より高画質な画像を生成できる。

また、上記説明では、撮影準備期間に撮影される高解像度なフレームは、撮影期間開始前の直前（時間Ｔｆ前）のフレームであるが、撮影期間の開始前であれば、直前以外に高解像度なフレームを撮影してもよい。ただし、撮影期間に撮影されるフレームとの相関を考慮すると、より撮影期間の開始時刻に近い時刻に、高解像度なフレームを撮影することが好ましい。

同様に、上記説明では、撮影終了期間に撮影される高解像度なフレームは、撮影期間終了の直後（時間Ｔｐ後）のフレームであるが、撮影期間の終了後であれば、直後以外に高解像度なフレームを撮影してもよい。ただし、撮影期間に撮影されるフレームとの相関を考慮すると、より撮影期間の終了時刻に近い時刻に、高解像度なフレームを撮影することが好ましい。

（実施の形態２）
本発明の実施の形態２に係る画像処理装置３００は、上述した実施の形態１に係る画像処理装置２００の機能に加え、さらに、モニタ表示を行うか否かに応じて、撮像方法を間引き画素読み出しと全画素読み出しとで切り替える。また、本発明の実施の形態２に係る画像処理装置３００は、時間的に最も近い高解像度なフレームを用いて、超解像処理を行う。

図１７は、本発明の実施の形態２に係る画像処理装置３００の構成を示すブロック図である。なお、図８と同様の要素には、同一の符号を付しており、実施の形態１と重複する説明は省略する。

図１７に示す画像処理装置３００は、図８に示す画像処理装置２００の構成に加え、さらに、モニタ表示部３０７を備える。また、判定部３０４及び超解像部３０３の構成が、実施の形態１と異なる。

モニタ表示部３０７は、モニタ有効信号３２７と出力画像信号２２９とを入力とし、出力画像信号２２９の画像を表示する。具体的には、モニタ表示部３０７は、モニタ有効信号３２７がモニタ表示を行うことを指示している場合に、液晶ディスプレイ又は有機ＥＬディスプレイなどの表示素子を用いて出力画像信号２２９の画像をモニタ表示する。また、モニタ表示部３０７は、モニタ有効信号３２７がモニタ表示を行わないことを指示している場合には、出力画像信号２２９の画像のモニタ表示を行わない。なお、モニタ有効信号３２７がモニタ表示を行わないことを指示している場合に、モニタ表示部３０７は、出力画像信号２２９以外の画像及び情報、例えばＩＳＯ感度、絞りのＦ値、及びシャッタースピードなどの撮影条件などを表示してもよい。

モニタ有効信号３２７は、ユーザの操作に基づく信号であり、モニタ表示を行うか否かを示す信号である。具体的には、ユーザによりモニタ表示モードが設定されている場合、例えば、ユーザがモニタに表示された画像を見ながら撮影を行う場合に、モニタ有効信号３２７は、モニタ表示を行うことを示す。また、ユーザによりモニタ非表示モードが設定されている場合、例えば、ユーザが光学ファインダを介して被写体を見ながら撮影を行う場合に、モニタ有効信号３２７は、モニタ表示を行わないことを示す。

判定部３０４は、撮影実施信号２２４、撮影準備信号２２３、動き判定信号２２６、及びモニタ有効信号３２７を入力とし、全画素読み出し指示信号２２５を出力する。つまり、判定部３０４は、実施の形態１の機能に加え、さらに、モニタ有効信号３２７に応じて、全画素読み出し指示信号２２５を出力する。具体的には、判定部３０４は、撮影準備期間の場合、又は撮影期間において被写体の動きがない場合でも、モニタ表示が行われている場合には、全画素読み出しを示す全画素読み出し指示信号２２５を出力しない。

つまり、判定部３０４は、モニタ有効信号３２７によってモニタ表示を行わないことが示されており、かつ撮影実施信号２２４によって撮影期間でないことが示されおり、かつ撮影準備信号２２３によって撮影準備期間であることが示された場合、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。また、判定部３０４は、撮影実施信号２２４によって撮影終了期間であることが示される場合、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。さらには、判定部３０４は、モニタ有効信号３２７によってモニタ表示を行わないことを示されており、かつ動き判定信号２２６によって現在のフレームに動きがないことが示されている場合は、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。

また、判定部３０４は、それ以外の場合、つまり、モニタ有効信号３２７によってモニタ表示を行うことが示されており、かつ撮影実施信号２２４によって撮影期間でないことが示されおり、かつ撮影準備信号２２３によって撮影準備期間であることが示された場合と、撮影実施信号２２４によって撮影期間であることが示されており、かつ動き判定信号２２６によって現在のフレームに動きがあることが示されている場合と、撮影実施信号２２４によって撮影期間であることが示されており、かつモニタ有効信号３２７によってモニタ表示を行うことが示されており、かつ動き判定信号２２６によって現在のフレームに動きがないことが示されている場合とに、間引き画素読み出しを示す全画素読み出し指示信号２２５を出力する。

なお、判定部３０４は、動き判定信号２２６を入力とせず、動きに応じた全画素読み出し指示信号２２５の制御を行わなくてもよい。さらには、判定部３０４は、定期的に全画素読み出しを示す全画素読み出し指示信号２２５を出力してもよい。

次に、画像処理装置３００における画像処理方法の流れを説明する。

図１８は、画像処理装置３００における画像処理方法のフローチャートである。なお、図１６に示す実施の形態１に係る画像処理装置２００における画像処理方法と同様の処理に関しては、説明を省略する。

画像処理装置３００における画像処理方法は、実施の形態１に係る画像処理装置２００における画像処理方法に対して、高速読み出しモード時（ステップＳ２２でＹｅｓ）における、撮影準備期間（ステップＳ２７でＹｅｓ）、及び現在のフレームに動きがない場合（ステップＳ２９でＹｅｓ）の動作が異なる。

具体的には、撮影準備期間（ステップＳ２７でＹｅｓ）、及び現在のフレームに動きがない場合（ステップＳ２９でＹｅｓ）、判定部３０４は、モニタ有効信号３２７を参照し、モニタ表示部３０７がモニタに出力画像信号２２９の画像を表示中であるか否かを判定する（ステップＳ４１）。

モニタ表示部３０７がモニタに出力画像信号２２９の画像を表示中である場合（ステップＳ４１でＹｅｓ）、制御部２１０は、撮像部２０２に間引き画素読み出しモードを指示する（ステップＳ３０）。これにより、撮像部２０２は、１フレームを構成する全画素よりも少ない間引かれた画素の信号を読み出し、読み出した信号を撮像画像信号２２２として出力する（ステップＳ３１）。次に、超解像部２０３は、間引き画素読み出しされた低解像度な撮像画像信号２２２に含まれる時間的に連続する複数のフレームを用いて、例えば特許文献２のような超解像処理を行うにより高解像度なフレームを生成し、生成した高解像度なフレームを含む出力画像信号２２９を出力する（ステップＳ３２）。

一方、モニタ表示部３０７がモニタに出力画像信号２２９の画像を表示中でない場合（ステップＳ４１でＮｏ）、制御部２１０は、全画素読み出しモードを撮像部２０２に指示する（ステップＳ２３）。これにより、撮像部２０２は、１フレームを構成する全画素を読み出し、撮像画像信号２２２として出力する（ステップＳ２４）。次に、超解像部２０３は、全画素読み出しされた撮像画像信号２２２を、そのまま出力画像信号２２９として出力する。

次に、超解像部３０３の構成及び動作を説明する。

図１９は、超解像部３０３の構成を示すブロック図である。なお、図１２と同様の要素には同一の符号を付しており、重複する説明は省略する。

図１９に示す超解像部３０３は、図１２に示す超解像部２０３の構成に加え、さらに、時間差分判定部３４５を備える。また、フレームメモリ３４４の構成が異なる。

フレームメモリ３４４は、撮像画像信号２２２に含まれる全画素又は間引き読み出しされたフレームを一時的に記憶する。また、フレームメモリ３４４は、フレーム情報信号３３４と、記憶撮像画像信号２３１とを出力する。

フレーム情報信号３３４は、フレームメモリ３４４が記憶している各フレームの時刻と、当該各フレームが全画素読み出しされたフレーム（以下、全画素読み出しフレーム）か間引き画素読み出しされたフレーム（以下、間引き画素読み出しフレーム）かを示す情報とを含む。記憶撮像画像信号２３１は、フレームメモリ３４４が記憶している間引き画素読み出しフレーム、及びフレーム選定信号３３５により選定された全画素読み出しフレームを含む。

時間差分判定部３４５は、フレーム情報信号３３４に基づいて、全画素読み出しフレームであって、かつ現在のフレームの時刻に最も近いフレームを判定する。また、時間差分判定部３４５は、全画素読み出しフレームであって、かつ現在のフレームの時刻に最も近いフレームを指定するフレーム選定信号３３５を出力する。

動き検出部２４３は、撮像画像信号２２２に含まれる現在のフレームと、記憶撮像画像信号２３１に含まれる過去に記憶されたフレームとの間の動きを検出し、現在のフレーム内の１つ以上の物体の動き量を示す動き情報信号２３２と、現在のフレームに動きがあるか、ないかを示す動き判定信号２２６を出力する。

図２０は、間引き画素読み出し超解像実行部２４２による超解像処理に使用するフレームの例を示す図である。ここで図２０では、全画素読み出しフレームの撮像間隔をＴｆ、間引き画素読み出しフレームの撮像間隔をＴｐとし、Ｔｆ＝２×Ｔｐの場合の例を示す。

図２０に示すフレーム４０３を高解像度化する場合、フレーム４０３に時間的に最も近い全画素読み出しフレームはフレーム４０２である。よって、時間差分判定部３４５はフレーム４０２を指定するフレーム選定信号３３５を出力する。これにより、超解像実行部２４２は、フレーム４０２を用いてフレーム４０３の高解像度化を行う。なお、超解像実行部２４２は、フレーム４０２以外のフレームをさらに使用してもよく、例えば全画素読み出しフレームではないが時間的に最も近い間引き読み出しフレームであるフレーム４０４をさらに使用してもよい。

また、フレーム４０５を高解像度化する場合、フレーム４０５に時間的に最も近い全画素読み出しフレームはフレーム４０８である。よって、時間差分判定部３４５はフレーム４０８を指定するフレーム選定信号３３５を出力する。これにより、超解像実行部２４２は、フレーム４０８を用いてフレーム４０５の高解像度化を行う。なお、超解像実行部２４２は、フレーム４０８以外のフレームをさらに使用してもよく、例えば全画素読み出しフレームではないが時間的に最も近い間引き画素読み出しフレームであるフレーム４０４及びフレーム４０６のうち少なくとも一方をさらに使用してもよい。

また、フレーム４０９を高解像度化する場合、フレーム４０９に時間的に最も近い全画素読み出しフレームはフレーム４０８とフレーム４１１とである。よって、時間差分判定部３４５はフレーム４０８及びフレーム４１１のいずれかを指定するフレーム選定信号３３５を出力する。これにより、超解像実行部２４２は、フレーム選定信号３３５によって指定されたフレーム４０８又はフレーム４１１を用いてフレーム４０９の高解像度化を行う。なお、図２０の例では、フレーム４０９の高解像度化にフレーム４０８を用いている。また、超解像実行部２４２はフレーム４０８以外のフレームをさらに使用してもよく、例えば全画素読み出しフレームではないが時間的に最も近い間引き画素読み出しフレームであるフレーム４１０をさらに使用してもよい。

ここで、フレーム間の相関性は一般に時間的に近いフレーム同士がより相関性が高い。よって、超解像実行部２４２は、時間的により近い全画素読み出しフレームを高解像度化に用いることにより、現在のフレームの間引き画素読み出しによって失われた画像情報を全画素読み出しフレームの情報を用いて精度良く推定することが可能となる。これにより、本発明の実施の形態２に係る画像処理装置３００は、超解像処理により、より高画質な画像を得ることができる。

なお、実施の形態１及び２に係る超解像実行部２４２は、特許文献２のような再構成型超解像と呼ばれる技術を用いてもよく、又は全画素読み出しフレームを学習データとして特開２００５−２５３０００号公報（特許文献：３）において示されるような学習型超解像と呼ばれる技術を用いてもよい。さらに超解像実行部２４２は、高解像度化を行う代わりに、同様に時間的に近いフレームを用いて、例えば特許第３４５８７４１号公報（特許文献：４）に示されるようなダイナミックレンジ拡大を行う画像処理を行ってもよい。この場合、上記説明における、間引き画素読み出しフレームを露光時間の短いフレームと置き換え、全画素読み出しフレームを露光時間の長いフレームと置き換えればよい。

以上より、本発明の実施の形態２に係る画像処理装置３００は、実施の形態１に係る画像処理装置２００と同様に、高速読み出しモードにおいて、高フレームレートを維持したまま画質の低下を抑制できる。

さらに、画像処理装置３００は、モニタ表示中の場合は、撮影準備状態であっても、全画素読み出しをしない。これにより、撮影開始前のモニタ表示においてフレームレートが落ちることなく快適に撮影を開始できる。

さらに、画像処理装置３００は、現在のフレームに時間的に最も近い全画素読み出しのフレームを用いて、超解像処理を行う。これにより、画像処理装置３００は、超解像処理により、より高画質な画像を得ることができる。

なお、上記説明では、撮影準備期間の場合と、撮影期間中に画像に動きがない場合とに、さらに、上記モニタ表示の有無に応じた制御を行っているが、撮影準備期間の場合と、撮影期間中に画像に動きがない場合とのいずれか一方のみにおいて、上記モニタ表示の有無に応じた制御を行ってもよい。また、撮影終了期間においても、上記モニタ表示の有無に応じた制御を行ってもよい。

（実施の形態３）
本発明の実施の形態３では、上記各実施の形態において示した画像処理装置２００又は３００の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録することにより、上記各実施の形態において示した処理を、独立したコンピュータシステムにおいて実施する例を説明する。

図２１Ａ〜図２１Ｃは、上記各実施の形態の画像処理装置を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図２１Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。図２１Ｂは、フレキシブルディスク４５０を正面から見た外観、フレキシブルディスク４５０の断面構造、及びディスク４５１を示す図である。

フレキシブルディスク４５０は、ケース４５２と、ケース４５２内に内蔵されるディスク４５１とを備える。ディスク４５１の表面には、同心円状に外周から内周に向かって複数のトラック４５３が形成される。各トラック４５３は角度方向に１６のセクタ４５４に分割される。したが、ディスク４５１上に割り当てられた領域に、上記プログラムが記録されている。

また、図２１Ｃは、フレキシブルディスク４５０への上記プログラムの記録、及びフレキシブルディスク４５０からの上記プログラムの読み出し及び再生を行うコンピュータシステム４６０の構成を示す図である。画像処理装置２００又は３００を実現する上記プログラムをフレキシブルディスク４５０に記録する場合は、コンピュータシステム４６０は、上記プログラムを、フレキシブルディスクドライブ４６１を介してフレキシブルディスク４５０に書き込む。

また、フレキシブルディスク４５０内のプログラムを実行することにより画像処理装置２００又は３００の機能をコンピュータシステム４６０中に構築する場合は、フレキシブルディスクドライブ４６１によりプログラムをフレキシブルディスク４５０から読み出し、コンピュータシステム４６０に転送する。コンピュータシステム４６０は、転送されたプログラムを実行することにより、上述した画像処理装置２００又は３００の機能を実現する。

なお、上記説明では、記録媒体としてフレキシブルディスク４５０を例に説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。また、コンピュータシステム４６０に着脱可能な記録媒体に限らず、コンピュータシステム４６０が備えるＨＤＤ（ハードディスク・ドライブ）、不揮発性メモリ、ＲＡＭ又はＲＯＭに記録されるプログラムを、コンピュータシステム４６０が実行してもよい。さらに、コンピュータシステム４６０は有線又は無線の通信網を介して取得したプログラムを実行してもよい。

（実施の形態４）
本発明の実施の形態４では、上記実施の形態１及び２に係る画像処理装置２００及び３００を備えるデジタルカメラについて説明する。

図２２Ａ〜図２２Ｃは、本発明の実施の形態４に係るデジタルカメラ５００の外観図である。図２２Ａ〜図２２Ｃは、それぞれデジタルカメラ５００を上面、正面及び背面から見た図である。

デジタルカメラ５００は、例えば、静止画を撮影する機能と、動画像を撮影する機能を有するデジタルスチルカメラである。このデジタルカメラ５００は、シャッターボタン５０１と、レンズ５０２と、モニタ画面５０３と、ファインダ５０４と、撮影モード切替えダイアル５０５と、連写モード切替えボタン５０６と、モニタ表示ボタン５０７とを備える。

レンズ５０２は、光を撮像部２０２に集光する。レンズ５０２を通った光は、撮像部２０２により光電変換され、撮像画像信号２２２として出力される。ここで撮像部２０２は、例えば上記各実施の形態において示した撮像部２０２である。

シャッターボタン５０１が、ユーザにより半押しされた場合、レンズ５０２が操作されることにより焦点が合わされる。また、シャッターボタン５０１が、ユーザにより半押しされた場合、撮影準備期間であることを示す撮影準備信号２２３が生成される。図１１の例を用いて説明すると、シャッターボタン５０１が、半押しされた場合に撮影準備信号２２３が値１にセットされる。

撮影モード切替えダイアル５０５が、ユーザにより回転されると、撮影モードが切り替えられる。ここで撮影モードとは、例えば動画撮影モード、静止画撮影モード、画像再生モードなどである。

連写モード切替えボタン５０６が、ユーザにより押下されるたびに、撮影モードが切り替えられる。例えば、静止画撮影モード時に、連写モード切替えボタン５０６が、押下されるたびに、通常撮影モード、高速連写モード、及び低速連写モードの順に撮影モードが切り替えられる。ここで通常撮影モードとは、ユーザによりシャッターボタン５０１が押下された際に、１枚の静止画を撮影するモードである。また、高速連写モードとは、ユーザによりシャッターボタン５０１が押下されている間、毎秒８枚などで静止画を撮影するモードである。また、低速連写モードとは、ユーザによりシャッターボタン５０１が押下されている間、毎秒２枚などで静止画を撮影するモードである。

例えば、連写モード切替えボタン５０６により高速連写モードが設定された場合に、高速読み出しモードを示す撮影モード信号２２０が生成される。また、通常撮影モード及び低速連写モードが設定された場合に、通常読み出しモードを示す撮影モード信号２２０が生成される。

また、動画撮影モード時に、連写モード切替えボタン５０６がユーザにより押下されるたびに、高フレームレート動画撮影モードと、低フレームレート動画撮影モードとが切り替えられる。例えば、高フレームレート動画撮影モードとは、シャッターボタン５０１が押下されている間、毎秒１２０フレームなどで動画像を撮影するモードである。また、低フレームレート動画撮影モードとは、毎秒３０フレームなどで動画像を撮影するモードである。

例えば、連写モード切替えボタン５０６により高フレームレート動画撮影モードが設定された場合に、高速読み出しモードを示す撮影モード信号２２０が生成される。また、低フレームレート動画撮影モードが設定された場合に、通常読み出しモードを示す撮影モード信号２２０が生成される。

モニタ画面５０３は、例えば実施の形態２において説明したモニタ表示部３０７であり、液晶ディスプレイ又は有機ＥＬディスプレイなどの表示素子を用いて出力画像信号２２９をモニタ表示する。

モニタ表示ボタン５０７が、ユーザにより押下されるたびに、実施の形態２において説明したモニタ有効信号３２７の値が「モニタ表示を行う」と「モニタ表示を行わない」との間で切り替えられる。そしてモニタ表示を行わないと示すモニタ有効信号３２７が出力されている場合は、モニタ画面５０３は出力画像信号２２９をモニタ表示しない。この場合、ユーザは、ファインダ５０４を用いて撮影対象を確認する。また、モニタ表示を行うことを示すモニタ有効信号３２７が出力されている場合は、モニタ画面５０３は出力画像信号２２９をモニタ表示する。

ファインダ５０４は、光学的な像を、光電変換などを行わずそのまま映し出す光学ファインダである。

なお、撮影モードの切替え方法、及び各撮影モードにおける撮影操作方法は、上記以外の方法でもよい。例えば、動画モード及び連写モードにおける、撮影操作方法として、シャッターボタン５０１を一度押下することで、動画像撮影又は連写を開始し、再度シャッターボタン５０１が押下されることによって、動画像撮影又は連写を終了してもよい。また、当該操作は、シャッターボタン５０１以外を用いて行ってもよい。また、動画像撮影又は連写の開始操作に、シャッターボタン５０１以外を用いる場合であっても、シャッターボタン５０１と同様に、半押しを検知することによって、撮影準備信号２２３を生成できる。

また、本発明に係る画像処理装置２００及び３００を、デジタルビデオカメラに用いてもよい。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）で構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含んでもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有してもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、及び半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、及び、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。

本発明は、画像処理装置、画像処理方法及びプログラムに適用でき、特に、高速連写及び高フレームレート撮影などの高速に画像を読み出すモードを備えるデジタルスチルカメラ及びデジタルビデオカメラ等に適用できる。

本発明は、画像処理装置及び画像処理方法に関し、特に、撮像装置を用いて撮像された低解像度な画像データを、高解像度化する画像処理装置に関する。

近年、デジタルスチルカメラ及びデジタルビデオカメラなどの撮影機器において、高精細な静止画を撮影するために多画素の撮像素子を用いるケースが増えてきている。しかしながら、これらの撮像素子を用いて連写及び動画撮影などの高フレームレートな画像を撮影する際、単位時間あたりに撮像素子から読み出されるデータ量が増大する。具体的には、単位時間あたりに撮像素子から読み出されるデータ量は、１フレームの画素数とフレームレートとの掛け算となる。これにより、単位時間あたりの読み出しデータ量に制約のある撮像素子では、全画素のデータを読み出しつつ高フレームレートで撮影することが困難である。

これに対して、撮像素子から読み出す画素数を間引くことによって単位時間あたりに読み出されるデータ量を抑えつつ、高フレームレートを達成する技術の一例が特許文献１に示されている。ここで、フレームとは、ある時刻における１枚の静止画像のことを指す。

さらには、間引かれた低解像度な複数枚のフレームから高解像度なフレームを生成する超解像技術の一例が、特許文献２によって示されている。

これらの組み合わせによって構成された画像処理装置１００の構成及び画像処理方法について、以下に説明する。

図１は、画像処理装置１００の構成を示すブロック図である。図１に示す画像処理装置１００は、撮影モード信号１２０を入力とし、読み出し方式指示信号１２１を出力する読み出し方式切替え部１０１と、読み出し方式指示信号１２１を入力とし、撮像画像信号１２２を出力する撮像部１０２と、撮像画像信号１２２を入力とし、出力画像信号１２９を出力する超解像部１０３とを備える。

読み出し方式切替え部１０１は、撮影モード信号１２０により現在の撮影モードが高速に画像を読み出すモード（以下、高速読み出しモード）であると示されている場合に、撮像部１０２に間引き画素読み出しを指示する読み出し方式指示信号１２１を出力する。また、それ以外の場合（以下、通常読み出しモード）には撮像部１０２に全画素読み出しを指示する読み出し方式指示信号１２１を出力する。

ここで、高速読み出しモードとは、例えば毎秒８枚などで撮影される高速連写モードであり、また例えば毎秒１２０フレームなどで撮影される高フレームレート動画撮影モードである。通常読み出しモードとは、例えば連写を行わない通常撮影モードであり、また例えば毎秒２枚などで撮影される低速連写モードであり、また例えば毎秒３０フレームなどで撮影される通常の動画撮影モードである。

撮像部１０２は、光学的な像を電気信号に変換する、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を含む。この撮像部１０２は、読み出し方式指示信号１２１によって全画素読み出しが指示されている場合は、１フレームを構成する全画素分の信号を撮像画像信号１２２として出力する。また、撮像部１０２は、読み出し方式指示信号１２１によって間引き画素読み出しが指示されている場合は、１フレームを構成する全画素よりも少ない間引かれた画素の信号を撮像画像信号１２２として出力する。

超解像部１０３は、読み出し方式指示信号１２１によって全画素読み出しが指示されている場合は、撮像画像信号１２２をそのまま出力画像信号１２９として出力する。また、超解像部１０３は、読み出し方式指示信号１２１により間引き画素読み出しが指示されている場合は、間引き画素読み出しされた低解像度な撮像画像信号１２２の時間的に連続する複数のフレームを用いて、例えば特許文献２に記載されるような超解像処理を用いて高解像度なフレームを生成し、生成した高解像度なフレームを出力画像信号１２９として出力する。

以下、図２を用いて、超解像部１０３の内部構成及び動作について説明する。図２は、超解像部１０３の構成を示すブロック図である。

図２に示す超解像部１０３は、撮像画像信号１２２を入力とし、記憶撮像画像信号１３１を出力するフレームメモリ１４４と、撮像画像信号１２２と記憶撮像画像信号１３１とを入力とし、動き情報信号１３２を出力する動き検出部１４３と、撮像画像信号１２２と記憶撮像画像信号１３１とを入力とし、超解像画像信号１３３を出力する超解像実行部１４２と、読み出し方式指示信号１２１と撮像画像信号１２２と超解像画像信号１３３とを入力とし、出力画像信号１２９を出力する信号切替え部１４１とを備える。

フレームメモリ１４４は、撮像画像信号１２２に含まれる、全画素又は間引き画素読み出しされたフレームを一時的に記憶し、記憶したフレームを記憶撮像画像信号１３１として出力する。

動き検出部１４３は、撮像画像信号１２２の現在のフレームと、記憶撮像画像信号１３１の過去に記憶されたフレームとの間の動きを検出し、現在のフレーム内の１つ以上の物体の動き量を示す動き情報信号１３２を出力する。

超解像実行部１４２は、動き情報信号１３２を用いて、間引き画素読み出しされた低解像度な撮像画像信号１２２に超解像処理を行うことにより、高解像度な超解像画像信号１３３を出力する。

信号切替え部１４１は、読み出し方式指示信号１２１によって全画素読み出しが指示される場合、撮像画像信号１２２を出力画像信号１２９として出力する。また、信号切替え部１４１は、読み出し方式指示信号１２１によって間引き画素読み出しが指示される場合、超解像画像信号１３３を出力画像信号１２９として出力する。

次に、図３及び図４を用いて、画像処理装置１００の具体的な動作の例を説明する。図３は、通常読み出しモード時の画像処理装置１００の動作を示す図である。図４は、高速読み出しモード時の画像処理装置１００の動作を示す図である。

また、撮影実施信号１２４は、撮影期間中の場合に値１となり、それ以外は値０となる信号である。読み出し方式指示信号１２１は、全画素読み出しの場合に値１となり、それ以外は値０となる信号である。撮影モード信号１２０は、高速読み出しモード時に値１となり、通常読み出しモード時に値０となる信号である。

まず、撮影モード信号１２０が値０の場合、すなわち通常読み出しモードの場合の画像処理装置１００の動作を説明する。図３に示すように、撮影モード信号１２０が値０のとき、読み出し方式切替え部１０１は、値０の読み出し方式指示信号１２１を出力する。これにより、撮像部１０２は全画素読み出しを行うとともに、１フレームを時間Ｔｆだけかけて撮像画像信号１２２として出力する。ここで、１つのフレームの転送時間がＴｆであるため、次のフレームの転送開始までの間隔は最低でもＴｆだけ必要である。

次に、撮影モード信号１２０が値１を取る場合、すなわち高速読み出しモードの場合の画像処理装置１００の動作を説明する。図４に示すように、撮影モード信号１２０が値１のとき、読み出し方式切替え部１０１は、値１の読み出し方式指示信号１２１を出力する。これにより、撮像部１０２は間引き読み出しを行うとともに、１フレームを時間Ｔｐだけかけて撮像画像信号１２２として出力する。ここで、高速読み出しモードでは、間引き読み出しを行うため、全画素読み出しされた画像に比べ画質は劣化するが、Ｔｐ＜Ｔｆであるため、撮影モード信号１２０が値０の場合に比べて高フレームレートな画像を撮影することが可能である。

次に、図５を用いて、画像処理装置１００の動作を説明する図５は、画像処理装置１００における画像処理方法のフローチャートである。

まず、読み出し方式切替え部１０１は、現在の撮影モードが、高速読み出しモードか否かを判断する（ステップＳ１）。現在の撮影モードが高速読み出しモードである場合（Ｓ１でＹｅｓ）、読み出し方式切替え部１０１は、間引き画素読み出しを撮像部１０２に指示し（ステップＳ５）、通常読み出しモードの場合（Ｓ１でＮｏ）、読み出し方式切替え部１０１は、全画素読み出しを撮像部１０２に指示する（ステップＳ２）。

全画素読み出しが指示された場合、撮像部１０２は、１フレームを構成する全画素の信号を読み出し、撮像画像信号１２２として出力する（ステップＳ３）。次に、超解像部１０３は、その読み出された撮像画像信号１２２をそのまま出力画像信号１２９として出力する（ステップＳ４）。

一方、ステップＳ５において間引き画素読み出しが指示された場合、撮像部１０２は、１フレームを構成する全画素よりも少ない間引かれた画素の信号を読み出す（ステップＳ６）。次に、超解像部１０３は、間引き画素読み出しされた低解像度な撮像画像信号１２２に含まれる時間的に連続する複数のフレームを用いて、例えば特許文献２のような処理を用いて高解像度なフレームを生成し、生成した高解像度なフレームを出力画像信号１２９として出力する（ステップＳ７）。

図６は、従来の超解像処理の一例を示す図である。図６に示すように、例えば、低解像度な画像の時間的に連続する３枚のフレームを用いて、高解像度な画像の１枚のフレームが生成される。

特開２００５−１０９９６８号公報 特開２０００−２４４８５１号公報

しかしながら、上記説明した画像処理装置１００においては、高速読み出しモードでは、撮像素子の画像転送速度が限られているので、単位時間あたりの転送フレーム数を増やすことと引き換えに、１フレームあたりの転送画素数を間引いている。これにより、画像処理装置１００では、解像度が落ちるなど、画質が低下するという課題がある。

図７は、画像処理装置１００における超解像処理の一例を示す図である。画像処理装置１００では、間引いた画像を超解像処理により復元しているので、例えば、図７に示すように、超解像処理により、間引かれた部分の画素値を正しく復元できない場合がある。

そこで、本発明は、高速読み出しモードにおける画質の低下を抑制できる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、撮影期間を取得する撮影期間取得部と、光を電気信号に変換する複数の画素を備え、前記複数の画素のうち、第１画素数の画素により変換された電気信号である低解像度画像信号を出力する第１モードと、前記複数の画素のうち、前記第１画素数より多い第２画素数の画素により変換された電気信号である高解像度画像信号を出力する第２モードとを有する撮像部と、前記撮影期間取得部により取得された撮影期間中に、前記撮像部を前記第１モードで動作させ、前記撮影期間外に、前記撮像部を前記第２モードで動作させる制御部と、前記撮影期間外に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化することにより超解像画像信号を生成する超解像部とを備える。

この構成によれば、本発明に係る画像処理装置は、撮影期間中は、低解像度な画像を撮影し、当該低解像度な画像に超解像処理を行うことにより、高解像度な画像を生成する。これにより、本発明に係る画像処理装置は、高フレームレートを維持したまま、高解像度な画像を撮影できる。

さらに、本発明に係る画像処理装置は、撮影期間外に高解像度な画像を撮影し、当該高解像度な画像を用いて、超解像処理を行う。これにより、超解像処理を用いて生成される高解像度な画像の画質を向上できる。また、高解像度な画像を撮影するので撮影期間外なので、撮影期間中のフレームレートが低下することはない。このように、本発明に係る画像処理装置は、高速読み出しモードにおいて、高フレームレートを維持したまま画質の低下を抑制できる。

また、前記制御部は、前記撮影期間終了後に、前記撮像部を前記第２モードで動作させ、前記超解像部は、前記撮影期間終了後に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化してもよい。

この構成によれば、本発明に係る画像処理装置は、撮影期間後に高解像度な画像を撮影し、当該高解像度な画像を用いて超解像処理を行う。ここで、撮影期間前に高解像度な画像を撮影する場合、撮影期間前に撮影された画像のフレームレートが低下する。例えば、撮像部によって撮影された画像をモニタ等に表示し、ユーザが当該画像を見ながら撮影を行う場合等を想定すると、撮影期間前に撮影される画像は、ユーザがより最適なタイミングにおいて撮影を行うためには、高フレームレートであることが好ましい。本発明に係る画像処理装置では、撮影期間後に高解像度な画像を撮影することにより、撮影開始前のモニタ表示における画像の動きの不自然さを回避できる。これにより、ユーザは、シャッターチャンスを逃さず快適に撮影できる。

また、前記制御部は、前記撮影期間開始前に、前記撮像部を前記第２モードで動作させ、前記超解像部は、前記撮影期間開始前に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化してもよい。

この構成によれば、本発明に係る画像処理装置は、撮影期間後に加え、撮影期間前にも高解像度な画像を撮影する。これにより、本発明に係る画像処理装置は、より時間的に近い、すなわち、相関が高い高解像度な画像を用いて、超解像処理を行うことができる。よって、本発明に係る画像処理装置は、超解像処理により、より高画質な画像を生成できる。

また、前記画像処理装置は、さらに、前記低解像度画像信号の画像、前記高解像度画像信号の画像、又は前記超解像画像信号の画像をモニタに表示するモニタ表示部を備え、前記制御部は、前記撮影期間開始前に、前記モニタ表示部が、前記低解像度画像信号の画像、前記高解像度画像信号の画像、又は前記超解像画像信号の画像をモニタに表示していない場合に、前記撮像部を前記第２モードで動作させ、前記撮影期間開始前に、前記モニタ表示部が、前記高解像度画像信号の画像、又は前記超解像画像信号の画像をモニタに表示している場合に、前記撮像部を前記第１モードで動作させてもよい。

この構成によれば、本発明に係る画像処理装置は、モニタ表示中の場合は、撮影期間前であっても、撮像部を第２モードで動作させない。これにより、撮影開始前のモニタ表示においてフレームレートが落ちることがないので、本発明に係る画像処理装置は、撮影開始前のモニタ表示における画像の動きの不自然さを回避できる。これにより、ユーザは、シャッターチャンスを逃さず快適に撮影できる。

また、前記撮影期間取得部は、シャッターボタンが半押しされているか否かを示す撮影準備信号を取得し、前記制御部は、前記撮影準備信号によってシャッターボタンが半押しされていることが示される場合に、前記撮像部を前記第２モードで動作させてもよい。

この構成によれば、本発明に係る画像処理装置は、撮影開始前の直前のタイミングに、超解像処理に用いる高解像度な画像を撮影できる。これにより、超解像処理に用いる高解像度な画像と、撮影期間中に撮影された低解像度な画像との時間的な距離が短くなるので、超解像処理に用いる高解像度な画像と、撮影期間中に撮影された低解像度な画像との相関が高くなる。よって、本発明に係る画像処理装置は、超解像処理により、より高画質な画像を生成できる。

また、前記制御部は、さらに、前記低解像度画像信号によって示される画像の動きが予め定められた値より小さい場合、前記撮影期間中に、前記撮像部を前記第２モードで動作させ、前記超解像部は、さらに、前記撮影期間中に前記撮像部により出力された前記高解像度画像信号を用いて、当該撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化してもよい。

この構成によれば、撮影期間中であっても、被写体の動きが小さい場合には、高解像度な画像を撮影する。撮影期間中に高解像度な画像を撮影した場合、この期間の画像のフレームレートは低下してしまうが、フレームレートが低下する画像は動きのない画像であるので、画像の動きががたつくといった主観的な画質劣化を抑えることができる。一方で、撮影期間中に高解像度な画像を撮影することにより、当該画像の画質を向上できる。さらに、この高解像度な画像を用いて、超解像処理に用いることにより、他の画像フレームの画質の向上も可能となる。

また、前記制御部は、前記低解像度画像信号によって示される画像の、時間的に前又は後の画像フレームと現在の画像フレームとの画素値の差分絶対値和の値が予め定められた値より小さい場合に、前記低解像度画像信号によって示される画像の動きが予め定められた値より小さいと判定してもよい。

また、前記超解像部は、前記低解像度画像信号によって示される画像の、時間的に前又は後の画像フレームと現在の画像フレームとの間において動き補償を行い、当該動き補償された時間的に前又は後の画像フレームと現在の画像フレームを用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化し、前記制御部は、前記動き補償された前記時間的に前又は後の画像フレームと現在の画像フレームとの画素値の差分絶対値和が予め定められた値より小さい場合、又は前記動き補償における動き量を示す動きベクトルの大きさが予め定められた値より小さい場合、又は両方の場合に、前記低解像度画像信号によって示される画像の動きが予め定められた値より小さいと判定してもよい。

また、前記超解像部は、前記低解像度画像信号の現在の画像フレームを高解像度化するために、前記高解像度画像信号の画像フレームのうち、当該現在の画像フレームに時間的に最も近い画像フレームを優先的に使用してもよい。

この構成によれば、本発明に係る画像処理装置は、現在の画像フレームに時間的に最も近い高解像度な画像フレーム、つまり相関が高い高解像度な画像フレームを用いて、超解像処理を行う。これにより、本発明に係る画像処理装置は、超解像処理により、より高画質な画像を生成できる。

また、前記制御部は、さらに、前記撮影期間中に、定期的に前記撮像部を前記第２モードで動作させ、前記超解像部は、さらに、前記撮影期間中に前記撮像部により出力された前記高解像度画像信号を用いて、当該撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化してもよい。

この構成によれば、本発明に係る画像処理装置は、より時間的に近い、つまり相関が高い高解像度な画像フレームを用いて、超解像処理を行うことができる。これにより、本発明に係る画像処理装置は、超解像処理により、より高画質な画像を生成できる。

また、前記制御部は、前記撮影期間終了の直後に、前記撮像部を前記第２モードで動作させ、前記超解像部は、前記撮影期間終了の直後に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化してもよい。

この構成によれば、撮影期間後に撮影される高解像度画像と、撮影期間中に撮影された低解像度画像との時間的な距離が短くなる。よって、撮影期間後に撮影される高解像度画像と、撮影期間中に撮影された低解像度画像との相関が高くなる。これにより、本発明に係る画像処理装置は、超解像処理により、より高画質な画像を生成できる。

また、前記撮像部は、前記第１モード時には、前記低解像度画像信号を第１フレームレートで出力し、前記第２モード時には、前記高解像度画像信号を、前記第１フレームレートより遅い第２フレームレートで出力してもよい。

なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な手段をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

さらに、本発明は、このような画像処理装置の機能の一部又はすべてを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置を備えるカメラとして実現したりできる。

以上より、本発明は、高速読み出しモードにおける画質の低下を抑制できる画像処理装置、画像処理方法、及びプログラムを提供できる。

図１は、従来の画像処理装置のブロック図である。 図２は、従来の超解像部のブロック図である。 図３は、従来の画像処理装置における通常読み出しモード時の動作を示す図である。 図４は、従来の画像処理装置における高速読み出しモード時の動作を示す図である。 図５は、従来の画像処理装置の処理を示すフローチャートである。 図６は、従来の画像処理装置における超解像処理を示す図である。 図７は、従来の画像処理装置における超解像処理を示す図である。 図８は、本発明の実施の形態１に係る画像処理装置のブロック図である。 図９Ａは、本発明の実施の形態１に係る、画素の間引き例を示す図である。 図９Ｂは、本発明の実施の形態１に係る、画素の間引き例を示す図である。 図９Ｃは、本発明の実施の形態１に係る、画素の間引き例を示す図である。 図１０Ａは、本発明の実施の形態１に係る、間引き画素の画素値の生成方向を示す図である。 図１０Ｂは、本発明の実施の形態１に係る、間引き画素の画素値の生成方向を示す図である。 図１１は、本発明の実施の形態１に係る画像処理装置における動作を示す図である。 図１２は、本発明の実施の形態１に係る超解像部のブロック図である。 図１３は、本発明の実施の形態１に係る画像処理装置における超解像処理を示す図である。 図１４は、本発明の実施の形態１に係る画像処理装置における超解像処理を示す図である。 図１５は、本発明の実施の形態１に係る画像処理装置における超解像処理を示す図である。 図１６は、本発明の実施の形態１に係る画像処理装置の処理を示すフローチャートである。 図１７は、本発明の実施の形態２に係る画像処理装置のブロック図である。 図１８は、本発明の実施の形態２に係る画像処理装置の処理を示すフローチャートである。 図１９は、本発明の実施の形態２に係る超解像部のブロック図である。 図２０は、本発明の実施の形態２に係る画像処理装置における超解像処理を示す図である。 図２１Ａは、本発明の実施の形態３に係る記録媒体の構成を示す図である。 図２１Ｂは、本発明の実施の形態３に係る記録媒体の構成を示す図である。 図２１Ｃは、本発明の実施の形態３に係るコンピュータシステムの構成を示す図である。 図２２Ａは、本発明の実施の形態４に係るデジタルカメラの外観を示す図である。 図２２Ｂは、本発明の実施の形態４に係るデジタルカメラの外観を示す図である。 図２２Ｃは、本発明の実施の形態４に係るデジタルカメラの外観を示す図である。

以下、本発明に係る画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
本発明の実施の形態１に係る画像処理装置２００は、高速読み出しモード時において、撮影期間外に、高解像度な画像を撮影し、当該高解像度な画像を用いて、撮影期間内に撮影した低解像度な画像に対して超解像処理を行う。これにより、本発明の実施の形態１に係る画像処理装置２００は、高速読み出しモードにおける画質の低下を抑制できる。

まず、図８を用いて、本発明の実施の形態１に係る画像処理装置２００の構成について説明する。図８は、本発明の実施の形態１に係る画像処理装置２００の構成を示す図である。

図８に示す画像処理装置２００は、例えば、デジタルスチルカメラに搭載されるシステムＬＳＩである。この画像処理装置２００は、撮影モード信号２２０と、撮影準備信号２２３と、撮影実施信号２２４とを入力とし、出力画像信号２２９を出力する。また、画像処理装置２００は、制御部２１０と、撮像部２０２と、超解像部２０３と、撮影期間取得部２０５と、撮影モード取得部２０６とを備える。

撮影モード信号２２０は、ユーザの操作に基づく信号であり、ユーザの操作により通常読み出しモードが指定されているか、高速読み出しモードが指定されているかを示す信号である。具体的には、毎秒８枚などで撮影する高速連写モード、又は毎秒１２０フレームなどで撮影できる高フレームレート動画撮影モードがユーザの操作により指定された場合、撮影モード信号２２０は、高速読み出しモードを示す。また、連写を行わない通常撮影モード、毎秒２枚などで撮影する低速連写モード、又は毎秒３０フレームなどで撮影する通常の動画撮影モードがユーザの操作により指定された場合、撮影モード信号２２０は、通常読み出しモードを示す。

撮影実施信号２２４は、ユーザの操作に基づく信号であり、撮影期間を示す信号である。例えば、ユーザによりシャッターボタンが押下されている間、撮影実施信号２２４がアクティブとなることにより、撮影期間が示される。

撮影準備信号２２３は、ユーザの操作に基づく信号であり、撮影準備期間を示す信号である。ここで撮影準備期間とは、撮影期間の直前の期間である。具体的には、ユーザによりシャッターボタンが半押し状態にある間、撮影準備信号２２３がアクティブとなることにより、撮影準備期間が示される。

撮影モード取得部２０６は、ユーザの操作に応じた撮影モードを取得する。具体的には、撮影モード信号２２０を取得することにより、撮影モードを取得する。また、撮影モード取得部２０６は、取得した撮影モード信号２２０を制御部２１０に出力する。

撮影期間取得部２０５は、ユーザの操作に応じた撮影期間を取得する。具体的には、撮影準備信号２２３及び撮影実施信号２２４を取得することにより、撮影期間を取得する。言い換えると、撮影期間取得部２０５は、ユーザによる撮影開始指示及び撮影終了指示を検知する。また、撮影期間取得部２０５は、取得した撮影準備信号２２３及び撮影実施信号２２４を制御部２１０に出力する。さらに、撮影期間取得部２０５は、撮影実施信号２２４を用いて、撮影終了期間を示す撮影終了信号２２７を生成し、生成した撮影終了信号２２７を制御部２１０に出力する。ここで、撮影終了期間とは、撮影期間が終了した直後の、所定の時間幅を有する期間である。

また、撮影期間取得部２０５は、撮影前に予めユーザにより設定された撮影期間を取得してもよい。例えば、デジタルスチルカメラのシャッターボタンをユーザが押下したのち、所定の時間後に撮影を開始する、所謂タイマー撮影などの場合には、撮影期間取得部２０５は、当該シャッターボタンが押下された時刻に基づき決定される撮影準備信号２２３及び撮影実施信号２２４とを取得する。また、この場合には、撮影期間取得部２０５は、撮影実施信号２２４等の撮影の開始時刻を示す信号を取得し、当該信号を用いて撮影準備信号２２３を生成してもよい。

撮像部２０２は、光学像を電気信号に変換し、変換した電気信号を撮像画像信号２２２として出力する。具体的には、撮像部２０２は、行列状に配置された、光を電気信号に光電変換する複数の画素を備える。この撮像部２０２は、全画素読み出しモードと、間引き画素読み出しモードとを有する。

全画素読み出しモード時には、撮像部２０２は、画像フレーム（以下、単に「フレーム」と記す。）を構成する全画素に対応する電気信号、つまり、複数の画素のうち、すべての画素により光電変換された電気信号を撮像画像信号２２２として出力する。また、間引き画素読み出しモード時には、撮像部２０２は、フレームを構成する全画素よりも少ない間引かれた画素に対応する電気信号、つまり、複数の画素のうち、一部の画素により光電変換された電気信号を撮像画像信号２２２として出力する。

図９Ａ〜図９Ｃは、間引き画素読み出しモード時に読み出される画素の一例を示す図である。また、図９Ａ〜図９Ｃにおいて、斜線を用いて示す画素２５０が、間引き画素読み出しモード時に読み出される画素であり、画素２５１が間引き画素読み出しモード時には読み出されない画素である。図９Ａ〜図９Ｃに示すように、間引きの形状は、正方格子状（図９Ａ）、斜め格子状（図９Ｂ）、及びライン状（図９Ｃ）などがある。なお、それ以外の任意の形状に間引いてよい。また、間引き方はフレーム単位で異なってもよい。

図１０Ａ及び図１０Ｂは、間引き画素読み出しモード時に、読み出される画素値の算出方法を示す図である。図１０Ａ及び図１０Ｂに示すように、読み出す画素位置２５２に相当する画素値は、当該画素位置２５２の画素値データそのものでもよいし（図１０Ａ）、当該画素位置２５２の周辺の複数の画素位置２５３の画素値データを、電荷の混合などを行うことにより足し合わせたものでもよい（図１０Ｂ）。

なお、全画素読み出しモード時において、撮像部２０２が備えるすべての画素により光電変換された電気信号を、撮像部２０２が出力しなくてもよい。これは例えば、アスペクト比４：３の撮像素子において、上下を切り取ったアスペクト比１６：９の領域を出力する場合、又は電子ズームによる一部領域の切り出しの場合などがある。またその他任意の理由により全画素読み出しモード時において一部の画素により変換された電気信号を撮像部２０２が出力してもよい。さらには、撮像部２０２は、全画素読み出しモード時において、間引き読み出しモード時よりも間引き量の少ない間引かれた画素を読み出してもよい。

つまり、間引き画素読み出しモードとは、撮像部２０２が備える複数の画素のうち、第１画素数の画素により変換された電気信号を撮像部２０２が出力するモードである。また、全画素読み出しモードとは、撮像部２０２が備える複数の画素のうち、第１画素数より多い第２画素数の画素により変換された電気信号を出力するモードである。

また、撮像部２０２は、全画素読み出しモード時においては、低フレームレートで画像を出力し、間引き画素読み出しモード時には、全画素読み出しモード時よりも高フレームレートで画像を出力する。

超解像部２０３は、撮像部２０２が全画素読み出しモードで動作している場合は、撮像画像信号２２２をそのまま出力画像信号２２９として出力する。また、超解像部２０３は、撮像部２０２が間引き画素読み出しモードで動作している場合は、間引き画素読み出しされた低解像度な撮像画像信号２２２に超解像処理を行うことにより、低解像度な撮像画像信号２２２を高解像度化し、高解像度化した画像を出力画像信号２２９として出力する。この超解像処理において、超解像部２０３は、全画素読み出しモード時に撮像部２０２により出力された高解像度な撮像画像信号２２２を用いて、間引き画素読み出しモード時に撮像部２０２により出力された低解像度な撮像画像信号２２２を高解像度化する。

さらに、超解像部２０３は、異なる時刻の複数フレームの撮像画像信号２２２を用いて動き検出を行うことにより、現在のフレームに動きがあるか否かを判定する。具体的には、超解像部２０３は、現在のフレームの動きが所定値以上であるか否かを判定し、現在のフレームの動きが所定値以上である場合、現在のフレームに動きがあると判定し、現在のフレームの動きが所定値以下である場合、現在のフレームに動きがないと判定する。なお、以下において、動きが所定値以下の場合（動きがない場合及び動きが少ない場合）を「動きがない」と記す。また、超解像部２０３は、現在のフレームに動きがあるか否かを示す動き判定信号２２６を制御部２１０に出力する。

制御部２１０は、撮影モード信号２２０、撮影準備信号２２３、撮影実施信号２２４、撮影終了信号２２７、及び動き判定信号２２６に基づき、読み出し方式指示信号２２１を生成し、生成した読み出し方式指示信号２２１を撮像部２０２及び超解像部２０３に出力する。

具体的には、制御部２１０は、通常読み出しモード時には、撮像部２０２を全画素読み出しモードで動作させる。また、制御部２１０は、高速読み出しモード時、かつ、撮影期間中は、撮像部２０２を間引き画素読み出しモードで動作させる。また、制御部２１０は、高速読み出しモード時、かつ、撮影期間外に、撮像部２０２を全画素読み出しモードで動作させる。また、制御部２１０は、高速読み出しモード時、かつ、撮影期間中において、現在のフレームに動きがない場合、撮像部２０２を全画素読み出しモードで動作させる。

この制御部２１０は、判定部２０４と、読み出し方式切替え部２０１とを備える。

判定部２０４は、撮影実施信号２２４により撮影期間外であることが示され、かつ撮影準備信号２２３により、撮影準備期間であることを示された場合、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。また、判定部２０４は、撮影実施信号２２４により撮影期間外であることが示され、かつ撮影終了信号２２７により撮影終了期間であることが示される場合も、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。さらに、判定部２０４は、撮影実施信号２２４により撮影期間中であることが示され、かつ動き判定信号２２６により現在のフレームに動きがないと示されている場合、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。それ以外の場合は、つまり、撮影実施信号２２４により撮影期間中であることが示され、かつ動き判定信号２２６により現在のフレームに動きがあると示されている場合、間引き読み出しを示す全画素読み出し指示信号２２５を出力する。なお、判定部２０４は、動き判定信号２２６を入力とせず、動きに応じた全画素読み出し指示信号２２５の制御を行わなくてもよい。さらに、判定部２０４は、定期的に全画素読み出しを指示する全画素読み出し指示信号２２５を出力してもよい。

読み出し方式切替え部２０１は、撮影モード信号２２０によって高速読み出しモードが示され、かつ全画素読み出し指示信号２２５によって全画素読み出しが示される場合、全画素読み出しモードを示す読み出し方式指示信号２２１を出力する。それ以外の場合、つまり、撮影モード信号２２０によって通常読み出しモードが示される場合と、撮影モード信号２２０によって高速読み出しモードが示され、かつ全画素読み出し指示信号２２５によって間引き画素読み出しが示される場合とに、間引き画素読み出しモードを示す読み出し方式指示信号２２１を出力する。なお、撮影モード信号２２０によって高速読み出しモードが示されていない場合でも、読み出し方式切替え部２０１は、例えば撮影感度向上のための撮像画素混合など、他の目的で間引き画素読み出しを指示してもよい。

次に、図１１を用いて、高速読み出しモード時の、制御部２１０及び撮像部２０２の具体的な動作の例を説明する。図１１は、高速読み出しモード時の、制御部２１０及び撮像部２０２の動作例を示す図である。

図１１において、撮影準備信号２２３は、撮影準備期間の場合に値１となり、それ以外は値０となる信号である。撮影実施信号２２４は、撮影期間中の場合に値１となり、それ以外は値０となる信号である。撮影終了信号２２７は、撮影終了期間の場合に値１となり、それ以外は値０となる信号である。全画素読み出し指示信号２２５は、全画素読み出しを示す場合に値１となり、間引き画素読み出しを示す場合に値０となる信号である。読み出し方式指示信号２２１は全画素読み出しモードを示す場合に値１となり、間引き画素読み出しモードを示す場合に値０となる信号である。撮影モード信号２２０は、高速読み出しモードを示す場合に値１となり、通常読み出しモードを示す場合に値０となる信号である。動き判定信号２２６は、現在のフレームに動きがない場合に値１となり、現在のフレームに動きがある場合に値０となる信号である。なお、前記いずれの信号もその意味と実際の値との対応付けは前記以外のものであってもよい。

また、撮影モード信号２２０が値０を取る場合の動作は、上述した画像処理装置１００と同様であるので説明を省略する。

以下、撮影モード信号２２０が値１を取る場合、すなわち高速読み出しモードにおける画像処理装置２００の動作を説明する。

まず、撮影が開始されるよりも前に、撮影準備信号２２３が値１となり撮影準備期間であることが示される。このとき、判定部２０４は値１を示す全画素読み出し指示信号２２５を出力する。これにより、読み出し方式切替え部２０１は値１を示す読み出し方式指示信号２２１を出力する。これにより、撮像部２０２は全画素読み出しモードで動作する。つまり、撮像部２０２は、全画素読み出ししたフレームを時間Ｔｆだけかけて撮像画像信号２２２として出力する。

次に、撮影実施信号２２４が値０から値１に変化することにより、撮影が開始されたことが示されると、判定部２０４は値０を示す全画素読み出し指示信号２２５を出力する。これにより、読み出し方式切替え部２０１は値０を示す読み出し方式指示信号２２１を出力する。これにより、撮像部２０２は間引き読み出しモードで動作する。つまり、撮像部２０２は、間引き画素読み出ししたフレームを時間Ｔｐだけかけて撮像画像信号２２２として出力する。

ここで、画素を間引く分だけ１フレームのデータ量が減るため、転送時間ＴｆよりもＴｐの方が短くなる。これにより、間引き画素読み出しモード時の方が、全画素読み出しモード時より早く次のフレームの転送を開始できる。このように、撮影期間中は撮像部２０２を間引き画素読み出しモードで動作させることにより、撮影期間中に高速に画像を撮影することが可能となる。

また、撮影期間中に、撮像画像信号２２２に含まれるフレームに動きがないことが検出された場合は、超解像部２０３により値１の動き判定信号２２６が出力される。このとき、判定部２０４は値１を示す全画素読み出し指示信号２２５を出力する。これにより、読み出し方式切替え部２０１は値１を示す読み出し方式指示信号２２１を出力する。これにより撮像部２０２は全画素読み出しモードで動作する。つまり、撮像部２０２は、全画素読み出ししたフレームを時間Ｔｆだけかけて撮像画像信号２２２として出力する。このとき、Ｔｆ＞Ｔｐであるので当該全画素読み出し期間中はフレームレートが低下する。しかしながら、フレームレートが低下する画像は動きのない画像であるので、撮影画像の動きががたつくといった主観的な画質劣化を抑えることが可能である。一方で、撮影期間中に全画素読み出しを行うことにより、より高精細な画像を得られる。これにより、撮影画像の画質の向上が可能となる。

次に、撮影期間が終了すると、撮影準備信号２２３が値０となるとともに、撮影終了信号２２７が値１となり撮影終了期間であることが示される。このとき、判定部２０４は値１を示す全画素読み出し指示信号２２５を出力する。これにより、読み出し方式切替え部２０１は値１を示す読み出し方式指示信号２２１を出力する。これにより、撮像部２０２は全画素読み出しモードで動作する。つまり、撮像部２０２は、全画素読み出ししたフレームを時間Ｔｆだけかけて撮像画像信号２２２として出力する。

次に、図１２を用いて、超解像部２０３の内部構成及び動作について説明する。図１２は、超解像部２０３の構成を示すブロック図である。

図１２に示すように、超解像部２０３は、撮像画像信号２２２を入力とし、記憶撮像画像信号２３１を出力するフレームメモリ２４４と、撮像画像信号２２２と記憶撮像画像信号２３１とを入力とし、動き情報信号２３２と動き判定信号２２６とを出力する動き検出部２４３と、撮像画像信号２２２と記憶撮像画像信号２３１とを入力とし超解像画像信号２３３を出力する超解像実行部２４２と、読み出し方式指示信号２２１と撮像画像信号２２２と超解像画像信号２３３とを入力とし出力画像信号２２９を出力する信号切替え部２４１とを備える。

フレームメモリ２４４は、撮像画像信号２２２に含まれる全画素読み出し又は間引き画素読み出しされたフレームを一時的に記憶し、記憶したフレームを記憶撮像画像信号２３１として出力する。

動き検出部２４３は、撮像画像信号２２２に含まれる現在のフレームと、記憶撮像画像信号２３１に含まれる過去に記憶されたフレームとの間の動きを検出し、現在のフレーム内の１つ以上の物体の動き量を示す動き情報信号２３２と、現在のフレームに動きがあるか、ないかを示す動き判定信号２２６とを出力する。動き検出の方法については、例えば「ディジタル画像圧縮の基礎：安田浩、渡辺裕／日経ＢＰ出版センター／１．３．２節」（非特許文献：１）に説明されている動き検出法を利用してもよい。なお、それ以外の任意の動き検出法を利用してもよい。例えば、動き検出部２４３は、低解像度な撮像画像信号２２２によって示される画像の、時間的に前又は後のフレームと現在のフレームとの間において動き補償を行う。具体的には、フレームをブロック単位に分割してブロックマッチングを行う。

動き情報信号２３２は、例えばフレームをブロック単位に分割してブロックマッチングを行った場合の動きベクトル情報である。なお、動き検出の単位はブロックでなくとも任意形状の領域であってもよい。

また、動き判定信号２２６は、例えば、前記ブロックマッチングを行った場合の動き補償されたブロック間の各画素値の差分絶対値和であり、また、例えば、前記ブロックマッチングを行った場合の動き補償における動きベクトルの大きさである。なお、動き判定信号２２６は、動き補償を行わずに、単純に現在のフレームと過去に記憶されたフレームとの同じ位置同士の各画素値の差分絶対値和であってもよい。また、動き判定信号２２６及び動き情報信号２３２は、上記以外の動き検出法により導かれた動き量の指標であってもよい。

また、動き判定信号２２６は、動き量を示す複数の情報を含んでもよい。例えば、動き判定信号２２６は、上記差分絶対値和と、上記動きベクトルの大きさとを共に含んでもよい。この場合、判定部２０４は、上記差分絶対値和が予め定められた値より小さい場合、又は上記動きベクトルの大きさが予め定められた値より小さい場合、又は両方の場合に、現在のフレームに動きがないと判断する。

さらには、超解像部２０３の構成は、フレームメモリ２４４及び動き検出部２４３を備えず、超解像実行部２４２は時間的に異なるフレームの情報を用いずに高解像度化を行ってもよく、この場合には動き判定信号２２６を出力しなくともよい。

超解像実行部２４２は、間引き画素読み出しされた低解像度な撮像画像信号２２２に超解像処理を行うことにより、低解像度な撮像画像信号２２２を高解像度化し、高解像度化した画像を超解像画像信号２３３として出力する。例えば、超解像実行部２４２は、特許文献２と同様の方法により、超解像処理を行う。具体的には、超解像実行部２４２は、撮影期間外に撮像部２０２により出力された高解像度な撮像画像信号２２２を用いて、撮影期間中に撮像部２０２により出力された低解像度な撮像画像信号２２２を高解像度化することにより超解像画像信号２３３を生成する。また、超解像実行部２４２は、動き情報信号２３２を参照し、動き検出部２４３により動き補償された時間的に前又は後の画像フレームと現在の画像フレームを用いて、超解像処理を行う。つまり、超解像実行部２４２は、複数のフレームの動き補償されたブロックを用いて、ブロック単位で超解像処理を行う。

信号切替え部２４１は、読み出し方式指示信号２２１によって全画素読み出しモードが示される場合、撮像画像信号２２２を出力画像信号２２９として出力する。また、信号切替え部２４１は、読み出し方式指示信号２２１によって間引き画素読み出しモードが示される場合、超解像画像信号２３３を出力画像信号２２９として出力する。

図１３及び図１４は、超解像実行部２４２による超解像処理の一例を示す図である。例えば、図１３に示すように、超解像実行部２４２は、超解像画像信号２３３に含まれるある時刻のフレームを生成する場合、撮像画像信号２２２に含まれる当該時刻のフレームと、当該フレームに後続する２枚のフレームとを用いて、つまり、撮像画像信号２２２に含まれる時間的に連続する３枚のフレームを用いて、超解像画像信号２３３に含まれる当該時刻のフレームを生成する。また、当該３枚のフレームに高解像度なフレーム（全画素読み出しされたフレーム）が含まれない場合には、さらに、撮影期間外に撮影された、時間的に最も近い高解像度なフレームを加えた、４枚のフレームを用いて、超解像画像信号２３３に含まれる当該時刻のフレームを生成する。

このように高解像度画像を用いて超解像処理を行うことにより、図１４に示すように、元の低解像度なフレームに含まれない画素位置の信号を精度良く復元することができる。

なお、超解像処理に用いるフレームは、２枚又は４枚以上であってもよいし、複数の高解像度画像を含んでもよい。

また、図１３に示すように、撮影期間中の撮像画像信号２２２を超解像処理したフレームの信号のみが出力画像信号２２９として出力され、撮影期間外に撮影された撮像画像信号２２２は、出力画像信号２２９として出力されない。ここで、出力画像信号２２９は、例えば、デジタルスチルカメラが備える記憶部等に記録されたり、外部装置に出力されたりする信号である。なお、この出力画像信号２２９は、所定の画像処理（コントラスト補正、色変換、及び画像圧縮等）を行った後に、記憶部等に記録されたり、外部装置に出力されてもよい。

また、超解像部２０３は、撮影期間外に撮影されたフレームを含むすべてのフレームを含む出力画像信号２２９を出力してもよい。この場合、画像処理装置２００は、各フレームに、当該フレームが撮影期間中に撮影されたフレームか、撮影期間外に撮影されたフレームかを示すタグ情報を付与した上で、出力する。これにより、デジタルスチルカメラが備える後段の処理部、又は、他の装置において、撮影期間中に撮影された画像と、撮影期間外に撮影された画像とを容易に区別することができる。

また、撮像画像信号２２２に対して、直ちに超解像処理を行うのではなく、上述したタグ情報を付与した上で、記憶部又は外部装置等に出力してもよい。この場合、外部装置により、当該出力された撮像画像信号２２２を用いた超解像処理が行われてもよいし、デジタルスチルカメラ内の処理部により、任意のタイミング（ユーザの指示、又は外部装置への出力時等）において超解像処理が行われてもよい。

図１５は、フレームに動きがなく、撮影期間中に高解像度画像を撮影した場合の、超解像実行部２４２による超解像処理の一例を示す図である。

図１５に示すように、撮影期間中に撮影された高解像の撮像画像信号２２２は、そのまま出力画像信号２２９として出力される。

次に、画像処理装置２００における画像処理方法の流れを説明する。

図１６は、画像処理装置２００における画像処理方法のフローチャートである。

まず、撮影モード取得部２０６は、撮影モード信号２２０を取得することにより、撮影モードを取得する（ステップＳ２１）。

次に、制御部２１０は、撮影モード信号２２０を参照し、現在の撮影モードが、高速読み出しモードか否かを判断する（ステップＳ２２）。現在の撮影モードが高速読み出しモードである場合（ステップＳ２２でＹｅｓ）、撮影期間取得部２０５は、ユーザの操作に基づく撮像期間を取得する（ステップＳ２６）。次に、制御部２１０は、撮影準備信号２２３を参照し、撮影準備期間であるか否か、すなわちまだ撮影の開始が指示されておらず、かつこれから撮影が開始される状態であるか否かを判定する（ステップＳ２７）。

また、制御部２１０は、撮影終了信号２２７を参照し、撮影終了期間、すなわち撮影中の状態を終了した瞬間か否かを判定する（ステップＳ２８）。

また、制御部２１０は、動き判定信号２２６を参照し、現在のフレームに動きがないか否かを判定する（ステップＳ２９）。

撮影準備期間及び撮影終了期間でなく、かつ、現在のフレームに動きがある場合（ステップＳ２７でＮｏ、かつステップＳ２８でＮｏ、かつステップＳ２９でＮｏ）、制御部２１０は、撮像部２０２に間引き読み出しモードを指示する（ステップＳ３０）。これにより、撮像部２０２は、１フレームを構成する全画素よりも少ない間引かれた画素の信号を読み出し、読み出した信号を撮像画像信号２２２として出力する（ステップＳ３１）。次に、超解像部２０３は、間引き画素読み出しされた低解像度な撮像画像信号２２２に含まれる時間的に連続する複数のフレームを用いて、例えば特許文献２のような超解像処理を行うことにより、高解像度なフレームを生成し、生成したフレームを含む出力画像信号２２９を出力する（ステップＳ３２）。

一方、現在の撮影モードが通常読み出しモードの場合（ステップＳ２２でＮｏ）と、撮影準備期間の場合（ステップＳ２７でＹｅｓ）と、撮影終了期間の場合（ステップＳ２８でＹｅｓ）と、現在のフレームに動きがない場合（ステップＳ２９でＹｅｓ）とのうちいずれかの場合、制御部２１０は、全画素読み出しモードを撮像部２０２に指示する（ステップＳ２３）。これにより、撮像部２０２は、１フレームを構成する全画素を読み出し、撮像画像信号２２２として出力する（ステップＳ２４）。次に、超解像部２０３は、全画素読み出しされた撮像画像信号２２２を、そのまま出力画像信号２２９として出力する。

以上により、本発明の実施の形態１に係る画像処理装置２００は、高速読み出しモード時には、基本的には、撮像部２０２を間引き画素読み出しモードで動作させた上で、間引き画素読み出しされた低解像度な画像に超解像処理を行うことにより、高解像度な画像を生成する。これにより、画像処理装置２００は、高解像度な高速連写及び高フレームレート動画撮影を実現できる。

さらに、画像処理装置２００は、撮影期間外（撮影期間前及び撮影期間後）に撮像部２０２を全画素読み出しモードで動作させた上で、全画素読み出しされた高解像度なフレームを用いて、超解像処理を行う。これにより、超解像処理を用いて生成される高解像度な画像の画質を向上できる。また、全画素読み出しするフレームは、撮影期間外のフレームなので、全画素読み出しを行ったとしても、撮影期間中のフレームレートが低下することはない。このように、本発明の実施の形態１に係る画像処理装置２００は、高速読み出しモードにおいて、高フレームレートを維持したまま画質の低下を抑制できる。

さらに、画像処理装置２００は、撮影期間中において、被写体の動きが小さい場合には、全画素読み出しを行う。この全画素読み出しを行った期間ではフレームレートが低下してしまうが、フレームレートが低下する画像は動きのない画像であるので、撮影画像の動きががたつくといった主観的な画質劣化を抑えることが可能である。一方で、撮影期間中に全画素読み出しを行うことにより、より高精細な画像を得られる。また、この全画素読み出しを行ったフレームを、他の間引き画素読み出しを行ったフレームの超解像処理に用いることにより、他のフレームの画質の向上が可能となる。

なお、上記説明では、撮影準備期間と、撮影終了期間と、撮影期間中の動きがない期間とのすべての期間において、撮像部２０２は全画素読み出しを行っているが、いずれか１以上の期間において、全画素読み出しを行ってもよい。

また、撮影準備期間に撮像部２０２を全画素読み出しモードで動作させる場合と、撮影終了期間に撮像部２０２を全画素読み出しモードで動作させる場合とを比べると、撮影終了期間に撮像部２０２を全画素読み出しモードで動作させる場合には、以下の利点があげられる。

まず、図１１に示すように、撮影準備期間の最後に撮影された高解像度なフレームと、撮影期間の最初に撮影された低解像度なフレームとの時間間隔はＴｆとなるが、撮影終了期間の最初に撮影された高解像度なフレームと、撮影期間の最後に撮影された低解像度なフレームとの時間間隔はＴｐとなる。つまり、撮影終了期間に撮影されたフレームの方が、撮影準備期間に撮影されたフレームより、撮影期間中に撮影された低解像度なフレームとの時間的な距離が短くなる。よって、画像処理装置２００は、より時間的に近い、すなわち、相関が高い高解像度なフレームを用いて、超解像処理を行うことができる。よって、画像処理装置２００は、超解像処理により、より高画質な画像を生成できる。

さらに、撮影準備期間に高解像度な画像を撮影する場合、撮影準備期間に撮影された画像のフレームレートが低下する。例えば、撮像部２０２によって撮影された画像をモニタ等に表示し、ユーザが当該画像を見ながら撮影を行う場合等を想定すると、ユーザがより最適なタイミングによって撮影を行うためには、撮影準備期間に撮影される画像は高フレームレートであることが好ましい。一方、撮影終了期間にフレームレートが低下しても、ユーザの撮影にこのような悪影響を及ぼすことはない。

さらに、デジタルスチルカメラのシャッターボタンの半押しなど、従来の機能に基づき、撮影準備信号２２３を生成できる場合は問題にならないが、半押し判定のないボタン、又は、タッチパネル等の操作により、撮影を開始する場合には、撮影準備期間を特定するために機能の追加が必要となる。一方、撮影終了期間は、撮影期間から容易に導出することが可能である。つまり、撮影終了期間に全画素読み出しモードに切り替える制御は、多くの撮影機器において容易に実現が可能である。

また、上述した説明のように、撮影準備期間及び撮影終了期間の両方において、高解像度な画像を撮影し、当該高解像度な画像を用いて超解像処理を行うことがより好ましい。例えば、図１３に示すように、画像処理装置２００は、撮影期間の前半に撮影されたフレームに対しては、撮影準備期間に撮影された高解像度なフレームを用いて、超解像処理を行い、撮影期間の前半に撮影されたフレームに対しては、撮影終了期間に撮影された高解像度なフレームを用いて、超解像処理を行うことができる。つまり、画像処理装置２００は、時間的により近い高解像度なフレームを用いて、高解像処理を行うことができる。よって、画像処理装置２００は、超解像処理により、より高画質な画像を生成できる。

また、上記説明では、撮影準備期間に撮影される高解像度なフレームは、撮影期間開始前の直前（時間Ｔｆ前）のフレームであるが、撮影期間の開始前であれば、直前以外に高解像度なフレームを撮影してもよい。ただし、撮影期間に撮影されるフレームとの相関を考慮すると、より撮影期間の開始時刻に近い時刻に、高解像度なフレームを撮影することが好ましい。

同様に、上記説明では、撮影終了期間に撮影される高解像度なフレームは、撮影期間終了の直後（時間Ｔｐ後）のフレームであるが、撮影期間の終了後であれば、直後以外に高解像度なフレームを撮影してもよい。ただし、撮影期間に撮影されるフレームとの相関を考慮すると、より撮影期間の終了時刻に近い時刻に、高解像度なフレームを撮影することが好ましい。

（実施の形態２）
本発明の実施の形態２に係る画像処理装置３００は、上述した実施の形態１に係る画像処理装置２００の機能に加え、さらに、モニタ表示を行うか否かに応じて、撮像方法を間引き画素読み出しと全画素読み出しとで切り替える。また、本発明の実施の形態２に係る画像処理装置３００は、時間的に最も近い高解像度なフレームを用いて、超解像処理を行う。

図１７は、本発明の実施の形態２に係る画像処理装置３００の構成を示すブロック図である。なお、図８と同様の要素には、同一の符号を付しており、実施の形態１と重複する説明は省略する。

図１７に示す画像処理装置３００は、図８に示す画像処理装置２００の構成に加え、さらに、モニタ表示部３０７を備える。また、判定部３０４及び超解像部３０３の構成が、実施の形態１と異なる。

モニタ表示部３０７は、モニタ有効信号３２７と出力画像信号２２９とを入力とし、出力画像信号２２９の画像を表示する。具体的には、モニタ表示部３０７は、モニタ有効信号３２７がモニタ表示を行うことを指示している場合に、液晶ディスプレイ又は有機ＥＬディスプレイなどの表示素子を用いて出力画像信号２２９の画像をモニタ表示する。また、モニタ表示部３０７は、モニタ有効信号３２７がモニタ表示を行わないことを指示している場合には、出力画像信号２２９の画像のモニタ表示を行わない。なお、モニタ有効信号３２７がモニタ表示を行わないことを指示している場合に、モニタ表示部３０７は、出力画像信号２２９以外の画像及び情報、例えばＩＳＯ感度、絞りのＦ値、及びシャッタースピードなどの撮影条件などを表示してもよい。

モニタ有効信号３２７は、ユーザの操作に基づく信号であり、モニタ表示を行うか否かを示す信号である。具体的には、ユーザによりモニタ表示モードが設定されている場合、例えば、ユーザがモニタに表示された画像を見ながら撮影を行う場合に、モニタ有効信号３２７は、モニタ表示を行うことを示す。また、ユーザによりモニタ非表示モードが設定されている場合、例えば、ユーザが光学ファインダを介して被写体を見ながら撮影を行う場合に、モニタ有効信号３２７は、モニタ表示を行わないことを示す。

判定部３０４は、撮影実施信号２２４、撮影準備信号２２３、動き判定信号２２６、及びモニタ有効信号３２７を入力とし、全画素読み出し指示信号２２５を出力する。つまり、判定部３０４は、実施の形態１の機能に加え、さらに、モニタ有効信号３２７に応じて、全画素読み出し指示信号２２５を出力する。具体的には、判定部３０４は、撮影準備期間の場合、又は撮影期間において被写体の動きがない場合でも、モニタ表示が行われている場合には、全画素読み出しを示す全画素読み出し指示信号２２５を出力しない。

つまり、判定部３０４は、モニタ有効信号３２７によってモニタ表示を行わないことが示されており、かつ撮影実施信号２２４によって撮影期間でないことが示されおり、かつ撮影準備信号２２３によって撮影準備期間であることが示された場合、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。また、判定部３０４は、撮影実施信号２２４によって撮影終了期間であることが示される場合、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。さらには、判定部３０４は、モニタ有効信号３２７によってモニタ表示を行わないことを示されており、かつ動き判定信号２２６によって現在のフレームに動きがないことが示されている場合は、全画素読み出しを示す全画素読み出し指示信号２２５を出力する。

また、判定部３０４は、それ以外の場合、つまり、モニタ有効信号３２７によってモニタ表示を行うことが示されており、かつ撮影実施信号２２４によって撮影期間でないことが示されおり、かつ撮影準備信号２２３によって撮影準備期間であることが示された場合と、撮影実施信号２２４によって撮影期間であることが示されており、かつ動き判定信号２２６によって現在のフレームに動きがあることが示されている場合と、撮影実施信号２２４によって撮影期間であることが示されており、かつモニタ有効信号３２７によってモニタ表示を行うことが示されており、かつ動き判定信号２２６によって現在のフレームに動きがないことが示されている場合とに、間引き画素読み出しを示す全画素読み出し指示信号２２５を出力する。

なお、判定部３０４は、動き判定信号２２６を入力とせず、動きに応じた全画素読み出し指示信号２２５の制御を行わなくてもよい。さらには、判定部３０４は、定期的に全画素読み出しを示す全画素読み出し指示信号２２５を出力してもよい。

次に、画像処理装置３００における画像処理方法の流れを説明する。

図１８は、画像処理装置３００における画像処理方法のフローチャートである。なお、図１６に示す実施の形態１に係る画像処理装置２００における画像処理方法と同様の処理に関しては、説明を省略する。

画像処理装置３００における画像処理方法は、実施の形態１に係る画像処理装置２００における画像処理方法に対して、高速読み出しモード時（ステップＳ２２でＹｅｓ）における、撮影準備期間（ステップＳ２７でＹｅｓ）、及び現在のフレームに動きがない場合（ステップＳ２９でＹｅｓ）の動作が異なる。

具体的には、撮影準備期間（ステップＳ２７でＹｅｓ）、及び現在のフレームに動きがない場合（ステップＳ２９でＹｅｓ）、判定部３０４は、モニタ有効信号３２７を参照し、モニタ表示部３０７がモニタに出力画像信号２２９の画像を表示中であるか否かを判定する（ステップＳ４１）。

モニタ表示部３０７がモニタに出力画像信号２２９の画像を表示中である場合（ステップＳ４１でＹｅｓ）、制御部２１０は、撮像部２０２に間引き画素読み出しモードを指示する（ステップＳ３０）。これにより、撮像部２０２は、１フレームを構成する全画素よりも少ない間引かれた画素の信号を読み出し、読み出した信号を撮像画像信号２２２として出力する（ステップＳ３１）。次に、超解像部２０３は、間引き画素読み出しされた低解像度な撮像画像信号２２２に含まれる時間的に連続する複数のフレームを用いて、例えば特許文献２のような超解像処理を行うにより高解像度なフレームを生成し、生成した高解像度なフレームを含む出力画像信号２２９を出力する（ステップＳ３２）。

一方、モニタ表示部３０７がモニタに出力画像信号２２９の画像を表示中でない場合（ステップＳ４１でＮｏ）、制御部２１０は、全画素読み出しモードを撮像部２０２に指示する（ステップＳ２３）。これにより、撮像部２０２は、１フレームを構成する全画素を読み出し、撮像画像信号２２２として出力する（ステップＳ２４）。次に、超解像部２０３は、全画素読み出しされた撮像画像信号２２２を、そのまま出力画像信号２２９として出力する。

次に、超解像部３０３の構成及び動作を説明する。

図１９は、超解像部３０３の構成を示すブロック図である。なお、図１２と同様の要素には同一の符号を付しており、重複する説明は省略する。

図１９に示す超解像部３０３は、図１２に示す超解像部２０３の構成に加え、さらに、時間差分判定部３４５を備える。また、フレームメモリ３４４の構成が異なる。

フレームメモリ３４４は、撮像画像信号２２２に含まれる全画素又は間引き読み出しされたフレームを一時的に記憶する。また、フレームメモリ３４４は、フレーム情報信号３３４と、記憶撮像画像信号２３１とを出力する。

フレーム情報信号３３４は、フレームメモリ３４４が記憶している各フレームの時刻と、当該各フレームが全画素読み出しされたフレーム（以下、全画素読み出しフレーム）か間引き画素読み出しされたフレーム（以下、間引き画素読み出しフレーム）かを示す情報とを含む。記憶撮像画像信号２３１は、フレームメモリ３４４が記憶している間引き画素読み出しフレーム、及びフレーム選定信号３３５により選定された全画素読み出しフレームを含む。

時間差分判定部３４５は、フレーム情報信号３３４に基づいて、全画素読み出しフレームであって、かつ現在のフレームの時刻に最も近いフレームを判定する。また、時間差分判定部３４５は、全画素読み出しフレームであって、かつ現在のフレームの時刻に最も近いフレームを指定するフレーム選定信号３３５を出力する。

動き検出部２４３は、撮像画像信号２２２に含まれる現在のフレームと、記憶撮像画像信号２３１に含まれる過去に記憶されたフレームとの間の動きを検出し、現在のフレーム内の１つ以上の物体の動き量を示す動き情報信号２３２と、現在のフレームに動きがあるか、ないかを示す動き判定信号２２６を出力する。

図２０は、間引き画素読み出し超解像実行部２４２による超解像処理に使用するフレームの例を示す図である。ここで図２０では、全画素読み出しフレームの撮像間隔をＴｆ、間引き画素読み出しフレームの撮像間隔をＴｐとし、Ｔｆ＝２×Ｔｐの場合の例を示す。

図２０に示すフレーム４０３を高解像度化する場合、フレーム４０３に時間的に最も近い全画素読み出しフレームはフレーム４０２である。よって、時間差分判定部３４５はフレーム４０２を指定するフレーム選定信号３３５を出力する。これにより、超解像実行部２４２は、フレーム４０２を用いてフレーム４０３の高解像度化を行う。なお、超解像実行部２４２は、フレーム４０２以外のフレームをさらに使用してもよく、例えば全画素読み出しフレームではないが時間的に最も近い間引き読み出しフレームであるフレーム４０４をさらに使用してもよい。

また、フレーム４０５を高解像度化する場合、フレーム４０５に時間的に最も近い全画素読み出しフレームはフレーム４０８である。よって、時間差分判定部３４５はフレーム４０８を指定するフレーム選定信号３３５を出力する。これにより、超解像実行部２４２は、フレーム４０８を用いてフレーム４０５の高解像度化を行う。なお、超解像実行部２４２は、フレーム４０８以外のフレームをさらに使用してもよく、例えば全画素読み出しフレームではないが時間的に最も近い間引き画素読み出しフレームであるフレーム４０４及びフレーム４０６のうち少なくとも一方をさらに使用してもよい。

また、フレーム４０９を高解像度化する場合、フレーム４０９に時間的に最も近い全画素読み出しフレームはフレーム４０８とフレーム４１１とである。よって、時間差分判定部３４５はフレーム４０８及びフレーム４１１のいずれかを指定するフレーム選定信号３３５を出力する。これにより、超解像実行部２４２は、フレーム選定信号３３５によって指定されたフレーム４０８又はフレーム４１１を用いてフレーム４０９の高解像度化を行う。なお、図２０の例では、フレーム４０９の高解像度化にフレーム４０８を用いている。また、超解像実行部２４２はフレーム４０８以外のフレームをさらに使用してもよく、例えば全画素読み出しフレームではないが時間的に最も近い間引き画素読み出しフレームであるフレーム４１０をさらに使用してもよい。

ここで、フレーム間の相関性は一般に時間的に近いフレーム同士がより相関性が高い。よって、超解像実行部２４２は、時間的により近い全画素読み出しフレームを高解像度化に用いることにより、現在のフレームの間引き画素読み出しによって失われた画像情報を全画素読み出しフレームの情報を用いて精度良く推定することが可能となる。これにより、本発明の実施の形態２に係る画像処理装置３００は、超解像処理により、より高画質な画像を得ることができる。

なお、実施の形態１及び２に係る超解像実行部２４２は、特許文献２のような再構成型超解像と呼ばれる技術を用いてもよく、又は全画素読み出しフレームを学習データとして特開２００５−２５３０００号公報（特許文献：３）において示されるような学習型超解像と呼ばれる技術を用いてもよい。さらに超解像実行部２４２は、高解像度化を行う代わりに、同様に時間的に近いフレームを用いて、例えば特許第３４５８７４１号公報（特許文献：４）に示されるようなダイナミックレンジ拡大を行う画像処理を行ってもよい。この場合、上記説明における、間引き画素読み出しフレームを露光時間の短いフレームと置き換え、全画素読み出しフレームを露光時間の長いフレームと置き換えればよい。

以上より、本発明の実施の形態２に係る画像処理装置３００は、実施の形態１に係る画像処理装置２００と同様に、高速読み出しモードにおいて、高フレームレートを維持したまま画質の低下を抑制できる。

さらに、画像処理装置３００は、モニタ表示中の場合は、撮影準備状態であっても、全画素読み出しをしない。これにより、撮影開始前のモニタ表示においてフレームレートが落ちることなく快適に撮影を開始できる。

さらに、画像処理装置３００は、現在のフレームに時間的に最も近い全画素読み出しのフレームを用いて、超解像処理を行う。これにより、画像処理装置３００は、超解像処理により、より高画質な画像を得ることができる。

なお、上記説明では、撮影準備期間の場合と、撮影期間中に画像に動きがない場合とに、さらに、上記モニタ表示の有無に応じた制御を行っているが、撮影準備期間の場合と、撮影期間中に画像に動きがない場合とのいずれか一方のみにおいて、上記モニタ表示の有無に応じた制御を行ってもよい。また、撮影終了期間においても、上記モニタ表示の有無に応じた制御を行ってもよい。

（実施の形態３）
本発明の実施の形態３では、上記各実施の形態において示した画像処理装置２００又は３００の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録することにより、上記各実施の形態において示した処理を、独立したコンピュータシステムにおいて実施する例を説明する。

図２１Ａ〜図２１Ｃは、上記各実施の形態の画像処理装置を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図２１Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。図２１Ｂは、フレキシブルディスク４５０を正面から見た外観、フレキシブルディスク４５０の断面構造、及びディスク４５１を示す図である。

フレキシブルディスク４５０は、ケース４５２と、ケース４５２内に内蔵されるディスク４５１とを備える。ディスク４５１の表面には、同心円状に外周から内周に向かって複数のトラック４５３が形成される。各トラック４５３は角度方向に１６のセクタ４５４に分割される。したが、ディスク４５１上に割り当てられた領域に、上記プログラムが記録されている。

また、図２１Ｃは、フレキシブルディスク４５０への上記プログラムの記録、及びフレキシブルディスク４５０からの上記プログラムの読み出し及び再生を行うコンピュータシステム４６０の構成を示す図である。画像処理装置２００又は３００を実現する上記プログラムをフレキシブルディスク４５０に記録する場合は、コンピュータシステム４６０は、上記プログラムを、フレキシブルディスクドライブ４６１を介してフレキシブルディスク４５０に書き込む。

また、フレキシブルディスク４５０内のプログラムを実行することにより画像処理装置２００又は３００の機能をコンピュータシステム４６０中に構築する場合は、フレキシブルディスクドライブ４６１によりプログラムをフレキシブルディスク４５０から読み出し、コンピュータシステム４６０に転送する。コンピュータシステム４６０は、転送されたプログラムを実行することにより、上述した画像処理装置２００又は３００の機能を実現する。

なお、上記説明では、記録媒体としてフレキシブルディスク４５０を例に説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。また、コンピュータシステム４６０に着脱可能な記録媒体に限らず、コンピュータシステム４６０が備えるＨＤＤ（ハードディスク・ドライブ）、不揮発性メモリ、ＲＡＭ又はＲＯＭに記録されるプログラムを、コンピュータシステム４６０が実行してもよい。さらに、コンピュータシステム４６０は有線又は無線の通信網を介して取得したプログラムを実行してもよい。

（実施の形態４）
本発明の実施の形態４では、上記実施の形態１及び２に係る画像処理装置２００及び３００を備えるデジタルカメラについて説明する。

図２２Ａ〜図２２Ｃは、本発明の実施の形態４に係るデジタルカメラ５００の外観図である。図２２Ａ〜図２２Ｃは、それぞれデジタルカメラ５００を上面、正面及び背面から見た図である。

デジタルカメラ５００は、例えば、静止画を撮影する機能と、動画像を撮影する機能を有するデジタルスチルカメラである。このデジタルカメラ５００は、シャッターボタン５０１と、レンズ５０２と、モニタ画面５０３と、ファインダ５０４と、撮影モード切替えダイアル５０５と、連写モード切替えボタン５０６と、モニタ表示ボタン５０７とを備える。

レンズ５０２は、光を撮像部２０２に集光する。レンズ５０２を通った光は、撮像部２０２により光電変換され、撮像画像信号２２２として出力される。ここで撮像部２０２は、例えば上記各実施の形態において示した撮像部２０２である。

シャッターボタン５０１が、ユーザにより半押しされた場合、レンズ５０２が操作されることにより焦点が合わされる。また、シャッターボタン５０１が、ユーザにより半押しされた場合、撮影準備期間であることを示す撮影準備信号２２３が生成される。図１１の例を用いて説明すると、シャッターボタン５０１が、半押しされた場合に撮影準備信号２２３が値１にセットされる。

撮影モード切替えダイアル５０５が、ユーザにより回転されると、撮影モードが切り替えられる。ここで撮影モードとは、例えば動画撮影モード、静止画撮影モード、画像再生モードなどである。

連写モード切替えボタン５０６が、ユーザにより押下されるたびに、撮影モードが切り替えられる。例えば、静止画撮影モード時に、連写モード切替えボタン５０６が、押下されるたびに、通常撮影モード、高速連写モード、及び低速連写モードの順に撮影モードが切り替えられる。ここで通常撮影モードとは、ユーザによりシャッターボタン５０１が押下された際に、１枚の静止画を撮影するモードである。また、高速連写モードとは、ユーザによりシャッターボタン５０１が押下されている間、毎秒８枚などで静止画を撮影するモードである。また、低速連写モードとは、ユーザによりシャッターボタン５０１が押下されている間、毎秒２枚などで静止画を撮影するモードである。

例えば、連写モード切替えボタン５０６により高速連写モードが設定された場合に、高速読み出しモードを示す撮影モード信号２２０が生成される。また、通常撮影モード及び低速連写モードが設定された場合に、通常読み出しモードを示す撮影モード信号２２０が生成される。

また、動画撮影モード時に、連写モード切替えボタン５０６がユーザにより押下されるたびに、高フレームレート動画撮影モードと、低フレームレート動画撮影モードとが切り替えられる。例えば、高フレームレート動画撮影モードとは、シャッターボタン５０１が押下されている間、毎秒１２０フレームなどで動画像を撮影するモードである。また、低フレームレート動画撮影モードとは、毎秒３０フレームなどで動画像を撮影するモードである。

例えば、連写モード切替えボタン５０６により高フレームレート動画撮影モードが設定された場合に、高速読み出しモードを示す撮影モード信号２２０が生成される。また、低フレームレート動画撮影モードが設定された場合に、通常読み出しモードを示す撮影モード信号２２０が生成される。

モニタ画面５０３は、例えば実施の形態２において説明したモニタ表示部３０７であり、液晶ディスプレイ又は有機ＥＬディスプレイなどの表示素子を用いて出力画像信号２２９をモニタ表示する。

モニタ表示ボタン５０７が、ユーザにより押下されるたびに、実施の形態２において説明したモニタ有効信号３２７の値が「モニタ表示を行う」と「モニタ表示を行わない」との間で切り替えられる。そしてモニタ表示を行わないと示すモニタ有効信号３２７が出力されている場合は、モニタ画面５０３は出力画像信号２２９をモニタ表示しない。この場合、ユーザは、ファインダ５０４を用いて撮影対象を確認する。また、モニタ表示を行うことを示すモニタ有効信号３２７が出力されている場合は、モニタ画面５０３は出力画像信号２２９をモニタ表示する。

ファインダ５０４は、光学的な像を、光電変換などを行わずそのまま映し出す光学ファインダである。

なお、撮影モードの切替え方法、及び各撮影モードにおける撮影操作方法は、上記以外の方法でもよい。例えば、動画モード及び連写モードにおける、撮影操作方法として、シャッターボタン５０１を一度押下することで、動画像撮影又は連写を開始し、再度シャッターボタン５０１が押下されることによって、動画像撮影又は連写を終了してもよい。また、当該操作は、シャッターボタン５０１以外を用いて行ってもよい。また、動画像撮影又は連写の開始操作に、シャッターボタン５０１以外を用いる場合であっても、シャッターボタン５０１と同様に、半押しを検知することによって、撮影準備信号２２３を生成できる。

また、本発明に係る画像処理装置２００及び３００を、デジタルビデオカメラに用いてもよい。

（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）で構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含んでもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有してもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、及び半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、及び、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。

本発明は、画像処理装置、画像処理方法及びプログラムに適用でき、特に、高速連写及び高フレームレート撮影などの高速に画像を読み出すモードを備えるデジタルスチルカメラ及びデジタルビデオカメラ等に適用できる。

１００、２００、３００ 画像処理装置
１０１、２０１ 読み出し方式切替え部
１０２、２０２ 撮像部
１０３、２０３、３０３ 超解像部
１２０、２２０ 撮影モード信号
１２１、２２１ 読み出し方式指示信号
１２２、２２２ 撮像画像信号
１２４、２２４ 撮影実施信号
１２９、２２９ 出力画像信号
１３１、２３１ 記憶撮像画像信号
１３２、２３２ 動き情報信号
１３３、２３３ 超解像画像信号
１４１、２４１ 信号切替え部
１４２、２４２ 超解像実行部
１４３、２４３ 動き検出部
１４４、２４４、３４４ フレームメモリ
２０４、３０４ 判定部
２０５ 撮影期間取得部
２０６ 撮影モード取得部
２１０ 制御部
２２３ 撮影準備信号
２２５ 全画素読み出し指示信号
２２６ 動き判定信号
２２７ 撮影終了信号
３０７ モニタ表示部
３２７ モニタ有効信号
３３４ フレーム情報信号
３３５ フレーム選定信号
３４５ 時間差分判定部
４５０ フレキシブルディスク
４５１ ディスク
４５２ ケース
４５３ トラック
４５４ セクタ
４６０ コンピュータシステム
４６１ フレキシブルディスクドライブ
５００ デジタルカメラ
５０１ シャッターボタン
５０２ レンズ
５０３ モニタ画面
５０４ ファインダ
５０５ 撮影モード切替えダイアル
５０６ 連写モード切替えボタン
５０７ モニタ表示ボタン

Claims (15)

1. 撮影期間を取得する撮影期間取得部と、
   光を電気信号に変換する複数の画素を備え、前記複数の画素のうち、第１画素数の画素により変換された電気信号である低解像度画像信号を出力する第１モードと、前記複数の画素のうち、前記第１画素数より多い第２画素数の画素により変換された電気信号である高解像度画像信号を出力する第２モードとを有する撮像部と、
   前記撮影期間取得部により取得された撮影期間中に、前記撮像部を前記第１モードで動作させ、前記撮影期間外に、前記撮像部を前記第２モードで動作させる制御部と、
   前記撮影期間外に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化することにより超解像画像信号を生成する超解像部とを備える
   画像処理装置。
2. 前記制御部は、前記撮影期間終了後に、前記撮像部を前記第２モードで動作させ、
   前記超解像部は、前記撮影期間終了後に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化する
   請求項１記載の画像処理装置。
3. 前記制御部は、前記撮影期間開始前に、前記撮像部を前記第２モードで動作させ、
   前記超解像部は、前記撮影期間開始前に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化する
   請求項２記載の画像処理装置。
4. 前記画像処理装置は、さらに、
   前記低解像度画像信号の画像、前記高解像度画像信号の画像、又は前記超解像画像信号の画像をモニタに表示するモニタ表示部を備え、
   前記制御部は、前記撮影期間開始前に、前記モニタ表示部が、前記低解像度画像信号の画像、前記高解像度画像信号の画像、又は前記超解像画像信号の画像をモニタに表示していない場合に、前記撮像部を前記第２モードで動作させ、前記撮影期間開始前に、前記モニタ表示部が、前記高解像度画像信号の画像、又は前記超解像画像信号の画像をモニタに表示している場合に、前記撮像部を前記第１モードで動作させる
   請求項３記載の画像処理装置。
5. 前記撮影期間取得部は、シャッターボタンが半押しされているか否かを示す撮影準備信号を取得し、
   前記制御部は、前記撮影準備信号によってシャッターボタンが半押しされていることが示される場合に、前記撮像部を前記第２モードで動作させる
   請求項３記載の画像処理装置。
6. 前記制御部は、さらに、前記低解像度画像信号によって示される画像の動きが予め定められた値より小さい場合、前記撮影期間中に、前記撮像部を前記第２モードで動作させ、
   前記超解像部は、さらに、前記撮影期間中に前記撮像部により出力された前記高解像度画像信号を用いて、当該撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化する
   請求項２記載の画像処理装置。
7. 前記制御部は、前記低解像度画像信号によって示される画像の、時間的に前又は後の画像フレームと現在の画像フレームとの画素値の差分絶対値和の値が予め定められた値より小さい場合に、前記低解像度画像信号によって示される画像の動きが予め定められた値より小さいと判定する
   請求項６記載の画像処理装置。
8. 前記超解像部は、前記低解像度画像信号によって示される画像の、時間的に前又は後の画像フレームと現在の画像フレームとの間において動き補償を行い、当該動き補償された時間的に前又は後の画像フレームと現在の画像フレームを用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化し、
   前記制御部は、前期動き補償された前記時間的に前又は後の画像フレームと現在の画像フレームとの画素値の差分絶対値和が予め定められた値より小さい場合、又は前記動き補償における動き量を示す動きベクトルの大きさが予め定められた値より小さい場合、又は両方の場合に、前記低解像度画像信号によって示される画像の動きが予め定められた値より小さいと判定する
   請求項６記載の画像処理装置。
9. 前記超解像部は、前記低解像度画像信号の現在の画像フレームを高解像度化するために、前記高解像度画像信号の画像フレームのうち、当該現在の画像フレームに時間的に最も近い画像フレームを優先的に使用する
   請求項２記載の画像処理装置。
10. 前記制御部は、さらに、前記撮影期間中に、定期的に前記撮像部を前記第２モードで動作させ、
    前記超解像部は、さらに、前記撮影期間中に前記撮像部により出力された前記高解像度画像信号を用いて、当該撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化する
    請求項２記載の画像処理装置。
11. 前記制御部は、前記撮影期間終了の直後に、前記撮像部を前記第２モードで動作させ、
    前記超解像部は、前記撮影期間終了の直後に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化する
    請求項２記載の画像処理装置。
12. 前記撮像部は、前記第１モード時には、前記低解像度画像信号を第１フレームレートで出力し、前記第２モード時には、前記高解像度画像信号を、前記第１フレームレートより遅い第２フレームレートで出力する
    請求項２記載の画像処理装置。
13. 前記制御部は、前記撮影期間開始前に、前記撮像部を前記第２モードで動作させ、
    前記超解像部は、前記撮影期間開始前に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化する
    請求項１記載の画像処理装置。
14. 光を電気信号に変換する複数の画素を備え、前記複数の画素のうち、第１画素数の画素により変換された電気信号である低解像度画像信号を出力する第１モードと、前記複数の画素のうち、前記第１画素数より多い第２画素数の画素により変換された電気信号である高解像度画像信号を出力する第２モードとを有する撮像部を備える画像処理装置の画像処理方法であって、
    撮影期間を取得する撮影期間取得ステップと、
    前記撮影期間取得ステップにおいて取得された前記撮影期間中に、前記撮像部を前記第１モードで動作させ、前記撮影期間外に、前記撮像部を前記第２モードで動作させる制御ステップと、
    前記撮影期間外に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化することにより超解像画像信号を生成する超解像ステップとを含む
    画像処理方法。
15. 光を電気信号に変換する複数の画素を備え、前記複数の画素のうち、第１画素数の画素により変換された電気信号である低解像度画像信号を出力する第１モードと、前記複数の画素のうち、前記第１画素数より多い第２画素数の画素により変換された電気信号である高解像度画像信号を出力する第２モードとを有する撮像部を備える画像処理装置のためのプログラムであって、
    撮影期間を取得する撮影期間取得ステップと、
    前記撮影期間取得ステップにおいて取得された前記撮影期間中に、前記撮像部を前記第１モードで動作させ、前記撮影期間外に、前記撮像部を前記第２モードで動作させる制御ステップと、
    前記撮影期間外に前記撮像部により出力された前記高解像度画像信号を用いて、前記撮影期間中に前記撮像部により出力された前記低解像度画像信号を高解像度化することにより超解像画像信号を生成する超解像ステップとをコンピュータに実行させる
    プログラム。

Images