JPWO2011083555A1 - 画像処理装置、画像生成システム、方法、およびプログラム - Google Patents

画像処理装置、画像生成システム、方法、およびプログラム Download PDF

Info

Publication number
JPWO2011083555A1
JPWO2011083555A1 JP2011525338A JP2011525338A JPWO2011083555A1 JP WO2011083555 A1 JPWO2011083555 A1 JP WO2011083555A1 JP 2011525338 A JP2011525338 A JP 2011525338A JP 2011525338 A JP2011525338 A JP 2011525338A JP WO2011083555 A1 JPWO2011083555 A1 JP WO2011083555A1
Authority
JP
Japan
Prior art keywords
image
moving image
pixel
condition
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011525338A
Other languages
English (en)
Other versions
JP4806476B2 (ja
Inventor
今川　太郎
太郎 今川
吾妻　健夫
健夫 吾妻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011525338A priority Critical patent/JP4806476B2/ja
Application granted granted Critical
Publication of JP4806476B2 publication Critical patent/JP4806476B2/ja
Publication of JPWO2011083555A1 publication Critical patent/JPWO2011083555A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

露光量を確保して撮影した画像に飽和が発生しても、より高解像度高フレームレートの画像を得る。画像生成装置は、被写体の第１および第２色成分の動画像である第１および第２動画像から、その被写体を表す新たな動画像を生成する。画像生成装置は、互いに、解像度と、フレームレートもしくは露出時間とが異なる第１および第２動画像を取得する画像取得部と、第１および第２動画像の各フレーム画像中の各画素の画素値に基づいて各画素が飽和もしくは黒つぶれしているか否かを判定する光量判定部と、第１および第２動画像から、それらのフレームレート以上のフレームレートで、かつ、各フレーム画像の解像度がそれらの解像度以上である新たな画像を生成する画像処理部とを備えている。画像処理部は、飽和または黒つぶれしていると判定されていない画素に対しては、取得された第１および第２動画像の画素値と、その画素と時空間的に対応する新たな動画像のフレーム画像の画素値の合計との誤差が所定値よりも小さいことを表す第１条件を満たす新たな動画像を生成し、飽和または黒つぶれしていると判定された画素に対しては、第１条件を満たさない新たな動画像を生成する。

Description

本発明は、動画像を生成する画像処理に関し、特に、同一の対象を異なる撮影条件の下で撮影して得られた複数の動画像から、その対象を表す新たな動画像を生成する画像処理に関する。
画素の微細化により撮像素子の多画素化と小型化が進み、小型・安価なカメラで高解像度の撮像が可能になってきた。微細化の結果、個々の画素の受光面積が減少するため、相対的なノイズの増加(ＳＮ比の低下)が問題となる。特に、動きのある被写体の静止画撮影や動画撮影では露出時間を長くできないため、光量不足によるＳＮ比低下(画質劣化)の問題が顕著になる。
上記の問題の対策として、受光後に電気的に信号増幅することにより、光量不足の撮影画像を明るくする方法が考えられる。しかしながらその方法ではノイズも同時に増幅され、ＳＮ比は改善しない。一方、露出時間を長くして受光量を増す方法が考えられる。しかしながら、この方法では被写体が動くことで動きブレが生じ、鮮明な画像は撮影できない。また、受光量を増すために、レンズ等の光学系を大きくすると、コストの増加や可搬性の低下という課題が生じる。
光量不足の条件下で高解像度の動画像を取得する従来の装置として、同一の対象を撮影して得られた露出時間の長い静止画と動画とを用いて、新たな動画像を生成する画像生成装置がある（例えば、特許文献１参照）。図２６は、特許文献１に記載された従来の画像生成装置の処理手順を示すフローチャートである。図２６のステップＡ１では、同一事象を撮影して得られた高速低解像度動画像と長時間露出の低速高解像度動画像とが取得される。ステップＡ２では、低速高解像度動画像の露光期間における新たな動画像のフレームの合計と低速高解像度動画像との誤差を減少させて画像が生成される。ステップＡ３では、生成画像が出力される。
特許第４２１５２６７号明細書
上述の画像生成装置の構成では、長時間の露出の撮影を行うため、光量が多い被写体を撮影した場合に、当該被写体領域で画素飽和が生じることがある。当該飽和画素領域では、本来得られるべき画像のフレーム加算値は飽和画素値よりも大きい。そのため、従来技術の方法により、前記フレーム加算値が入力画像の画素値(飽和画素値)との誤差が小さくなるように画像を生成すると、矛盾が生じ、生成画像の画質が低下し、輝度誤差や偽色の発生する場合があった。
本発明は、従来の課題を解決するためになされたものであり、その目的は、長時間露出などにより露光量を確保して撮影した画像から高解像度高フレームレート画像を得る際、飽和が発生した場合でも高画質の画像を得ることにある。
本発明による画像生成装置は、被写体の第１色成分の動画像である第１動画像、および、前記被写体の第２色成分の動画像である第２動画像から、前記被写体を表す新たな動画像を生成する画像生成装置であって、互いに、解像度と、フレームレートもしくは露出時間とが異なっている前記第１動画像および前記第２動画像を取得する画像取得部と、前記第１動画像および前記第２動画像の各フレーム画像中の各画素における画素値に基づいて各画素が飽和もしくは黒つぶれしているか否かを判定する光量判定部と、前記第１動画像および前記第２動画像から、前記第１動画像および前記第２動画像のフレームレート以上のフレームレートで、かつ、各フレーム画像の解像度が前記第１動画像および前記第２動画像の解像度以上である新たな画像を生成する画像処理部であって、前記光量判定部が飽和または黒つぶれしていると判定していない画素に対しては、取得された前記第１動画像および前記第２動画像の画素値と前記画素と時空間的に対応する前記新たな動画像のフレーム画像の画素値の合計との誤差が所定値よりも小さいことを表す第１条件を満たす新たな動画像を生成し、前記光量判定部が飽和または黒つぶれしていると判定した画素に対しては、前記第１条件を満たさない新たな動画像を生成する画像処理部とを備えている。
前記第１色成分は赤または青の少なくとも一方であり、前記第２色成分は緑であってもよい。
前記光量判定部は、各画素における光量が、予め定められた飽和値以上の場合に飽和していると判定してもよい。
前記光量判定部は、各画素における光量が、予め定められた黒つぶれ値以下の場合に黒つぶれしていると判定してもよい。
前記飽和値は、前記第１色成分および前記第２色成分の各々に設定されてもよい。
前記黒つぶれ値が、前記第１色成分および前記第２色成分の各々に設定されてもよい。
前記光量判定部が、画素が飽和していると判定したときは、前記画像処理部は前記画素の画素値を低減させ、前記光量判定部が、画素が黒つぶれしていると判定したときは前記画像処理部は前記画素の画素値を増加させてもよい。
前記画像生成装置は、生成する新たな動画像内の時空間的に隣り合う画素の色が連続すべきことを表す時空間的連続性に関する第２条件を設定する第２条件設定部をさらに備え、前記画像処理部は、前記第２条件を満たす新たな動画像を生成してもよい。
前記第２条件設定部は、前記時空間的連続性に関する第２条件を、画素の信号強度および色彩について個別に前記第２条件を設定してもよい。
前記第２条件設定部は、設定される前記第２条件に対して、前記新たな動画像の各画素の画素位置において適用される重みを決定し、前記第２条件設定部は、取得された前記第１動画像および前記第２動画像の空間的微分値が大きい位置の重みを下げて前記第２条件を設定してもよい。
前記第２条件設定部は、前記画素の色彩の時空間的連続性を、前記画素の信号強度の時空間的連続性よりも重みを大きくして前記第２条件を設定してもよい。
前記第２条件設定部は、前記時空間的連続性に関する第２条件を、取得された前記画像の色空間における画素値の分散の大きさに応じて選択される方向、および、前記方向に直交する方向のそれぞれに設定してもよい。
前記第２条件設定部は、前記光量判定部が飽和もしくは黒つぶれしていると判定した画素の画素位置における前記第２条件を、飽和もしくは黒つぶれしていると判定されなかった画素の画素位置における前記第２条件よりも強く設定してもよい。
前記画像生成装置は、前記第１動画像と前記第２動画像とを撮像する撮像装置の露光量を調整する光量制御部をさらに備え、前記第１動画像および前記第２動画像の各々について、前記光量判定部が、各フレーム画像の同一位置の全ての色が飽和していると判定したときは、前記光量制御部は、一部の色成分の動画像を取得するための露光量を低減させてもよい。
光量判定部が各フレーム画像の同一位置の全ての色が飽和していると判定した場合、光量制御部は、少なくとも１つの色成分の動画像の撮像時において前記撮像装置の露光量を低減させてもよい。
前記画像生成装置は、取得された前記画像の動きを検出する動き検出部と、前記動きの検出結果に基づき、生成する新たな動画像内の動きベクトルに沿った画素値が一致すべきことを表す第３の条件を設定する第３の条件設定部とをさらに備え、前記画像処理部は、前記第３の条件を満たす新たな動画像を生成してもよい。
前記第３の条件設定部は、前記光量判定部が飽和もしくは黒つぶれと判定した画素位置に対する前記第３の条件を、飽和もしくは黒つぶれしていると判定されなかった画素位置における前記第３の条件よりも強く設定してもよい。
本発明による画像生成システムは、撮像装置と、前記撮像装置で撮影した画像を記録する記憶装置と、前記記憶装置の画像を用いて前記新たな動画像を生成する、請求項１に記載の画像生成装置とを備えている。
本発明による他の画像生成システムは、上述の画像生成装置と、前記画像生成装置が生成した前記新たな動画像を表示する表示装置とを備えている。
前記画像生成装置は、前記第１画像および前記第２画像の各信号を、メモリカード、アンテナおよびネットワークの少なくとも１つを経由して取得してもよい。
本発明による方法は、被写体の第１色成分の動画像である第１動画像、および、前記被写体の第２色成分の動画像である第２動画像から、前記被写体を表す新たな動画像を生成する画像生成方法であって、互いに、解像度と、フレームレートもしくは露出時間とが異なっている前記第１動画像および前記第２動画像を取得するステップと、前記第１動画像および前記第２動画像の各フレーム画像中の各画素における画素値に基づいて各画素が飽和もしくは黒つぶれしているか否かを判定するステップと、前記第１動画像および前記第２動画像から、前記第１動画像および前記第２動画像のフレームレート以上のフレームレートで、かつ、各フレーム画像の解像度が前記第１動画像および前記第２動画像の解像度以上である新たな画像を生成するステップであって、判定する前記ステップにおいて飽和または黒つぶれしていると判定されていない画素に対しては、取得された前記第１動画像および前記第２動画像の画素値と前記画素と時空間的に対応する前記新たな動画像のフレーム画像の画素値の合計との誤差が所定値よりも小さいことを表す第１条件を満たす新たな動画像を生成し、判定する前記ステップにおいて飽和または黒つぶれしていると判定された画素に対しては、前記第１条件を満たさない新たな動画像を生成する新たな画像を生成するステップとを包含する。
本発明によるコンピュータプログラムは、被写体の第１色成分の動画像である第１動画像、および、前記被写体の第２色成分の動画像である第２動画像から、前記被写体を表す新たな動画像を生成する画像生成装置のコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、互いに、解像度と、フレームレートもしくは露出時間とが異なっている前記第１動画像および前記第２動画像を取得するステップと、前記第１動画像および前記第２動画像の各フレーム画像中の各画素における画素値に基づいて各画素が飽和もしくは黒つぶれしているか否かを判定するステップと、前記第１動画像および前記第２動画像から、前記第１動画像および前記第２動画像のフレームレート以上のフレームレートで、かつ、各フレーム画像の解像度が前記第１動画像および前記第２動画像の解像度以上である新たな画像を生成するステップであって、判定する前記ステップにおいて飽和または黒つぶれしていると判定されていない画素に対しては、取得された前記第１動画像および前記第２動画像の画素値と前記画素と時空間的に対応する前記新たな動画像のフレーム画像の画素値の合計との誤差が所定値よりも小さいことを表す第１条件を満たす新たな動画像を生成し、判定する前記ステップにおいて飽和または黒つぶれしていると判定された画素に対しては、前記第１条件を満たさない新たな動画像を生成する新たな画像を生成するステップとを実行させる。
本発明の画像生成装置によれば、長時間露出などによって飽和した画像領域に対し、生成される動画像の複数フレームの合計と静止画との誤差を許容して、動画像生成する。これにより、飽和領域に対応して生成される動画像を高画質化することができる。
実施形態１に係る画像生成システム１００のハードウェア構成を示すブロック図である。 図１に示された画像生成装置３０の内部構成を示す機能ブロック図である。 画像生成装置３０の実行する処理の手順を示すフローチャートである。 （ａ）および（ｂ）は、高速画像取得部１０１ａで取得される高速低解像度動画像と低速画像取得部１０１ｂで取得される低速高解像度動画像との関係を示す図である。 低速高解像度動画像と高速低解像度動画像の露光タイミングの関係を示す図である。 撮影条件の情報が記述された識別ヘッダー２１０ａと、動画像データ２１０ｂとを有する映像信号２１０のフォーマットの一例を示す図である。 （ａ）〜（ｃ）は、撮像装置の構成例を示す図である。 （ａ）〜（ｃ）は、高速高解像度動画像の画素値と、高速画像取得部１０１ａに取得された高速低解像度動画像の画素値と、低速画像取得部１０１ｂに取得された低速高解像度動画像の画素値との関係を説明する図である。 （ａ）および（ｂ）は、撮影強度の時間的変化を示す図である。 （ａ）〜（ｃ）は画素値と撮像時の入射光量との関係を説明する図である。 （ａ）および（ｂ）はそれぞれ、動き検出処理に関連する、フレーム番号ｔとｔ＋１における画素配置を表す図である。 ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す図である。 ＲＧＢ色空間における固有ベクトル軸（Ｃ１，Ｃ２，Ｃ３）の例を示す図である。 （ａ）および（ｂ）は飽和が生じていないときに同一被写体を異なる色で撮影した画像の例を表す図である。 （ａ）〜（ｆ）と（ｇ）〜（ｌ）は、それぞれ高速低解像度のＲＢの連続するフレーム画像を示す図である。 （ａ）〜（ｒ）は高速高解像度のＲＧＢ画像を示す図である。 （ａ）および（ｂ）は、図１２と同じ被写体の配置でＧ画像に飽和領域１２１が存在するときの画像例を示す図である。 （ａ）〜（ｒ）は、図１５および図１３の画像を組み合わせて、飽和画素の判定を行わずに生成した画像の例を示す図である。 ＲとＧ画像についての画素群の例を示す図である。 （ａ）および（ｂ）は、ＲとＧ画像についての画素位置と画素値との関係を示す図である。 （ａ）は飽和判定を行わずに生成した画像例を示す図であり、（ｂ）は実施形態１による処理を行った結果得られた画像例を示す図である。 実施形態２による画像生成装置３０の内部構成を示す機能ブロック図を示す図である。 光量制御処理の手順を示すフローチャートである。 実施形態３における画像生成装置３０の内部構成を示す機能ブロック図を示す図である。 実施形態３による画像生成装置３０の処理手順を示すフローチャートである。 表示装置を有しない画像生成システムの具体例を示す図である。 撮像装置を有しない画像生成システムの具体例を示す図である。 特許文献１に記載された従来の画像生成装置の処理手順を示すフローチャートである。
以下、添付の図面を参照して、本発明による画像生成装置の実施形態を説明する。
（実施形態１）
図１は、本実施形態に係る画像生成システム１００のハードウェア構成を示すブロック図である。画像生成システム１００は、同一の対象（被写体）を異なる露光時間および異なるフレームレートで撮影した複数の色成分の動画像から時空間解像度の高い新たなカラー動画像を生成する。本実施形態においては、高速低解像度画像および低速高解像度画像から、高速高解像度画像を生成する例を説明する。
画像生成システム１００は、撮像装置１０と、画像記憶装置２０と、画像生成装置３０と、表示装置４０とを備えている。
撮像装置１０はたとえばカメラであり、被写体を異なる撮影条件で撮影し、異なる２種類の時空間解像度で動画像を得る。この「動画像」とは、同一の被写体について高速低解像度動画像（時間解像度（フレームレート）が相対的に高く、かつ、空間解像度が相対的に低い動画像）、および、低速高解像度動画像（時間解像度が相対的に低く、かつ、空間解像度が相対的に高い動画像）をいう。
画像記憶装置２０はたとえば半導体メモリであり、撮像装置１０で撮像された動画像を一時的に記憶する。
画像生成装置３０はたとえばハードウェアで実装された画像処理回路（グラフィックコントローラ）である。画像生成装置３０は単体で製造および／または販売され得る。画像生成装置３０は、画像生成システム１００の一部として組み込まれることにより、画像記憶装置２０に記憶された動画像を読み出し、読み出した複数の動画像から、時空間解像度を高めた新たな動画像を生成する。なお、上述の例では、画像生成装置３０は専用回路等のハードウェアによって実現されているが、汎用のプロセッサと画像処理プログラム等のソフトウェアとによって実現してもよい。
表示装置４０はたとえば液晶表示装置であり、画像生成装置３０で生成された新たな動画像を表示する。
なお、図１に破線で示されるように、画像記憶装置２０および画像生成装置３０は、たとえばＰＣなどのハードウェアであってもよい。
図２は、図１に示された画像生成装置３０の内部構成を示す機能ブロック図である。画像生成装置３０は、画像取得部１０１と、動き検出部１０２と、画像処理部１０３と、光量判定部１０４と、出力部１０６とを備える。
画像取得部１０１は、同一の被写体を撮像して得られる時空間解像度及び色の異なる動画像を取得する。画像取得部１０１は、高速画像取得部１０１ａと低速画像取得部１０１ｂとを含む。本実施形態において高速画像取得部１０１ａは、高速（高フレームレート）かつ低空間解像度で撮影した、赤色成分（Ｒ）及び青色成分（Ｂ）の動画像（本実施形態では、これらの各色成分についての動画像を「高速低解像度動画像」と称す。）を取得する。また低速画像取得部１０１ｂは、高速画像取得部１０１ａと同じ被写体を、低速（低フレームレート）かつ高空間解像度で撮影した緑色成分（Ｇ）の動画像（本実施形態では、緑色成分（Ｇ）についての動画像を「低速高解像度動画像」と称する。）を取得する。
このように、高速画像取得部１０１ａに入力された画像と低速画像取得部１０１ｂに入力された画像とは、時空間解像度及び色は異なるが、同じ被写体を撮影した画像である。なお、高速かつ低空間解像度の動画像を撮影する対象色や、低速かつ高空間解像度の動画像を撮影する対象色の組み合わせは一例である。光の波長帯域ごとに、換言すれば色成分ごとに動画像が撮影されれば、その組み合わせは任意である。なお、本明細書では、緑色成分を、単に「緑」や「Ｇ」と記述する。
動き検出部１０２は、動き分布算出部１０２ａと信頼度分布算出部１０２ｂとを有する。動き検出部１０２は、入力画像中の画像の動き検出と動き検出の信頼度の算出とを行い、その結果を出力する。より具体的には、動き分布算出部１０２ａは、画像取得部１０１に入力された画像に基づいて、取得された画像中の一部の画像（典型的には被写体）を対象としてその動き検出を行う。動き検出は最終的には各フレームの画像全体を対象として行われる。信頼度分布算出部１０２ｂは、動き分布算出部１０２ａにおける動き検出の信頼度を各フレームの画像全体において算出する。なお、信頼度分布算出部１０２ｂの具体的な説明は後述する。
画像処理部１０３は、画像取得部１０１によって取得された複数の動画像から、色解像度が高く、かつ、フレームレートが高いカラー動画像を生成する。
より具体的には、画像処理部１０３は、第３の条件設定部１０３ａと、第２の条件設定部１０３ｂと、第１の条件設定部１０３ｃと、色画像生成部１０３ｄとを有する。第１から第３の条件設定部は、取得された動画像と、新たに生成される動画像とが満たすべき関係（条件）を設定する。
なお、本明細書では、新たに生成される動画像を「目的動画像」とも呼ぶ。「目的動画像」はカラーの動画像である。ただし、下記の文脈においては、動画像を構成する１フレームの画像を指すこともある。
第３の条件設定部１０３ａは、動き検出部１０２から取得した動き検出と動き検出の信頼度との結果を用いて、目的動画像に対する拘束条件を設定する。第２の条件設定部１０３ｂは、目的動画像に対する空間的な拘束条件を設定する。第１の条件設定部１０３ｃは、目的動画像と取得した画像との画素値の関係(目的動画像から取得された画像への画像劣化の条件)を設定する。色画像生成部１０３ｄは、前記拘束条件を用いて色成分の異なる複数の動画像から１つのカラー動画像を生成する。
なお本明細書において第１の条件、第２の条件等を「設定する」とは、各条件を独立して設定することを意味しない。後述するように、複数の条件を含む評価関数Ｊを設定し、その評価関数Ｊを最小にする動画像を、目的動画像（新たな動画像）として出力する。そのような評価関数Ｊを最小にする動画像であれば、各拘束条件の値を小さくするという条件を総合的にはよく満足すると推定されるためである。本明細書では、その推定により、各条件が可能な限り小さくされたと判断している。以下でも種々の条件を説明するが、いずれも個々に満たすべき値を設定するのではないことに留意されたい。
光量判定部１０４は、画像取得部１０１から取得した動画像中の各フレームにおける個々の画素値について、飽和もしくは黒つぶれが生じているか否かを判定する。
出力部１０６は、画像生成装置３０の出力端子である。たとえば、画像生成装置３０が画像処理回路（グラフィックコントローラ）であるときは、出力部１０６は、バスと接続されるコネクタである。出力部１０６は、画像処理部１０３によって生成されたカラー画像のデータを外部に出力する。出力先は、たとえば表示装置４０である。
なお、本実施形態における「フレーム」には、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。
次に、以上のように構成された画像生成装置３０が実行する処理を説明する。図３は、画像生成装置３０の実行する処理の手順を示すフローチャートである。
ステップ３０１では、画像取得部１０１は、時空間解像度と色成分とが異なる複数の動画像を取得する。具体的には、高速画像取得部１０１ａが高速低解像度のＲとＢの動画像を取得し、低速画像取得部１０１ｂが同一被写体について低速高解像度のＧの動画像を取得する。
図４Ａ（ａ）および図４Ａ（ｂ）は、高速画像取得部１０１ａで取得される高速低解像度動画像と低速画像取得部１０１ｂで取得される低速高解像度動画像との関係を示す。図４Ａ（ａ）および図４Ａ（ｂ）は、上記２種類の動画像の連続したフレーム画像を時間の順に並べて示されている。フレーム２０１およびフレーム２０２は低速高解像度の動画像を表し、フレーム２１１から２１５は高速低解像度の動画像を表している。
図４Ａ（ａ）および図４Ａ（ｂ）において、空間解像度の違いは画像の大きさで表現されている。フレーム２１１から２１５は、フレーム２０１およびフレーム２０２に比べて画素数が少なく空間解像度が低く、画素サイズが大きい。一方、フレームレートについては、高速画像取得部１０１ａは、低速画像取得部１０１ｂに比べ、撮影のフレームレートが高い。
ここでは、フレーム２０１およびフレーム２０２の時間方向の幅は露出時間を表している。低速画像取得部１０１ｂが１枚のフレーム２０１を撮影する間に高速画像取得部１０１ａは４フレームを撮影している。低速画像取得部１０１ｂに取得される画像はそのフレームレートが低い分、高速画像取得部１０１ａに取得される画像に比べて長い露出が可能となる。図４Ａ（ａ）では、低速高解像度動画像のフレーム２０１は、図４Ａ（ｂ）の高速低解像度動画像の４フレーム間隔分の露出が行われている。
なお、高速画像取得部１０１ａに取得されたフレームと低速画像取得部１０１ｂに取得されたフレームとの撮影タイミングは、時間の相対関係が既知であればよく、必ずしも同時に撮影される必要は無い。つまり、撮像タイミングにおける時間位相が異なっていてもよい。
具体的には、低速高解像度動画像の露光タイミングと、高速低解像度動画像の露光タイミングとの関係を図４Ｂのように設定してもよい。図４Ｂにおいて、横軸は時間を示している。また矩形は各画素のフレームを表し、矩形の横幅は露光時間の長さを表現している。図４Ｂでは、図４Ａ（ｂ）に示す配置の入力画素に対し、低速高解像度動画像の露光タイミングは高速低解像度動画像の露光タイミングと同期していない。各々の露光タイミングは任意である。
露光タイミングが同期しないことにより、図２に示す画像取得部１０１の高速画像取得部１０１ａおよび低速画像取得部１０１ｂが各入力画像の信号を取得するタイミングも同様にずれてもよい。
図４Ｂに示される露光タイミングで、２種類の動画像が撮影された場合には、撮像装置１０から画像生成装置３０にその露光タイミングを通知する仕組みが必要となる。そこで、送信される映像信号に撮影条件を付加することが考えられる。図４Ｃは、撮影条件の情報が記述された識別ヘッダー２１０ａと、動画像データ２１０ｂとを有する映像信号２１０のフォーマットの一例を示す。
撮像装置１０は、撮影条件を示す情報を識別ヘッダー２１０ａに格納し、識別ヘッダー２１０ａを、撮影した動画像データ２１０ｂに付加した映像信号２１０を出力する。
画像生成装置３０の画像取得部１０１は、映像信号２１０を受け取って先に識別ヘッダー２１０ａを読み取り、撮影条件の情報を取得する。そしてその撮影条件に基づいて、動画像データ２１０ｂを取得する。また、画像処理部１０３は、識別ヘッダー２１０ａの撮影条件に基づいて後述する条件を設定する。
識別ヘッダー２１０ａに格納される画像の撮影条件の情報は、色成分ごとおよび画素位置ごとの、露光時間、フレームレート、画素の露光タイミングの相対的な時間差(時間位相差)やこれらに対応付けられた数値や符号である。
画像取得部１０１がデジタル信号を受信する場合には、識別ヘッダー２１０ａはデジタルデータである。よって、撮影条件を表す露光時間、フレームレート、露光タイミングの相対的な時間差等の値はデジタル値で直接表されていてもよい。または、対応する撮像素子内の電圧・電荷量・電流値（アナログ値）が所定の有効桁数に丸められ、その値がデジタル値で表されていてもよい。
一方、画像取得部１０１がアナログ映像信号を受信する場合には、上述の情報は撮像素子内の電圧・電荷量・電流値などのアナログ値で表現され、または、それらに対応付けられた数値や符号で表現される。
後述のように、長時間露出を行うことで、高解像度の画像中においても移動物体の移動軌跡のように、動き情報を取得することが可能となる。高解像度画像から得た動き情報と矛盾のない動画像を後述する画像処理によって生成することで、ＳＮ比が高く、動きブレを抑えた時空間解像度の高い動画像を生成することが可能となる。
ここで、上述した時空間解像度と色とが異なる動画像を取得することが可能な撮像装置１０の具体例を説明する。図５（ａ）は、ダイクロイックプリズムやダイクロイックミラーを用いた多素子方式による撮像装置の構成の一例である。図５（ｂ）は、多層単一素子方式による撮像装置の構成の一例である。図５（ｃ）は、単層単一素子方式による撮像装置の構成の一例を示している。それぞれの構成において、青画像用の撮像素子Ｂ、緑画像用の撮像素子Ｇ、赤画像用の撮像素子Ｒが示されている。撮像素子Ｒ（赤）およびＢ（青）は、赤色および青色の高速低解像度動画を撮影し、撮像素子Ｇ（緑）は露出時間の長い緑色の低速高解像度動画を撮影する。すなわち各撮像素子は、色ごとに空間解像度とフレームレートおよび露出時間を変えて同一被写体を撮影する。
次に、図６（ａ）〜（ｃ）を参照しながら、目的とする高速高解像度動画像の画素値と、高速画像取得部１０１ａに取得された高速低解像度動画像の画素値と、低速画像取得部１０１ｂに取得された低速高解像度動画像の画素値との関係を説明する。ここで、画素値とはＲ、Ｇ、Ｂのそれぞれに関して定まる数値であり、同じ色の画素値間の関係性を説明する。この関係は、第１の条件設定部１０３ｃが設定する第１の条件に対応する。色画像生成部１０３ｄは、生成する高速高解像度動画像の各画素がこの条件を満たすように画像を生成する。
以下の説明では、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であるとする。図６（ａ）は、目的とする高速高解像度動画像の各フレームの画素配置を示す。説明の便宜のため、高速高解像度動画像の一部を取り出して説明する。図６（ａ）では、縦（Ｙ軸）方向３画素、横（Ｘ軸）方向３画素および４フレームの画素の配置が表されている。すなわち、空間解像度が３×３の画素、時間解像度が４フレームの画素が示されている。画素位置（ｘ，ｙ，ｔ）の画素の値をＨＨ（ｘ，ｙ，ｔ）とする。ここでｘとｙは０、１、２の値の範囲とし、ｔは０、１、２、３の値の範囲とする。同様に、図６（ｂ）は、図６（ａ）と同じ被写体を、同一視点から同一視野で同じ時間に撮影した高速低解像度動画像の画素配置を示す。
ここで、高速低解像度動画像の画素位置（ｘＬ，ｙＬ，ｔ）の画素値をＨＬ（ｘＬ，ｙＬ，ｔ）と表す。低解像度画像と高解像度画像とではｘ、ｙ方向の画素数が異なるため、低解像度画像のｘ、ｙ座標値をそれぞれｘＬ、ｙＬと表して高解像度画像の座標値と区別する。ここでは高解像度画像のｘ、ｙ方向それぞれ３画素からなる９画素分の領域が低解像度画像の１画素に相当する関係にあり、画素値の関係は（数１）のようになる。低解像度画像は高解像度画像の９画素の和となり、１画素が受光する光量が増すことになる。本実施形態ではＲとＢの画素値が数１に従う。なお、（数１）では、画素加算の範囲を３×３画素の範囲としているが、加算範囲はこれに限らず、ｘ、ｙ方向で異なる大きさでもよい。また、ＲとＢとで加算範囲が異なっても良い。
Figure 2011083555
同様に、図６（ｃ）は、図６（ａ）と同じ被写体を、同一視点から同一視野で同じ時間に撮影した低速高解像度動画像の画素の配置を示す。ここで、低速高解像度動画像の画素位置（ｘ，ｙ，ｔＬ）の画素値をＬＨ（ｘ，ｙ，ｔＬ）と表す。高速画像と低速画像とでは時間方向のフレーム数が異なるため、低速画像のフレーム番号をｔＬと表して高速画像のフレーム番号と区別する。ここでは高速画像の４フレーム分の間隔が低速画像の１フレーム間隔に相当する関係にあり、画素値の関係は（数２）のようになる。低解像度画像は高解像度画像の３フレーム加算となり、１画素が受光する光量が増すことになる。本実施形態ではＧの画素値が数２に従う。なお、数２では、フレーム加算の範囲を４フレームの範囲としているが、加算範囲はこれに限らない。
Figure 2011083555
 ここで、Ｇ（ｔ）は、時刻ｔの撮影強度を表し、撮像素子の感度や撮影時の絞りの時間的変化による画素値の変化倍率を示している。撮像素子の感度や撮影時の絞りに時間的変化が無い場合には、Ｇ（ｔ）＝１．０である。変化がある場合、例えば図７（ａ）および（ｂ）のように時間的変化を含むようにしてもよい。図７のように時間変化する場合、露光量は減少するが、時間的な高周波成分を取得することができる。
なお、上記の例では時間ｔを離散的に表現しているが、連続的な時間変化と対応付ける場合には、（数３）の関係式を用いることができる。（数１）、（数２）のＨＨ（ｘ，ｙ，ｔ）が（数３）でＨＨｃｏｎｔ（ｘ，ｙ，ｔｃｏｎｔ）に置き換えられている。これにより、時間的に連続した入力に対する劣化過程（目的動画像から取得された画像への画像の変換）を表現することが出来る。
Figure 2011083555
 （数３）において、Δｔは生成する高速高解像度画像のフレーム画像の仮想的な露出時間に相当する。ｔｃｏｎｔは連続した時間、ＨＨｃｏｎｔ（ｘ，ｙ，ｔｃｏｎｔ）は時間的に連続な画像、Ｅｘｐ（ｔｃｏｎｔ）は高速高解像度画像のフレーム画像の仮想的な露出の時間変化を表している。
図６（ａ）、（ｂ）および（ｃ）に示すように、高速画像の露出時間に対して低速画像の露出時間を長くすることで、受光量を増すことができ、相対的にノイズを抑え、ＳＮ比が高い画像を撮影することが可能となる。その結果、動きブレを抑えた高速高解像度動画像を生成が可能となる。また、画素サイズの大きい低解像度画像としての場合でも受光量を増すことが可能となり、ＳＮ比が高く、動きブレを抑えた高速高解像度動画像の生成が可能となる。
以上、図８（ａ）に示されるような、画素値が撮像時の入射光量に比例する例を説明した。ただし、γ補正等により比例しない場合（図８（ｂ））や比例定数が画素によって異なる場合には、別途、画像が撮影されたときの撮像素子の入出力特性（入出力関係）を逆に対応付けて利用すればよい。これにより、入射光に対して同一の比例関係を持つ値に画素値を補正し、（数１）や（数２）の関係を満たすことができる。例えば、図８（ｃ）のような画素値と補正値の対応関係を用いることで図８（ｂ）のようにして得られた画素値を補正し、図８（ａ）のようにして得られた画素値と同様に処理することができる。
再び図３を参照する。ステップ３０２では、動き検出部１０２が、高速低解像度動画像を構成する各画像の画素ごとの動きを検出し、その動き検出の信頼度を算出する。動き検出処理として、本実施形態では、高速画像取得部１０１ａから得た動画像の各フレーム画像の各位置において、動き検出部１０２は被写体の動きの向きと大きさを求め、そして求めた動き検出の信頼度の時空間的分布ｃｏｎｆ（ｘ，ｙ，ｔ）を併せて求める。ここで、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。
本実施形態では、ＲとＢの高速低解像度画像が取得され、ＲとＢを加算した画像を動き検出に用いる。ＲもしくはＢの一方のみの画像からでも動き検出は可能であるが、双方の画像の情報を活用するために、ＲとＢの加算画像を用いる。
隣り合う２フレーム画像間における、画像上の各位置での動きの求め方は、例えば、Ｐ．ＡＮＡＮＤＡＮ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，ＩＪＣＶ，２，２８３−３１０（１９８９）で用いられる方法や、動画像符号化で一般的に用いられる動き検出手法、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。
また、画像全体の大域的動き(アフィン動きなど)検出の一般的手法や、Ｌｉｈｉ Ｚｅｌｋｉｋ−Ｍａｎｏｒ、“Ｍｕｌｔｉ−ｂｏｄｙ Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｎｔｉｎｇ Ｍｏｔｉｏｎ Ｃｏｎｓｉｓｔｅｎｃｙ”、ＥＣＣＶ（２００２）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。
ブロックマッチングによる２フレーム画像間の動き検出方法を説明する。図９（ａ）および（ｂ）はそれぞれ、動き検出処理に関連する、フレーム番号ｔとｔ＋１における画素配置を表す。ここで、図９（ａ）の黒画素２４０１を注目画素とし、この画素が次のフレーム画像のどの画素に対応するか（移動しているか）を次の手順で決定する。
最初に、注目画素２４０１を中心としたブロック領域２４０２（３×３画素の斜線領域）を設定する。このブロックサイズは予め決められている。次に、次フレーム画像（図９（ｂ））において前記ブロック領域と同じサイズ（３×３画素）の領域２４０３を設定し、領域２４０２と領域２４０３の画素値のＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）またはＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を求める。以降、領域２４０３の位置を図９（ｂ）画像内で１画素ごとに変え、ＳＳＤまたはＳＡＤが最小となった時の領域２４０３の中心画素位置を、画素２４０１に対応する画素位置（動きベクトルの先）とする。
以上が、画素２４０１に対する動き検出結果となる。同様の手続きを、注目画素を変えて、図９（ａ）の全画素について繰り返す。これにより、図９（ａ）のフレーム画像に対する動き検出が完了する。連続するフレーム画像の隣り合うフレーム画像に対して、動き検出を順次行うことで、動画像全体の動き検出が完了する。
信頼度は、上記Ｐ．ＡＮＡＮＤＡＮの文献に記載の方法を用いて求めてもよく、ブロックマッチングを用いた動き検出の場合には、（数４）のように、動きに対応するブロック間の画素値の差の２乗和を前記差の２乗和が取り得る最大値ＳＳＤｍａｘから引いた値、つまりブロック間の画素値の差の２乗和の符号を逆にした値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を２乗和が取り得る最大値ＳＳＤｍａｘから引いた値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。
Figure 2011083555
 （数４）において、位置（ｘ'、ｙ'、ｔ＋１）は、動き検出の結果として得られた画素位置（ｘ、ｙ、ｔ）の移動先に相当する画素位置であり、Ｉ（ｘ、ｙ、ｔ）は（ｘ、ｙ、ｔ）の画素値である。また、（数４）のΣはブロックマッチングで用いるブロック領域内での加算を表す。
次に、図３のステップ３０３では、目的動画像である生成カラー動画像が満たすべき動き拘束条件Ｑmを、第３の条件設定部１０３ａにて設定する。第３の条件設定部１０３ａは、動き検出部１０２で求めた動き分布と信頼度分布とを用いて、（数５）に従って動き拘束条件Ｑmを設定する。下記（数５）においてＲH、ＧH、ＢHは、生成すべき目的カラー画像のＲＧＢ成分をそれぞれ示し、ｖx、ｖyは検出した動きのｘ方向の成分とｙ方向の成分を示す。
Figure 2011083555
 （数５）において、各Σはｘ、ｙ、ｔのそれぞれについての加算を意味し、結果として動き拘束条件Ｑmは目的動画像に対して定義される。（数５）は、取得された動画像上で検出された動きに沿って、対応する目的動画像の画素における各色の画素値が一様である（つまり画素値が連続している）ほど、値が小さくなる動き拘束条件Ｑmを定義している。（数５）では、画素値の変化量を、動き検出の信頼度で重み付けをして用いる。
低解像度の画像を用いて動き検出を行う場合、動きベクトルが高解像度画像の全画素位置について得られない。このような場合には、空間的な近傍で定義されている動きベクトルから補間して動きベクトルを求めればよい。補間方法はバイリニアやバイキュービックなど一般的な方法を用いることができる。
動き拘束条件Ｑmの値が小さくあるべきときは、取得された動画像上で検出された動きに沿って目的動画像の画素の画素値が連続すべきことを表している。
次に、ステップ３０４では、光量判定部１０４は、画像取得部１０１で取得されたＲＧＢ画像について各フレームの各画素について画素値の飽和が生じているか否か、黒つぶれが生じているか否かを判定する。
画素値が飽和しているか否かは、予めＲＧＢごとにそれぞれ飽和値ＳR、ＳG、ＳBを決めておき、個々のＲＧＢの値が、それぞれの色の飽和値を以上か否かを判定すればよい。黒つぶれについては、予めＲＧＢごとにそれぞれ黒つぶれ値ＤR、ＤG、ＤBを決めておき、個々のＲＧＢの値が、それぞれの色の黒つぶれ値以下か否かを判定する。たとえば、飽和値は画素値の最大値や撮像素子の出力の上限値、黒つぶれ値は０や撮像素子の出力の下限などとする。また、これらの基準値は、画素ごとに異なっても良い。
次に、ステップ３０５では、第１の条件設定部１０３ｃが（数１）〜（数３）で示した取得された画像と目的動画像との関係を用いて劣化拘束条件を設定する。（数６）〜（数８）は、拘束条件の例を示す。（数６）〜（数８）においてＲH、ＧH、ＢHは、生成すべき目的カラー画像のＲＧＢ成分をそれぞれ示す。ＨR、ＨG、ＨBは、ＲＧＢそれぞれの色について高速高解像度動画像から取得された画像への変換を示す。本実施例では、ＨR、ＨBが（数１）に対応する低空間解像度化の変換であり、ＨGが（数２）（数３）に対応する長時間露出低フレームレート化の変換である。ＲLH、ＧHL、ＢLHはそれぞれ取得されたＲ画像、Ｇ画像、Ｂ画像を示す。（数６）〜（数８）は、生成した目的動画像を撮影過程にあわせた低解像度化や低フレームレート化によって劣化変換した画像と、取得された画像とが一致するほど値が小さくなる。
Figure 2011083555
Figure 2011083555
Figure 2011083555
ここで、前記ステップ３０４で飽和画素もしくは黒つぶれ画素と判断した画素については、（数６）〜（数８）の評価を行わない、もしくは評価値を下げる。値の下げ方は、例えば、予め定めた割合で低下させる方法や、予め定めた値に設定する。前記低下の割合や予め定める値は、飽和の場合と黒つぶれの場合のそれぞれに設定してもよい。これにより、取得した画像が飽和や黒つぶれを生じていても、その影響を抑えて目的動画像を生成することができる。また、飽和画素に対しては、（数９）〜（数１１）のような条件に置き換えても良い。
Figure 2011083555
Figure 2011083555
Figure 2011083555
次に、ステップ３０６では、第２の条件設定部１０３ｂが生成する目的動画像に対する空間的な拘束条件を設定する。（数１２）および（数１３）は、空間的な拘束条件の例Ｑs1およびＱs2を示す。
Figure 2011083555
 （数１２）においてθH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的動画像の画素位置（ｘ，ｙ）におけるＲ、Ｇ、Ｂのそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値であり、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角、ｒH（ｘ，ｙ）は動径を表す。
図１０は、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。図１０では、一例として、θ＝０の方向をＲＧＢ色空間のＲ軸の正方向とし、ψ＝０の方向をＲＧＢ色空間のＧ軸の正方向としているが、偏角の基準方向は図１０に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
目的動画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現することにより、画素の明るさ（信号強度、輝度も同義である）としてのベクトルの大きさを表すｒ軸の座標値、ならびに画素の色彩（色相、色差、彩度などを含む）としてのベクトルの向きを表すθ軸およびψ軸の座標値を、独立に取り扱うことができる。自然画像では、明るさと色彩との時空間的な変化量は大きく異なるため、これらの値を独立に評価・調整できる座標を選ぶことで目的動画像の画質を向上させることができる。
（数１２）は、目的動画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数１２）は、目的動画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様である（つまり画素の色が連続している）ほど、値が小さくなる条件Ｑs1を定義している。
条件Ｑs1の値が小さくあるべきということは、目的動画像内の空間的に隣り合う画素の色が連続すべきということを表している。
画像中において画素の明るさの変化と画素の色彩の変化とは物理的に異なる事象から生じ得るため、（数１２）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（数１２）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（数１２）の大括弧内の第１項および第２項）とを個別に設定することで、望ましい画質が得やすくなる。
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、λr（ｘ，ｙ）はそれぞれ、θ軸、ψ軸、ｒ軸の座標値を用いて設定される条件に対して、目的動画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ、（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように画素位置やフレームに依らずに設定してもよい。
また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。例えば、取得された画像の空間的微分値が大きい位置の重みを小さくする。
画素値が不連続であることは、取得された画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
また、画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。
なお、（数１２）では、目的動画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑs1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
新たな直交座標系の座標軸は、例えば、取得された動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析（分散に基づく分析）することで固有ベクトル（分散の大きさで選ばれる互いに直交するベクトル）の方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。ＲＧＢ色空間における固有ベクトル軸（Ｃ１，Ｃ２，Ｃ３）の例を図１１に示す。
Figure 2011083555
 （数１３）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的動画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
（数１３）は、目的動画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数１３）は、目的動画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑs2を定義している。
条件Ｑs2の値が小さくあるべきということは、目的動画像内の空間的に隣り合う画素の色が連続すべきことを表している。
λC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的動画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
以上、２種類の条件Ｑs1、Ｑs2の例を説明した。条件Ｑsとしては、Ｑs1、Ｑs2いずれ
を用いることもできる。
例えば、（数１２）に示される条件Ｑs1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。
（数１３）に示される条件Ｑs2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることで、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件を設定できるので、単純に赤、緑、青の各色コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的動画像の画質の向上が期待できる。
次に、ステップ３０７では、第３の条件設定部１０３ａ、第２の条件設定部１０３ｂ、第１の条件設定部１０３ｃが設定した拘束条件を満たすような目的動画像を生成する。このために、前記拘束条件から成る評価関数Ｊを設定する。Ｊの一例を（数１４）に示す。
Figure 2011083555
Ｊは、生成したい高解像度カラー画像ｇを構成するＲ、Ｇ、およびＢの各色の画像（画像ベクトルとしてＲH、ＧH、ＢHと表記）の関数として定義される。ＨR、ＨG、ＨBは、それぞれ目的動画像ｇの各色画像ＲH、ＧH、ＢHから、各色の取得された画像ＲL、ＧL、ＢL（ベクトル表記）への低解像度化変換を表す。ＨR、ＨBは（数１）のような低解像度化の変換で、ＨGは（数２）のような低フレームレート化の変換である。なお、評価関数Ｊは、上記に限定するものではなく、（数１４）の項を類似式からなる項と置換したり、異なる条件を表す新たな項を追加してもよい。
次に、色画像生成部１０３ｄで、（数１４）のＪの値をできるだけ小さく（望ましくは最小に）する目的動画像の各画素値を求めることによって、目的動画像の各色画像ＲH、ＧH、ＢHを生成する。評価関数Ｊを最小にする目的動画像ｇは、例えば、Ｊを目的動画像の各色画像ＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（数１５）の方程式を解いて求めてもよく、また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。
Figure 2011083555
最後に、ステップ３０８で生成した目的動画像を出力する。
上記のような構成に基づく入出力画像の例を次に示す。図１２および図１３は、飽和が生じていないときに同一被写体を異なる色で撮影した画像の例を表す。図１２（ａ）、（ｂ）は、低速高解像度の長時間露出Ｇ画像の連続するフレーム画像を表している。円形の被写体９１が右下方向に移動しており、長時間露出のために動きブレが生じている。図１３の（ａ）〜（ｆ）と（ｇ）〜（ｌ）は、それぞれ高速低解像度のＲＢの連続するフレーム画像を表している。図１３は、図１２の画像に比べフレーム数は多いものの、解像度は低い。
ステップ３０４において、光量判定部１０４は飽和が生じないことを判定し、ステップ３０５で、第１の条件設定部１０３ｃは判定結果に基づいて第１の条件を全てのフレーム・画素について設定する。ステップ３０７で画像生成を行うと、ＲＧＢ画像間で画像の時空間情報が相互補完され、図１４（ａ）〜（ｒ）のように高速高解像度のＲＧＢ画像が得られる。各フレームの時間的タイミングは図１３と同じである。
ここで、図１５を参照しながら、Ｇ画像において飽和が生じている例を説明する。図１５は、図１２と同じ被写体の配置でＧ画像に飽和が生じた画像例を示す。図には飽和画素領域１２１が示されている。
図１６は、図１５と図１３の画像を組み合わせ、飽和画素の判定を行わずに画像を生成した例を示す。図１６ではＧの飽和領域に相当するフレームと画素位置でＲＧＢ画像の画素値が誤差を生じている(白丸１３１〜１３３)。Ｇ画像の飽和領域では、第１の条件に従うと正しい画素値（飽和値よりも大きい値）よりも暗い画素値になる。一方で、Ｇ画像が飽和領域で暗くなると、周辺領域との色が不連続となり、画素値の連続性の拘束(第２の条件)を満たしにくくなる。これは、異なる色画像（ＲＢ画像とＧ画像）は、一般的に空間的に似た変化をするが、Ｇ画像のみ飽和することで、ＲＢ画像と同じようにＧの画素値が空間的に変化できなくなることによる。このような矛盾を含んだ条件で画像生成すると、飽和領域のＲＧＢ値は、誤差を生じ、偽色などが発生する(図１６の白丸１３１〜１３３)。ここでは、Ｇの飽和の例で説明したが、Ｒ・Ｂなど他の色で飽和が生じた場合でも同様に偽色が生じる。また、ＲＧＢ以外の色フィルタを用いた場合にでも飽和により同様の偽色が生じる。
次に、本実施形態に示すような飽和領域の判定を行い（ステップ３０４）、飽和領域において第１の条件による拘束を抑制する（ステップ３０５）と、図１５のような取得された画像の場合にでも、図１４のように飽和の影響(ＲＧＢ値の誤差による偽色の発生など)を抑えた画像を生成することが可能になる。 これは、飽和領域において、画素値の連続性の拘束と矛盾が生じる第１の条件による拘束が抑えられ、第１の条件による拘束以外の相互に矛盾しない拘束条件によって画像生成することで、偽色の発生を抑制できることによる。
ここで、図１７および図１８を参照しながら、本実施形態に基づく処理の結果を説明する。
図１７は、ＲとＧ画像についての画素群の例を示す。以下では、斜線で示す画素群の行方向の画素値を例に挙げて説明する。行方向の画素位置を１〜９で示される。
図１８（ａ）および（ｂ）は、ＲとＧ画像についての画素位置と画素値との関係を示す。図１８（ａ）は、画素値に黒つぶれおよび飽和が生じている例を示し、図１８（ｂ）は、上述の本実施形態による処理の効果を模式的に示したグラフである。以下ＲとＧの画像を用いて説明するが、他の色の組合せでも同じ手順で同様の効果を得られる。
図１８（ａ）では、画素位置４〜６のＧ画素が矢印の画素値で飽和している。このような取得された画像に対して、上述の画像処理を行うと図１８（ｂ）のような画像を得ることができる。図１８（ｂ）では画素位置４〜６のＧの飽和領域は取得された画像の値と大きく乖離し、第１の条件による拘束からは外れるが、画素値の連続性の拘束（第２の条件や動き拘束）に従い、Ｒの画素値の変化（点線）と合わせてＧの画素値（実線）が変化するように画像を生成することで、偽色を抑えたカラー画像が得られる。
更に、画素位置１〜３や７〜９では、図１８（ａ）ではＲの画素値が０となり黒つぶれしている。ステップ３０４において光量判定部１０４は黒つぶれを判定し、黒つぶれと判定した領域においてＲ画像の第１の条件による拘束を抑えて画像生成する。この結果、図１８（ｂ）の画素位置１〜３や７〜９では、画素値の連続性の拘束に従い、Ｇの画素値の変化（実線）と合わせてＲの画素値（点線）が変化するように画像を生成する。これにより、黒つぶれしていた領域でも黒つぶれを回避したカラー画像が得られる。黒つぶれの場合は、暗いために画素飽和の場合のように、偽色の発生が目立つことは少ないが、本発明の効果により、黒つぶれしていない色が再現できるという効果がある。
なお、撮像素子の特性により、飽和または黒つぶれが発生する画素値は色ごとに異なり得る。たとえば図１８（ａ）では画素位置４〜６の緑（Ｇ）の画素値は飽和していると説明したが、それより大きい赤（Ｒ）の画素位置４〜６の画素値は、まだ飽和していないこともある。
上記の例では、飽和や黒つぶれの発生に応じて第１の条件による拘束のみを変更したが、第２の条件設定部１０３ｂが設定する他の拘束も同時に変更しても良い。この場合、第１の条件による拘束を抑制したフレーム・画素位置に対する第２の条件や動き拘束条件を強める。
なお、第２の条件を強める、とは、飽和や黒つぶれが発生した画素の２階微分値を小さくすることを意味している。また、動き拘束条件を強める、とは、飽和や黒つぶれが発生した画素について、評価式における動き拘束条件（数５）の値を過大に評価することを意味する。具体的には、飽和や黒つぶれが発生した画素のｃｏｎｆ（ｘ，ｙ，ｔ）の値をすでに設定されている値よりも大きくする。例えば、予め決めておいた定数倍の値とする。
これにより、第１の条件による拘束が抑制された画像領域において画像生成に用いる拘束条件を補い、他の拘束条件に基づいて偽色の発生を抑えた画像生成を促進できる効果がある。拘束の強め方は、第１の条件による拘束の抑制度合いに応じて適切な強め方を予め求めておき使用する。
また、ステップ３０４で光量判定部１０４が飽和や黒つぶれが生じたと判定した画素位置について、動き検出の信頼度を低下させても良い。
これは、飽和や黒つぶれによってブロックマッチング等の動き検出に誤差が生じやすくなるためである。飽和や黒つぶれで生じる動き検出の誤差を動き検出の信頼度に反映させることで、誤った動き拘束による画質低下を回避することができる。動き検出の信頼度の下げ方は、予め定めておく。例えば、信頼度を０にする。
また、動き検出に用いる色画像から、ステップ３０４で飽和や黒つぶれが生じたと判定した色画像を除いてもよい。これによっても、飽和や黒つぶれによる動き検出の誤差を低減することができる。
次に、自然画像に対する処理結果を示す。図１９は人形の頭部を写した画像（ＲＧＢカラー画像を輝度画像に変換して示す）で、頭部のリボンの破線矩形領域（矢印の位置、右側は拡大図）で、撮影時にＧが飽和している。飽和判定を行わずに画像生成した結果が、図１９（ａ）の画像である。破線の矩形領域では周囲のリボン（白色）と異なる色が生じ、暗い画像（拡大図の斜線領域）となっている。図１９（ｂ）は、本実施形態による処理を行った結果である。
飽和の判定に基づき第１の条件による拘束を抑制して画像生成した結果、偽色が抑制され、図１９（ａ）に比べ画像が明るくなり、周辺のリボンと同様な明るさの画像（拡大図の点領域）となっている。
以上のように、本実施形態にかかる処理によれば、時空間解像度と色の異なる動画像を組み合わせて高時空間解像度の動画像を生成する場合に、飽和や黒つぶれを含む取得された画像からでも画質の劣化を抑えた画像生成が可能になる。この結果として、取得された画像において表現できる階調の範囲（ダイナミックレンジ）を、飽和領域では明るい方向に、黒つぶれの領域では暗い方向に超えた画像を生成することが可能となる。このように本実施形態は、ダイナミックレンジの異なる色画像を組み合わせることで、生成カラー画像のダイナミックレンジを拡大する効果がある。
（実施形態２）
本発明の実施形態２を説明する。図２０は、実施形態２による画像生成装置３０の内部構成を示す機能ブロック図を示す。機能ブロックの構成および動作は実施形態１とほぼ同様であるが、新たに光量制御部１０５を設ける。光量制御部１０５は、撮像装置１０が動画像を撮像する際の露光量を制御する。露光量の制御は光量判定部１０４の判定に基づいて行う。具体的には、色画像ごとの露光時間を変えることで実現できる。
図２１のフローチャートを参照して、露光量制御の動作を説明する。図２１は、光量制御処理の手順を示すフローチャートである。最初にステップ１７０１では、光量判定部１０４がフレーム・画素ごとに飽和・黒つぶれの判定を行う。次に、ステップ１７０２では、光量判定部１０４の判定の結果、各フレームの同一画素位置において全ての色が飽和している場合、光量制御部１０５は、いずれかの色（例えばＧ）の露光量を低減させる。次にステップ１７０３では、光量判定部１０４の判定の結果、各フレームの同一画素位置において全ての色が黒つぶれしている場合、光量制御部１０５は、いずれかの色（例えばＧ）の露光量を増加させる。
上述のように、画像の輝度成分への寄与度が高いＧの露光量を制御することにより、一般的に情報量の多い輝度成分の飽和を抑えて情報を得ることができる。
なお、露光量の制御は画素単位でもよいし、ＲＧＢの色画像の単位で行っても良い。このように、全ての色が飽和している場合に、いずれかの色の露光量を低減させることで、少なくとも１色以上は飽和を抑制した画像が得られるため、先に説明した実施形態１の構成による効果が得やすくなる。すなわち、全ての色が飽和して第１の条件による拘束が抑制された領域において、飽和していない色画像を作り出すことで、非飽和色の画像情報に基づいて他の拘束条件（時空間的な連続性の拘束など）が設定でき、全ての色が飽和した場合よりも画質の向上が期待できる。このとき、全ての色が非飽和になるように露光量を全ての色で低減させることも可能であるが、黒つぶれが発生しやすくなる。本実施形態のようにいずれかの色の露光量を低減させると、実施形態１の効果により、目的動画像における黒つぶれを抑制し、ダイナミックレンジを拡大した画像を生成できる。
同様に、全ての色が黒つぶれしている場合に、いずれかの色の露光量を増加させることで、少なくとも１色以上は黒つぶれしていない画像が得られる。そのため、実施形態１の構成による効果が得やすくなる。すなわち、全ての色の黒つぶれによって第１の条件による拘束が抑制された領域において、黒つぶれしていない色画像を作り出すことで、黒つぶれしていない色の画像情報に基づいて他の拘束条件（時空間的な連続性の拘束など）が設定でき、全ての色が黒つぶれした場合よりも画質の向上が期待できる。このとき、全ての色が黒つぶれしないように露光量を全ての色で増加させることも可能であるが、飽和が生じやすくなる。本実施形態のようにいずれかの色の露光量を増加させると、実施形態１の効果により、目的動画像において飽和を抑制し、ダイナミックレンジを拡大した画像を生成できる。
（実施形態３）
図２２は、本実施形態における画像生成装置３０の内部構成を示す機能ブロック図を示す。また図２３は、本実施形態による画像生成装置３０の処理手順を示すフローチャートである。画像生成装置３０の構成および動作は実施形態１とほぼ同様であるが、相違点は、本実施形態による画像生成装置３０は動き検出部を有していない点である。そのため、図２３に示すフローチャートには、画像の動きに関する処理（図３のステップ３０２および３０３）が含まれていない。
第１の条件設定部１０３ｃが設定した条件と第２の条件設定部１０３ｂが設定した条件とを用いて色画像生成部１０３ｄが新たな動画像を生成する。動き拘束を用いない場合でも、光量判定部が飽和もしくは黒つぶれを判定し、前記判定結果に基づいて第１の条件設定を行うことで、飽和領域に対応する目的動画像を高画質化できる。
なお、これまでは表示装置４０を有する画像生成システム１００を説明した。しかしながら、図２４に示すビデオカメラ３００のように、図１に示された画像生成システム１００から表示装置４０を除いてもよい。なお、図２４に示されたビデオカメラ３００に表示装置４０を付加して構成される動画像録画再生機能付きのカメラは、図１等に示す構成の範疇である。
また、図２５に示すディスプレイ機器４００（たとえばテレビ）のように、図１に示された画像生成システム１００から撮像装置１０を除いてもよい。そのようなディスプレイ機器４００では、複数色コンポーネントの動画像を受け取り、フレームレートを向上させた目的動画像を生成して表示することが可能になる。なお、撮像装置１０が含まれていない場合でも、そのようなディスプレイ機器は画像生成システム１００の範疇である。
ディスプレイ機器４００は「複数色コンポーネントの動画像」を種々の方法で受け取ることができる。たとえば、半導体メモリカード（たとえばＳＤカード）２５０に予め録画してある動画像データから複数色コンポーネントの動画像を抽出してもよいし、アンテナ２５１を利用して放送波から抽出してもよい。または、インターネット等のネットワーク２５２を介して当該動画像取得してもよい。ディスプレイ機器４００において、半導体メモリカード２５０、アンテナ２５１およびネットワーク２５２の２つまたは全てが利用可能であってもよい。
図２５に示すディスプレイ機器４００において、たとえば実施形態１にかかる新たな動画像を生成する処理を行うためには、画像生成装置３０は各色成分の動画像の露光タイミング（図７）などの撮影条件に関する情報を必要とする。そこで画像取得部１０１は図４Ｃに示すフォーマットの映像信号２１０を受信して識別ヘッダー２１０ａから撮影条件の情報を取得し、動画像データ２１０ｂを取得すればよい。
画像生成装置３０が図４Ｃに示す映像信号２１０を受信できる限り、映像信号２１０の送信方法は任意である。たとえば図４Ｃに示す映像信号２１０をパケット化して放送波で送信し、ネットワーク通信を行ってもよい。
以上、本発明に係る画像処理装置の実施形態を説明した。上述の実施形態は一例であり、本発明はこれらに限られることはない。実施形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。
本発明の画像処理装置が行う画像生成処理の一部または全部を、専用のハードウェア機器で実行してもよいし、コンピュータ端末装置、無線基地局等に配置される通信機器、およびスタンドアロンの汎用コンピュータなどに内蔵されるＣＰＵが所定のコンピュータプログラムを実行することによって、本発明の画像生成処理を行うようにしてもよい。そのようなコンピュータプログラムには図示されたフローチャートの処理手順が規定されている。コンピュータプログラムを実行したＣＰＵは、その処理手順にしたがって自らが動作することにより、または、図示される他の構成要素に指示して動作させることにより、画像処理装置をその処理手順に従って動作させる。
本発明は、複数の動画像から新たな動画像を生成する画像生成技術である。特に、高速低解像度動画像と低速高解像度動画像（もしくは静止画像）とから高速高解像度動画像を生成する画像生成装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。
１０ 撮像装置
２０ 画像記憶装置
３０ 画像生成装置
４０ 表示装置
１００ 画像生成システム
１０１ 画像取得部
１０１ａ 高速画像取得部
１０１ｂ 低速画像取得部
１０２ 動き検出部
１０２ａ 動き分布算出部
１０２ｂ 信頼度分布算出部
１０３ 画像処理部
１０３ａ 第３の条件設定部
１０３ｂ 第２の条件設定部
１０３ｃ 第１の条件設定部
１０３ｄ 色画像生成部
１０４ 光量判定部
１０５ 光量制御部
１０６ 出力部
３００ カメラ
４００ ディスプレイ機器
本発明は、動画像を生成する画像処理に関し、特に、同一の対象を異なる撮影条件の下で撮影して得られた複数の動画像から、その対象を表す新たな動画像を生成する画像処理に関する。
画素の微細化により撮像素子の多画素化と小型化が進み、小型・安価なカメラで高解像度の撮像が可能になってきた。微細化の結果、個々の画素の受光面積が減少するため、相対的なノイズの増加(ＳＮ比の低下)が問題となる。特に、動きのある被写体の静止画撮影や動画撮影では露出時間を長くできないため、光量不足によるＳＮ比低下(画質劣化)の問題が顕著になる。
上記の問題の対策として、受光後に電気的に信号増幅することにより、光量不足の撮影画像を明るくする方法が考えられる。しかしながらその方法ではノイズも同時に増幅され、ＳＮ比は改善しない。一方、露出時間を長くして受光量を増す方法が考えられる。しかしながら、この方法では被写体が動くことで動きブレが生じ、鮮明な画像は撮影できない。また、受光量を増すために、レンズ等の光学系を大きくすると、コストの増加や可搬性の低下という課題が生じる。
光量不足の条件下で高解像度の動画像を取得する従来の装置として、同一の対象を撮影して得られた露出時間の長い静止画と動画とを用いて、新たな動画像を生成する画像生成装置がある（例えば、特許文献１参照）。図２６は、特許文献１に記載された従来の画像生成装置の処理手順を示すフローチャートである。図２６のステップＡ１では、同一事象を撮影して得られた高速低解像度動画像と長時間露出の低速高解像度動画像とが取得される。ステップＡ２では、低速高解像度動画像の露光期間における新たな動画像のフレームの合計と低速高解像度動画像との誤差を減少させて画像が生成される。ステップＡ３では、生成画像が出力される。
特許第４２１５２６７号明細書
上述の画像生成装置の構成では、長時間の露出の撮影を行うため、光量が多い被写体を撮影した場合に、当該被写体領域で画素飽和が生じることがある。当該飽和画素領域では、本来得られるべき画像のフレーム加算値は飽和画素値よりも大きい。そのため、従来技術の方法により、前記フレーム加算値が入力画像の画素値(飽和画素値)との誤差が小さくなるように画像を生成すると、矛盾が生じ、生成画像の画質が低下し、輝度誤差や偽色の発生する場合があった。
本発明は、従来の課題を解決するためになされたものであり、その目的は、長時間露出などにより露光量を確保して撮影した画像から高解像度高フレームレート画像を得る際、飽和が発生した場合でも高画質の画像を得ることにある。
本発明による画像生成装置は、被写体の第１色成分の動画像である第１動画像、および、前記被写体の第２色成分の動画像である第２動画像から、前記被写体を表す新たな動画像を生成する画像生成装置であって、互いに、解像度と、フレームレートもしくは露出時間とが異なっている前記第１動画像および前記第２動画像を取得する画像取得部と、前記第１動画像および前記第２動画像の各フレーム画像中の各画素における画素値に基づいて各画素が飽和もしくは黒つぶれしているか否かを判定する光量判定部と、前記第１動画像および前記第２動画像から、前記第１動画像および前記第２動画像のフレームレート以上のフレームレートで、かつ、各フレーム画像の解像度が前記第１動画像および前記第２動画像の解像度以上である新たな画像を生成する画像処理部であって、前記光量判定部が飽和または黒つぶれしていると判定していない画素に対しては、取得された前記第１動画像および前記第２動画像の画素値と前記画素と時空間的に対応する前記新たな動画像のフレーム画像の画素値の合計との誤差が所定値よりも小さいことを表す第１条件を満たす新たな動画像を生成し、前記光量判定部が飽和または黒つぶれしていると判定した画素に対しては、前記第１条件を満たさない新たな動画像を生成する画像処理部とを備えている。
前記第１色成分は赤または青の少なくとも一方であり、前記第２色成分は緑であってもよい。
前記光量判定部は、各画素における光量が、予め定められた飽和値以上の場合に飽和していると判定してもよい。
前記光量判定部は、各画素における光量が、予め定められた黒つぶれ値以下の場合に黒つぶれしていると判定してもよい。
前記飽和値は、前記第１色成分および前記第２色成分の各々に設定されてもよい。
前記黒つぶれ値が、前記第１色成分および前記第２色成分の各々に設定されてもよい。
前記光量判定部が、画素が飽和していると判定したときは、前記画像処理部は前記画素の画素値を低減させ、前記光量判定部が、画素が黒つぶれしていると判定したときは前記画像処理部は前記画素の画素値を増加させてもよい。
前記画像生成装置は、生成する新たな動画像内の時空間的に隣り合う画素の色が連続すべきことを表す時空間的連続性に関する第２条件を設定する第２条件設定部をさらに備え、前記画像処理部は、前記第２条件を満たす新たな動画像を生成してもよい。
前記第２条件設定部は、前記時空間的連続性に関する第２条件を、画素の信号強度および色彩について個別に前記第２条件を設定してもよい。
前記第２条件設定部は、設定される前記第２条件に対して、前記新たな動画像の各画素の画素位置において適用される重みを決定し、前記第２条件設定部は、取得された前記第１動画像および前記第２動画像の空間的微分値が大きい位置の重みを下げて前記第２条件を設定してもよい。
前記第２条件設定部は、前記画素の色彩の時空間的連続性を、前記画素の信号強度の時空間的連続性よりも重みを大きくして前記第２条件を設定してもよい。
前記第２条件設定部は、前記時空間的連続性に関する第２条件を、取得された前記画像の色空間における画素値の分散の大きさに応じて選択される方向、および、前記方向に直交する方向のそれぞれに設定してもよい。
前記第２条件設定部は、前記光量判定部が飽和もしくは黒つぶれしていると判定した画素の画素位置における前記第２条件を、飽和もしくは黒つぶれしていると判定されなかった画素の画素位置における前記第２条件よりも強く設定してもよい。
前記画像生成装置は、前記第１動画像と前記第２動画像とを撮像する撮像装置の露光量を調整する光量制御部をさらに備え、前記第１動画像および前記第２動画像の各々について、前記光量判定部が、各フレーム画像の同一位置の全ての色が飽和していると判定したときは、前記光量制御部は、一部の色成分の動画像を取得するための露光量を低減させてもよい。
光量判定部が各フレーム画像の同一位置の全ての色が飽和していると判定した場合、光量制御部は、少なくとも１つの色成分の動画像の撮像時において前記撮像装置の露光量を低減させてもよい。
前記画像生成装置は、取得された前記画像の動きを検出する動き検出部と、前記動きの検出結果に基づき、生成する新たな動画像内の動きベクトルに沿った画素値が一致すべきことを表す第３の条件を設定する第３の条件設定部とをさらに備え、前記画像処理部は、前記第３の条件を満たす新たな動画像を生成してもよい。
前記第３の条件設定部は、前記光量判定部が飽和もしくは黒つぶれと判定した画素位置に対する前記第３の条件を、飽和もしくは黒つぶれしていると判定されなかった画素位置における前記第３の条件よりも強く設定してもよい。
本発明による画像生成システムは、撮像装置と、前記撮像装置で撮影した画像を記録する記憶装置と、前記記憶装置の画像を用いて前記新たな動画像を生成する、請求項１に記載の画像生成装置とを備えている。
本発明による他の画像生成システムは、上述の画像生成装置と、前記画像生成装置が生成した前記新たな動画像を表示する表示装置とを備えている。
前記画像生成装置は、前記第１画像および前記第２画像の各信号を、メモリカード、アンテナおよびネットワークの少なくとも１つを経由して取得してもよい。
本発明による方法は、被写体の第１色成分の動画像である第１動画像、および、前記被写体の第２色成分の動画像である第２動画像から、前記被写体を表す新たな動画像を生成する画像生成方法であって、互いに、解像度と、フレームレートもしくは露出時間とが異なっている前記第１動画像および前記第２動画像を取得するステップと、前記第１動画像および前記第２動画像の各フレーム画像中の各画素における画素値に基づいて各画素が飽和もしくは黒つぶれしているか否かを判定するステップと、前記第１動画像および前記第２動画像から、前記第１動画像および前記第２動画像のフレームレート以上のフレームレートで、かつ、各フレーム画像の解像度が前記第１動画像および前記第２動画像の解像度以上である新たな画像を生成するステップであって、判定する前記ステップにおいて飽和または黒つぶれしていると判定されていない画素に対しては、取得された前記第１動画像および前記第２動画像の画素値と前記画素と時空間的に対応する前記新たな動画像のフレーム画像の画素値の合計との誤差が所定値よりも小さいことを表す第１条件を満たす新たな動画像を生成し、判定する前記ステップにおいて飽和または黒つぶれしていると判定された画素に対しては、前記第１条件を満たさない新たな動画像を生成する新たな画像を生成するステップとを包含する。
本発明によるコンピュータプログラムは、被写体の第１色成分の動画像である第１動画像、および、前記被写体の第２色成分の動画像である第２動画像から、前記被写体を表す新たな動画像を生成する画像生成装置のコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、互いに、解像度と、フレームレートもしくは露出時間とが異なっている前記第１動画像および前記第２動画像を取得するステップと、前記第１動画像および前記第２動画像の各フレーム画像中の各画素における画素値に基づいて各画素が飽和もしくは黒つぶれしているか否かを判定するステップと、前記第１動画像および前記第２動画像から、前記第１動画像および前記第２動画像のフレームレート以上のフレームレートで、かつ、各フレーム画像の解像度が前記第１動画像および前記第２動画像の解像度以上である新たな画像を生成するステップであって、判定する前記ステップにおいて飽和または黒つぶれしていると判定されていない画素に対しては、取得された前記第１動画像および前記第２動画像の画素値と前記画素と時空間的に対応する前記新たな動画像のフレーム画像の画素値の合計との誤差が所定値よりも小さいことを表す第１条件を満たす新たな動画像を生成し、判定する前記ステップにおいて飽和または黒つぶれしていると判定された画素に対しては、前記第１条件を満たさない新たな動画像を生成する新たな画像を生成するステップとを実行させる。
本発明の画像生成装置によれば、長時間露出などによって飽和した画像領域に対し、生成される動画像の複数フレームの合計と静止画との誤差を許容して、動画像生成する。これにより、飽和領域に対応して生成される動画像を高画質化することができる。
実施形態１に係る画像生成システム１００のハードウェア構成を示すブロック図である。 図１に示された画像生成装置３０の内部構成を示す機能ブロック図である。 画像生成装置３０の実行する処理の手順を示すフローチャートである。 （ａ）および（ｂ）は、高速画像取得部１０１ａで取得される高速低解像度動画像と低速画像取得部１０１ｂで取得される低速高解像度動画像との関係を示す図である。 低速高解像度動画像と高速低解像度動画像の露光タイミングの関係を示す図である。 撮影条件の情報が記述された識別ヘッダー２１０ａと、動画像データ２１０ｂとを有する映像信号２１０のフォーマットの一例を示す図である。 （ａ）〜（ｃ）は、撮像装置の構成例を示す図である。 （ａ）〜（ｃ）は、高速高解像度動画像の画素値と、高速画像取得部１０１ａに取得された高速低解像度動画像の画素値と、低速画像取得部１０１ｂに取得された低速高解像度動画像の画素値との関係を説明する図である。 （ａ）および（ｂ）は、撮影強度の時間的変化を示す図である。 （ａ）〜（ｃ）は画素値と撮像時の入射光量との関係を説明する図である。 （ａ）および（ｂ）はそれぞれ、動き検出処理に関連する、フレーム番号ｔとｔ＋１における画素配置を表す図である。 ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す図である。 ＲＧＢ色空間における固有ベクトル軸（Ｃ１，Ｃ２，Ｃ３）の例を示す図である。 （ａ）および（ｂ）は飽和が生じていないときに同一被写体を異なる色で撮影した画像の例を表す図である。 （ａ）〜（ｆ）と（ｇ）〜（ｌ）は、それぞれ高速低解像度のＲＢの連続するフレーム画像を示す図である。 （ａ）〜（ｒ）は高速高解像度のＲＧＢ画像を示す図である。 （ａ）および（ｂ）は、図１２と同じ被写体の配置でＧ画像に飽和領域１２１が存在するときの画像例を示す図である。 （ａ）〜（ｒ）は、図１５および図１３の画像を組み合わせて、飽和画素の判定を行わずに生成した画像の例を示す図である。 ＲとＧ画像についての画素群の例を示す図である。 （ａ）および（ｂ）は、ＲとＧ画像についての画素位置と画素値との関係を示す図である。 （ａ）は飽和判定を行わずに生成した画像例を示す図であり、（ｂ）は実施形態１による処理を行った結果得られた画像例を示す図である。 実施形態２による画像生成装置３０の内部構成を示す機能ブロック図を示す図である。 光量制御処理の手順を示すフローチャートである。 実施形態３における画像生成装置３０の内部構成を示す機能ブロック図を示す図である。 実施形態３による画像生成装置３０の処理手順を示すフローチャートである。 表示装置を有しない画像生成システムの具体例を示す図である。 撮像装置を有しない画像生成システムの具体例を示す図である。 特許文献１に記載された従来の画像生成装置の処理手順を示すフローチャートである。
以下、添付の図面を参照して、本発明による画像生成装置の実施形態を説明する。
（実施形態１）
図１は、本実施形態に係る画像生成システム１００のハードウェア構成を示すブロック図である。画像生成システム１００は、同一の対象（被写体）を異なる露光時間および異なるフレームレートで撮影した複数の色成分の動画像から時空間解像度の高い新たなカラー動画像を生成する。本実施形態においては、高速低解像度画像および低速高解像度画像から、高速高解像度画像を生成する例を説明する。
画像生成システム１００は、撮像装置１０と、画像記憶装置２０と、画像生成装置３０と、表示装置４０とを備えている。
撮像装置１０はたとえばカメラであり、被写体を異なる撮影条件で撮影し、異なる２種類の時空間解像度で動画像を得る。この「動画像」とは、同一の被写体について高速低解像度動画像（時間解像度（フレームレート）が相対的に高く、かつ、空間解像度が相対的に低い動画像）、および、低速高解像度動画像（時間解像度が相対的に低く、かつ、空間解像度が相対的に高い動画像）をいう。
画像記憶装置２０はたとえば半導体メモリであり、撮像装置１０で撮像された動画像を一時的に記憶する。
画像生成装置３０はたとえばハードウェアで実装された画像処理回路（グラフィックコントローラ）である。画像生成装置３０は単体で製造および／または販売され得る。画像生成装置３０は、画像生成システム１００の一部として組み込まれることにより、画像記憶装置２０に記憶された動画像を読み出し、読み出した複数の動画像から、時空間解像度を高めた新たな動画像を生成する。なお、上述の例では、画像生成装置３０は専用回路等のハードウェアによって実現されているが、汎用のプロセッサと画像処理プログラム等のソフトウェアとによって実現してもよい。
表示装置４０はたとえば液晶表示装置であり、画像生成装置３０で生成された新たな動画像を表示する。
なお、図１に破線で示されるように、画像記憶装置２０および画像生成装置３０は、たとえばＰＣなどのハードウェアであってもよい。
図２は、図１に示された画像生成装置３０の内部構成を示す機能ブロック図である。画像生成装置３０は、画像取得部１０１と、動き検出部１０２と、画像処理部１０３と、光量判定部１０４と、出力部１０６とを備える。
画像取得部１０１は、同一の被写体を撮像して得られる時空間解像度及び色の異なる動画像を取得する。画像取得部１０１は、高速画像取得部１０１ａと低速画像取得部１０１ｂとを含む。本実施形態において高速画像取得部１０１ａは、高速（高フレームレート）かつ低空間解像度で撮影した、赤色成分（Ｒ）及び青色成分（Ｂ）の動画像（本実施形態では、これらの各色成分についての動画像を「高速低解像度動画像」と称す。）を取得する。また低速画像取得部１０１ｂは、高速画像取得部１０１ａと同じ被写体を、低速（低フレームレート）かつ高空間解像度で撮影した緑色成分（Ｇ）の動画像（本実施形態では、緑色成分（Ｇ）についての動画像を「低速高解像度動画像」と称する。）を取得する。
このように、高速画像取得部１０１ａに入力された画像と低速画像取得部１０１ｂに入力された画像とは、時空間解像度及び色は異なるが、同じ被写体を撮影した画像である。なお、高速かつ低空間解像度の動画像を撮影する対象色や、低速かつ高空間解像度の動画像を撮影する対象色の組み合わせは一例である。光の波長帯域ごとに、換言すれば色成分ごとに動画像が撮影されれば、その組み合わせは任意である。なお、本明細書では、緑色成分を、単に「緑」や「Ｇ」と記述する。
動き検出部１０２は、動き分布算出部１０２ａと信頼度分布算出部１０２ｂとを有する。動き検出部１０２は、入力画像中の画像の動き検出と動き検出の信頼度の算出とを行い、その結果を出力する。より具体的には、動き分布算出部１０２ａは、画像取得部１０１に入力された画像に基づいて、取得された画像中の一部の画像（典型的には被写体）を対象としてその動き検出を行う。動き検出は最終的には各フレームの画像全体を対象として行われる。信頼度分布算出部１０２ｂは、動き分布算出部１０２ａにおける動き検出の信頼度を各フレームの画像全体において算出する。なお、信頼度分布算出部１０２ｂの具体的な説明は後述する。
画像処理部１０３は、画像取得部１０１によって取得された複数の動画像から、色解像度が高く、かつ、フレームレートが高いカラー動画像を生成する。
より具体的には、画像処理部１０３は、第３の条件設定部１０３ａと、第２の条件設定部１０３ｂと、第１の条件設定部１０３ｃと、色画像生成部１０３ｄとを有する。第１から第３の条件設定部は、取得された動画像と、新たに生成される動画像とが満たすべき関係（条件）を設定する。
なお、本明細書では、新たに生成される動画像を「目的動画像」とも呼ぶ。「目的動画像」はカラーの動画像である。ただし、下記の文脈においては、動画像を構成する１フレームの画像を指すこともある。
第３の条件設定部１０３ａは、動き検出部１０２から取得した動き検出と動き検出の信頼度との結果を用いて、目的動画像に対する拘束条件を設定する。第２の条件設定部１０３ｂは、目的動画像に対する空間的な拘束条件を設定する。第１の条件設定部１０３ｃは、目的動画像と取得した画像との画素値の関係(目的動画像から取得された画像への画像劣化の条件)を設定する。色画像生成部１０３ｄは、前記拘束条件を用いて色成分の異なる複数の動画像から１つのカラー動画像を生成する。
なお本明細書において第１の条件、第２の条件等を「設定する」とは、各条件を独立して設定することを意味しない。後述するように、複数の条件を含む評価関数Ｊを設定し、その評価関数Ｊを最小にする動画像を、目的動画像（新たな動画像）として出力する。そのような評価関数Ｊを最小にする動画像であれば、各拘束条件の値を小さくするという条件を総合的にはよく満足すると推定されるためである。本明細書では、その推定により、各条件が可能な限り小さくされたと判断している。以下でも種々の条件を説明するが、いずれも個々に満たすべき値を設定するのではないことに留意されたい。
光量判定部１０４は、画像取得部１０１から取得した動画像中の各フレームにおける個々の画素値について、飽和もしくは黒つぶれが生じているか否かを判定する。
出力部１０６は、画像生成装置３０の出力端子である。たとえば、画像生成装置３０が画像処理回路（グラフィックコントローラ）であるときは、出力部１０６は、バスと接続されるコネクタである。出力部１０６は、画像処理部１０３によって生成されたカラー画像のデータを外部に出力する。出力先は、たとえば表示装置４０である。
なお、本実施形態における「フレーム」には、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。
次に、以上のように構成された画像生成装置３０が実行する処理を説明する。図３は、画像生成装置３０の実行する処理の手順を示すフローチャートである。
ステップ３０１では、画像取得部１０１は、時空間解像度と色成分とが異なる複数の動画像を取得する。具体的には、高速画像取得部１０１ａが高速低解像度のＲとＢの動画像を取得し、低速画像取得部１０１ｂが同一被写体について低速高解像度のＧの動画像を取得する。
図４Ａ（ａ）および図４Ａ（ｂ）は、高速画像取得部１０１ａで取得される高速低解像度動画像と低速画像取得部１０１ｂで取得される低速高解像度動画像との関係を示す。図４Ａ（ａ）および図４Ａ（ｂ）は、上記２種類の動画像の連続したフレーム画像を時間の順に並べて示されている。フレーム２０１およびフレーム２０２は低速高解像度の動画像を表し、フレーム２１１から２１５は高速低解像度の動画像を表している。
図４Ａ（ａ）および図４Ａ（ｂ）において、空間解像度の違いは画像の大きさで表現されている。フレーム２１１から２１５は、フレーム２０１およびフレーム２０２に比べて画素数が少なく空間解像度が低く、画素サイズが大きい。一方、フレームレートについては、高速画像取得部１０１ａは、低速画像取得部１０１ｂに比べ、撮影のフレームレートが高い。
ここでは、フレーム２０１およびフレーム２０２の時間方向の幅は露出時間を表している。低速画像取得部１０１ｂが１枚のフレーム２０１を撮影する間に高速画像取得部１０１ａは４フレームを撮影している。低速画像取得部１０１ｂに取得される画像はそのフレームレートが低い分、高速画像取得部１０１ａに取得される画像に比べて長い露出が可能となる。図４Ａ（ａ）では、低速高解像度動画像のフレーム２０１は、図４Ａ（ｂ）の高速低解像度動画像の４フレーム間隔分の露出が行われている。
なお、高速画像取得部１０１ａに取得されたフレームと低速画像取得部１０１ｂに取得されたフレームとの撮影タイミングは、時間の相対関係が既知であればよく、必ずしも同時に撮影される必要は無い。つまり、撮像タイミングにおける時間位相が異なっていてもよい。
具体的には、低速高解像度動画像の露光タイミングと、高速低解像度動画像の露光タイミングとの関係を図４Ｂのように設定してもよい。図４Ｂにおいて、横軸は時間を示している。また矩形は各画素のフレームを表し、矩形の横幅は露光時間の長さを表現している。図４Ｂでは、図４Ａ（ｂ）に示す配置の入力画素に対し、低速高解像度動画像の露光タイミングは高速低解像度動画像の露光タイミングと同期していない。各々の露光タイミングは任意である。
露光タイミングが同期しないことにより、図２に示す画像取得部１０１の高速画像取得部１０１ａおよび低速画像取得部１０１ｂが各入力画像の信号を取得するタイミングも同様にずれてもよい。
図４Ｂに示される露光タイミングで、２種類の動画像が撮影された場合には、撮像装置１０から画像生成装置３０にその露光タイミングを通知する仕組みが必要となる。そこで、送信される映像信号に撮影条件を付加することが考えられる。図４Ｃは、撮影条件の情報が記述された識別ヘッダー２１０ａと、動画像データ２１０ｂとを有する映像信号２１０のフォーマットの一例を示す。
撮像装置１０は、撮影条件を示す情報を識別ヘッダー２１０ａに格納し、識別ヘッダー２１０ａを、撮影した動画像データ２１０ｂに付加した映像信号２１０を出力する。
画像生成装置３０の画像取得部１０１は、映像信号２１０を受け取って先に識別ヘッダー２１０ａを読み取り、撮影条件の情報を取得する。そしてその撮影条件に基づいて、動画像データ２１０ｂを取得する。また、画像処理部１０３は、識別ヘッダー２１０ａの撮影条件に基づいて後述する条件を設定する。
識別ヘッダー２１０ａに格納される画像の撮影条件の情報は、色成分ごとおよび画素位置ごとの、露光時間、フレームレート、画素の露光タイミングの相対的な時間差(時間位相差)やこれらに対応付けられた数値や符号である。
画像取得部１０１がデジタル信号を受信する場合には、識別ヘッダー２１０ａはデジタルデータである。よって、撮影条件を表す露光時間、フレームレート、露光タイミングの相対的な時間差等の値はデジタル値で直接表されていてもよい。または、対応する撮像素子内の電圧・電荷量・電流値（アナログ値）が所定の有効桁数に丸められ、その値がデジタル値で表されていてもよい。
一方、画像取得部１０１がアナログ映像信号を受信する場合には、上述の情報は撮像素子内の電圧・電荷量・電流値などのアナログ値で表現され、または、それらに対応付けられた数値や符号で表現される。
後述のように、長時間露出を行うことで、高解像度の画像中においても移動物体の移動軌跡のように、動き情報を取得することが可能となる。高解像度画像から得た動き情報と矛盾のない動画像を後述する画像処理によって生成することで、ＳＮ比が高く、動きブレを抑えた時空間解像度の高い動画像を生成することが可能となる。
ここで、上述した時空間解像度と色とが異なる動画像を取得することが可能な撮像装置１０の具体例を説明する。図５（ａ）は、ダイクロイックプリズムやダイクロイックミラーを用いた多素子方式による撮像装置の構成の一例である。図５（ｂ）は、多層単一素子方式による撮像装置の構成の一例である。図５（ｃ）は、単層単一素子方式による撮像装置の構成の一例を示している。それぞれの構成において、青画像用の撮像素子Ｂ、緑画像用の撮像素子Ｇ、赤画像用の撮像素子Ｒが示されている。撮像素子Ｒ（赤）およびＢ（青）は、赤色および青色の高速低解像度動画を撮影し、撮像素子Ｇ（緑）は露出時間の長い緑色の低速高解像度動画を撮影する。すなわち各撮像素子は、色ごとに空間解像度とフレームレートおよび露出時間を変えて同一被写体を撮影する。
次に、図６（ａ）〜（ｃ）を参照しながら、目的とする高速高解像度動画像の画素値と、高速画像取得部１０１ａに取得された高速低解像度動画像の画素値と、低速画像取得部１０１ｂに取得された低速高解像度動画像の画素値との関係を説明する。ここで、画素値とはＲ、Ｇ、Ｂのそれぞれに関して定まる数値であり、同じ色の画素値間の関係性を説明する。この関係は、第１の条件設定部１０３ｃが設定する第１の条件に対応する。色画像生成部１０３ｄは、生成する高速高解像度動画像の各画素がこの条件を満たすように画像を生成する。
以下の説明では、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であるとする。図６（ａ）は、目的とする高速高解像度動画像の各フレームの画素配置を示す。説明の便宜のため、高速高解像度動画像の一部を取り出して説明する。図６（ａ）では、縦（Ｙ軸）方向３画素、横（Ｘ軸）方向３画素および４フレームの画素の配置が表されている。すなわち、空間解像度が３×３の画素、時間解像度が４フレームの画素が示されている。画素位置（ｘ，ｙ，ｔ）の画素の値をＨＨ（ｘ，ｙ，ｔ）とする。ここでｘとｙは０、１、２の値の範囲とし、ｔは０、１、２、３の値の範囲とする。同様に、図６（ｂ）は、図６（ａ）と同じ被写体を、同一視点から同一視野で同じ時間に撮影した高速低解像度動画像の画素配置を示す。
ここで、高速低解像度動画像の画素位置（ｘＬ，ｙＬ，ｔ）の画素値をＨＬ（ｘＬ，ｙＬ，ｔ）と表す。低解像度画像と高解像度画像とではｘ、ｙ方向の画素数が異なるため、低解像度画像のｘ、ｙ座標値をそれぞれｘＬ、ｙＬと表して高解像度画像の座標値と区別する。ここでは高解像度画像のｘ、ｙ方向それぞれ３画素からなる９画素分の領域が低解像度画像の１画素に相当する関係にあり、画素値の関係は（数１）のようになる。低解像度画像は高解像度画像の９画素の和となり、１画素が受光する光量が増すことになる。本実施形態ではＲとＢの画素値が数１に従う。なお、（数１）では、画素加算の範囲を３×３画素の範囲としているが、加算範囲はこれに限らず、ｘ、ｙ方向で異なる大きさでもよい。また、ＲとＢとで加算範囲が異なっても良い。
Figure 2011083555
同様に、図６（ｃ）は、図６（ａ）と同じ被写体を、同一視点から同一視野で同じ時間に撮影した低速高解像度動画像の画素の配置を示す。ここで、低速高解像度動画像の画素位置（ｘ，ｙ，ｔＬ）の画素値をＬＨ（ｘ，ｙ，ｔＬ）と表す。高速画像と低速画像とでは時間方向のフレーム数が異なるため、低速画像のフレーム番号をｔＬと表して高速画像のフレーム番号と区別する。ここでは高速画像の４フレーム分の間隔が低速画像の１フレーム間隔に相当する関係にあり、画素値の関係は（数２）のようになる。低解像度画像は高解像度画像の３フレーム加算となり、１画素が受光する光量が増すことになる。本実施形態ではＧの画素値が数２に従う。なお、数２では、フレーム加算の範囲を４フレームの範囲としているが、加算範囲はこれに限らない。
Figure 2011083555
 ここで、Ｇ（ｔ）は、時刻ｔの撮影強度を表し、撮像素子の感度や撮影時の絞りの時間的変化による画素値の変化倍率を示している。撮像素子の感度や撮影時の絞りに時間的変化が無い場合には、Ｇ（ｔ）＝１．０である。変化がある場合、例えば図７（ａ）および（ｂ）のように時間的変化を含むようにしてもよい。図７のように時間変化する場合、露光量は減少するが、時間的な高周波成分を取得することができる。
なお、上記の例では時間ｔを離散的に表現しているが、連続的な時間変化と対応付ける場合には、（数３）の関係式を用いることができる。（数１）、（数２）のＨＨ（ｘ，ｙ，ｔ）が（数３）でＨＨｃｏｎｔ（ｘ，ｙ，ｔｃｏｎｔ）に置き換えられている。これにより、時間的に連続した入力に対する劣化過程（目的動画像から取得された画像への画像の変換）を表現することが出来る。
Figure 2011083555
 （数３）において、Δｔは生成する高速高解像度画像のフレーム画像の仮想的な露出時間に相当する。ｔｃｏｎｔは連続した時間、ＨＨｃｏｎｔ（ｘ，ｙ，ｔｃｏｎｔ）は時間的に連続な画像、Ｅｘｐ（ｔｃｏｎｔ）は高速高解像度画像のフレーム画像の仮想的な露出の時間変化を表している。
図６（ａ）、（ｂ）および（ｃ）に示すように、高速画像の露出時間に対して低速画像の露出時間を長くすることで、受光量を増すことができ、相対的にノイズを抑え、ＳＮ比が高い画像を撮影することが可能となる。その結果、動きブレを抑えた高速高解像度動画像を生成が可能となる。また、画素サイズの大きい低解像度画像としての場合でも受光量を増すことが可能となり、ＳＮ比が高く、動きブレを抑えた高速高解像度動画像の生成が可能となる。
以上、図８（ａ）に示されるような、画素値が撮像時の入射光量に比例する例を説明した。ただし、γ補正等により比例しない場合（図８（ｂ））や比例定数が画素によって異なる場合には、別途、画像が撮影されたときの撮像素子の入出力特性（入出力関係）を逆に対応付けて利用すればよい。これにより、入射光に対して同一の比例関係を持つ値に画素値を補正し、（数１）や（数２）の関係を満たすことができる。例えば、図８（ｃ）のような画素値と補正値の対応関係を用いることで図８（ｂ）のようにして得られた画素値を補正し、図８（ａ）のようにして得られた画素値と同様に処理することができる。
再び図３を参照する。ステップ３０２では、動き検出部１０２が、高速低解像度動画像を構成する各画像の画素ごとの動きを検出し、その動き検出の信頼度を算出する。動き検出処理として、本実施形態では、高速画像取得部１０１ａから得た動画像の各フレーム画像の各位置において、動き検出部１０２は被写体の動きの向きと大きさを求め、そして求めた動き検出の信頼度の時空間的分布ｃｏｎｆ（ｘ，ｙ，ｔ）を併せて求める。ここで、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。
本実施形態では、ＲとＢの高速低解像度画像が取得され、ＲとＢを加算した画像を動き検出に用いる。ＲもしくはＢの一方のみの画像からでも動き検出は可能であるが、双方の画像の情報を活用するために、ＲとＢの加算画像を用いる。
隣り合う２フレーム画像間における、画像上の各位置での動きの求め方は、例えば、Ｐ．ＡＮＡＮＤＡＮ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，ＩＪＣＶ，２，２８３−３１０（１９８９）で用いられる方法や、動画像符号化で一般的に用いられる動き検出手法、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。
また、画像全体の大域的動き(アフィン動きなど)検出の一般的手法や、Ｌｉｈｉ Ｚｅｌｋｉｋ−Ｍａｎｏｒ、“Ｍｕｌｔｉ−ｂｏｄｙ Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｎｔｉｎｇ Ｍｏｔｉｏｎ Ｃｏｎｓｉｓｔｅｎｃｙ”、ＥＣＣＶ（２００２）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。
ブロックマッチングによる２フレーム画像間の動き検出方法を説明する。図９（ａ）および（ｂ）はそれぞれ、動き検出処理に関連する、フレーム番号ｔとｔ＋１における画素配置を表す。ここで、図９（ａ）の黒画素２４０１を注目画素とし、この画素が次のフレーム画像のどの画素に対応するか（移動しているか）を次の手順で決定する。
最初に、注目画素２４０１を中心としたブロック領域２４０２（３×３画素の斜線領域）を設定する。このブロックサイズは予め決められている。次に、次フレーム画像（図９（ｂ））において前記ブロック領域と同じサイズ（３×３画素）の領域２４０３を設定し、領域２４０２と領域２４０３の画素値のＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）またはＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を求める。以降、領域２４０３の位置を図９（ｂ）画像内で１画素ごとに変え、ＳＳＤまたはＳＡＤが最小となった時の領域２４０３の中心画素位置を、画素２４０１に対応する画素位置（動きベクトルの先）とする。
以上が、画素２４０１に対する動き検出結果となる。同様の手続きを、注目画素を変えて、図９（ａ）の全画素について繰り返す。これにより、図９（ａ）のフレーム画像に対する動き検出が完了する。連続するフレーム画像の隣り合うフレーム画像に対して、動き検出を順次行うことで、動画像全体の動き検出が完了する。
信頼度は、上記Ｐ．ＡＮＡＮＤＡＮの文献に記載の方法を用いて求めてもよく、ブロックマッチングを用いた動き検出の場合には、（数４）のように、動きに対応するブロック間の画素値の差の２乗和を前記差の２乗和が取り得る最大値ＳＳＤｍａｘから引いた値、つまりブロック間の画素値の差の２乗和の符号を逆にした値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を２乗和が取り得る最大値ＳＳＤｍａｘから引いた値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。
Figure 2011083555
 （数４）において、位置（ｘ'、ｙ'、ｔ＋１）は、動き検出の結果として得られた画素位置（ｘ、ｙ、ｔ）の移動先に相当する画素位置であり、Ｉ（ｘ、ｙ、ｔ）は（ｘ、ｙ、ｔ）の画素値である。また、（数４）のΣはブロックマッチングで用いるブロック領域内での加算を表す。
次に、図３のステップ３０３では、目的動画像である生成カラー動画像が満たすべき動き拘束条件Ｑmを、第３の条件設定部１０３ａにて設定する。第３の条件設定部１０３ａは、動き検出部１０２で求めた動き分布と信頼度分布とを用いて、（数５）に従って動き拘束条件Ｑmを設定する。下記（数５）においてＲH、ＧH、ＢHは、生成すべき目的カラー画像のＲＧＢ成分をそれぞれ示し、ｖx、ｖyは検出した動きのｘ方向の成分とｙ方向の成分を示す。
Figure 2011083555
 （数５）において、各Σはｘ、ｙ、ｔのそれぞれについての加算を意味し、結果として動き拘束条件Ｑmは目的動画像に対して定義される。（数５）は、取得された動画像上で検出された動きに沿って、対応する目的動画像の画素における各色の画素値が一様である（つまり画素値が連続している）ほど、値が小さくなる動き拘束条件Ｑmを定義している。（数５）では、画素値の変化量を、動き検出の信頼度で重み付けをして用いる。
低解像度の画像を用いて動き検出を行う場合、動きベクトルが高解像度画像の全画素位置について得られない。このような場合には、空間的な近傍で定義されている動きベクトルから補間して動きベクトルを求めればよい。補間方法はバイリニアやバイキュービックなど一般的な方法を用いることができる。
動き拘束条件Ｑmの値が小さくあるべきときは、取得された動画像上で検出された動きに沿って目的動画像の画素の画素値が連続すべきことを表している。
次に、ステップ３０４では、光量判定部１０４は、画像取得部１０１で取得されたＲＧＢ画像について各フレームの各画素について画素値の飽和が生じているか否か、黒つぶれが生じているか否かを判定する。
画素値が飽和しているか否かは、予めＲＧＢごとにそれぞれ飽和値ＳR、ＳG、ＳBを決めておき、個々のＲＧＢの値が、それぞれの色の飽和値を以上か否かを判定すればよい。黒つぶれについては、予めＲＧＢごとにそれぞれ黒つぶれ値ＤR、ＤG、ＤBを決めておき、個々のＲＧＢの値が、それぞれの色の黒つぶれ値以下か否かを判定する。たとえば、飽和値は画素値の最大値や撮像素子の出力の上限値、黒つぶれ値は０や撮像素子の出力の下限などとする。また、これらの基準値は、画素ごとに異なっても良い。
次に、ステップ３０５では、第１の条件設定部１０３ｃが（数１）〜（数３）で示した取得された画像と目的動画像との関係を用いて劣化拘束条件を設定する。（数６）〜（数８）は、拘束条件の例を示す。（数６）〜（数８）においてＲH、ＧH、ＢHは、生成すべき目的カラー画像のＲＧＢ成分をそれぞれ示す。ＨR、ＨG、ＨBは、ＲＧＢそれぞれの色について高速高解像度動画像から取得された画像への変換を示す。本実施例では、ＨR、ＨBが（数１）に対応する低空間解像度化の変換であり、ＨGが（数２）（数３）に対応する長時間露出低フレームレート化の変換である。ＲLH、ＧHL、ＢLHはそれぞれ取得されたＲ画像、Ｇ画像、Ｂ画像を示す。（数６）〜（数８）は、生成した目的動画像を撮影過程にあわせた低解像度化や低フレームレート化によって劣化変換した画像と、取得された画像とが一致するほど値が小さくなる。
Figure 2011083555
Figure 2011083555
Figure 2011083555
ここで、前記ステップ３０４で飽和画素もしくは黒つぶれ画素と判断した画素については、（数６）〜（数８）の評価を行わない、もしくは評価値を下げる。値の下げ方は、例えば、予め定めた割合で低下させる方法や、予め定めた値に設定する。前記低下の割合や予め定める値は、飽和の場合と黒つぶれの場合のそれぞれに設定してもよい。これにより、取得した画像が飽和や黒つぶれを生じていても、その影響を抑えて目的動画像を生成することができる。また、飽和画素に対しては、（数９）〜（数１１）のような条件に置き換えても良い。
Figure 2011083555
Figure 2011083555
Figure 2011083555
次に、ステップ３０６では、第２の条件設定部１０３ｂが生成する目的動画像に対する空間的な拘束条件を設定する。（数１２）および（数１３）は、空間的な拘束条件の例Ｑs1およびＱs2を示す。
Figure 2011083555
 （数１２）においてθH（ｘ，ｙ）、ψH（ｘ，ｙ）、ｒH（ｘ，ｙ）は、目的動画像の画素位置（ｘ，ｙ）におけるＲ、Ｇ、Ｂのそれぞれの画素値で表される３次元直交色空間（いわゆるＲＧＢ色空間）内の位置を、ＲＧＢ色空間に対応する球面座標系（θ、ψ、ｒ）で表現した場合の座標値であり、θH（ｘ，ｙ）とψH（ｘ，ｙ）は２種類の偏角、ｒH（ｘ，ｙ）は動径を表す。
図１０は、ＲＧＢ色空間と球面座標系（θ、ψ、ｒ）との対応例を示す。図１０では、一例として、θ＝０の方向をＲＧＢ色空間のＲ軸の正方向とし、ψ＝０の方向をＲＧＢ色空間のＧ軸の正方向としているが、偏角の基準方向は図１０に示す方向に限定されることなく、他の方向であってもよい。このような対応に従って、画素ごとに、ＲＧＢ色空間の座標値である赤、緑、青のそれぞれの画素値を、球面座標系（θ、ψ、ｒ）の座標値に変換する。
目的動画像の各画素の画素値をＲＧＢ色空間内の３次元ベクトルとして考えた場合に、３次元ベクトルをＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）で表現することにより、画素の明るさ（信号強度、輝度も同義である）としてのベクトルの大きさを表すｒ軸の座標値、ならびに画素の色彩（色相、色差、彩度などを含む）としてのベクトルの向きを表すθ軸およびψ軸の座標値を、独立に取り扱うことができる。自然画像では、明るさと色彩との時空間的な変化量は大きく異なるため、これらの値を独立に評価・調整できる座標を選ぶことで目的動画像の画質を向上させることができる。
（数１２）は、目的動画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数１２）は、目的動画像内で空間的に隣り合う画素における球面座標系で表現された画素値の変化が一様である（つまり画素の色が連続している）ほど、値が小さくなる条件Ｑs1を定義している。
条件Ｑs1の値が小さくあるべきということは、目的動画像内の空間的に隣り合う画素の色が連続すべきということを表している。
画像中において画素の明るさの変化と画素の色彩の変化とは物理的に異なる事象から生じ得るため、（数１２）に示すように、画素の明るさの連続性（ｒ軸の座標値の変化の一様性）に関する条件（（数１２）の大括弧内の第３項）と、画素の色彩の連続性（θ軸およびψ軸の座標値の変化の一様性）に関する条件（（数１２）の大括弧内の第１項および第２項）とを個別に設定することで、望ましい画質が得やすくなる。
λθ（ｘ，ｙ）、λψ（ｘ，ｙ）、λr（ｘ，ｙ）はそれぞれ、θ軸、ψ軸、ｒ軸の座標値を用いて設定される条件に対して、目的動画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。簡単には、λθ（ｘ，ｙ）＝λψ、（ｘ，ｙ）＝１．０、λr（ｘ，ｙ）＝０．０１のように画素位置やフレームに依らずに設定してもよい。
また、好ましくは、画像中の画素値の不連続性などが予測できる位置において、この重みを小さく設定してもよい。例えば、取得された画像の空間的微分値が大きい位置の重みを小さくする。
画素値が不連続であることは、取得された画像のフレーム画像内の隣り合う画素における画素値の差分値や２階差分値の絶対値が一定値以上であることにより判断してもよい。
また、画素の色彩の連続性に関する条件に適用する重みを、画素の明るさの連続性に関する条件に適用する重みよりも大きくしておくことが望ましい。これは、被写体表面の凹凸や動きによる被写体表面の向き（法線の向き）の変化によって、画像中の画素の明るさが色彩に比べて変化しやすい（変化の一様性に乏しい）ことによる。
なお、（数１２）では、目的動画像の球面座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を条件Ｑs1として設定したが、２階差分値の絶対値和、または１階差分値の２乗和もしくは絶対値和を条件として設定してもよい。
上記説明ではＲＧＢ色空間に対応付けられる球面座標系（θ、ψ、ｒ）を用いて色空間条件を設定したが、用いる座標系は球面座標系に限るものではなく、画素の明るさと色彩とを分離しやすい座標軸を有する新たな直交座標系において条件を設定することで、前述と同様の効果が得られる。
新たな直交座標系の座標軸は、例えば、取得された動画像または基準となる他の動画像に含まれる画素値のＲＧＢ色空間内での頻度分布を主成分分析（分散に基づく分析）することで固有ベクトル（分散の大きさで選ばれる互いに直交するベクトル）の方向を求め、求めた固有ベクトルの方向に設ける（固有ベクトル軸とする）ことができる。ＲＧＢ色空間における固有ベクトル軸（Ｃ１，Ｃ２，Ｃ３）の例を図１１に示す。
Figure 2011083555
 （数１３）において、Ｃ1（ｘ，ｙ）、Ｃ2（ｘ，ｙ）、Ｃ3（ｘ，ｙ）は、目的動画像の画素位置（ｘ，ｙ）における赤、緑、青のそれぞれの画素値であるＲＧＢ色空間の座標値を、新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3の座標値に変換する回転変換である。
（数１３）は、目的動画像の新たな直交座標系で表現された画素値の、ｘｙ空間方向の２階差分値の２乗和を定義している。（数１３）は、目的動画像の各フレーム画像内で空間的に隣り合う画素における新たな直交座標系で表現された画素値の変化が一様である（つまり画素値が連続している）ほど、値が小さくなる条件Ｑs2を定義している。
条件Ｑs2の値が小さくあるべきということは、目的動画像内の空間的に隣り合う画素の色が連続すべきことを表している。
λC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）はそれぞれ、Ｃ1軸、Ｃ2軸、Ｃ3軸の座標値を用いて設定される条件に対して、目的動画像の画素位置（ｘ，ｙ）において適用される重みであり、予め定めておく。
Ｃ1軸、Ｃ2軸、Ｃ3軸が固有ベクトル軸である場合、各固有ベクトル軸に沿ってλC1（ｘ，ｙ）、λC2（ｘ，ｙ）、λC3（ｘ，ｙ）の値を個別に設定することで、固有ベクトル軸によって異なる分散の値に応じて好適なλの値を設定できるという利点がある。すなわち、非主成分の方向には分散が小さく、２階差分の２乗和が小さくなることが期待できるため、λの値を大きくする。逆に、主成分の方向にはλの値を相対的に小さくする。
以上、２種類の条件Ｑs1、Ｑs2の例を説明した。条件Ｑsとしては、Ｑs1、Ｑs2いずれ
を用いることもできる。
例えば、（数１２）に示される条件Ｑs1を用いた場合、球面座標系（θ、ψ、ｒ）を導入することにより色情報を表すθ軸およびψ軸の座標値、ならびに信号強度を表すｒ軸の座標値のそれぞれの座標値を個別に用いて条件を設定し、かつ条件の設定に際して色情報と信号強度とにそれぞれ好適な重みパラメータλを付与できるので、高画質の画像の生成が容易になるという利点がある。
（数１３）に示される条件Ｑs2を用いた場合、ＲＧＢ色空間の座標値から線型（回転）変換によって得られる新たな直交座標系の座標値で条件を設定するため、演算が簡素化できる利点がある。
また、固有ベクトル軸を新たな直交座標系の座標軸Ｃ1、Ｃ2、Ｃ3とすることで、より多くの画素が影響を受ける色の変化を反映した固有ベクトル軸の座標値を用いて条件を設定できるので、単純に赤、緑、青の各色コンポーネントの画素値を用いて条件を設定する場合と比べて、得られる目的動画像の画質の向上が期待できる。
次に、ステップ３０７では、第３の条件設定部１０３ａ、第２の条件設定部１０３ｂ、第１の条件設定部１０３ｃが設定した拘束条件を満たすような目的動画像を生成する。このために、前記拘束条件から成る評価関数Ｊを設定する。Ｊの一例を（数１４）に示す。
Figure 2011083555
Ｊは、生成したい高解像度カラー画像ｇを構成するＲ、Ｇ、およびＢの各色の画像（画像ベクトルとしてＲH、ＧH、ＢHと表記）の関数として定義される。ＨR、ＨG、ＨBは、それぞれ目的動画像ｇの各色画像ＲH、ＧH、ＢHから、各色の取得された画像ＲL、ＧL、ＢL（ベクトル表記）への低解像度化変換を表す。ＨR、ＨBは（数１）のような低解像度化の変換で、ＨGは（数２）のような低フレームレート化の変換である。なお、評価関数Ｊは、上記に限定するものではなく、（数１４）の項を類似式からなる項と置換したり、異なる条件を表す新たな項を追加してもよい。
次に、色画像生成部１０３ｄで、（数１４）のＪの値をできるだけ小さく（望ましくは最小に）する目的動画像の各画素値を求めることによって、目的動画像の各色画像ＲH、ＧH、ＢHを生成する。評価関数Ｊを最小にする目的動画像ｇは、例えば、Ｊを目的動画像の各色画像ＲH、ＧH、ＢHの各画素値成分で微分した式を全て０とおいた（数１５）の方程式を解いて求めてもよく、また最急勾配法などの反復演算型の最適化手法を用いて求めてもよい。
Figure 2011083555
最後に、ステップ３０８で生成した目的動画像を出力する。
上記のような構成に基づく入出力画像の例を次に示す。図１２および図１３は、飽和が生じていないときに同一被写体を異なる色で撮影した画像の例を表す。図１２（ａ）、（ｂ）は、低速高解像度の長時間露出Ｇ画像の連続するフレーム画像を表している。円形の被写体９１が右下方向に移動しており、長時間露出のために動きブレが生じている。図１３の（ａ）〜（ｆ）と（ｇ）〜（ｌ）は、それぞれ高速低解像度のＲＢの連続するフレーム画像を表している。図１３は、図１２の画像に比べフレーム数は多いものの、解像度は低い。
ステップ３０４において、光量判定部１０４は飽和が生じないことを判定し、ステップ３０５で、第１の条件設定部１０３ｃは判定結果に基づいて第１の条件を全てのフレーム・画素について設定する。ステップ３０７で画像生成を行うと、ＲＧＢ画像間で画像の時空間情報が相互補完され、図１４（ａ）〜（ｒ）のように高速高解像度のＲＧＢ画像が得られる。各フレームの時間的タイミングは図１３と同じである。
ここで、図１５を参照しながら、Ｇ画像において飽和が生じている例を説明する。図１５は、図１２と同じ被写体の配置でＧ画像に飽和が生じた画像例を示す。図には飽和画素領域１２１が示されている。
図１６は、図１５と図１３の画像を組み合わせ、飽和画素の判定を行わずに画像を生成した例を示す。図１６ではＧの飽和領域に相当するフレームと画素位置でＲＧＢ画像の画素値が誤差を生じている(白丸１３１〜１３３)。Ｇ画像の飽和領域では、第１の条件に従うと正しい画素値（飽和値よりも大きい値）よりも暗い画素値になる。一方で、Ｇ画像が飽和領域で暗くなると、周辺領域との色が不連続となり、画素値の連続性の拘束(第２の条件)を満たしにくくなる。これは、異なる色画像（ＲＢ画像とＧ画像）は、一般的に空間的に似た変化をするが、Ｇ画像のみ飽和することで、ＲＢ画像と同じようにＧの画素値が空間的に変化できなくなることによる。このような矛盾を含んだ条件で画像生成すると、飽和領域のＲＧＢ値は、誤差を生じ、偽色などが発生する(図１６の白丸１３１〜１３３)。ここでは、Ｇの飽和の例で説明したが、Ｒ・Ｂなど他の色で飽和が生じた場合でも同様に偽色が生じる。また、ＲＧＢ以外の色フィルタを用いた場合にでも飽和により同様の偽色が生じる。
次に、本実施形態に示すような飽和領域の判定を行い（ステップ３０４）、飽和領域において第１の条件による拘束を抑制する（ステップ３０５）と、図１５のような取得された画像の場合にでも、図１４のように飽和の影響(ＲＧＢ値の誤差による偽色の発生など)を抑えた画像を生成することが可能になる。 これは、飽和領域において、画素値の連続性の拘束と矛盾が生じる第１の条件による拘束が抑えられ、第１の条件による拘束以外の相互に矛盾しない拘束条件によって画像生成することで、偽色の発生を抑制できることによる。
ここで、図１７および図１８を参照しながら、本実施形態に基づく処理の結果を説明する。
図１７は、ＲとＧ画像についての画素群の例を示す。以下では、斜線で示す画素群の行方向の画素値を例に挙げて説明する。行方向の画素位置を１〜９で示される。
図１８（ａ）および（ｂ）は、ＲとＧ画像についての画素位置と画素値との関係を示す。図１８（ａ）は、画素値に黒つぶれおよび飽和が生じている例を示し、図１８（ｂ）は、上述の本実施形態による処理の効果を模式的に示したグラフである。以下ＲとＧの画像を用いて説明するが、他の色の組合せでも同じ手順で同様の効果を得られる。
図１８（ａ）では、画素位置４〜６のＧ画素が矢印の画素値で飽和している。このような取得された画像に対して、上述の画像処理を行うと図１８（ｂ）のような画像を得ることができる。図１８（ｂ）では画素位置４〜６のＧの飽和領域は取得された画像の値と大きく乖離し、第１の条件による拘束からは外れるが、画素値の連続性の拘束（第２の条件や動き拘束）に従い、Ｒの画素値の変化（点線）と合わせてＧの画素値（実線）が変化するように画像を生成することで、偽色を抑えたカラー画像が得られる。
更に、画素位置１〜３や７〜９では、図１８（ａ）ではＲの画素値が０となり黒つぶれしている。ステップ３０４において光量判定部１０４は黒つぶれを判定し、黒つぶれと判定した領域においてＲ画像の第１の条件による拘束を抑えて画像生成する。この結果、図１８（ｂ）の画素位置１〜３や７〜９では、画素値の連続性の拘束に従い、Ｇの画素値の変化（実線）と合わせてＲの画素値（点線）が変化するように画像を生成する。これにより、黒つぶれしていた領域でも黒つぶれを回避したカラー画像が得られる。黒つぶれの場合は、暗いために画素飽和の場合のように、偽色の発生が目立つことは少ないが、本発明の効果により、黒つぶれしていない色が再現できるという効果がある。
なお、撮像素子の特性により、飽和または黒つぶれが発生する画素値は色ごとに異なり得る。たとえば図１８（ａ）では画素位置４〜６の緑（Ｇ）の画素値は飽和していると説明したが、それより大きい赤（Ｒ）の画素位置４〜６の画素値は、まだ飽和していないこともある。
上記の例では、飽和や黒つぶれの発生に応じて第１の条件による拘束のみを変更したが、第２の条件設定部１０３ｂが設定する他の拘束も同時に変更しても良い。この場合、第１の条件による拘束を抑制したフレーム・画素位置に対する第２の条件や動き拘束条件を強める。
なお、第２の条件を強める、とは、飽和や黒つぶれが発生した画素の２階微分値を小さくすることを意味している。また、動き拘束条件を強める、とは、飽和や黒つぶれが発生した画素について、評価式における動き拘束条件（数５）の値を過大に評価することを意味する。具体的には、飽和や黒つぶれが発生した画素のｃｏｎｆ（ｘ，ｙ，ｔ）の値をすでに設定されている値よりも大きくする。例えば、予め決めておいた定数倍の値とする。
これにより、第１の条件による拘束が抑制された画像領域において画像生成に用いる拘束条件を補い、他の拘束条件に基づいて偽色の発生を抑えた画像生成を促進できる効果がある。拘束の強め方は、第１の条件による拘束の抑制度合いに応じて適切な強め方を予め求めておき使用する。
また、ステップ３０４で光量判定部１０４が飽和や黒つぶれが生じたと判定した画素位置について、動き検出の信頼度を低下させても良い。
これは、飽和や黒つぶれによってブロックマッチング等の動き検出に誤差が生じやすくなるためである。飽和や黒つぶれで生じる動き検出の誤差を動き検出の信頼度に反映させることで、誤った動き拘束による画質低下を回避することができる。動き検出の信頼度の下げ方は、予め定めておく。例えば、信頼度を０にする。
また、動き検出に用いる色画像から、ステップ３０４で飽和や黒つぶれが生じたと判定した色画像を除いてもよい。これによっても、飽和や黒つぶれによる動き検出の誤差を低減することができる。
次に、自然画像に対する処理結果を示す。図１９は人形の頭部を写した画像（ＲＧＢカラー画像を輝度画像に変換して示す）で、頭部のリボンの破線矩形領域（矢印の位置、右側は拡大図）で、撮影時にＧが飽和している。飽和判定を行わずに画像生成した結果が、図１９（ａ）の画像である。破線の矩形領域では周囲のリボン（白色）と異なる色が生じ、暗い画像（拡大図の斜線領域）となっている。図１９（ｂ）は、本実施形態による処理を行った結果である。
飽和の判定に基づき第１の条件による拘束を抑制して画像生成した結果、偽色が抑制され、図１９（ａ）に比べ画像が明るくなり、周辺のリボンと同様な明るさの画像（拡大図の点領域）となっている。
以上のように、本実施形態にかかる処理によれば、時空間解像度と色の異なる動画像を組み合わせて高時空間解像度の動画像を生成する場合に、飽和や黒つぶれを含む取得された画像からでも画質の劣化を抑えた画像生成が可能になる。この結果として、取得された画像において表現できる階調の範囲（ダイナミックレンジ）を、飽和領域では明るい方向に、黒つぶれの領域では暗い方向に超えた画像を生成することが可能となる。このように本実施形態は、ダイナミックレンジの異なる色画像を組み合わせることで、生成カラー画像のダイナミックレンジを拡大する効果がある。
（実施形態２）
本発明の実施形態２を説明する。図２０は、実施形態２による画像生成装置３０の内部構成を示す機能ブロック図を示す。機能ブロックの構成および動作は実施形態１とほぼ同様であるが、新たに光量制御部１０５を設ける。光量制御部１０５は、撮像装置１０が動画像を撮像する際の露光量を制御する。露光量の制御は光量判定部１０４の判定に基づいて行う。具体的には、色画像ごとの露光時間を変えることで実現できる。
図２１のフローチャートを参照して、露光量制御の動作を説明する。図２１は、光量制御処理の手順を示すフローチャートである。最初にステップ１７０１では、光量判定部１０４がフレーム・画素ごとに飽和・黒つぶれの判定を行う。次に、ステップ１７０２では、光量判定部１０４の判定の結果、各フレームの同一画素位置において全ての色が飽和している場合、光量制御部１０５は、いずれかの色（例えばＧ）の露光量を低減させる。次にステップ１７０３では、光量判定部１０４の判定の結果、各フレームの同一画素位置において全ての色が黒つぶれしている場合、光量制御部１０５は、いずれかの色（例えばＧ）の露光量を増加させる。
上述のように、画像の輝度成分への寄与度が高いＧの露光量を制御することにより、一般的に情報量の多い輝度成分の飽和を抑えて情報を得ることができる。
なお、露光量の制御は画素単位でもよいし、ＲＧＢの色画像の単位で行っても良い。このように、全ての色が飽和している場合に、いずれかの色の露光量を低減させることで、少なくとも１色以上は飽和を抑制した画像が得られるため、先に説明した実施形態１の構成による効果が得やすくなる。すなわち、全ての色が飽和して第１の条件による拘束が抑制された領域において、飽和していない色画像を作り出すことで、非飽和色の画像情報に基づいて他の拘束条件（時空間的な連続性の拘束など）が設定でき、全ての色が飽和した場合よりも画質の向上が期待できる。このとき、全ての色が非飽和になるように露光量を全ての色で低減させることも可能であるが、黒つぶれが発生しやすくなる。本実施形態のようにいずれかの色の露光量を低減させると、実施形態１の効果により、目的動画像における黒つぶれを抑制し、ダイナミックレンジを拡大した画像を生成できる。
同様に、全ての色が黒つぶれしている場合に、いずれかの色の露光量を増加させることで、少なくとも１色以上は黒つぶれしていない画像が得られる。そのため、実施形態１の構成による効果が得やすくなる。すなわち、全ての色の黒つぶれによって第１の条件による拘束が抑制された領域において、黒つぶれしていない色画像を作り出すことで、黒つぶれしていない色の画像情報に基づいて他の拘束条件（時空間的な連続性の拘束など）が設定でき、全ての色が黒つぶれした場合よりも画質の向上が期待できる。このとき、全ての色が黒つぶれしないように露光量を全ての色で増加させることも可能であるが、飽和が生じやすくなる。本実施形態のようにいずれかの色の露光量を増加させると、実施形態１の効果により、目的動画像において飽和を抑制し、ダイナミックレンジを拡大した画像を生成できる。
（実施形態３）
図２２は、本実施形態における画像生成装置３０の内部構成を示す機能ブロック図を示す。また図２３は、本実施形態による画像生成装置３０の処理手順を示すフローチャートである。画像生成装置３０の構成および動作は実施形態１とほぼ同様であるが、相違点は、本実施形態による画像生成装置３０は動き検出部を有していない点である。そのため、図２３に示すフローチャートには、画像の動きに関する処理（図３のステップ３０２および３０３）が含まれていない。
第１の条件設定部１０３ｃが設定した条件と第２の条件設定部１０３ｂが設定した条件とを用いて色画像生成部１０３ｄが新たな動画像を生成する。動き拘束を用いない場合でも、光量判定部が飽和もしくは黒つぶれを判定し、前記判定結果に基づいて第１の条件設定を行うことで、飽和領域に対応する目的動画像を高画質化できる。
なお、これまでは表示装置４０を有する画像生成システム１００を説明した。しかしながら、図２４に示すビデオカメラ３００のように、図１に示された画像生成システム１００から表示装置４０を除いてもよい。なお、図２４に示されたビデオカメラ３００に表示装置４０を付加して構成される動画像録画再生機能付きのカメラは、図１等に示す構成の範疇である。
また、図２５に示すディスプレイ機器４００（たとえばテレビ）のように、図１に示された画像生成システム１００から撮像装置１０を除いてもよい。そのようなディスプレイ機器４００では、複数色コンポーネントの動画像を受け取り、フレームレートを向上させた目的動画像を生成して表示することが可能になる。なお、撮像装置１０が含まれていない場合でも、そのようなディスプレイ機器は画像生成システム１００の範疇である。
ディスプレイ機器４００は「複数色コンポーネントの動画像」を種々の方法で受け取ることができる。たとえば、半導体メモリカード（たとえばＳＤカード）２５０に予め録画してある動画像データから複数色コンポーネントの動画像を抽出してもよいし、アンテナ２５１を利用して放送波から抽出してもよい。または、インターネット等のネットワーク２５２を介して当該動画像取得してもよい。ディスプレイ機器４００において、半導体メモリカード２５０、アンテナ２５１およびネットワーク２５２の２つまたは全てが利用可能であってもよい。
図２５に示すディスプレイ機器４００において、たとえば実施形態１にかかる新たな動画像を生成する処理を行うためには、画像生成装置３０は各色成分の動画像の露光タイミング（図７）などの撮影条件に関する情報を必要とする。そこで画像取得部１０１は図４Ｃに示すフォーマットの映像信号２１０を受信して識別ヘッダー２１０ａから撮影条件の情報を取得し、動画像データ２１０ｂを取得すればよい。
画像生成装置３０が図４Ｃに示す映像信号２１０を受信できる限り、映像信号２１０の送信方法は任意である。たとえば図４Ｃに示す映像信号２１０をパケット化して放送波で送信し、ネットワーク通信を行ってもよい。
以上、本発明に係る画像処理装置の実施形態を説明した。上述の実施形態は一例であり、本発明はこれらに限られることはない。実施形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。
本発明の画像処理装置が行う画像生成処理の一部または全部を、専用のハードウェア機器で実行してもよいし、コンピュータ端末装置、無線基地局等に配置される通信機器、およびスタンドアロンの汎用コンピュータなどに内蔵されるＣＰＵが所定のコンピュータプログラムを実行することによって、本発明の画像生成処理を行うようにしてもよい。そのようなコンピュータプログラムには図示されたフローチャートの処理手順が規定されている。コンピュータプログラムを実行したＣＰＵは、その処理手順にしたがって自らが動作することにより、または、図示される他の構成要素に指示して動作させることにより、画像処理装置をその処理手順に従って動作させる。
本発明は、複数の動画像から新たな動画像を生成する画像生成技術である。特に、高速低解像度動画像と低速高解像度動画像（もしくは静止画像）とから高速高解像度動画像を生成する画像生成装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。
１０ 撮像装置
２０ 画像記憶装置
３０ 画像生成装置
４０ 表示装置
１００ 画像生成システム
１０１ 画像取得部
１０１ａ 高速画像取得部
１０１ｂ 低速画像取得部
１０２ 動き検出部
１０２ａ 動き分布算出部
１０２ｂ 信頼度分布算出部
１０３ 画像処理部
１０３ａ 第３の条件設定部
１０３ｂ 第２の条件設定部
１０３ｃ 第１の条件設定部
１０３ｄ 色画像生成部
１０４ 光量判定部
１０５ 光量制御部
１０６ 出力部
３００ カメラ
４００ ディスプレイ機器

Claims (22)

  1. 被写体の第１色成分の動画像である第１動画像、および、前記被写体の第２色成分の動画像である第２動画像から、前記被写体を表す新たな動画像を生成する画像生成装置であって、
    互いに、解像度と、フレームレートもしくは露出時間とが異なっている前記第１動画像および前記第２動画像を取得する画像取得部と、
    前記第１動画像および前記第２動画像の各フレーム画像中の各画素における画素値に基づいて各画素が飽和もしくは黒つぶれしているか否かを判定する光量判定部と、
    前記第１動画像および前記第２動画像から、前記第１動画像および前記第２動画像のフレームレート以上のフレームレートで、かつ、各フレーム画像の解像度が前記第１動画像および前記第２動画像の解像度以上である新たな画像を生成する画像処理部であって、前記光量判定部が飽和または黒つぶれしていると判定していない画素に対しては、取得された前記第１動画像および前記第２動画像の画素値と前記画素と時空間的に対応する前記新たな動画像のフレーム画像の画素値の合計との誤差が所定値よりも小さいことを表す第１条件を満たす新たな動画像を生成し、前記光量判定部が飽和または黒つぶれしていると判定した画素に対しては、前記第１条件を満たさない新たな動画像を生成する画像処理部と
    を備えた画像生成装置。
  2. 前記第１色成分は赤または青の少なくとも一方であり、前記第２色成分は緑である、請求項１に記載の画像生成装置。
  3. 前記光量判定部は、各画素における光量が、予め定められた飽和値以上の場合に飽和していると判定する、請求項１に記載の画像生成装置。
  4. 前記光量判定部は、各画素における光量が、予め定められた黒つぶれ値以下の場合に黒つぶれしていると判定する、請求項１に記載の画像生成装置。
  5. 前記飽和値は、前記第１色成分および前記第２色成分の各々に設定されている、請求項３に記載の画像生成装置。
  6. 前記黒つぶれ値が、前記第１色成分および前記第２色成分の各々に設定されている、請求項４に記載の画像生成装置。
  7. 前記光量判定部が、画素が飽和していると判定したときは、前記画像処理部は前記画素の画素値を低減させ、前記光量判定部が、画素が黒つぶれしていると判定したときは前記画像処理部は前記画素の画素値を増加させる、請求項１に記載の画像生成装置。
  8. 生成する新たな動画像内の時空間的に隣り合う画素の色が連続すべきことを表す時空間的連続性に関する第２条件を設定する第２条件設定部をさらに備え、
    前記画像処理部は、前記第２条件を満たす新たな動画像を生成する、請求項１に記載の画像生成装置。
  9. 前記第２条件設定部は、前記時空間的連続性に関する第２条件を、画素の信号強度および色彩について個別に前記第２条件を設定する、請求項８に記載の画像生成装置。
  10. 前記第２条件設定部は、設定される前記第２条件に対して、前記新たな動画像の各画素の画素位置において適用される重みを決定し、取得された前記第１動画像および前記第２動画像の空間的微分値が大きい位置の重みを下げて前記第２条件を設定する、請求項９に記載の画像生成装置。
  11. 前記第２条件設定部は、前記画素の色彩の時空間的連続性を、前記画素の信号強度の時空間的連続性よりも重みを大きくして前記第２条件を設定する、請求項９に記載の画像生成装置。
  12. 前記第２条件設定部は、前記時空間的連続性に関する第２条件を、取得された前記画像の色空間における画素値の分散の大きさに応じて選択される方向、および、前記方向に直交する方向のそれぞれに設定する、請求項８に記載の画像生成装置。
  13. 前記第２条件設定部は、前記光量判定部が飽和もしくは黒つぶれしていると判定した画素の画素位置における前記第２条件を、飽和もしくは黒つぶれしていると判定されなかった画素の画素位置における前記第２条件よりも強く設定する、請求項８に記載の画像生成装置。
  14. 前記第１動画像と前記第２動画像とを撮像する撮像装置の露光量を調整する光量制御部をさらに備え、
    前記第１動画像および前記第２動画像の各々について、前記光量判定部が、各フレーム画像の同一位置の全ての色が飽和していると判定したときは、前記光量制御部は、一部の色成分の動画像を取得するための露光量を低減させる、請求項１に記載の画像生成装置。
  15. 光量判定部が各フレーム画像の同一位置の全ての色が飽和していると判定した場合、光量制御部は、少なくとも１つの色成分の動画像の撮像時において前記撮像装置の露光量を低減させる、請求項１４に記載の画像生成装置。
  16. 取得された前記画像の動きを検出する動き検出部と、
    前記動きの検出結果に基づき、生成する新たな動画像内の動きベクトルに沿った画素値が一致すべきことを表す第３の条件を設定する第３の条件設定部と
    をさらに備え、前記画像処理部は、前記第３の条件を満たす新たな動画像を生成する、請求項１に記載の画像生成装置。
  17. 前記第３の条件設定部は、前記光量判定部が飽和もしくは黒つぶれと判定した画素位置に対する前記第３の条件を、飽和もしくは黒つぶれしていると判定されなかった画素位置における前記第３の条件よりも強く設定する、請求項１６に記載の画像生成装置。
  18. 撮像装置と、
    前記撮像装置で撮影した画像を記録する記憶装置と、
    前記記憶装置の画像を用いて前記新たな動画像を生成する、請求項１に記載の画像生成装置と
    を備えた、画像生成システム。
  19. 請求項１に記載の画像生成装置と、
    前記画像生成装置が生成した前記新たな動画像を表示する表示装置と
    を備えた、画像生成システム。
  20. 前記画像生成装置は、前記第１画像および前記第２画像の各信号を、メモリカード、アンテナおよびネットワークの少なくとも１つを経由して取得する、請求項１９に記載の画像生成システム。
  21. 被写体の第１色成分の動画像である第１動画像、および、前記被写体の第２色成分の動画像である第２動画像から、前記被写体を表す新たな動画像を生成する画像生成方法であって、
    互いに、解像度と、フレームレートもしくは露出時間とが異なっている前記第１動画像および前記第２動画像を取得するステップと、
    前記第１動画像および前記第２動画像の各フレーム画像中の各画素における画素値に基づいて各画素が飽和もしくは黒つぶれしているか否かを判定するステップと、
    前記第１動画像および前記第２動画像から、前記第１動画像および前記第２動画像のフレームレート以上のフレームレートで、かつ、各フレーム画像の解像度が前記第１動画像および前記第２動画像の解像度以上である新たな画像を生成するステップであって、判定する前記ステップにおいて飽和または黒つぶれしていると判定されていない画素に対しては、取得された前記第１動画像および前記第２動画像の画素値と前記画素と時空間的に対応する前記新たな動画像のフレーム画像の画素値の合計との誤差が所定値よりも小さいことを表す第１条件を満たす新たな動画像を生成し、判定する前記ステップにおいて飽和または黒つぶれしていると判定された画素に対しては、前記第１条件を満たさない新たな動画像を生成する新たな画像を生成するステップと
    を包含する動画像生成方法。
  22. 被写体の第１色成分の動画像である第１動画像、および、前記被写体の第２色成分の動画像である第２動画像から、前記被写体を表す新たな動画像を生成する画像生成装置のコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに対し、
    互いに、解像度と、フレームレートもしくは露出時間とが異なっている前記第１動画像および前記第２動画像を取得するステップと、
    前記第１動画像および前記第２動画像の各フレーム画像中の各画素における画素値に基づいて各画素が飽和もしくは黒つぶれしているか否かを判定するステップと、
    前記第１動画像および前記第２動画像から、前記第１動画像および前記第２動画像のフレームレート以上のフレームレートで、かつ、各フレーム画像の解像度が前記第１動画像および前記第２動画像の解像度以上である新たな画像を生成するステップであって、判定する前記ステップにおいて飽和または黒つぶれしていると判定されていない画素に対しては、取得された前記第１動画像および前記第２動画像の画素値と前記画素と時空間的に対応する前記新たな動画像のフレーム画像の画素値の合計との誤差が所定値よりも小さいことを表す第１条件を満たす新たな動画像を生成し、判定する前記ステップにおいて飽和または黒つぶれしていると判定された画素に対しては、前記第１条件を満たさない新たな動画像を生成する新たな画像を生成するステップと
    を実行させるコンピュータプログラム。
JP2011525338A 2010-01-07 2010-12-27 画像処理装置、画像生成システム、方法、およびプログラム Expired - Fee Related JP4806476B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011525338A JP4806476B2 (ja) 2010-01-07 2010-12-27 画像処理装置、画像生成システム、方法、およびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010001906 2010-01-07
JP2010001906 2010-01-07
PCT/JP2010/007578 WO2011083555A1 (ja) 2010-01-07 2010-12-27 画像処理装置、画像生成システム、方法、およびプログラム
JP2011525338A JP4806476B2 (ja) 2010-01-07 2010-12-27 画像処理装置、画像生成システム、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP4806476B2 JP4806476B2 (ja) 2011-11-02
JPWO2011083555A1 true JPWO2011083555A1 (ja) 2013-05-13

Family

ID=44305301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011525338A Expired - Fee Related JP4806476B2 (ja) 2010-01-07 2010-12-27 画像処理装置、画像生成システム、方法、およびプログラム

Country Status (5)

Country Link
US (1) US8471927B2 (ja)
EP (1) EP2523459B1 (ja)
JP (1) JP4806476B2 (ja)
CN (1) CN102450019B (ja)
WO (1) WO2011083555A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761506B1 (en) 2011-04-22 2014-06-24 DigitalGlobe, Incorporated Pan sharpening digital imagery
US8737733B1 (en) * 2011-04-22 2014-05-27 Digitalglobe, Inc. Hyperspherical pan sharpening
JP2013192154A (ja) * 2012-03-15 2013-09-26 Omron Corp 監視装置、信頼度算出プログラム、および信頼度算出方法
JP5863554B2 (ja) * 2012-05-01 2016-02-16 国立大学法人旭川医科大学 画像処理装置、画像処理方法、およびプログラム
TWI602155B (zh) * 2013-02-08 2017-10-11 威聯通科技股份有限公司 利用影像內容不連續性增強物件偵測之方法
JP6173198B2 (ja) * 2013-12-09 2017-08-02 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置
JP6173199B2 (ja) * 2013-12-09 2017-08-02 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置
US9659350B2 (en) * 2014-01-31 2017-05-23 Morpho, Inc. Image processing device and image processing method for image correction, and non-transitory computer readable recording medium thereof
TWI536319B (zh) * 2014-06-24 2016-06-01 瑞昱半導體股份有限公司 去雜訊方法以及影像系統
US10572976B2 (en) * 2017-10-18 2020-02-25 International Business Machines Corporation Enhancing observation resolution using continuous learning
KR102187211B1 (ko) 2018-04-23 2020-12-04 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
CN114270809B (zh) * 2019-07-26 2024-05-03 富士胶片株式会社 控制装置、投影装置、控制方法及存储介质
KR20220131054A (ko) * 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법
CN114189605B (zh) * 2021-11-02 2023-10-27 联想(北京)有限公司 一种处理方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3363477B2 (ja) 1992-06-12 2003-01-08 富士写真フイルム株式会社 撮像装置
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
JP3788393B2 (ja) * 2002-06-10 2006-06-21 ソニー株式会社 デジタルスチルカメラ装置、ビデオカメラ装置及び情報端末装置
JP3934151B2 (ja) 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
JP4916187B2 (ja) 2006-02-24 2012-04-11 オリンパス株式会社 レンズ系
JP4732264B2 (ja) 2006-07-28 2011-07-27 キヤノン株式会社 撮像装置
WO2008032392A1 (fr) * 2006-09-14 2008-03-20 Fujitsu Limited Procédé et dispositif de traitement d'image et programme connexe
CN101485193B (zh) * 2006-10-19 2012-04-18 松下电器产业株式会社 图像生成装置以及图像生成方法
US7907183B2 (en) 2006-10-30 2011-03-15 Panasonic Corporation Image generation apparatus and image generation method for generating a new video sequence from a plurality of video sequences
US8149283B2 (en) 2007-01-23 2012-04-03 Nikon Corporation Image processing device, electronic camera, image processing method, and image processing program
JP4325703B2 (ja) * 2007-05-24 2009-09-02 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置
EP2175657A4 (en) * 2007-07-17 2011-04-20 Panasonic Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, COMPUTER PROGRAM, THE COMPUTER PROGRAM STORING RECORDING MEDIA, METHOD FOR CALCULATING MOVEMENT FROM FULL IMAGE TO IMAGE IMAGE AND IMAGE PROCESSING METHOD
WO2009019808A1 (ja) 2007-08-03 2009-02-12 Panasonic Corporation 画像データを生成する装置、方法およびプログラム
US8441538B2 (en) * 2007-12-04 2013-05-14 Panasonic Corporation Image generation apparatus and image generation method
JP4427097B2 (ja) * 2008-06-18 2010-03-03 パナソニック株式会社 画像処理装置、撮像装置、方法、およびプログラム

Also Published As

Publication number Publication date
US8471927B2 (en) 2013-06-25
JP4806476B2 (ja) 2011-11-02
CN102450019A (zh) 2012-05-09
EP2523459B1 (en) 2017-02-08
WO2011083555A1 (ja) 2011-07-14
EP2523459A1 (en) 2012-11-14
US20120057049A1 (en) 2012-03-08
CN102450019B (zh) 2014-12-10
EP2523459A4 (en) 2014-12-24

Similar Documents

Publication Publication Date Title
JP4806476B2 (ja) 画像処理装置、画像生成システム、方法、およびプログラム
JP5017419B2 (ja) 画像生成装置、画像生成方法、およびプログラム
JP5096645B1 (ja) 画像生成装置、画像生成システム、方法、およびプログラム
US9544505B2 (en) Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
JP3934151B2 (ja) 画像生成装置および画像生成方法
JP4215267B2 (ja) 画像生成装置および画像生成方法
JP5002738B2 (ja) 画像生成装置
KR101109532B1 (ko) 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체
US9589339B2 (en) Image processing apparatus and control method therefor
US20090027519A1 (en) Noise reduction device, noise reduction method and video camera
KR100956228B1 (ko) 왜곡 영상 보정 기능을 갖는 영상처리 장치
US8218021B2 (en) Image capture apparatus, method of controlling the same, and program
JP2011223221A (ja) 撮影装置および画像統合プログラム
US8699827B2 (en) Imaging apparatus, signal processing method, and program
JP2007274504A (ja) デジタルカメラ
JP6513309B2 (ja) 画像合成装置、画像合成方法、及び画像合成プログラム
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP2016201733A (ja) 撮像装置、撮像方法、並びにプログラム
JP5055571B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
CN115037915B (zh) 视频处理方法和处理装置
JP2015204489A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110726

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110812

R150 Certificate of patent or registration of utility model

Ref document number: 4806476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees