JP2009147730A - 動画生成装置、動画撮影装置、動画生成方法及びプログラム - Google Patents
動画生成装置、動画撮影装置、動画生成方法及びプログラム Download PDFInfo
- Publication number
- JP2009147730A JP2009147730A JP2007323755A JP2007323755A JP2009147730A JP 2009147730 A JP2009147730 A JP 2009147730A JP 2007323755 A JP2007323755 A JP 2007323755A JP 2007323755 A JP2007323755 A JP 2007323755A JP 2009147730 A JP2009147730 A JP 2009147730A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- resolution
- frame
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 239000003086 colorant Substances 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 27
- 230000000875 corresponding effect Effects 0.000 description 132
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 7
- 238000001444 catalytic combustion detection Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000001454 recorded image Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004645 scanning capacitance microscopy Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像素子の能力を超える高解像度かつ高フレームレートの動画を生成する。
【解決手段】高解像度の画像データ及び低解像度の画像データを任意のタイミングで取得する。高解像度画像の解像度と低解像度画像の解像度とが同じ解像度となるように高解像度画像の解像度変換を行い、特徴点を抽出する。高解像度画像の直後に取得された低解像度画像において、特徴点に対応する対応点を検出する。高解像度画像は、高解像度画像に合うように座標変換された特徴点を連結して複数の三角形領域に分割される。当該三角形領域と、高解像度画像に合うように座標変換された対応点を連結して得られた三角形領域とが同じになるように高解像度画像を変形することで、低解像度画像と内容が同じ高解像度画像が得られる。当該処理を全ての低解像度画像に対して行うことで、高解像度かつ高フレームレートの動画が得られる。
【選択図】 図8
【解決手段】高解像度の画像データ及び低解像度の画像データを任意のタイミングで取得する。高解像度画像の解像度と低解像度画像の解像度とが同じ解像度となるように高解像度画像の解像度変換を行い、特徴点を抽出する。高解像度画像の直後に取得された低解像度画像において、特徴点に対応する対応点を検出する。高解像度画像は、高解像度画像に合うように座標変換された特徴点を連結して複数の三角形領域に分割される。当該三角形領域と、高解像度画像に合うように座標変換された対応点を連結して得られた三角形領域とが同じになるように高解像度画像を変形することで、低解像度画像と内容が同じ高解像度画像が得られる。当該処理を全ての低解像度画像に対して行うことで、高解像度かつ高フレームレートの動画が得られる。
【選択図】 図8
Description
本発明は動画生成装置、動画撮影装置、動画生成方法及びプログラムに係り、特に高フレームレートの動画を生成可能な動画生成装置、動画撮影装置、動画生成方法及びプログラムに関する。
良好な動画を得るために、高解像度の2枚の画像の間の画像を補間により生成して動画のフレームレートを上げる方法がある。しかしながら、フレーム読み出しの間の時間の被写体移動は推定するしかなく、推定が誤りであった場合には、画像が破綻する可能性がある。
フレームレートを向上させるには、一般的に撮像素子が出力できる画素数とフレームレートは反比例の関係があるため、出力画素数を減らす必要があった。これを改善するため、以下のような技術が開示されている。
特許文献1には、撮像素子をインターレース駆動し、隣接フレームとの補間を行うことにより、時間空間解像度の高い画像を生成する発明が開示されている。
特許文献2には、観察対象の情景全体については低解像度の全体画像として取得し、その中の部分的な着目箇所についてのみ高解像度部分映像として詳細映像を取得する発明が開示されている。
特許文献3には、2個のCCDの駆動タイミングをずらして撮影することにより、2倍のフレームレートの動画を得る発明が記載されている。
特許文献4には、3個のCCDを水平空間画素ずらしで配置することで水平方向の解像度を高解像度にし、かつインターレース読み出しを行うことで、高フレームレートを得る発明が記載されている。
特開2007―28208号公報
特開2004―180240号公報
特開2005―191813号公報
特開2005―217970号公報
特許文献1に記載の発明では、撮像素子のインターレース駆動の画像を合成しているが、露光タイミングの異なる2枚の画像を破綻なく合成するのは実際には難しいという問題がある。
特許文献2に記載の発明では、撮像素子の低解像度と高解像度の駆動を交互に行うことで高解像度の画像と高解像度の画像を取得しているが、高解像度画像は切り抜きであり、素子全体の画素数を得ることはできない。
特許文献3、4に記載の発明には、複数の同一性能の撮像素子を用いて、フレームレートの向上、および高画質化を達成するとある。しかしながら、特許文献3に記載の発明では、同一の撮像素子が2つ必要であり、単純にコストが2倍になるという問題がある。また、特許文献4に記載の発明では、補間とインターレース読み出しを併用することにより、高フレームレートかつ高解像度の画素を達成するが、1フレームを構成する画素の露光時間が異なるため、不自然な画像となるという問題がある。
さらに、特許文献3、4に記載の発明には、複数の同一性能の撮像素子を用いて、フレームレートの向上、および高画質化を達成するとあるが、デジタルカメラ(ビデオカメラ)として考えた場合には、高フレームレートであることが要求されないモードも存在する。しかしながら、特許文献3、4に記載の発明においては、当該モードでの利点を見出すことはできない。
本発明はこのような事情に鑑みてなされたもので、撮像素子の能力を超える高解像度かつ高フレームレートの動画を得ることができる動画生成装置、動画撮影装置、動画生成方法及びプログラムを提供することを目的とする。
前記目的を達成するために、請求項1に記載の動画生成装置は、所定のフレームレートで取得された高解像度の第1の画像データと、前記第1の画像データと異なる時刻に取得された低解像度の第2の画像データとが任意の順番で並んだ一連の画像データを取得する取得手段と、前記第1の画像データの特徴点を抽出する特徴点抽出手段と、前記第2の画像データの対応点であって、該第2の画像データの直前に得られた前記第1の画像データの特徴点に対応する対応点を検出する対応点検出手段と、前記特徴点抽出手段において抽出された特徴点と、前記対応点検出手段において検出された対応点との関係に基づいて前記第1の画像データを変形させて、前記第2の画像データと同じ内容の高解像度の画像データを生成する生成手段と、を備えたことを特徴とする。
請求項1に記載の動画生成装置によれば、所定のフレームレートで取得された高解像度の第1の画像データの特徴点と、第1の画像データと異なる時刻に取得された低解像度の第2の画像データの対応点とに基づいて第1の画像データを変形して、第2の画像データと同じ内容の高解像度の画像データを生成する。第2の画像データ全てに対して高解像度の画像データを生成することにより、所定のフレームレートより高フレームレートかつ高解像度の動画が得られる。なお、第2の画像データの対応点とは、第1の画像データにおいて抽出された特徴点に対応する点である。これにより、高解像度の複数の画像間の補間を行う場合において、低解像度の画像により被写体の移動を検出し、それに基づいて補間を行うため、被写体の動きを正しく反映した高解像度の画像生成をすることができる。また、低解像度の画像データは被写体の検出のみに用いて、動画に直接使用しないため、低解像度の画像データの解像度を落とすことができる。
請求項2に記載の動画生成装置は、請求項1に記載の動画生成装置において、第1の画像データの解像度を第2の画像データの解像度と同じ解像度に変換する解像度変換手段を備え、前記特徴点抽出手段は、前記解像度変換手段により解像度が変換された第1の画像データの特徴点を抽出することを特徴とすることを特徴とする。
請求項2に記載の動画生成装置によれば、第1の画像データの解像度を第2の画像データの解像度と同じ解像度に変換し、解像度が変換された第1の画像データの特徴点を抽出する。これにより、対応点を正確に検出することができる。
請求項3に記載の動画生成装置は、請求項2に記載の動画生成装置において、前記特徴点抽出手段により抽出された特徴点及び前記対応点検出手段により検出された対応点の座標を、前記第1の画像データの解像度に合わせて変換する座標変換手段を備え、前記生成手段は、前記座標変換手段により座標変換された前記第1の画像データの特徴点を、前記座標変換手段により座標変換された対応点に一致させるように、前記第1の画像データを変形することを特徴とする。
請求項3に記載の動画生成装置によれば、第1の画像データを第2の画像データの内容に合わせて変形する場合において、解像度が変換された第1の画像データで抽出された特徴点を第1の画像データに合わせて座標変換し、この特徴点を第1の画像データに合わせて座標変換された対応点に一致するように、第1の画像データを変形する。これにより、低解像度の第2の画像データと内容が同じ高解像度の画像データを、第1の画像データから生成することができる。
請求項4に記載の動画生成装置は、請求項1から3のいずれかに記載の動画生成装置において、前記特徴点抽出手段により抽出された特徴点を連結して、前記第1の画像データを複数の領域に分割する領域分割手段を備え、前記生成手段は、前記特徴点抽出手段により抽出された特徴点を前記対応点検出手段により検出された対応点に合わせて変形すると共に、前記領域分割手段により分割された領域を変形することを特徴とする。
請求項4に記載の動画生成装置によれば、特徴点抽出手段により抽出された特徴点を連結して、前記第1の画像データを複数の領域に分割し、特徴点を対応点に合わせて変形するのに合わせて当該領域を変形する。これにより、低解像度の第2の画像データと内容が同じ高解像度の画像データを、第1の画像データから生成することができる。
請求項5に記載の動画撮影装置は、請求項1から4のいずれかに記載の動画生成装置と、高解像度かつ低フレームレートの駆動と、低解像度かつ高フレームレートの駆動とを任意に実行可能な撮像素子と、前記撮像素子の高解像度かつ低フレームレートの駆動と低解像度かつ高フレームレートの駆動を制御することにより、前記取得手段に前記第1の画像データと前記第2の画像データとが任意の順番で並んだ一連の画像データを取得させる撮像制御手段と、前記生成手段により生成された動画を再生する再生手段と、を備えたことを特徴とする。
請求項5に記載の動画撮影装置によれば、高解像度(前画素の読み出し)かつ低フレームレートの駆動と、低解像度(一部の画素数読み出し)かつ高フレームレートの駆動とを任意に実行可能な撮像素子を制御して、第1の画像データと第2の画像データとが任意の順番で並んだ一連の画像データを取得する。このように、全画素読み出し駆動と、一部の画素数読み出し駆動を併用することにより、撮像素子の能力を超えるフレームレートで、全画素読み出しの解像度を持つ動画を得ることができる。また、一部の画素数読み出し駆動の解像度を落とすことで、消費電力を減らすことができる。
請求項6に記載の動画撮影装置は、請求項5に記載の動画撮影装置において、前記生成手段は、前記高フレームレートの連続した高解像度の画像データを取得するために、前記高フレームレートの第1の画像データと、前記生成された高解像度の画像データとを補間して高解像度の画像データを生成することを特徴とする。これにより、画像データが一定のフレームレートで取得されていない場合においても、高解像度かつ一定のフレームレートの動画を生成することができる。
請求項7に記載の動画撮影装置は、請求項1から4のいずれかに記載の動画生成装置と、前記第1の画像データを取得する第1の撮像素子と、前記第2の画像データを取得する第2の撮像素子と、被写体光が前記第1の撮像素子又は前記第2の撮像素子に入射されるように光路を切り替える切替手段と、前記第1の撮像素子、前記第2の撮像素子及び前記切替手段を制御することにより、前記取得手段に前記第1の画像データと前記第2の画像データとが任意の順番で並んだ一連の画像データを取得させる撮像制御手段と、を備えたことを特徴とする。
請求項7に記載の動画撮影装置によれば、第1の画像データを取得する第1の撮像素子と、第2の画像データを取得する第2の撮像素子と、被写体光が第1の撮像素子又は第2の撮像素子に入射されるように光路を切り替える切替手段と、を制御して、第1の画像データと第2の画像データとが任意の順番で並んだ一連の画像データを取得する。このように、複数の撮像素子を組み合わせることにより、撮像素子の能力を超えるフレームレートで、撮像素子の最大能力の画素数を有する動画を得ることが可能である。また、各撮像素子のフレームレートは低フレームレートで済むこと、及び低解像度の画像データを取得する撮像素子の解像度を落とすことができることにより、コストダウンを図ることができる。また、低解像度の画像データを取得する撮像素子の解像度を落とすことができるため、消費電力を減らすことができる。
請求項8に記載の動画生成装置は、同じフレームレートかつ異なるタイミングで3原色の各色毎の画像データを順番に取得する取得手段と、前記取得手段により取得された画像データのうちの注目フレームの画像データの特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出する対応点抽出手段と、前記特徴点抽出手段により抽出された特徴点と前記対応点抽出手段により抽出された対応点との間の距離と、前記取得手段により画像データが取得されたタイミングとに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データの対応点を推定する推定手段と、前記特徴点抽出手段により抽出された特徴点と、前記推定手段により推定された対応点とに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データを変形して、前記注目フレームの画像データと同じ時刻の色が異なる画像データを生成する第1の生成手段と、前記注目フレームの画像データと、前記第1の生成手段により生成された前記注目フレームの画像データと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの3原色を含む画像データを生成する第2の生成手段と、を備えたことを特徴とする。
請求項8に記載の動画生成装置によれば、同じフレームレートかつ異なるタイミングで順番に取得された3原色の各色毎の画像データを取得し、そのうちの注目フレームの画像データの特徴点を抽出する。抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出し、抽出された特徴点及び対応点の間の距離と、画像データが取得されたタイミングとに基づいて、注目フレームの画像データに隣接する画像データの注目フレームの画像データの特徴点に対応する対応点を推定する。抽出された特徴点と推定された対応点とに基づいて注目フレームの画像データに隣接する画像データを変形して、注目フレームの画像データと同じ時刻の色が異なる画像データを生成する。生成された注目フレームの画像データと同じ時刻の色が異なる画像データと、注目フレームの画像データとを合成して、注目フレームの画像データの3原色を含む画像データを生成する。このように、当該処理を取得された全ての画像データに対して行うことで、単一色の画像データの取得のフレームレートの3倍という高フレームレートのカラー動画を得ることができる。また、特徴点が抽出された画像データと同一色の画像データの対応点を抽出することで、正確に対応点を抽出することができる。また、時間的な補間を用いることで、他の色の画像データの対応点を容易に推定することができる。
請求項9に記載の動画生成装置は、請求項7に記載の動画生成装置において、前記取得手段により7フレームの画像データが取得されると、最後に取得されたフレームの画像データから3フレーム前に取得された画像データを前記注目フレームの画像データと設定する設定手段を備えたことを特徴とする。これにより、3原色の各色毎の画像データを全て用いた画像生成をすることができる。
請求項10に記載の動画生成装置は、請求項8又は9に記載の動画生成装置において、前記推定手段により抽出された対応点を連結して前記注目フレームの画像データに隣接する画像データを複数の領域に分割する領域分割手段を備え、前記第1の生成手段は、前記推定手段により推定された対応点を前記特徴点抽出手段により抽出された特徴点に一致させるのに合わせて、前記領域分割手段により分割された領域を変形することを特徴とする。これにより、注目フレームの画像データと色のみが異なる画像データを、注目フレームの画像データから生成することができる。
請求項11に記載の動画生成装置は、同じフレームレートかつ異なるタイミングで3原色の各色毎の画像データを順番に取得する取得手段と、前記取得手段により取得された画像データのうちの注目フレームと色が異なるかつ最も近いタイミングで取得された画像データの特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された特徴点に対応する対応点であって、前記特徴点が抽出された画像データと同一色かつ前記注目フレームを挟んで最も近いタイミングで取得された画像データの対応点を抽出する対応点抽出手段と、前記特徴点抽出手段により抽出された特徴点と前記対応点抽出手段により抽出された対応点との間の距離と、前記取得手段により画像データが取得されたタイミングとに基づいて、前記注目フレームと同じ時刻の色が異なる画像データの対応点を推定する推定手段と、前記特徴点抽出手段により抽出された特徴点と、前記推定手段により推定された対応点とに基づいて、前記特徴点抽出手段により特徴点が抽出された画像データを変形して、又は前記対応点抽出手段により抽出された対応点と、前記推定手段により推定された対応点とに基づいて、前記対応点抽出手段により対応点が抽出された画像データを変形して、前記注目フレームの画像データと同じ時刻の色が異なる画像データを生成する第1の生成手段と、前記注目フレームの画像データと、前記第1の生成手段により生成された前記注目フレームの画像データと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの3原色を含む画像データを生成する第2の生成手段と、を備えたことを特徴とする。
請求項11に記載の動画生成装置によれば、同じフレームレートかつ異なるタイミングで順番に取得された3原色の各色毎の画像データを取得し、そのうちの所望の画像を注目フレームとする。当該注目フレームと色が異なるかつ最も近いタイミングで取得された画像データの特徴点を抽出し、抽出された特徴点に対応する対応点であって、特徴点が抽出された画像データと同一色かつ注目フレームを挟んで最も近いタイミングで取得された画像データの対応点を抽出し、抽出された特徴点及び対応点の間の距離と、画像データが取得されたタイミングとに基づいて、注目フレームの画像データの対応点を推定する。抽出された特徴点と推定された対応点とに基づいて、特徴点が抽出された画像データを変形して注目フレームの画像データと同じ時刻の色が異なる画像データを生成する。又は、抽出された対応点と推定された対応点とに基づいて、対応点が抽出された画像データを変形して注目フレームの画像データと同じ時刻の色が異なる画像データを生成する。生成された注目フレームの画像データと同じ時刻の色が異なる画像データと、注目フレームの画像データとを合成して、注目フレームの画像データの3原色を含む画像データを生成する。これにより、単一色の画像データの取得のフレームレートの3倍という高フレームレートのカラー動画を得ることができる。
請求項12に記載の動画撮影装置は、請求項8から11のいずれかに記載の画像生成装置と、3原色の各色毎の画像データを取得する複数の撮像素子と、被写体光を分光して前記複数の撮像素子に入射させる分光手段と、前記複数の撮像素子をそれぞれ時間をずらして順番に露光することにより、前記取得手段に同じフレームレートかつ異なるタイミングで順番に取得された3原色の各色毎の画像データを取得させる撮像制御手段と、前記生成手段により生成された動画を再生する再生手段と、を備えたことを特徴とする。
請求項12に記載の動画撮影装置によれば、被写体光が入射し、3原色の各色毎の画像データを取得する複数の撮像素子をそれぞれ時間をずらして順番に露光することにより、同じフレームレートかつ異なるタイミングで順番に取得された3原色の各色毎の画像データを取得する。このように、単色フィルタを有する撮像素子を複数組み合わせることにより、通常モードでは、偽色が原理的に発生しない優れた色再現のカメラとして使用が可能で、高フレームレートでは、高解像度カラー動画を得ることができる。また、各撮像素子のフレームレートは低フレームレートで済み、コストダウンを図ることができる。
請求項13に記載の動画生成方法は、(a)所定のフレームレートで取得された高解像度の第1の画像データと、前記第1の画像データと異なる時刻に取得された低解像度の第2の画像データとが任意の順番で並んだ一連の画像データを取得する工程と、(b)前記第1の画像データの特徴点を抽出する工程と、(c)前記第2の画像データの対応点であって、該第2の画像データの直前に得られた前記第1の画像データの特徴点に対応する対応点を検出する工程と、(d)前記抽出された特徴点及び前記検出された対応点に基づいて前記第1の画像データを変形させて、前記第2の画像データと同じ内容の高解像度の画像データを生成する工程と、(e)前記(b)から(d)の工程を前記(a)の工程で取得された第2の画像データ全てに対して行う工程と、を含むことを特徴とする。
請求項14に記載の動画生成方法は、(a)同じフレームレートかつ異なるタイミングで順番に取得された3原色の各色毎の画像データを取得する工程と、(b)前記取得された画像データのうちの注目フレームの画像データの特徴点を抽出する工程と、(c)前記抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出する工程と、(d)前記(b)の工程において抽出された注目フレームの画像データの特徴点と前記(c)の工程において抽出された前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点との間の距離と、前記(a)の工程において画像データが取得されたタイミングとに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データの対応点を推定する工程と、(e)前記取得された特徴点と、前記推定された対応点とに基づいて前記注目フレームの画像データに隣接する画像データを変形して、前記注目フレームと同じ時刻の色が異なる画像データを生成する工程と、(f)前記注目フレームの画像データと、前記生成された前記注目フレームと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの3原色を含む画像データを生成する工程と、(g)前記(b)から(f)の工程を前記(a)の工程で取得された画像データ全てに対して行う工程と、を含むことを特徴とする。
請求項14に記載の動画生成方法は、(a)同じフレームレートかつ異なるタイミングで順番に取得された3原色の各色毎の画像データを取得する工程と、(b)前記取得された画像データのうちの注目フレームの画像データの特徴点を抽出する工程と、(c)前記抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出する工程と、(d)前記(b)の工程において抽出された注目フレームの画像データの特徴点と前記(c)の工程において抽出された前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点との間の距離と、前記(a)の工程において画像データが取得されたタイミングとに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データの対応点を推定する工程と、(e)前記取得された特徴点と、前記推定された対応点とに基づいて前記注目フレームの画像データに隣接する画像データを変形して、前記注目フレームと同じ時刻の色が異なる画像データを生成する工程と、(f)前記注目フレームの画像データと、前記生成された前記注目フレームと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの3原色を含む画像データを生成する工程と、(g)前記(b)から(f)の工程を前記(a)の工程で取得された画像データ全てに対して行う工程と、を含むことを特徴とする。
請求項15に記載のプログラムは、請求項13又は14に記載の動画生成方法を演算装置に実行させることを特徴とする。
本発明によれば、撮像素子の能力を超える高解像度かつ高フレームレートの動画を得ることができる。
以下、添付図面に従って本発明に係る動画撮影装置(デジタルカメラ)を実施するための最良の形態について詳細に説明する。
<第1の実施の形態>
図1は本発明に係る電子機器の一実施形態を示す正面斜視図であり、図2はその背面斜視図である。この電子機器は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。
図1は本発明に係る電子機器の一実施形態を示す正面斜視図であり、図2はその背面斜視図である。この電子機器は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。
デジタルカメラ1のカメラボディ12は、横長の四角い箱状に形成されており、その正面には、図1に示すように、撮影レンズ13、フラッシュ16、AF補助光ランプ18等が設けられており、上面には、シャッターボタン22、モードレバー24、電源ボタン26等が設けられている。また、側面には、USB用コネクタ15と開閉自在なスロットカバー11が設けられている。スロットカバー11の内側には、メモリカードを装着するためのメモリカードスロット14が設けられている。
一方、カメラボディ12の背面には、図2に示すように、モニタ28、ズームボタン30、再生ボタン32、ファンクションボタン34、十字ボタン36、MENU/OKボタン38、DISP/BACKボタン40等が設けられている。
なお、図示しない底面には、三脚ネジ穴と内側にバッテリを収納するための開閉自在なバッテリカバーとが設けられている。
レンズ13は、沈胴式のズームレンズで構成されており、電源ボタン26によってデジタルカメラ1の電源をONすることにより、カメラボディ12から繰り出される。なお、レンズ13のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。
メモリカードスロット14は、撮影した被写体の画像データ、音声データ等の各種データ、ファームウェアが記録されているメモリカードを装着するための接続部である。
USB用コネクタ15は、パーソナルコンピュータ、プリンタ等の外部機器との間での信号伝達をするためUSB用ケーブルを接続するための接続部である。
フラッシュ16は、たとえばキセノン管を光源として構成されており、その発光量を調整可能に形成されている。なお、キセノン管の他、高輝度のLEDを光源としたフラッシュを用いることもできる。
AF補助光ランプ18は、たとえば高輝度LEDで構成されており、AF時に必要に応じて発光される。
シャッターボタン22は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ1は、このシャッターボタン22を半押しすると撮影準備処理、すなわち、AE(Automatic Exposure:自動露出)、AF(Auto Focus:自動焦点合わせ)、AWB(Automatic White Balance:自動ホワイトバランス)の各処理を行い、全押しすると、画像の撮影・記録処理を行う。
モードレバー24は、デジタルカメラ1の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、デジタルカメラ1の撮影モードが様々なモードに設定される。例えば、絞り、シャッタースピード等がデジタルカメラ1によって自動的に設定される「オート撮影モード」、動画撮影を行う「動画撮影モード」、人物撮影に適した「人物撮影モード」、動体撮影に適した「スポーツ撮影モード」、風景の撮影に適した「風景撮影モード」、夕景及び夜景の撮影に適した「夜景撮影モード」、絞りの目盛りを撮影者が設定し、シャッタースピードをデジタルカメラ1が自動的に設定する「絞り優先撮影モード」、シャッタースピードを撮影者が設定し、絞りの目盛りをデジタルカメラ1が自動的に設定する「シャッタースピード優先撮影モード」、絞り、シャッタースピード等を撮影者が設定する「マニュアル撮影モード」等である。
電源ボタン26は、デジタルカメラ1の電源をON/OFFするのに用いられ、所定時間(たとえば、2秒)押下されることにより、デジタルカメラ1の電源がON/OFFされる。
モニタ28は、カラー表示が可能な液晶ディスプレイで構成されている。このモニタ28は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。
ズームボタン30は、撮影レンズ13のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。
再生ボタン32は、再生モードへの切り替え指示に用いられる。すなわち、デジタルカメラ1は、撮影中、この再生ボタン32が押されると、再生モードに切り替えられる。また、電源OFFの状態でこの再生ボタン32が押されると、再生モードの状態でデジタルカメラ1が起動する。
ファンクションボタン34は、撮影及び再生機能の各種設定画面の呼び出しに用いられる。すなわち、撮影時にこのファンクションボタン34が押されると、モニタ28に画像サイズ(記録画素数)、感度等の設定画面が表示され、再生時にこのファンクションボタン34が押されると、モニタ28に画像の消去、プリント予約(DPOF)の設定画面等が表示される。
十字ボタン36は、上下左右4方向の指示を入力する方向指示手段として機能し、たとえば、メニュー画面でメニュー項目の選択などに使用される。
MENU/OKボタン38は、各モードの通常画面からメニュー画面への遷移を指示するボタン(MENUボタン)として機能するととともに、選択内容の確定、処理の実行等を指示するボタン(OKボタン)として機能する。
DISP/BACKボタン40は、モニタ28の表示内容の切り替え指示(DISP機能)に用いられるとともに、入力操作のキャンセル等の指示(BACK機能)に用いられ、デジタルカメラ1の設定状態に応じて割り当てられる機能が切り替えられる。
図3は、本実施の形態のデジタルカメラ1の電気的構成を示すブロック図である。
同図に示すように、デジタルカメラ1は、主として、入力制御部110、特徴点抽出部112、対応点検出部114、画像変形部116、三角形分割部118、メモリ120、出力制御部122、撮影光学系124、撮像素子128a、A/D変換部130などで構成される。
撮影光学系124は、撮影レンズ13、絞り、シャッタを含み、各構成要素は、モータ等のアクチュエータで構成される駆動部に駆動されて動作する。たとえば、撮影レンズ13を構成するフォーカスレンズ群は、フォーカスモータに駆動されて前後方向に移動し、ズームレンズ群は、ズームモータに駆動されて前後方向に移動する。また、絞りは、絞りモータに駆動されて拡縮し、シャッタは、シャッタモータに駆動されて開閉する。撮影光学系124は、図示しないCPUからの指令に応じて、駆動部(図示せず)を介して制御される。
撮像素子128aは、たとえば、所定のカラーフィルタ配列のカラーCCDで構成されており、撮影光学系124によって結像された被写体の画像を電子的に撮像する。撮像素子128aは、図示しないCPUからの指令に応じてタイミングジェネレータ(TG)から出力されるタイミング信号に基づいて駆動される。
本実施の形態における撮像素子128aは、読み出す画像の解像度を可変にすることができる撮像素子である。撮像素子128aは、一部の画素のみの電荷を読み出す画素間引き駆動又は画素を表す信号電荷を混合することにより画素数を減少させる画素混合駆動による低解像度での読み出しと、全画素を読み出す高解像度での読み出しとが可能である。低解像度で読み出す場合には、読み出しに要する時間が短くてすむため、次の画像の読み出しタイミングを早くする、すなわちフレームレートを高くすることができる。なお、高解像度の画像は、1920画素×1080画素程度の画素数を有する画像であり、低解像度の画像は640画素×480画素程度の画素数を有する画像である。
また、撮像素子128aは、低フレームレートで全画素を読み出す駆動と、高フレームレートで一部の画素のみを読み出す駆動とを、任意の順番で行うことが可能である。図4は、低フレームレートで全画素を読み出す駆動により、高解像度の画像データを取得する場合の模式図を示し、図5は、低フレームレートで全画素を読み出す駆動による高解像度の画像データの取得及び高フレームレートで一部の画素のみを読み出す駆動による低解像度の画像データの取得を組み合わせた場合の模式図を示す。
図4に示すように、撮像素子128aの全画素を読み出す場合には、画素の読み出しに要する時間の関係上、フレームレート30fpsでの読み出しが限界である。それに対し、読み出す画素を間引くことで一部の画素のみを読み出す場合には、全画素を読み出す場合に比べて画素の読み出しに要する時間が短くて済むため、高フレームレートでの読み出しが可能である。図5に示す場合には、低解像度の画像データは、高解像度の画像データの約半分の時間で読み出すことができる。したがって、高解像度の画像データと低解像度の画像データとを合わせて45fpsという高フレームレートで画像データを取得することができる。
A/D変換部130は、後述する撮像素子128aから出力された画像信号に対して相関二重サンプリング処理(撮像素子の出力信号に含まれるノイズ(特に熱雑音)等を軽減することを目的として、撮像素子の1画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理)及び増幅を行うことにより生成されたR、G、Bのアナログの画像信号をデジタルの画像信号に変換する。
入力制御部110は、所定容量のラインバッファを内蔵しており、図示しないCPUからの指令に従い、A/D変換部130から出力された1画像分の画像信号に以下に示す処理を行い、メモリ120に記録する。
入力制御部110は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、図示しないCPUからの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ(Yデータ)と色差データ(Cr,Cbデータ)とからなる画像データ(YUVデータ)を生成する。
また、入力制御部110は、図示しないCPUからの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、図示しないCPUからの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。
特徴点抽出部112は、画像処理の基本となる画像である高解像度の画像データの特徴点を抽出する(図6c参照)。画像変形部116において画像変形を行うためには、画像間で点と点との対応を決定する必要がある。このため、対応の取りやすい点を選び、複数枚の画像データのこれらの点の間の対応を決定するが、この対応の取りやすい点が特徴点である。なお、画像データから特徴点を抽出する方法としては、既に公知と成っている様々な方法を用いることができる。本実施の形態では、低解像度の画像データとの間で対応をとるため、高解像度の画像データを低解像度に解像度変換し他者に対して特徴点を抽出する。その後、特徴点のデータは、対応点検出部114へ入力される。
対応点検出部114は、低解像度の画像データの対応点であって、特徴点抽出部112から入力された特徴点に対応する対応点を検出する。対応点検出部114には、特徴点抽出部112により抽出された特徴点と、低解像度の画像データとが入力される。まず、対応点検出部114は、入力された画像の特徴点がどのような特徴を持った点であるかを検出する。そして、対応点検出部114は、図6dに示すように、入力された各特徴点に対応する対応点、すなわち特徴点Aに対応する対応点A’、特徴点Bに対応する対応点B’、特徴点Cに対応する対応点C’、特徴点Dに対応する対応点D’、特徴点Eに対応する対応点E’、を抽出する。
画像変形部116は、高解像度の画像データを対応点検出部114で対応点が検出された低解像度の画像データにあわせて変形する。
三角形分割部118は、高解像度の画像データの特徴点を結ぶことにより複数の三角形の領域に分割する。
出力制御部122は、入力制御部110により入力された画像データや、画像変形部116により変形された画像データを、図示しないメディアコントローラ、表示制御部、AE/AWB検出回路、AF検出回路などに出力する。
出力された画像データは、CPUによって制御されるこれらの各構成要素において様々な処理が行われる。例えば、メディアコントローラではメモリカードへのデータの読み/書きが行われ、表示制御部ではモニタ28に表示するための映像信号(たとえば、NTSC信号やPAL信号、SCAM信号)に変換されてモニタ28に出力される。
次に、以上のように構成された本実施の形態のデジタルカメラ1の作用について説明する。
まず、デジタルカメラ1の撮影、記録動作及び再生動作について説明する。
電源ボタン26を押下し、デジタルカメラ1の電源を投入すると、デジタルカメラ1は、撮影モードの下で起動する。
まず撮影光学系124の駆動部が駆動され、撮影レンズ13が所定位置まで繰り出される。そして、撮影レンズ13が所定位置まで繰り出されると、撮像素子128aによってスルー画像用の撮影が行われ、モニタ28にスルー画像が表示される。すなわち、撮像素子128aで連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、順次表示用の信号形式に変換されて、モニタ28に出力される。これにより、撮像素子128aで捉えた画像がモニタ28にスルー表示される。
静止画を撮影する場合には、撮影者は、このモニタ28に表示されたスルー画像を見て構図を決定し、シャッターボタン22を半押しする。
シャッターボタン22が半押しされると、図示しないCPUにS1ON信号が入力される。図示しないCPUは、このS1ON信号に応動して、撮影準備処理、すなわち、AE、AF、AWBの各処理を実行する。
まず、撮像素子128aから出力された画像信号が入力制御部110によりDSPに入力されると、画像データが出力制御部122を介してDSPから出力され、AE/AWB検出部及びAF検出部に加えられる。
AE/AWB検出部は、入力された画像信号からAE制御及びAWB制御に必要な物理量を算出する。たとえば、AE制御に必要な物理量として、1画面を複数のエリア(たとえば16×16)に分割し、分割したエリアごとにR、G、Bの画像信号の積算値を算出する。図示しないCPUは、このAE/AWB検出回路152から得た積算値に基づいて被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。そして、算出した撮影EV値と所定のプログラム線図から絞り値とシャッタ速度を決定する。また、AWB制御に必要な物理量として、1画面を複数のエリア(例えば、16×16)に分割し、分割したエリアごとにR、G、Bの画像信号の色別の平均積算値を算出する。図示しないCPUは、得られたRの積算値、Bの積算値、Gの積算値から分割エリアごとにR/G及びB/Gの比を求め、求めたR/G、B/Gの値のR/G、B/Gの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ1(つまり、1画面においてRGBの積算比率がR:G:B≒1:1:1)になるように、ホワイトバランス調整回路のR、G、B信号に対するゲイン値(ホワイトバランス補正値)を決定する。これらの物理量は図示しないCPUに出力される。図示しないCPUは、このAE/AWB検出部からの出力に基づき、絞り値とシャッタースピードを決定するとともに、ホワイトバランス補正値を決定する。
それと同時に、AE/AWB検出部は、検出された被写体輝度より、フラッシュ16の発光が必要かどうかを判断する。フラッシュ16の発光が必要と判断された場合には、フラッシュ16をプリ発光させ、その反射光に基づいて本撮影時のフラッシュ16の発光量を決定する。
また、AF検出部は、入力された画像信号からAF制御に必要な物理量を算出し、CPUに出力する。本実施の形態のデジタルカメラ1では、撮像素子128aから得られる画像のコントラストによりAF制御が行われる(いわゆるコントラストAF)、すなわち、CPUは、駆動部等を制御することでフォーカスレンズ群を至近から無限遠まで所定のステップで移動させ、AF検出部は、各位置で入力された画像信号から画像の鮮鋭度を示す焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置とする。図示しないCPUは、このAF検出部からの出力に基づいて、フォーカスレンズの移動を制御して、撮影レンズ13のピントを主要被写体に合わせる。この際、図示しないCPUは、必要に応じてAF補助光ランプ20を発光させて、AF制御を実行する。
撮影者は、モニタ28に表示されるスルー画像を見て撮影レンズ13のピント状態等を確認し、撮影を実行する。すなわち、シャッターボタン22を全押しする。
シャッターボタン22が全押しされると、図示しないCPUにS2ON信号が入力される。図示しないCPUは、このS2ON信号に応動して、撮影、記録処理を実行する。
まず、上記のAE処理で求めた絞り値、シャッタースピードで撮像素子128aを露光し、記録用の画像を撮像する。撮像素子128aから出力された記録用の画像信号は、入力制御部110に取り込まれ、入力制御部110は、入力された画像信号に所定の信号処理を施して、輝度データと色差データとからなる画像データ(YUVデータ)を生成する。生成された画像データは一旦メモリ120に格納され、入力制御部110は、生成された画像データに所定の圧縮処理を施し、圧縮画像データを生成する。
圧縮された画像データは、メモリ120に格納され、所定フォーマットの静止画像ファイル(たとえば、Exif)として、メディアコントローラを介してメモリカードに記録される。なお、メモリカードに画像ファイルが保存可能な空き領域が無い場合や、操作者が選択した場合等には、RAMに格納された画像データは、所定フォーマットの静止画像ファイル(たとえば、Exif)としてフラッシュROMに保存される。なお、フラッシュROMに画像データを保存する場合には、画像データは複数のクラスタ、通常は連続した複数のクラスタに保存される。
また、動画を撮影する場合には、撮影者は、モードレバー24を操作することによりデジタルカメラ1の動作モードを動画撮影モードに設定する。そして、モニタ28に表示されたスルー画像を見て構図を決定し、シャッターボタン22を押下する。
シャッターボタン22が押下されると、図示しないCPUは、上に述べたような撮影準備処理、すなわち、AE、AF、AWBの各処理を実行する。その後、上に述べたような撮影、記録処理を連続的に実行する。これにより、通常モードでの動画撮影及び記録が行われる。
このようにしてメモリカード又はフラッシュROMに記録された静止画又は動画の画像データは、デジタルカメラ1のモードを再生モードに設定することにより、モニタ28に再生表示される。再生モードへの移行は、再生ボタン32を押下することにより行われる。
再生ボタン32が押下されると、図示しないCPUは最後に記録された画像ファイルの圧縮画像データを読み出す。最後に記録された画像ファイルがメモリカードに記録されている場合には、図示しないCPUは、メディアコントローラを介してメモリカードに最後に記録された画像ファイルの圧縮画像データを読み出す。最後に記録された画像ファイルがフラッシュROMに記録されている場合には、図示しないCPUは直接フラッシュROMから画像ファイルの圧縮画像データが読み取り可能である。
メモリカード又はフラッシュROMから読み出された圧縮画像データは、圧縮伸張処理部に加えられ、非圧縮の画像データとされたのちメモリ120に加えられる。そして、メモリ120から表示制御部148を介してモニタ28に出力される。これにより、メモリカード又はフラッシュROMに記録されている画像が、モニタ28に再生表示される。
画像のコマ送りは、十字ボタン36の左右のキー操作で行なわれ、右キーが操作されると、次の画像ファイルがメモリカード160から読み出され、モニタ28に再生表示される。また、十字ボタン36の左キーが操作されると、一つ前の画像ファイルがメモリカード又はフラッシュROMから読み出され、モニタ28に再生表示される。
モニタ28に再生表示された画像を確認しながら、必要に応じて、メモリカード又はフラッシュROMに記録された画像を消去することができる。画像の消去は、画像がモニタ28に再生表示された状態でファンクションボタン34が押下されることによって行われる。
ファンクションボタン34が押下されると、図示しないCPUは表示制御部148を介して、モニタ28に「この写真を消去してよろしいですか」等の画像消去を伝えるメッセージを画像に重ねて表示する。MENU/OKボタン38が押下されると、その画像の消去が行われる。画像データがメモリカードに記録されている場合には、図示しないCPUはメディアコントローラを介してメモリカードに記録された画像ファイルを消去する。画像データがフラッシュROMに記録されている場合には、図示しないCPUは直接フラッシュROMから画像ファイルが消去可能である。
以上のように、デジタルカメラ1は静止画、動画の撮影、記録及び再生を行う。
本実施の形態では、動画撮影モードとして、通常モード以外に高解像度かつ高フレームレートの画像を得る高解像度モードがある。通常モードとは、撮像素子128aを低フレームレートで全画素を読み出す駆動(図4参照)を行うことにより動画を撮影するモードである。それに対し、高解像度モードとは、撮像素子128aを低フレームレートで全画素を読み出す駆動と、高フレームレートで一部の画素のみを読み出す駆動とを任意の順番で行い(図5参照)、低解像度の画像データに一致する高解像度の画像データを生成(図7参照)することにより、高解像度かつ高フレームレートの動画を撮影する(図8参照)モードである。
以下、高解像度モードにおける画像生成について説明する。図7は、低解像度の画像と内容が等しい高解像度の画像を生成する処理の流れを示すフローチャートである。CPUは、このフローに従って特徴点抽出部112、対応点検出部114、画像変形部116、三角形分割部118などを制御する。
まず、CPUは、全画素を読み出す駆動のタイミングで、高解像度の画像信号を撮像素子128aから取得し、各種処理が行われた後で高解像度の画像データ(高解像度画像)としてメモリ120上に取り込む(ステップS1)。この後、ステップS1で取得した高解像度画像(図6a参照)を特徴点抽出部112に入力し、特徴点抽出部112は、高解像度画像の解像度と、一部の画素のみを読み出す駆動を行った場合に得られる画像データ(低解像度画像)の解像度とが同じ解像度となるよう、高解像度画像の解像度の変換を行う(ステップS2、図6b参照)。
特徴点抽出部112は、ステップS2で解像度が変換された高解像度画像の特徴点を抽出する(ステップS3、図6c参照)。ステップS3で抽出された特徴点の情報は、対応点検出部114に入力される。
対応点検出部114には、高解像度画像とは別のタイミングで撮像された低解像度画像が撮像素子128aから取得され、各種処理が行われたあとメモリ120に取り込まれる(ステップS4)。対応点検出部114は、ステップS4で取り込まれた低解像度画像であって、次の高解像度画像が得られるまでの間に取り込まれた低解像度画像において、ステップS3で取得された特徴点に対応する対応点を検出する(ステップS5、図6d参照)。このように、同じ解像度の画像で対応をとることにより、正確に対応点を検出することができる。その後、対応点検出部114は、ステップS5で検出された対応点を、高解像度画像に合うように座標変換する(ステップS6)。
ステップS3で抽出された特徴点は、対応点検出部114に入力されると共に、特徴点抽出部112において、高解像度画像に合うように座標変換される(ステップS7)。そして、高解像度画像に合うように座標変換された特徴点を連結することにより、高解像度画像を複数の三角形領域に分割する(ステップS8)。
画像変形部116は、ステップS8で分割された高解像度画像の各三角形領域を、ステップS6で高解像度画像に合うように座標変換された対応点による三角形領域にそれぞれ変形することで、高解像度画像を低解像度画像に合うように変形する(ステップS9、図6e参照)。
これにより、低解像度画像の取り込みタイミングでの高解像度画像が得られる。本実施の形態は、上記ステップS4〜S9に示すように、低解像度画像を被写体の動きの情報を取得することのみに用いる点に特徴がある。このように、低解像度画像で被写体の動きを検出してすることにより、被写体の動きを正しく反映した高解像度画像を生成することができる。また、低解像度画像の直前に取得された高解像度画像を用いて生成を行うことで、より正確な画像を生成することができる。
ステップS1〜S9の処理を全ての低解像度画像に対して行うことで、図8に示すように全ての画像が高解像度画像となり、高解像度かつ高フレームレートの動画が得られる。
本実施の形態によれば、低解像度画像を用いて被写体の移動を検出し、それに対して画像生成(補間)を行っているため、被写体の動きを正しく反映した高解像度画像を生成することができる。
また、本実施の形態によれば、全画素読み出し駆動と、一部の画素数読み出し駆動を併用することにより、撮像素子の能力を超えるフレームレートで、全画素読み出しの解像度を持つ動画を得ることができる。
また、本実施の形態によれば、低解像度の画像データは被写体の検出のみに用い、動画に直接使用しないため、低解像度の画像データの解像度を落とすことができる。これにより消費電力を減らすことができる。
なお、本実施の形態では、低解像度の画像データを取得したタイミングの高解像度の画像を生成した。しかしながら、図8に示すように、低解像度の画像データに合わせて生成された高解像度の画像間の時間に比べて、取得された高解像度の画像データと、その次に取得された低解像度の画像データに合わせて生成された高解像度の画像との間の時間が長くなっている。
そこで、図9に示すように、取得された高解像度の画像データと、その次に取得された低解像度の画像データに合わせて生成された高解像度の画像との間に、時間的な補間などにより画像を生成することで、よりフレームレートの高い高解像度の動画を得ることができる。なお、補間は、既に公知の様々な方法を用いて行うことができる。なお、この場合には、補間の基となる画像データの間の時間が短いため、被写体移動の推定が誤りであったことによる画像の破綻という問題は発生しない。
なお、高解像度モードにおける画像生成は、動画撮影と同時に行ってもよいし、動画撮影後に行なってもよい。
<第2の実施の形態>
本発明に係る第1の実施の形態は、撮像素子を低フレームレートで全画素を読み出す駆動と、高フレームレートで一部の画素のみを読み出す駆動とを任意に組み合わせることで、高解像度かつ低フレームレートの画像データと、低解像度かつ高フレームレートの画像データとを取得するが、解像度かつ低フレームレートの画像データと、低解像度かつ高フレームレートの画像データとを取得する方法はこれに限らない。
本発明に係る第1の実施の形態は、撮像素子を低フレームレートで全画素を読み出す駆動と、高フレームレートで一部の画素のみを読み出す駆動とを任意に組み合わせることで、高解像度かつ低フレームレートの画像データと、低解像度かつ高フレームレートの画像データとを取得するが、解像度かつ低フレームレートの画像データと、低解像度かつ高フレームレートの画像データとを取得する方法はこれに限らない。
本発明に係る第2の実施の形態は、複数の撮像素子を用いて解像度かつ低フレームレートの画像データと、低解像度かつ高フレームレートの画像データとを取得するものである。以下、本発明の第2の実施の形態に係るデジタルカメラ2について説明する。なお、第1の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
図10は、本実施の形態のデジタルカメラ2の電気的構成を示すブロック図である。
同図に示すように、デジタルカメラ2は、主として、入力制御部110、特徴点抽出部112、対応点検出部114、画像変形部116、三角形分割部118、メモリ120、出力制御部122、撮影光学系124、ハーフミラー126a、撮像素子128b、128c、A/D変換部130などで構成される。
ハーフミラー126aは、撮影光学系124により入射された被写体光を分光して、撮像素子128b及び撮像素子128cへ導く。
撮像素子128bは、例えば1920×1080画素の高解像度の画像を撮像可能な撮像素子で、図11(a)に示すように、例えば30fpsのフレームレートで画像が取得できる。
撮像素子128cは、例えば640×480画素の低解像度の画像を撮影する撮像素子である。撮像素子128cのフレームレートは、撮像素子128bのフレームレート以上であればよいが、本実施の形態では、図11(b)に示すように撮像素子128bと同じフレームレートで画像を取得する。
図示しないCPUは、撮像素子128bと撮像素子128cとが異なるタイミングで駆動するように、撮像素子128bと撮像素子128cとを制御する。本実施の形態では、図11(a)、(b)に示すように、高解像度の画像データと低解像度の画像データとを順番に取得するが、高解像度の画像データ間に複数枚の低解像度の画像データを取得するようにしてもよい。
このようにして取得した高解像度の画像データ及び低解像度の画像データに対して、図7のステップS1〜S9の処理を行うことにより、低解像度画像の取り込みタイミングでの高解像度画像が得られる。そして、低解像度画像全てに対してステップS1〜S9の処理を行うことで、図12に示すように、全ての画像が高解像度画像となり、高解像度かつ60fpsという高フレームレートの動画が得られる。
本実施の形態によれば、複数の撮像素子を組み合わせることにより、撮像素子の能力を超えるフレームレートで、撮像素子の最大能力の画素数を有する動画を得ることが可能である。また、各撮像素子のフレームレートは低フレームレートで済むため、コストダウンを図ることができる。
また、本実施の形態によれば、低解像度の画像データは被写体の検出のみに用い、動画に直接使用しないため、低解像度の画像データの取得する撮像素子に必要な解像度を落とすことができる。これにより消費電力を減らすことができ、かつコストダウンを図ることができる。
なお、本実施の形態では、高解像度の画像データと低解像度の画像データとを順番にそれぞれ30fpsのフレームレートで取得したため、60fpsのフレームレートの動画となったが、低解像度の画像データのフレームレートを変えることで、更に高フレームレートの動画を容易に得ることができる。
<第3の実施の形態>
本発明に係る第1の実施の形態及び第2の実施の形態は、低解像度の画像データと高解像度の画像データとを取得して、低解像度の画像データと内容が同じ高解像度の画像を生成することで、高解像度かつ高フレームレートの動画を得るものであるが、高解像度かつ高フレームレートの動画を得る方法はこれに限らない。
本発明に係る第1の実施の形態及び第2の実施の形態は、低解像度の画像データと高解像度の画像データとを取得して、低解像度の画像データと内容が同じ高解像度の画像を生成することで、高解像度かつ高フレームレートの動画を得るものであるが、高解像度かつ高フレームレートの動画を得る方法はこれに限らない。
本発明に係る第3の実施の形態は、色毎の画像データを取得し、その画像データを基に3原色を含むカラー画像データを生成することで、高解像度かつ高フレームレートの動画を得るものである。以下、本発明の第3の実施の形態に係るデジタルカメラ3について説明する。なお、第1の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
図13は、本実施の形態のデジタルカメラ2の電気的構成を示すブロック図である。
同図に示すように、デジタルカメラ2は、主として、入力制御部110、特徴点抽出部112、対応点検出部114、画像変形部116、三角形分割部118、メモリ120、出力制御部122、撮影光学系124、プリズム126b、撮像素子128d、128e、128f、A/D変換部130などで構成される。
プリズム126bは、撮影光学系124から導かれた光を分光して、撮像素子128d、128e、128fへ導く。
撮像素子128d、128e、128fは、それぞれ異なる色(R、G、B)のカラーフィルタが搭載されたCCDである。本実施の形態では、撮像素子128dは赤のカラーフィルタが搭載され、撮像素子128eは緑のカラーフィルタが搭載され、撮像素子128fは青のカラーフィルタが搭載されているとする。
図示しないCPUは、撮像素子128d、128e、128fが異なる露光タイミングで駆動するように、撮像素子128d、128e、128fを制御する。その結果、図14に示すように、R、G、B各色の画像データが20fpsのフレームレートでそれぞれ取得される。
次に、R、G、B各色の画像データから、R、G、Bの3原色を含む画像データを生成する方法について、図15〜17を用いて説明する。図15は、R、G、Bの3原色を含む画像データを生成する処理の流れを示すフローチャートであり、図16は、R、G、Bの3原色を含む画像データを生成する処理に用いる複数枚の画像データを模式的に示す図であり、図17は、R、G、Bの3原色を含む画像データを生成する処理における画像の様子を模式的に示す図である。
最後に入力されたフレームを含む直近8フレームを取得してメモリ上に保持し、最後に入力されたフレームから4フレーム前を注目したフレーム(現フレーム)と設定する(ステップS11)。すなわち、図14の矢印で指し示す緑の画像データが入力されたとすると、図15に示すように、最後に取得されたG画像を含む8フレームの画像がメモリに保持され、最後に取得されたG画像の4フレーム前の赤の画像データ(R画像1)を現フレームとして扱う。
ステップS11で設定された現フレームの特徴点を抽出する(ステップS12、図17(1)参照)。そして、現フレームの画像と同一色で、時間的にもっとも近い2枚の画像から、ステップS12で抽出した特徴点に対応する対応点を検出する(ステップS13)。
図17(2)に示すように、図15において、現フレームがR画像1であるため、R画像1の直前に得られた赤の画像データ(R画像2)と、R画像1の直後に得られた赤の画像データ(R画像3)とに対して、R画像1の特徴点に対応する対応点を検出する。なお、R画像1の特徴点A、B、C、D、Eの各特徴点に対応するR画像3の対応点は、それぞれA’’、B’’、C’’、D’’、E’’であり、R画像1の特徴点A、B、C、D、Eの各特徴点に対応するR画像2の対応点は、それぞれA’、B’、C’、D’、E’である。画像データの色が異なる場合には対応点が正確に検出できない恐れがあるが、特徴点が抽出された画像データと同一色の画像データの対応点を抽出することで、正確に対応点を抽出することができる。
ステップS12で設定されたR画像1の特徴点と、ステップS13で検出された現フレームと同一色で、時間的にもっとも近い2枚の画像(R画像2及びR画像3)の対応点とより、現フレームの直前のフレームの画像(B画像1)及び直後のフレームの画像(G画像2)の時刻における対応点を推定する(ステップS14)。推定方法は、線形補間などを用いることが可能である。
R画像1とR画像2との間には、G画像1とB画像1とが等間隔で取得される。従って、R画像2とB画像1との間の時間と、B画像1とR画像1との間の時間とは、2対1の関係にある。そこで、図17(3)に示すように、R画像1の特徴点EとR画像2の対応点E’’の距離を2対1に分けた点を、B画像1における対応点と推定する。同様に、R画像1とG画像2との間の時間と、G画像2とR画像3との間の時間とは、1対2の関係にあるため、R画像1の特徴点EとR画像3の対応点E’の距離を1対2に分けた点を、B画像1における対応点と推定する。このように時間的な補間を用いることで、他の色の画像データの対応点を容易に推定することができる。
ステップS14において補間により生成された対応点を用いて、現フレームの直前及び直後フレームの画像を三角形分割し、特徴点で形成される三角形領域にワービングを行い、変形する(ステップS15)。図17(4)に示すように、B画像1の対応点を連結することで分割された三角形領域を、R画像1の特徴点に一致するように変形させる。同様に、G画像2の対応点を連結することで分割された三角形領域を、R画像1の特徴点に一致するように変形させる。これにより、B画像1及びG画像2の内容と、R画像1の内容とが一致する。
最後に、ステップS15で変形された直前及び直後フレームの画像と、現フレームの画像とを合成して、R、G、Bの3原色を含む画像を生成する(ステップS16、図17(5)参照)。図17(4)に示すように、ステップS15によりB画像1及びG画像2の内容と、R画像1の内容とが一致しているため、これらを合成することにより、R画像1の内容と同じで、かつR、G、Bの3原色を含むカラー画像が生成される。当該カラー画像の解像度は、各画像データの解像度の合計の解像度、すなわち各画像データの3倍の解像度となる。このように、合成によりカラー画像を生成することで、画像の解像度を上げることができる。
以上ステップS11〜S16間での処理を全ての画像の取り込まれるタイミングで行うことにより、撮像素子128d、128e、128fのフレームレートの3倍のフレームレートの動画が得られる。
本実施の形態によれば、複数の単一色のフィルタを持つ撮像素子を同時に駆動した場合には、偽色が原理的に発生しない色再現に優れた画像を得られ、これらの撮像素子をずらして駆動することにより、撮像素子の能力の3倍のフレームレートの動画を得ることが可能である。また、合成によりカラー画像を生成することで、撮像素子の能力の3倍の解像度の動画を得ることが可能である。
また、本実施の形態によれば、各撮像素子に必要とされるフレームレートは低フレームレートで済むため、コストダウンを図ることができる。
なお、本実施の形態では、現フレームの特徴点と、現フレームの直後及び直前に取得された同一色のフレームの対応点とから、直前及び直後フレームの画像データの対応点を求め、現フレームの特徴点と直前及び直後フレームの画像データの対応点とに基づいて直前及び直後フレームの画像データを変形させて、現フレームの画像データと色のみが異なる画像データを生成したが、色のみが異なる画像データを生成する方法はこれに限らず、以下のような方法を用いてもよい。
R画像2の特徴点を抽出し、R画像2の特徴点に対応するR画像1の対応点を検出する。R画像2の特徴点と、R画像2の対応点とに基づいて、G画像1及びB画像1の時刻における対応点を推定する。推定方法は、線形補間などを用いることが可能である。R画像2の特徴点と、推定された対応点とに基づいてR画像2(またはR画像1)を変形させ、G画像1及びB画像1と同じ内容の赤色の画像データを生成する。
同様の処理をG画像1とG画像2で行い、B画像1とR画像1と同じ内容の緑色の画像データを生成する。この結果、B画像1と同じ内容の赤色の画像データ及び緑色の画像データが生成され、これらの画像を合成することにより、B画像1の内容と同じで、かつR、G、Bの3原色を含むカラー画像が生成される。
なお、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置、携帯音楽プレーヤー、PDA等のファームウェアがアップデート可能な電子機器にも同様に適用することができる。
1、2、3:デジタルカメラ、110:入力制御部、112:特徴点抽出部、114:対応点検出部、116:画像変形部、118:三角形分割部、120:メモリ、122:出力制御部、124:撮影光学系、126a:ハーフミラー、126b:プリズム、128a、128b、128c、128d、128e、128f:撮像素子、130:A/D変換部
Claims (15)
- 所定のフレームレートで取得された高解像度の第1の画像データと、前記第1の画像データと異なる時刻に取得された低解像度の第2の画像データとが任意の順番で並んだ一連の画像データを取得する取得手段と、
前記第1の画像データの特徴点を抽出する特徴点抽出手段と、
前記第2の画像データの対応点であって、該第2の画像データの直前に得られた前記第1の画像データの特徴点に対応する対応点を検出する対応点検出手段と、
前記特徴点抽出手段において抽出された特徴点と、前記対応点検出手段において検出された対応点との関係に基づいて前記第1の画像データを変形させて、前記第2の画像データと同じ内容の高解像度の画像データを生成する生成手段と、
を備えたことを特徴とする動画生成装置。 - 第1の画像データの解像度を第2の画像データの解像度と同じ解像度に変換する解像度変換手段を備え、
前記特徴点抽出手段は、前記解像度変換手段により解像度が変換された第1の画像データの特徴点を抽出する
ことを特徴とする請求項1に記載の動画生成装置。 - 前記特徴点抽出手段により抽出された特徴点及び前記対応点検出手段により検出された対応点の座標を、前記第1の画像データの解像度に合わせて変換する座標変換手段を備え、
前記生成手段は、前記座標変換手段により座標変換された前記第1の画像データの特徴点を、前記座標変換手段により座標変換された対応点に一致させるように、前記第1の画像データを変形する
ことを特徴とする請求項2に記載の動画生成装置。 - 前記特徴点抽出手段により抽出された特徴点を連結して、前記第1の画像データを複数の領域に分割する領域分割手段を備え、
前記生成手段は、前記特徴点抽出手段により抽出された特徴点を前記対応点検出手段により検出された対応点に一致させるのに合わせて、前記領域分割手段により分割された領域を変形する
ことを特徴とする請求項1から3のいずれかに記載の動画生成装置。 - 請求項1から4のいずれかに記載の動画生成装置と、
高解像度かつ低フレームレートの駆動と、低解像度かつ高フレームレートの駆動とを任意に実行可能な撮像素子と、
前記撮像素子の高解像度かつ低フレームレートの駆動と低解像度かつ高フレームレートの駆動を制御することにより、前記取得手段に前記第1の画像データと前記第2の画像データとが任意の順番で並んだ一連の画像データを取得させる撮像制御手段と、
を備えたことを特徴とする動画撮影装置。 - 前記生成手段は、前記高フレームレートの連続した高解像度の画像データを取得するために、前記高フレームレートの第1の画像データと、前記生成された高解像度の画像データとを補間して高解像度の画像データを生成することを特徴とする請求項5に記載の動画撮影装置。
- 請求項1から4のいずれかに記載の動画生成装置と、
前記第1の画像データを取得する第1の撮像素子と、
前記第2の画像データを取得する第2の撮像素子と、
被写体光が前記第1の撮像素子及び前記第2の撮像素子に入射されるように前記被写体光を分光する分光手段と、
前記第1の撮像素子と、前記第2の撮像素子とをそれぞれ駆動することにより、前記取得手段に前記第1の画像データと前記第2の画像データとが任意の順番で並んだ一連の画像データを取得させる撮像制御手段と、
を備えたことを特徴とする動画撮影装置。 - 同じフレームレートかつ異なるタイミングで3原色の各色毎の画像データを順番に取得する取得手段と、
前記取得手段により取得された画像データのうちの注目フレームの画像データの特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出する対応点抽出手段と、
前記特徴点抽出手段により抽出された特徴点と前記対応点抽出手段により抽出された対応点との間の距離と、前記取得手段により画像データが取得されたタイミングとに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データの対応点を推定する推定手段と、
前記特徴点抽出手段により抽出された特徴点と、前記推定手段により推定された対応点とに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データを変形して、前記注目フレームの画像データと同じ時刻の色が異なる画像データを生成する第1の生成手段と、
前記注目フレームの画像データと、前記第1の生成手段により生成された前記注目フレームの画像データと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの3原色を含む画像データを生成する第2の生成手段と、
を備えたことを特徴とする動画生成装置。 - 前記取得手段により7フレームの画像データが取得されると、最後に取得されたフレームの画像データから3フレーム前に取得された画像データを前記注目フレームの画像データと設定する設定手段を備えたことを特徴とする請求項8に記載の動画生成装置。
- 前記推定手段により抽出された対応点を連結して前記注目フレームの画像データに隣接する画像データを複数の領域に分割する領域分割手段を備え、
前記第1の生成手段は、前記推定手段により推定された対応点を前記特徴点抽出手段により抽出された特徴点に一致させるのに合わせて、前記領域分割手段により分割された領域を変形する
ことを特徴とする請求項8又は9に記載の動画生成装置。 - 同じフレームレートかつ異なるタイミングで3原色の各色毎の画像データを順番に取得する取得手段と、
前記取得手段により取得された画像データのうちの注目フレームと色が異なるかつ最も近いタイミングで取得された画像データの特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点に対応する対応点であって、前記特徴点が抽出された画像データと同一色かつ前記注目フレームを挟んで最も近いタイミングで取得された画像データの対応点を抽出する対応点抽出手段と、
前記特徴点抽出手段により抽出された特徴点と前記対応点抽出手段により抽出された対応点との間の距離と、前記取得手段により画像データが取得されたタイミングとに基づいて、前記注目フレームと同じ時刻の色が異なる画像データの対応点を推定する推定手段と、
前記特徴点抽出手段により抽出された特徴点と、前記推定手段により推定された対応点とに基づいて、前記特徴点抽出手段により特徴点が抽出された画像データを変形して、又は前記対応点抽出手段により抽出された対応点と、前記推定手段により推定された対応点とに基づいて、前記対応点抽出手段により対応点が抽出された画像データを変形して、前記注目フレームの画像データと同じ時刻の色が異なる画像データを生成する第1の生成手段と、
前記注目フレームの画像データと、前記第1の生成手段により生成された前記注目フレームの画像データと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの3原色を含む画像データを生成する第2の生成手段と、
を備えたことを特徴とする動画生成装置。 - 請求項8から11のいずれかに記載の画像生成装置と、
3原色の各色毎の画像データを取得する複数の撮像素子と、
被写体光を分光して前記複数の撮像素子に入射させる分光手段と、
前記複数の撮像素子をそれぞれ時間をずらして順番に露光することにより、前記取得手段に同じフレームレートかつ異なるタイミングで順番に取得された3原色の各色毎の画像データを取得させる撮像制御手段と、
前記生成手段により生成された動画を再生する再生手段と、
を備えたことを特徴とする動画撮影装置。 - (a)所定のフレームレートで取得された高解像度の第1の画像データと、前記第1の画像データと異なる時刻に取得された低解像度の第2の画像データとが任意の順番で並んだ一連の画像データを取得する工程と、
(b)前記第1の画像データの特徴点を抽出する工程と、
(c)前記第2の画像データの対応点であって、該第2の画像データの直前に得られた前記第1の画像データの特徴点に対応する対応点を検出する工程と、
(d)前記抽出された特徴点及び前記検出された対応点に基づいて前記第1の画像データを変形させて、前記第2の画像データと同じ内容の高解像度の画像データを生成する工程と、
(e)前記(b)から(d)の工程を前記(a)の工程で取得された第2の画像データ全てに対して行う工程と、
を含むことを特徴とする動画生成方法。 - (a)同じフレームレートかつ異なるタイミングで順番に取得された3原色の各色毎の画像データを取得する工程と、
(b)前記取得された画像データのうちの注目フレームの画像データの特徴点を抽出する工程と、
(c)前記抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出する工程と、
(d)前記(b)の工程において抽出された注目フレームの画像データの特徴点と前記(c)の工程において抽出された前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点との間の距離と、前記(a)の工程において画像データが取得されたタイミングとに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データの対応点を推定する工程と、
(e)前記取得された特徴点と、前記推定された対応点とに基づいて、前記注目フレームの画像データに隣接する画像データを変形して前記注目フレームと同じ時刻の色が異なる画像データを生成する工程と、
(f)前記注目フレームの画像データと、前記生成された前記注目フレームと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの3原色を含む画像データを生成する工程と、
(g)前記(b)から(f)の工程を前記(a)の工程で取得された画像データ全てに対して行う工程と、
を含むことを特徴とする動画生成方法。 - 請求項13又は14に記載の動画生成方法を演算装置に実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007323755A JP2009147730A (ja) | 2007-12-14 | 2007-12-14 | 動画生成装置、動画撮影装置、動画生成方法及びプログラム |
US12/332,630 US20090153694A1 (en) | 2007-12-14 | 2008-12-11 | Moving image generating apparatus, moving image shooting apparatus, moving image generating method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007323755A JP2009147730A (ja) | 2007-12-14 | 2007-12-14 | 動画生成装置、動画撮影装置、動画生成方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009147730A true JP2009147730A (ja) | 2009-07-02 |
Family
ID=40752683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007323755A Pending JP2009147730A (ja) | 2007-12-14 | 2007-12-14 | 動画生成装置、動画撮影装置、動画生成方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20090153694A1 (ja) |
JP (1) | JP2009147730A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011024361A1 (ja) * | 2009-08-27 | 2011-03-03 | パナソニック株式会社 | ネットワークカメラ及び映像配信システム |
JP2019161247A (ja) * | 2018-03-07 | 2019-09-19 | キヤノン株式会社 | 投射型表示装置およびその制御方法 |
US11952022B2 (en) | 2018-05-01 | 2024-04-09 | Rail Vision Ltd. | System and method for dynamic selection of high sampling rate for a selected region of interest |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100253802A1 (en) * | 2009-04-02 | 2010-10-07 | Optimetrics, Inc. | Enhanced microscan apparatus and methods |
US20110064129A1 (en) * | 2009-09-16 | 2011-03-17 | Broadcom Corporation | Video capture and generation at variable frame rates |
JP2011062944A (ja) * | 2009-09-18 | 2011-03-31 | Seiko Epson Corp | 画像形成装置および該装置における表示方法 |
US8737755B2 (en) * | 2009-12-22 | 2014-05-27 | Apple Inc. | Method for creating high dynamic range image |
US20110149111A1 (en) * | 2009-12-22 | 2011-06-23 | Prentice Wayne E | Creating an image using still and preview |
US8179445B2 (en) * | 2010-03-03 | 2012-05-15 | Eastman Kodak Company | Providing improved high resolution image |
TW201227139A (en) * | 2010-12-30 | 2012-07-01 | Altek Corp | Image capturing apparatus and electronic apparatus |
US8750647B2 (en) | 2011-02-03 | 2014-06-10 | Massachusetts Institute Of Technology | Kinetic super-resolution imaging |
JP5821300B2 (ja) | 2011-06-07 | 2015-11-24 | ソニー株式会社 | 撮像装置及び撮像方法 |
JP5794068B2 (ja) * | 2011-09-16 | 2015-10-14 | ソニー株式会社 | 固体撮像素子および製造方法、並びに電子機器 |
US9094489B1 (en) * | 2012-05-29 | 2015-07-28 | West Corporation | Controlling a crowd of multiple mobile station devices |
JP5921469B2 (ja) * | 2013-03-11 | 2016-05-24 | 株式会社東芝 | 情報処理装置、クラウドプラットフォーム、情報処理方法およびそのプログラム |
WO2014148031A1 (ja) * | 2013-03-19 | 2014-09-25 | パナソニック株式会社 | 画像生成装置、撮像装置および画像生成方法 |
US9584746B2 (en) * | 2013-06-05 | 2017-02-28 | Sony Corporation | Image processing device and imaging method for obtaining a high resolution image and efficient speed for a feedback control signal |
CN104751159B (zh) * | 2015-01-09 | 2018-03-13 | 北京正奇联讯科技有限公司 | 视频彩场检测方法及装置 |
JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4084991B2 (ja) * | 2002-11-29 | 2008-04-30 | 富士通株式会社 | 映像入力装置 |
US20050219642A1 (en) * | 2004-03-30 | 2005-10-06 | Masahiko Yachida | Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system |
JP4483483B2 (ja) * | 2004-08-31 | 2010-06-16 | 株式会社ニコン | 撮像装置 |
WO2006137253A1 (ja) * | 2005-06-22 | 2006-12-28 | Matsushita Electric Industrial Co., Ltd. | 画像生成装置および画像生成方法 |
JP4282645B2 (ja) * | 2005-08-31 | 2009-06-24 | 株式会社東芝 | 撮像装置 |
JP2008228232A (ja) * | 2007-03-15 | 2008-09-25 | Canon Inc | 撮像装置、撮像方法、プログラム、及び記憶媒体 |
-
2007
- 2007-12-14 JP JP2007323755A patent/JP2009147730A/ja active Pending
-
2008
- 2008-12-11 US US12/332,630 patent/US20090153694A1/en not_active Abandoned
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011024361A1 (ja) * | 2009-08-27 | 2011-03-03 | パナソニック株式会社 | ネットワークカメラ及び映像配信システム |
JP2019161247A (ja) * | 2018-03-07 | 2019-09-19 | キヤノン株式会社 | 投射型表示装置およびその制御方法 |
JP7140514B2 (ja) | 2018-03-07 | 2022-09-21 | キヤノン株式会社 | 投射型表示装置およびその制御方法 |
US11952022B2 (en) | 2018-05-01 | 2024-04-09 | Rail Vision Ltd. | System and method for dynamic selection of high sampling rate for a selected region of interest |
Also Published As
Publication number | Publication date |
---|---|
US20090153694A1 (en) | 2009-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009147730A (ja) | 動画生成装置、動画撮影装置、動画生成方法及びプログラム | |
US8633998B2 (en) | Imaging apparatus and display apparatus | |
JP5893713B1 (ja) | 撮像装置、撮像方法、処理プログラム | |
US8000558B2 (en) | Thumbnail generating apparatus and image shooting apparatus | |
US20110018970A1 (en) | Compound-eye imaging apparatus | |
TWI514847B (zh) | 影像處理裝置、影像處理方法、及記錄媒體 | |
JP3395770B2 (ja) | デジタルスチルカメラ | |
JP2014120844A (ja) | 画像処理装置および撮像装置 | |
TWI459126B (zh) | 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體 | |
JP5782813B2 (ja) | 撮像装置および画像表示方法 | |
JP2008028960A (ja) | 撮影装置及び露出制御方法 | |
JP2002112008A (ja) | 画像処理システム及び画像処理プログラムが記録された記録媒体 | |
JP2015053741A (ja) | 画像再生装置 | |
US8659680B2 (en) | Imaging apparatus, image recording method, and recording medium | |
JP4189820B2 (ja) | 撮像装置及び画像記録方法 | |
JP3444281B2 (ja) | 画像処理システム、撮像装置、画像処理方法及びその方法の処理プログラムが記録された記録媒体 | |
JP2008199271A (ja) | 動画静止画兼用の撮像装置 | |
JP4049291B2 (ja) | デジタルスチルカメラ | |
JP2010283504A (ja) | 撮像装置、撮像方法、および、撮像プログラム | |
JP4902365B2 (ja) | 画像合成装置及びプログラム | |
JP4751715B2 (ja) | 撮像装置 | |
JP2010050599A (ja) | 電子カメラ | |
JP2009139423A (ja) | 撮像装置及び被写体距離算出方法 | |
JP3727841B2 (ja) | デジタルスチルカメラ | |
JP2007096809A (ja) | 撮像装置、動画記憶方法および動画記憶プログラム |