JP5139001B2 - 映像生成装置及び方法 - Google Patents

Description

本発明は、映像生成装置及び方法に関し、より詳しくは、一回の撮影で輝度が異なる複数の映像を生成し、前記生成された複数の映像から高ダイナミックレンジ映像を生成し得る映像生成装置及び方法に関する。

デジタルカメラやカムコーダなどのように映像を撮影し得る映像撮影装置は、逆光状態で被写体を撮影するとき、映像の感度を向上させるために異なる露光量を有する映像を生成し、生成された映像を合成してユーザに提供する。

具体的に、露出時間に差をつけて同じ被写体を撮影する場合、露出時間が短いほど映像のコントラストが高くなって映像のエッジなどが明確になり、露出時間が長いほど映像の色などが明確になる。したがって、露出時間を短くして得た映像と露出時間を長くして得た映像とを合成すれば、高ダイナミックレンジ映像を得ることができる。

従来の映像撮影機器は、図１のように、露出時間を短くして得た第１映像１１と、前記第１映像１１に比べて相対的に露出時間を長くして得た第２映像１２をそれぞれ生成し、前記第１映像１１と第２映像１２とを合成して高ダイナミックレンジ映像１３を生成する。

しかし、このように多重露出で輝度が異なる映像を取得するためには、ユーザは所定時間の間に同じ姿勢を維持しなければならないが、このような点はユーザの便宜を阻害する。だけでなく、ユーザが姿勢を維持する間に手が震えれば、映像にぼかし（ｂｌｕｒｒｉｎｇ）などが発生する問題点がある。また、ユーザが所定時間の間に同じ姿勢を維持しても、撮影中に被写体の位置が変更されれば、取得した映像が異なってしまい、正常なイメージを生成しにくいという問題がある。

このように、ユーザが所定時間の間に同じ姿勢を維持する不便を解消するために、カラーフィルタの配列を変えたり、フィルタの感度を異にするなど構造を変更する方法が使われているが、このためには、カラーフィルタのデモザイク及びホワイトバランス方法などの処理過程がさらに必要になるという問題点がある。

一方、特許文献１には、画素アレイで奇数列は短い露出時間を有し、偶数列は奇数列に比べて長い露出時間を有するようにし、奇数列及び偶数列の対を合せて出力することによって、広ダイナミックレンジを実現し得るイメージセンサを開示している。しかし、長い露出時間の間にユーザが同じ姿勢を維持しなければならない不便を解決し得る方案や、ユーザの手の震えによって映像にぼかしが発生することを防止し得る方案は提示していない。

したがって、一回の短い露出で取得した映像だけで高ダイナミックレンジ映像を生成し得る方案が要求されている。
米国特許公開第２００６−００６６７５０号公報

本発明の目的は、一回の短い露出で取得した映像だけで高ダイナミックレンジ映像を生成し得る映像生成装置及び方法を提供することにある。

また、本発明の目的は、以上で言及した目的に制限されず、言及していないさらなる目的は下記によって当業者に明確に理解できる。

上記目的を達成するために、本発明の実施形態による映像生成装置は、被写体から映像を取得する映像取得部、前記取得した映像から解像度及び明るさが異なる複数の映像を生成する映像生成部、及び前記生成された複数の映像を合成する映像合成部を含む。

また、上記目的を達成するために、本発明の実施形態による映像生成方法は、被写体から映像を取得するステップ、前記取得した映像から解像度及び明るさが異なる複数の映像を生成するステップ、及び前記生成された複数の映像を合成するステップを含む。

その他、実施形態の具体的な事項は詳細な説明及び図面に含まれている。

本発明の映像生成装置及び方法によれば、次のような効果が１つあるいはそれ以上ある。
第一に、一回の撮影でも輝度が異なる複数の映像を生成し得、そこから高ダイナミックレンジ映像を生成し得る。
第二に、露出時間を減少し得るので、ユーザの便宜を向上させることができる。
第三に、露出時間を減少し得るので、長い露出時間の間にユーザの手の震えによって映像にぼかしが発生することを防止し得る。
第四に、映像を撮影する機器の構造を変更しなくても高ダイナミックレンジ映像を生成し得る。

本発明の利点及び特徴、そしてそれらを達成する方法は、添付する図面とともに詳述する実施形態を参照すれば明確になる。しかし、本発明は以下に開示する実施形態に限定されず、相異なる多様な形態で実現できる。本実施形態は、本発明の開示を完全なものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を知らせるために提供するものであって、本発明は請求項の範疇によってのみ定義される。また、明細書全体において同じ参照符号は同じ構成要素を示す。

以下、本発明の実施形態によって映像生成装置及び方法を説明するためのブロック図または処理フローチャートに関する図面を参照して本発明について説明する。このとき、処理フローチャートの各ブロックとフローチャートの組み合せは、コンピュータプログラムインストラクションによって行われる。

これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他プログラム可能なデータプロセッシング装備のプロセッサに搭載できるので、コンピュータまたはその他プログラム可能なデータプロセッシング装備のプロセッサによって行われるインストラクションはフローチャートブロックで説明する機能を行う手段を生成する。これらコンピュータプログラムインストラクションは、特定方式で機能を実現するために、コンピュータまたはその他プログラム可能なデータプロセッシング装備が備えられるコンピュータによって利用可能または読取可能なメモリに格納できるので、そのコンピュータによって利用可能または読取可能なメモリに格納されたインストラクションは、フローチャートブロックで説明する機能を行うインストラクション手段を含む製造品目の生産に用いることもできる。

また、コンピュータプログラムインストラクションは、コンピュータまたはその他プログラム可能なデータプロセッシング装備上に搭載できるので、コンピュータまたはその他プログラム可能なデータプロセッシング装備上で一連の動作ステップが行われ、コンピュータで実行されるプロセスを生成してコンピュータまたはその他プログラム可能なデータプロセッシング装備の機能を行うインストラクションは、フローチャートブロックで説明する各ステップの機能を実行することもできる。

また、各ブロックは特定した論理的機能を実行するための１つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を表すことができる。また、複数の代替実行例ではブロックで言及した機能が順序から外れて行われ得ることに注目しなければならない。例えば、連続して図示されている２つのブロックは、実質的に同時に行われたり、または場合によってそのブロックが該当する機能に応じて逆順に行われることも可能である。

図２は、本発明の一実施形態による映像生成装置の構成を示すブロック図である。本発明の実施形態による映像生成装置１００は、映像（停止画または動画）を撮影し得るモジュールを備えたデジタルカメラ、カムコーダ、携帯電話、及びＰＤＡ（パーソナルデジタルアシスタント）などといった機器であり得る。以下の本発明の実施形態では、映像生成装置１００が所定の被写体についての映像を撮影し得るデジタルカメラである場合を例えて説明する。

具体的に、本発明の一実施形態による映像生成装置１００は、図２に示すように、計算部１１０、露光調節部１２０、映像取得部１３０、映像生成部１４０、映像合成部１５０、及び映像出力部１６０を含んで構成される。

計算部１１０は、後述する映像取得部１３０が映像を取得するのに必要な露出時間を計算する。

露光調節部１２０は、計算部１１０で計算された露出時間に基づいてシャッタを調節する。また、機械式シャッタが付いていないカメラセンサの場合には、光センサが光量を受け入れる時間を調節する。これによって、後述する映像取得部１３０で取得する映像が適切な明るさを有することができる。本発明の実施形態ではデジタルカメラの場合を例えて説明しているが、これは本発明の理解を助けるための一例であって、前述したイメージ及び動画を撮影し得る多様な機器でも同様に適用できる。

映像取得部１３０は、計算部１１０で計算された露出時間の間に受信された光量に基づいて被写体についての映像を取得する。映像取得部１３０で取得した映像は後述する映像生成部１４０に提供される。

映像生成部１４０は、映像取得部１３０で取得した映像から解像度及び明るさが異なる複数の映像を生成する。このために、映像生成部１４０は、第１映像を生成する第１映像生成部１４１と、第１映像に比べて低い解像度を有する第２映像を生成する第２映像生成部１４２を含むことができる。

第１映像生成部１４１は、映像取得部１３０で取得した映像から第１映像を生成する。本発明の実施形態で第１映像は、映像取得部１３０で取得した映像であり得る。このとき、第１映像は、映像生成装置１００に含まれたＣＩＳ（ＣＭＯＳイメージセンサ）に含まれた総画素数に対応する解像度を有する。例えば図３のように、映像生成装置１００のＣＩＳに含まれた各画素に形成されたカラーフィルタをｒ１ないしｒ４、ｇ１ないしｇ８、及びｂ１ないしｂ４とする。この場合、第１映像は、ｒ１ないしｒ４、ｇ１ないしｇ８、及びｂ１ないしｂ４に対応する解像度を有する。ここで、ｒは赤色フィルタ、ｇは緑色フィルタ、ｂは青色フィルタであり得る。

第２映像生成部１４２は、第１映像に比べて低い解像度を有する第２映像を第１映像から生成する。具体的に、第２映像生成部１４２は、総画素の中で同じカラーフィルタが使われた複数の画素を１つの画素として使って、第１映像に比べて低い解像度を有する第２映像を第１映像から生成する。このとき、第２映像の解像度を第１映像の解像度で表せば、下記数学式（１）の通りである。

数学式（１）でＮは第２映像の各画素に含まれる第１映像の画素の数を示す。例えば、Ｎ＝４である場合、第２映像生成部１４２は、図４に示すように、第１映像に比べて画素数が１／４に減少した第２映像を生成する。このとき、第２映像はＲ１、Ｇ１、Ｇ２及びＢ１に対応する解像度を有し、Ｒ１はｒ１＋ｒ２＋ｒ３＋ｒ４、Ｇ１はｇ１＋ｇ２＋ｇ５＋ｇ６、Ｇ２はｇ３＋ｇ４＋ｇ７＋ｇ８、Ｂ１はｂ１＋ｂ２＋ｂ３＋ｂ４であり得る。そして、Ｒは赤色フィルタ、Ｇは緑色フィルタ、Ｂは青色フィルタであり得る。

このように、第２映像の各画素は第１映像で同じカラーフィルタが使われた複数の画素が合わせられてなるので、第２映像の明るさは第１映像の明るさより高くなる。具体的に、第２映像の明るさは第１映像の明るさに比べて、第２映像を構成する各画素に含まれた第１映像の画素数だけ増加する。例えば、前述したように、第２映像の各画素が第１映像の４つの画素からなる場合、第２映像の明るさは第１映像の明るさに比べて４倍増加する。

本発明の実施形態によって、第２映像の解像度及び適正な明るさに関する情報は予め指定できる。この場合、上記計算部１１０は、第１映像を得るための露出時間（以下、「第１露出時間」という）を、予め指定された明るさの第２映像を得るための露出時間（以下、「第２露出時間」という）と第２映像の解像度に基づいて計算し得る。第１露出時間を計算するための数学式を下記数学式（２）で表す。

数学式（２）でＴ_１は第１露出時間を示し、Ｔ_２は第２露出時間を示す。そして、Ｎは数学式（１）と同様に第２映像の各画素を構成するのに必要な第１映像の画素の数を示す。

数学式（２）で第２露出時間Ｔ_２は、露出時間‐明るさ関数から求められる。図５は、露出時間‐明るさ関数を示す図面である。露出時間‐明るさ関数は、露出時間と映像の明るさとの関係を定義する。露出時間‐明るさ関数で横軸は露出時間を示し、縦軸は露出時間に対応する映像の明るさを示す。したがって、第２映像の明るさＹ_２が予め指定される場合、該当明るさの第２映像を得るための第２露出時間Ｔ_２が露出時間‐明るさ関数から求められる。

映像合成部１５０は、第１映像生成部１４１で生成された第１映像と、第２映像生成部１４２によって第２映像とを合成して最終映像を生成する。このとき、第１映像と第２映像は多様な方法で合成できる。

一実施形態として、映像合成部１５０は、第２映像の解像度を第１映像の解像度に増加させた後、第１映像と解像度が増加された第２映像とを合成することができる（以下、「第１合成」という）。このとき、映像合成部１５０は、例えば線形補間によって第２映像の解像度を第１映像の解像度に増加させることができる。第１合成によって生成された最終映像は、別の処理過程なしに映像出力部１６０を介してそのまま出力できる。

他の実施形態として、映像合成部１５０は、第１映像の解像度を第２映像の解像度に減少させた後、第２映像と解像度が減少された第１映像とを合成することができる（以下、「第２合成」という）。第２合成によって生成された最終映像は、解像度が第２映像の解像度に減少されているので、映像合成部１５０は、最終映像の解像度を第１映像の解像度に増加させた後、映像出力部１６０を介して出力できる。

上記第１合成及び第２合成の外にも、映像合成部１５０は、第２映像の明るさ及び色情報を参照して、第１映像の明るさ及び色情報を補正することによって、最終映像を生成することもできる（以下、「第３合成」という）。具体的に、映像合成部１５０は、第２映像で所定画素の明るさ情報及び色情報を参照し、参照した画素に使われた第１映像の画素の明るさ及び色を、参照した明るさ情報及び色情報にしたがって補正する。例えば、第１映像及び第２映像がそれぞれ図３及び図４であるとする。このとき、映像合成部１５０は、第２映像の画素Ｒ１が有する明るさ情報及び色情報を参照し、前記画素Ｒ１を構成する第１映像の画素、すなわち、ｒ１、ｒ２、ｒ３及びｒ４の明るさ及び色情報を参照した明るさ及び色情報にしたがって補正する。

映像出力部１６０は、映像合成部１５０によって生成された最終映像をディスプレイする。映像出力部１６０は、ＬＣＤ、ＰＤＰ、ＬＥＤ、ＯＬＥＤ、Ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙなど多様なディスプレイ手段によって実現できる。

一方、映像生成装置１００は、図示していないが、格納部を含むことができる。格納部には第１映像生成部１４１で生成された第１映像と、第２映像生成部１４２によって生成された第２映像と、映像合成部１５０によって生成された最終映像が格納できる。この外にも、格納部には第１映像の解像度情報と、第２映像の解像度情報と、第２映像に関して指定された明るさ情報などが格納できる。前述した例では、第１映像、第２映像、最終映像、解像度情報などが１つの格納部に格納される場合について説明したが、これに限定されず、第１映像、第２映像、最終映像及び解像度情報がそれぞれ格納される格納部が別に構成されることもできる。

図６は、図２の映像生成装置１００による映像生成方法を示すフローチャートである。
まず、計算部１１０は、第１映像を得るのに必要な第１露出時間を計算する（Ｓ６１０）。このとき、前記第１露出時間は、上記数学式（２）によって計算できる。

前記Ｓ６１０ステップは、前記第２映像の予め指定された明るさＹ_２から、該当明るさの第２映像を得るのに必要な第２露出時間Ｔ_２を算出するステップと、前記算出された第２露出時間Ｔ_２を第２映像の各画素に含まれた第１映像の画素数Ｎで割って前記第１露出時間を計算するステップとを含むことができる。

露光調節部１２０は、計算部１１０で計算された第１露出時間の間にシャッタを調節したり、光センサが光を受け入れる時間を調節する。映像取得部１３０は、第１露出時間の間に受信された光量に基づいて被写体についての映像を取得する（Ｓ６２０）。

映像取得部１３０で映像を取得すれば、第１映像生成部１４１は、取得した映像から第１映像を生成する（Ｓ６３０）。本発明の実施形態において第１映像は取得した映像と同様である。

第１映像を取得すれば、第２映像生成部１４２は、第１映像に比べて解像度が低い第２映像を第１映像から生成する（Ｓ６４０）。このとき、第２映像生成部１４２は、予め定義された第２映像の解像度にしたがって第２映像を生成する。具体的に、第２映像の解像度が第１映像の解像度に比べて１／Ｎである場合、第２映像生成部１４２は、第１映像で同じカラーフィルタが使われたＮ個の画素を１つの画素として使って第２映像を生成する。

映像合成部１５０は、第１映像と第２映像とを合成して最終映像を生成する（Ｓ６５０）。第１映像と第２映像とを合成して最終映像を生成するときには、第１映像と第２映像の何れか１つの映像についての解像度を調節し、第１映像の解像度と第２映像の解像度とを一致させた後、解像度が一致した第１映像と第２映像とを合成することができる。このとき、第１映像と第２映像は、第１合成方法によって合成されたり、第２合成方法によって合成されることができる。第１合成方法による最終映像生成方法及び第２合成方法による最終映像生成方法については図７ないし図１０を参照して後述する。

解像度が一致した第１映像と第２映像とを合成して最終映像を生成する方法の外にも、映像合成部１５０は、第３合成方法によって最終映像を生成することもできる。第３合成方法による最終映像生成方法は図１１及び図１２を参照して後述する。

映像出力部１６０は、映像合成部１５０によって生成された最終映像をディスプレイする（Ｓ６６０）。

次に、図７及び図８を参照して第１合成方法による最終映像生成方法について説明する。

図７は、第１合成方法によって最終映像を生成する場合、図６の最終映像生成ステップＳ６５０をより詳細に示すフローチャートである。

まず、映像合成部１５０は、第１映像の解像度を維持し、第２映像の解像度だけを増加させて、第１映像の解像度と一致させる（Ｓ６５１）。このとき、映像合成部１５０は、例えば線形補間で第２映像の解像度を増加させることができる。第２映像の解像度を増加させた後、映像合成部１５０は、第１映像と解像度が増加された第２映像とを合成して最終映像を生成する（Ｓ６５２）。

図８は、図７の第１合成方法によって最終映像が生成される過程を示す図面である。
まず、第１映像生成部１４１は、映像取得部１３０で取得した映像から第１映像８１を生成し、第２映像生成部１４２は、第１映像８１と解像度及び明るさが異なる第２映像８２を第１映像８１から生成する。このとき、第１映像８１は第２映像８２に比べて高いコントラストを有してエッジが明確になり、第２映像８２は第１映像８１に比べて色が明確になる。

この後、映像合成部１５０は、第２映像８２の解像度だけを増加させて、第１映像８１の解像度と一致させる。その次に、映像合成部１５０は、第１映像８１と解像度が増加された第２映像８３とを合成して最終映像８４を生成する。このとき、最終映像８４は、第１映像８１と第２映像８２間のコントラストを有してエッジとともに色が明確になり得る。このような最終映像８４は映像出力部１６０を介してディスプレイされる。

次に、図９及び図１０を参照して第２合成方法による最終映像生成方法について説明する。

図９は第２合成方法によって最終映像を生成する場合、図６の最終映像生成ステップＳ６５０をより詳細に示すフローチャートである。

第２合成方法によれば、映像合成部１５０は、第２映像の解像度を維持し、第１映像の解像度だけを減少させて、第２映像の解像度と一致させる（Ｓ６５６）。第１映像の解像度を減少させた後、映像合成部１５０は、第２映像と解像度が減少された第１映像とを合成して最終映像を生成する（Ｓ６５７）。この後、映像合成部１５０は最終映像の解像度を第１映像の解像度と同じ水準に増加させる（Ｓ６５８）。

図１０は、図９の第２合成方法によって最終映像が生成される過程を示す図面である。

まず、第１映像生成部１４１は、映像取得部１３０で取得した映像から第１映像９１を生成し、第２映像生成部１４２は、第１映像９１と解像度及び明るさが異なる第２映像９２を第１映像９１から生成する。このとき、第２映像生成部１４２は、予め指定された第２映像９２の解像度にしたがって第１映像９１から第２映像９２を生成する。ここで、第１映像９１は第２映像９２に比べて高いコントラストを有してエッジが明確になり、第２映像９２は第１映像９１に比べて色が明確になる。

この後、映像合成部１５０は、第１映像９１の解像度だけを減少させて、第２映像９２の解像度と一致させる。その次に、映像合成部１５０は、第２映像９２と解像度が減少された第１映像９３とを合成して最終映像９４を生成する。このとき、生成された最終映像９４の解像度は第２映像９２の解像度に減少された状態であるので、映像合成部１５０は生成された最終映像９４の解像度を第１映像９１の解像度と同じ水準に増加させる。解像度が増加された最終映像９５は映像出力部１６０を介してディスプレイされる。

次に、図１１及び図１２を参照して第３合成方法による最終映像生成方法について説明する。

図１１は、第３合成方法によって最終映像を生成する場合、図６の最終映像生成ステップＳ６５０をより詳細に示すフローチャートである。

第３合成方法によれば、映像合成部１５０は、第２映像の明るさ情報及び色情報を参照する（Ｓ６５３）。その次に、映像合成部１５０は、参照した明るさ及び色情報にしたがって第１映像の明るさ及び色を補正し、最終映像を生成する（Ｓ６５４）。具体的に、映像合成部１５０は、第２映像で所定画素の明るさ情報及び色情報を参照し、参照した画素に使われた第１映像の画素の明るさ及び色を、参照した明るさ情報及び色情報にしたがって補正する。

図１２は図１１の第３合成方法によって最終映像が生成される過程を示す図面である。
まず、第１映像生成部１４１は、映像取得部１３０で取得した映像から第１映像７１を生成し、第２映像生成部１４２は、第１映像７１と解像度及び明るさが異なる第２映像７２とを前記第１映像７１から生成する。このとき、第２映像生成部１４２は、予め指定された第２映像７２の解像度に基づいて、前記第１映像７１から前記第２映像７２を生成する。ここで、第１映像７１は第２映像７２に比べて高いコントラストを有してエッジが明確になる。これに比べて第２映像７２は第１映像７１に比べて色が明確になる。

この後、映像合成部１５０は第２映像７２で所定画素が有する明るさ及び色情報を参照する。そして、映像合成部１５０は前記参照した画素を構成する第１映像７１の画素の明るさ及び色情報を、参照した情報にしたがって補正して最終映像７３を生成する。

以上の実施形態では、第２映像の解像度が予め指定された場合、予め指定された明るさの前記第２映像を得るための第１映像の露出時間を計算する映像生成装置及び方法について説明した。以下ではこれとは違う実施形態として、第１映像に対する露出時間が予め指定された場合、前記第１映像から生成される第２映像の解像度を計算する映像生成装置及び方法を図１３を参照して説明する。

図１３で映像合成部２５０及び映像出力部２６０の動作は、図２と同様であるため重複する説明は省略し、映像取得部２３０と、計算部２１０と、映像生成部２４０の動作を中心に説明する。

計算部２１０は、予め指定された第１露出時間と、予め指定された明るさの第２映像を得るための第２露出時間から前記第２映像の解像度を計算する。具体的に、計算部２１０は、下記数学式（３）のように、予め指定された明るさＹ_２の第２映像を得るための第２露出時間Ｔ_２を予め指定された第１露出時間Ｔ_１で割る。

数学式（３）でＮは第２映像の各画素に含まれる第１映像の画素の数を示す。例えば、Ｎ＝４である場合、第２映像の各画素は第１映像で同じカラーフィルタが使われた４つの画素の合計からなることを意味する。すなわち、第２映像は第１映像の解像度に比べて１／４に該当する解像度を有することを意味する。第２映像の解像度と第１映像の解像度との関係は上記数学式（１）のように表される。

映像取得部２３０は、予め指定された第１露出時間にしたがって被写体についての映像を取得する。

第１映像生成部２４１は、映像取得部２３０で取得した映像から第１映像を生成する。このとき、前記取得した映像と前記第１映像は同じ映像であり得る。

第２映像生成部２４２は、第１映像生成部２４１から第１映像を受ける。そして、前記計算部２１０で計算された第２映像の解像度情報に基づいて、前記第１映像から第２映像を生成する。例えば、上記数学式（３）によって算出されたＮの値が４である場合、第２映像生成部２４２は、第１映像で同じカラーフィルタが使われた４つの画素を第２映像の１つの画素に対応させて第２映像を生成する。

映像合成部２５０は、第１映像生成部２４１によって生成された第１映像と、第２映像生成部２４２によって生成された第２映像とを合成して最終映像を生成する。このとき、映像合成部２５０は上述したように第１合成または第２合成によって第１映像と第２映像とを合成することができる。この外にも、映像合成部２５０は、第２映像で参照した何れかの画素の明るさ及び色情報にしたがって第１映像の複数の画素の明るさ及び色情報を補正することによって、最終映像を生成することもできる。

次に、図１４は図１３の映像生成装置２００による映像生成方法を示すフローチャートである。

まず、計算部２１０は、予め指定された第１露出時間Ｔ_１と、予め指定された明るさＹ_２の第２映像を得るための第２露出時間Ｔ_２から、前記第２映像の解像度を計算して第２映像生成部２４２に提供する。

露光調節部２２０は、シャッタを調節して、映像取得部２３０が前記第１露出時間の間に光を受け入れることができるようにする。機械式シャッタが付いていないカメラセンサの場合、露光調節部２２０は光センサが前記第１露出時間の間に光を受け入れることができるようにする。

映像取得部２３０は、前記第１露出時間の間に受信された光量に基づいて被写体についての映像を取得する。

第１映像生成部２４１は、映像取得部２３０で取得した映像から第１映像を生成する。本発明の実施形態で第１映像は、前記映像取得部２３０で取得した映像であり得る。このとき、第１映像は図３に示すように、映像生成装置２００に含まれたＣＩＳに含まれた総画素数に対応する解像度を有する。

第２映像生成部２４２は、第１映像生成部２４１によって生成された第１映像の解像度に比べて低い解像度を有する第２映像を第１映像から生成する。このために、第２映像生成部２４２は、計算部２１０から提供された解像度情報を参照して第２映像を生成する。例えば、第２映像の解像度が第１映像の解像度に比べて１／４の解像度を有する場合、第２映像生成部２４２は第２映像の各画素が第１映像で同じカラーフィルタが使われた４つの画素を含むように第２映像を生成する。

映像合成部２５０は、第１映像の解像度と第２映像の解像度とを一致させた後、解像度が一致した第１映像と第２映像とを合成する。このとき、第１映像と第２映像との合成は、上述したように第１合成または第２合成によって行われる。第１映像と第２映像が第２合成方法によって合成される場合、映像合成部２５０は、最終映像の解像度を増加させる処理をさらに行うことができる。この外にも、映像合成部２５０は、第２映像で参照した明るさ及び色情報にしたがって第１映像の明るさ及び色情報を補正することによって、最終映像を生成することもできる。
映像出力部２６０は映像合成部２５０によって生成された最終映像をディスプレイする。

以上、添付する図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態によって実施できることを理解することができる。したがって前述した実施形態はすべての面で例示的なものであって、限定的なものではないことを理解しなければならない。

従来技術による映像生成過程を示す図である。 本発明の一実施形態による映像生成装置を示す図である。 図２の第１映像生成部によって生成された第１映像を示す図である。 図２の第２映像生成部によって生成された第２映像を示す図である。 本発明の実施形態に適用された露出時間‐明るさ関数を示す図である。 図２の映像生成装置による映像生成方法を示すフローチャートである。 本発明の実施形態による第１合成方法を示すフローチャートである。 図７に示された第１合成方法によって最終映像を生成する過程を示す図である。 本発明の実施形態による第２合成方法を示すフローチャートである。 図９に示された第２合成方法によって最終映像を生成する過程を示す図である。 本発明の実施形態による第３合成方法を示すフローチャートである。 図１１に示された第３合成方法によって最終映像を生成する過程を示す図である。 本発明のその他の実施形態による映像生成装置を示すブロック図である。 図１３の映像生成装置による映像生成方法を示すフローチャートである。

符号の説明

１００、２００ 映像生成装置
１１０、２１０ 計算部
１２０、２２０ 露光調節部
１３０、２３０ 映像取得部
１４０、２４０ 映像生成部
１５０、２５０ 映像合成部
１６０、２６０ 映像出力部

Claims (23)

1. 被写体から映像を取得する映像取得部と、
   前記取得した映像から解像度及び明るさが異なる複数の映像を生成する映像生成部であって、第１映像を生成する第１映像生成部と、前記第１映像に比べて低い解像度を有する第２映像を前記第１映像から生成する第２映像生成部とを含む、映像生成部と、
   前記第２映像の予め指定された解像度及び予め指定された明るさを有する前記第２映像を得るための第２露出時間に基づき前記第１映像を得るための第１露出時間を計算する計算部と、
   前記生成された複数の映像を合成する映像合成部と、
   を含むことを特徴とする映像生成装置。
2. 前記第１映像生成部は、前記計算された第１露出時間にしたがって前記映像取得部で取得した映像から前記第１映像を生成することを特徴とする請求項１に記載の映像生成装置。
3. 前記第１映像生成部は、予め指定された第１露出時間にしたがって前記映像取得部で取得した映像から前記第１映像を生成することを特徴とする請求項１に記載の映像生成装置。
4. 前記第１露出時間と、予め指定された明るさの前記第２映像を得るための第２露出時間から前記第２映像の解像度を決定する計算部をさらに含むことを特徴とする請求項３に記載の映像生成装置。
5. 前記計算部は、前記第１露出時間と前記第２露出時間との比が、前記第１映像の解像度に乗じられた値を前記第２映像の解像度に決定することを特徴とする請求項４に記載の映像生成装置。
6. 前記第１映像は、総画素数に対応する解像度を有することを特徴とする請求項１に記載の映像生成装置。
7. 前記第２映像生成部は、前記総画素の中で同じカラーフィルタが使われた複数の画素を合わせた前記第２映像を生成し、
   前記第２映像の解像度は、前記合わせられた画素数によって決定されることを特徴とする請求項６に記載の映像生成装置。
8. 前記映像合成部は、前記第２映像の解像度を前記第１映像の解像度に増加させた後、前記増加された解像度を有する第２映像と前記第１映像とを合成することを特徴とする請求項１に記載の映像生成装置。
9. 前記映像合成部は、前記第１映像の解像度を前記第２映像の解像度に減少させた後、前記減少された解像度を有する第１映像と前記第２映像とを合成することを特徴とする請求項１に記載の映像生成装置。
10. 前記映像合成部は、前記合成された映像を前記第１映像の解像度に増加させることを特徴とする請求項９に記載の映像生成装置。
11. 前記映像合成部は、前記第２映像に含まれた画素の明るさ及び色情報を基準として、前記第１映像に含まれた複数の画素の明るさ及び色情報を補正することを特徴とする請求項１に記載の映像生成装置。
12. 被写体から映像を取得するステップと、
    前記取得した映像から解像度及び明るさが異なる複数の映像を生成するステップであって、第１映像を生成するステップと、前記第１映像に比べて低い解像度を有する第２映像を前記第１映像から生成するステップとを含む、ステップと、
    前記第２映像の予め指定された解像度及び予め指定された明るさを有する前記第２映像を得るための第２露出時間に基づき、前記第１映像を得るための第１露出時間を計算するステップと、
    前記生成された複数の映像を合成するステップと、
    を含むことを特徴とする映像生成方法。
13. 前記第１映像を生成するステップは、
    前記計算された第１露出時間にしたがって前記映像取得部で取得した映像から前記第１映像を生成するステップを含むことを特徴とする請求項１２に記載の映像生成方法。
14. 前記第１映像を生成するステップは、予め指定された第１露出時間にしたがって前記映像取得部で取得した映像から前記第１映像を生成するステップを含むことを特徴とする請求項１２に記載の映像生成方法。
15. 前記第１露出時間、及び予め指定された明るさの前記第２映像を得るための第２露出時間から前記第２映像の解像度を決定するステップをさらに含むことを特徴とする請求項１４に記載の映像生成方法。
16. 前記第２映像の解像度を決定するステップは、前記第１露出時間と前記第２露出時間の比が、前記第１映像の解像度に乗じられた値を前記第２映像の解像度に決定するステップを含むことを特徴とする請求項１５に記載の映像生成方法。
17. 前記第１映像は、総画素数に対応する解像度を有することを特徴とする請求項１２に記載の映像生成方法。
18. 前記第２映像を生成するステップは、前記総画素の中で同じカラーフィルタが使われた複数の画素を合わせた前記第２映像を生成し、
    前記第２映像の解像度は、前記合わせられた画素数によって決定されることを特徴とする請求項１７に記載の映像生成方法。
19. 前記合成するステップは、
    前記第２映像の解像度を前記第１映像の解像度に増加させるステップと、
    前記増加された解像度を有する第２映像と前記第１映像とを合成するステップと、
    を含むことを特徴とする請求項１２に記載の映像生成方法。
20. 前記合成するステップは、
    前記第１映像の解像度を前記第２映像の解像度に減少させるステップと、
    前記減少された解像度を有する第１映像と前記第２映像とを合成するステップと、
    を含むことを特徴とする請求項１２に記載の映像生成方法。
21. 前記減少された解像度を有する第１映像と前記第２映像とを合成するステップは、前記合成された映像を前記第１映像の解像度に増加させるステップを含むことを特徴とする請求項２０に記載の映像生成方法。
22. 前記合成するステップは、前記第２映像に含まれた画素の明るさ及び色情報を基準として、前記第１映像に含まれた複数の画素の明るさ及び色情報を補正するステップを含むことを特徴とする請求項１２に記載の映像生成方法。
23. 被写体から映像を取得するステップと、
    前記取得した映像から解像度及び明るさが異なる複数の映像を生成するステップであって、第１映像を生成するステップと、前記第１映像に比べて低い解像度を有する第２映像を前記第１映像から生成するステップとを含む、ステップと、
    前記第２映像の予め指定された解像度及び予め指定された明るさを有する前記第２映像を得るための第２露出時間に基づき、前記第１映像を得るための第１露出時間を計算するステップと、
    前記生成された複数の映像を合成するステップと、を含む映像生成方法のうち少なくとも１つの処理ステップを制御するためのコンピュータで読取可能なコードを含むことを特徴とする記録媒体。

Images