JP3630905B2 - 撮像方法及び撮像装置 - Google Patents
撮像方法及び撮像装置 Download PDFInfo
- Publication number
- JP3630905B2 JP3630905B2 JP04569897A JP4569897A JP3630905B2 JP 3630905 B2 JP3630905 B2 JP 3630905B2 JP 04569897 A JP04569897 A JP 04569897A JP 4569897 A JP4569897 A JP 4569897A JP 3630905 B2 JP3630905 B2 JP 3630905B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- screens
- pixel
- signal
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は撮像方法及び撮像装置に関し、特に、画像信号のダイナミックレンジを見かけ上拡大する撮像方法及び撮像装置に関するものである。
【０００２】
【従来の技術】
撮像装置は、カメラ一体型ＶＴＲやスチルビデオカメラ等の撮像部として広く利用されている。これらのビデオカメラ等に用いられる撮像管や固体撮像素子を用いた撮像装置は、旧来の銀塩写真システムに比ベるとダイナミックレンジが狭く、従って、逆光時などには、明るい部分の階調性が失われる「白とび」や、暗い部分の階調性が失われる「黒つぶれ」などが発生する問題がある。
【０００３】
このような場合には、通常、従来のビデオカメラ等においては、前記「黒つぶれ」している主たる被写体に露出を合わせるために、手動による絞りの操作を行うか、または、逆光補正ボタンの操作を行うことにより、絞りを２絞り分程度開放して露光量を増加させるように調節していた。
【０００４】
しかし、このような逆光補正を適切に行って前記主たる被写体が適正露光量になっても、背景で「白とび」が発生してしまい、背景が白いだけの画面になってしまう問題があった。つまり、従来の撮像装置のように、主たる被写体の露光量が適正になるように露光量を調整するだけでは、撮最像装置のダイナミックレンジの狭さを解決することはできなかった。
【０００５】
そこで、例えばラインスキャナなどを用いて静止画を電気信号に変換するような最像装置では、従来、同一被写体から得られた露光量の異なる複数の画面から一つの画面を合成により生成することにより、前記「白とび」や「黒つぶれ」などが発生しないようにしていた。
【０００６】
【発明が解決しようとする課題】
前記のような静止画を撮像する撮像装置においては、最像装置と被写体との位置関係が常に一定に固定されている。このため、夫々の画面の撮像のタイミングが経時的にずれても画像のずれが生じないので、複数の画面から一つの画面を合成しても全く問題を発生しなかった。
【０００７】
しかしながら、前記のような方法をビデオカメラ、あるいはスチルビデオカメラ等の撮像装置にそのまま適用した場合には、手振れ等により、ビデオカメラ等と被写体との位置関係が細かく変化してしまうことが考えられる。
【０００８】
このため、露光量を異ならせて同一の被写体を複数回撮像して複数の画面を得るようにすると、それらの各々の画面の位置が僅かづつずれてしまう。このため、これら複数の画面を一つの画面に合成すると、撮像した被写体が２重や３重にずれて写ってしまうという問題点があった。このことは、最近の小型軽量化が進んだビデオカメラにおいては、手持ち撮影時に手振れを発生しやすいので、より大きな問題であった。
【０００９】
本発明は前述の課題に鑑みてなされたものであり、その目的とするところは、画面ぶれを生じやすいビデオカメラ及びスチルカメラにおいても画像がずれることなく、かつ実質的なダイナミックレンジが広い画像を撮像することが可能な撮像方法及び撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の撮像方法は、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、前記複数の画面内の各画素間の動きベクトルを検出するとともに、前記検出した各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差を検出し、前記検出結果が予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにすることを特徴としている。
【００１１】
また、本発明の他の特徴とするところは、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出処理と、前記動きベクトル検出処理によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出処理と、前記差検出処理の検出結果と、予め定められた閾値とを比較する動きベクトル比較処理と、前記動きベクトル比較処理の比較結果が、前記予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにする画素合成禁止処理とを行うことを特徴としている。
【００１２】
また、本発明のその他の特徴とするところは、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出処理と、前記動きベクトル検出処理によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出処理と、前記差検出処理の検出結果と、予め定められた閾値とを比較する動きベクトル比較処理と、前記動きベクトル比較処理の比較結果が、前記予め定められた閾値より小さい場合に、前記複数の画面を撮像する時の時間が異なることにより生じる画面間のずれに対応して、前記複数の画面の座標変換を行う座標変換処理と、前記座標変換処理によってぶれが補正された複数の画面を一つの画面に合成する画面合成処理とを行うことを特徴としている。
【００１３】
また、本発明の撮像装置は、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像装置において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出手段と、前記差検出手段の検出結果と、予め定められた閾値とを比較する動きベクトル比較手段と、前記動きベクトル比較手段の比較結果が、前記予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにする画素合成禁止手段とを行うことを特徴としている。
【００１４】
また、本発明のその他の特徴とするところは、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像装置において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出手段と、前記差検出手段の検出結果と、予め定められた閾値とを比較する動きベクトル比較手段と、前記動きベクトル比較手段の比較結果が、前記予め定められた閾値より小さい場合に、前記複数の画面を撮像する時の時間が異なることにより生じる画面間のずれに対応して、前記複数の画面の座標変換を行う座標変換手段と、前記座標変換手段によってぶれが補正された複数の画面を一つの画面に合成する画面合成手段とを具備することを特徴としている。
【００１５】
【作用】
本発明は前記技術手段を有するので、露光量を異ならせて順次撮像された複数の画面を一つに合成することにより映像信号のダイナミックレンジを見かけ上拡大する際に、前記複数の画面内の各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差が、予め定められた閾値よりも大きい場合にはその画素の合成が行われないので、動きの大きな被写体や手ぶれ等のために発生した画面ぶれを有する映像信号に対して被写体が２重や３重にずれて写ってしまう不都合が防止される。
【００１６】
【発明の実施の形態】
以下、本発明の撮像方法及び撮像装置の好適な実施形態について、添付図面を参照して詳細に説明する。
図１は、本発明のカメラ一体型ＶＴＲに適用した場合の実施形態を示す全体構成ブロック図である。
【００１７】
図１において、１００はカメラ部、２００は処理部、３００は記録部である。カメラ部１００において、光学系１０１を介して入射した光線は絞り１０２により光量制限され、撮像素子１０３に結像する。
【００１８】
撮像素子１０３は、例えばＭＯＳやＣＣＤなどの半導体素子からなり、その撮像面に結像した光学像が電気信号に変換されることにより映像信号が生成されて出力される。
【００１９】
焦点駆動回路１０７、絞り駆動回路１０６及び光蓄積時間の制御などを行う撮像素子駆動回路１０５等の各回路は、カメラ制御回路１０８の制御の下で、それぞれ光学系１０１、絞り１０２及び撮像素子１０３を駆動する。カメラ信号処理回路１０４は、通常のビデオカメラの信号処理回路と同様のγ補正処理その他の周知の信号処理を行う。
【００２０】
カメラ部１００から出力される映像信号はアナログ信号であり、このアナログ信号が処理部２００に送られ、処理部２００のＡ／Ｄ変換器２０１でデジタル信号に変換される。次に、演算回路２０２で後述する画素データの変換が行われ、その後、Ｄ／Ａ変換器２０３でアナログ信号に戻され、記録部３００に供給される。
【００２１】
２０４は画像メモリであり、演算回路２０２及び動きベクトル検出回路２０６で演算用に用いられるものである。また、２０５は画像メモリ２０４の動作を制御するためのメモリ制御回路であり、カメラ部１００の制御回路１０８から与えられるタイミング信号に応じて画像メモリ２０４の書き込み、読みだしアドレス信号を出力する。
【００２２】
また、メモリ制御回路２０５は、画面合成時に、動きベクトル検出回路２０６の出力に応じて、各画面ごとに位置合せのためのアドレス信号を発生して、画面ぶれを補正するようにする。
【００２３】
動きベクトル比較回路２０７は、動きベクトル検出回路２０６で検出された各画素の動きベクトルと、各画素の動きベクトルから算出される画面間の動きベクトルとを比較する。そして、前記画素の動きベクトルが前記画面間の動きベクトルに対して、予め定められた閾値以上の差がある場合は前記面素の位置情報を演算回路２０２に出力して、前記画素の合成を禁止するようにする。
【００２４】
演算回路２０２では、読み出した共通信号を合成し、入力信号と同一形態に合わせるために、拡大補間の処理が行われる。このようにして、動きのある被写体に対しても画面のずれが発生しないように階調合成された映像信号が、演算回路２０２より出力される。
【００２５】
そして、前記演算回路２０２から出力された映像信号がＤ／Ａ変換器２０３によってアナログ信号に変換され、周知のＶＴＲ（映像信号記録装置）３０１に記録される。なお、ＶＴＲ３０１が、デジタル記録方式の場合には、前記Ｄ／Ａ変換器２０３は不要である。
【００２６】
次に、撮像素子１０３の動作を詳細に説明する。図２は、カメラ部１００のより詳細な構成を示すブロック図であり、図３はＮＴＳＣ信号を例にしカメラ部１００のタイミングチャートである。
【００２７】
図３において、フィールドインデックス（ＦＩ）信号は、１フレームを構成する奇数〈ＯＤＤ）フィールドと偶数（ＥＶＥＮ）フィールドとを区別するための信号である。
【００２８】
ＶＢＬＫ 信号は、垂直ブランキング信号であり、Ｈ（高）の期間が有効画面、Ｌ（低）の期間が垂直ブランキング期間に対応する。
Ｔｐｕｌｓｅ 信号は、撮像素子１０３の電荷蓄積時間を制御するための信号であり、例えば、ＣＣＤ撮像素子の場合には画素出力を垂直転送用ＣＣＤに読み出すためのパルスである。
【００２９】
アイリスゲート信号は、後述する自動露出のための基準となる映像信号として、１／１０００秒の蓄積信号か１／６０秒の蓄積信号のどちらを用いるかを指定する信号である。
【００３０】
図示の例では、垂直ブランキング期間の間に１／１０００秒の電荷蓄積を行い、次の有効期間にその１／１０００秒蓄積信号を出力する。そして、１／１０００秒蓄積期間の直後に実質１／６０秒の電荷蓄積を行い、次フィールドの有効画面期間にそのｌ／６０秒蓄積信号を出力する。このようにして、各フィールド毎に、２種類（１／１０００秒と１／６０秒）の光量の信号が交互に出力される。
【００３１】
図２において、２０はカメラ信号処理回路１０４からの信号（例えば映像信号）をＡ／Ｄ変換器２０１を介して受け、露出制御のための制御信号を演算する公知のＡＥ制御回路、２２は合点制御のための制御信号を出力する公知のＡＦ制御回路、２４は垂直ブランキング信号ＶＢＬＫ を２分周する１／２分周回路である。
【００３２】
また、２６、２７はサンプルホールド回路、２８はインバータ、２９、３０は１／２分周回路２４の出力またはインバータ２８によるその反転信号のどちらかでサンプリングタイミングを決定するかを選択するスイッチである。サンプルホールド回路２６、２７の出力は、絞り駆動回路１０６及び焦点駆動回路１０７にそれぞれ印加され、サンプルホールド回路２６、２７の出力に基づいて自動露出制御及び自動焦点調節制御等が実行される。
【００３３】
前記実施形態では、１／１０００秒と１／６０秒の組み合わせであり、約４段（１６倍）の光量変化である。このため、例えばＣＣＤ撮像素子を用いたカメラの場合、ＥＶＥＮフィールドで１／６０秒の蓄積時間を基準に主被写体に露出を合わせると、そのＥＶＥＮフィールドでは背景に「白とび」が生じやすいのに対し、光量を４段少なくしたＯＤＤフィールドでは主被写体で「黒つぶれ」が発生することが多い。なお、この例は逆光補正時に背景側に露出を合わせた場合を想定したもので、その場合の状況により１／１０００秒以外の蓄積時間に設定してもよい。
【００３４】
前記実施形態以外にも、近年ＶＯＤ方式の高速シャッター機能を有するＣＣＤが実用化されている。これは、ＣＣＤの基板の垂直方向に不要電荷を排出するもので、非常に細かなシャッタースピード設定が可能であり、主被写体と背景被写体の輝度差に応じて、制御回路１０８内のＡＥ制御回路２０の判断で最適なシャッタースピードを駆動回路１０５により設定することができる。
【００３５】
前述したように、本実施形態においては、一方のフィールドでの「白とび」及び「黒つぶれ」を積極的に利用して、画面の改善を行うようにしている。つまり、「白とび」または「黒つぶれ」の生じる部分については、他のフィールドの対応部分（露出が異なるので、「黒つぶれ」または「白とび」は生じていない。）で代替えし、両フィールドの映像信号を合成して最終的な映像信号とするようにしている。
【００３６】
その基本的な考え方を、図４を参照して説明する。図４では、主被写体を縦長の長方形で模式的に示している。図４でスルー（Ｔ）画とは撮像素子１０３の直接出力をいい、メモリ（Ｍ）画またはメモリ出力とは画像メモリ２０４に一旦記憶された直前フィールドの信号をいう。スルー画では、ＯＤＤフィールド毎に逆光時の主被写体が「黒つぶれ」になり、ＥＶＥＮフィールド毎に背景が「白とび」なっている。
【００３７】
また、メモリ画は、１フィールド期間遅延した信号ので、「白とび」と「黒つぶれ」はスルー画とは異なるフィールドで生じている。したがって、スルー画とメモリ画とを適切に組み合わせれば、「白とび」及び「黒つぶれ」のない良好な映像が得られることになる。つまり、スルー画及びメモリ画の信号を各フィールド毎に所定の閾値と比較して、当該閾値より大きければ１、小さければ０として、画素毎に「白とび」または「黒つぶれ」を判定する。
【００３８】
図６は、その閾値と、画素の輝度値、フィールドとの関係を示す。図６（ａ）の横軸は輝度レベル、縦軸は１画面中の各輝度レベルの出現頻度を示している。図６（ａ）に示すように、第１の閾値Ｔｈ１は「黒つぶれ」を判定できるように設定され、第２の閾値Ｔｈ２は「白とび」を判定できるように設定される。すなわち、第１の閾値Ｔｈ１以下の輝度が「黒つぶれ」と判定され、第２の閾値Ｔｈ２以上の輝度が「白とび」と判定される。
【００３９】
図６（ｂ）は、各フィールドと閾値との関係を示す。前記の如くＯＤＤフィールドとＥＶＥＮフィールドでは「白とび」と「黒つぶれ」とが交互するので、その判定用の閾値もフィールド毎に変更する。
【００４０】
このようにして、どのフィールドのどの画素が「黒つぶれ」または「白とび」であるかを判定できるので、その判定結果を用いることにより、スルー画とメモリ画とで適正な露光量の画素信号を選択することができる。例えば、判定Ａと判定Ｂの論理積をとり、ＯＤＤフィールドでは、論理積が１である画素に対してはスルー画の選択を行うようにする。また、論理積が０である画素に対してはメモリ画の選択を行うようにし、ＥＶＥＮフィールドではその逆の関係となるようにすることにより、図４に示すような選択フラグが得られる。
【００４１】
図４の最下段の絵は、その選択フラグによる合成画を示す。この図では、主被写体が等速度運動を行った場合を想定し、時間軸ずれが画像に及ぼす影響を確認したが、実用上十分な動画になり得ることが分かる。
【００４２】
図５は、処理部２００の演算回路２０２において、前記第１および第２の閾値Ｔｈ１、Ｔｈ２との比較及び選択フラグを形成する回路部分の詳細な構成を示しブロック図である。Ｔｈ切替制御信号は、ＦＩ信号などのように、フィールド毎に「Ｈ」、「Ｌ」が反転する信号であり、第１の閾値発生回路５３に印加されるとともに、インバータ５１を介して第２の閾値発生回路５２に印加される。
【００４３】
第１および第２の閾値発生回路５２、５３はその切替信号に応じて、図６（ｂ）の関係の第１の閾値Ｔｈ１または第２の同Ｔｈ２を発生する。また、比較回路５４、５５はメモリ画、スルー画と閾値発生回路５２、５３からの閾値とを夫々比較し、判定結果としてのＡ及びＢの判定信号を出力する。
【００４４】
アンドゲート５６は、入力される判定Ａ信号と判定Ｂ信号との論理積をとり、選択フラグ信号を出力する。
スイッチ５７は、前記選択フラグ信号に従って切り替え動作を行い、メモリ画またはスルー画の信号を選択して出力する。
【００４５】
図７に階調特性図を示す。図７（ａ）の実線が通常のビデオカメラの特性図であり、１００％までは入出力がリニアになっている。そして、それ以上の入力（１００〜４００％）に対しては、ＫＮＥＥ特性と呼ばれる傾きの緩い関係となっている。この変化点をＰ１とすると、高速シャッタ時にはこの変化点がＰ２の位置に移行する。但し、Ｐ１が１／６０秒で、Ｐ２が２段の露光量変化の１／２５０秒であるとする。
【００４６】
前述したように、４段の差がある場合には、図７（ｄ）の（１）と（５）の関係になる。因みに、図７（ｄ）の（１）は１／６０秒、（２）は１／１２５秒、（３）は１／２５０秒、（４）は１／５００秒、（５）は１／１０００秒とした場合の特性図である。傾きの違う２つの特性から、好みのカーブを持つ特性を合成することができる。
【００４７】
図７（ｂ）は、「白とび」及び「黒つぶれ」判定の閾値が異なる場合の合成特性例を示している。
図７（ｃ）は、対応する２つの画素の信号を加算平均して出力とする場合（同（１））、一方を選択する場合（同（２））、及び適当な係数のもとで加算平均する場合（同（３））の各特性を示している。
【００４８】
前記の例では、１秒間に実質３０枚の時間分解能となり、フレーム蓄積ＣＣＤ撮像素子などと同等になる。そこで、フィールド蓄積ＣＣＤ撮像素子と同程度の時間分解能を実現すべく、１フィールドに２枚の画面を取り込む例を説明する。その構成例の変更部分を図９に示し、タイミングチャートを図８に示す。
【００４９】
原理的には、通常のビデオレートより速い速度で撮像素子１０３の信号を読みだし、それを時間軸変換して通常レートに戻す。第１および第２のフィールドメモリ９０、９１は各々１フィールド分の画像情報に相当する記憶容量を有しており、第１のフィールドメモリ９０では１／１２０秒読み出しと同時化するために１／１０００秒蓄積信号の遅延を行う。第２のフィールドメモリ９１では、１／１２０秒単位の映像信号を１／６０秒単位のＮＴＳＣ信号に変更するために２倍の時間伸長処理を行う。
【００５０】
図９中の（ａ）〜（ｄ）は、図８の信号（ａ）〜（ｄ）に対応している。このような動作が可能な撮像素子１０３としては、ＸＹアドレス方式のＭＯＳ固体撮像素子が考えられる。
【００５１】
次に、制御回路１０８のその他の詳細例を図１０に示す。マスタークロック発生器４０は外部からの基準信号に従い、制御回路１０８内部用のマスタクロックを発生する。
【００５２】
１／１０００秒シャター用のクロック発生器４１は、マスタークロック発生器４０から入力されるマスタークロックに従い高速用クロックを発生する。また、１／６０秒シャッター用のクロック発生器４２はマスタークロック発生器４０から入力されるマスタークロックに従い低速用クロックを発生する。
【００５３】
スイッチ４５はフィールド毎に切り替わり、クロック発生器４１及び同４２の出力を駆動回路１０５に交互に印加する。
ＡＥ制御信号発生器４３は、カメラ信号処理回路１０４からの映像信号を基に、絞り制御のためのＡＥ制御信号を発生する。制御信号保持回路４４はその制御信号を１フィールド期間保持する。
【００５４】
スイッチ４６は、フィールド毎に切り替わり、ＡＥ制御信号発生器４３の出力及び制御信号保持回路４４による保持信号を交互に絞り制御回路１０６に印加する。切替信号発生器４７は、スイッチ４５、４６の切り替えを制御する。スイッチ４５、４６は同期して切り替わるようになされている。
【００５５】
なお、前記の例では、低速用、高速用に夫々クロック発生器を設け、そのクロックを、フィールド毎の信号を発生する切替信号発生器の出力信号により切り替えているので、回路構成及び動作が簡単になるという効果があり、特に動画に適している。
【００５６】
また、以上の説明では、シャッタースピードを変化させることで異なる露光量の画面を生成したが、高速の絞り装置を用意できる場合には、その絞りを高速で変化させても良く、また、例えばＰＬＺＴなどのような空間光変調素子を用いた減光フィルタを電気的に制御する方式で実現しても良い。
【００５７】
以上、説明してきたように、本実施形態においては、様々な演算処理が考えられるが、簡単な処理で効果の高い単純加算による画面合成を例にとり、以下に説明する。
【００５８】
図１１は、画面ぶれの概念図で、２画面（ＯＤＤフィールド画面とＥＶＥＮフィールド画面）の被写体に対する画面（撮像素子１０３）の位置ずれを示している（図１１−ａ）。
【００５９】
ＯＤＤ画面とＥＶＥＮ画面の共通部分（共通エリア）の左上部を、メモリ読み出し開始点Ｐとすると、ＯＤＤ画面に対しては、図１１−ｂで示すＰＯＤＤ 点、ＥＶＥＮ画面に対しては、図１１−ｃで示すＰＥＶＥＮ点が画像メモリよりの読み出し開始点となり、ＯＤＤとＥＶＥＮの共通エリアに関して、ずれのない映像信号の生成が可能となる。
【００６０】
図１の構成を本実施形態に合わせて具体化したものが図１２に示す構成図である。
図１２において、入力された映像信号はＡ／Ｄ変換器２０１にてデジタル信号化され、第１のフィールドメモリ２０４ａと動きベクトル検出回路２０６へそれぞれ供給される。
【００６１】
第１のフィールドメモリ２０４ａの出力は、動きベクトル検出回路２０６の他の入力端子へ供給される。動きベクトル検出回路２０６は、１フィールド時間差の２つの映像信号から各画素の動き情報を検出し、この情報から画面ぶれ情報を算出し、画面ぶれ補正信号を生成する。この画面ぶれ補正信号は、メモリ制御回路２０５に供給され、このメモリ制御回路２０５は、画面ぶれ補正信号を基に第１のフィールドメモリ２０４ａを制御する。
【００６２】
動きベクトル検出回路２０６で生成された画面ぶれ補正信号は動きベクトル比較回路２０７にも与えられる。前記動きベクトル比較回路２０７は、閾値発生回路６１、比較回路６２及びアドレス変換回路６３等により構成されており、前記動きベクトル検出回路２０６から出力される画面ぶれ情報は閾値発生回路６１及び比較回路６２に供給され、前記閾値発生回路６１において被写体の動き判定用の閾値を発生させ、これを比較回路６２に出力する。
【００６３】
比較回路６２では、前記閾値と各画素の動き情報とを比較することによって、各画素の動きが手ぶれによるものか、手ぶれ以外の動きによるものかを判定する。言い換えれば、被写体自身の動きか否かを判定し、手ぶれ以外の動きと判定された画素に対応するアドレスをアドレス変換回路６３に出力する。
【００６４】
アドレス変換回路６３では、拡大補間回路２０２ａからの補間情報によって、手ぶれ以外の動きと判定された画素に対応するアドレスを拡大補間後のアドレスに変換し、後述する画面合成時に、前記画素の合成を禁止し、前記画素が適正露出になっているフィールドの前記画素を選択するための選択信号を生成し、後段の選択器２０２ｃに供給する。
【００６５】
図１１（ａ）で示した共通エリア部分が第１のフィールドメモリ２０４ａより出力され、この信号が次段の拡大補間回路２０２ａにて、入力信号と同様の信号形態（例えばＮＴＳＣ信号）に戻される。
【００６６】
共通エリア部分が小さいほど、この処理での拡大率は大きくなる。どのような拡大率であっても、画像信号は元の形態に戻されてから加算器２０２ｂ経由で、第２のフィールドメモリ２０４ｂに格納される。
【００６７】
第２のフィールドメモリ２０４ｂに格納された画像信号がＯＤＤ画面の信号とすると、次のフィールド期間にはＥＶＥＮ画面の信号が拡大補間回路２０２ａより出力され、加算器２０２ｂにて対応する画素データが加算される。
【００６８】
加算された信号は選択器２０２ｃのＡ端子を経由し、さらに選択器２０９のＥＶＥＮ端子経由でＤ／Ａ変換器２０３へ供給される。その一方で、この加算信号は選択器２０２ｃのＡ端子を経由し、フィールドメモリ２０４ｂにも格納され、次フィールドのＯＤＤ期間にはＲＥＡＤ−ＭＯＤＩＦＹ−ＷＲＩＴＥ動作で、選択器２０９のＯＤＤ端子経由で同一画面をＤ／Ａ変換器２０３へ供給しつつ、新たなＯＤＤ画面情報をフィールドメモリ２０４ｂへ格納してゆく。
【００６９】
この時、スイッチ２０８はＯＤＤで開、ＥＶＥＮで閉として、新たなＯＤＤ画面情報をメモリに書き込む時には、加算器２０２ｂがスルーとなるように切り替える。
【００７０】
また、選択器２０２ｃのＡ端子には前述した加算信号、Ｏ端子にはフィールドメモリ２０４ｂから出力されるＯＤＤ画面情報、Ｅ端子にはＥＶＥＮ画面情報が供給される。そして、動きベクトル比較回路２０７からの選択信号により、手ぶれと判定された画素については加算信号、手ぶれ以外の動きと判定された画素については、ＯＤＤ画面情報もしくはＥＶＥＮ画面情報のうち適正露出となる画像情報を選択し、次段の選択器２０７及びフィールドメモリ２０４ｂに供給する。このようにして生成された信号は、Ｄ／Ａ変換器２０３より入力信号と同様のアナログ信号として出力される。
【００７１】
前記の処理の時間的な関係を図１３のタイミングチャートに示す。
図１３のタイミングチャートにおいて、ＡはＯＤＤ、ＥＶＥＮフィールドの判別信号であり、拡大補間回路２０２ａの出力タイミングである。
【００７２】
Ｂはスイツチ２０８の開閉タイミングを示しており、加算器２０２ｂは、このスイッチ２０８の開閉により機能が変化し、スイッチ２０８が開の場合には、信号を素通りさせ、スイッチ２０８が閉の場合には加算器として働く。
【００７３】
Ｃは第２のメモリ２０４ｂへの書き込みタイミングを示したものであり、ＡにおけるＯＤＤ期間はそのままＯＤＤ画面を書き込む。また、ＡにおけるＥＶＥＮ期間は、ＲＥＡＤ一ＭＯＤＩＦＹ−ＷＲＩＴＥ動作により、選択器２０２ｃで選択された画像情報を、同一アドレスに再度書き込む処理を行う。
【００７４】
Ｄは選択器２０７の端子切り替えのタイミングを示したものであり、ｔ１期間におけるＯＤＤ画面情報と、ｔ２期間のＥＶＥＮ画面情報によって生成された合成画像情報は、Ｄにおけるｔ２期間に出力され、更に、ｔ３期間にも同一情報が再度読み出されて出力される。
【００７５】
なお、生成された合成画像において、手ぶれ以外の動きと判定された画素については、ＯＤＤ画面情報もしくはＥＶＥＮ画面情報のうち、適正露出となる画像情報を選択するため、前記画像の時間軸ずれが懸念されるが、これについては、画面合成の演算処理の一例として図４を用いて説明したように、実用上問題がないといえる。
【００７６】
前述のように、本実施形態では２フィールド期間を単位時間として処理が完了する。因みに、ＯＤＤフィールドとＥＶＥＮフィールドとでライン補間処理を切り換え、インタレース対応にして、いわゆる画面妨害を低減することも可能である。この妨害低減のためには、第２のフィールドメモリ２０４ｂと選択器２０９の間の点Ｑにライン補間回路を挿入すると良い。
【００７７】
なお、本発明は、その趣旨を逸脱しない範囲で前記実施形態を修正または変形したものに適用可能である。
【００７８】
（本発明の他の実施形態）
本発明は複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。
【００７９】
また、前述した実施形態の機能を実現するように各種のデバイスを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００８０】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８１】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００８２】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、露光量を異ならせて複数の画面を順次撮像して、これらの複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する際に、前記複数の画面内の各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差が、予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにしたので、ダイナミックレンジを実質的に広くすることができ、例えば、逆光の場合であっても、主被写体のみならず背景も、適正な露光量の画像を得ることができる。また、動きの大きな被写体や手ぶれ等のために発生した画面ぶれを有する映像信号に対しても、被写体が２重や３重になることがなくて実用的なダイナミックレンジ拡大処理を施すことができる。
【図面の簡単な説明】
【図１】本発明の実施形態を適用したカメラー体型ＶＴＲの構成図である。
【図２】図１のカメラ部の制御回路の具体的な構成を示すブロック図である。
【図３】撮像素子の動作を説明するタイミングチャートである。
【図４】本実施形態による画像処理の概念を説明する図である。
【図５】図１の演算回路の具体的な構成を示すブロック図である。
【図６】「白とび」及び「黒とび」判定の閾値の決定方法を説明する図である。
【図７】階調特性を示す図である。
【図８】撮像素子の動作を説明するタイミングチャートである。
【図９】カメラ部の一部の構成を示すブロック図である。
【図１０】図１における制御回路の一例を示すブロック図である。
【図１１】画面ぶれの概念を説明する図である。
【図１２】図１の構成を具体化した例を示すブロック図である。
【図１３】実施形態の撮像装置の動作を示すタイミングチャートである。
【符号の説明】
１００ カメラ部
１０１ 光学系
１０２ 絞り
２００ 処理部
３００ 記録部
【発明の属する技術分野】
本発明は撮像方法及び撮像装置に関し、特に、画像信号のダイナミックレンジを見かけ上拡大する撮像方法及び撮像装置に関するものである。
【０００２】
【従来の技術】
撮像装置は、カメラ一体型ＶＴＲやスチルビデオカメラ等の撮像部として広く利用されている。これらのビデオカメラ等に用いられる撮像管や固体撮像素子を用いた撮像装置は、旧来の銀塩写真システムに比ベるとダイナミックレンジが狭く、従って、逆光時などには、明るい部分の階調性が失われる「白とび」や、暗い部分の階調性が失われる「黒つぶれ」などが発生する問題がある。
【０００３】
このような場合には、通常、従来のビデオカメラ等においては、前記「黒つぶれ」している主たる被写体に露出を合わせるために、手動による絞りの操作を行うか、または、逆光補正ボタンの操作を行うことにより、絞りを２絞り分程度開放して露光量を増加させるように調節していた。
【０００４】
しかし、このような逆光補正を適切に行って前記主たる被写体が適正露光量になっても、背景で「白とび」が発生してしまい、背景が白いだけの画面になってしまう問題があった。つまり、従来の撮像装置のように、主たる被写体の露光量が適正になるように露光量を調整するだけでは、撮最像装置のダイナミックレンジの狭さを解決することはできなかった。
【０００５】
そこで、例えばラインスキャナなどを用いて静止画を電気信号に変換するような最像装置では、従来、同一被写体から得られた露光量の異なる複数の画面から一つの画面を合成により生成することにより、前記「白とび」や「黒つぶれ」などが発生しないようにしていた。
【０００６】
【発明が解決しようとする課題】
前記のような静止画を撮像する撮像装置においては、最像装置と被写体との位置関係が常に一定に固定されている。このため、夫々の画面の撮像のタイミングが経時的にずれても画像のずれが生じないので、複数の画面から一つの画面を合成しても全く問題を発生しなかった。
【０００７】
しかしながら、前記のような方法をビデオカメラ、あるいはスチルビデオカメラ等の撮像装置にそのまま適用した場合には、手振れ等により、ビデオカメラ等と被写体との位置関係が細かく変化してしまうことが考えられる。
【０００８】
このため、露光量を異ならせて同一の被写体を複数回撮像して複数の画面を得るようにすると、それらの各々の画面の位置が僅かづつずれてしまう。このため、これら複数の画面を一つの画面に合成すると、撮像した被写体が２重や３重にずれて写ってしまうという問題点があった。このことは、最近の小型軽量化が進んだビデオカメラにおいては、手持ち撮影時に手振れを発生しやすいので、より大きな問題であった。
【０００９】
本発明は前述の課題に鑑みてなされたものであり、その目的とするところは、画面ぶれを生じやすいビデオカメラ及びスチルカメラにおいても画像がずれることなく、かつ実質的なダイナミックレンジが広い画像を撮像することが可能な撮像方法及び撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の撮像方法は、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、前記複数の画面内の各画素間の動きベクトルを検出するとともに、前記検出した各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差を検出し、前記検出結果が予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにすることを特徴としている。
【００１１】
また、本発明の他の特徴とするところは、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出処理と、前記動きベクトル検出処理によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出処理と、前記差検出処理の検出結果と、予め定められた閾値とを比較する動きベクトル比較処理と、前記動きベクトル比較処理の比較結果が、前記予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにする画素合成禁止処理とを行うことを特徴としている。
【００１２】
また、本発明のその他の特徴とするところは、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出処理と、前記動きベクトル検出処理によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出処理と、前記差検出処理の検出結果と、予め定められた閾値とを比較する動きベクトル比較処理と、前記動きベクトル比較処理の比較結果が、前記予め定められた閾値より小さい場合に、前記複数の画面を撮像する時の時間が異なることにより生じる画面間のずれに対応して、前記複数の画面の座標変換を行う座標変換処理と、前記座標変換処理によってぶれが補正された複数の画面を一つの画面に合成する画面合成処理とを行うことを特徴としている。
【００１３】
また、本発明の撮像装置は、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像装置において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出手段と、前記差検出手段の検出結果と、予め定められた閾値とを比較する動きベクトル比較手段と、前記動きベクトル比較手段の比較結果が、前記予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにする画素合成禁止手段とを行うことを特徴としている。
【００１４】
また、本発明のその他の特徴とするところは、露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像装置において、前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出手段と、前記差検出手段の検出結果と、予め定められた閾値とを比較する動きベクトル比較手段と、前記動きベクトル比較手段の比較結果が、前記予め定められた閾値より小さい場合に、前記複数の画面を撮像する時の時間が異なることにより生じる画面間のずれに対応して、前記複数の画面の座標変換を行う座標変換手段と、前記座標変換手段によってぶれが補正された複数の画面を一つの画面に合成する画面合成手段とを具備することを特徴としている。
【００１５】
【作用】
本発明は前記技術手段を有するので、露光量を異ならせて順次撮像された複数の画面を一つに合成することにより映像信号のダイナミックレンジを見かけ上拡大する際に、前記複数の画面内の各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差が、予め定められた閾値よりも大きい場合にはその画素の合成が行われないので、動きの大きな被写体や手ぶれ等のために発生した画面ぶれを有する映像信号に対して被写体が２重や３重にずれて写ってしまう不都合が防止される。
【００１６】
【発明の実施の形態】
以下、本発明の撮像方法及び撮像装置の好適な実施形態について、添付図面を参照して詳細に説明する。
図１は、本発明のカメラ一体型ＶＴＲに適用した場合の実施形態を示す全体構成ブロック図である。
【００１７】
図１において、１００はカメラ部、２００は処理部、３００は記録部である。カメラ部１００において、光学系１０１を介して入射した光線は絞り１０２により光量制限され、撮像素子１０３に結像する。
【００１８】
撮像素子１０３は、例えばＭＯＳやＣＣＤなどの半導体素子からなり、その撮像面に結像した光学像が電気信号に変換されることにより映像信号が生成されて出力される。
【００１９】
焦点駆動回路１０７、絞り駆動回路１０６及び光蓄積時間の制御などを行う撮像素子駆動回路１０５等の各回路は、カメラ制御回路１０８の制御の下で、それぞれ光学系１０１、絞り１０２及び撮像素子１０３を駆動する。カメラ信号処理回路１０４は、通常のビデオカメラの信号処理回路と同様のγ補正処理その他の周知の信号処理を行う。
【００２０】
カメラ部１００から出力される映像信号はアナログ信号であり、このアナログ信号が処理部２００に送られ、処理部２００のＡ／Ｄ変換器２０１でデジタル信号に変換される。次に、演算回路２０２で後述する画素データの変換が行われ、その後、Ｄ／Ａ変換器２０３でアナログ信号に戻され、記録部３００に供給される。
【００２１】
２０４は画像メモリであり、演算回路２０２及び動きベクトル検出回路２０６で演算用に用いられるものである。また、２０５は画像メモリ２０４の動作を制御するためのメモリ制御回路であり、カメラ部１００の制御回路１０８から与えられるタイミング信号に応じて画像メモリ２０４の書き込み、読みだしアドレス信号を出力する。
【００２２】
また、メモリ制御回路２０５は、画面合成時に、動きベクトル検出回路２０６の出力に応じて、各画面ごとに位置合せのためのアドレス信号を発生して、画面ぶれを補正するようにする。
【００２３】
動きベクトル比較回路２０７は、動きベクトル検出回路２０６で検出された各画素の動きベクトルと、各画素の動きベクトルから算出される画面間の動きベクトルとを比較する。そして、前記画素の動きベクトルが前記画面間の動きベクトルに対して、予め定められた閾値以上の差がある場合は前記面素の位置情報を演算回路２０２に出力して、前記画素の合成を禁止するようにする。
【００２４】
演算回路２０２では、読み出した共通信号を合成し、入力信号と同一形態に合わせるために、拡大補間の処理が行われる。このようにして、動きのある被写体に対しても画面のずれが発生しないように階調合成された映像信号が、演算回路２０２より出力される。
【００２５】
そして、前記演算回路２０２から出力された映像信号がＤ／Ａ変換器２０３によってアナログ信号に変換され、周知のＶＴＲ（映像信号記録装置）３０１に記録される。なお、ＶＴＲ３０１が、デジタル記録方式の場合には、前記Ｄ／Ａ変換器２０３は不要である。
【００２６】
次に、撮像素子１０３の動作を詳細に説明する。図２は、カメラ部１００のより詳細な構成を示すブロック図であり、図３はＮＴＳＣ信号を例にしカメラ部１００のタイミングチャートである。
【００２７】
図３において、フィールドインデックス（ＦＩ）信号は、１フレームを構成する奇数〈ＯＤＤ）フィールドと偶数（ＥＶＥＮ）フィールドとを区別するための信号である。
【００２８】
ＶＢＬＫ 信号は、垂直ブランキング信号であり、Ｈ（高）の期間が有効画面、Ｌ（低）の期間が垂直ブランキング期間に対応する。
Ｔｐｕｌｓｅ 信号は、撮像素子１０３の電荷蓄積時間を制御するための信号であり、例えば、ＣＣＤ撮像素子の場合には画素出力を垂直転送用ＣＣＤに読み出すためのパルスである。
【００２９】
アイリスゲート信号は、後述する自動露出のための基準となる映像信号として、１／１０００秒の蓄積信号か１／６０秒の蓄積信号のどちらを用いるかを指定する信号である。
【００３０】
図示の例では、垂直ブランキング期間の間に１／１０００秒の電荷蓄積を行い、次の有効期間にその１／１０００秒蓄積信号を出力する。そして、１／１０００秒蓄積期間の直後に実質１／６０秒の電荷蓄積を行い、次フィールドの有効画面期間にそのｌ／６０秒蓄積信号を出力する。このようにして、各フィールド毎に、２種類（１／１０００秒と１／６０秒）の光量の信号が交互に出力される。
【００３１】
図２において、２０はカメラ信号処理回路１０４からの信号（例えば映像信号）をＡ／Ｄ変換器２０１を介して受け、露出制御のための制御信号を演算する公知のＡＥ制御回路、２２は合点制御のための制御信号を出力する公知のＡＦ制御回路、２４は垂直ブランキング信号ＶＢＬＫ を２分周する１／２分周回路である。
【００３２】
また、２６、２７はサンプルホールド回路、２８はインバータ、２９、３０は１／２分周回路２４の出力またはインバータ２８によるその反転信号のどちらかでサンプリングタイミングを決定するかを選択するスイッチである。サンプルホールド回路２６、２７の出力は、絞り駆動回路１０６及び焦点駆動回路１０７にそれぞれ印加され、サンプルホールド回路２６、２７の出力に基づいて自動露出制御及び自動焦点調節制御等が実行される。
【００３３】
前記実施形態では、１／１０００秒と１／６０秒の組み合わせであり、約４段（１６倍）の光量変化である。このため、例えばＣＣＤ撮像素子を用いたカメラの場合、ＥＶＥＮフィールドで１／６０秒の蓄積時間を基準に主被写体に露出を合わせると、そのＥＶＥＮフィールドでは背景に「白とび」が生じやすいのに対し、光量を４段少なくしたＯＤＤフィールドでは主被写体で「黒つぶれ」が発生することが多い。なお、この例は逆光補正時に背景側に露出を合わせた場合を想定したもので、その場合の状況により１／１０００秒以外の蓄積時間に設定してもよい。
【００３４】
前記実施形態以外にも、近年ＶＯＤ方式の高速シャッター機能を有するＣＣＤが実用化されている。これは、ＣＣＤの基板の垂直方向に不要電荷を排出するもので、非常に細かなシャッタースピード設定が可能であり、主被写体と背景被写体の輝度差に応じて、制御回路１０８内のＡＥ制御回路２０の判断で最適なシャッタースピードを駆動回路１０５により設定することができる。
【００３５】
前述したように、本実施形態においては、一方のフィールドでの「白とび」及び「黒つぶれ」を積極的に利用して、画面の改善を行うようにしている。つまり、「白とび」または「黒つぶれ」の生じる部分については、他のフィールドの対応部分（露出が異なるので、「黒つぶれ」または「白とび」は生じていない。）で代替えし、両フィールドの映像信号を合成して最終的な映像信号とするようにしている。
【００３６】
その基本的な考え方を、図４を参照して説明する。図４では、主被写体を縦長の長方形で模式的に示している。図４でスルー（Ｔ）画とは撮像素子１０３の直接出力をいい、メモリ（Ｍ）画またはメモリ出力とは画像メモリ２０４に一旦記憶された直前フィールドの信号をいう。スルー画では、ＯＤＤフィールド毎に逆光時の主被写体が「黒つぶれ」になり、ＥＶＥＮフィールド毎に背景が「白とび」なっている。
【００３７】
また、メモリ画は、１フィールド期間遅延した信号ので、「白とび」と「黒つぶれ」はスルー画とは異なるフィールドで生じている。したがって、スルー画とメモリ画とを適切に組み合わせれば、「白とび」及び「黒つぶれ」のない良好な映像が得られることになる。つまり、スルー画及びメモリ画の信号を各フィールド毎に所定の閾値と比較して、当該閾値より大きければ１、小さければ０として、画素毎に「白とび」または「黒つぶれ」を判定する。
【００３８】
図６は、その閾値と、画素の輝度値、フィールドとの関係を示す。図６（ａ）の横軸は輝度レベル、縦軸は１画面中の各輝度レベルの出現頻度を示している。図６（ａ）に示すように、第１の閾値Ｔｈ１は「黒つぶれ」を判定できるように設定され、第２の閾値Ｔｈ２は「白とび」を判定できるように設定される。すなわち、第１の閾値Ｔｈ１以下の輝度が「黒つぶれ」と判定され、第２の閾値Ｔｈ２以上の輝度が「白とび」と判定される。
【００３９】
図６（ｂ）は、各フィールドと閾値との関係を示す。前記の如くＯＤＤフィールドとＥＶＥＮフィールドでは「白とび」と「黒つぶれ」とが交互するので、その判定用の閾値もフィールド毎に変更する。
【００４０】
このようにして、どのフィールドのどの画素が「黒つぶれ」または「白とび」であるかを判定できるので、その判定結果を用いることにより、スルー画とメモリ画とで適正な露光量の画素信号を選択することができる。例えば、判定Ａと判定Ｂの論理積をとり、ＯＤＤフィールドでは、論理積が１である画素に対してはスルー画の選択を行うようにする。また、論理積が０である画素に対してはメモリ画の選択を行うようにし、ＥＶＥＮフィールドではその逆の関係となるようにすることにより、図４に示すような選択フラグが得られる。
【００４１】
図４の最下段の絵は、その選択フラグによる合成画を示す。この図では、主被写体が等速度運動を行った場合を想定し、時間軸ずれが画像に及ぼす影響を確認したが、実用上十分な動画になり得ることが分かる。
【００４２】
図５は、処理部２００の演算回路２０２において、前記第１および第２の閾値Ｔｈ１、Ｔｈ２との比較及び選択フラグを形成する回路部分の詳細な構成を示しブロック図である。Ｔｈ切替制御信号は、ＦＩ信号などのように、フィールド毎に「Ｈ」、「Ｌ」が反転する信号であり、第１の閾値発生回路５３に印加されるとともに、インバータ５１を介して第２の閾値発生回路５２に印加される。
【００４３】
第１および第２の閾値発生回路５２、５３はその切替信号に応じて、図６（ｂ）の関係の第１の閾値Ｔｈ１または第２の同Ｔｈ２を発生する。また、比較回路５４、５５はメモリ画、スルー画と閾値発生回路５２、５３からの閾値とを夫々比較し、判定結果としてのＡ及びＢの判定信号を出力する。
【００４４】
アンドゲート５６は、入力される判定Ａ信号と判定Ｂ信号との論理積をとり、選択フラグ信号を出力する。
スイッチ５７は、前記選択フラグ信号に従って切り替え動作を行い、メモリ画またはスルー画の信号を選択して出力する。
【００４５】
図７に階調特性図を示す。図７（ａ）の実線が通常のビデオカメラの特性図であり、１００％までは入出力がリニアになっている。そして、それ以上の入力（１００〜４００％）に対しては、ＫＮＥＥ特性と呼ばれる傾きの緩い関係となっている。この変化点をＰ１とすると、高速シャッタ時にはこの変化点がＰ２の位置に移行する。但し、Ｐ１が１／６０秒で、Ｐ２が２段の露光量変化の１／２５０秒であるとする。
【００４６】
前述したように、４段の差がある場合には、図７（ｄ）の（１）と（５）の関係になる。因みに、図７（ｄ）の（１）は１／６０秒、（２）は１／１２５秒、（３）は１／２５０秒、（４）は１／５００秒、（５）は１／１０００秒とした場合の特性図である。傾きの違う２つの特性から、好みのカーブを持つ特性を合成することができる。
【００４７】
図７（ｂ）は、「白とび」及び「黒つぶれ」判定の閾値が異なる場合の合成特性例を示している。
図７（ｃ）は、対応する２つの画素の信号を加算平均して出力とする場合（同（１））、一方を選択する場合（同（２））、及び適当な係数のもとで加算平均する場合（同（３））の各特性を示している。
【００４８】
前記の例では、１秒間に実質３０枚の時間分解能となり、フレーム蓄積ＣＣＤ撮像素子などと同等になる。そこで、フィールド蓄積ＣＣＤ撮像素子と同程度の時間分解能を実現すべく、１フィールドに２枚の画面を取り込む例を説明する。その構成例の変更部分を図９に示し、タイミングチャートを図８に示す。
【００４９】
原理的には、通常のビデオレートより速い速度で撮像素子１０３の信号を読みだし、それを時間軸変換して通常レートに戻す。第１および第２のフィールドメモリ９０、９１は各々１フィールド分の画像情報に相当する記憶容量を有しており、第１のフィールドメモリ９０では１／１２０秒読み出しと同時化するために１／１０００秒蓄積信号の遅延を行う。第２のフィールドメモリ９１では、１／１２０秒単位の映像信号を１／６０秒単位のＮＴＳＣ信号に変更するために２倍の時間伸長処理を行う。
【００５０】
図９中の（ａ）〜（ｄ）は、図８の信号（ａ）〜（ｄ）に対応している。このような動作が可能な撮像素子１０３としては、ＸＹアドレス方式のＭＯＳ固体撮像素子が考えられる。
【００５１】
次に、制御回路１０８のその他の詳細例を図１０に示す。マスタークロック発生器４０は外部からの基準信号に従い、制御回路１０８内部用のマスタクロックを発生する。
【００５２】
１／１０００秒シャター用のクロック発生器４１は、マスタークロック発生器４０から入力されるマスタークロックに従い高速用クロックを発生する。また、１／６０秒シャッター用のクロック発生器４２はマスタークロック発生器４０から入力されるマスタークロックに従い低速用クロックを発生する。
【００５３】
スイッチ４５はフィールド毎に切り替わり、クロック発生器４１及び同４２の出力を駆動回路１０５に交互に印加する。
ＡＥ制御信号発生器４３は、カメラ信号処理回路１０４からの映像信号を基に、絞り制御のためのＡＥ制御信号を発生する。制御信号保持回路４４はその制御信号を１フィールド期間保持する。
【００５４】
スイッチ４６は、フィールド毎に切り替わり、ＡＥ制御信号発生器４３の出力及び制御信号保持回路４４による保持信号を交互に絞り制御回路１０６に印加する。切替信号発生器４７は、スイッチ４５、４６の切り替えを制御する。スイッチ４５、４６は同期して切り替わるようになされている。
【００５５】
なお、前記の例では、低速用、高速用に夫々クロック発生器を設け、そのクロックを、フィールド毎の信号を発生する切替信号発生器の出力信号により切り替えているので、回路構成及び動作が簡単になるという効果があり、特に動画に適している。
【００５６】
また、以上の説明では、シャッタースピードを変化させることで異なる露光量の画面を生成したが、高速の絞り装置を用意できる場合には、その絞りを高速で変化させても良く、また、例えばＰＬＺＴなどのような空間光変調素子を用いた減光フィルタを電気的に制御する方式で実現しても良い。
【００５７】
以上、説明してきたように、本実施形態においては、様々な演算処理が考えられるが、簡単な処理で効果の高い単純加算による画面合成を例にとり、以下に説明する。
【００５８】
図１１は、画面ぶれの概念図で、２画面（ＯＤＤフィールド画面とＥＶＥＮフィールド画面）の被写体に対する画面（撮像素子１０３）の位置ずれを示している（図１１−ａ）。
【００５９】
ＯＤＤ画面とＥＶＥＮ画面の共通部分（共通エリア）の左上部を、メモリ読み出し開始点Ｐとすると、ＯＤＤ画面に対しては、図１１−ｂで示すＰＯＤＤ 点、ＥＶＥＮ画面に対しては、図１１−ｃで示すＰＥＶＥＮ点が画像メモリよりの読み出し開始点となり、ＯＤＤとＥＶＥＮの共通エリアに関して、ずれのない映像信号の生成が可能となる。
【００６０】
図１の構成を本実施形態に合わせて具体化したものが図１２に示す構成図である。
図１２において、入力された映像信号はＡ／Ｄ変換器２０１にてデジタル信号化され、第１のフィールドメモリ２０４ａと動きベクトル検出回路２０６へそれぞれ供給される。
【００６１】
第１のフィールドメモリ２０４ａの出力は、動きベクトル検出回路２０６の他の入力端子へ供給される。動きベクトル検出回路２０６は、１フィールド時間差の２つの映像信号から各画素の動き情報を検出し、この情報から画面ぶれ情報を算出し、画面ぶれ補正信号を生成する。この画面ぶれ補正信号は、メモリ制御回路２０５に供給され、このメモリ制御回路２０５は、画面ぶれ補正信号を基に第１のフィールドメモリ２０４ａを制御する。
【００６２】
動きベクトル検出回路２０６で生成された画面ぶれ補正信号は動きベクトル比較回路２０７にも与えられる。前記動きベクトル比較回路２０７は、閾値発生回路６１、比較回路６２及びアドレス変換回路６３等により構成されており、前記動きベクトル検出回路２０６から出力される画面ぶれ情報は閾値発生回路６１及び比較回路６２に供給され、前記閾値発生回路６１において被写体の動き判定用の閾値を発生させ、これを比較回路６２に出力する。
【００６３】
比較回路６２では、前記閾値と各画素の動き情報とを比較することによって、各画素の動きが手ぶれによるものか、手ぶれ以外の動きによるものかを判定する。言い換えれば、被写体自身の動きか否かを判定し、手ぶれ以外の動きと判定された画素に対応するアドレスをアドレス変換回路６３に出力する。
【００６４】
アドレス変換回路６３では、拡大補間回路２０２ａからの補間情報によって、手ぶれ以外の動きと判定された画素に対応するアドレスを拡大補間後のアドレスに変換し、後述する画面合成時に、前記画素の合成を禁止し、前記画素が適正露出になっているフィールドの前記画素を選択するための選択信号を生成し、後段の選択器２０２ｃに供給する。
【００６５】
図１１（ａ）で示した共通エリア部分が第１のフィールドメモリ２０４ａより出力され、この信号が次段の拡大補間回路２０２ａにて、入力信号と同様の信号形態（例えばＮＴＳＣ信号）に戻される。
【００６６】
共通エリア部分が小さいほど、この処理での拡大率は大きくなる。どのような拡大率であっても、画像信号は元の形態に戻されてから加算器２０２ｂ経由で、第２のフィールドメモリ２０４ｂに格納される。
【００６７】
第２のフィールドメモリ２０４ｂに格納された画像信号がＯＤＤ画面の信号とすると、次のフィールド期間にはＥＶＥＮ画面の信号が拡大補間回路２０２ａより出力され、加算器２０２ｂにて対応する画素データが加算される。
【００６８】
加算された信号は選択器２０２ｃのＡ端子を経由し、さらに選択器２０９のＥＶＥＮ端子経由でＤ／Ａ変換器２０３へ供給される。その一方で、この加算信号は選択器２０２ｃのＡ端子を経由し、フィールドメモリ２０４ｂにも格納され、次フィールドのＯＤＤ期間にはＲＥＡＤ−ＭＯＤＩＦＹ−ＷＲＩＴＥ動作で、選択器２０９のＯＤＤ端子経由で同一画面をＤ／Ａ変換器２０３へ供給しつつ、新たなＯＤＤ画面情報をフィールドメモリ２０４ｂへ格納してゆく。
【００６９】
この時、スイッチ２０８はＯＤＤで開、ＥＶＥＮで閉として、新たなＯＤＤ画面情報をメモリに書き込む時には、加算器２０２ｂがスルーとなるように切り替える。
【００７０】
また、選択器２０２ｃのＡ端子には前述した加算信号、Ｏ端子にはフィールドメモリ２０４ｂから出力されるＯＤＤ画面情報、Ｅ端子にはＥＶＥＮ画面情報が供給される。そして、動きベクトル比較回路２０７からの選択信号により、手ぶれと判定された画素については加算信号、手ぶれ以外の動きと判定された画素については、ＯＤＤ画面情報もしくはＥＶＥＮ画面情報のうち適正露出となる画像情報を選択し、次段の選択器２０７及びフィールドメモリ２０４ｂに供給する。このようにして生成された信号は、Ｄ／Ａ変換器２０３より入力信号と同様のアナログ信号として出力される。
【００７１】
前記の処理の時間的な関係を図１３のタイミングチャートに示す。
図１３のタイミングチャートにおいて、ＡはＯＤＤ、ＥＶＥＮフィールドの判別信号であり、拡大補間回路２０２ａの出力タイミングである。
【００７２】
Ｂはスイツチ２０８の開閉タイミングを示しており、加算器２０２ｂは、このスイッチ２０８の開閉により機能が変化し、スイッチ２０８が開の場合には、信号を素通りさせ、スイッチ２０８が閉の場合には加算器として働く。
【００７３】
Ｃは第２のメモリ２０４ｂへの書き込みタイミングを示したものであり、ＡにおけるＯＤＤ期間はそのままＯＤＤ画面を書き込む。また、ＡにおけるＥＶＥＮ期間は、ＲＥＡＤ一ＭＯＤＩＦＹ−ＷＲＩＴＥ動作により、選択器２０２ｃで選択された画像情報を、同一アドレスに再度書き込む処理を行う。
【００７４】
Ｄは選択器２０７の端子切り替えのタイミングを示したものであり、ｔ１期間におけるＯＤＤ画面情報と、ｔ２期間のＥＶＥＮ画面情報によって生成された合成画像情報は、Ｄにおけるｔ２期間に出力され、更に、ｔ３期間にも同一情報が再度読み出されて出力される。
【００７５】
なお、生成された合成画像において、手ぶれ以外の動きと判定された画素については、ＯＤＤ画面情報もしくはＥＶＥＮ画面情報のうち、適正露出となる画像情報を選択するため、前記画像の時間軸ずれが懸念されるが、これについては、画面合成の演算処理の一例として図４を用いて説明したように、実用上問題がないといえる。
【００７６】
前述のように、本実施形態では２フィールド期間を単位時間として処理が完了する。因みに、ＯＤＤフィールドとＥＶＥＮフィールドとでライン補間処理を切り換え、インタレース対応にして、いわゆる画面妨害を低減することも可能である。この妨害低減のためには、第２のフィールドメモリ２０４ｂと選択器２０９の間の点Ｑにライン補間回路を挿入すると良い。
【００７７】
なお、本発明は、その趣旨を逸脱しない範囲で前記実施形態を修正または変形したものに適用可能である。
【００７８】
（本発明の他の実施形態）
本発明は複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。
【００７９】
また、前述した実施形態の機能を実現するように各種のデバイスを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００８０】
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８１】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００８２】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、露光量を異ならせて複数の画面を順次撮像して、これらの複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する際に、前記複数の画面内の各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差が、予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにしたので、ダイナミックレンジを実質的に広くすることができ、例えば、逆光の場合であっても、主被写体のみならず背景も、適正な露光量の画像を得ることができる。また、動きの大きな被写体や手ぶれ等のために発生した画面ぶれを有する映像信号に対しても、被写体が２重や３重になることがなくて実用的なダイナミックレンジ拡大処理を施すことができる。
【図面の簡単な説明】
【図１】本発明の実施形態を適用したカメラー体型ＶＴＲの構成図である。
【図２】図１のカメラ部の制御回路の具体的な構成を示すブロック図である。
【図３】撮像素子の動作を説明するタイミングチャートである。
【図４】本実施形態による画像処理の概念を説明する図である。
【図５】図１の演算回路の具体的な構成を示すブロック図である。
【図６】「白とび」及び「黒とび」判定の閾値の決定方法を説明する図である。
【図７】階調特性を示す図である。
【図８】撮像素子の動作を説明するタイミングチャートである。
【図９】カメラ部の一部の構成を示すブロック図である。
【図１０】図１における制御回路の一例を示すブロック図である。
【図１１】画面ぶれの概念を説明する図である。
【図１２】図１の構成を具体化した例を示すブロック図である。
【図１３】実施形態の撮像装置の動作を示すタイミングチャートである。
【符号の説明】
１００ カメラ部
１０１ 光学系
１０２ 絞り
２００ 処理部
３００ 記録部
Claims (9)
- 露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、
前記複数の画面内の各画素間の動きベクトルを検出するとともに、前記検出した各画素間の動きベクトルと前記複数の画面間の動きベクトルとの差を検出し、前記検出結果が予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにすることを特徴とする撮像方法。 - 露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、
前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出処理と、
前記動きベクトル検出処理によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出処理と、
前記差検出処理の検出結果と、予め定められた閾値とを比較する動きベクトル比較処理と、
前記動きベクトル比較処理の比較結果が、前記予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにする画素合成禁止処理とを行うことを特徴とする撮像方法。 - 露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像方法において、
前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出処理と、
前記動きベクトル検出処理によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出処理と、
前記差検出処理の検出結果と、予め定められた閾値とを比較する動きベクトル比較処理と、
前記動きベクトル比較処理の比較結果が、前記予め定められた閾値より小さい場合に、前記複数の画面を撮像する時の時間が異なることにより生じる画面間のずれに対応して、前記複数の画面の座標変換を行う座標変換処理と、
前記座標変換処理によってぶれが補正された複数の画面を一つの画面に合成する画面合成処理とを行うことを特徴とする撮像方法。 - 前記露光量を異ならせるためにシャッタースピードを変化させることを特徴とする請求項１〜３の何れか１項に記載の撮像方法。
- 前記露光量を異ならせるために絞りを高速で変化させることを特徴とする請求項１〜３の何れか１項に記載の撮像方法。
- 露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像装置において、
前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出手段と、
前記差検出手段の検出結果と、予め定められた閾値とを比較する動きベクトル比較手段と、
前記動きベクトル比較手段の比較結果が、前記予め定められた閾値よりも大きい場合にはその画素の合成を行わないようにする画素合成禁止手段とを行うことを特徴とする撮像装置。 - 露光量を異ならせて順次撮像した複数の画面を一つに合成して映像信号のダイナミックレンジを見かけ上拡大する撮像装置において、
前記複数の画面内の各画素間の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段によって検出された動きベクトルと、前記複数の画面間の動きベクトルとの差を検出するベクトル差検出手段と、
前記差検出手段の検出結果と、予め定められた閾値とを比較する動きベクトル比較手段と、
前記動きベクトル比較手段の比較結果が、前記予め定められた閾値より小さい場合に、前記複数の画面を撮像する時の時間が異なることにより生じる画面間のずれに対応して、前記複数の画面の座標変換を行う座標変換手段と、
前記座標変換手段によってぶれが補正された複数の画面を一つの画面に合成する画面合成手段とを具備することを特徴とする撮像装置。 - 前記露光量を異ならせるためにシャッタースピードを変化させることを特徴とする請求項６または７の何れか１項に記載の撮像装置。
- 前記露光量を異ならせるために絞りを高速で変化させることを特徴とする請求項６または７の何れか１項に記載の撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04569897A JP3630905B2 (ja) | 1997-02-28 | 1997-02-28 | 撮像方法及び撮像装置 |
| US09/031,767 US6952234B2 (en) | 1997-02-28 | 1998-02-27 | Image pickup apparatus and method for broadening apparent dynamic range of video signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04569897A JP3630905B2 (ja) | 1997-02-28 | 1997-02-28 | 撮像方法及び撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10243288A JPH10243288A (ja) | 1998-09-11 |
| JP3630905B2 true JP3630905B2 (ja) | 2005-03-23 |
Family
ID=12726607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04569897A Expired - Fee Related JP3630905B2 (ja) | 1997-02-28 | 1997-02-28 | 撮像方法及び撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6952234B2 (ja) |
| JP (1) | JP3630905B2 (ja) |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000050151A (ja) * | 1998-07-28 | 2000-02-18 | Olympus Optical Co Ltd | 撮像装置 |
| JP4245699B2 (ja) | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
| JP2000224470A (ja) * | 1999-02-02 | 2000-08-11 | Minolta Co Ltd | カメラシステム |
| JP4284570B2 (ja) * | 1999-05-31 | 2009-06-24 | ソニー株式会社 | 撮像装置及びその方法 |
| US6778210B1 (en) * | 1999-07-15 | 2004-08-17 | Olympus Optical Co., Ltd. | Image pickup apparatus with blur compensation |
| US7193652B2 (en) * | 1999-08-17 | 2007-03-20 | Applied Vision Systems, Inc. | Dynamic range video recording and playback system and method |
| KR100316717B1 (ko) * | 1999-10-05 | 2001-12-20 | 윤종용 | 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법 |
| CN1276646C (zh) * | 1999-11-22 | 2006-09-20 | 松下电器产业株式会社 | 固态成象设备 |
| JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
| JP3886769B2 (ja) * | 2001-10-26 | 2007-02-28 | 富士通株式会社 | 補正画像生成装置および補正画像生成プログラム |
| US7379094B2 (en) * | 2002-04-18 | 2008-05-27 | Olympus Corporation | Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range |
| JP2004048345A (ja) * | 2002-07-11 | 2004-02-12 | Niles Co Ltd | 撮像システム |
| US7409104B2 (en) * | 2002-07-18 | 2008-08-05 | .Sightic Vista Ltd | Enhanced wide dynamic range in imaging |
| US20050219642A1 (en) * | 2004-03-30 | 2005-10-06 | Masahiko Yachida | Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system |
| US8497927B2 (en) * | 2004-07-01 | 2013-07-30 | Broadcom Corporation | Method for using wide dynamic range sensor in low light conditions |
| KR101029071B1 (ko) * | 2004-09-09 | 2011-04-18 | 삼성전자주식회사 | 감지 휘도 범위를 넓히기 위한 디지털 촬영 장치의 제어방법, 및 이 방법을 채용한 디지털 촬영 장치 |
| US8050511B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
| JP4379408B2 (ja) | 2004-12-07 | 2009-12-09 | セイコーエプソン株式会社 | 信号処理部および撮像装置 |
| US7561731B2 (en) * | 2004-12-27 | 2009-07-14 | Trw Automotive U.S. Llc | Method and apparatus for enhancing the dynamic range of a stereo vision system |
| JP4631558B2 (ja) * | 2005-06-22 | 2011-02-16 | 株式会社ニコン | 撮像装置および画像処理プログラム |
| EP1914982A1 (en) * | 2005-07-19 | 2008-04-23 | Sharp Kabushiki Kaisha | Imaging device |
| JP4640068B2 (ja) * | 2005-09-16 | 2011-03-02 | ソニー株式会社 | 撮像方法および撮像装置 |
| TWI271998B (en) * | 2005-09-21 | 2007-01-21 | Inventec Appliances Corp | Image processing method and apparatus thereof |
| JP4671430B2 (ja) * | 2006-06-02 | 2011-04-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
| JP4757113B2 (ja) * | 2006-06-26 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法、情報処理装置、印刷装置、印刷データ生成方法 |
| JP4750854B2 (ja) | 2006-09-14 | 2011-08-17 | 富士通株式会社 | 画像処理方法および装置とそのプログラム |
| JP4806329B2 (ja) * | 2006-10-23 | 2011-11-02 | 三洋電機株式会社 | 撮像装置及び撮像方法 |
| KR20080076004A (ko) * | 2007-02-14 | 2008-08-20 | 삼성전자주식회사 | 촬상장치 및 그 다이나믹 레인지 확장방법 |
| US20080198235A1 (en) * | 2007-02-16 | 2008-08-21 | Shou-Lung Chen | High dynamic range image recorder |
| JP5163031B2 (ja) * | 2007-09-26 | 2013-03-13 | 株式会社ニコン | 電子カメラ |
| JP5133921B2 (ja) * | 2009-03-03 | 2013-01-30 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
| DE102009001518B4 (de) * | 2009-03-12 | 2011-09-01 | Trident Microsystems (Far East) Ltd. | Verfahren zur Erzeugung einer HDR-Videobildfolge |
| DE102009001521B4 (de) * | 2009-03-12 | 2012-12-27 | Entropic Communications, Inc. | Verfahren zur Erzeugung einer HDR-Videobildfolge |
| JP5257375B2 (ja) * | 2009-03-13 | 2013-08-07 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| CN101867727B (zh) | 2009-04-16 | 2011-12-07 | 华为技术有限公司 | 一种视频处理方法及装置 |
| JP5412953B2 (ja) | 2009-05-20 | 2014-02-12 | リコーイメージング株式会社 | 撮像装置 |
| JP2010273038A (ja) * | 2009-05-20 | 2010-12-02 | Hoya Corp | 撮像装置 |
| KR101614914B1 (ko) * | 2009-07-23 | 2016-04-25 | 삼성전자주식회사 | 모션 적응적 고대비 영상 획득 장치 및 방법 |
| KR101604068B1 (ko) * | 2009-09-22 | 2016-03-17 | 삼성전자주식회사 | 고대비 영상 생성 장치 및 방법 |
| KR101633460B1 (ko) * | 2009-10-21 | 2016-06-24 | 삼성전자주식회사 | 다중 노출 제어 장치 및 그 방법 |
| KR20110043833A (ko) * | 2009-10-22 | 2011-04-28 | 삼성전자주식회사 | 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치 |
| US8368771B2 (en) * | 2009-12-21 | 2013-02-05 | Olympus Imaging Corp. | Generating a synthesized image from a plurality of images |
| WO2012015359A1 (en) * | 2010-07-26 | 2012-02-02 | Agency For Science, Technology And Research | Method and device for image processing |
| EP2606637B1 (en) | 2010-08-23 | 2016-09-21 | Red.Com, Inc. | High dynamic range video |
| JP5791336B2 (ja) | 2011-04-01 | 2015-10-07 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| KR101843450B1 (ko) * | 2011-08-23 | 2018-03-29 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
| JP5858744B2 (ja) * | 2011-11-21 | 2016-02-10 | キヤノン株式会社 | 撮像装置及びカメラシステム |
| US20130207981A1 (en) * | 2012-02-09 | 2013-08-15 | Honeywell International Inc. | Apparatus and methods for cursor animation |
| US9955084B1 (en) | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
| TWI472867B (zh) * | 2013-07-17 | 2015-02-11 | Vivotek Inc | 具光圈偵測功能的網路攝影機及光圈偵測方法 |
| US10567671B2 (en) | 2014-03-18 | 2020-02-18 | Sony Corporation | Image processing apparatus and image processing method |
| US10277771B1 (en) | 2014-08-21 | 2019-04-30 | Oliver Markus Haynold | Floating-point camera |
| US10225485B1 (en) | 2014-10-12 | 2019-03-05 | Oliver Markus Haynold | Method and apparatus for accelerated tonemapping |
| CN112543286A (zh) * | 2020-11-27 | 2021-03-23 | 展讯通信（上海）有限公司 | 一种用于终端的图像生成方法及装置、存储介质、终端 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4272787A (en) * | 1978-09-07 | 1981-06-09 | Micro Consultants Limited | T.V. Picture freeze system |
| US5162914A (en) * | 1987-06-09 | 1992-11-10 | Canon Kabushiki Kaisha | Image sensing device with diverse storage fumes used in picture composition |
| EP0366136B1 (en) * | 1988-10-27 | 1995-03-22 | Canon Kabushiki Kaisha | Image sensing and processing device |
| JP3052250B2 (ja) * | 1990-01-05 | 2000-06-12 | キヤノン株式会社 | 画像ぶれ補正装置 |
| KR930010618B1 (ko) * | 1990-10-31 | 1993-10-30 | 주식회사 금성사 | 캠코더의 흔들림 녹화방지 제어방식 |
-
1997
- 1997-02-28 JP JP04569897A patent/JP3630905B2/ja not_active Expired - Fee Related
-
1998
- 1998-02-27 US US09/031,767 patent/US6952234B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10243288A (ja) | 1998-09-11 |
| US6952234B2 (en) | 2005-10-04 |
| US20030133035A1 (en) | 2003-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3630905B2 (ja) | 撮像方法及び撮像装置 | |
| JP3110797B2 (ja) | 撮像方法及び撮像画面合成装置 | |
| US5638118A (en) | Image sensing device with diverse storage times used in picture composition | |
| US5162914A (en) | Image sensing device with diverse storage fumes used in picture composition | |
| EP1156673A2 (en) | Image input apparatus | |
| JP2000050173A (ja) | 撮像装置および撮像プログラムを記録した記録媒体 | |
| JP2002314873A (ja) | 撮像装置用回路及び撮像用信号処理方法 | |
| KR20080017092A (ko) | 촬상 장치, 촬상 제어 방법 및 컴퓨터로 판독 가능한 기록매체 | |
| JPH0797841B2 (ja) | 撮像装置 | |
| JP2007027845A (ja) | 撮像装置 | |
| JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
| JP2749849B2 (ja) | 撮像装置 | |
| JP2008136113A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JPH0817455B2 (ja) | 撮像装置 | |
| JP2002314885A (ja) | 撮像装置 | |
| JP2000299810A (ja) | 撮像装置 | |
| JP2521986B2 (ja) | 撮像装置 | |
| JP2001069400A (ja) | 撮像装置 | |
| JP2715464B2 (ja) | 撮像装置 | |
| JPH0787372A (ja) | 撮像装置 | |
| JP2007060577A (ja) | 撮像装置 | |
| JP2877523B2 (ja) | 電子ビューファインダを有するビデオカメラ | |
| JP6797566B2 (ja) | 撮像装置、撮像装置の制御方法、および、画像処理装置 | |
| JP3284584B2 (ja) | 多重露光カメラ | |
| JP2002247445A (ja) | 映像信号処理装置及び映像信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041215 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |