JP3740394B2 - 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 - Google Patents
高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 Download PDFInfo
- Publication number
- JP3740394B2 JP3740394B2 JP2001227008A JP2001227008A JP3740394B2 JP 3740394 B2 JP3740394 B2 JP 3740394B2 JP 2001227008 A JP2001227008 A JP 2001227008A JP 2001227008 A JP2001227008 A JP 2001227008A JP 3740394 B2 JP3740394 B2 JP 3740394B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- image
- imaging
- long
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 291
- 238000003384 imaging method Methods 0.000 claims description 297
- 230000008569 process Effects 0.000 claims description 146
- 230000002194 synthesizing effect Effects 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 24
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 27
- 230000009977 dual effect Effects 0.000 description 17
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 12
- 239000000284 extract Substances 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 12
- 230000009466 transformation Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 208000037004 Myoclonic-astatic epilepsy Diseases 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000000874 microwave-assisted extraction Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229940028444 muse Drugs 0.000 description 1
- GMVPRGQOIOIIMI-DWKJAMRDSA-N prostaglandin E1 Chemical compound CCCCC[C@H](O)\C=C\[C@H]1[C@H](O)CC(=O)[C@@H]1CCCCCCC(O)=O GMVPRGQOIOIIMI-DWKJAMRDSA-N 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ダイナミックレンジの高い被写体を白トビや黒つぶれなく映像にする高ダイナミックレンジ映像の生成方法および生成装置に関するものであり、主な利用分野として映像産業や計測産業があげられる。
【０００２】
【従来の技術】
映像を記録するには様々な方法があるが、今日ではＣＣＤを用いた撮像装置が広く使われている。しかし、ＣＣＤは銀塩フィルム等に比べると明暗のダイナミックレンジが小さい欠点があった。これに対して撮像時間を可変に制御できる電子シャッタ付きのＣＣＤを用いて短時間撮像と長時間撮像を交互に繰り返し、隣り合う２画像から高ダイナミックレンジ映像を生成する方法や装置が提案されている。例えば、特開昭６３−３０６７７９号や特開平６−１４１２２９号の技術がこれに該当する。
【０００３】
【発明が解決しようとする課題】
しかしながら、図１（ａ）の１１に示すように両方法とも、２フレームの原画像から１フレームの画像を合成するためにフレームレートが半減してしまい、滑らかな動きの動画映像が生成できない欠点があった。特開平６−１４１２２９号では実質倍速で動作する専用ＣＣＤを開発してこの問題を解決しているが、この方法では汎用のＣＣＤを使えないため汎用性やコストに問題がある。また、ＣＣＤの画素数が増大すると倍速動作そのものが技術的に困難となるため、ＨＤＴＶやＵＤＴＶ等の高解像度映像には適用できない問題もある。
【０００４】
また、静止画撮影ではなく動画撮影する場合には、動く被写体の高輝度領域または低輝度領域の位置、形状が時間と共に変動するが、従来の方法では異なる時刻に撮像された画像をそのまま合成しているため、合成部の輪郭領域において偽信号の発生による画質劣化が生じてしまう問題がある。特開平６−１４１２２９号では２枚の画像を輝度値に応じて徐々に混合することにより画質劣化が視覚的に目立たないよう工夫しているが、根本的な解決方法とはなっていない。
【０００５】
本発明は、上記従来の技術の問題点を解決するために為されたものであり、原画像と同フレームレートで高ダイナミックレンジ映像を生成できる方法及び装置を提供することを課題とする。さらに、その生成の際に、映像の切り替わり点や、画像内容がフレーム間で不連続的に変化する場合にも、高品質の高ダイナミックレンジ映像を生成できる方法及び装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するための手段として、本発明の請求項１では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する方法において、長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ａと、短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｂの異なる２つの合成過程とを有し、長時間撮像時刻における画像については過程Ａを実行し、短時間撮像時刻における画像については過程Ｂを実行し、
過程Ａにおいて、長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する過程Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、２領域の輪郭線のパターンマッチングを行う過程とを有し、過程Ｃにより長時間撮像画像を領域Ｘとそれ以外の領域Ｘ-に分離し、過程Ｄにより直後または直前の短時間撮像画像から領域Ｙを抜き出し、パターンマッチングを行う過程により領域Ｙの位置、形状を領域Ｘの位置、形状に合わせた後で画素の輝度値の倍率補正を行った後に、領域Ｘ-と合成することによって、長時間撮像と直後または直前の短時間撮像の２画像から長時間撮像時刻における画像を合成することを特徴とする高ダイナミックレンジ映像の生成方法を用いる。
【０００８】
また、本発明の請求項２では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する方法において、長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ａと、短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｂの異なる２つの合成過程とを有し、長時間撮像時刻における画像については過程Ａを実行し、短時間撮像時刻における画像については過程Ｂを実行し、
過程Ｂにおいて、長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する過程Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、２領域の輪郭線のパターンマッチングを行う過程とを有し、過程Ｄにより短時間撮像画像を領域Ｙとその他の領域Ｙ-に分離し、過程Ｃにより直後または直前の長時間撮像画像を領域Ｘとその他の領域Ｘ-に分離し、パターンマッチングを行う過程により領域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせた後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直後または直前の長時間撮像の２画像から短時間撮像時刻における画像を合成することを特徴とする高ダイナミックレンジ映像の生成方法を用いる。
【０００９】
また、本発明の請求項３では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する方法において、長時間撮像と直前の短時間撮像と直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｅと、短時間撮像と直前の長時間撮像と直後の長時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｆの異なる２つの合成過程とを有し、長時間撮像時刻における画像については過程Ｅを実行し、短時間撮像時刻における画像については過程Ｆを実行することを特徴とする高ダイナミックレンジ映像の生成方法を用いる。
【００１０】
また、本発明の請求項４では、過程Ｅでは、長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する過程Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、２領域の画像のパターンマッチングを行う過程とを有し、過程Ｃにより長時間撮像の画像を領域Ｘとそれ以外の領域Ｘ-に分離し、過程Ｄにより直前の短時間撮像の画像から領域Ｙ１を切り出し、過程Ｄにより直後の短時間撮像の画像から領域Ｙ２を切り出し、２領域の画像のパターンマッチングを行う過程により２領域である領域Ｙ１と領域Ｙ２から長時間撮像時刻における中間画像Ｙ３を生成し、中間画像Ｙ３から領域Ｘと位置的に重なる領域を切り出し、画素の輝度値の倍率補正を行った後で、領域Ｘ-と合成することによって、長時間撮像と直前の短時間画像と直後の短時間撮像の３画像から長時間撮像時刻における画像を合成することを特徴とする請求項３に記載の高ダイナミックレンジ映像の生成方法を用いる。
【００１１】
また、本発明の請求項５では、過程Ｆでは、長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する過程Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、２領域の画像のパターンマッチングを行う過程とを有し、過程Ｄにより短時間撮像の画像を領域Ｙとその他の領域Ｙ-に分離し、過程Ｃにより直前の長時間撮像の画像を領域Ｘ１とその他の領域Ｘ１-に分離し、過程Ｃにより直後の長時間撮像の画像を領域Ｘ２とその他の領域Ｘ２-に分離し、２領域の画像のパターンマッチングを行う過程により２領域である領域Ｘ１-と領域Ｘ２-から短時間撮像時刻における中間画像Ｘ３-を生成し、中間画像Ｘ３-から領域Ｙ-と位置的に重なる領域を切り出した後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直前の長時間撮像と直後の短時間撮像の３画像から短時間撮像時刻における画像を合成することを特徴とする請求項３に記載の高ダイナミックレンジ映像の生成方法を用いる。
【００１４】
また、本発明の請求項６では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する装置において、長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ａと、短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｂの異なる２つの合成器とを有し、長時間撮像時刻における画像については合成器Ａを用い、短時間撮像時刻における画像については合成器Ｂを用い、
合成器Ａは、長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する検出器Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、２領域の輪郭線のパターンマッチングを行うパターンマッチング器とを有し、検出器Ｃを用いて長時間撮像画像を領域Ｘとそれ以外の領域Ｘ-に分離し、検出器Ｄを用いて直後または直前の短時間撮像画像から領域Ｙを抜き出し、該パターンマッチング器を用いて領域Ｙの位置、形状を領域Ｘの位置、形状に合わせた後で画素の輝度値の倍率補正を行った後に、領域Ｘ-と合成することによって、長時間撮像と直後または直前の短時間撮像の２画像から長時間撮像時刻における画像を合成するものであることを特徴とする高ダイナミックレンジ映像の生成装置を用いる。
【００１５】
また、本発明の請求項７では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する装置において、長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ａと、短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｂの異なる２つの合成器とを有し、長時間撮像時刻における画像については合成器Ａを用い、短時間撮像時刻における画像については合成器Ｂを用い、
合成器Ｂは、長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する検出器Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、２領域の輪郭線のパターンマッチングを行うパターンマッチング器とを有し、検出器Ｄを用いて短時間撮像画像を領域Ｙとその他の領域Ｙ-に分離し、検出器Ｃを用いて直後または直前の長時間撮像画像を領域Ｘとその他の領域Ｘ-に分離し、該パターンマッチング器を用いて領域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせた後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直後または直前の長時間撮像の２画像から短時間撮像時刻における画像を合成するものであることを特徴とする高ダイナミックレンジ映像の生成装置を用いる。
【００１６】
また、本発明の請求項８では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する装置において、長時間撮像と直前の短時間撮像と直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｅと、短時間撮像と直前の長時間撮像と直後の長時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｆの異なる２つの合成器とを有し、長時間撮像時刻における画像については合成器Ｅを用い、短時間撮像時刻における画像については合成器Ｆを用いることを特徴とする高ダイナミックレンジ映像の生成装置を用いる。
【００１７】
また、本発明の請求項９では、合成器Ｅは、長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する検出器Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、２領域の画像のパターンマッチングを行うパターンマッチング器とを有し、検出器Ｃを用いて長時間撮像の画像を領域Ｘとそれ以外の領域Ｘ-に分離し、検出器Ｄを用いて直前の短時間撮像の画像から領域Ｙ１を切り出し、検出器Ｄを用いて直後の短時間撮像の画像から領域Ｙ２を切り出し、領域Ｙ１と領域Ｙ２から該パターンマッチング器を用いて長時間撮像時刻における中間画像Ｙ３を生成し、中間画像Ｙ３から領域Ｘと位置的に重なる領域を切り出し、画素の輝度値の倍率補正を行った後で、領域Ｘ-と合成することによって、長時間撮像と直前の短時間画像と直後の短時間撮像の３画像から長時間撮像時刻における画像を合成するものであることを特徴とする請求項８に記載の高ダイナミックレンジ映像の生成装置を用いる。
【００１８】
また、本発明の請求項１０では、合成器Ｆは、長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する検出器Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、２領域の画像のパターンマッチングを行うパターンマッチング器とを有し、検出器Ｄを用いて短時間撮像の画像を領域Ｙとその他の領域Ｙ-に分離し、検出器Ｃを用いて直前の長時間撮像の画像を領域Ｘ１とその他の領域Ｘ１-に分離し、検出器Ｃを用いて直後の長時間撮像の画像を領域Ｘ２とその他の領域Ｘ２-に分離し、領域Ｘ１-と領域Ｘ２-から該パターンマッチング器を用いて短時間撮像時刻における中間画像Ｘ３-を生成し、中間画像Ｘ３-から領域Ｙ-と位置的に重なる領域を切り出した後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直前の長時間撮像と直後の短時間撮像の３画像から短時間撮像時刻における画像を合成するものであることを特徴とする請求項８に記載の高ダイナミックレンジ映像の生成装置を用いる。
【００２０】
また、本発明の請求項１１では、請求項１から請求項５のいずれか１項に記載の高ダイナミックレンジ映像の生成方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とする高ダイナミックレンジ映像の生成方法の実行プログラムを用いる。
【００２１】
また、本発明の請求項１２では、請求項１から請求項５のいずれか１項に記載の高ダイナミックレンジ映像の生成方法における過程を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする高ダイナミックレンジ映像の生成方法の実行プログラムを記録した記録媒体を用いる。
【００２２】
本発明の方法および装置は、図１（ｂ）の１２および図１（ｃ）の１３に示すように、異なる二つの合成アルゴリズムを交互に使用することにより、実質的には１フレームの原画像から１フレームの高ダイナミックレンジ画像を生成することによって同フレームレートで高ダイナミックレンジ映像を提供する。
【００２３】
請求項１、２は、図１（ｂ）の１２に示すように連続する２フレームの画像から高ダイナミックレンジ画像を合成する方法を提供するものであり、請求項３は図１（ｃ）の１３に示すように連続する３フレームの画像から高ダイナミックレンジ画像を合成する方法を提供するものである。
【００２４】
請求項３の方法は、より高精度に画像を予測生成して高ダイナミックレンジ画像を合成する方法であり、通常、請求項１、２の方法より高品質に画像合成できるが、連続する３フレームの画像を必ず必要とするため、映像の切り替わり点や、画像内容がフレーム間で不連続的に変化する場合には適用できないか、または無理に適用しても低品質の合成画像しか得られない等の問題点もある。
【００２５】
そこで、前記のフレーム間の不連続性を２画像の類似度を調べることによって検出し、請求項３の方法と請求項１、２の方法を適応的に切り替えて処理を行う方法を提供する。
【００２６】
請求項６，７は図１（ｂ）の１２に示すように連続する２フレームの画像から高ダイナミックレンジ画像を合成する装置を提供するものであり、請求項８は図１（ｃ）の１３に示すように連続する３フレームの画像から高ダイナミックレンジ画像を合成する装置を提供するものである。
【００２７】
請求項８の装置は、より高精度に画像を予測生成して高ダイナミックレンジ画像を合成する装置であり、通常、請求項６，７の装置より高品質に画像合成できるが、連続する３フレームの画像を必ず必要とするため、映像の切り替わり点や、画像内容がフレーム間で不連続的に変化する場合には適用できないか、または無理に適用しても低品質の合成画像しか得られない等の問題点もある。
【００２８】
そこで、前記のフレーム間の不連続性を２画像の類似度を調べることによって検出し、請求項８の方法と請求項６，７の方法を適応的に切り替えて処理を行う装置を提供する。
【００２９】
以上のように、本発明の方法および装置は、パターンマッチングを行う手段を用いた動画補償や輪郭線フィッティングを行うことによって撮像時刻に得られるはずの画像を予測生成した上で該画像を用いて高ダイナミックレンジ画像を合成する。これより動画撮影の場合にも高品質な高ダイナミックレンジ映像を提供する。
【００３０】
図２を用いて本発明の請求項１、２の方法の作用を説明する。図２の２１から２３は撮像時間を交互に変えて撮像した映像データの一部であり、２１と２３が長時間撮像画像、２２が短時間撮像画像である。２１１と２３１は被写体の露出オーバーでオーバーフローを起こした領域、２１２と２３２はそれ以外の領域である。２２１は長時間撮像であったならオーバーフローすると予測される領域、２２２はそれ以外の領域である。
【００３１】
請求項１、２の方法に従うと、過程Ａによって２２１が２１１の位置、形状に合わされて２２３となり、２２３は２６で画素の輝度値の倍率補正を受けた後に２１２と組み合わされて２４が合成され、過程Ｂによって２３２が２２２の位置、形状に合わされて２３３となり、２７で画素の輝度値の倍率補正を受けた後の２２１と組み合わされて２５が合成される。
【００３２】
なお、ここではある時刻における画像と直後の画像より該時刻における画像を合成する作用を説明しているが、例えば、２５を合成する場合、２３２のかわりに２１２を２２２の位置、形状に合わせるのごとく、直後の画像を使う部分を直前の画像に置き換えるだけで、ある時刻における画像と直前の画像より該時刻における画像を合成できることは言うまでもない。
【００３３】
請求項１の方法に従うと、過程Ａは２２１と２１１の輪郭線のパターンマッチングを行って２２１の２１１に対する位置、形状の変移量２８を算出し、２２１に対して２８を逆に作用させることによって２２３を生成し、２６で画素の輝度値の倍率補正をした後に、２１２と組み合わして２４を合成する作用を行う。
【００３４】
請求項２の方法に従うと、過程Ｂは２３２と２２２の輪郭線のパターンマッチングを行い、２３２の２２２に対する位置、形状の変移量２９を算出し、２３２に対して２９を逆に作用させることによって２３３を生成し、２７で輝度値の倍率補正をした後の２２１と組み合わして２５を合成する作用を行う。
【００３５】
次に、図３を用いて本発明の請求項３の方法の作用を説明する。図３の３１から３４は撮像時間を交互に変えて撮像した映像データの一部であり、３１と３３が短時間撮像画像、３２と３４が長時間撮像画像である。３２１と３４１は被写体の露出オーバーでオーバーフローを起こした領域、３２２と３４２はそれ以外の領域である。３１１と３３１は長時間撮像であったならオーバーフローすると予測される領域、３１２と３３２はそれ以外の領域である。
【００３６】
請求項３の方法に従うと、過程Ｅによって３１１と３３１から３２１の位置、形状に合った３２３が生成され、３７で画素の輝度値の倍率補正をした後に、３２２と組み合わして３５が合成され、過程Ｆによって３２２と３４２から３３２の位置、形状に合った３３３が生成され、３８で輝度値の倍率補正をした後の３３１と組み合わせることによって３６が合成される。
【００３７】
次に、図４を用いて請求項４の方法の作用を説明する。なお、図中で図３と同一部分は図３の番号をつけている。初めに３１１と３３１の画像のパターンマッチングを行い、３１１の３３１に対する画像の位置、形状の変移量４１を計算する。３１１と３３１に対して該変移量より３２の撮像時刻における中間画像４２と４３を予測生成し、両画像を合成することによって中間画像４４を生成する。次に４４から３２１内に位置する領域を切り出すことによって３２３を生成する。３２３は３７で輝度値の倍率補正をした後に３２２と組み合わせることによって３５を合成する作用を行う。
【００３８】
次に、図５を用いて請求項５の方法の作用を説明する。なお、図中で図３と同一部分は図３の番号をつけている。初めに３２２と３４２の画像のパターンマッチングを行い、３２２の３４２に対する画像の位置、形状の変移量５１を計算する、３２２と３４２に対して該変移量より３３の撮像時刻における中間画像５２と５３を予測生成し、両画像を合成することによって中間画像５４を生成する。次に５４から３３２内に位置する領域を切り出すことによって３３３を生成する。３３３と３８で輝度値の倍率補正をした後の３３１を組み合わせることによって３６を合成する作用を行う。
【００３９】
請求項４または請求項５の方法では、画像のパターンマッチングを行う時に二つのパターンの類似度も算出する。類似度が小さいか、またはパターンマッチングの対象となる領域がなかった場合には、請求項４の方法においては３１１と３２１間の類似度と３２１と３３１間の類似度を輪郭線のパターンマッチングによって比較し、３２１と３３１間の類似度の方が大きかった場合には、請求項３の方法の代わりに３２と３３を用いた直後の画像を用いる請求項１、２の方法に切り替え、３１１と３２１間の類似度の方が大きかった場合には、請求項３の方法の代わりに３１と３２を用いた直前の画像を用いる請求項１、２の方法に切り替える作用を行う。請求項５の方法においては３２２と３３２間の類似度と３３２と３４２間の類似度を輪郭線のパターンマッチングによって比較し、３３２と３４２間の類似度の方が大きかった場合には、請求項３の方法の代わりに３３と３４を用いた直後の画像を用いる請求項１、２の方法に切り替え、３２２と３３２間の類似度の方が大きかった場合には、請求項３の方法の代わりに３２と３３を用いる直前の画像を用いる請求項１、２の方法に切り替える作用を行う。
【００４０】
図２を用いて本発明の請求項６，７の装置の作用を説明する。図２の２１から２３は撮像時間を交互に変えて撮像した映像データの一部であり、２１と２３が長時間撮像画像、２２が短時間撮像画像である。２１１と２３１は被写体の露出オーバーでオーバーフローを起こした領域、２１２と２３２はそれ以外の領域である。２２１は長時間撮像であったならオーバーフローすると予測される領域、２２２はそれ以外の領域である。
【００４１】
請求項６，７の装置に従うと、合成器Ａによって２２１が２１１の位置、形状に合わされて２２３となり、２２３は２６で画素の輝度値の倍率補正を受けた後に２１２と組み合わされて２４が合成され、合成器Ｂによって２３２が２２２の位置、形状に合わされて２３３となり、２７で画素の輝度値の倍率補正を受けた後の２２１と組み合わされて２５が合成される。
【００４２】
なお、ここではある時刻における画像と直後の画像より該時刻における画像を合成する作用を説明しているが、例えば、２５を合成する場合、２３２のかわりに２１２を２２２の位置、形状に合わせるのごとく、直後の画像を使う部分を直前の画像に置き換えるだけである時刻における画像と直前の画像より該時刻における画像を合成できることは言うまでもない。
【００４３】
請求項６の装置に従うと、合成器Ａは２２１と２１１の輪郭線のパターンマッチングを行って２２１の２１１に対する位置、形状の変移量２８を算出し、２２１に対して２８を逆に作用させることによって２２３を生成し、２６で画素の輝度値の倍率補正をした後に、２１２と組み合わして２４を合成する作用を行う。
【００４４】
請求項７の装置に従うと、合成器Ｂは２３２と２２２の輪郭線のパターンマッチングを行い、２３２の２２２に対する位置、形状の変移量２９を算出し、２３２に対して２９を逆に作用させることによって２３３を生成し、２７で輝度値の倍率補正をした後の２２１と組み合わして２５を合成する作用を行う。
【００４５】
次に、図３を用いて本発明の請求項８の装置の作用を説明する。図３の３１から３４は撮像時間を交互に変えて撮像した映像データの一部であり、３１と３３が短時間撮像画像、３２と３４が長時間撮像画像である。３２１と３４１は被写体の露出オーバーでオーバーフローを起こした領域、３２２と３４２はそれ以外の領域である。３１１と３３１は長時間撮像であったならオーバーフローすると予測される領域、３１２と３３２はそれ以外の領域である。
【００４６】
請求項８の装置に従うと、合成器Ｅによって３１１と３３１から３２１の位置、形状に合った３２３が生成され、３７で画素の輝度値の倍率補正をした後に、３２２と組み合わされて３５が合成され、合成器Ｆによって３２２と３４２から３３２の位置、形状に合った３３３が生成され、３８で輝度値の倍率補正をした後の３３１と組み合わせることによって３６が合成される。
【００４７】
次に、図４を用いて請求項９の装置の作用を説明する。なお、図中で図３と同一部分は図３の番号をつけている。初めに３１１と３３１の画像のパターンマッチングをパターンマッチング器で行い、３１１の３３１に対する画像の位置、形状の変移量４１を計算する。３１１と３３１に対して該変移量より３２の撮像時刻における中間画像４２と４３を予測生成し、両画像を合成することによって中間画像４４を生成する。次に４４から３２１内に位置する領域を切り出すことによって３２３を生成する。３２３は３７で輝度値の倍率補正をした後に３２２と組み合わせることによって３５を合成する作用を行う。
【００４８】
次に、図５を用いて請求項１０の装置の作用を説明する。なお、図中で図３と同一部分は図３の番号をつけている。初めに３２２と３４２の画像のパターンマッチングをパターンマッチング器で行い、３２２の３４２に対する画像の位置、形状の変移量５１を計算する。３２２と３４２に対して該変移量より３３の撮像時刻における中間画像５２と５３を予測生成し、両画像を合成することによって中間画像５４を生成する。次に５４から３３２内に位置する領域を切り出すことによって３３３を生成する。３３３と３８で輝度値の倍率補正をした後の３３１を組み合わせることによって３６を合成する作用を行う。
【００４９】
請求項９または請求項１０の装置では、画像のパターンマッチングをパターンマッチング器で行う時に二つのパターンの類似度も算出し、類似度を類似度評価器で評価する。類似度が小さいか、またはパターンマッチングの対象となる領域がなかった場合には、請求項９の装置においては３１１と３２１間の類似度と３２１と３３１間の類似度を輪郭線のパターンマッチングによって比較し、３２１と３３１間の類似度の方が大きかった場合には、請求項８の装置の代わりに３２と３３を用いた直後の画像を用いる請求項６，７の装置の処理動作に切り替え、３１１と３２１間の類似度の方が大きかった場合には、請求項８の装置の代わりに３１と３２を用いた直前の画像を用いる請求項６，７の装置の処理動作に切り替える作用を行う。請求項１０の装置においては３２２と３３２間の類似度と３３２と３４２間の類似度を輪郭線のパターンマッチングによって比較し、３３２と３４２間の類似度の方が大きかった場合には、請求項８の装置の代わりに３３と３４を用いた直後の画像を用いる請求項６，７の装置の処理動作に切り替え、３２２と３３２間の類似度の方が大きかった場合には、請求項８の装置の代わりに３２と３３を用いる直前の画像を用いる請求項６，７の装置の処理動作に切り替える作用を行う。
【００５０】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００５１】
本発明の請求項１、２の方法の一実施形態を図６に示す。図６の６１は原映像データ格納過程、６２はデータ出力切り替え過程、６３は請求項１の方法の過程Ａを実現する一実施形態、６４は請求項２の方法の過程Ｂを実現する一実施形態、６５は出力データ格納過程である。
【００５２】
６３１と６３２は領域分離過程であり、請求項１の方法における過程Ｃと過程Ｄの一実施形態である。６３３と６３４は輪郭形状抽出過程、６３５は輪郭形状のパターンマッチング過程、６３６は領域の移動、変形過程、６３７は画素の輝度値倍率補正過程、６３８は画像合成過程である。
【００５３】
６４１と６４２は領域分離過程であり、請求項２の方法における過程Ｃと過程Ｄの一実施形態である。６４３と６３４は輪郭線抽出過程、６４５は輪郭線形状のパターンマッチング過程、６４６は領域の移動、変形過程、６４７は画素の輝度値倍率補正過程、６４８は画像合成過程である。
【００５４】
本実施形態による処理の流れを説明する。なお、本実施形態では原画像データはダイナミックレンジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５５）で逆ガンマ補正済みとする。また、長時間撮像時間と短時間撮像時間の撮像時間比をｋとし、ある時刻における画像と直後の画像データより該時刻における画像データを合成する処理について説明する。
【００５５】
６１では交互に撮像時間を変えて撮った映像データを蓄えている。なお、本方法を実時間処理で行える場合には、６１のかわりに直接撮像時間可変カメラの出力（ガンマ補正済み）過程であっても構わない。
【００５６】
６２は６１から逐次、画像と直後フレームの画像を取り出し、該２画像が長時間撮像画像、短時間撮像画像の順番であるなら長時間撮像画像を６３１に短時間撮像画像を６３２に出力する。また、短時間撮像画像、長時間撮像画像の順番であるなら長時間撮像画像を６４１に短時間撮像画像を６４２に出力する。
【００５７】
６３１と６３２は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。６３１の指定値を２５５とすることによって、６３１はオーバーフロー領域Ｘを６３３に出力し、それ以外の領域Ｘ-（図面ではＸバーを表す）を６３８に出力する。６３２の指定値を２５６／ｋとすることによって、６３２は長時間撮像であったならオーバーフローすると予測される領域Ｙを６３４と６３６に出力する。
【００５８】
６３３と６３４は、公知の方法であるチェイン符号化法（参考文献：画像解析ハンドブックｐｐ．５７９−５８０）で領域の輪郭線を抽出して６３５に出力する。
【００５９】
６３５は６３３と６３４から出力された輪郭形状をフーリエ記述子（参考文献：画像解析ハンドブックｐｐ．５８１−５８２）表現データに変換し、該データを比較してパターンマッチングを行うことによって両輪郭線形状の位置、形状の変移量データをアフィン変換行列データとして出力する（参考文献：画像処理アルゴリズムの最新動向、別冊ＯｐｌｕｓＥ、ｐｐ．５８−７２）。なお、輪郭線形状のパターンマッチング方法には様々な公知の方法があり、本発明の特許請求の範囲は本実施形態に限定されるものではない。また、２フレーム間に起きる輪郭線形状の移動変形量は微小なので変形は考慮せず全領域均一に移動するとして２領域の重心座標の変移量を変移データとして出力する簡略方法もあり、変移量データの内容は本実施形態に限定されるものではない。
【００６０】
また、本実施形態ではパターンマッチング対象領域が一つの場合について説明しているが、６３３と６３４で輪郭線が複数抽出されている場合は各々の輪郭線で囲まれた領域の重心座標を求め、最も重心座標の近い物同士で上記のパターンマッチングを行うことによって容易に複数の処理に拡張できることは言うまでもない。
【００６１】
６３６は６３５から出力されたアフィン変換行列データに基づいて、領域Ｙの位置、形状を領域Ｘの位置、形状に合わせて６３７に出力する。
【００６２】
６３７は画素の輝度値をｋ倍して６３８に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【００６３】
６３８は６３７の出力と６３１から出力された領域Ｘ-を一枚の画像データに合成し、これを６５で格納する。これによって長時間撮像と直後の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像が合成される。
【００６４】
６４１と６４２は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。６４１の指定値を２５５とすることによって、６４１はオーバーフローしていない領域Ｘ-を６４３と６４６に出力する。６４２の指定値を２５６／ｋとすることによって、６４２は長時間撮像であったならオーバーフローすると予測される領域Ｙを６４７に、それ以外の領域Ｙ-（図面ではＹバーを表す）を６４４に出力する。
【００６５】
６４３と６４４は公知の方法であるチェイン符号化法で領域の輪郭線を抽出して６４５に出力する。
【００６６】
６４５は６４３と６４４から出力された輪郭形状をフーリエ記述子表現データに変換し、該データを比較してパターンマッチングを行うことによって両輪郭線形状の位置、形状の変移量データをアフィン変換行列データとして出力する。
【００６７】
６４６は６４５から出力されたアフィン変換行列データに基づいて、領域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせて６４８に出力する。
【００６８】
６４７は６４２から出力された領域Ｙの画素の輝度値をｋ倍して６４８に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【００６９】
６４８は６４６の出力と６４７の出力を一枚の画像データに合成し、これを６５で格納する。これによって短時間撮像と直後の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像が合成される。
【００７０】
本発明の請求項３から５の方法の一実施形態を図７に示す。図７の７１は原映像データ格納過程、７２はデータ出力切り替え過程、７３は請求項４の方法の過程Ｅを実現する一実施形態、７４は請求項５の方法の過程Ｆを実現する一実施形態、７５は出力データ格納過程である。
【００７１】
７３１と７３２と７３３は、領域分離過程であり、請求項４の方法における過程Ｃと過程Ｄの一実施形態である。７３４は中間画像の予測生成過程、７３５は領域切り出し過程、７３６は画素の輝度値の倍率補正過程、７３７は画像合成過程である。
【００７２】
７４１と７４２と７４３は、領域分離過程であり、請求項５の方法における過程Ｃと過程Ｄの一実施形態である。７４４は中間画像の予測生成過程、７４５は領域切り出し過程、７４６は画素の輝度値の倍率補正過程、７４７は画像合成過程である。
【００７３】
本実施形態による処理の流れを説明する。なお、本実施形態では原画像データはダイナミックレンジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５５）で逆ガンマ補正済みとする。また、長時間撮像時間と短時間撮像時間の撮像時間比をｋとし、ある時刻における画像と直後の画像データより該時刻における画像データを合成する処理について説明する。
【００７４】
７１では交互に撮像時間を変えて撮った映像データを蓄えている。なお、本方法を実時間処理で行える場合には７１のかわりに直接撮像時間可変カメラの出力（ガンマ補正済み）過程であっても構わない。
【００７５】
７２は７１から逐次、画像と直前及び直後フレームの画像を取り出し、該３画像が短時間撮像画像、長時間撮像画像、短時間撮像画像の順番であるなら、直前の短時間撮像画像を７３１に、長時間撮像画像を７３２に、直後の短長間画像を７３３に出力する。また、該３画像が長時間撮像画像、短時間撮像画像、長時間撮像画像の順番であるなら、直前の長短間撮像画像を７４１に、短時間撮像画像を７４２に、直後の長時間画像を７４３に出力する。
【００７６】
７３１と７３２と７３３は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。７３１の指定値を２５６／ｋとすることによって、７３１は長時間撮像であったならオーバーフローすると予測される領域Ｙを７３４に出力する。７３２の指定値を２５５とすることによって、７３２はオーバーフロー領域Ｘを７３５に、それ以外の領域Ｘ-を７３７に出力する。７３３の指定値を２５６／ｋとすることによって、７３３は長時間撮像であったならオーバーフローすると予測される領域Ｙを７３４に出力する。
【００７７】
７３４は７３１と７３３から出力された領域Ｙの画像から短時間撮像時刻における中間画像をデュアルプライム予測法（参考文献：デジタル放送・インターネット技術のための情報圧縮技術、ｐｐ．２１８−２１９）で予測生成し、７３５に出力する。デュアルプライム予測法は作用の説明で述べた図４の４１、４２、４３、４４の作用を一括して行う。請求項４の方法に記載した画像のパターンマッチングの作用はデュアルプライム予測法内のＢＭＡ（ブロックマッチングアルゴリズム）にて行われる。
【００７８】
なお、画像のパターンマッチングにはＢＭＡ以外にも様々な公知の方法があり、画像の予測生成方法もデュアルプライム予測法以外の公知の方法があり、本発明の特許請求の範囲は本実施形態に限定されるものではない。
【００７９】
７３５は７３４から出力された中間画像のうち、７３２から出力された領域Ｘに含まれる領域の画像のみを切り出して７３６に出力する。
【００８０】
７３６は７３５から出力された画像の画素の輝度値をｋ倍して７３７に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【００８１】
７３７は７３２の出力と７３６の出力を一枚の画像データに合成し、これを７５で格納する。これによって長時間撮像と直前及び直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像が合成される。
【００８２】
７４１と７４２と７４３は、入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。７４１の指定値を２５５とすることによって、７４１はオーバーフロー領域Ｘ-を７４４に出力する。７４２の指定値を２５６／ｋとすることによって、７４２は長時間撮像であったなら、オーバーフローすると予測される領域Ｙを７４６に、それ以外の領域Ｙ-を７４５に出力する。７４３の指定値を２５５とすることによって、７４３はオーバーフロー領域Ｘ-を７４４に出力する。
【００８３】
７４４は、７４１と７４３から出力された領域Ｘ-の画像から短時間撮像時刻における中間画像をデュアルプライム予測法で予測生成し、７４５に出力する。デュアルプライム予測法は、作用の説明で述べた図５の５１、５２、５３、５４の作用を一括して行う。請求項５の方法に記載した画像のパターンマッチングの作用はデュアルプライム予測法内のＢＭＡ（ブロックマッチングアルゴリズム）にて行われる。
【００８４】
７４５は、７４４から出力された中間画像のうち、７４２から出力された領域Ｙ-に含まれる領域の画像のみを切り出して７４７に出力する。
【００８５】
７４６は７４２から出力された画像の画素の輝度値をｋ倍して７４７に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【００８６】
７４７は７４５の出力と７４６の出力を一枚の画像データに合成し、これを７５で格納する。これによって短時間撮像と直前及び直後の短時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像が合成される。
【００８７】
本発明の方法の一実施形態を図８に示す。図８において図７と全く同じ作用を行う過程を示す部分は図７と同じ番号を付している。
【００８８】
図８において、７１は原映像データ格納過程、７２はデータ出力切り替え過程、７３１、７３２、７３３は領域分離過程、７３４はデュアルプライム予測法に基づく中間画像予測生成過程である。８３１から８３５は７３４の内部処理過程を示しており、８３１はＢＭＡに基づく動きベクトル抽出過程、８３２は動き補償ベクトル生成過程、８３３は前フレーム画像を用いた中間画像予測生成過程、８３４は後フレーム画像を用いた中間画像予測生成過程、８３５は中間画像合成過程である。８３６は画像パターンの類似度判定過程、８１は直前の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像の領域Ｙの輪郭線のパターンマッチング過程、８２は直後の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像の領域Ｙの輪郭線のパターンマッチング過程、８３は処理動作選択過程、８４は長時間撮像画像と直前の短時間撮像画像から高ダイナミックレンジ画像を合成する請求項１の方法を実現する過程、８５は長時間撮像画像と直後の短時間撮像画像から高ダイナミックレンジ画像を合成する請求項１、２の方法を実現する過程、７５は出力データ格納過程である。
【００８９】
本図を用いて短時間撮像画像、長時間撮像画像、短時間撮像画像の順に並んだ３フレームの画像より本発明の方法を実施することによって、請求項３の方法から直前または直後の画像を用いる請求項１、２の方法に切り替える例について説明する。
【００９０】
７１から連続する３フレームの画像データを７２は取り出し、直前の短時間撮像画像は７３１に、長時間撮像画像は７３２に、直後の短時間撮像画像は７３３に出力する。
【００９１】
７３１は長時間撮像であったならオーバーフローしたであろうと予測される領域Ｙを８３１と８１に出力する。７３３は長時間撮像であったならオーバーフローしたであろうと予測される領域Ｙを８３１と８２に出力する。
【００９２】
７３４はデュアルプライム予測法に基づく中間画像予測生成過程であり、内部ブロックの８３１から８３５は公知の処理過程、８３６は本発明の方法を構成する新規の過程である。初めに従来の７３４の動作について簡単に説明する。
【００９３】
８３１は、２領域の画像をブロックパターンマッチング法でパターンマッチングを行い、各々のブロック毎に変移ベクトルを算出して８３２に、また、２領域のマッチング結果の残差であるＭＡＥ（平均値絶対値誤差）を８３６に出力する。８３２は長時間撮像画像の撮像時刻における画像にするための変移量（補償ベクトル）を直前の画像と直後の画像毎に別々に算出して８３３と８３４に出力する。
【００９４】
８３３は補償ベクトルを用いて７３１から出力された領域Ｙを部分中間画像に移動変形し８３５に出力する。８３４は補償ベクトルを用いて７３３から出力された領域Ｙを部分中間画像に移動変形し８３５に出力する。８３５は２枚の部分中間画像を合成することによって１枚の中間画像を生成する。以降、請求項３の方法であるならば図７の７３５、７３６、７３７の流れに沿って処理が進んでいく。
【００９５】
次に、本発明の方法の動作が行われる場合について説明する。８３６は８３１から出力された各ブロック毎のＭＡＥを調べ、予め与えられた閾値ｖに対して、全てのブロックのＭＡＥの総和＞ｖであるならば２領域の類似度が低いと判定して７３４以降の処理を停止し、８１と８２に動作を命令する。
【００９６】
なお、類似度はＭＡＥばかりでなく、公知の方法であるＭＳＥ（平均二乗誤差）や相互相関関数で与えることもできる。また、類似度判定もこれら誤差成分のみで判断するだけでなく、８３１で生成された各ブロック毎の移動ベクトルの分散から判定することもできるが、２領域の類似度を表現できる手法であるならば類似度の表現方法および判定方法は本実施形態に限定されるものではない。
【００９７】
８１は２領域の輪郭線形状を抽出し輪郭線のパターンマッチングをすることによって移動変形量を算出し８３に出力する。なお、輪郭線の抽出処理や移動変形量の実施方法は図６の実施形態に述べた符号化チェイン法およびフーリエ記述子変換法によるパターンマッチングとする。
【００９８】
８２は２領域の輪郭線形状を抽出し輪郭線のパターンマッチングをすることによって移動変形量を算出し８３に出力する。
【００９９】
８３は類似度判定を行うことにより、直前の短時間撮像画像と直後の短時間撮像画像のうちより長時間撮像画像と類似度の高い画像を決定する。類似度判定は移動変形量のより小さい方とする。例えば移動変形量が図６で説明した実施形態のごとくアフィン変換行列で与えられる場合には、正規化した行列の全要素の値の二乗和を算出してこれを類似度とする。なお、二乗和以外にも類似度を表現することは可能であり、また、移動変形量がアフィン変換行列式以外のデータ構造で与えられる場合にもそれに対応して類似度の表現式は変化するが、２輪郭線間の類似度を表現する式であるならば本実施形態に限定されるものではない。
【０１００】
８３は、８１から計算した類似度が８２から計算した類似度より大きい場合、長時間撮像画像と直前の短時間撮像画像の類似度がより大きいと判定し８４を動作させる。８２から計算した類似度がより大きい場合、長時間撮像画像と直後の短時間撮像画像の類似度がより大きいと判定し８５を動作させる。
【０１０１】
８４は長時間撮像画像と直前の短時間撮像撮像画像から図６の実施形態の過程によって高ダイナミックレンジ画像を合成し、７５で格納する。
【０１０２】
８５は長時間撮像画像と直後の短時間撮像撮像画像から図６の実施形態の過程によって高ダイナミックレンジ画像を合成し、７５で格納する。
【０１０３】
本実施形態の方法を用いた場合の原映像から高ダイナミックレンジ映像を生成する説明図を図９に示す。９１から９６は短時間撮像画像と長時間撮像画像の交互に繰り返しで構成される原映像である。ここで９１、９３、９５は長時間撮像画像、９２、９４、９６は短時間撮像画像である。フレーム９４以降でスポットライトが照明され画像内の明るい部分の領域形状が大幅に変化しているとする。
【０１０４】
本実施形態を用いると、基本的には３フレームの画像から１フレームの高ダイナミックレンジ画像を合成する請求項３の方法が使われる（９７、９８、９１１、９１２）が、９９の処理においては９２と９４で類似度が低いと判定され、９３とより類似度の高い画像は９２であると判定されて、９３と直前の９２の２フレームの画像から１フレームの高ダイナミックレンジ画像を合成する請求項１、２の方法が使われる。９１０の処理においては９３と９５で類似度が低いと判定され、９４とより類似度の高い画像は９５であると判定されて、９４と直後の９５の２フレームの画像から１フレームの高ダイナミックレンジ画像を合成する請求項１、２の方法が使われる。
【０１０５】
本発明の請求項６，７の装置の一実施形態を図１０に示す。図１０の１０１は磁気記録装置またはメモリ等で構成される原映像データ格納器、１０２はＣＰＵを用いた制御装置、１０３は請求項６の装置の合成器Ａを実現する一実施形態、１０４は請求項７の装置の合成器Ｂを実現する一実施形態、１０５は磁気記録装置またはメモリ等で構成される出力データ格納器である。
【０１０６】
１０３１と１０３２は領域分離器であり、請求項６の装置における検出器Ｃと検出器Ｄの一実施形態である。１０３３と１０３４は輪郭形状抽出器、１０３５は輪郭形状のパターンマッチング器、１０３６は領域の移動、変形器、１０３７は画素の輝度値倍率補正器、１０３８は画像合成器である。
【０１０７】
１０４１と１０４２は領域分離器であり、請求項７の装置における検出器Ｃと検出器Ｄの一実施形態である。１０４３と１０３４は輪郭線抽出器、１０４５は輪郭線形状のパターンマッチング器、１０４６は領域の移動、変形器、１０４７は画素の輝度値倍率補正器、１０４８は画像合成器である。
【０１０８】
本実施形態による処理の流れを説明する。なお、本実施形態では原画像データはダイナミックレンジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５５）で逆ガンマ補正済みとする。また、長時間撮像時間と短時間撮像時間の撮像時間比をｋとし、ある時刻における画像と直後の画像データより該時刻における画像データを合成する処理について説明する。
【０１０９】
１０１は交互に撮像時間を変えて撮った映像データを蓄えている。なお、本装置を実時間処理動作できる場合には１０１を省略して撮像時間可変カメラの出力（ガンマ補正済み）を直接１０２に接続しても構わない。
【０１１０】
１０２は１０１から逐次、画像と直後フレームの画像を取り出し、該２画像が長時間撮像画像、短時間撮像画像の順番であるなら、長時間撮像画像を１０３１に、短時間撮像画像を１０３２に出力する。また、短時間撮像画像、長時間撮像画像の順番であるなら、長時間撮像画像を１０４１に、短時間撮像画像を１０４２に出力する。
【０１１１】
１０３１と１０３２は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。１０３１の指定値を２５５とすることによって、１０３１はオーバーフロー領域Ｘを１０３３に出力し、それ以外の領域Ｘ-を１０３８に出力する。１０３２の指定値を２５６／ｋとすることによって、１０３２は長時間撮像であったならオーバーフローすると予測される領域Ｙを１０３４と１０３６に出力する。
【０１１２】
１０３３と１０３４は公知の方法であるチェイン符号化法（参考文献：画像解析ハンドブックｐｐ．５７９−５８０）で領域の輪郭線を抽出して１０３５に出力する。
【０１１３】
１０３５は１０３３と１０３４から出力された輪郭形状をフーリエ記述子（参考文献：画像解析ハンドブックｐｐ．５８１−５８２）表現データに変換し、該データを比較してパターンマッチングを行うことによって両輪郭線形状の位置、形状の変移量データをアフィン変換行列データとして出力する（参考文献：画像処理アルゴリズムの最新動向、別冊ＯｐｌｕｓＥ、ｐｐ．５８−７２）。なお、輪郭線形状のパターンマッチング装置には様々な公知の装置があり。輪郭線が抽出できるのであれば本発明の特許請求の範囲は本実施形態に限定されるものではない。また、２フレーム間に起きる輪郭線形状の移動変形量は微小なので変形は考慮せず、全領域均一に移動するとして２領域の重心座標の変移量を変移データとして出力する簡略化した装置（例：ＭＵＳＥ方式ＨｉＶｉｓｉｏｎのエンコーダ）もあり、本発明の特許請求の範囲を本実施形態に限定するものではない。
【０１１４】
また、本実施形態ではパターンマッチング対象領域が一つの場合について説明しているが、１０３３と１０３４で輪郭線が複数抽出されている場合は各々の輪郭線で囲まれた領域の重心座標を求め、最も重心座標の近い物同士で上記のパターンマッチングを行うことによって、容易に複数の処理に拡張できることは言うまでもない。
【０１１５】
１０３６は１０３５から出力されたアフィン変換行列データに基づいて、領域Ｙの位置、形状を領域Ｘの位置、形状に合わせて１０３７に出力する。
【０１１６】
１０３７は画素の輝度値をｋ倍して１０３８に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【０１１７】
１０３８は１０３７の出力と１０３１から出力された領域Ｘ-を一枚の画像データに合成して１０５に格納する。これによって長時間撮像と直後の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像が合成される。
【０１１８】
１０４１と１０４２は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。１０４１の指定値を２５５とすることによって、１０４１はオーバーフローしていない領域Ｘ-を１０４３と１０４６に出力する。１０４２の指定値を２５６／ｋとすることによって、１０４２は長時間撮像であったならオーバーフローすると予測される領域Ｙを１０４７に、それ以外の領域Ｙ-を１０４４に出力する。
【０１１９】
１０４３と１０４４は公知の方法であるチェイン符号化法で領域の輪郭線を抽出して１０４５に出力する。
【０１２０】
１０４５は１０４３と１０４４から出力された輪郭形状をフーリエ記述子表現データに変換し、該データを比較してパターンマッチングを行うことによって両輪郭線形状の位置、形状の変移量データをアフィン変換行列データとして出力する。
【０１２１】
１０４６は１０４５から出力されたアフィン変換行列データに基づいて、領域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせて１０４８に出力する。
【０１２２】
１０４７は１０４２から出力された領域Ｙの画素の輝度値をｋ倍して１０４８に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【０１２３】
１０４８は１０４６の出力と１０４７の出力を一枚の画像データに合成して１０５に格納する。これによって短時間撮像と直後の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像が合成される。
【０１２４】
本発明の請求項８から１０の装置の一実施形態を図１１に示す。図１１の１１１は磁気記録装置またはメモリ等で構成される原映像データ格納器、１１２はＣＰＵを用いた制御装置、１１３は請求項９の装置の合成器Ｅを実現する一実施形態、１１４は請求項１０の装置の合成器Ｆを実現する一実施形態、１１５は磁気記録装置またはメモリ等で構成される出力データ格納器である。
【０１２５】
１１３１と１１３２と１１３３は領域分離器であり、請求項９の装置における検出器Ｃと検出器Ｄの一実施形態である。１１３４は中間画像の予測生成器、１１３５は領域切り出し器、１１３６は画素の輝度値の倍率補正器、１１３７は画像合成器である。
【０１２６】
１１４１と１１４２と１１４３は領域分離器であり、請求項９の装置における検出器Ｃと検出器Ｄの一実施形態である。１１４４は中間画像の予測生成器、１１４５は領域切り出し器、１１４６は画素の輝度値の倍率補正器、１１４７は画像合成器である。
【０１２７】
本実施形態による処理の流れを説明する。なお、本実施形態では原画像データはダイナミックレンジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５５）で逆ガンマ補正済みとする。また、長時間撮像時間と短時間撮像時間の撮像時間比をｋとし、ある時刻における画像と直後の画像データより該時刻における画像データを合成する処理について説明する。
【０１２８】
１１１は交互に撮像時間を変えて撮った映像データを蓄えている。なお、本装置を実時間処理動作できる場合には１１１を省略して撮像時間可変カメラの出力（ガンマ補正済み）を直接１１２に接続しても構わない。
【０１２９】
１１２は１１１から逐次、画像と直前及び直後フレームの画像を取り出し、該３画像が短時間撮像画像、長時間撮像画像、短時間撮像画像の順番であるなら、直前の短時間撮像画像を１１３１に、長時間撮像画像を１１３２に、直後の短長間画像を１１３３に出力する。また、該３画像が長時間撮像画像、短時間撮像画像、長時間撮像画像の順番であるなら、直前の長短間撮像画像を１１４１に、短時間撮像画像を１１４２に、直後の長時間画像を１１４３に出力する。
【０１３０】
１１３１と１１３２と１１３３は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。１１３１の指定値を２５６／ｋとすることによって、１１３１は長時間撮像であったならオーバーフローすると予測される領域Ｙを１１３４に出力する。１１３２の指定値を２５５とすることによって、１１３２はオーバーフロー領域Ｘを１１３５にそれ以外の領域Ｘ-を１１３７に出力する。１１３３の指定値を２５６／ｋとすることによって、１１３３は長時間撮像であったならオーバーフローすると予測される領域Ｙを１１３４に出力する。
【０１３１】
１１３４は１１３１と１１３３から出力された領域Ｙの画像から短時間撮像時刻における中間画像をデュアルプライム予測演算器（参考文献：デジタル放送・インターネット技術のための情報圧縮技術、ｐｐ．２１８−２１９）で予測生成し１１３５に出力する。デュアルプライム予測演算器は作用の説明で述べた図４の４１、４２、４３、４４の作用を一括して行う。デュアルプライム演算器内のＢＭＡ（ブロックマッチングアルゴリズム）演算器が請求項９の装置に記載した画像のパターンマッチング器に該当する。
【０１３２】
なお、画像のパターンマッチング器にはＢＭＡ以外にも様々な公知の装置があり、画像の予測生成器もデュアルプライム予測演算器以外の公知の装置があり、画像のパターンマッチングを用いて予測生成を行う装置であるなら本発明の特許請求の範囲を本実施形態に限定するものではない。
【０１３３】
１１３５は１１３４から出力された中間画像のうち、１１３２から出力された領域Ｘに含まれる領域の画像のみを切り出して１１３６に出力する。
【０１３４】
１１３６は１１３５から出力された画像の画素の輝度値をｋ倍して１１３７に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され。同一輝度部分を撮像した画素の輝度値は同一となる。
【０１３５】
１１３７は１１３２の出力と１１３６の出力を一枚の画像データに合成して１１５に格納する。これによって長時間撮像と直前及び直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像が合成される。
【０１３６】
１１４１と１１４２と１１４３は、入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。１１４１の指定値を２５５とすることによって、１１４１はオーバーフロー領域Ｘ-を１１４４に出力する。１１４２の指定値を２５６／ｋとすることによって、１１４２は長時間撮像であったならオーバーフローすると予測される領域Ｙを１１４６に、それ以外の領域Ｙ-を１１４５に出力する。１１４３の指定値を２５５とすることによって、１１４３はオーバーフロー領域Ｘ-を１１４４に出力する。
【０１３７】
１１４４は、１１４１と１１４３から出力された領域Ｘ-の画像から短時間撮像時刻における中間画像をデュアルプライム予測演算器で予測生成し、１１４５に出力する。デュアルプライム予測演算器は作用の説明で述べた図５の５１、５２、５３、５４の作用を一括して行う。デュアルプライム演算器内のＢＭＡ（ブロックマッチングアルゴリズム）演算器が請求項１０の装置に記載した画像のパターンマッチング器に該当する。
【０１３８】
１１４５は１１４４から出力された中間画像のうち、１１４２から出力された領域Ｙ-に含まれる領域の画像のみを切り出して１１４７に出力する。
【０１３９】
１１４６は１１４２から出力された画像の画素の輝度値をｋ倍して１１４７に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【０１４０】
１１４７は１１４５の出力と１１４６の出力を一枚の画像データに合成して１１５に格納する。これによって短時間撮像と直前及び直後の短時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像が合成される。
【０１４１】
本発明の装置について短時間撮像画像、長時間撮像画像、短時間撮像画像の順に並んだ３フレームの画像を処理する場合の実施形態を図１２に示す。図１２において図１１と全く同じ装置を示す部分は図１１と同じ番号を付している。
【０１４２】
図１２において、１１１は磁気記録装置またはメモリ等で構成される原映像データ格納器、１１２はＣＰＵを用いた制御装置、１１３１、１１３２、１１３３は領域分離器、１１３４はデュアルプライム予測法に基づく中間画像予測生成器である。１２３１から１２３５は１１３４の内部処理を行う装置を示しており、１２３１はＢＭＡに基づく動きベクトル抽出器、１２３２は動き補償ベクトル生成器、１２３３は前フレーム画像を用いた中間画像予測生成器、１２３４は後フレーム画像を用いた中間画像予測生成器、１２３５は中間画像合成器である。１２３６は画像パターンの類似度判定器、１２１は直前の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像の領域Ｙの輪郭線のパターンマッチング器、１２２は直後の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像の領域Ｙの輪郭線のパターンマッチング器、１２３は処理動作選択器、１２４は長時間撮像画像と直前の短時間撮像画像から高ダイナミックレンジ画像を合成する請求項６，７の装置、１２５は長時間撮像画像と直後の短時間撮像画像から高ダイナミックレンジ画像を合成する請求項６，７の装置、１１５は磁気記録装置またはメモリ等で構成される出力データ格納器である。
【０１４３】
本図を用いて短時間撮像画像、長時間撮像画像、短時間撮像画像の順に並んだ３フレームの画像より本発明の装置を用いて、請求項８の装置から直前または直後の画像を用いる請求項６，７の装置に処理動作を切り替える例について説明する。
【０１４４】
１１１から連続する３フレームの画像を１１２は取り出し、直前の短時間撮像画像は１１３１に、長時間撮像画像は１１３２に、直後の短時間撮像画像は１１３３に出力する。１１３１は長時間撮像であったならオーバーフローしたであろうと予測される領域Ｙを１２３１と１２１に出力する。１１３３は長時間撮像であったならオーバーフローしたであろうと予測される領域Ｙを１２３１と１２２に出力する。
【０１４５】
１１３４はデュアルプライム予測法に基づく中間画像予測生成装置であり、内部ブロックの１２３１から１２３５は公知の処理装置、１２３６は本発明の装置を構成する新規の装置である。初めに従来の１１３４の動作について簡単に説明する。
【０１４６】
１２３１は２領域の画像をＢＭＡ法でパターンマッチングを行い、各々のブロック毎に変移ベクトルを算出して１２３２に、また、２領域のマッチング結果の残差であるＭＡＥ（平均値絶対値誤差）を１２３６に出力する。１２３２は長時間撮像画像の撮像時刻における画像にするための変移量（補償ベクトル）を直前の画像と直後の画像毎に別々に算出して１２３３と１２３４に出力する。
【０１４７】
１２３３は補償ベクトルを用いて１１３１から出力された領域Ｙを部分中間画像に移動変形し１２３５に出力する。１２３４は補償ベクトルを用いて１１３３から出力された領域Ｙを部分中間画像に移動変形し１２３５に出力する。１２３５は２枚の部分中間画像を合成することによって１枚の中間画像を生成する。以降、請求項８の装置で処理が続く場合には図１１の１１３５、１１３６、１１３７の流れに沿って処理が進んでいく。
【０１４８】
次に、本発明の装置の動作が行われる場合について説明する。１２３６は１２３１から出力された各ブロック毎のＭＡＥを調べ、予め与えられた閾値ｖに対して、全てのブロックのＭＡＥの総和＞ｖであるならば２領域の類似度が低いと判定して１１３２の処理を停止し、１２１と１２２に動作を命令する。
【０１４９】
１２１は１１３１から出力された領域Ｙと１１３２から出力された領域Ｘについて、輪郭線を符号化チェイン法による輪郭線抽出器によって抽出し、フーリエ記述子変換法によるパターンマッチング器によって移動変形量を算出し１２３に出力する。
【０１５０】
１２２は１１３３から出力された領域Ｙと１１３２から出力された領域Ｘについて、輪郭線を符号化チェイン法による輪郭線抽出器によって抽出し、フーリエ記述子変換法によるパターンマッチング器によって移動変形量を算出し１２３に出力する。
【０１５１】
１２３は移動変形量を用いて類似度判定を行うことにより、直前の短時間撮像画像と直後の短時間撮像画像のうちより長時間撮像画像と類似度の高い画像を決定する。類似度判定は移動変形量のより小さい方とする。例えば移動変形量が図１０で説明した実施形態のごとくアフィン変換行列で与えられる場合には、正規化した行列の全要素の値の二乗和を算出してこれを類似度とする。なお、二乗和以外にも類似度を表現することは可能であり。また、移動変形量がアフィン変換行列式以外のデータ構造で与えられる場合にもそれに対応して類似度の表現式は変化するが、２輪郭線の類似度を表現する式であるならば本発明の特許請求の範囲は本実施形態に限定されるものではない。
【０１５２】
１２３は、１２１から計算した類似度が１２２から計算した類似度より大きい場合、長時間撮像画像と直前の短時間撮像画像の類似度がより大きいと判定し１２４を動作させる。１２２から計算した類似度がより大きい場合、長時間撮像画像と直後の短時間撮像画像の類似度がより大きいと判定し１２５を動作させる。
【０１５３】
１２４は長時間撮像画像と直前の短時間撮像撮像画像から図１０の実施形態の装置によって高ダイナミックレンジ画像を合成し１１５に格納する。
【０１５４】
１２５は長時間撮像画像と直後の短時間撮像撮像画像から図１０の実施形態の装置によって高ダイナミックレンジ画像を合成し１１５に格納する。
【０１５５】
なお、図１０〜図１２で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図６〜図８で説明した処理過程による方法の処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【０１５６】
【発明の効果】
従来の方法および装置では、図１（ａ）の１１に示すように２フレームの画像より単一の合成アルゴリズムで１フレームの画像を合成するためフレームレートが半減してしまうが、本発明の方法および装置は、請求項１、２の方法と請求項６，７の装置では図１（ｂ）の１２、請求項３の方法と請求項８の装置では図１（ｃ）の１３のように、どちらも原映像と同フレームレートで高ダイナミックレンジ映像を生成することができる。
【０１５７】
また、本発明の請求項１、２の方法および請求項６，７の装置では、図２に示したように撮像時刻の異なる２フレームの画像をそのまま合成せず、同じ撮像時刻に得られるはずの画像を予測生成した後に合成するため、動画像であっても不自然な画像を合成しない。
【０１５８】
更に、請求項１、２の方法および請求項６，７の装置は、輪郭線部の動きと輪郭線内の動きが同じ時に正確な合成映像が提供できるが、請求項３の方法および請求項８の装置は輪郭線部の動きと輪郭線内部の動きが別々の場合でも正確な合成画像を提供することができるので、より高品質な高ダイナミックレンジ映像を提供できる。
【０１５９】
一方で、請求項３の方法および請求項８の装置は、連続する３フレームの映像を必要とするため、映像の切り替わり点や、画像内容がフレーム間で不連続的に変化するような場合には適用できないか、または無理に適用しても低品質の合成画像しか得られない等の問題点もある。そこで、本発明の方法および装置において、前記の不連続な部分を２画像の類似度を調べることによって検出し、請求項３の方法と請求項１、２の方法あるいは請求項８の装置と請求項６，７の装置を適応的に切り替えて処理を行うことによって、図９に示したように画像間で不連続な部分が存在しても常に最適な画像合成方法および装置を選択して高ダイナミックレンジ映像を合成することが可能となる。
【図面の簡単な説明】
【図１】 （１）は従来の方法を、（２）は本発明の請求項１、２の方法を、（３）は本発明の請求項３の方法を、それぞれ用いた場合の原画像データと合成画像データの対応を説明した図である。
【図２】 本発明の請求項１、２の方法および請求項６、７の装置の作用を説明した図である。
【図３】 本発明の請求項３の方法および請求項８の装置の作用を説明した図である。
【図４】 本発明の請求項４の方法および請求項９の装置の作用を説明した図である。
【図５】 本発明の請求項５の方法および請求項１０の装置の作用を説明した図である。
【図６】 本発明の請求項１、２の方法の一実施形態を示した図である。
【図７】 本発明の請求項３、４、５の方法の一実施形態を示した図である。
【図８】 本発明の方法の一実施形態を示した図である。
【図９】 本発明の方法および装置を用いた場合の原画像データと合成画像データの対応関係を示した図である。
【図１０】 本発明の請求項６、７の装置の一実施形態を示した図である。
【図１１】 本発明の請求項８、９、１０の装置の一実施形態を示した図である。
【図１２】 本発明の装置の一実施形態を示した図である。
【発明の属する技術分野】
本発明は、ダイナミックレンジの高い被写体を白トビや黒つぶれなく映像にする高ダイナミックレンジ映像の生成方法および生成装置に関するものであり、主な利用分野として映像産業や計測産業があげられる。
【０００２】
【従来の技術】
映像を記録するには様々な方法があるが、今日ではＣＣＤを用いた撮像装置が広く使われている。しかし、ＣＣＤは銀塩フィルム等に比べると明暗のダイナミックレンジが小さい欠点があった。これに対して撮像時間を可変に制御できる電子シャッタ付きのＣＣＤを用いて短時間撮像と長時間撮像を交互に繰り返し、隣り合う２画像から高ダイナミックレンジ映像を生成する方法や装置が提案されている。例えば、特開昭６３−３０６７７９号や特開平６−１４１２２９号の技術がこれに該当する。
【０００３】
【発明が解決しようとする課題】
しかしながら、図１（ａ）の１１に示すように両方法とも、２フレームの原画像から１フレームの画像を合成するためにフレームレートが半減してしまい、滑らかな動きの動画映像が生成できない欠点があった。特開平６−１４１２２９号では実質倍速で動作する専用ＣＣＤを開発してこの問題を解決しているが、この方法では汎用のＣＣＤを使えないため汎用性やコストに問題がある。また、ＣＣＤの画素数が増大すると倍速動作そのものが技術的に困難となるため、ＨＤＴＶやＵＤＴＶ等の高解像度映像には適用できない問題もある。
【０００４】
また、静止画撮影ではなく動画撮影する場合には、動く被写体の高輝度領域または低輝度領域の位置、形状が時間と共に変動するが、従来の方法では異なる時刻に撮像された画像をそのまま合成しているため、合成部の輪郭領域において偽信号の発生による画質劣化が生じてしまう問題がある。特開平６−１４１２２９号では２枚の画像を輝度値に応じて徐々に混合することにより画質劣化が視覚的に目立たないよう工夫しているが、根本的な解決方法とはなっていない。
【０００５】
本発明は、上記従来の技術の問題点を解決するために為されたものであり、原画像と同フレームレートで高ダイナミックレンジ映像を生成できる方法及び装置を提供することを課題とする。さらに、その生成の際に、映像の切り替わり点や、画像内容がフレーム間で不連続的に変化する場合にも、高品質の高ダイナミックレンジ映像を生成できる方法及び装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するための手段として、本発明の請求項１では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する方法において、長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ａと、短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｂの異なる２つの合成過程とを有し、長時間撮像時刻における画像については過程Ａを実行し、短時間撮像時刻における画像については過程Ｂを実行し、
過程Ａにおいて、長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する過程Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、２領域の輪郭線のパターンマッチングを行う過程とを有し、過程Ｃにより長時間撮像画像を領域Ｘとそれ以外の領域Ｘ-に分離し、過程Ｄにより直後または直前の短時間撮像画像から領域Ｙを抜き出し、パターンマッチングを行う過程により領域Ｙの位置、形状を領域Ｘの位置、形状に合わせた後で画素の輝度値の倍率補正を行った後に、領域Ｘ-と合成することによって、長時間撮像と直後または直前の短時間撮像の２画像から長時間撮像時刻における画像を合成することを特徴とする高ダイナミックレンジ映像の生成方法を用いる。
【０００８】
また、本発明の請求項２では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する方法において、長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ａと、短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｂの異なる２つの合成過程とを有し、長時間撮像時刻における画像については過程Ａを実行し、短時間撮像時刻における画像については過程Ｂを実行し、
過程Ｂにおいて、長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する過程Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、２領域の輪郭線のパターンマッチングを行う過程とを有し、過程Ｄにより短時間撮像画像を領域Ｙとその他の領域Ｙ-に分離し、過程Ｃにより直後または直前の長時間撮像画像を領域Ｘとその他の領域Ｘ-に分離し、パターンマッチングを行う過程により領域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせた後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直後または直前の長時間撮像の２画像から短時間撮像時刻における画像を合成することを特徴とする高ダイナミックレンジ映像の生成方法を用いる。
【０００９】
また、本発明の請求項３では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する方法において、長時間撮像と直前の短時間撮像と直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｅと、短時間撮像と直前の長時間撮像と直後の長時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｆの異なる２つの合成過程とを有し、長時間撮像時刻における画像については過程Ｅを実行し、短時間撮像時刻における画像については過程Ｆを実行することを特徴とする高ダイナミックレンジ映像の生成方法を用いる。
【００１０】
また、本発明の請求項４では、過程Ｅでは、長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する過程Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、２領域の画像のパターンマッチングを行う過程とを有し、過程Ｃにより長時間撮像の画像を領域Ｘとそれ以外の領域Ｘ-に分離し、過程Ｄにより直前の短時間撮像の画像から領域Ｙ１を切り出し、過程Ｄにより直後の短時間撮像の画像から領域Ｙ２を切り出し、２領域の画像のパターンマッチングを行う過程により２領域である領域Ｙ１と領域Ｙ２から長時間撮像時刻における中間画像Ｙ３を生成し、中間画像Ｙ３から領域Ｘと位置的に重なる領域を切り出し、画素の輝度値の倍率補正を行った後で、領域Ｘ-と合成することによって、長時間撮像と直前の短時間画像と直後の短時間撮像の３画像から長時間撮像時刻における画像を合成することを特徴とする請求項３に記載の高ダイナミックレンジ映像の生成方法を用いる。
【００１１】
また、本発明の請求項５では、過程Ｆでは、長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する過程Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、２領域の画像のパターンマッチングを行う過程とを有し、過程Ｄにより短時間撮像の画像を領域Ｙとその他の領域Ｙ-に分離し、過程Ｃにより直前の長時間撮像の画像を領域Ｘ１とその他の領域Ｘ１-に分離し、過程Ｃにより直後の長時間撮像の画像を領域Ｘ２とその他の領域Ｘ２-に分離し、２領域の画像のパターンマッチングを行う過程により２領域である領域Ｘ１-と領域Ｘ２-から短時間撮像時刻における中間画像Ｘ３-を生成し、中間画像Ｘ３-から領域Ｙ-と位置的に重なる領域を切り出した後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直前の長時間撮像と直後の短時間撮像の３画像から短時間撮像時刻における画像を合成することを特徴とする請求項３に記載の高ダイナミックレンジ映像の生成方法を用いる。
【００１４】
また、本発明の請求項６では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する装置において、長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ａと、短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｂの異なる２つの合成器とを有し、長時間撮像時刻における画像については合成器Ａを用い、短時間撮像時刻における画像については合成器Ｂを用い、
合成器Ａは、長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する検出器Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、２領域の輪郭線のパターンマッチングを行うパターンマッチング器とを有し、検出器Ｃを用いて長時間撮像画像を領域Ｘとそれ以外の領域Ｘ-に分離し、検出器Ｄを用いて直後または直前の短時間撮像画像から領域Ｙを抜き出し、該パターンマッチング器を用いて領域Ｙの位置、形状を領域Ｘの位置、形状に合わせた後で画素の輝度値の倍率補正を行った後に、領域Ｘ-と合成することによって、長時間撮像と直後または直前の短時間撮像の２画像から長時間撮像時刻における画像を合成するものであることを特徴とする高ダイナミックレンジ映像の生成装置を用いる。
【００１５】
また、本発明の請求項７では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する装置において、長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ａと、短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｂの異なる２つの合成器とを有し、長時間撮像時刻における画像については合成器Ａを用い、短時間撮像時刻における画像については合成器Ｂを用い、
合成器Ｂは、長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する検出器Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、２領域の輪郭線のパターンマッチングを行うパターンマッチング器とを有し、検出器Ｄを用いて短時間撮像画像を領域Ｙとその他の領域Ｙ-に分離し、検出器Ｃを用いて直後または直前の長時間撮像画像を領域Ｘとその他の領域Ｘ-に分離し、該パターンマッチング器を用いて領域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせた後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直後または直前の長時間撮像の２画像から短時間撮像時刻における画像を合成するものであることを特徴とする高ダイナミックレンジ映像の生成装置を用いる。
【００１６】
また、本発明の請求項８では、撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する装置において、長時間撮像と直前の短時間撮像と直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｅと、短時間撮像と直前の長時間撮像と直後の長時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｆの異なる２つの合成器とを有し、長時間撮像時刻における画像については合成器Ｅを用い、短時間撮像時刻における画像については合成器Ｆを用いることを特徴とする高ダイナミックレンジ映像の生成装置を用いる。
【００１７】
また、本発明の請求項９では、合成器Ｅは、長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する検出器Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、２領域の画像のパターンマッチングを行うパターンマッチング器とを有し、検出器Ｃを用いて長時間撮像の画像を領域Ｘとそれ以外の領域Ｘ-に分離し、検出器Ｄを用いて直前の短時間撮像の画像から領域Ｙ１を切り出し、検出器Ｄを用いて直後の短時間撮像の画像から領域Ｙ２を切り出し、領域Ｙ１と領域Ｙ２から該パターンマッチング器を用いて長時間撮像時刻における中間画像Ｙ３を生成し、中間画像Ｙ３から領域Ｘと位置的に重なる領域を切り出し、画素の輝度値の倍率補正を行った後で、領域Ｘ-と合成することによって、長時間撮像と直前の短時間画像と直後の短時間撮像の３画像から長時間撮像時刻における画像を合成するものであることを特徴とする請求項８に記載の高ダイナミックレンジ映像の生成装置を用いる。
【００１８】
また、本発明の請求項１０では、合成器Ｆは、長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する検出器Ｃと、短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、２領域の画像のパターンマッチングを行うパターンマッチング器とを有し、検出器Ｄを用いて短時間撮像の画像を領域Ｙとその他の領域Ｙ-に分離し、検出器Ｃを用いて直前の長時間撮像の画像を領域Ｘ１とその他の領域Ｘ１-に分離し、検出器Ｃを用いて直後の長時間撮像の画像を領域Ｘ２とその他の領域Ｘ２-に分離し、領域Ｘ１-と領域Ｘ２-から該パターンマッチング器を用いて短時間撮像時刻における中間画像Ｘ３-を生成し、中間画像Ｘ３-から領域Ｙ-と位置的に重なる領域を切り出した後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直前の長時間撮像と直後の短時間撮像の３画像から短時間撮像時刻における画像を合成するものであることを特徴とする請求項８に記載の高ダイナミックレンジ映像の生成装置を用いる。
【００２０】
また、本発明の請求項１１では、請求項１から請求項５のいずれか１項に記載の高ダイナミックレンジ映像の生成方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とする高ダイナミックレンジ映像の生成方法の実行プログラムを用いる。
【００２１】
また、本発明の請求項１２では、請求項１から請求項５のいずれか１項に記載の高ダイナミックレンジ映像の生成方法における過程を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする高ダイナミックレンジ映像の生成方法の実行プログラムを記録した記録媒体を用いる。
【００２２】
本発明の方法および装置は、図１（ｂ）の１２および図１（ｃ）の１３に示すように、異なる二つの合成アルゴリズムを交互に使用することにより、実質的には１フレームの原画像から１フレームの高ダイナミックレンジ画像を生成することによって同フレームレートで高ダイナミックレンジ映像を提供する。
【００２３】
請求項１、２は、図１（ｂ）の１２に示すように連続する２フレームの画像から高ダイナミックレンジ画像を合成する方法を提供するものであり、請求項３は図１（ｃ）の１３に示すように連続する３フレームの画像から高ダイナミックレンジ画像を合成する方法を提供するものである。
【００２４】
請求項３の方法は、より高精度に画像を予測生成して高ダイナミックレンジ画像を合成する方法であり、通常、請求項１、２の方法より高品質に画像合成できるが、連続する３フレームの画像を必ず必要とするため、映像の切り替わり点や、画像内容がフレーム間で不連続的に変化する場合には適用できないか、または無理に適用しても低品質の合成画像しか得られない等の問題点もある。
【００２５】
そこで、前記のフレーム間の不連続性を２画像の類似度を調べることによって検出し、請求項３の方法と請求項１、２の方法を適応的に切り替えて処理を行う方法を提供する。
【００２６】
請求項６，７は図１（ｂ）の１２に示すように連続する２フレームの画像から高ダイナミックレンジ画像を合成する装置を提供するものであり、請求項８は図１（ｃ）の１３に示すように連続する３フレームの画像から高ダイナミックレンジ画像を合成する装置を提供するものである。
【００２７】
請求項８の装置は、より高精度に画像を予測生成して高ダイナミックレンジ画像を合成する装置であり、通常、請求項６，７の装置より高品質に画像合成できるが、連続する３フレームの画像を必ず必要とするため、映像の切り替わり点や、画像内容がフレーム間で不連続的に変化する場合には適用できないか、または無理に適用しても低品質の合成画像しか得られない等の問題点もある。
【００２８】
そこで、前記のフレーム間の不連続性を２画像の類似度を調べることによって検出し、請求項８の方法と請求項６，７の方法を適応的に切り替えて処理を行う装置を提供する。
【００２９】
以上のように、本発明の方法および装置は、パターンマッチングを行う手段を用いた動画補償や輪郭線フィッティングを行うことによって撮像時刻に得られるはずの画像を予測生成した上で該画像を用いて高ダイナミックレンジ画像を合成する。これより動画撮影の場合にも高品質な高ダイナミックレンジ映像を提供する。
【００３０】
図２を用いて本発明の請求項１、２の方法の作用を説明する。図２の２１から２３は撮像時間を交互に変えて撮像した映像データの一部であり、２１と２３が長時間撮像画像、２２が短時間撮像画像である。２１１と２３１は被写体の露出オーバーでオーバーフローを起こした領域、２１２と２３２はそれ以外の領域である。２２１は長時間撮像であったならオーバーフローすると予測される領域、２２２はそれ以外の領域である。
【００３１】
請求項１、２の方法に従うと、過程Ａによって２２１が２１１の位置、形状に合わされて２２３となり、２２３は２６で画素の輝度値の倍率補正を受けた後に２１２と組み合わされて２４が合成され、過程Ｂによって２３２が２２２の位置、形状に合わされて２３３となり、２７で画素の輝度値の倍率補正を受けた後の２２１と組み合わされて２５が合成される。
【００３２】
なお、ここではある時刻における画像と直後の画像より該時刻における画像を合成する作用を説明しているが、例えば、２５を合成する場合、２３２のかわりに２１２を２２２の位置、形状に合わせるのごとく、直後の画像を使う部分を直前の画像に置き換えるだけで、ある時刻における画像と直前の画像より該時刻における画像を合成できることは言うまでもない。
【００３３】
請求項１の方法に従うと、過程Ａは２２１と２１１の輪郭線のパターンマッチングを行って２２１の２１１に対する位置、形状の変移量２８を算出し、２２１に対して２８を逆に作用させることによって２２３を生成し、２６で画素の輝度値の倍率補正をした後に、２１２と組み合わして２４を合成する作用を行う。
【００３４】
請求項２の方法に従うと、過程Ｂは２３２と２２２の輪郭線のパターンマッチングを行い、２３２の２２２に対する位置、形状の変移量２９を算出し、２３２に対して２９を逆に作用させることによって２３３を生成し、２７で輝度値の倍率補正をした後の２２１と組み合わして２５を合成する作用を行う。
【００３５】
次に、図３を用いて本発明の請求項３の方法の作用を説明する。図３の３１から３４は撮像時間を交互に変えて撮像した映像データの一部であり、３１と３３が短時間撮像画像、３２と３４が長時間撮像画像である。３２１と３４１は被写体の露出オーバーでオーバーフローを起こした領域、３２２と３４２はそれ以外の領域である。３１１と３３１は長時間撮像であったならオーバーフローすると予測される領域、３１２と３３２はそれ以外の領域である。
【００３６】
請求項３の方法に従うと、過程Ｅによって３１１と３３１から３２１の位置、形状に合った３２３が生成され、３７で画素の輝度値の倍率補正をした後に、３２２と組み合わして３５が合成され、過程Ｆによって３２２と３４２から３３２の位置、形状に合った３３３が生成され、３８で輝度値の倍率補正をした後の３３１と組み合わせることによって３６が合成される。
【００３７】
次に、図４を用いて請求項４の方法の作用を説明する。なお、図中で図３と同一部分は図３の番号をつけている。初めに３１１と３３１の画像のパターンマッチングを行い、３１１の３３１に対する画像の位置、形状の変移量４１を計算する。３１１と３３１に対して該変移量より３２の撮像時刻における中間画像４２と４３を予測生成し、両画像を合成することによって中間画像４４を生成する。次に４４から３２１内に位置する領域を切り出すことによって３２３を生成する。３２３は３７で輝度値の倍率補正をした後に３２２と組み合わせることによって３５を合成する作用を行う。
【００３８】
次に、図５を用いて請求項５の方法の作用を説明する。なお、図中で図３と同一部分は図３の番号をつけている。初めに３２２と３４２の画像のパターンマッチングを行い、３２２の３４２に対する画像の位置、形状の変移量５１を計算する、３２２と３４２に対して該変移量より３３の撮像時刻における中間画像５２と５３を予測生成し、両画像を合成することによって中間画像５４を生成する。次に５４から３３２内に位置する領域を切り出すことによって３３３を生成する。３３３と３８で輝度値の倍率補正をした後の３３１を組み合わせることによって３６を合成する作用を行う。
【００３９】
請求項４または請求項５の方法では、画像のパターンマッチングを行う時に二つのパターンの類似度も算出する。類似度が小さいか、またはパターンマッチングの対象となる領域がなかった場合には、請求項４の方法においては３１１と３２１間の類似度と３２１と３３１間の類似度を輪郭線のパターンマッチングによって比較し、３２１と３３１間の類似度の方が大きかった場合には、請求項３の方法の代わりに３２と３３を用いた直後の画像を用いる請求項１、２の方法に切り替え、３１１と３２１間の類似度の方が大きかった場合には、請求項３の方法の代わりに３１と３２を用いた直前の画像を用いる請求項１、２の方法に切り替える作用を行う。請求項５の方法においては３２２と３３２間の類似度と３３２と３４２間の類似度を輪郭線のパターンマッチングによって比較し、３３２と３４２間の類似度の方が大きかった場合には、請求項３の方法の代わりに３３と３４を用いた直後の画像を用いる請求項１、２の方法に切り替え、３２２と３３２間の類似度の方が大きかった場合には、請求項３の方法の代わりに３２と３３を用いる直前の画像を用いる請求項１、２の方法に切り替える作用を行う。
【００４０】
図２を用いて本発明の請求項６，７の装置の作用を説明する。図２の２１から２３は撮像時間を交互に変えて撮像した映像データの一部であり、２１と２３が長時間撮像画像、２２が短時間撮像画像である。２１１と２３１は被写体の露出オーバーでオーバーフローを起こした領域、２１２と２３２はそれ以外の領域である。２２１は長時間撮像であったならオーバーフローすると予測される領域、２２２はそれ以外の領域である。
【００４１】
請求項６，７の装置に従うと、合成器Ａによって２２１が２１１の位置、形状に合わされて２２３となり、２２３は２６で画素の輝度値の倍率補正を受けた後に２１２と組み合わされて２４が合成され、合成器Ｂによって２３２が２２２の位置、形状に合わされて２３３となり、２７で画素の輝度値の倍率補正を受けた後の２２１と組み合わされて２５が合成される。
【００４２】
なお、ここではある時刻における画像と直後の画像より該時刻における画像を合成する作用を説明しているが、例えば、２５を合成する場合、２３２のかわりに２１２を２２２の位置、形状に合わせるのごとく、直後の画像を使う部分を直前の画像に置き換えるだけである時刻における画像と直前の画像より該時刻における画像を合成できることは言うまでもない。
【００４３】
請求項６の装置に従うと、合成器Ａは２２１と２１１の輪郭線のパターンマッチングを行って２２１の２１１に対する位置、形状の変移量２８を算出し、２２１に対して２８を逆に作用させることによって２２３を生成し、２６で画素の輝度値の倍率補正をした後に、２１２と組み合わして２４を合成する作用を行う。
【００４４】
請求項７の装置に従うと、合成器Ｂは２３２と２２２の輪郭線のパターンマッチングを行い、２３２の２２２に対する位置、形状の変移量２９を算出し、２３２に対して２９を逆に作用させることによって２３３を生成し、２７で輝度値の倍率補正をした後の２２１と組み合わして２５を合成する作用を行う。
【００４５】
次に、図３を用いて本発明の請求項８の装置の作用を説明する。図３の３１から３４は撮像時間を交互に変えて撮像した映像データの一部であり、３１と３３が短時間撮像画像、３２と３４が長時間撮像画像である。３２１と３４１は被写体の露出オーバーでオーバーフローを起こした領域、３２２と３４２はそれ以外の領域である。３１１と３３１は長時間撮像であったならオーバーフローすると予測される領域、３１２と３３２はそれ以外の領域である。
【００４６】
請求項８の装置に従うと、合成器Ｅによって３１１と３３１から３２１の位置、形状に合った３２３が生成され、３７で画素の輝度値の倍率補正をした後に、３２２と組み合わされて３５が合成され、合成器Ｆによって３２２と３４２から３３２の位置、形状に合った３３３が生成され、３８で輝度値の倍率補正をした後の３３１と組み合わせることによって３６が合成される。
【００４７】
次に、図４を用いて請求項９の装置の作用を説明する。なお、図中で図３と同一部分は図３の番号をつけている。初めに３１１と３３１の画像のパターンマッチングをパターンマッチング器で行い、３１１の３３１に対する画像の位置、形状の変移量４１を計算する。３１１と３３１に対して該変移量より３２の撮像時刻における中間画像４２と４３を予測生成し、両画像を合成することによって中間画像４４を生成する。次に４４から３２１内に位置する領域を切り出すことによって３２３を生成する。３２３は３７で輝度値の倍率補正をした後に３２２と組み合わせることによって３５を合成する作用を行う。
【００４８】
次に、図５を用いて請求項１０の装置の作用を説明する。なお、図中で図３と同一部分は図３の番号をつけている。初めに３２２と３４２の画像のパターンマッチングをパターンマッチング器で行い、３２２の３４２に対する画像の位置、形状の変移量５１を計算する。３２２と３４２に対して該変移量より３３の撮像時刻における中間画像５２と５３を予測生成し、両画像を合成することによって中間画像５４を生成する。次に５４から３３２内に位置する領域を切り出すことによって３３３を生成する。３３３と３８で輝度値の倍率補正をした後の３３１を組み合わせることによって３６を合成する作用を行う。
【００４９】
請求項９または請求項１０の装置では、画像のパターンマッチングをパターンマッチング器で行う時に二つのパターンの類似度も算出し、類似度を類似度評価器で評価する。類似度が小さいか、またはパターンマッチングの対象となる領域がなかった場合には、請求項９の装置においては３１１と３２１間の類似度と３２１と３３１間の類似度を輪郭線のパターンマッチングによって比較し、３２１と３３１間の類似度の方が大きかった場合には、請求項８の装置の代わりに３２と３３を用いた直後の画像を用いる請求項６，７の装置の処理動作に切り替え、３１１と３２１間の類似度の方が大きかった場合には、請求項８の装置の代わりに３１と３２を用いた直前の画像を用いる請求項６，７の装置の処理動作に切り替える作用を行う。請求項１０の装置においては３２２と３３２間の類似度と３３２と３４２間の類似度を輪郭線のパターンマッチングによって比較し、３３２と３４２間の類似度の方が大きかった場合には、請求項８の装置の代わりに３３と３４を用いた直後の画像を用いる請求項６，７の装置の処理動作に切り替え、３２２と３３２間の類似度の方が大きかった場合には、請求項８の装置の代わりに３２と３３を用いる直前の画像を用いる請求項６，７の装置の処理動作に切り替える作用を行う。
【００５０】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００５１】
本発明の請求項１、２の方法の一実施形態を図６に示す。図６の６１は原映像データ格納過程、６２はデータ出力切り替え過程、６３は請求項１の方法の過程Ａを実現する一実施形態、６４は請求項２の方法の過程Ｂを実現する一実施形態、６５は出力データ格納過程である。
【００５２】
６３１と６３２は領域分離過程であり、請求項１の方法における過程Ｃと過程Ｄの一実施形態である。６３３と６３４は輪郭形状抽出過程、６３５は輪郭形状のパターンマッチング過程、６３６は領域の移動、変形過程、６３７は画素の輝度値倍率補正過程、６３８は画像合成過程である。
【００５３】
６４１と６４２は領域分離過程であり、請求項２の方法における過程Ｃと過程Ｄの一実施形態である。６４３と６３４は輪郭線抽出過程、６４５は輪郭線形状のパターンマッチング過程、６４６は領域の移動、変形過程、６４７は画素の輝度値倍率補正過程、６４８は画像合成過程である。
【００５４】
本実施形態による処理の流れを説明する。なお、本実施形態では原画像データはダイナミックレンジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５５）で逆ガンマ補正済みとする。また、長時間撮像時間と短時間撮像時間の撮像時間比をｋとし、ある時刻における画像と直後の画像データより該時刻における画像データを合成する処理について説明する。
【００５５】
６１では交互に撮像時間を変えて撮った映像データを蓄えている。なお、本方法を実時間処理で行える場合には、６１のかわりに直接撮像時間可変カメラの出力（ガンマ補正済み）過程であっても構わない。
【００５６】
６２は６１から逐次、画像と直後フレームの画像を取り出し、該２画像が長時間撮像画像、短時間撮像画像の順番であるなら長時間撮像画像を６３１に短時間撮像画像を６３２に出力する。また、短時間撮像画像、長時間撮像画像の順番であるなら長時間撮像画像を６４１に短時間撮像画像を６４２に出力する。
【００５７】
６３１と６３２は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。６３１の指定値を２５５とすることによって、６３１はオーバーフロー領域Ｘを６３３に出力し、それ以外の領域Ｘ-（図面ではＸバーを表す）を６３８に出力する。６３２の指定値を２５６／ｋとすることによって、６３２は長時間撮像であったならオーバーフローすると予測される領域Ｙを６３４と６３６に出力する。
【００５８】
６３３と６３４は、公知の方法であるチェイン符号化法（参考文献：画像解析ハンドブックｐｐ．５７９−５８０）で領域の輪郭線を抽出して６３５に出力する。
【００５９】
６３５は６３３と６３４から出力された輪郭形状をフーリエ記述子（参考文献：画像解析ハンドブックｐｐ．５８１−５８２）表現データに変換し、該データを比較してパターンマッチングを行うことによって両輪郭線形状の位置、形状の変移量データをアフィン変換行列データとして出力する（参考文献：画像処理アルゴリズムの最新動向、別冊ＯｐｌｕｓＥ、ｐｐ．５８−７２）。なお、輪郭線形状のパターンマッチング方法には様々な公知の方法があり、本発明の特許請求の範囲は本実施形態に限定されるものではない。また、２フレーム間に起きる輪郭線形状の移動変形量は微小なので変形は考慮せず全領域均一に移動するとして２領域の重心座標の変移量を変移データとして出力する簡略方法もあり、変移量データの内容は本実施形態に限定されるものではない。
【００６０】
また、本実施形態ではパターンマッチング対象領域が一つの場合について説明しているが、６３３と６３４で輪郭線が複数抽出されている場合は各々の輪郭線で囲まれた領域の重心座標を求め、最も重心座標の近い物同士で上記のパターンマッチングを行うことによって容易に複数の処理に拡張できることは言うまでもない。
【００６１】
６３６は６３５から出力されたアフィン変換行列データに基づいて、領域Ｙの位置、形状を領域Ｘの位置、形状に合わせて６３７に出力する。
【００６２】
６３７は画素の輝度値をｋ倍して６３８に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【００６３】
６３８は６３７の出力と６３１から出力された領域Ｘ-を一枚の画像データに合成し、これを６５で格納する。これによって長時間撮像と直後の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像が合成される。
【００６４】
６４１と６４２は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。６４１の指定値を２５５とすることによって、６４１はオーバーフローしていない領域Ｘ-を６４３と６４６に出力する。６４２の指定値を２５６／ｋとすることによって、６４２は長時間撮像であったならオーバーフローすると予測される領域Ｙを６４７に、それ以外の領域Ｙ-（図面ではＹバーを表す）を６４４に出力する。
【００６５】
６４３と６４４は公知の方法であるチェイン符号化法で領域の輪郭線を抽出して６４５に出力する。
【００６６】
６４５は６４３と６４４から出力された輪郭形状をフーリエ記述子表現データに変換し、該データを比較してパターンマッチングを行うことによって両輪郭線形状の位置、形状の変移量データをアフィン変換行列データとして出力する。
【００６７】
６４６は６４５から出力されたアフィン変換行列データに基づいて、領域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせて６４８に出力する。
【００６８】
６４７は６４２から出力された領域Ｙの画素の輝度値をｋ倍して６４８に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【００６９】
６４８は６４６の出力と６４７の出力を一枚の画像データに合成し、これを６５で格納する。これによって短時間撮像と直後の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像が合成される。
【００７０】
本発明の請求項３から５の方法の一実施形態を図７に示す。図７の７１は原映像データ格納過程、７２はデータ出力切り替え過程、７３は請求項４の方法の過程Ｅを実現する一実施形態、７４は請求項５の方法の過程Ｆを実現する一実施形態、７５は出力データ格納過程である。
【００７１】
７３１と７３２と７３３は、領域分離過程であり、請求項４の方法における過程Ｃと過程Ｄの一実施形態である。７３４は中間画像の予測生成過程、７３５は領域切り出し過程、７３６は画素の輝度値の倍率補正過程、７３７は画像合成過程である。
【００７２】
７４１と７４２と７４３は、領域分離過程であり、請求項５の方法における過程Ｃと過程Ｄの一実施形態である。７４４は中間画像の予測生成過程、７４５は領域切り出し過程、７４６は画素の輝度値の倍率補正過程、７４７は画像合成過程である。
【００７３】
本実施形態による処理の流れを説明する。なお、本実施形態では原画像データはダイナミックレンジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５５）で逆ガンマ補正済みとする。また、長時間撮像時間と短時間撮像時間の撮像時間比をｋとし、ある時刻における画像と直後の画像データより該時刻における画像データを合成する処理について説明する。
【００７４】
７１では交互に撮像時間を変えて撮った映像データを蓄えている。なお、本方法を実時間処理で行える場合には７１のかわりに直接撮像時間可変カメラの出力（ガンマ補正済み）過程であっても構わない。
【００７５】
７２は７１から逐次、画像と直前及び直後フレームの画像を取り出し、該３画像が短時間撮像画像、長時間撮像画像、短時間撮像画像の順番であるなら、直前の短時間撮像画像を７３１に、長時間撮像画像を７３２に、直後の短長間画像を７３３に出力する。また、該３画像が長時間撮像画像、短時間撮像画像、長時間撮像画像の順番であるなら、直前の長短間撮像画像を７４１に、短時間撮像画像を７４２に、直後の長時間画像を７４３に出力する。
【００７６】
７３１と７３２と７３３は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。７３１の指定値を２５６／ｋとすることによって、７３１は長時間撮像であったならオーバーフローすると予測される領域Ｙを７３４に出力する。７３２の指定値を２５５とすることによって、７３２はオーバーフロー領域Ｘを７３５に、それ以外の領域Ｘ-を７３７に出力する。７３３の指定値を２５６／ｋとすることによって、７３３は長時間撮像であったならオーバーフローすると予測される領域Ｙを７３４に出力する。
【００７７】
７３４は７３１と７３３から出力された領域Ｙの画像から短時間撮像時刻における中間画像をデュアルプライム予測法（参考文献：デジタル放送・インターネット技術のための情報圧縮技術、ｐｐ．２１８−２１９）で予測生成し、７３５に出力する。デュアルプライム予測法は作用の説明で述べた図４の４１、４２、４３、４４の作用を一括して行う。請求項４の方法に記載した画像のパターンマッチングの作用はデュアルプライム予測法内のＢＭＡ（ブロックマッチングアルゴリズム）にて行われる。
【００７８】
なお、画像のパターンマッチングにはＢＭＡ以外にも様々な公知の方法があり、画像の予測生成方法もデュアルプライム予測法以外の公知の方法があり、本発明の特許請求の範囲は本実施形態に限定されるものではない。
【００７９】
７３５は７３４から出力された中間画像のうち、７３２から出力された領域Ｘに含まれる領域の画像のみを切り出して７３６に出力する。
【００８０】
７３６は７３５から出力された画像の画素の輝度値をｋ倍して７３７に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【００８１】
７３７は７３２の出力と７３６の出力を一枚の画像データに合成し、これを７５で格納する。これによって長時間撮像と直前及び直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像が合成される。
【００８２】
７４１と７４２と７４３は、入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。７４１の指定値を２５５とすることによって、７４１はオーバーフロー領域Ｘ-を７４４に出力する。７４２の指定値を２５６／ｋとすることによって、７４２は長時間撮像であったなら、オーバーフローすると予測される領域Ｙを７４６に、それ以外の領域Ｙ-を７４５に出力する。７４３の指定値を２５５とすることによって、７４３はオーバーフロー領域Ｘ-を７４４に出力する。
【００８３】
７４４は、７４１と７４３から出力された領域Ｘ-の画像から短時間撮像時刻における中間画像をデュアルプライム予測法で予測生成し、７４５に出力する。デュアルプライム予測法は、作用の説明で述べた図５の５１、５２、５３、５４の作用を一括して行う。請求項５の方法に記載した画像のパターンマッチングの作用はデュアルプライム予測法内のＢＭＡ（ブロックマッチングアルゴリズム）にて行われる。
【００８４】
７４５は、７４４から出力された中間画像のうち、７４２から出力された領域Ｙ-に含まれる領域の画像のみを切り出して７４７に出力する。
【００８５】
７４６は７４２から出力された画像の画素の輝度値をｋ倍して７４７に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【００８６】
７４７は７４５の出力と７４６の出力を一枚の画像データに合成し、これを７５で格納する。これによって短時間撮像と直前及び直後の短時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像が合成される。
【００８７】
本発明の方法の一実施形態を図８に示す。図８において図７と全く同じ作用を行う過程を示す部分は図７と同じ番号を付している。
【００８８】
図８において、７１は原映像データ格納過程、７２はデータ出力切り替え過程、７３１、７３２、７３３は領域分離過程、７３４はデュアルプライム予測法に基づく中間画像予測生成過程である。８３１から８３５は７３４の内部処理過程を示しており、８３１はＢＭＡに基づく動きベクトル抽出過程、８３２は動き補償ベクトル生成過程、８３３は前フレーム画像を用いた中間画像予測生成過程、８３４は後フレーム画像を用いた中間画像予測生成過程、８３５は中間画像合成過程である。８３６は画像パターンの類似度判定過程、８１は直前の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像の領域Ｙの輪郭線のパターンマッチング過程、８２は直後の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像の領域Ｙの輪郭線のパターンマッチング過程、８３は処理動作選択過程、８４は長時間撮像画像と直前の短時間撮像画像から高ダイナミックレンジ画像を合成する請求項１の方法を実現する過程、８５は長時間撮像画像と直後の短時間撮像画像から高ダイナミックレンジ画像を合成する請求項１、２の方法を実現する過程、７５は出力データ格納過程である。
【００８９】
本図を用いて短時間撮像画像、長時間撮像画像、短時間撮像画像の順に並んだ３フレームの画像より本発明の方法を実施することによって、請求項３の方法から直前または直後の画像を用いる請求項１、２の方法に切り替える例について説明する。
【００９０】
７１から連続する３フレームの画像データを７２は取り出し、直前の短時間撮像画像は７３１に、長時間撮像画像は７３２に、直後の短時間撮像画像は７３３に出力する。
【００９１】
７３１は長時間撮像であったならオーバーフローしたであろうと予測される領域Ｙを８３１と８１に出力する。７３３は長時間撮像であったならオーバーフローしたであろうと予測される領域Ｙを８３１と８２に出力する。
【００９２】
７３４はデュアルプライム予測法に基づく中間画像予測生成過程であり、内部ブロックの８３１から８３５は公知の処理過程、８３６は本発明の方法を構成する新規の過程である。初めに従来の７３４の動作について簡単に説明する。
【００９３】
８３１は、２領域の画像をブロックパターンマッチング法でパターンマッチングを行い、各々のブロック毎に変移ベクトルを算出して８３２に、また、２領域のマッチング結果の残差であるＭＡＥ（平均値絶対値誤差）を８３６に出力する。８３２は長時間撮像画像の撮像時刻における画像にするための変移量（補償ベクトル）を直前の画像と直後の画像毎に別々に算出して８３３と８３４に出力する。
【００９４】
８３３は補償ベクトルを用いて７３１から出力された領域Ｙを部分中間画像に移動変形し８３５に出力する。８３４は補償ベクトルを用いて７３３から出力された領域Ｙを部分中間画像に移動変形し８３５に出力する。８３５は２枚の部分中間画像を合成することによって１枚の中間画像を生成する。以降、請求項３の方法であるならば図７の７３５、７３６、７３７の流れに沿って処理が進んでいく。
【００９５】
次に、本発明の方法の動作が行われる場合について説明する。８３６は８３１から出力された各ブロック毎のＭＡＥを調べ、予め与えられた閾値ｖに対して、全てのブロックのＭＡＥの総和＞ｖであるならば２領域の類似度が低いと判定して７３４以降の処理を停止し、８１と８２に動作を命令する。
【００９６】
なお、類似度はＭＡＥばかりでなく、公知の方法であるＭＳＥ（平均二乗誤差）や相互相関関数で与えることもできる。また、類似度判定もこれら誤差成分のみで判断するだけでなく、８３１で生成された各ブロック毎の移動ベクトルの分散から判定することもできるが、２領域の類似度を表現できる手法であるならば類似度の表現方法および判定方法は本実施形態に限定されるものではない。
【００９７】
８１は２領域の輪郭線形状を抽出し輪郭線のパターンマッチングをすることによって移動変形量を算出し８３に出力する。なお、輪郭線の抽出処理や移動変形量の実施方法は図６の実施形態に述べた符号化チェイン法およびフーリエ記述子変換法によるパターンマッチングとする。
【００９８】
８２は２領域の輪郭線形状を抽出し輪郭線のパターンマッチングをすることによって移動変形量を算出し８３に出力する。
【００９９】
８３は類似度判定を行うことにより、直前の短時間撮像画像と直後の短時間撮像画像のうちより長時間撮像画像と類似度の高い画像を決定する。類似度判定は移動変形量のより小さい方とする。例えば移動変形量が図６で説明した実施形態のごとくアフィン変換行列で与えられる場合には、正規化した行列の全要素の値の二乗和を算出してこれを類似度とする。なお、二乗和以外にも類似度を表現することは可能であり、また、移動変形量がアフィン変換行列式以外のデータ構造で与えられる場合にもそれに対応して類似度の表現式は変化するが、２輪郭線間の類似度を表現する式であるならば本実施形態に限定されるものではない。
【０１００】
８３は、８１から計算した類似度が８２から計算した類似度より大きい場合、長時間撮像画像と直前の短時間撮像画像の類似度がより大きいと判定し８４を動作させる。８２から計算した類似度がより大きい場合、長時間撮像画像と直後の短時間撮像画像の類似度がより大きいと判定し８５を動作させる。
【０１０１】
８４は長時間撮像画像と直前の短時間撮像撮像画像から図６の実施形態の過程によって高ダイナミックレンジ画像を合成し、７５で格納する。
【０１０２】
８５は長時間撮像画像と直後の短時間撮像撮像画像から図６の実施形態の過程によって高ダイナミックレンジ画像を合成し、７５で格納する。
【０１０３】
本実施形態の方法を用いた場合の原映像から高ダイナミックレンジ映像を生成する説明図を図９に示す。９１から９６は短時間撮像画像と長時間撮像画像の交互に繰り返しで構成される原映像である。ここで９１、９３、９５は長時間撮像画像、９２、９４、９６は短時間撮像画像である。フレーム９４以降でスポットライトが照明され画像内の明るい部分の領域形状が大幅に変化しているとする。
【０１０４】
本実施形態を用いると、基本的には３フレームの画像から１フレームの高ダイナミックレンジ画像を合成する請求項３の方法が使われる（９７、９８、９１１、９１２）が、９９の処理においては９２と９４で類似度が低いと判定され、９３とより類似度の高い画像は９２であると判定されて、９３と直前の９２の２フレームの画像から１フレームの高ダイナミックレンジ画像を合成する請求項１、２の方法が使われる。９１０の処理においては９３と９５で類似度が低いと判定され、９４とより類似度の高い画像は９５であると判定されて、９４と直後の９５の２フレームの画像から１フレームの高ダイナミックレンジ画像を合成する請求項１、２の方法が使われる。
【０１０５】
本発明の請求項６，７の装置の一実施形態を図１０に示す。図１０の１０１は磁気記録装置またはメモリ等で構成される原映像データ格納器、１０２はＣＰＵを用いた制御装置、１０３は請求項６の装置の合成器Ａを実現する一実施形態、１０４は請求項７の装置の合成器Ｂを実現する一実施形態、１０５は磁気記録装置またはメモリ等で構成される出力データ格納器である。
【０１０６】
１０３１と１０３２は領域分離器であり、請求項６の装置における検出器Ｃと検出器Ｄの一実施形態である。１０３３と１０３４は輪郭形状抽出器、１０３５は輪郭形状のパターンマッチング器、１０３６は領域の移動、変形器、１０３７は画素の輝度値倍率補正器、１０３８は画像合成器である。
【０１０７】
１０４１と１０４２は領域分離器であり、請求項７の装置における検出器Ｃと検出器Ｄの一実施形態である。１０４３と１０３４は輪郭線抽出器、１０４５は輪郭線形状のパターンマッチング器、１０４６は領域の移動、変形器、１０４７は画素の輝度値倍率補正器、１０４８は画像合成器である。
【０１０８】
本実施形態による処理の流れを説明する。なお、本実施形態では原画像データはダイナミックレンジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５５）で逆ガンマ補正済みとする。また、長時間撮像時間と短時間撮像時間の撮像時間比をｋとし、ある時刻における画像と直後の画像データより該時刻における画像データを合成する処理について説明する。
【０１０９】
１０１は交互に撮像時間を変えて撮った映像データを蓄えている。なお、本装置を実時間処理動作できる場合には１０１を省略して撮像時間可変カメラの出力（ガンマ補正済み）を直接１０２に接続しても構わない。
【０１１０】
１０２は１０１から逐次、画像と直後フレームの画像を取り出し、該２画像が長時間撮像画像、短時間撮像画像の順番であるなら、長時間撮像画像を１０３１に、短時間撮像画像を１０３２に出力する。また、短時間撮像画像、長時間撮像画像の順番であるなら、長時間撮像画像を１０４１に、短時間撮像画像を１０４２に出力する。
【０１１１】
１０３１と１０３２は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。１０３１の指定値を２５５とすることによって、１０３１はオーバーフロー領域Ｘを１０３３に出力し、それ以外の領域Ｘ-を１０３８に出力する。１０３２の指定値を２５６／ｋとすることによって、１０３２は長時間撮像であったならオーバーフローすると予測される領域Ｙを１０３４と１０３６に出力する。
【０１１２】
１０３３と１０３４は公知の方法であるチェイン符号化法（参考文献：画像解析ハンドブックｐｐ．５７９−５８０）で領域の輪郭線を抽出して１０３５に出力する。
【０１１３】
１０３５は１０３３と１０３４から出力された輪郭形状をフーリエ記述子（参考文献：画像解析ハンドブックｐｐ．５８１−５８２）表現データに変換し、該データを比較してパターンマッチングを行うことによって両輪郭線形状の位置、形状の変移量データをアフィン変換行列データとして出力する（参考文献：画像処理アルゴリズムの最新動向、別冊ＯｐｌｕｓＥ、ｐｐ．５８−７２）。なお、輪郭線形状のパターンマッチング装置には様々な公知の装置があり。輪郭線が抽出できるのであれば本発明の特許請求の範囲は本実施形態に限定されるものではない。また、２フレーム間に起きる輪郭線形状の移動変形量は微小なので変形は考慮せず、全領域均一に移動するとして２領域の重心座標の変移量を変移データとして出力する簡略化した装置（例：ＭＵＳＥ方式ＨｉＶｉｓｉｏｎのエンコーダ）もあり、本発明の特許請求の範囲を本実施形態に限定するものではない。
【０１１４】
また、本実施形態ではパターンマッチング対象領域が一つの場合について説明しているが、１０３３と１０３４で輪郭線が複数抽出されている場合は各々の輪郭線で囲まれた領域の重心座標を求め、最も重心座標の近い物同士で上記のパターンマッチングを行うことによって、容易に複数の処理に拡張できることは言うまでもない。
【０１１５】
１０３６は１０３５から出力されたアフィン変換行列データに基づいて、領域Ｙの位置、形状を領域Ｘの位置、形状に合わせて１０３７に出力する。
【０１１６】
１０３７は画素の輝度値をｋ倍して１０３８に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【０１１７】
１０３８は１０３７の出力と１０３１から出力された領域Ｘ-を一枚の画像データに合成して１０５に格納する。これによって長時間撮像と直後の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像が合成される。
【０１１８】
１０４１と１０４２は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。１０４１の指定値を２５５とすることによって、１０４１はオーバーフローしていない領域Ｘ-を１０４３と１０４６に出力する。１０４２の指定値を２５６／ｋとすることによって、１０４２は長時間撮像であったならオーバーフローすると予測される領域Ｙを１０４７に、それ以外の領域Ｙ-を１０４４に出力する。
【０１１９】
１０４３と１０４４は公知の方法であるチェイン符号化法で領域の輪郭線を抽出して１０４５に出力する。
【０１２０】
１０４５は１０４３と１０４４から出力された輪郭形状をフーリエ記述子表現データに変換し、該データを比較してパターンマッチングを行うことによって両輪郭線形状の位置、形状の変移量データをアフィン変換行列データとして出力する。
【０１２１】
１０４６は１０４５から出力されたアフィン変換行列データに基づいて、領域Ｘ-の位置、形状を領域Ｙ-の位置、形状に合わせて１０４８に出力する。
【０１２２】
１０４７は１０４２から出力された領域Ｙの画素の輝度値をｋ倍して１０４８に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【０１２３】
１０４８は１０４６の出力と１０４７の出力を一枚の画像データに合成して１０５に格納する。これによって短時間撮像と直後の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像が合成される。
【０１２４】
本発明の請求項８から１０の装置の一実施形態を図１１に示す。図１１の１１１は磁気記録装置またはメモリ等で構成される原映像データ格納器、１１２はＣＰＵを用いた制御装置、１１３は請求項９の装置の合成器Ｅを実現する一実施形態、１１４は請求項１０の装置の合成器Ｆを実現する一実施形態、１１５は磁気記録装置またはメモリ等で構成される出力データ格納器である。
【０１２５】
１１３１と１１３２と１１３３は領域分離器であり、請求項９の装置における検出器Ｃと検出器Ｄの一実施形態である。１１３４は中間画像の予測生成器、１１３５は領域切り出し器、１１３６は画素の輝度値の倍率補正器、１１３７は画像合成器である。
【０１２６】
１１４１と１１４２と１１４３は領域分離器であり、請求項９の装置における検出器Ｃと検出器Ｄの一実施形態である。１１４４は中間画像の予測生成器、１１４５は領域切り出し器、１１４６は画素の輝度値の倍率補正器、１１４７は画像合成器である。
【０１２７】
本実施形態による処理の流れを説明する。なお、本実施形態では原画像データはダイナミックレンジが８ｂｉｔ（画素の輝度値のとりうる値は０から２５５）で逆ガンマ補正済みとする。また、長時間撮像時間と短時間撮像時間の撮像時間比をｋとし、ある時刻における画像と直後の画像データより該時刻における画像データを合成する処理について説明する。
【０１２８】
１１１は交互に撮像時間を変えて撮った映像データを蓄えている。なお、本装置を実時間処理動作できる場合には１１１を省略して撮像時間可変カメラの出力（ガンマ補正済み）を直接１１２に接続しても構わない。
【０１２９】
１１２は１１１から逐次、画像と直前及び直後フレームの画像を取り出し、該３画像が短時間撮像画像、長時間撮像画像、短時間撮像画像の順番であるなら、直前の短時間撮像画像を１１３１に、長時間撮像画像を１１３２に、直後の短長間画像を１１３３に出力する。また、該３画像が長時間撮像画像、短時間撮像画像、長時間撮像画像の順番であるなら、直前の長短間撮像画像を１１４１に、短時間撮像画像を１１４２に、直後の長時間画像を１１４３に出力する。
【０１３０】
１１３１と１１３２と１１３３は入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。１１３１の指定値を２５６／ｋとすることによって、１１３１は長時間撮像であったならオーバーフローすると予測される領域Ｙを１１３４に出力する。１１３２の指定値を２５５とすることによって、１１３２はオーバーフロー領域Ｘを１１３５にそれ以外の領域Ｘ-を１１３７に出力する。１１３３の指定値を２５６／ｋとすることによって、１１３３は長時間撮像であったならオーバーフローすると予測される領域Ｙを１１３４に出力する。
【０１３１】
１１３４は１１３１と１１３３から出力された領域Ｙの画像から短時間撮像時刻における中間画像をデュアルプライム予測演算器（参考文献：デジタル放送・インターネット技術のための情報圧縮技術、ｐｐ．２１８−２１９）で予測生成し１１３５に出力する。デュアルプライム予測演算器は作用の説明で述べた図４の４１、４２、４３、４４の作用を一括して行う。デュアルプライム演算器内のＢＭＡ（ブロックマッチングアルゴリズム）演算器が請求項９の装置に記載した画像のパターンマッチング器に該当する。
【０１３２】
なお、画像のパターンマッチング器にはＢＭＡ以外にも様々な公知の装置があり、画像の予測生成器もデュアルプライム予測演算器以外の公知の装置があり、画像のパターンマッチングを用いて予測生成を行う装置であるなら本発明の特許請求の範囲を本実施形態に限定するものではない。
【０１３３】
１１３５は１１３４から出力された中間画像のうち、１１３２から出力された領域Ｘに含まれる領域の画像のみを切り出して１１３６に出力する。
【０１３４】
１１３６は１１３５から出力された画像の画素の輝度値をｋ倍して１１３７に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され。同一輝度部分を撮像した画素の輝度値は同一となる。
【０１３５】
１１３７は１１３２の出力と１１３６の出力を一枚の画像データに合成して１１５に格納する。これによって長時間撮像と直前及び直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像が合成される。
【０１３６】
１１４１と１１４２と１１４３は、入力した画像から指定した値以上の画素の輝度値を有する領域と該値未満の画素の輝度値を有する領域に分離して出力する。１１４１の指定値を２５５とすることによって、１１４１はオーバーフロー領域Ｘ-を１１４４に出力する。１１４２の指定値を２５６／ｋとすることによって、１１４２は長時間撮像であったならオーバーフローすると予測される領域Ｙを１１４６に、それ以外の領域Ｙ-を１１４５に出力する。１１４３の指定値を２５５とすることによって、１１４３はオーバーフロー領域Ｘ-を１１４４に出力する。
【０１３７】
１１４４は、１１４１と１１４３から出力された領域Ｘ-の画像から短時間撮像時刻における中間画像をデュアルプライム予測演算器で予測生成し、１１４５に出力する。デュアルプライム予測演算器は作用の説明で述べた図５の５１、５２、５３、５４の作用を一括して行う。デュアルプライム演算器内のＢＭＡ（ブロックマッチングアルゴリズム）演算器が請求項１０の装置に記載した画像のパターンマッチング器に該当する。
【０１３８】
１１４５は１１４４から出力された中間画像のうち、１１４２から出力された領域Ｙ-に含まれる領域の画像のみを切り出して１１４７に出力する。
【０１３９】
１１４６は１１４２から出力された画像の画素の輝度値をｋ倍して１１４７に出力する。これにより撮像時間の異なる２フレームの画像間の感度差が補正され、同一輝度部分を撮像した画素の輝度値は同一となる。
【０１４０】
１１４７は１１４５の出力と１１４６の出力を一枚の画像データに合成して１１５に格納する。これによって短時間撮像と直前及び直後の短時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像が合成される。
【０１４１】
本発明の装置について短時間撮像画像、長時間撮像画像、短時間撮像画像の順に並んだ３フレームの画像を処理する場合の実施形態を図１２に示す。図１２において図１１と全く同じ装置を示す部分は図１１と同じ番号を付している。
【０１４２】
図１２において、１１１は磁気記録装置またはメモリ等で構成される原映像データ格納器、１１２はＣＰＵを用いた制御装置、１１３１、１１３２、１１３３は領域分離器、１１３４はデュアルプライム予測法に基づく中間画像予測生成器である。１２３１から１２３５は１１３４の内部処理を行う装置を示しており、１２３１はＢＭＡに基づく動きベクトル抽出器、１２３２は動き補償ベクトル生成器、１２３３は前フレーム画像を用いた中間画像予測生成器、１２３４は後フレーム画像を用いた中間画像予測生成器、１２３５は中間画像合成器である。１２３６は画像パターンの類似度判定器、１２１は直前の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像の領域Ｙの輪郭線のパターンマッチング器、１２２は直後の短時間撮像画像の領域Ｘの輪郭線と長時間撮像画像の領域Ｙの輪郭線のパターンマッチング器、１２３は処理動作選択器、１２４は長時間撮像画像と直前の短時間撮像画像から高ダイナミックレンジ画像を合成する請求項６，７の装置、１２５は長時間撮像画像と直後の短時間撮像画像から高ダイナミックレンジ画像を合成する請求項６，７の装置、１１５は磁気記録装置またはメモリ等で構成される出力データ格納器である。
【０１４３】
本図を用いて短時間撮像画像、長時間撮像画像、短時間撮像画像の順に並んだ３フレームの画像より本発明の装置を用いて、請求項８の装置から直前または直後の画像を用いる請求項６，７の装置に処理動作を切り替える例について説明する。
【０１４４】
１１１から連続する３フレームの画像を１１２は取り出し、直前の短時間撮像画像は１１３１に、長時間撮像画像は１１３２に、直後の短時間撮像画像は１１３３に出力する。１１３１は長時間撮像であったならオーバーフローしたであろうと予測される領域Ｙを１２３１と１２１に出力する。１１３３は長時間撮像であったならオーバーフローしたであろうと予測される領域Ｙを１２３１と１２２に出力する。
【０１４５】
１１３４はデュアルプライム予測法に基づく中間画像予測生成装置であり、内部ブロックの１２３１から１２３５は公知の処理装置、１２３６は本発明の装置を構成する新規の装置である。初めに従来の１１３４の動作について簡単に説明する。
【０１４６】
１２３１は２領域の画像をＢＭＡ法でパターンマッチングを行い、各々のブロック毎に変移ベクトルを算出して１２３２に、また、２領域のマッチング結果の残差であるＭＡＥ（平均値絶対値誤差）を１２３６に出力する。１２３２は長時間撮像画像の撮像時刻における画像にするための変移量（補償ベクトル）を直前の画像と直後の画像毎に別々に算出して１２３３と１２３４に出力する。
【０１４７】
１２３３は補償ベクトルを用いて１１３１から出力された領域Ｙを部分中間画像に移動変形し１２３５に出力する。１２３４は補償ベクトルを用いて１１３３から出力された領域Ｙを部分中間画像に移動変形し１２３５に出力する。１２３５は２枚の部分中間画像を合成することによって１枚の中間画像を生成する。以降、請求項８の装置で処理が続く場合には図１１の１１３５、１１３６、１１３７の流れに沿って処理が進んでいく。
【０１４８】
次に、本発明の装置の動作が行われる場合について説明する。１２３６は１２３１から出力された各ブロック毎のＭＡＥを調べ、予め与えられた閾値ｖに対して、全てのブロックのＭＡＥの総和＞ｖであるならば２領域の類似度が低いと判定して１１３２の処理を停止し、１２１と１２２に動作を命令する。
【０１４９】
１２１は１１３１から出力された領域Ｙと１１３２から出力された領域Ｘについて、輪郭線を符号化チェイン法による輪郭線抽出器によって抽出し、フーリエ記述子変換法によるパターンマッチング器によって移動変形量を算出し１２３に出力する。
【０１５０】
１２２は１１３３から出力された領域Ｙと１１３２から出力された領域Ｘについて、輪郭線を符号化チェイン法による輪郭線抽出器によって抽出し、フーリエ記述子変換法によるパターンマッチング器によって移動変形量を算出し１２３に出力する。
【０１５１】
１２３は移動変形量を用いて類似度判定を行うことにより、直前の短時間撮像画像と直後の短時間撮像画像のうちより長時間撮像画像と類似度の高い画像を決定する。類似度判定は移動変形量のより小さい方とする。例えば移動変形量が図１０で説明した実施形態のごとくアフィン変換行列で与えられる場合には、正規化した行列の全要素の値の二乗和を算出してこれを類似度とする。なお、二乗和以外にも類似度を表現することは可能であり。また、移動変形量がアフィン変換行列式以外のデータ構造で与えられる場合にもそれに対応して類似度の表現式は変化するが、２輪郭線の類似度を表現する式であるならば本発明の特許請求の範囲は本実施形態に限定されるものではない。
【０１５２】
１２３は、１２１から計算した類似度が１２２から計算した類似度より大きい場合、長時間撮像画像と直前の短時間撮像画像の類似度がより大きいと判定し１２４を動作させる。１２２から計算した類似度がより大きい場合、長時間撮像画像と直後の短時間撮像画像の類似度がより大きいと判定し１２５を動作させる。
【０１５３】
１２４は長時間撮像画像と直前の短時間撮像撮像画像から図１０の実施形態の装置によって高ダイナミックレンジ画像を合成し１１５に格納する。
【０１５４】
１２５は長時間撮像画像と直後の短時間撮像撮像画像から図１０の実施形態の装置によって高ダイナミックレンジ画像を合成し１１５に格納する。
【０１５５】
なお、図１０〜図１２で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図６〜図８で説明した処理過程による方法の処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【０１５６】
【発明の効果】
従来の方法および装置では、図１（ａ）の１１に示すように２フレームの画像より単一の合成アルゴリズムで１フレームの画像を合成するためフレームレートが半減してしまうが、本発明の方法および装置は、請求項１、２の方法と請求項６，７の装置では図１（ｂ）の１２、請求項３の方法と請求項８の装置では図１（ｃ）の１３のように、どちらも原映像と同フレームレートで高ダイナミックレンジ映像を生成することができる。
【０１５７】
また、本発明の請求項１、２の方法および請求項６，７の装置では、図２に示したように撮像時刻の異なる２フレームの画像をそのまま合成せず、同じ撮像時刻に得られるはずの画像を予測生成した後に合成するため、動画像であっても不自然な画像を合成しない。
【０１５８】
更に、請求項１、２の方法および請求項６，７の装置は、輪郭線部の動きと輪郭線内の動きが同じ時に正確な合成映像が提供できるが、請求項３の方法および請求項８の装置は輪郭線部の動きと輪郭線内部の動きが別々の場合でも正確な合成画像を提供することができるので、より高品質な高ダイナミックレンジ映像を提供できる。
【０１５９】
一方で、請求項３の方法および請求項８の装置は、連続する３フレームの映像を必要とするため、映像の切り替わり点や、画像内容がフレーム間で不連続的に変化するような場合には適用できないか、または無理に適用しても低品質の合成画像しか得られない等の問題点もある。そこで、本発明の方法および装置において、前記の不連続な部分を２画像の類似度を調べることによって検出し、請求項３の方法と請求項１、２の方法あるいは請求項８の装置と請求項６，７の装置を適応的に切り替えて処理を行うことによって、図９に示したように画像間で不連続な部分が存在しても常に最適な画像合成方法および装置を選択して高ダイナミックレンジ映像を合成することが可能となる。
【図面の簡単な説明】
【図１】 （１）は従来の方法を、（２）は本発明の請求項１、２の方法を、（３）は本発明の請求項３の方法を、それぞれ用いた場合の原画像データと合成画像データの対応を説明した図である。
【図２】 本発明の請求項１、２の方法および請求項６、７の装置の作用を説明した図である。
【図３】 本発明の請求項３の方法および請求項８の装置の作用を説明した図である。
【図４】 本発明の請求項４の方法および請求項９の装置の作用を説明した図である。
【図５】 本発明の請求項５の方法および請求項１０の装置の作用を説明した図である。
【図６】 本発明の請求項１、２の方法の一実施形態を示した図である。
【図７】 本発明の請求項３、４、５の方法の一実施形態を示した図である。
【図８】 本発明の方法の一実施形態を示した図である。
【図９】 本発明の方法および装置を用いた場合の原画像データと合成画像データの対応関係を示した図である。
【図１０】 本発明の請求項６、７の装置の一実施形態を示した図である。
【図１１】 本発明の請求項８、９、１０の装置の一実施形態を示した図である。
【図１２】 本発明の装置の一実施形態を示した図である。
Claims (12)
- 撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する方法において、
長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ａと、
短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｂの異なる２つの合成過程とを有し、
長時間撮像時刻における画像については過程Ａを実行し、短時間撮像時刻における画像については過程Ｂを実行し、
過程Ａでは、
長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する過程Ｃと、
短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、
２領域の輪郭線のパターンマッチングを行う過程とを有し、
過程Ｃにより長時間撮像画像を領域Ｘとそれ以外の領域Ｘ - に分離し、
過程Ｄにより直後または直前の短時間撮像画像から領域Ｙを抜き出し、
パターンマッチングを行う過程により領域Ｙの位置、形状を領域Ｘの位置、形状に合わせた後で画素の輝度値の倍率補正を行った後に、領域Ｘ - と合成することによって、長時間撮像と直後または直前の短時間撮像の２画像から長時間撮像時刻における画像を合成する
ことを特徴とする高ダイナミックレンジ映像の生成方法。 - 撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する方法において、
長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ａと、
短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｂの異なる２つの合成過程とを有し、
長時間撮像時刻における画像については過程Ａを実行し、短時間撮像時刻における画像については過程Ｂを実行し、
過程Ｂでは、
長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する過程Ｃと、
短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、
２領域の輪郭線のパターンマッチングを行う過程とを有し、
過程Ｄにより短時間撮像画像を領域Ｙとその他の領域Ｙ - に分離し、
過程Ｃにより直後または直前の長時間撮像画像を領域Ｘとその他の領域Ｘ - に分離し、
パターンマッチングを行う過程により領域Ｘ - の位置、形状を領域Ｙ - の位置、形状に合わせた後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直後または直前の長時間撮像の２画像から短時間撮像時刻における画像を合成する
ことを特徴とする高ダイナミックレンジ映像の生成方法。 - 撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する方法において、
長時間撮像と直前の短時間撮像と直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｅと、
短時間撮像と直前の長時間撮像と直後の長時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する過程Ｆの異なる２つの合成過程とを有し、
長時間撮像時刻における画像については過程Ｅを実行し、短時間撮像時刻における画像については過程Ｆを実行する
ことを特徴とする高ダイナミックレンジ映像の生成方法。 - 過程Ｅでは、
長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する過程Ｃと、
短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、
２領域の画像のパターンマッチングを行う過程とを有し、
過程Ｃにより長時間撮像の画像を領域Ｘとそれ以外の領域Ｘ-に分離し、
過程Ｄにより直前の短時間撮像の画像から領域Ｙ１を切り出し、
過程Ｄにより直後の短時間撮像の画像から領域Ｙ２を切り出し、
２領域の画像のパターンマッチングを行う過程により２領域である領域Ｙ１と領域Ｙ２から長時間撮像時刻における中間画像Ｙ３を生成し、
中間画像Ｙ３から領域Ｘと位置的に重なる領域を切り出し、画素の輝度値の倍率補正を行った後で、領域Ｘ-と合成することによって、長時間撮像と直前の短時間画像と直後の短時間撮像の３画像から長時間撮像時刻における画像を合成する
ことを特徴とする請求項３に記載の高ダイナミックレンジ映像の生成方法。 - 過程Ｆでは、
長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する過程Ｃと、
短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する過程Ｄと、
２領域の画像のパターンマッチングを行う過程とを有し、
過程Ｄにより短時間撮像の画像を領域Ｙとその他の領域Ｙ-に分離し、
過程Ｃにより直前の長時間撮像の画像を領域Ｘ１とその他の領域Ｘ１-に分離し、
過程Ｃにより直後の長時間撮像の画像を領域Ｘ２とその他の領域Ｘ２-に分離し、
２領域の画像のパターンマッチングを行う過程により２領域である領域Ｘ１-と領域Ｘ２-から短時間撮像時刻における中間画像Ｘ３-を生成し、
中間画像Ｘ３-から領域Ｙ-と位置的に重なる領域を切り出した後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直前の長時間撮像と直後の短時間撮像の３画像から短時間撮像時刻における画像を合成する
ことを特徴とする請求項３に記載の高ダイナミックレンジ映像の生成方法。 - 撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する装置において、
長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ａと、
短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｂの異なる２つの合成器とを有し、
長時間撮像時刻における画像については合成器Ａを用い、短時間撮像時刻における画像については合成器Ｂを用い、
合成器Ａは、
長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する検出器Ｃと、
短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、
２領域の輪郭線のパターンマッチングを行うパターンマッチング器とを有し、
検出器Ｃを用いて長時間撮像画像を領域Ｘとそれ以外の領域Ｘ - に分離し、検出器Ｄを用いて直後または直前の短時間撮像画像から領域Ｙを抜き出し、該パターンマッチング器を用いて領域Ｙの位置、形状を領域Ｘの位置、形状に合わせた後で画素の輝度値の倍率補正を行った後に、領域Ｘ - と合成することによって、長時間撮像と直後または直前の短時間撮像の２画像から長時間撮像時刻における画像を合成するものである
ことを特徴とする高ダイナミックレンジ映像の生成装置。 - 撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する装置において、
長時間撮像と直後または直前の短時間撮像の２画像より長時間撮像時刻における高ダイ ナミックレンジ画像を合成する合成器Ａと、
短時間撮像と直後または直前の長時間撮像の２画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｂの異なる２つの合成器とを有し、
長時間撮像時刻における画像については合成器Ａを用い、短時間撮像時刻における画像については合成器Ｂを用い、
合成器Ｂは、
長時間撮像の画像内にあるオーバーフロー領域Ｘを検出する検出器Ｃと、
短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、
２領域の輪郭線のパターンマッチングを行うパターンマッチング器とを有し、
検出器Ｄを用いて短時間撮像画像を領域Ｙとその他の領域Ｙ - に分離し、検出器Ｃを用いて直後または直前の長時間撮像画像を領域Ｘとその他の領域Ｘ - に分離し、該パターンマッチング器を用いて領域Ｘ - の位置、形状を領域Ｙ - の位置、形状に合わせた後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直後または直前の長時間撮像の２画像から短時間撮像時刻における画像を合成するものである
ことを特徴とする高ダイナミックレンジ映像の生成装置。 - 撮像時間を可変に制御できる撮像装置を用いて長時間撮像と短時間撮像を交互に繰り返して高ダイナミックレンジ映像を生成する装置において、
長時間撮像と直前の短時間撮像と直後の短時間撮像の３画像より長時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｅと、
短時間撮像と直前の長時間撮像と直後の長時間撮像の３画像より短時間撮像時刻における高ダイナミックレンジ画像を合成する合成器Ｆの異なる２つの合成器とを有し、
長時間撮像時刻における画像については合成器Ｅを用い、短時間撮像時刻における画像については合成器Ｆを用いる
ことを特徴とする高ダイナミックレンジ映像の生成装置。 - 合成器Ｅは、
長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する検出器Ｃと、
短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、
２領域の画像のパターンマッチングを行うパターンマッチング器とを有し、
検出器Ｃを用いて長時間撮像の画像を領域Ｘとそれ以外の領域Ｘ-に分離し、検出器Ｄを用いて直前の短時間撮像の画像から領域Ｙ１を切り出し、検出器Ｄを用いて直後の短時間撮像の画像から領域Ｙ２を切り出し、領域Ｙ１と領域Ｙ２から該パターンマッチング器を用いて長時間撮像時刻における中間画像Ｙ３を生成し、中間画像Ｙ３から領域Ｘと位置的に重なる領域を切り出し、画素の輝度値の倍率補正を行った後で、領域Ｘ-と合成することによって、長時間撮像と直前の短時間画像と直後の短時間撮像の３画像から長時間撮像時刻における画像を合成するものである
ことを特徴とする請求項８に記載の高ダイナミックレンジ映像の生成装置。 - 合成器Ｆは、
長時間撮像の画像中にあるオーバーフロー領域Ｘを検出する検出器Ｃと、
短時間撮像の画像において長時間撮像であったならオーバーフローすると予測される領域Ｙを検出する検出器Ｄと、
２領域の画像のパターンマッチングを行うパターンマッチング器とを有し、
検出器Ｄを用いて短時間撮像の画像を領域Ｙとその他の領域Ｙ-に分離し、検出器Ｃを用いて直前の長時間撮像の画像を領域Ｘ１とその他の領域Ｘ１-に分離し、検出器Ｃを用いて直後の長時間撮像の画像を領域Ｘ２とその他の領域Ｘ２-に分離し、領域Ｘ１-と領域Ｘ２-から該パターンマッチング器を用いて短時間撮像時刻における中間画像Ｘ３-を生成し、中間画像Ｘ３-から領域Ｙ-と位置的に重なる領域を切り出した後で、画素の輝度値の倍率補正を行った後の領域Ｙと合成することによって、短時間撮像と直前の長時間撮像と直後の短時間撮像の３画像から短時間撮像時刻における画像を合成するものである
ことを特徴とする請求項８に記載の高ダイナミックレンジ映像の生成装置。 - 請求項１から請求項５のいずれか１項に記載の高ダイナミックレンジ映像の生成方法における過程を、コンピュータに実行させるためのプログラムとした
ことを特徴とする高ダイナミックレンジ映像の生成方法の実行プログラム。 - 請求項１から請求項５のいずれか１項に記載の高ダイナミックレンジ映像の生成方法における過程を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする高ダイナミックレンジ映像の生成方法の実行プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001227008A JP3740394B2 (ja) | 2001-07-27 | 2001-07-27 | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001227008A JP3740394B2 (ja) | 2001-07-27 | 2001-07-27 | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003046857A JP2003046857A (ja) | 2003-02-14 |
| JP3740394B2 true JP3740394B2 (ja) | 2006-02-01 |
Family
ID=19059731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001227008A Expired - Fee Related JP3740394B2 (ja) | 2001-07-27 | 2001-07-27 | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3740394B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6879731B2 (en) * | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
| TWI246031B (en) | 2004-09-17 | 2005-12-21 | Ulead Systems Inc | System and method for synthesizing multi-exposed image |
| JP2007300463A (ja) * | 2006-05-01 | 2007-11-15 | Opt Kk | カメラ装置および画像処理方法 |
| JP5566048B2 (ja) * | 2009-04-28 | 2014-08-06 | キヤノン株式会社 | 表示装置及びその制御方法 |
| JP5214538B2 (ja) * | 2009-05-25 | 2013-06-19 | オリンパス株式会社 | 画像取得装置、画像合成方法、及び顕微鏡システム |
| KR101633460B1 (ko) | 2009-10-21 | 2016-06-24 | 삼성전자주식회사 | 다중 노출 제어 장치 및 그 방법 |
| JP5432799B2 (ja) | 2010-03-30 | 2014-03-05 | オリンパスイメージング株式会社 | 撮像装置、撮像システム、撮像方法 |
| JP2011234342A (ja) | 2010-04-08 | 2011-11-17 | Canon Inc | 画像処理装置及びその制御方法 |
| JP5066249B2 (ja) * | 2010-05-26 | 2012-11-07 | オリンパスイメージング株式会社 | 撮像装置および撮像方法 |
| JP5713752B2 (ja) | 2011-03-28 | 2015-05-07 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
| JP5814610B2 (ja) * | 2011-05-06 | 2015-11-17 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
| JP5980618B2 (ja) * | 2012-08-09 | 2016-08-31 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
| JP6343200B2 (ja) * | 2014-07-31 | 2018-06-13 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
| KR102628911B1 (ko) * | 2019-01-07 | 2024-01-24 | 삼성전자주식회사 | 영상 처리 방법 및 이를 수행하는 영상 처리 장치 |
| CN110377779B (zh) * | 2019-05-29 | 2021-01-22 | 腾讯科技（深圳）有限公司 | 图像标注的方法、基于病理图像的标注展示方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3666900B2 (ja) * | 1994-04-25 | 2005-06-29 | キヤノン株式会社 | 撮像装置および撮像方法 |
| JP2000078480A (ja) * | 1998-08-31 | 2000-03-14 | Sony Corp | 撮像装置及び撮像方法 |
| JP4284570B2 (ja) * | 1999-05-31 | 2009-06-24 | ソニー株式会社 | 撮像装置及びその方法 |
| JP4742453B2 (ja) * | 2001-06-20 | 2011-08-10 | ソニー株式会社 | 撮像方法および装置 |
-
2001
- 2001-07-27 JP JP2001227008A patent/JP3740394B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003046857A (ja) | 2003-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3740394B2 (ja) | 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体 | |
| US10277812B2 (en) | Image processing to obtain high-quality loop moving image | |
| JP4321287B2 (ja) | 撮影装置および撮影方法、並びに、プログラム | |
| US7511730B2 (en) | Image processing apparatus and method and image pickup apparatus | |
| US7612909B2 (en) | Image processing apparatus and method, and image-capturing apparatus based on the difference between a signal detected by a sensor and the real world | |
| JP5687553B2 (ja) | 画像合成装置、画像合成方法及び画像合成プログラム | |
| US7221778B2 (en) | Image processing apparatus and method, and image pickup apparatus | |
| US7024050B2 (en) | Image processing apparatus | |
| JP2010021698A (ja) | 画像処理装置およびプログラム | |
| JP3866957B2 (ja) | 画像合成装置 | |
| KR20060070557A (ko) | 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 프로그램 | |
| US7130464B2 (en) | Image processing device | |
| JP2011097246A (ja) | 画像処理装置および方法、並びにプログラム | |
| KR20150108774A (ko) | 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체 | |
| JP5531865B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4507948B2 (ja) | 撮影装置、撮影画像の画像処理方法及びプログラム | |
| US8134613B2 (en) | Image processing apparatus and method, and image pickup apparatus | |
| CN110958361B (zh) | 能够进行hdr合成的摄像设备及其控制方法和存储介质 | |
| US7412075B2 (en) | Picture processing apparatus for processing picture data in accordance with background information | |
| US7352917B2 (en) | Image processing apparatus and method, and image pickup apparatus | |
| JP2006325274A (ja) | 撮像装置 | |
| JP4622711B2 (ja) | 画像合成装置、画像合成方法、及び、プログラム | |
| CN110033421B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2019047336A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| JPH07212653A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131111 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |