JP2008276482A - 画像処理装置、画像処理方法及び画像処理用プログラム。 - Google Patents
画像処理装置、画像処理方法及び画像処理用プログラム。 Download PDFInfo
- Publication number
- JP2008276482A JP2008276482A JP2007118881A JP2007118881A JP2008276482A JP 2008276482 A JP2008276482 A JP 2008276482A JP 2007118881 A JP2007118881 A JP 2007118881A JP 2007118881 A JP2007118881 A JP 2007118881A JP 2008276482 A JP2008276482 A JP 2008276482A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- unit
- synthesized
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title description 4
- 239000002131 composite material Substances 0.000 claims abstract description 26
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 20
- 230000015572 biosynthetic process Effects 0.000 claims description 16
- 238000003786 synthesis reaction Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 235000019557 luminance Nutrition 0.000 description 44
- 238000001444 catalytic combustion detection Methods 0.000 description 29
- 230000015654 memory Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 239000000203 mixture Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000001066 destructive effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】擬似輪郭の発生をより完全に防ぐことができる画像処理装置を提供する。
【解決手段】2以上の画像データA、B、Cに基づいて生成された画像A、B、Cを合成して合成画像を生成する画像処理装置であって、一の撮影対象を異なる露光量で撮影して得られる画像データA、B、Cを取得するCCDカメラ101、合成画像の少なくとも一部の範囲に対応する画像データAと、画像B、Cのうちのこの範囲と一致する範囲に対応する画像データB、Cとを合成して一の合成画像の画像データを生成する画像合成部106を備える。
【選択図】図1
【解決手段】2以上の画像データA、B、Cに基づいて生成された画像A、B、Cを合成して合成画像を生成する画像処理装置であって、一の撮影対象を異なる露光量で撮影して得られる画像データA、B、Cを取得するCCDカメラ101、合成画像の少なくとも一部の範囲に対応する画像データAと、画像B、Cのうちのこの範囲と一致する範囲に対応する画像データB、Cとを合成して一の合成画像の画像データを生成する画像合成部106を備える。
【選択図】図1
Description
本発明は、画像処理装置、画像処理方法及び画像処理用プログラムに係り、適正な露光時間が異なる複数の領域を含む範囲を一の画像として撮影することに適した画像処理装置、画像処理方法及び画像処理用プログラムに関する。
画像の撮影をする場合の露光時間は、撮影された画像の品質を決定する重要な要素である。不適切な露光時間を設定して撮影した場合、人間の目であれば視認できるにも関わらず、画像上では黒く潰れて撮影の対象を判別することができない場合がある。また、反対に反射光が画像上で白く撮像され、いわゆる白とびが発生するおそれがある。このような場合にも、撮影の対象を判別することができないことがある。
このような課題を解決するための従来技術として、露光量が異なる複数の画像の明るさが適正な画像を切り出して合成し、一枚の画像を構成する特許文献1がある。ただし、特許文献1の発明には、合成される画像の輝度レベルが異なるため、合成によって得られた画像における合成の境目に擬似輪郭と呼ばれる像が出現することが問題となっていた。
このような課題を解決するための従来技術として、露光量が異なる複数の画像の明るさが適正な画像を切り出して合成し、一枚の画像を構成する特許文献1がある。ただし、特許文献1の発明には、合成される画像の輝度レベルが異なるため、合成によって得られた画像における合成の境目に擬似輪郭と呼ばれる像が出現することが問題となっていた。
図11は、擬似輪郭の発生について説明するための図である。図11(a)、(b)、(c)は、それぞれ露光時間が異なる画像の輝度信号レベルを縦軸に、入射光量を横軸に示したCCDカメラ101の出力特性を示したグラフである。図11に示した例では、(b)の露光時間が標準の露光時間であって、(a)は(b)よりも短い露光時間の特性を、(c)は(b)よりも長い露光時間の特性を示している。
(a)、(b)、(c)に露光特性を示した3つの画像を選択的に合成した場合の露光特性を(d)、(e)に示す。一般的には、特許文献1のように、(a)、(b)、(c)の輝度レベルを各々調整した後、図11(d)のように各々の入射光量に合わせて画像を合成する。(d)に示した例では、(a)に示した露光特性を図中にAで示す領域で選択している。また、(b)に示した露光特性を図中にBで示す領域で、(c)に示した露光特性を図中にCで示す領域で選択している。
ただし、図11(b)は、画像を理想的に合成できた場合の例であって、領域A、B、Cの境界I、IIにおいていずれも入射光量に対する輝度レベルが直線性を有している。しかし、例えば、(b)に示した露光特性のデータにノイズが生じて±10%の出力誤差が生じた場合、図11(e)(図は+10%の例)のように入射光量に対する輝度レベルが直線性を失って境界I、IIに不連続点が生じる。輝度信号の不連続性が人間の目に認識できるレベルに達する画像の箇所には擬似輪郭が発生することになる。
合成画像の擬似輪郭をなくすため、様々な技術が提案されている。このような技術としては、例えば、特許文献2、特許文献3が挙げられる。特許文献2は、露光量の異なる複数の画像を合成するにあたり、複数の画像においてそれぞれ明るさが適正な(潰れていない)画像の輝度レベルを一致させて複数の画像の輝度のレベルを一致させている。
また、特許文献3の発明は、色分離をする以前に複数の画像の輝度を合成することによって画像合成に使用される回路の規模を小型化するものである。
特開昭63−306777号公報
特開平7−131718号公報
特開2000−78594号公報
また、特許文献3の発明は、色分離をする以前に複数の画像の輝度を合成することによって画像合成に使用される回路の規模を小型化するものである。
しかしながら、特許文献2、特許文献3は、いずれも切り出された画像を合成している。このため、その輝度信号レベルのノイズが合成される画像ごとに異なるような場合には、入射光量に対する輝度レベルの直線性が失われて擬似輪郭が発生する可能性がある。
また、特許文献2、3は、合成される複数の画像データの輝度レベルを合わせた後に合成しているため、輝度レベルの調整の状態によっては擬似輪郭の発生を防ぐことができない。
本発明は、このような点に鑑みてなされたものであり、擬似輪郭の発生をより完全に防ぐことができる画像処理装置、画像処理方法及び画像処理用プログラムを提供することを目的とする。
また、特許文献2、3は、合成される複数の画像データの輝度レベルを合わせた後に合成しているため、輝度レベルの調整の状態によっては擬似輪郭の発生を防ぐことができない。
本発明は、このような点に鑑みてなされたものであり、擬似輪郭の発生をより完全に防ぐことができる画像処理装置、画像処理方法及び画像処理用プログラムを提供することを目的とする。
以上の課題を解決するため、本発明の画像処理装置は、2つ以上の画像を合成して合成画像を生成する画像処理装置であって、一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得手段と、前記画像データ取得手段によって取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成手段と、を備えることを特徴とする。
このような発明によれば、異なる露光量で撮影された画像における同一の範囲の画像データを合成して合成画像を生成することができる。このため、露光量の異なる画像同士の境界が生じ得ないので、擬似輪郭の発生をより完全に防ぐことができる画像処理装置を提供することができる。
また、本発明の画像処理装置は、前記画像データ群に含まれる画像データを所定の値の範囲で正規化する正規化手段をさらに備え、前記画像データ合成手段は、前記正規化手段によって正規化された後の画像データ群に含まれる画像データを合成することを特徴とする。
また、本発明の画像処理装置は、前記画像データ群に含まれる画像データを所定の値の範囲で正規化する正規化手段をさらに備え、前記画像データ合成手段は、前記正規化手段によって正規化された後の画像データ群に含まれる画像データを合成することを特徴とする。
このような発明によれば、正規化された画像データを合成することができるので、各画像データの値が合成画像に与える影響を均一にすることができる。
また、本発明の画像処理装置は、前記画像データ取得手段が、光電変換素子を含む撮像手段が電気信号に変換して出力したデータを前記画像データとして取得し、前記撮像手段の特性に基づいて前記画像合成手段によって生成された前記一の合成画像データを調整する特性調整手段をさらに備えることを特徴とする。
このような発明によれば、CCD等を使ったセンサセルアレイの特性等による画像データの値の露光量に対する直線性が保たれ、画像品質の高い合成画像を生成することができる。
また、本発明の画像処理装置は、前記画像データ取得手段が、光電変換素子を含む撮像手段が電気信号に変換して出力したデータを前記画像データとして取得し、前記撮像手段の特性に基づいて前記画像合成手段によって生成された前記一の合成画像データを調整する特性調整手段をさらに備えることを特徴とする。
このような発明によれば、CCD等を使ったセンサセルアレイの特性等による画像データの値の露光量に対する直線性が保たれ、画像品質の高い合成画像を生成することができる。
また、本発明の画像処理装置は、前記画像データ取得手段によって取得された画像データ群に含まれる少なくとも一部の画像データをそれぞれ分割する画像データ分割手段と、前記画像データ分割手段によってそれぞれ分割された画像データを再び結合する画像データ結合手段と、をさらに備え、前記画像データ合成手段は、前記画像データ分割手段によって分割された画像データの一部を合成し、前記画像データ結合手段は、前記画像データ合成手段によって合成された画像データの一部と、合成されなかった画像データのいずれかと、を結合することを特徴とする。
このような発明によれば、一の画像の一部だけを合成画像とすることができる。このため、画像の必要な部分だけを合成画像にすることによって画像品質を保ちながら、合成の処理を効率化することができる。
このような発明によれば、一の画像の一部だけを合成画像とすることができる。このため、画像の必要な部分だけを合成画像にすることによって画像品質を保ちながら、合成の処理を効率化することができる。
また、本発明の画像処理方法は、2つ以上の画像を合成して合成画像を生成する画像処理方法であって、一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得ステップと、前記画像データ取得ステップにおいて取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成ステップと、を含むことを特徴とする。
このような発明によれば、異なる露光量で撮影された画像における同一の範囲の画像データを合成して合成画像を生成することができる。このため、切り出された露光量の異なる画像同士の境界が生じ得ないので、擬似輪郭の発生をより完全に防ぐことができる画像処理方法を提供することができる。
このような発明によれば、異なる露光量で撮影された画像における同一の範囲の画像データを合成して合成画像を生成することができる。このため、切り出された露光量の異なる画像同士の境界が生じ得ないので、擬似輪郭の発生をより完全に防ぐことができる画像処理方法を提供することができる。
また、本発明の画像処理用プログラムは、2つ以上の画像を合成して合成画像を生成する画像処理用プログラムであって、コンピュータに、一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得機能と、前記画像データ取得機能によって取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成機能と、を実現させることを特徴とする。
このような発明によれば、異なる露光量で撮影された画像における同一の範囲の画像データを合成して合成画像を生成することができる。このため、切り出された露光量の異なる画像同士の境界が生じ得ないので、擬似輪郭の発生をより完全に防ぐことができる画像処理用プログラムを提供することができる。
このような発明によれば、異なる露光量で撮影された画像における同一の範囲の画像データを合成して合成画像を生成することができる。このため、切り出された露光量の異なる画像同士の境界が生じ得ないので、擬似輪郭の発生をより完全に防ぐことができる画像処理用プログラムを提供することができる。
以下、図を参照して本発明に係る実施形態1、実施形態2を説明する。
(実施形態1)
図1は、本発明の実施形態1の画像処理装置の構成を説明するための図である。図示した画像処理装置は、CCDカメラ101、CCDカメラ101によって撮影されたデータ(画像データ)を複数のメモリ103a、103b、103cに振分けるスイッチ(SW)102、メモリ103a〜103cに振分けられて蓄積された画像データを正規化する正規化部104、正規化された画像データを合成する画像合成部105、合成された画像データの輝度レベルを調整する階調調整部106、調整後の画像データを表示するディスプレイ画面等の表示部107あるいは保存する画像保存部108を備えている。
(実施形態1)
図1は、本発明の実施形態1の画像処理装置の構成を説明するための図である。図示した画像処理装置は、CCDカメラ101、CCDカメラ101によって撮影されたデータ(画像データ)を複数のメモリ103a、103b、103cに振分けるスイッチ(SW)102、メモリ103a〜103cに振分けられて蓄積された画像データを正規化する正規化部104、正規化された画像データを合成する画像合成部105、合成された画像データの輝度レベルを調整する階調調整部106、調整後の画像データを表示するディスプレイ画面等の表示部107あるいは保存する画像保存部108を備えている。
このような画像処理装置は、2つ以上の画像を合成して合成画像を生成する画像処理装置であって、画像データA、B、Cは、一の撮影対象を異なる露光量で撮影して得られる画像データである。なお、実施形態1では、画像データA、B、Cをまとめて画像データ群とも記す。
なお、実施形態1では、露光時間を変更することによって異なる露光量の画像データA、B、Cを生成するものとした。画像データAの露光時間T1、画像データBの露光時間T2、画像データCの露光時間T3は、
T1<T2<T3の関係にあって、
T1:T2:T3=2:3:6とする。
なお、実施形態1では、露光時間を変更することによって異なる露光量の画像データA、B、Cを生成するものとした。画像データAの露光時間T1、画像データBの露光時間T2、画像データCの露光時間T3は、
T1<T2<T3の関係にあって、
T1:T2:T3=2:3:6とする。
CCDカメラ101は、一の撮影対象を異なる露光量で撮影して画像データA、B、Cを生成する。CCDカメラ101は、受光したアナログ信号を電気信号に変換して出力する光電変換素子(CCD)を含む撮像手段である。
また、実施形態1では、CCDカメラ101が出力する輝度信号レベルを画素値、画素値と、この画素値を有する画像における画素の座標とを対応付けたデータを画像データというものとする。すなわち、画像データは、画素の座標と輝度信号のレベルとによって規定されるデータである。
また、実施形態1では、CCDカメラ101が出力する輝度信号レベルを画素値、画素値と、この画素値を有する画像における画素の座標とを対応付けたデータを画像データというものとする。すなわち、画像データは、画素の座標と輝度信号のレベルとによって規定されるデータである。
ここで、図2を用い、CCDカメラ101が一の撮影対象を異なる露光時間で撮影する構成について説明する。
図2は、CCDカメラ101に搭載されるCCD201aを含むセンサセルアレイ201を示した図である。センサセルアレイ201の露光領域には、CCD201aに蓄積された電荷を読み出す3つの読み出しラインL1、L2、L3が設けられている。CCD201aは、図中に示したスキャン方向に繰り返しスキャンされて蓄積された電荷が読み出される。
図2は、CCDカメラ101に搭載されるCCD201aを含むセンサセルアレイ201を示した図である。センサセルアレイ201の露光領域には、CCD201aに蓄積された電荷を読み出す3つの読み出しラインL1、L2、L3が設けられている。CCD201aは、図中に示したスキャン方向に繰り返しスキャンされて蓄積された電荷が読み出される。
読み出しラインL1は、最も多くのCCDに蓄積された電荷を読み出すと共にリセットする読み出しラインである。リセットを伴う読み出しは、破壊読出しとも呼ばれている。読み出しラインL1によって読み出された電荷のデータは、図示しないAFE(Analog Front End)を介してA/D変換部に入力されてデジタルデータ(画像データ)となる。読み出しラインL1によって読み出された電荷のデータに基づく画像データは、実施形態1で最も露光時間が長い画像データCとなる。
また、読み出しラインL2によって読み出された画像データは、実施形態1の標準露光時間の画像データBとなる。読み出しラインL3は、最も少ないCCDに蓄積された電荷を読み出す読み出しラインである。読み出しラインL3によって読み出された画像データは、実施形態1で最も露光時間が短い画像データAとなる。読み出しラインL2、L3による読み出しは、いずれもリセットを伴わない非破壊読み出しである。
1回の露光期間において、読み出しラインL1による電荷の読み出し及びリセットと読み出しラインL2、L3による非破壊読み出しは、それぞれ独立に実行される。
このような読み出しタイミングの制御は、電子シャッタ機能によって実現される。ただし、実施形態1は、このような構成に限定されるものでなく、CCDカメラ101の絞りを制御して露光量を変更するものであってもよい。
このような読み出しタイミングの制御は、電子シャッタ機能によって実現される。ただし、実施形態1は、このような構成に限定されるものでなく、CCDカメラ101の絞りを制御して露光量を変更するものであってもよい。
メモリ103aは、いずれも同様の構成を有するメモリであって、スイッチ102を介してCCD101が出力する画像データを入力し、受け取っている。メモリ103aは画像データAを蓄積し、メモリ103bは画像データBを蓄積し、メモリ103cは画像データCを蓄積している。
各メモリ103a、103b、103cに蓄積された画像データは、それぞれ正規化部104において正規化される。図3、図4は、画像データの正規化について説明するための図である。
各メモリ103a、103b、103cに蓄積された画像データは、それぞれ正規化部104において正規化される。図3、図4は、画像データの正規化について説明するための図である。
図3(a)、(b)、(c)は、画像データA、B、Cについて、全入射光量の範囲に対応する輝度信号レベルを0〜256のレベル(輝度信号レベル)に割り付けた状態を示している。図4(a)、(b)、(c)は、最も長い露光時間である、画像データCの露光時間T3に合わせて画像データA、画像データBを正規化した状態を示している。
正規化された画像データAの輝度信号レベルをA_NTc(x,y,R)、B_NTc(x,y,R)、C_NTc(x,y,R)とし、規格化される以前の画像データA、B、CをそれぞれA_Ta(x,y,R)、B_Tb(x,y,R)、C_Tc(x,y,R)とする。A_NTc(x,y,R)、B_NTc(x,y,R)、C_NTc(x,y,R)、A_Ta(x,y,R)、B_Tb(x,y,R)、C_Tc(x,y,R)は、いずれもR,G,BのうちのRの画像データを示していている。なお、変数x、yは、その輝度信号レベルを持つ画素の座標を示している。A_NTc(x,y,R)、B_NTc(x,y,R)、C_NTc(x,y,R)、A_Ta(x,y,R)、B_Tb(x,y,R)、C_Tc(x,y,R)の関係は、以下の式で表される。
正規化された画像データAの輝度信号レベルをA_NTc(x,y,R)、B_NTc(x,y,R)、C_NTc(x,y,R)とし、規格化される以前の画像データA、B、CをそれぞれA_Ta(x,y,R)、B_Tb(x,y,R)、C_Tc(x,y,R)とする。A_NTc(x,y,R)、B_NTc(x,y,R)、C_NTc(x,y,R)、A_Ta(x,y,R)、B_Tb(x,y,R)、C_Tc(x,y,R)は、いずれもR,G,BのうちのRの画像データを示していている。なお、変数x、yは、その輝度信号レベルを持つ画素の座標を示している。A_NTc(x,y,R)、B_NTc(x,y,R)、C_NTc(x,y,R)、A_Ta(x,y,R)、B_Tb(x,y,R)、C_Tc(x,y,R)の関係は、以下の式で表される。
A_NTc(x,y,R)=A_Ta(x,y,R)・(Tc/Ta)
B_NTc(x,y,R)=B_Tb(x,y,R)・(Tc/Tb)
C_NTc(x,y,R)=C_Tc(x,y,R)
上記した式は、G、Bの画像についても同様に成立する。
B_NTc(x,y,R)=B_Tb(x,y,R)・(Tc/Tb)
C_NTc(x,y,R)=C_Tc(x,y,R)
上記した式は、G、Bの画像についても同様に成立する。
画像合成部105は、正規化部104において正規化された画像データA、B、Cを合成する。合成は、一の撮影対象を異なる露光量で撮影して得られる画像データA、B、Cについて、画像Aの少なくとも一部の範囲に対応する画像データAと、画像Bのうち、この範囲と一致する範囲に対応する画像データBと、画像Cのうち、この範囲と一致する範囲に対応する画像データCとを合成することによって行われる。
なお、実施形態1では、画像データAは画像Aの全領域(全部)を生成するものである。したがって、画像データB、画像データCも、それぞれ画像Aの全領域に対応する画像データである。
すなわち、実施形態1では、正規化された各画像データA、B、Cを、画像における座標が一致する輝度信号レベルを足し合わせることによって合成する。ただし、実施形態1は、このような構成に限定されるものでなく、各画像データに重み付けをして加算するものであってもよい。あるいは加算以外の他の演算を使って合成するものであってもよい。
すなわち、実施形態1では、正規化された各画像データA、B、Cを、画像における座標が一致する輝度信号レベルを足し合わせることによって合成する。ただし、実施形態1は、このような構成に限定されるものでなく、各画像データに重み付けをして加算するものであってもよい。あるいは加算以外の他の演算を使って合成するものであってもよい。
階調調整部106は、合成された輝度信号レベルを、CCDカメラ101の特性を考慮して調整する。すなわち、画像合成部105によって合成された画像データA、B、Cは、輝度信号レベルが入射光量に対して直線性を有していない。図5は、画像データA、B、Cの輝度信号レベルを合成した輝度信号レベルを示した図である。合成は、画像データA、B、CのRの輝度信号レベルを加算して平均化(1/3を乗じた)することによって行っている。
図6は、階調調整部106によって行われる輝度信号レベルの調整を説明するための図である。階調調整部106は、図5に示した輝度信号レベルの出力特性を、図6(a)に示したLUT(Look-Up Table)テーブルを参照して調整する。図示したLUTは、横軸に階調調整部106に入力される輝度信号レベル値を、縦軸に階調調整部106から出力される輝度信号レベル値を示している。
このようなLUTは、入力された輝度信号レベルが高くなるに連れて大きい値にして出力するよう調整するものである。LUTによれば、CCDカメラ101から出力される輝度信号レベル値が、入射光量が大きくなるに連れて小さい値となる傾向を調整することができる。
図6(b)は、(a)に示したLUTを参照して調整された図5に示した輝度信号レベルを示している。図示したように、調整後の輝度信号レベルは、入射光量に対して好適な直線性を有している。このような処理を、実施形態1では、リニア化とも記す。
図6(b)は、(a)に示したLUTを参照して調整された図5に示した輝度信号レベルを示している。図示したように、調整後の輝度信号レベルは、入射光量に対して好適な直線性を有している。このような処理を、実施形態1では、リニア化とも記す。
以上述べた構成において、CCDカメラ101は画像データ取得手段として機能する。CCDカメラ101は、CCD201aを含むセンサセルアレイ201が電気信号に変換して出力したデータを画像データとして取得していて、CCD201aが光電変換素子、センサセルアレイ201が撮像手段として機能する。また、正規化部104は正規化手段、画像合成部105は画像合成手段、階調調整部106は特性調整手段として機能する。
実施形態1では、輝度信号レベルを全入射光のレベルで合成しているので、入射光量の境界で輝度信号レベルに不連続性が発生することがない。
また、図5に示した合成された輝度信号レベルに10%の誤差が生じた場合にも、リニア化によって図7に示す出力特性が得られる。図7に示した出力特性は、多少の不連続性を有してはいるものの、その程度は図11(e)に示した不連続性に比べて充分小さいことが分かる。
また、図5に示した合成された輝度信号レベルに10%の誤差が生じた場合にも、リニア化によって図7に示す出力特性が得られる。図7に示した出力特性は、多少の不連続性を有してはいるものの、その程度は図11(e)に示した不連続性に比べて充分小さいことが分かる。
図8は、以上述べた実施形態1の画像処理装置で実行される画像処理方法及びコンピュータプログラムを説明するためのフローチャートである。このフローチャートは、正規化部104、画像合成部105、階調調整部106によって実行される。
実施形態1では、先ず、正規化部104が、メモリ103aから画像データA、B、CのR信号を入力する(S801)。そして、入力された画像データを各々正規化する。画像合成部105は、正規化された画像データA、B、Cを合成し(S803)、階調調整部106が図6(a)に示したLUTを参照してリニア化する(S804)。
実施形態1では、先ず、正規化部104が、メモリ103aから画像データA、B、CのR信号を入力する(S801)。そして、入力された画像データを各々正規化する。画像合成部105は、正規化された画像データA、B、Cを合成し(S803)、階調調整部106が図6(a)に示したLUTを参照してリニア化する(S804)。
正規化部104の図示しない制御部が、以上の画像処理をR、G、Bの全てについて完了したか否か判断し(S805)、完了していない場合には(S805:No)、画像データA、B、Cの未処理の信号を入力して画像処理を繰り返す。また、R、G、Bの全てについて画像処理が完了した場合(S805:Yes)、図示したフローチャートは終了する。
以上述べた実施形態1は、露光量の異なる画像同士の境界が生じ得ないので、擬似輪郭の発生をより完全に防ぐことができる。また、画像の合成に先立って画像データを正規化しているので、画像データA、B、Cの値が合成画像に与える影響を均一にすることができる。
また、センサセルアレイ201は、一般的に露光量に応じてその出力特性が変化することが知られている。実施形態1では、合成後の画像データをリニア化しているため、出力特性の変化が画像データに与える影響を低減して画像品質の高い合成画像を生成することができる。
また、センサセルアレイ201は、一般的に露光量に応じてその出力特性が変化することが知られている。実施形態1では、合成後の画像データをリニア化しているため、出力特性の変化が画像データに与える影響を低減して画像品質の高い合成画像を生成することができる。
なお、以上述べた実施形態1の画像処理方法は、画像のデータを預かってプリントする、いわゆるプリントサービスを提供する場で実施することも可能である。
さらに、以上述べた実施形態1は、CCDカメラ101が取得した画像データA、B、Cの全てを使って合成画像データを生成するものとしたが、実施形態1はこのような構成に限定されるものでなく、取得された画像データのうちの少なくとも一部の画像データを合成するものであってもよい。
さらに、以上述べた実施形態1は、CCDカメラ101が取得した画像データA、B、Cの全てを使って合成画像データを生成するものとしたが、実施形態1はこのような構成に限定されるものでなく、取得された画像データのうちの少なくとも一部の画像データを合成するものであってもよい。
(実施形態2)
次に、本発明の実施形態2について説明する。実施形態2の画像処理装置は、実施形態1が画像データA、B、Cの全部を合成していたのに対し、画像データA、B、Cの一部を合成し、他の部分を標準的な露光時間で露光した画像データを使って一の画像を生成するものである。
次に、本発明の実施形態2について説明する。実施形態2の画像処理装置は、実施形態1が画像データA、B、Cの全部を合成していたのに対し、画像データA、B、Cの一部を合成し、他の部分を標準的な露光時間で露光した画像データを使って一の画像を生成するものである。
図9は、実施形態2の概念を説明するための図である。図示した例では、画像データAによって生成された撮影画像901A、画像データBによって生成された撮影画像901B、画像データCによって生成された撮影画像901Cの一部(HDR(High Dynamic Range)合成用画像)をHDR合成して一の合成画像901Dを生成する。また、撮影画像901A、B、CのHDR合成用画像以外の部分を標準露光時間で撮影された撮影画像901Bを使用して合成画像を生成している。
図10は、実施形態2の画像処理装置の構成を説明するための図である。図示した構成のうち、図1で説明した構成と同様の構成については同様の符号を付し、説明を一部略すものとする。
実施形態2の画像処理装置は、CCDカメラ101によって取得され、メモリ103a、103b、103cに蓄積された画像データA、B、Cをそれぞれ分割する領域分割部111、分割された画像データを再び結合する領域合成部112を備えている。
画像合成部105は、分割された画像データA、B、Cの一部であるHDR合成用画像を合成し、領域合成部112は、画像合成部105によって合成された画像データA、B、Cの一部と、合成されなかった画像データA、B、Cのいずれかと、を結合する構成である。
実施形態2の画像処理装置は、CCDカメラ101によって取得され、メモリ103a、103b、103cに蓄積された画像データA、B、Cをそれぞれ分割する領域分割部111、分割された画像データを再び結合する領域合成部112を備えている。
画像合成部105は、分割された画像データA、B、Cの一部であるHDR合成用画像を合成し、領域合成部112は、画像合成部105によって合成された画像データA、B、Cの一部と、合成されなかった画像データA、B、Cのいずれかと、を結合する構成である。
領域分割部111は、画像データA、B、Cを、撮影画像の領域ごとに分割する。分割は、例えば、標準画像において白とびや黒く潰れる画素が生じる、つまり入射光量の変化が大きい画像の領域と、比較的入射光量の変化が小さい画像の領域とに分割するように行われる。
入射光量の変化が大きい領域の画像データは、正規化部104、画像合成部105、階調調整部106によって正規化、合成、リニア化された後、領域合成部112に入力する。一方、入射光量の変化が小さい領域の標準露光時間で撮影された画像の画像データは、そのまま領域合成部112に入力する。
入射光量の変化が大きい領域の画像データは、正規化部104、画像合成部105、階調調整部106によって正規化、合成、リニア化された後、領域合成部112に入力する。一方、入射光量の変化が小さい領域の標準露光時間で撮影された画像の画像データは、そのまま領域合成部112に入力する。
領域合成部112は、合成された画像データと標準露光時間で撮影された画像の画像データとを合成する。この合成は、輝度合成部のように輝度信号レベルを足し合わせるものでない。すなわち、合成画像の一部の領域の座標が合成された輝度信号レベルに対応付けられ、他の領域の座標が標準露光時間の輝度信号レベルに対応付けられる。このような合成によれば、一部がHDR合成画像であって、他の部分が標準露光時間で撮影された画像である合成画像が形成できる。
以上述べた実施形態2は、一の画像の一部だけを合成画像とすることができる。このため、画像の必要な部分(例えば人間の顔の部分)だけを合成画像にすることによって画像品質を保ちながら、合成の処理を効率化することができる。
以上述べた実施形態2は、一の画像の一部だけを合成画像とすることができる。このため、画像の必要な部分(例えば人間の顔の部分)だけを合成画像にすることによって画像品質を保ちながら、合成の処理を効率化することができる。
101 CCDカメラ、102 スイッチ、103a、103b、103c メモリ、104 正規化部、105 画像合成部、106 階調調整部、107 表示部、108 画像保存部、111 領域分割部、112 領域合成部、201 センサセルアレイ、201a CCD
Claims (6)
- 2つ以上の画像を合成して合成画像を生成する画像処理装置であって、
一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得手段と、
前記画像データ取得手段によって取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成手段と、
を備えることを特徴とする画像処理装置。 - 前記画像データ群に含まれる画像データを所定の値の範囲で正規化する正規化手段をさらに備え、
前記画像データ合成手段は、前記正規化手段によって正規化された後の画像データ群に含まれる画像データを合成することを特徴とする請求項1に記載の画像処理装置。 - 前記画像データ取得手段は、光電変換素子を含む撮像手段が電気信号に変換して出力したデータを前記画像データとして取得し、
前記撮像手段の特性に基づいて前記画像合成手段によって生成された前記一の合成画像データを調整する特性調整手段をさらに備えることを特徴とする請求項1または請求項2に記載の画像処理装置。 - 前記画像データ取得手段によって取得された画像データ群に含まれる少なくとも一部の画像データをそれぞれ分割する画像データ分割手段と、
前記画像データ分割手段によってそれぞれ分割された画像データを再び結合する画像データ結合手段と、をさらに備え、
前記画像データ合成手段は、前記画像データ分割手段によって分割された画像データの一部を合成し、前記画像データ結合手段は、前記画像データ合成手段によって合成された画像データの一部と、合成されなかった画像データのいずれかと、を結合することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 2つ以上の画像を合成して合成画像を生成する画像処理方法であって、
一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得ステップと、
前記画像データ取得ステップにおいて取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成ステップと、
を含むことを特徴とする画像処理方法。 - 2つ以上の画像を合成して合成画像を生成する画像処理用プログラムであって、
コンピュータに、
一の撮影対象を異なる露光量で撮影して得られる画像データ群を取得する画像データ取得機能と、
前記画像データ取得機能によって取得された画像データ群のうち、前記合成画像の少なくとも一部の範囲に対応する画像データ群を合成して一の合成画像の画像データを生成する画像データ合成機能と、
を実現させることを特徴とする画像処理用プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007118881A JP2008276482A (ja) | 2007-04-27 | 2007-04-27 | 画像処理装置、画像処理方法及び画像処理用プログラム。 |
US12/108,584 US20080267522A1 (en) | 2007-04-27 | 2008-04-24 | Image processor, image processing method and computer readable medium for image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007118881A JP2008276482A (ja) | 2007-04-27 | 2007-04-27 | 画像処理装置、画像処理方法及び画像処理用プログラム。 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008276482A true JP2008276482A (ja) | 2008-11-13 |
Family
ID=39887059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007118881A Withdrawn JP2008276482A (ja) | 2007-04-27 | 2007-04-27 | 画像処理装置、画像処理方法及び画像処理用プログラム。 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20080267522A1 (ja) |
JP (1) | JP2008276482A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8558914B2 (en) | 2009-10-21 | 2013-10-15 | Seiko Epson Corporation | Imaging device, imaging method, and electronic apparatus for dynamically determining ratios of exposures to optimize multi-stage exposure |
WO2017149932A1 (ja) * | 2016-03-03 | 2017-09-08 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8405750B2 (en) * | 2009-06-08 | 2013-03-26 | Aptina Imaging Corporation | Image sensors and image reconstruction methods for capturing high dynamic range images |
US8350940B2 (en) * | 2009-06-08 | 2013-01-08 | Aptina Imaging Corporation | Image sensors and color filter arrays for charge summing and interlaced readout modes |
US8324550B2 (en) | 2010-06-22 | 2012-12-04 | Aptina Imaging Corporation | High dynamic range imaging systems |
US8913153B2 (en) | 2011-10-06 | 2014-12-16 | Aptina Imaging Corporation | Imaging systems and methods for generating motion-compensated high-dynamic-range images |
US9172889B2 (en) | 2012-02-09 | 2015-10-27 | Semiconductor Components Industries, Llc | Imaging systems and methods for generating auto-exposed high-dynamic-range images |
US9007488B2 (en) | 2012-03-08 | 2015-04-14 | Semiconductor Components Industries, Llc | Systems and methods for generating interpolated high-dynamic-range images |
US9338372B2 (en) | 2012-09-19 | 2016-05-10 | Semiconductor Components Industries, Llc | Column-based high dynamic range imaging systems |
JP7320352B2 (ja) * | 2016-12-28 | 2023-08-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置 |
CN107493151B (zh) * | 2017-08-09 | 2018-07-31 | 北京百卓网络技术有限公司 | 一种自适应wifi链路屏蔽方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11155098A (ja) * | 1997-11-21 | 1999-06-08 | Matsushita Electric Ind Co Ltd | 信号処理装置および方法 |
JPH11185018A (ja) * | 1997-12-24 | 1999-07-09 | Olympus Optical Co Ltd | 画像処理装置 |
JP2001245130A (ja) * | 2000-02-28 | 2001-09-07 | Olympus Optical Co Ltd | 画像処理装置 |
JP2001268345A (ja) * | 2000-03-17 | 2001-09-28 | Ricoh Co Ltd | 画像合成装置 |
JP2002262059A (ja) * | 2001-03-02 | 2002-09-13 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2002300372A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像処理装置、画像処理プログラムが記録された記録媒体、および、画像再生装置 |
JP2006087063A (ja) * | 2004-09-17 | 2006-03-30 | Ulead Systems Inc | 多重露光画像合成システム及び多重露光画像合成方法 |
WO2007032156A1 (ja) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | 画像処理方法及び画像処理装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7239805B2 (en) * | 2005-02-01 | 2007-07-03 | Microsoft Corporation | Method and system for combining multiple exposure images having scene and camera motion |
-
2007
- 2007-04-27 JP JP2007118881A patent/JP2008276482A/ja not_active Withdrawn
-
2008
- 2008-04-24 US US12/108,584 patent/US20080267522A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11155098A (ja) * | 1997-11-21 | 1999-06-08 | Matsushita Electric Ind Co Ltd | 信号処理装置および方法 |
JPH11185018A (ja) * | 1997-12-24 | 1999-07-09 | Olympus Optical Co Ltd | 画像処理装置 |
JP2001245130A (ja) * | 2000-02-28 | 2001-09-07 | Olympus Optical Co Ltd | 画像処理装置 |
JP2001268345A (ja) * | 2000-03-17 | 2001-09-28 | Ricoh Co Ltd | 画像合成装置 |
JP2002262059A (ja) * | 2001-03-02 | 2002-09-13 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2002300372A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像処理装置、画像処理プログラムが記録された記録媒体、および、画像再生装置 |
JP2006087063A (ja) * | 2004-09-17 | 2006-03-30 | Ulead Systems Inc | 多重露光画像合成システム及び多重露光画像合成方法 |
WO2007032156A1 (ja) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | 画像処理方法及び画像処理装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8558914B2 (en) | 2009-10-21 | 2013-10-15 | Seiko Epson Corporation | Imaging device, imaging method, and electronic apparatus for dynamically determining ratios of exposures to optimize multi-stage exposure |
WO2017149932A1 (ja) * | 2016-03-03 | 2017-09-08 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
JPWO2017149932A1 (ja) * | 2016-03-03 | 2018-12-27 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
US11244478B2 (en) | 2016-03-03 | 2022-02-08 | Sony Corporation | Medical image processing device, system, method, and program |
Also Published As
Publication number | Publication date |
---|---|
US20080267522A1 (en) | 2008-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008276482A (ja) | 画像処理装置、画像処理方法及び画像処理用プログラム。 | |
US8547451B2 (en) | Apparatus and method for obtaining high dynamic range image | |
JP5898466B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
TWI390971B (zh) | 成像裝置,成像處理方法及成像控制程式 | |
JP3382359B2 (ja) | 撮像装置 | |
JP5767485B2 (ja) | 画像処理装置及び制御方法 | |
US7916191B2 (en) | Image processing apparatus, method, program, and recording medium | |
JP5665436B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6082274B2 (ja) | 撮像装置、及びその制御方法 | |
JP2009049547A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
US20060198625A1 (en) | Imaging device and imaging method | |
JP3999321B2 (ja) | 電子カメラ | |
JP2019047169A (ja) | ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム | |
US8218021B2 (en) | Image capture apparatus, method of controlling the same, and program | |
JP6887853B2 (ja) | 撮像装置、その制御方法、プログラム | |
JP2011100204A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器 | |
JP2009200743A (ja) | 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置 | |
CN107071241B (zh) | 固态摄像元件和摄像设备 | |
JP2016208402A (ja) | 固体撮像素子およびその駆動方法、並びに電子機器 | |
JP2003319269A (ja) | 固体撮像装置および撮像方法 | |
JP4629002B2 (ja) | 撮像装置 | |
JP4905229B2 (ja) | 画像処理装置、画像処理方法及び画像処理用プログラム | |
JP5423201B2 (ja) | 画像処理装置、画像処理プログラム | |
JP7234015B2 (ja) | 撮像装置およびその制御方法 | |
JP2006165826A (ja) | ハイダイナミックレンジカメラシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100421 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110802 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20110930 |