JP6921972B2 - 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム Download PDF

Info

Publication number
JP6921972B2
JP6921972B2 JP2019544271A JP2019544271A JP6921972B2 JP 6921972 B2 JP6921972 B2 JP 6921972B2 JP 2019544271 A JP2019544271 A JP 2019544271A JP 2019544271 A JP2019544271 A JP 2019544271A JP 6921972 B2 JP6921972 B2 JP 6921972B2
Authority
JP
Japan
Prior art keywords
white balance
region
unit
captured image
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019544271A
Other languages
English (en)
Other versions
JPWO2019064753A1 (ja
Inventor
祐也 西尾
祐也 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019064753A1 publication Critical patent/JPWO2019064753A1/ja
Application granted granted Critical
Publication of JP6921972B2 publication Critical patent/JP6921972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラムに関し、特にダイナミックレンジ拡大処理を行う場合の技術に関する。
デジタルカメラなどによりダイナミックレンジの広い被写体についての撮像画像を取得すると、ハイライト部分の白飛びまたはシャドウ部分の黒つぶれが発生することがある。
被写体の持つダイナミックレンジをより広く撮像画像において表現させる方法の１つとして、ダイナミックレンジ拡大処理がある。ここで、ダイナミックレンジ拡大処理は、ハイライト側の入力信号において飽和してしまう画素が減るように露出を適正露出より下げて露光し、シャドウ側の黒つぶれまたはハイライト側の白飛びが少なくなるトーンカーブを入力信号にかけることにより出力信号の明るさを適正にする処理である。従来より、ダイナミックレンジ拡大処理に関する技術は提案されてきた。
例えば特許文献１には、階調の潰れた領域において所定の被写体の存在が推定された場合には、その階調が潰れた領域の補正の度合を大きくする技術が記載されている。具体的に特許文献１に記載の技術では、画像信号から階調の潰れた領域の有無を検出し、撮影シーンに関する情報（撮影時の時間帯情報、天候情報、階調の潰れた領域の画像内の位置または面積または形状情報、または画像内の被写体の移動情報）を使用して被写体の有無を推定し、入出力特性の制御を行っている。
また、例えば特許文献２では、撮影シーンを自動判別して、適正なダイナミックレンジを設定することを目的とした技術が記載されている。具体的には特許文献２に記載された技術では、領域毎の輝度値の最大値と飽和予想輝度値との差分と、輝度値が飽和予想輝度値を越える領域数とに基づいて、ダイナミックレンジを決定する技術が記載されている。
特開２０１６−１７３７７７号公報 特開２００９−１７２２９号公報
ここで、同じシーン（同じ被写体および同じ画角）でも、撮像画像のハイライト側とシャドウ側のどちらに注目し主にどちらの領域に階調を持たせたいかは、ユーザ（撮影者または画像処理装置の使用者）によって異なる場合がある。例えば、同じシーンであっても、シャドウ側の領域により多くの階調を持たせたいユーザもいるし、ハイライト側の領域により多くの階調を持たせたいユーザもいる。すなわち各ユーザは、異なる撮影意図を持って撮影または画像処理を行う。
しかしながら、特許文献１に記載の技術では、撮影シーンに関する情報を使用して被写体の有無を推定して補正の度合を制御しており、ユーザが、能動的に設定した情報に基づいて補正の度合が制御されていないので、ユーザの撮影意図が補正の度合に反映されない場合が発生し得る。
特許文献２に記載の技術では、領域毎の輝度値の最大値と飽和予想輝度値との差分と、輝度値が飽和予想輝度値を越える領域数とに基づいて、ダイナミックレンジが決定されているが、ユーザが能動的に設定した情報に基づく制御ではないので、すなわち自動判別制御なので、ユーザの撮影意図がダイナミックレンジの決定に反映されない場合が発生する。
本発明はこのような事情に鑑みてなされ、その目的は、ユーザの撮影意図に合ったダイナミックレンジ拡大処理を行うための優先領域を決定することができる画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラムを提供することである。
上記目的を達成するために、本発明の一の態様である画像処理装置は、被写体を撮像した撮像画像を取得する画像取得部と、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割部と、領域分割部により分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出部と、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得部と、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定部と、を備える。
本態様によれば、第１のホワイトバランス関係情報算出部により、領域分割部により分割された複数の領域の各々について、第１のホワイトバランス関係情報が算出され、第２のホワイトバランス関係情報取得部により、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報が取得される。そして、本態様によれば優先領域決定部により、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域が決定される。これにより本態様は、ユーザが能動的に設定したホワイトバランスに応じたダイナミック拡大処理の優先領域が決定されるので、ユーザの撮影意図が反映されたダイナミックレンジ拡大処理を実現することが可能な優先領域を決定することができる。
好ましくは、優先領域決定部は、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分が小さい領域を優先領域として決定する。
本態様によれば、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分が小さい領域が優先領域として決定される。
好ましくは、領域分割部は、撮像画像を少なくともハイライト領域およびシャドウ領域に分割し、優先領域決定部は、ハイライト領域における第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分がシャドウ領域の差分に比べて小さい場合には、ハイライト領域を優先領域とし、シャドウ領域の差分がハイライト領域の差分に比べて小さい場合には、シャドウ領域を優先領域として決定する。
本態様によれば、撮像画像が少なくともハイライト領域およびシャドウ領域に分割され、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分がハイライト領域およびシャドウ領域について算出され小さい差分を有する領域が優先領域として決定される。
好ましくは、優先領域に応じて、トーンカーブを決定するトーンカーブ決定部を備える。
本態様によれば、トーンカーブ決定部により、優先領域に応じてトーンカーブが決定される。
好ましくは、トーンカーブ決定部は、優先領域の輝度を適正にするトーンカーブを決定する。
本態様によれば、トーンカーブ決定部により、優先領域の輝度を適正にするトーンカーブが決定される。
好ましくは、画像処理装置は、撮像画像を複数のブロックに分けるブロック分割部を備え、領域分割部は、複数のブロックの各々の明るさ情報に基づいて、ブロック単位で複数の領域に分割する。
本態様によれば、ブロック分割部により、撮像画像が複数のブロックに分けられて、領域分割部により、複数のブロックの各々の明るさ情報に基づいて、ブロック単位で複数の領域に分割される。
好ましくは、第１のホワイトバランス関係情報算出部は、複数の領域の各境界に位置するブロックの参照重みを、各境界に位置しないブロックよりも低くして、第１のホワイトバランス関係情報を算出する。
本態様によれば、第１のホワイトバランス関係情報算出部により、複数の領域の各境界に位置するブロックの参照重みを、各境界に位置しないブロックよりも低くして、第１のホワイトバランス関係情報が算出される。
好ましくは、画像処理装置は、撮像画像に、ホワイトバランス補正処理を行うホワイトバランス処理部を備える。
本態様によれば、ホワイトバランス処理部により、ホワイトバランス補正処理が行われる。
好ましくは、ホワイトバランス処理部は、撮像画像に第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行う。
本態様によれば、ホワイトバランス処理部により、撮像画像に第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理が行われる。
好ましくは、ホワイトバランス処理部は、複数の領域のうち優先領域には、第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行い、複数の領域のうち優先領域以外の領域には、第１のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行う。
本態様によれば、ホワイトバランス処理部により、複数の領域のうち優先領域には、第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行い、複数の領域のうち優先領域以外の領域には、第１のホワイトバランス関係情報に基づいてホワイトバランス補正処理が行われる。
好ましくは、ホワイトバランス処理部は、撮像画像を構成する画素毎にホワイトバランス補正処理を行う。
本態様によれば、ホワイトバランス処理部により、撮像画像を構成する画素毎にホワイトバランス補正処理が行われる。
好ましくは、ホワイトバランス処理部は、撮像画像を構成する画素毎に、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報のうちいずれか１つに基づいてホワイトバランス補正処理が行われる。
本態様によれば、ホワイトバランス処理部により、撮像画像を構成する画素毎に、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報のうちいずれか１つに基づいてホワイトバランス補正処理が行われる。
好ましくは、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報は、ホワイトバランス補正量、色温度情報、または光源の色味を示す情報である。
本態様によれば、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報は、ホワイトバランス補正量、色温度情報、または光源の色味を示す情報である。
本発明の他の態様である撮像装置は、上述の画像処理装置を搭載する撮像装置であって、優先領域に応じて、露出を調整する露出調整部を備える。
本態様によれば、露出調整部により、優先領域に応じて露出が調整される。
好ましくは、露出調整部は、優先領域が閾値よりハイライト側にある場合には、撮像画像の白飛び画素に応じて露出を制御し、優先領域が閾値以下のシャドウ側にある場合には、撮像画像の黒つぶれ画素に応じて露出を制御する。
本態様によれば、露出調整部により、優先領域が閾値よりハイライト側にある場合には、撮像画像の白飛び画素に応じて露出が制御され、優先領域が閾値以下のシャドウ側にある場合には、撮像画像の黒つぶれ画素に応じて露出が制御される。
本発明の他の態様である画像処理方法は、被写体を撮像した撮像画像を取得する画像取得ステップと、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割ステップと、領域分割ステップにおいて分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定ステップと、を含む。
本発明の他の態様である撮像方法は、被写体を撮像した撮像画像を取得する画像取得ステップと、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割ステップと、領域分割ステップにおいて分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定ステップと、優先領域に応じて、露出を調整する露出調整ステップと、を含む。
本発明の他の態様であるプログラムは、被写体を撮像した撮像画像を取得する画像取得ステップと、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割ステップと、領域分割ステップにおいて分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定ステップと、を含む画像処理方法をコンピュータに実行させる。
本発明の他の態様であるプログラムは、被写体を撮像した撮像画像を取得する画像取得ステップと、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割ステップと、領域分割ステップにおいて分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定ステップと、優先領域に応じて、露出を調整する露出調整ステップと、を含む撮像方法をコンピュータに実行させる。
本発明によれば、領域分割部により分割された複数の領域の各々について、第１のホワイトバランス関係情報が算出され、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報が取得され、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて、決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域が決定される。これにより本発明は、ユーザが能動的に設定したホワイトバランスに応じたダイナミック拡大処理の優先領域が決定されるので、ユーザの撮影意図が適切に反映されたダイナミックレンジ拡大処理を実行することができる優先領域を決定することができる。
図１はデジタルカメラの正面斜視図である。 図２はデジタルカメラの背面斜視図である。 図３はデジタルカメラの制御処理系を示すブロック図である。 図４は画像処理部の機能ブロックを示す図である。 図５は画像処理部の動作フローを示す図である。 図６は撮像画像を示す図である。 図７は撮像画像の領域分割を概念的に示した図である。 図８は通常露光とアンダー露光とにおける被写体光量とセンサ信号との関係を概念的に示した図である。 図９はノイズ限界に関して説明する図である。 図１０はトーンカーブにより、出力信号が補正されることを説明する図である。 図１１はトーンカーブを示した図である。 図１２はトーンカーブを示した図である。 図１３は画像処理部およびシステム制御部を構成する機能ブロックを示す図である。 図１４はデジタルカメラの動作フローを示す図である。 図１５は画像処理部の機能ブロックを示す図である。 図１６はデジタルカメラの動作フローを示す図である。 図１７はホワイトバランス補正量の一例に関して示す図である。 図１８は画像処理部を構成する機能ブロックを示す図である。 図１９はデジタルカメラの動作フローを示す図である。 図２０はトーンカーブの例を示す図である。 図２１はトーンカーブの例を示す図である。 図２２はスマートフォンの外観を示す図である。 図２３は図２２に示すスマートフォンの構成を示すブロック図である。
以下、添付図面にしたがって本発明の画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラムの好ましい実施の形態について説明する。以下の説明では主に、撮像装置に搭載される画像処理装置および撮像装置に関して説明するが、本発明の適用範囲はそれに限定されない。例えば、本発明の画像処理装置は、コンピュータに搭載することも可能である。
図１は、本発明の撮像装置であるデジタルカメラ２の正面斜視図である。図２は、デジタルカメラ２の背面斜視図である。
デジタルカメラ２は、カメラ本体３と、カメラ本体３の前面に取り付けられるレンズ鏡筒４とを備える。レンズ鏡筒４およびカメラ本体３は、一体的に設けられてもよいし、レンズ交換式カメラとして着脱可能に設けられてもよい。
カメラ本体３の前面には、レンズ鏡筒４に加えてフラッシュ発光部５が設けられ、カメラ本体３の上面にはシャッタボタン６および電源スイッチ７が設けられている。シャッタボタン６は、ユーザからの撮像指示を受け付ける撮像指示部であり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する二段ストローク式のスイッチにより構成されている。電源スイッチ７は、デジタルカメラ２の電源のオンおよびオフの切り換え指示をユーザから受け付ける電源切換部である。
カメラ本体３の背面には、液晶パネル等によって構成される表示部８と、ユーザによって直接的に操作される操作部９とが設けられている。表示部８は、撮像待機状態ではライブビュー画像（スルー画像）を表示して電子ビューファインダとして機能し、撮像画像またはメモリ記憶画像の再生時には再生画像表示部として機能する。
操作部９は、モード切換スイッチ、十字キー、実行キーなどの任意の操作デバイスによって構成される。例えばモード切換スイッチは、デジタルカメラ２の動作モードを切り換える際にユーザによって操作される。デジタルカメラ２の動作モードとして、被写体を撮像して撮像画像を得るための撮像モード（オート撮像モード、マニュアル撮像モードおよび連写モード等）、画像を再生表示する再生モード等がある。
オート撮像モードは、焦点調節を自動的に行うオートフォーカス（ＡＦ：Auto Focus）機能、絞り値およびシャッタ速度を自動的に設定する自動露出（ＡＥ：Auto Exposure）
機能等が使用されるモードであり、マニュアル撮像モードは、焦点調節、絞り値およびシャッタ速度等を、ユーザが操作部９を使用して適宜設定可能にするモードである。
一方、十字キーおよび実行キーは、表示部８にメニュー画面または設定画面を表示したり、メニュー画面または設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする場合に、ユーザによって操作される。
カメラ本体３の底部（図示省略）には、外部メモリ１０が装填されるメモリスロットと、このメモリスロットの開口を開閉する装填蓋とが設けられている。外部メモリ１０は、カメラ本体３に着脱可能に設けられており、カメラ本体３に装着されると、カメラ本体３に設けられる記憶制御部３３と電気的に接続される。外部メモリ１０は、一般にカード型フラッシュメモリ等の半導体メモリにより構成可能であるが、特に限定されず、磁気媒体等の任意の記憶方式の記憶媒体を外部メモリ１０として用いることが可能である。
図３は、デジタルカメラ２の制御処理系を示すブロック図である。
被写体光は、レンズ鏡筒４に設けられるレンズ部１２とカメラ本体３に設けられるメカニカルシャッタ２０とを通過し、撮像素子２１（撮像部）によって受光される。レンズ部１２は、撮像レンズ（レンズ群）および絞りを含む撮像光学系によって構成される。撮像素子２１は、被写体像を受光して撮像信号（画像データ）を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Automatic Gain Control）回路等によってプロセス処理が施され、その後、ＡＤ（Analog Digital)変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはメインメモリ２４に保存される。
メインメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成される。ＡＤ変換部２３から送られてきてメインメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部３１によって読み出される。画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス補正、ガンマ補正処理およびデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びメインメモリ２４に保存する。
画像処理部３１において画像処理が施されてメインメモリ２４に保存された画像データは、表示制御部３５および圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、メインメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮像確認画像（ポストビュー画像）として表示部８に表示される。
一方、圧縮伸張部３２は、メインメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ(Joint Photographic Experts Group)またはＴＩＦＦ(Tagged Image File Format)等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、外部メモリ１０へのデータ記憶処理および外部メモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、外部メモリ１０に記憶される。撮像情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ(Exchangeable image file format)形式を採用可能である。
外部メモリ１０に保存されている画像データを再生する再生モードにおいて、外部メモリ１０に保存されている画像データは、システム制御部２５により制御される記憶制御部３３によって読み出され、圧縮伸張部３２によって伸張処理が施された後にメインメモリ２４に保存される。そして撮像画像の確認表示と同様の手順により、表示制御部３５によってメインメモリ２４から画像データが読み出され、表示部８において画像データが再生表示される。
デジタルカメラ２のＡＦ処理機能は、シャッタボタン６の第１段階の押下（半押し）があると、半押し時に取り込まれるＡＦエリアに対応する画像データの高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をシステム制御部２５に出力する。
ＡＥ検出機能は、シャッタボタン６の第１段階の押下（半押し）があると、画面全体に対応するデジタル信号を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をシステム制御部２５に出力する。
システム制御部２５は、上述のようにメインメモリ２４、画像処理部３１および記憶制御部３３をコントロールするが、デジタルカメラ２における他の各部（ＡＦ処理機能およびＡＥ検出機能）もコントロールする。
例えば、システム制御部２５は、オート撮像モード時にシャッタボタン６が半押しされると、レンズ駆動部２７を介してレンズ部１２のフォーカスレンズを至近から無限遠側に移動させ、且つ、ＡＦ処理機能を動作させて各レンズ位置におけるＡＦ評価値をＡＦ処理機能から取得する。そして、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。また、システム制御部２５は、オート撮像モード時にシャッタボタン６が半押しされると、ＡＥ検出機能を動作させ、ＡＥ検出機能から入力する積算値より被写体輝度（撮像Ｅｖ値）を算出し、この撮像Ｅｖ値に基づいて絞りの絞り値およびシャッタ速度（メカニカルシャッタ２０および／または撮像素子２１の電荷蓄積時間）をプログラム線図にしたがって決定し、シャッタボタン６が全押しされると、決定した絞り値に基づいて絞りを制御し、且つ、決定したシャッタ速度に基づいてシャッタ駆動部２６を介してメカニカルシャッタ２０を制御し、また、図示しない撮像素子駆動部を介して撮像素子２１での電荷蓄積時間を制御する。
また、システム制御部２５は、フラッシュ発光部５を制御してフラッシュ光の発光および非発光をコントロールする。本例のフラッシュ発光部５は、例えば、白色のフラッシュ光を発光するキセノン管と、キセノン管と発光窓との間に出し入れされる１または２以上のカラーフィルタとを有し、システム制御部２５は、キセノン管の発光時間を調整することによりフラッシュ光の発光量を調整し、カラーフィルタを出し入れすることよりフラッシュ光の発光色を調整する。なお、フラッシュ発光部５は、キセノン管の替わりに、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の発光ダイオードを使用してもよく、この場合には、ＲＧＢの発光ダイオードに流す電流量により発光量を調整し、また、ＲＧＢの発光ダイオードの発光量の比率を調整することにより、任意の色のフラッシュ光を発光させることができる。
さらにシステム制御部２５は、電源制御部２８を制御して電源２９における電池装着の有無、電池の種類、電池残量の検出等を行う。またシステム制御部２５は、画像処理部３１を構成する各種の処理部を制御する。
さらにまた、システム制御部２５は、シャッタボタン６、電源スイッチ７および操作部９を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理およびデバイス制御を行う。また、システム制御部２５は、電源スイッチ７から受信した電源オンオフ信号に応じて電源制御部２８を制御し、電源２９のオンおよびオフをコントロールする。
システム制御部２５で行われる各種の処理およびデバイス制御に必要なプログラムおよびデータ類は、メインメモリ２４に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムおよびデータ類を読み出すことができ、また、新たなプログラムおよびデータ類を制御メモリ３０に保存することができる。
［第１の実施形態］
次に、本発明の第１の実施形態の画像処理部（画像処理装置）３１に関して説明する。図４は、本実施形態の画像処理部３１の機能ブロックを示す図である。
画像処理部３１は、画像取得部３０１、ブロック分割部３０３、領域分割部３０５、第１のホワイトバランス関係情報算出部３０７、第２のホワイトバランス関係情報取得部３０９、および優先領域決定部３１１を備える。
画像取得部３０１は、被写体を撮像した撮像画像を取得する。具体的には、画像取得部３０１は、メインメモリ２４に記憶されている画像処理が施された撮像画像、または画像処理が施されていない撮像画像を読み出して取得する。また、画像取得部３０１は、記録用の撮像画像またはライブビュー画像（確認用の撮像画像）を取得する。
ブロック分割部３０３は、画像取得部３０１により取得された撮像画像を複数のブロックに分ける。例えばブロック分割部３０３は、撮像画像の縦を１６分割、横を１６分割して、撮像画像を２５６のブロックに分割する。なお、ブロック分割部３０３は、画像処理部３１において必須の構成ではなく、撮像画像をブロックに分割せずに後の処理を行ってもよい。
領域分割部３０５は、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する。すなわち、領域分割部３０５は、撮像画像の画素毎、ブロック毎、または所定の領域毎に明るさ情報を取得し、取得した明るさ情報に基づいて、撮像画像を複数の領域に分割する。例えば、領域分割部３０５が複数のブロックに撮像画像を分割している場合には、複数のブロックの各々の輝度（明るさ情報）に基づいて、ブロック単位で複数の領域に撮像画像を分割する。そして領域分割部３０５は、例えばハイライト領域とシャドウ領域とに撮像画像を領域分割する場合には、閾値に基づいて撮像画像をハイライト領域とシャドウ領域とに分割する。なお、明るさ情報として輝度ではなく、明度が使用されてもよい。さらに、領域分割部３０５は、ハイライト領域およびシャドウ領域の２分割ではなく、例えば、３つの異なる領域に撮像画像を分割してもよい。また、領域分割部３０５は、ブロック分割部３０３が分割した複数のブロックを複数の領域に分割するが、いずれの領域にも属さないブロックがあってもよい。この場合、いずれの領域にも属さないブロックに関する情報は、後の処理では考慮されない。
第１のホワイトバランス関係情報算出部３０７は、領域分割部３０５により分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する。具体的には、第１のホワイトバランス関係情報算出部３０７は、公知のオートホワイトバランスのアルゴリズムを使用して、領域分割部３０５により分割された撮像画像の複数の領域の各々の画素値に基づいて、第１のホワイトバランス関係情報を算出する。例えば、第１のホワイトバランス関係情報算出部３０７は、シャドウ領域の第１のホワイトバランス関係情報およびハイライト領域の第１のホワイトバランス関係情報を算出する。ここで、公知のオートホワイトバランスのアルゴリズムとは、各領域の画素値に応じたホワイトバランス関係情報が算出されれば特に限定されない。また、第１のホワイトバランス関係情報は、撮像画像を構成する画素値に基づいて決定されるものであり、ユーザの撮影意図が反映されるものではない。
第１のホワイトバランス関係情報算出部３０７は、撮像画像がブロック分割部３０３によりブロックに分割されている場合には、ブロックで構成された領域について第１のホワイトバランス関係情報を算出する。この場合、第１のホワイトバランス関係情報算出部３０７は、複数の領域の各境界に位置するブロックの参照重みを、各境界に位置しないブロックよりも低くして、第１のホワイトバランス関係情報を算出する。例えば、第１のホワイトバランス関係情報算出部３０７は、複数の領域の各境界に位置するブロックの参照重みを０．５とし、各境界に位置しないブロックの参照重みを１とする。ここで領域の境界に位置するブロックとは、境界を構成するブロックまたは境界から２個または３個の幅に位置するブロックのことをいう。
第２のホワイトバランス関係情報取得部３０９は、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する。デジタルカメラ２のユーザは、撮像時に撮影環境を認識して、自分の撮影意図が上手く反映されるようなホワイトバランス補正処理を操作部９を介して選択または設定する。ユーザの撮影意図が反映される場合とは、例えば、「晴天」「日陰」「昼光色蛍光灯」「昼白色蛍光灯」「白色蛍光灯」「電球」などの補正量が固定のホワイトバランスモードをユーザが選択した場合、色温度に対応したホワイトバランスの候補からユーザが選択した場合、カスタムでユーザが補正量を設定した場合、または「オートホワイトバランス」、「水中」に対してユーザが補正量の微調整を行った場合等である。一方、ユーザが微調整を行わない「オートホワイトバランス」および「水中」のように、ユーザの撮影意図によらず、撮影された画像によって決定されるホワイトバランス関係情報は、第２のホワイトバランス関係情報とはならない。ここで「水中」は水中での使用を前提としたオートホワイトバランスであり、補正量が固定ではない。
なお、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報は、ホワイトバランス補正処理の条件を示す情報であれば特に限定されない。例えば、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報は、ホワイトバランス補正量、色温度情報、または光源の色味を示す情報である。
優先領域決定部３１１は、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて優先領域を決定する。ここで、優先領域とは、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される領域のことである。すなわち、優先領域とは、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて、ユーザが撮像画像のうちで適切に表現したい領域のことである。
例えば、優先領域決定部３１１は、領域分割部３０５においてハイライト領域とシャドウ領域との２つの領域に撮像画像を分割した場合には、２つの領域のうち第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分が小さい領域を優先領域とする。具体的には、優先領域決定部３１１は、ハイライト領域において、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分がシャドウ領域に比べて小さい場合には、ハイライト領域を優先領域とする。一方、優先領域決定部３１１は、シャドウ領域において、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分がハイライト領域に比べて小さい場合には、シャドウ領域を優先領域とする。
次に、本実施形態の画像処理装置の動作フローに関して説明する。図５は、画像処理部３１の動作フローを示す図である。
まず、画像取得部３０１により、撮像画像が取得される（ステップＳ１０１：画像取得ステップ）。図６には、画像取得部３０１により取得された撮像画像４０１が示されている。撮像画像４０１は、主要被写体である人物４０２を有し、晴天の屋外で撮像されている。
次に、ブロック分割部３０３により、撮像画像が２５６（縦１６分割×横１６分割）のブロックに分割され、領域分割部３０５により各ブロックの輝度Ｙｉ（ｉ＝０から２５５）が算出される（ステップＳ１０２）。なお、領域分割部３０５により行われる各ブロックの輝度Ｙｉの算出は、例えば次式により行われる。なお、Ｒｉ、ＧｉおよびＢｉは各ブロックにおけるＲ画素、Ｇ画素およびＢ画素の平均画素値である。
Figure 0006921972
その後、領域分割部３０５により、撮像画像の全体の平均輝度Ｙａｖｅと輝度Ｙｉとに基づいてブロックがハイライト領域とシャドウ領域とに分けられる（ステップＳ１０３：領域分割ステップ）。
図７は、撮像画像４０１の領域分割を概念的に示した図である。図７では、領域分割部３０５により、図６に示された撮像画像４０１をハイライト領域（晴れ）４０３とシャドウ領域（日陰）４０４とに分割されている。具体的には、領域分割部３０５は、撮像画像４０１の画像全体の平均輝度Ｙａｖｅを下式により算出し、ブロック平均Ｙｉと全体の平均Ｙａｖｅとを比較し、ＹｉがＹａｖｅより大きいブロックをハイライト領域に、ＹｉがＹａｖｅより小さいブロックをシャドウ領域に分類する。
Figure 0006921972
その後、第１のホワイトバランス関係情報算出部３０７は、公知のオートホワイトバランス（ＡＷＢ）のアルゴリズムを用いて、ハイライト領域およびシャドウ領域のそれぞれの画素値から領域毎のホワイトバランス補正量（ハイライト領域のホワイトバランス補正量ＷＢｈｌ、シャドウ領域のホワイトバランス補正量ＷＢｓｈ）を算出する（ステップＳ１０４：第１のホワイトバランス関係情報算出ステップ）。
例えば第１のホワイトバランス関係情報算出部３０７は、ハイライト領域およびシャドウ領域のＧ画素、Ｒ画素、およびＢ画素のゲインに関する量を算出する。なお、ハイライト領域について算出されたＧＮＧｈｌ、ＧＮＲｈｌ、およびＧＮＢｈｌをハイライト領域のホワイトバランス補正量ＷＢｈｌとよび、シャドウ領域について算出されたＧＮＧｓｈ、ＧＮＲｓｈ、およびＧＮＢｓｈをシャドウ領域のホワイトバランス補正量ＷＢｓｈとよぶ。
次に、第２のホワイトバランス関係情報取得部３０９は、ユーザにより設定された第２のホワイトバランス関係情報であるＷＢｓｅｔを取得する（ステップＳ１０５：第２のホワイトバランス関係情報取得ステップ）。例えば、ユーザは「晴天」のホワイトバランスのモードを選択している場合には、第２のホワイトバランス関係情報取得部３０９は、「晴天」のホワイトバランス関係情報を取得する。ここでＷＢｓｅｔは、例えば、「晴天」のホワイトバランスのモードの補正量であるＧ画素、Ｒ画素およびＢ画素のゲインに関する量ＧＮＧｓｅｔ、ＧＮＲｓｅｔおよびＧＮＢｓｅｔのことである。
そして、優先領域決定部３１１により、第２のホワイトバランス関係情報取得部３０９が取得したＷＢｓｅｔと、第１のホワイトバランス関係情報算出部３０７が算出したＷＢｈｌおよびＷＢｓｈに基づき優先領域が決定される（ステップＳ１０６：優先領域決定ステップ）。具体的には、優先領域決定部３１１は、ホワイトバランス補正量ＷＢｈｌおよびＷＢｓｈと、ユーザが選択しているホワイトバランス補正量ＷＢｓｅｔとを比較する。例えば、優先領域決定部３１１は、比較の指標としてＲゲインとＢゲインの比ＧＮＢ／ＧＮＲを用いて、ハイライト領域およびシャドウ領域のそれぞれに関して、ＷＢｓｅｔに対するＧＮＢ／ＧＮＲの差分を下式のように算出する。
Figure 0006921972
なお、以下の式を利用した決定方法はＧＮＧを固定値としてＧＮＲとＧＮＢだけ変動させてホワイトバランスの調整を行う方式を前提とした場合の例であり、決定方法はこれに限定されない。例えば、ＷＢｈｌとＷＢｓｅｔのＲゲイン同士の差分の絶対値ＤＦＲｈｌ、Ｇゲイン同士の差分の絶対値ＤＦＧｈｌ、およびＢゲイン同士の差分の絶対値ＤＦＢｈｌを算出し、同じようにＷＢｓｈとＷＢｓｅｔでも各ゲイン同士の差分の絶対値ＤＦＲｓｈ、ＤＦＧｓｈ、およびＤＦＢｓｈ、を算出し、これらの差分絶対値をつかった比較でも良い。具体的には、ＤＦＲｈｌ＋ＤＦＧｈｌ＋ＤＦＢｈｌとＤＦＲｓｈ＋ＤＦＧｓｈ＋ＤＦＢｓｈを比較する方法が一つの例として考えられる。
そして次に、優先領域決定部３１１は、Ｄｈｌ≦Ｄｓｈの場合はハイライト領域を優先領域とし、Ｄｈｌ＞Ｄｓｈの場合はシャドウ領域を優先領域とする。
上記実施形態において、システム制御部２５および画像処理部３１といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
＜ダイナミックレンジ拡大処理＞
次に、優先領域を利用して行われるダイナミックレンジ拡大処理に関して説明する。
先ずダイナミックレンジ拡大処理における露出制御に関して説明する。ユーザが撮像画像においてハイライト側（ハイライト領域）を重視する場合、すなわちハイライト側に階調を持たせて色表現を豊かにしたい場合には、撮像時に露出の下げ幅を大きくして、ハイライト側の白とびする画素を減らして撮像が行われる。
図８は、通常露光とアンダー露光とにおける被写体光量とセンサ信号との関係を概念的に示した図である。図８に示すように、アンダー露光で撮像画像を撮像した場合には、通常露光で撮像した場合に比べて、ハイライト側においてもセンサ信号の出力に階調を持たすことができる。具体的には、被写体光量Ａ１からＡ２の範囲において，通常露光では飽和限界に達している画素が、アンダー露光で撮像することにより階調を有するようになる。すなわち、被写体光量Ａ１からＡ２の範囲においてダイナミックレンジの拡大を行うことができる。なお、ここでダイナミックレンジとは識別可能な信号の最小値と最大値との比率のことである。
しかし、露出の下げ幅を大きくすると、シャドウ領域の信号をセンサが読み取れない場合や、入力信号のレベルがノイズ限界に達してノイズと被写体の信号との区別がつかなくなる場合が発生してしまう。このような場合には、シャドウ領域の信号を、トーンカーブを適用して持ち上げようとしても黒つぶれしてしまう。
図９は、ノイズ限界に関して説明する図であり、被写体光量に対する信号量が示されている。図９に示した場合では、アンダー露光により撮像されており、被写体光量Ｂ１からＢ２の範囲では信号量がノイズ限界以下となってしまう。このような場合には、被写体光量Ｂ１からＢ２に対応する信号量は黒つぶれしてしまい、信号処理でゲインをかけても階調を持たせることが困難である。したがって、アンダー露光により取得された撮像画像においては、シャドウ領域の画素が黒つぶれしてしまうことが発生する。
次に、ダイナミックレンジ拡大処理におけるトーンカーブの適用に関して説明する。
図１０は、トーンカーブにより、出力信号が補正されることを説明する図である。図１０に示した場合では、シャドウ領域の黒つぶれとハイライト領域の白飛びが少なくなるようにトーンカーブを入力信号にかけることにより、ダイナミックレンジ拡大処理を行って適正な明るさの出力信号を得ている。すなわち、シャドウ領域では出力信号の値を持ち上げるような補正が行われており、ハイライト領域では出力信号の値を下げるような補正が行われている。
トーンカーブの形を変えることにより、被写体光量の階調を持たせる範囲を制御することができる。例えば、逆光シーンのようにシャドウ領域とハイライト領域のコントラスト比が大きい場合には、どの輝度範囲の階調を豊かにするかにより出力画像の印象は大きく変わる。そのため、ユーザの撮影意図が反映されるように、ユーザが階調を豊かにしたい輝度の範囲に応じてトーンカーブを決める必要がある。
図１１および図１２は、トーンカーブを示した図であり、入力された信号を出力する場合のトーンカーブを示している。図１１では、シャドウ側に階調を持たせるトーンカーブが示されている。すなわち、シャドウ側の入力値Ｃ１からＣ２の階調が豊かになるようにトーンカーブが設計されている。また、図１２では、ハイライト側に階調を持たせるトーンカーブが示されている。すなわち、ハイライト側の入力値Ｄ１からＤ２の階調が豊かになるようにトーンカーブが設計されている。このように、シャドウ側に階調を持たせる場合と、ハイライト側に階調を持たせる場合とでは、トーンカーブの形状が異なり、ユーザは優先領域に応じて適切な形状を有するトーンカーブを選択することにより、撮影意図を反映させた撮像画像を得ることが可能である。
以下の説明では、決定された優先領域の利用について説明する。第２の実施形態では、優先領域に基づいて露出制御が行われる場合について説明する。第３の実施形態では、優先領域に基づいてホワイトバランス補正処理が行われる場合について説明する。また第４の実施形態では、優先領域に基づいてトーンカーブが決定される場合について説明する。
［第２の実施形態］
本発明の第２の実施形態のデジタルカメラ２に関して説明する。図１３は、本実施形態のデジタルカメラ２の画像処理部３１およびシステム制御部２５を構成する機能ブロックを示す図である。
本実施形態のデジタルカメラ２が搭載する画像処理部３１は、画像取得部３０１、ブロック分割部３０３、領域分割部３０５、第１のホワイトバランス関係情報算出部３０７、第２のホワイトバランス関係情報取得部３０９、および優先領域決定部３１１を備える。また、本実施形態のデジタルカメラ２が搭載するシステム制御部２５は、露出調整部３１３を備える。なお、図４で既に説明を行った箇所は同じ符号を付し説明は省略する。
画像取得部３０１は、メインメモリ２４から、ライブビュー画像を取得する。本実施形態においては、ライブビュー画像に基づいて優先領域が決定される。すなわち、画像取得部３０１が取得したライブビュー画像に対して、第１の実施形態で説明をした処理が行われ、優先領域が決定される。
露出調整部３１３は、優先領域に応じて露出を調整する。すなわち、露出調整部３１３は、優先領域に応じて、シャッタースピード、絞り、および／または撮像素子のＩＳＯ感度を制御して、露出を調整する。具体的には、露出調整部３１３は、優先領域が閾値よりハイライト側にある場合には、撮像画像の白飛び画素に応じて露出を制御する。また、露出調整部３１３は、優先領域が閾値以下のシャドウ側にある場合には、撮像画像の黒つぶれ画素に応じて露出を制御する。
図１４は、本実施形態のデジタルカメラ２の動作フローを示す図である。
先ず、デジタルカメラ２はライブビュー画像を取得する（ステップＳ２０１：画像取得ステップ）。すなわち、デジタルカメラ２の画像処理部３１の画像取得部３０１は、メインメモリ２４からライブビュー画像を取得する。その後、ブロック分割部３０３は、取得したライブビュー画像を２５６（縦１６×横１６）ブロックに分けて、ブロック毎に輝度Ｙｉ（ｉ＝０から２５５）を算出する（ステップＳ２０２）。
次に領域分割部３０５は、ライブビュー画像全体の平均輝度ＹａｖｅとＹｉに基づき各ブロックをハイライト領域とシャドウ領域とに分ける（ステップＳ２０３：領域分割ステップ）。
その後、公知のオートホワイトバランス（ＡＷＢ）のアルゴリズムを用いて、領域毎のハイライト領域のホワイトバランス補正量ＷＢｈｌ、およびシャドウ領域のホワイトバランス補正量ＷＢｓｈを各領域の画素情報から算出する（ステップＳ２０４：第１のホワイトバランス関係情報算出ステップ）。
そして、第２のホワイトバランス関係情報取得部３０９は、ユーザ（撮影者）が選択したホワイトバランス関係情報であるＷＢｓｅｔを取得する（ステップＳ２０５：第２のホワイトバランス関係情報取得ステップ）。
次に、優先領域決定部３１１は、ＷＢｓｅｔ、ＷＢｈｌ、およびＷＢｓｈに基づいて優先領域を決定する（ステップＳ２０６：優先領域決定ステップ）。
その後、露出調整部３１３は、優先領域がハイライト側であるか否かを判定する（ステップＳ２０７）。例えば露出調整部３１３は、閾値に基づいて優先領域がハイライト側であるか否かの判定を行う。
そして露出調整部３１３は、優先領域がハイライト側である場合にはハイライト優先露出制御（白飛び抑制制御）を行う（ステップＳ２０８：露出調整ステップ）。すなわち、露出調整部３１３は、ハイライト領域に含まれるブロックのＲ値、Ｇ値およびＢ値の最大値をＶ（ｍａｘ）とすると、Ｖ（ｍａｘ）がセンサの飽和限界値に達しないように露出を制御する。露出調整部３１３は、露出をブロック線図にしたがって感度、絞り、シャッタースピードを決定する。なお、Ｖ（ｍａｘ）は、ブロックの最大値（ブロック毎の平均値の最大値）としたが、これに限定されない。例えば、Ｖ（ｍａｘ）は、ハイライト領域内の全画素の最大値であってもよい。また、Ｖ（ｍａｘ）の限界は飽和限界値に限定されず、例えば飽和限界値の９０％の値でもよい。
一方、露出調整部３１３は、優先領域がハイライト側でない場合、すなわち優先領域がシャドウ側である場合にはシャドウ優先露出制御（黒つぶれ抑制制御）を行う（ステップＳ２０９：露出調整ステップ）。すなわち、露出調整部３１３は、シャドウ領域に含まれるブロックのＲ値、Ｇ値およびＢ値の最小値をＶ（ｍｉｎ）とすると、Ｖ（ｍｉｎ）がセンサのノイズ限界値より小さくならないように露出を制御する。なお、Ｖ（ｍｉｎ）は、ブロックの最小値（ブロック毎の平均値の最小値）としたが、これに限定されない。例えば、Ｖ（ｍｉｎ）は、ハイライト領域内の全画素の最小値であってもよい。また、Ｖ（ｍｉｎ）の限界はノイズ限界値に限定されず、例えばゼロまたはノイズ限界値の１１０％の値でもよい。
［第３の実施形態］
次に、本発明の第３の実施形態の画像処理部３１に関して説明する。
図１５は、本実施形態の画像処理部３１の機能ブロックを示す図である。
デジタルカメラ２は、画像取得部３０１、ブロック分割部３０３、領域分割部３０５、第１のホワイトバランス関係情報算出部３０７、第２のホワイトバランス関係情報取得部３０９、優先領域決定部３１１、およびホワイトバランス処理部３１７を備える。なお、図４で既に説明を行った箇所は同じ符号を付し説明は省略する。
ホワイトバランス処理部３１７は、撮像画像に対してホワイトバランス補正処理を行う。ホワイトバランス処理部３１７は、撮像画像に対して、公知のアルゴリズムを使用して撮像画像の画素値に基づいて算出されたホワイトバランス関係情報（第１のホワイトバランス関係情報）、および／またはユーザが設定したホワイトバランス関係情報（第２のホワイトバランス関係情報）に基づいて、ホワイトバランス補正処理を行う。
また、例えばホワイトバランス処理部３１７は、複数の領域のうち優先領域には、第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行い、複数の領域のうち優先領域以外の領域には、第１のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行ってもよい。またホワイトバランス処理部３１７は、撮像画像を構成する画素毎に、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報のいずれかでホワイトバランス補正処理を行ってもよい。
図１６は、本実施形態の画像処理部３１を搭載するデジタルカメラ２の動作フローを示す図である。
先ず、デジタルカメラ２はライブビュー画像を取得する（ステップＳ３０１）。その後、ブロック分割部３０３は、取得したライブビュー画像を２５６（縦１６×横１６）ブロックに分けて、ブロック毎に輝度Ｙｉ（ｉ＝０から２５５）を算出する（ステップＳ３０２）。
次に領域分割部３０５は、ライブビュー画像全体の平均輝度ＹａｖｅとＹｉに基づき各ブロックをハイライト領域とシャドウ領域とに分ける（ステップＳ３０３）。
その後、オートホワイトバランス（ＡＷＢ）のアルゴリズムを用いて、ハイライト領域のホワイトバランス補正量ＷＢｈｌと、シャドウ領域のホワイトバランス補正量ＷＢｓｈを各領域の画素情報から算出する（ステップＳ３０４）。
そして、第２のホワイトバランス関係情報取得部３０９は、ユーザ（撮影者）が選択したホワイトバランス関係情報であるＷＢｓｅｔを取得する（ステップＳ３０５）。
次に、優先領域決定部３１１は、ＷＢｓｅｔ、ＷＢｈｌ、およびＷＢｓｈに基づいて優先領域を決定する（ステップＳ３０６）。
次に、デジタルカメラ２は、露出制御を行い撮像画像を撮像する（ステップＳ３０７）。デジタルカメラ２が行う露出制御は、第２の実施形態で説明を行った露出制御を行ってもよいし、公知の露出制御の技術が適用されてもよい。
その後、ホワイトバランス処理部３１７は、取得された撮像画像に対してホワイトバランス補正処理を行う。ホワイトバランス処理部３１７は、ハイライト領域およびシャドウ領域のそれぞれの代表輝度を算出し（ステップＳ３０８）、その代表輝度に基づいてホワイトバランス補正処理を行う（ステップＳ３０９）。
図１７は、輝度Ｙに応じたホワイトバランス（ＷＢ）補正量の一例に関して示す図である。図１７に示す例では、ホワイトバランス処理部３１７は、各領域に含まれるブロックあるいは画素の平均輝度をＹｈｌ、Ｙｓｈとし、画像内の画素ごとの輝度をＹＰｊ［ｊ＝０〜画素数−１］として、各画素に適用するホワイトバランス補正量ＷＢＰｊ［ｊ＝０〜画素数−１］を下記のように算出する。
Figure 0006921972
代表輝度の算出方法は、ハイライト領域およびシャドウ領域に起因すれば特定に限定されない。代表輝度は、平均輝度に限らず、各領域の中央値、シャドウ領域の最大値およびハイライト領域の最小値でも良い。代表輝度は、実際の撮像画像から算出しても良いし、優先領域を決定する際の仮露光の値に仮露光と本露光の露出の違いを反映した値から算出しても良い。また、優先領域がハイライト領域ならＷＢｈｌを、シャドウ領域ならＷＢｓｈをそれぞれＷＢｓｅｔに置き換えて計算しても良い。
［第４の実施形態］
次に、本発明の第４の実施形態の画像処理部３１に関して説明する。
図１８は、本実施形態の画像処理部３１を構成する機能ブロックを示す図である。
デジタルカメラ２は、画像取得部３０１、ブロック分割部３０３、領域分割部３０５、第１のホワイトバランス関係情報算出部３０７、第２のホワイトバランス関係情報取得部３０９、優先領域決定部３１１、およびトーンカーブ決定部３１５を備える。なお、図４で既に説明を行った箇所は同じ符号を付し説明は省略する。
トーンカーブ決定部３１５は、優先領域に応じて、トーンカーブを決定する。例えばトーンカーブ決定部３１５は、優先領域の輝度を適正にするトーンカーブを決定する。具体的には、トーンカーブ決定部３１５は、優先領域が有する輝度の範囲（優先輝度範囲）において、階調が豊かになるように、トーンカーブを決定する。優先輝度範囲は、優先領域内の平均値または中央値などの単一の値でもよい。また、優先輝度範囲は、優先領域内の輝度の最小値から最大値の範囲との決定方法、または優先領域内の輝度値のヒストグラムから決定する方法（例えばヒストグラムを構成する全データの８０％の範囲）などでもよい。
図１９は、本実施形態の画像処理装置を搭載するデジタルカメラ２の動作フローを示す図である。
先ず、デジタルカメラ２はライブビュー画像を取得する（ステップＳ４０１）。その後、ブロック分割部３０３は、取得したライブビュー画像を２５６（縦１６×横１６）ブロックに分けて、ブロック毎に輝度Ｙｉ（ｉ＝０から２５５）を算出する（ステップＳ４０２）。
次に領域分割部３０５は、ライブビュー画像全体の平均輝度ＹａｖｅとＹｉに基づき各ブロックをハイライト領域とシャドウ領域とに分ける（ステップＳ４０３）。
その後、オートホワイトバランス（ＡＷＢ）のアルゴリズムを用いて、ハイライト領域のホワイトバランス補正量ＷＢｈｌと、シャドウ領域のホワイトバランス補正量ＷＢｓｈを各領域の画素情報から算出する（ステップＳ４０４）。
そして、第２のホワイトバランス関係情報取得部３０９は、ユーザ（撮影者）が選択したホワイトバランス関係情報であるＷＢｓｅｔを取得する（ステップＳ４０５）。
次に、優先領域決定部３１１は、ユーザに選択されているＷＢｓｅｔ、ＷＢｈｌ、およびＷＢｓｈに基づいて優先領域を決定する（ステップＳ４０６）。
次に、デジタルカメラ２は、露出制御を行い撮像画像を撮像する（ステップＳ４０７）。デジタルカメラ２が行う露出制御は、第２の実施形態で説明を行った露出制御を行ってもよいし、公知の露出制御の技術が適用されてもよい。
そして、撮像画像に対して、画像処理部３１によりホワイトバランス（ＷＢ）処理が行われる（ステップＳ４０８）。第３の実施形態で説明したようなホワイトバランス補正処理を行ってもよいし、それ以外のホワイトバランス補正処理を行ってもよい。ここで、それ以外のホワイトバランス補正処理とは、例えばユーザ選択のホワイトバランス補正量をそのまま適用してもよいし、ハイライト領域とシャドウ領域とでそれぞれ異なるホワイトバランス補正量を適用してもよい。以下の説明ではホワイトバランス補正処理後のＲＧＢ値を（Ｒ(１)，Ｇ(１)，Ｂ(１)）とする。
その後、画像処理部３１は、ガンマ補正処理を行う（ステップＳ４０９）。例えば、画像処理部３１は、ｓＲＧＢの規格に合わせる場合、（Ｒ(１)，Ｇ(１)，Ｂ(１)）をデータ最大値Ｖｂｉｔ（１４ｂｉｔなら１６３８３）で割って正規化した値を（ｒ(１)，ｇ(１)，ｂ(１)）とすると、γ補正後のＲＧＢ値（Ｒ(２)，Ｇ(２)，Ｂ(２)）は次式を使用して算出する。
Figure 0006921972
そして、画像処理部３１は、Ｇ(２)，Ｂ(２)も同様Ｒ(２)と同様に処理を行う。
次に、画像処理部３１は、ガンマ補正後のＲＧＢ値を次式により輝度に変換する。
Figure 0006921972
次にトーンカーブ決定部３１５は、優先領域に基づいて優先輝度範囲を決定する（ステップＳ４１０）。例えばトーンカーブ決定部３１５は、優先領域（ハイライト領域またはシャドウ領域）に含まれるブロックの輝度Ｙ(２)の最大値をＹ(２)ｍａｘ、最小値をＹ(２)ｍｉｎを算出し、優先輝度範囲をＹ(２)ｍｉｎからＹ(２)ｍａｘと定める。
そして、トーンカーブ決定部３１５は、優先輝度範囲に基づき、トーンカーブを決定する。図２０および図２１は、トーンカーブの例を示す図である。優先輝度範囲がＹ(２)ｍｉｎからＹ(２)ｍａｘの範囲であった場合、図２０のようにＹ(２)ｍｉｎからＹ(２)ｍａｘでカーブが急峻になるようなトーンカーブを選択あるいは新たに作成する。優先輝度範囲を優先領域の平均輝度などの単一の代表輝度Ｙ(２)ｃｅｎｔｅｒと定めた場合、図２１のようにＹ(２)ｃｅｎｔｅｒ付近でカーブが急峻になるようなトーンカーブを選択あるいは新たに作成する。
＜スマートフォンの構成＞
図２２は、スマートフォン１０１の外観を示す図である。図２２に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備える。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成が採用されてもよいし、折り畳み構造やスライド機構を有する構成が採用されてもよい。
図２３は、図２２に示すスマートフォン１０１の構成を示すブロック図である。図２３に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部１１０は、主制御部１００の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部１２０は、主制御部１００の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。
表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。
図２２に示すように、本発明のデジタルカメラ２の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力し、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図２２に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。
操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２２に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱可能な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
外部入出力部１６０は、スマートフォン１０１に連結されるすべての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的または間接的に接続するためのものである。
スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにしてもよい。
ＧＰＳ受信部１７０は、主制御部１００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、および高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示にしたがって、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。
電源部１９０は、主制御部１００の指示にしたがって、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。
さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図２２に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、或いは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り換えて単独にて撮影してもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影してもよい。
また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力の１つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。さらには、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画または動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記憶し、外部入出力部１６０や無線通信部１１０を通じて出力することもできる。
上述の画像処理部３１およびシステム制御部２５は、例えば主制御部１００によって実現可能である。
本発明の一の態様である画像処理装置は、被写体を撮像した撮像画像を取得する画像取得部と、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割部と、領域分割部により分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出部と、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得部と、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定部と、を備える。
本態様によれば、第１のホワイトバランス関係情報算出部により、領域分割部により分割された複数の領域の各々について、第１のホワイトバランス関係情報が算出され、第２のホワイトバランス関係情報取得部により、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報が取得される。そして、本態様によれば優先領域決定部により、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域が決定される。これにより本態様は、ユーザが能動的に設定したホワイトバランスに応じたダイナミック拡大処理の優先領域が決定されるので、ユーザの撮影意図が反映されたダイナミックレンジ拡大処理を実現することが可能な優先領域を決定することができる。
好ましくは、優先領域決定部は、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分が小さい領域を優先領域として決定する。
本態様によれば、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分が小さい領域が優先領域として決定されるので、ユーザの撮影意図に合った優先領域が決定される。
好ましくは、領域分割部は、撮像画像を少なくともハイライト領域およびシャドウ領域に分割し、優先領域決定部は、ハイライト領域における第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分がシャドウ領域の差分に比べて小さい場合には、ハイライト領域を優先領域とし、シャドウ領域の差分がハイライト領域の差分に比べて小さい場合には、シャドウ領域を優先領域として決定する。
本態様によれば、撮像画像が少なくともハイライト領域およびシャドウ領域に分割され、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報との差分がハイライト領域およびシャドウ領域について算出され小さい差分を有する領域が優先領域として決定される。これにより、本態様は、ユーザの撮影意図に合った優先領域が決定される。
好ましくは、優先領域に応じて、トーンカーブを決定するトーンカーブ決定部を備える。
本態様によれば、トーンカーブ決定部により、優先領域に応じてトーンカーブが決定されるので、ユーザの撮影意図が反映されたトーンカーブに基づいて、ダイナミックレンジ拡大処理の実行が可能となる。
好ましくは、トーンカーブ決定部は、優先領域の輝度を適正にするトーンカーブを決定する。
本態様によれば、トーンカーブ決定部により、優先領域の輝度を適正にするトーンカーブが決定されるので、ユーザが優先しようとする撮影意図がある領域の輝度を適切に表現することができるダイナミックレンジ拡大処理が行われる。
好ましくは、画像処理装置は、撮像画像を複数のブロックに分けるブロック分割部を備え、領域分割部は、複数のブロックの各々の明るさ情報に基づいて、ブロック単位で複数の領域に分割する。
本態様によれば、ブロック分割部により、撮像画像が複数のブロックに分けられて、領域分割部により、複数のブロックの各々の明るさ情報に基づいて、ブロック単位で複数の領域に分割される。これにより、本態様は、ブロックで構成される優先領域を決定することができる。
好ましくは、第１のホワイトバランス関係情報算出部は、複数の領域の各境界に位置するブロックの参照重みを、各境界に位置しないブロックよりも低くして、第１のホワイトバランス関係情報を算出する。
本態様によれば、第１のホワイトバランス関係情報算出部により、複数の領域の各境界に位置するブロックの参照重みを、各境界に位置しないブロックよりも低くして、第１のホワイトバランス関係情報が算出される。これにより本態様は、各領域の適切な値を持つ可能性が低い領域の境界に位置するブロックの参照重みを低くしているので、より第１のホワイトバランス関係情報を適切に算出することが可能となる。
好ましくは、画像処理装置は、撮像画像に、ホワイトバランス補正処理を行うホワイトバランス処理部を備える。
本態様によれば、ホワイトバランス処理部により、ホワイトバランス補正処理が行われるので、ユーザの撮影意図が反映された優先領域に応じたホワイトバランス補正処理が実行される。
好ましくは、ホワイトバランス処理部は、撮像画像に第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行う。
本態様によれば、ホワイトバランス処理部により、撮像画像に第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理が行われるので、ユーザの撮影意図に応じたホワイトバランス補正処理が撮像画像に実行される。
好ましくは、ホワイトバランス処理部は、複数の領域のうち優先領域には、第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行い、複数の領域のうち優先領域以外の領域には、第１のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行う。
本態様によれば、ホワイトバランス処理部により、複数の領域のうち優先領域には、第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行い、複数の領域のうち優先領域以外の領域には、第１のホワイトバランス関係情報に基づいてホワイトバランス補正処理が行われる。これにより本態様は、優先領域にはユーザの撮影意図が反映されたホワイトバランス補正処理が行われ、優先領域以外の領域には画素値に基づいたホワイトバランス補正処理が行われる。すなわち、本態様では優先領域にはユーザが自ら設定したホワイトバランス補正処理を行い、優先領域以外には領域の画素値に基づいてホワイトバランス補正処理が行われる。したがって、例えば本態様では、領域毎に異なる光源が当たっていても、各領域において適切にホワイトバランス補正処理が行われる。
好ましくは、ホワイトバランス処理部は、撮像画像を構成する画素毎にホワイトバランス補正処理を行う。
本態様によれば、ホワイトバランス処理部により、撮像画像を構成する画素毎にホワイトバランス補正処理が行われるので、画素毎に適切なホワイトバランス補正処理が実行される。
好ましくは、ホワイトバランス処理部は、撮像画像を構成する画素毎に、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報のうちいずれか１つに基づいてホワイトバランス補正処理が行われる。
本態様によれば、ホワイトバランス処理部により、撮像画像を構成する画素毎に、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報のうちいずれか１つに基づいてホワイトバランス補正処理が行われるので、画素毎に適切なホワイトバランス補正処理が実行される。
好ましくは、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報は、ホワイトバランス補正量、色温度情報、または光源の色味を示す情報である。
本態様によれば、第１のホワイトバランス関係情報および第２のホワイトバランス関係情報は、ホワイトバランス補正量、色温度情報、または光源の色味を示す情報であるので、ユーザの撮影意図が適切に反映されたホワイトバランス補正処理を行うことができる。
本発明の他の態様である撮像装置は、上述の画像処理装置を搭載する撮像装置であって、優先領域に応じて、露出を調整する露出調整部を備える。
本態様によれば、露出調整部により、優先領域に応じて露出が調整されるので、ユーザの撮影意図が反映された露光制御を行うことができる。
好ましくは、露出調整部は、優先領域が閾値よりハイライト側にある場合には、撮像画像の白飛び画素に応じて露出を制御し、優先領域が閾値以下のシャドウ側にある場合には、撮像画像の黒つぶれ画素に応じて露出を制御する。
本態様によれば、露出調整部により、優先領域が閾値よりハイライト側にある場合には、撮像画像の白飛び画素に応じて露出が制御され、優先領域が閾値以下のシャドウ側にある場合には、撮像画像の黒つぶれ画素に応じて露出が制御される。これにより本態様は、ユーザの撮影意図がハイライト側にある場合、およびユーザの撮影意図がシャドウ側にある場合に、適切に露出が制御されて撮像画像が取得される。
本発明の他の態様である画像処理方法は、被写体を撮像した撮像画像を取得する画像取得ステップと、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割ステップと、領域分割ステップにおいて分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定ステップと、を含む。
本発明の他の態様である撮像方法は、被写体を撮像した撮像画像を取得する画像取得ステップと、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割ステップと、領域分割ステップにおいて分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定ステップと、優先領域に応じて、露出を調整する露出調整ステップと、を含む。
本発明の他の態様であるプログラムは、被写体を撮像した撮像画像を取得する画像取得ステップと、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割ステップと、領域分割ステップにおいて分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定ステップと、を含む画像処理方法をコンピュータに実行させる。
本発明の他の態様であるプログラムは、被写体を撮像した撮像画像を取得する画像取得ステップと、撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割ステップと、領域分割ステップにおいて分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定ステップと、優先領域に応じて、露出を調整する露出調整ステップと、を含む撮像方法をコンピュータに実行させる。
上記記載から、以下の付記項１に記載の画像処理装置を把握することができる。
［付記項１］
被写体を撮像した撮像画像を取得する画像取得プロセッサと、
撮像画像の明るさ情報に基づいて、撮像画像を複数の領域に分割する領域分割プロセッサと、
領域分割プロセッサにより分割された複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出プロセッサと、
撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得プロセッサと、
第１のホワイトバランス関係情報と第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、優先領域の輝度に基づいて撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される優先領域を決定する優先領域決定プロセッサと、
を備える画像処理装置。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
２ デジタルカメラ
３ カメラ本体
４ レンズ鏡筒
５ フラッシュ発光部
６ シャッタボタン
７ 電源スイッチ
８ 表示部
９ 操作部
１０ 外部メモリ
１２ レンズ部
２０ メカニカルシャッタ
２１ 撮像素子
２２ プロセス処理部
２３ ＡＤ変換部
２４ メインメモリ
２５ システム制御部
２６ シャッタ駆動部
２７ レンズ駆動部
２８ 電源制御部
２９ 電源
３０ 制御メモリ
３１ 画像処理部
３２ 圧縮伸張部
３３ 記憶制御部
３５ 表示制御部
３６ ユーザインタフェース
１００ 主制御部
１０１ スマートフォン
１０２ 筐体
１１０ 無線通信部
１２０ 表示入力部
１２１ 表示パネル
１２２ 操作パネル
１３０ 通話部
１３１ スピーカ
１３２ マイクロホン
１４０ 操作部
１４１ カメラ部
１５０ 記憶部
１５１ 内部記憶部
１５２ 外部記憶部
１６０ 外部入出力部
１７０ ＧＰＳ受信部
１８０ モーションセンサ部
１９０ 電源部
３０１ 画像取得部
３０３ ブロック分割部
３０５ 領域分割部
３０７ 第１のホワイトバランス関係情報算出部
３０９ 第２のホワイトバランス関係情報取得部
３１１ 優先領域決定部
３１３ 露出調整部
３１５ トーンカーブ決定部
３１７ ホワイトバランス処理部
４０１ 撮像画像
４０２ 人物
４０３ ハイライト領域
４０４ シャドウ領域
ステップＳ１０１−ステップＳ１０６ 第１の実施形態の画像処理工程
ステップＳ２０１−ステップＳ２０９ 第２の実施形態の画像処理工程および撮像工程
ステップＳ３０１−ステップＳ３０９ 第３の実施形態の画像処理工程および撮像工程
ステップＳ４０１−ステップＳ４１０ 第４の実施形態の画像処理工程および撮像工程

Claims (19)

  1. 被写体を撮像した撮像画像を取得する画像取得部と、
    前記撮像画像の明るさ情報に基づいて、前記撮像画像を複数の領域に分割する領域分割部と、
    前記領域分割部により分割された前記複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出部と、
    前記撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得部と、
    前記第１のホワイトバランス関係情報と前記第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、前記優先領域の輝度に基づいて前記撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される前記優先領域を決定する優先領域決定部と、
    を備える画像処理装置。
  2. 前記優先領域決定部は、前記第１のホワイトバランス関係情報と前記第２のホワイトバランス関係情報との差分が小さい前記領域を前記優先領域として決定する請求項１に記載の画像処理装置。
  3. 前記領域分割部は、前記撮像画像を少なくともハイライト領域およびシャドウ領域に分割し、
    前記優先領域決定部は、前記ハイライト領域における前記第１のホワイトバランス関係情報と前記第２のホワイトバランス関係情報との差分が前記シャドウ領域の前記差分に比べて小さい場合には、前記ハイライト領域を前記優先領域とし、前記シャドウ領域の前記差分が前記ハイライト領域の前記差分に比べて小さい場合には、前記シャドウ領域を前記優先領域として決定する請求項１または２に記載の画像処理装置。
  4. 前記優先領域に応じて、トーンカーブを決定するトーンカーブ決定部を備える請求項１から３のいずれか１項に記載の画像処理装置。
  5. 前記トーンカーブ決定部は、前記優先領域の輝度を適正にする前記トーンカーブを決定する請求項４に記載の画像処理装置。
  6. 前記撮像画像を複数のブロックに分けるブロック分割部を備え、
    前記領域分割部は、前記複数のブロックの各々の前記明るさ情報に基づいて、前記ブロック単位で前記複数の領域に分割する請求項１から５のいずれか１項に記載の画像処理装置。
  7. 前記第１のホワイトバランス関係情報算出部は、前記複数の領域の各境界に位置する前記ブロックの参照重みを、前記各境界に位置しない前記ブロックよりも低くして、前記第１のホワイトバランス関係情報を算出する請求項６に記載の画像処理装置。
  8. 前記撮像画像に、ホワイトバランス補正処理を行うホワイトバランス処理部を備える請求項１から７のいずれか１項に記載の画像処理装置。
  9. 前記ホワイトバランス処理部は、前記撮像画像に前記第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行う請求項８に記載の画像処理装置。
  10. 前記ホワイトバランス処理部は、前記複数の領域のうち前記優先領域には、前記第２のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行い、前記複数の領域のうち前記優先領域以外の領域には、前記第１のホワイトバランス関係情報に基づいてホワイトバランス補正処理を行う請求項８に記載の画像処理装置。
  11. 前記ホワイトバランス処理部は、前記撮像画像を構成する画素毎にホワイトバランス補正処理を行う請求項８に記載の画像処理装置。
  12. 前記ホワイトバランス処理部は、前記撮像画像を構成する画素毎に、前記第１のホワイトバランス関係情報および前記第２のホワイトバランス関係情報のうちいずれか１つに基づいてホワイトバランス補正処理を行う請求項１１に記載の画像処理装置。
  13. 前記第１のホワイトバランス関係情報および前記第２のホワイトバランス関係情報は、ホワイトバランス補正量、色温度情報、または光源の色味を示す情報である請求項１から１２のいずれか１項に記載の画像処理装置。
  14. 請求項１から１３のいずれか１項に記載の画像処理装置を搭載する撮像装置であって、
    前記優先領域に応じて、露出を調整する露出調整部を備える撮像装置。
  15. 前記露出調整部は、前記優先領域が閾値よりハイライト側にある場合には、前記撮像画像の白飛び画素に応じて前記露出を制御し、前記優先領域が閾値以下のシャドウ側にある場合には、前記撮像画像の黒つぶれ画素に応じて前記露出を制御する請求項１４に記載の撮像装置。
  16. 被写体を撮像した撮像画像を取得する画像取得ステップと、
    前記撮像画像の明るさ情報に基づいて、前記撮像画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップにおいて分割された前記複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、
    前記撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、
    前記第１のホワイトバランス関係情報と前記第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、前記優先領域の輝度に基づいて前記撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される前記優先領域を決定する優先領域決定ステップ、
    を含む画像処理方法。
  17. 被写体を撮像した撮像画像を取得する画像取得ステップと、
    前記撮像画像の明るさ情報に基づいて、前記撮像画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップにおいて分割された前記複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、
    前記撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、
    前記第１のホワイトバランス関係情報と前記第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、前記優先領域の輝度に基づいて前記撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される前記優先領域を決定する優先領域決定ステップと、
    前記優先領域に応じて、露出を調整する露出調整ステップと、
    を含む撮像方法。
  18. 被写体を撮像した撮像画像を取得する画像取得ステップと、
    前記撮像画像の明るさ情報に基づいて、前記撮像画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップにおいて分割された前記複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、
    前記撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、
    前記第１のホワイトバランス関係情報と前記第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、前記優先領域の輝度に基づいて前記撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される前記優先領域を決定する優先領域決定ステップと、
    を含む画像処理方法をコンピュータに実行させるプログラム。
  19. 被写体を撮像した撮像画像を取得する画像取得ステップと、
    前記撮像画像の明るさ情報に基づいて、前記撮像画像を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップにおいて分割された前記複数の領域の各々について、第１のホワイトバランス関係情報を算出する第１のホワイトバランス関係情報算出ステップと、
    前記撮像画像に対してユーザにより設定された第２のホワイトバランス関係情報を取得する第２のホワイトバランス関係情報取得ステップと、
    前記第１のホワイトバランス関係情報と前記第２のホワイトバランス関係情報とに基づいて決定される優先領域であって、前記優先領域の輝度に基づいて前記撮像画像に行われるダイナミックレンジ拡大処理の条件が設定される前記優先領域を決定する優先領域決定ステップと、
    前記優先領域に応じて、露出を調整する露出調整ステップと、
    を含む撮像方法をコンピュータに実行させるプログラム。
JP2019544271A 2017-09-29 2018-06-22 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム Active JP6921972B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017190537 2017-09-29
JP2017190537 2017-09-29
PCT/JP2018/023832 WO2019064753A1 (ja) 2017-09-29 2018-06-22 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019064753A1 JPWO2019064753A1 (ja) 2020-11-05
JP6921972B2 true JP6921972B2 (ja) 2021-08-18

Family

ID=65901711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019544271A Active JP6921972B2 (ja) 2017-09-29 2018-06-22 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム

Country Status (4)

Country Link
US (1) US11032484B2 (ja)
JP (1) JP6921972B2 (ja)
CN (1) CN111095913B (ja)
WO (1) WO2019064753A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928799B2 (en) * 2020-06-29 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
CN112153303B (zh) * 2020-09-28 2021-09-21 广州虎牙科技有限公司 一种视觉数据处理方法、装置、图像处理设备和存储介质
CN113132799B (zh) * 2021-03-30 2022-08-23 腾讯科技（深圳）有限公司 视频播放处理方法及装置、电子设备、存储介质
CN117082362B (zh) * 2023-08-25 2024-05-28 山东中清智能科技股份有限公司 一种水下成像方法和设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3820497B2 (ja) * 1999-01-25 2006-09-13 富士写真フイルム株式会社 撮像装置及び自動露出制御の補正処理方法
JP2003264739A (ja) * 2002-03-07 2003-09-19 Olympus Optical Co Ltd デジタルカメラ
JP4404718B2 (ja) * 2004-08-02 2010-01-27 富士フイルム株式会社 画像処理装置及び撮像装置
JP2006115249A (ja) * 2004-10-15 2006-04-27 Pentax Corp 露出装置
JP4914300B2 (ja) 2007-07-04 2012-04-11 富士フイルム株式会社 撮像装置及び撮像制御方法
JP5321163B2 (ja) * 2009-03-12 2013-10-23 株式会社リコー 撮像装置及び撮像方法
CN102469243B (zh) * 2010-11-04 2014-12-17 卡西欧计算机株式会社 能白平衡调整的摄像装置
KR102145201B1 (ko) * 2013-08-12 2020-08-18 삼성전자주식회사 이미지의 동적 범위 향상을 위한 방법 및 장치
JP6063092B2 (ja) * 2014-03-31 2017-01-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6494181B2 (ja) * 2014-05-30 2019-04-03 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP2016173777A (ja) 2015-03-18 2016-09-29 株式会社 日立産業制御ソリューションズ 画像処理装置
JP6521776B2 (ja) * 2015-07-13 2019-05-29 オリンパス株式会社 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
WO2019064753A1 (ja) 2019-04-04
JPWO2019064753A1 (ja) 2020-11-05
US11032484B2 (en) 2021-06-08
CN111095913B (zh) 2021-07-06
US20200204723A1 (en) 2020-06-25
CN111095913A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
US10027938B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP6921972B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム
US10165243B2 (en) Image processing device, imaging device, image processing method, and program
US9536479B2 (en) Image display device and method
JP6063093B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US10021361B2 (en) Image processing device, imaging device, image processing method, and program
JP5730439B2 (ja) 画像表示装置、撮影装置、画像表示システム及び方法
US11032483B2 (en) Imaging apparatus, imaging method, and program
JP6810299B2 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
JP6534780B2 (ja) 撮像装置、撮像方法、およびプログラム
US8934042B2 (en) Candidate image presenting method using thumbnail image and image signal processing device and imaging device performing the same
US20190279340A1 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
CN116055855B (zh) 图像处理方法及其相关设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210728

R150 Certificate of patent or registration of utility model

Ref document number: 6921972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250