JP2010004464A - ホワイトバランス制御装置、ホワイトバランス制御方法 - Google Patents
ホワイトバランス制御装置、ホワイトバランス制御方法 Download PDFInfo
- Publication number
- JP2010004464A JP2010004464A JP2008163389A JP2008163389A JP2010004464A JP 2010004464 A JP2010004464 A JP 2010004464A JP 2008163389 A JP2008163389 A JP 2008163389A JP 2008163389 A JP2008163389 A JP 2008163389A JP 2010004464 A JP2010004464 A JP 2010004464A
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- gain
- information
- reliability
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】複数の撮像装置で協調して撮影するとき、白い被写体を含まない撮像装置でもホワイトバランスを簡単かつ適切に補正でき、また、撮像装置毎の色味が揃うホワイトバランス制御装置、ホワイトバランス制御方法を提供する。
【解決手段】撮像装置100は、外部の撮像装置(101〜103)からホワイトバランス補正量とその信頼度に関する情報であるホワイトバランス情報を取得する。また、自機のホワイトバランス補正量とその信頼度を算出し、取得したホワイトバランス情報を含めて、信頼度の最も高いホワイトバランス補正量に基づき、自機を含む複数の撮像装置のホワイトバランスゲインを補正する。
【選択図】図1
【解決手段】撮像装置100は、外部の撮像装置(101〜103)からホワイトバランス補正量とその信頼度に関する情報であるホワイトバランス情報を取得する。また、自機のホワイトバランス補正量とその信頼度を算出し、取得したホワイトバランス情報を含めて、信頼度の最も高いホワイトバランス補正量に基づき、自機を含む複数の撮像装置のホワイトバランスゲインを補正する。
【選択図】図1
Description
本発明は、ビデオカメラ、デジタルスチルカメラなどに用いられるホワイトバランス制御装置、及び、ホワイトバランス制御方法に関するものである。
従来、複数のカメラで協調して撮影し、撮影した画像をカメラ間で通信して画像を共有するシステムが提案されている(例えば、特許文献1参照)。
このようなシステムにおいて、協調して撮影を行うカメラは、撮影前にホワイトバランス調整を行い、それぞれのカメラが適正な色味を再現できるようにしている。ホワイトバランスの調整とは、或る白い被写体を撮影し、そのときのCCD(Charge Coupled Device)などの撮像素子の色情報R、G、Bの出力レベルの比率が1:1:1となるような補正を行うことである。具体的には、白い被写体から得られた色情報の中のGの出力レベルを1として、RとBの出力レベルがそれぞれGと同等になるまで補正をかけることでR、G、Bの出力レベルが1:1:1になるように調整を行っている。
このようなシステムにおいて、協調して撮影を行うカメラは、撮影前にホワイトバランス調整を行い、それぞれのカメラが適正な色味を再現できるようにしている。ホワイトバランスの調整とは、或る白い被写体を撮影し、そのときのCCD(Charge Coupled Device)などの撮像素子の色情報R、G、Bの出力レベルの比率が1:1:1となるような補正を行うことである。具体的には、白い被写体から得られた色情報の中のGの出力レベルを1として、RとBの出力レベルがそれぞれGと同等になるまで補正をかけることでR、G、Bの出力レベルが1:1:1になるように調整を行っている。
前述のように、複数のカメラで協調して撮影する場合には、それぞれのカメラでホワイトバランス調整を行う必要があり、通常は、白い壁などの被写体を利用してカメラ毎にホワイトバランス調整を行うことが考えられる。
しかし、特に屋外での撮影などでは、撮影位置やアングルによっては、ホワイトバランスの制御に用いる白い被写体が撮像画像中に存在しない場合もしばしば発生する。
図12は、撮影アングルの違う3台のカメラが同一の被写体を撮影している場合の撮影画像の例を示している。図12(a),(b)は、被写体として白が含まれないシーンの例である。一方、図12(c)は、背景に白の建物1201が含まれている。
このように、同一の被写体を撮影している場合であっても撮影アングルの違いにより白い被写体が含まれたり、含まれなかったりする。図12(c)の撮影アングルの場合は、背景にある白の建物1201を利用してホワイトバランスを適切に制御することが可能である。一方、図12(a),(b)のように白い被写体が含まれない場合は、輝度など他の情報を利用して被写体の色温度を推定して、ホワイトバランス制御を行っている。あるいは、ホワイトバランス調整用の白色の板や紙などを常備し、設置場所で簡易的にホワイトバランス調整を行うことで対応している。しかし、このような方法は、ホワイトバランス調整を行うためだけに、白色の板や紙を常に持ち歩く必要があり、少しでも撮影機材を減らして機動性を高めたいという撮影者の意図に反する。
図12は、撮影アングルの違う3台のカメラが同一の被写体を撮影している場合の撮影画像の例を示している。図12(a),(b)は、被写体として白が含まれないシーンの例である。一方、図12(c)は、背景に白の建物1201が含まれている。
このように、同一の被写体を撮影している場合であっても撮影アングルの違いにより白い被写体が含まれたり、含まれなかったりする。図12(c)の撮影アングルの場合は、背景にある白の建物1201を利用してホワイトバランスを適切に制御することが可能である。一方、図12(a),(b)のように白い被写体が含まれない場合は、輝度など他の情報を利用して被写体の色温度を推定して、ホワイトバランス制御を行っている。あるいは、ホワイトバランス調整用の白色の板や紙などを常備し、設置場所で簡易的にホワイトバランス調整を行うことで対応している。しかし、このような方法は、ホワイトバランス調整を行うためだけに、白色の板や紙を常に持ち歩く必要があり、少しでも撮影機材を減らして機動性を高めたいという撮影者の意図に反する。
このように、白い被写体が含まれないカメラであっても白色の板などを利用して調整することなく、適切にホワイトバランス制御が行えるカメラが求められている。また、複数のカメラで撮影するときに、カメラ毎にホワイトバランスの制御が異なっていることは、好ましくない。すなわち、カメラ毎にホワイトバランスの制御が異なっていると、複数のカメラで撮影した画像を一度に表示する場合に、カメラ毎に色味が異なって見えるなどの問題が発生する。
このような問題を解決するために、複数のカメラで協調して撮影するとき、1台のカメラのホワイトバランス情報を基準データとして、その情報を他の電子カメラと共有化するという手法が開示されている(例えば、特許文献2参照)。
特開2003−110999号公報
特開2004−349951号公報
このような問題を解決するために、複数のカメラで協調して撮影するとき、1台のカメラのホワイトバランス情報を基準データとして、その情報を他の電子カメラと共有化するという手法が開示されている(例えば、特許文献2参照)。
しかし、特許文献2のような手法では、セッティング時間の短縮や調整の手間の軽減は図れるが、どのカメラに合わせるかは、ユーザが判断し、手動で操作する必要があり、操作が煩雑であった。また、被写体が移動したり、光源の条件が変化したりする場合には、手動による操作では、これらの変化に対応することが困難であった。
本発明の課題は、複数の撮像装置で協調して撮影するとき、白い被写体を含まない撮像装置でもホワイトバランスを簡単かつ適切に補正でき、また、撮像装置毎の色味が揃うホワイトバランス制御装置、ホワイトバランス制御方法を提供することである。
本発明の第1の側面としてのホワイトバランス制御装置は、外部装置と通信を行う通信部と、前記通信部を介して、前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得するホワイトバランス情報取得部と、前記ホワイトバランス情報取得部が取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、自機に係わる撮像装置に採用するホワイトバランスゲインを決定するゲイン決定部とを備える。
本発明の第2の側面としてのホワイトバランス制御方法は、他の撮像装置に係わる外部装置と通信することにより実行される撮像装置のホワイトバランス制御方法であって、前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得し、前記取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、前記撮像装置に採用するホワイトバランスゲインを決定する。
本発明によれば、複数の撮像装置で協調して撮影するとき、白い被写体を含まない撮像装置でもホワイトバランスを簡単かつ適切に補正でき、また、撮像装置毎の色味を揃えることができる。
以下、本発明を実施するための最良の形態について図面等を参照して説明する。
(第1実施形態)
図1は、第1実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
なお、図1を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。
また、以下の説明では、具体的な数値、動作などを示して説明を行うが、これらは、適宜変更することができる。
撮像装置100,101,102,103は、デジタルビデオカメラやデジタルスチルカメラなどのカメラである。
本実施形態では、撮像装置100〜103を使用し、これら複数の撮像装置が協調して撮影を行う。これら撮像装置の内、撮像装置100は、複数の撮像装置同士の制御を統括する親機である。撮像装置101〜103は、親機である撮像装置100によって制御される子機である。各撮像装置は、無線もしくは有線で接続されており、親機(100)と子機(101〜103)の間で後述するホワイトバランス情報をやりとりすることが可能である。
図1は、第1実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
なお、図1を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。
また、以下の説明では、具体的な数値、動作などを示して説明を行うが、これらは、適宜変更することができる。
撮像装置100,101,102,103は、デジタルビデオカメラやデジタルスチルカメラなどのカメラである。
本実施形態では、撮像装置100〜103を使用し、これら複数の撮像装置が協調して撮影を行う。これら撮像装置の内、撮像装置100は、複数の撮像装置同士の制御を統括する親機である。撮像装置101〜103は、親機である撮像装置100によって制御される子機である。各撮像装置は、無線もしくは有線で接続されており、親機(100)と子機(101〜103)の間で後述するホワイトバランス情報をやりとりすることが可能である。
次に、撮像装置100〜103の詳細について説明する。
図2は、撮像装置100〜103のブロック図である。なお、図1では、親機と子機とを区別して示したが、本実施形態の撮像装置100〜103は、同一の形態をしており、親機として動作するか子機として動作するのかは、使用者の設定により決められる。したがって、撮像装置100〜103は、そのブロック構成が共通となっている。
撮像装置100〜103は、撮像系201,輝度・色信号生成部202,輝度処理部203,ホワイトバランス増幅部204,色処理部205,圧縮符号化部206,記録部207,座標変換部208,白抽出部209,通信部210,ホワイトバランス制御部220を備えている。
図2は、撮像装置100〜103のブロック図である。なお、図1では、親機と子機とを区別して示したが、本実施形態の撮像装置100〜103は、同一の形態をしており、親機として動作するか子機として動作するのかは、使用者の設定により決められる。したがって、撮像装置100〜103は、そのブロック構成が共通となっている。
撮像装置100〜103は、撮像系201,輝度・色信号生成部202,輝度処理部203,ホワイトバランス増幅部204,色処理部205,圧縮符号化部206,記録部207,座標変換部208,白抽出部209,通信部210,ホワイトバランス制御部220を備えている。
撮像系201は、被写体の光束を結像するレンズを含む不図示の撮影光学系と、撮影光学系により結像した被写体像を光電変換して出力するセンサ部である不図示の撮像素子とを有している。撮像素子としては、例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary
Metal Oxide Semiconductor)イメージセンサなどを用いることができる。また、本実施形態では、撮像系201が有する撮像素子は、後述するホワイトバランスゲインの算出に必要な光源情報を取得する役割も果たしている。撮像系201は、撮像素子により得られた情報を輝度・色信号生成部202へ送信可能に接続されている。
輝度・色信号生成部202は、撮像系201で生成された信号を輝度信号(Y)と色信号(R、G、B)に変換する部分である。輝度・色信号生成部202は、上記信号を輝度処理部203,色処理部205,座標変換部208へ送信可能に接続されている。
Metal Oxide Semiconductor)イメージセンサなどを用いることができる。また、本実施形態では、撮像系201が有する撮像素子は、後述するホワイトバランスゲインの算出に必要な光源情報を取得する役割も果たしている。撮像系201は、撮像素子により得られた情報を輝度・色信号生成部202へ送信可能に接続されている。
輝度・色信号生成部202は、撮像系201で生成された信号を輝度信号(Y)と色信号(R、G、B)に変換する部分である。輝度・色信号生成部202は、上記信号を輝度処理部203,色処理部205,座標変換部208へ送信可能に接続されている。
輝度処理部203は、輝度・色信号生成部202から出力される輝度信号(Y)に対して、輪郭強調やガンマ処理などを行う部分である。輝度処理部203は、上記処理後の信号を圧縮符号化部206へ送信可能に接続されている。
ホワイトバランス増幅部204は、輝度・色信号生成部202から出力される色信号(R、G、B)をホワイトバランスゲインに従って増幅する部分である。ホワイトバランス増幅部204が色信号(R、G、B)を増幅するときに用いるホワイトバランスゲインは、後述するホワイトバランス制御部220から受け取る。ホワイトバランス増幅部204は、増幅した信号を色処理部205へ送信可能に接続されている。
ホワイトバランス増幅部204は、輝度・色信号生成部202から出力される色信号(R、G、B)をホワイトバランスゲインに従って増幅する部分である。ホワイトバランス増幅部204が色信号(R、G、B)を増幅するときに用いるホワイトバランスゲインは、後述するホワイトバランス制御部220から受け取る。ホワイトバランス増幅部204は、増幅した信号を色処理部205へ送信可能に接続されている。
色処理部205は、色差信号(R-Y、B-Y)の生成、カラーバランス調整などを行う部分である。色処理部205は、上記色処理後の信号を圧縮符号化部206へ送る。
圧縮符号化部206は、画像信号を圧縮符号化する部分である。圧縮符号化部206は、圧縮符号化した画像信号を記録部207及び通信部210へ送信可能に接続されている。
記録部207は、画像信号をメモリカードなどの記録媒体に記録する部分である。
座標変換部208は、輝度・色信号生成部202から出力された色信号(R、G、B)を輝度・色差信号(Y,R−Y、B−Y)に変換する部分である。座標変換部208は、輝度・色差信号(Y,R−Y、B−Y)を白抽出部209へ送信可能に接続されている。
圧縮符号化部206は、画像信号を圧縮符号化する部分である。圧縮符号化部206は、圧縮符号化した画像信号を記録部207及び通信部210へ送信可能に接続されている。
記録部207は、画像信号をメモリカードなどの記録媒体に記録する部分である。
座標変換部208は、輝度・色信号生成部202から出力された色信号(R、G、B)を輝度・色差信号(Y,R−Y、B−Y)に変換する部分である。座標変換部208は、輝度・色差信号(Y,R−Y、B−Y)を白抽出部209へ送信可能に接続されている。
白抽出部209は、輝度信号(Y)、色差信号(R−Y、B−Y)から白色(無彩色)に近い信号を抽出する部分である。白抽出部209は、抽出した結果をホワイトバランス制御部220へ送信可能に接続されている。
通信部210は、外部装置と通信を行う部分であり、本実施形態では、各撮像装置100〜103間で通信を行う。なお、通信部210の通信方法は、特定周波数の電磁波や光通信を用いた無線通信であってもよいし、各撮像装置間の一部又は全部をケーブルで接続して有線で行ってもよい。通信部210は、通信結果を必要に応じてホワイトバランス制御部220や記録部207へ送信可能に接続されている。
通信部210は、外部装置と通信を行う部分であり、本実施形態では、各撮像装置100〜103間で通信を行う。なお、通信部210の通信方法は、特定周波数の電磁波や光通信を用いた無線通信であってもよいし、各撮像装置間の一部又は全部をケーブルで接続して有線で行ってもよい。通信部210は、通信結果を必要に応じてホワイトバランス制御部220や記録部207へ送信可能に接続されている。
ホワイトバランス制御部220は、ホワイトバランス増幅部204が色信号(R、G、B)を増幅するときに用いるホワイトバランスゲインに関する各種制御を行う部分であり、ホワイトバランス制御装置としての主要部を形成する。ホワイトバランス制御部220は、ゲイン算出部221,信頼度算出部222,ホワイトバランス情報取得部223,ゲイン決定部224,ゲイン補正部225を含んでいる。
ゲイン算出部221は、撮像系201のセンサである撮像素子から、輝度・色信号生成部202,座標変換部208,白抽出部209を介して得た光源情報から、自機のホワイトバランスゲインを算出する部分である。なお、自機とは、当該撮像装置自体を指しており、通信部210を介して通信する通信対象である外部装置としての撮像装置(他機)と区別して示すものである。
信頼度算出部222は、ゲイン算出部221が算出した自機のホワイトバランスゲインの信頼度に関する情報である自機のホワイトバランス信頼度情報を算出する部分である。ホワイトバランスゲインの信頼度については、後述する。
ゲイン算出部221は、撮像系201のセンサである撮像素子から、輝度・色信号生成部202,座標変換部208,白抽出部209を介して得た光源情報から、自機のホワイトバランスゲインを算出する部分である。なお、自機とは、当該撮像装置自体を指しており、通信部210を介して通信する通信対象である外部装置としての撮像装置(他機)と区別して示すものである。
信頼度算出部222は、ゲイン算出部221が算出した自機のホワイトバランスゲインの信頼度に関する情報である自機のホワイトバランス信頼度情報を算出する部分である。ホワイトバランスゲインの信頼度については、後述する。
ホワイトバランス情報取得部223は、通信部210を介して外部装置である他の撮像装置(例えば、撮像装置100から見て、撮像装置101〜103)と通信を行い、ホワイトバランス情報を取得する部分である。ここで、本実施形態では、ホワイトバランス情報には、ホワイトバランスゲインに関するホワイトバランスゲイン情報と、このホワイトバランスゲインの信頼度に関する情報を含むホワイトバランス信頼度情報とを含んでいる。
ゲイン決定部224は、ホワイトバランスゲインの信頼度に基づいて、ホワイトバランス増幅部204が用いるホワイトバランスゲインとして採用するホワイトバランスゲインを決定する部分である。
ゲイン補正部225は、ゲイン決定部224が決定したホワイトバランスゲインとなるように、自機のホワイトバランスゲインを補正する部分である。
ゲイン決定部224は、ホワイトバランスゲインの信頼度に基づいて、ホワイトバランス増幅部204が用いるホワイトバランスゲインとして採用するホワイトバランスゲインを決定する部分である。
ゲイン補正部225は、ゲイン決定部224が決定したホワイトバランスゲインとなるように、自機のホワイトバランスゲインを補正する部分である。
次に、本実施形態の撮像装置の動作について説明する。
撮像系201では、撮影光学系を通して入射された光を撮像素子で光電変換し、画像信号を輝度・色信号生成部202に出力する。
輝度・色信号生成部202は、入力した画像信号から輝度信号(Y)、色信号(R、G、B)を生成し、輝度信号は、輝度処理部203へ、色信号は、ホワイトバランス増幅部204へ出力する。
輝度処理部203は、輝度信号に対して輪郭強調やガンマ処理などを施す。
ホワイトバランス増幅部204では、ホワイトバランスゲイン制御部220から出力されるホワイトバランスゲインに基づき色信号(R、G、B)を増幅し、増幅された色信号を色処理部205へ出力する。
色処理部205では、色信号(R、G、B)から色差信号(R−Y、B−Y)を生成するとともに、カラーバランス調整などの色処理を施し、色差信号を圧縮符号化部206へ出力する。
撮像系201では、撮影光学系を通して入射された光を撮像素子で光電変換し、画像信号を輝度・色信号生成部202に出力する。
輝度・色信号生成部202は、入力した画像信号から輝度信号(Y)、色信号(R、G、B)を生成し、輝度信号は、輝度処理部203へ、色信号は、ホワイトバランス増幅部204へ出力する。
輝度処理部203は、輝度信号に対して輪郭強調やガンマ処理などを施す。
ホワイトバランス増幅部204では、ホワイトバランスゲイン制御部220から出力されるホワイトバランスゲインに基づき色信号(R、G、B)を増幅し、増幅された色信号を色処理部205へ出力する。
色処理部205では、色信号(R、G、B)から色差信号(R−Y、B−Y)を生成するとともに、カラーバランス調整などの色処理を施し、色差信号を圧縮符号化部206へ出力する。
圧縮符号化部207は、画像信号をJPEG形式やMPEG形式など所定の形式で圧縮符号化し記録部207へ出力する。
記録部207では、圧縮符号化された画像データをメモリカードなどの記録媒体に記録する。また、圧縮符号化部206で圧縮符号化された画像データは、通信部210にも送信される。
通信部210は、画像データを協調撮影している他の撮像装置に送信する。
座標変換部208は、輝度・色信号生成部202から出力された色信号(R、G、B)を輝度・色差信号(Y,R−Y、B−Y)に変換し白抽出部209へ出力する。
記録部207では、圧縮符号化された画像データをメモリカードなどの記録媒体に記録する。また、圧縮符号化部206で圧縮符号化された画像データは、通信部210にも送信される。
通信部210は、画像データを協調撮影している他の撮像装置に送信する。
座標変換部208は、輝度・色信号生成部202から出力された色信号(R、G、B)を輝度・色差信号(Y,R−Y、B−Y)に変換し白抽出部209へ出力する。
白抽出部209は、輝度信号(Y)、色差信号(R−Y、B−Y)から白色(無彩色)に近い信号を抽出する。
図3は、白色として抽出する白抽出範囲の例を示した図である。
図3では、色差(R−Y、B−Y)平面を示しており、白(無彩色)に近い色の範囲である白抽出範囲301が図示されている。
白抽出部209は、所定の輝度範囲に含まれる信号であり、且つ白抽出範囲301内に含まれる信号を抽出する。また、抽出した色信号の平均値(白抽出平均値)と白抽出した白色信号の量(白色量)を算出し、ホワイトバランスゲイン制御部220に出力する。
図3は、白色として抽出する白抽出範囲の例を示した図である。
図3では、色差(R−Y、B−Y)平面を示しており、白(無彩色)に近い色の範囲である白抽出範囲301が図示されている。
白抽出部209は、所定の輝度範囲に含まれる信号であり、且つ白抽出範囲301内に含まれる信号を抽出する。また、抽出した色信号の平均値(白抽出平均値)と白抽出した白色信号の量(白色量)を算出し、ホワイトバランスゲイン制御部220に出力する。
ホワイトバランスゲイン制御部220は、白抽出部209の白抽出結果に基づき、ゲイン算出部221により自機のホワイトバランスゲインを算出するとともに、信頼度算出部222がそのホワイトバランスゲインの信頼度に関する自機のホワイトバランス信頼度情報を算出する。また、ホワイトバランス情報取得部223が通信部210を介して他の撮像装置が算出した外部のホワイトバランスゲイン情報及び外部のホワイトバランス信頼度情報を取得する。これらの情報に基づき、ゲイン決定部224は、採用するホワイトバランスゲインを決定する。ゲイン補正部225は、ゲイン決定部224が決定したホワイトバランスゲインとなるように自機のホワイトバランスゲインを補正し、補正後のホワイトバランスゲインをホワイトバランス増幅部204に設定する。
また、決定したホワイトバランスゲインに関する情報は、ホワイトバランス情報として通信部210に出力され、他の撮像素子に送信される。なお、ホワイトバランスゲイン決定の詳細については、後述する。
ホワイトバランス増幅部204は、設定されたホワイトバランスゲインに従ってRGB信号を増幅する。
以上が図2に示した撮像装置(100〜103)の基本動作である。
また、決定したホワイトバランスゲインに関する情報は、ホワイトバランス情報として通信部210に出力され、他の撮像素子に送信される。なお、ホワイトバランスゲイン決定の詳細については、後述する。
ホワイトバランス増幅部204は、設定されたホワイトバランスゲインに従ってRGB信号を増幅する。
以上が図2に示した撮像装置(100〜103)の基本動作である。
次に、複数の撮像装置(100〜103)間でどのような情報のやり取りを行うかの流れを説明する。撮像装置間の通信は、大きく分けると以下の3つの段階で行う。
(1)子機の送信動作:子機は、ホワイトバランス情報を親機に送る。
(2)親機の動作:親機は、ホワイトバランス情報から最も信頼度が高いものを選択し、子機に送信。
(3)子機の受信動作:子機は、受け取ったホワイトバランス情報に基づきホワイトバランスゲインを設定。
以下、上記の各段階に対応する詳細な動作について説明する。
(1)子機の送信動作:子機は、ホワイトバランス情報を親機に送る。
(2)親機の動作:親機は、ホワイトバランス情報から最も信頼度が高いものを選択し、子機に送信。
(3)子機の受信動作:子機は、受け取ったホワイトバランス情報に基づきホワイトバランスゲインを設定。
以下、上記の各段階に対応する詳細な動作について説明する。
(1)子機の送信動作
まず、図2に示す構成の撮像装置が図1の子機101〜103として動作する場合について説明する。
図4は、ホワイトバランス制御部220での制御の流れを示したフローチャートである。
ステップ(以下、Sとする)401では、ゲイン算出部221で自機のホワイトバランスゲインを算出する。ゲイン算出部221が算出するホワイトバランスゲインは、白抽出部209で抽出した白色の平均値(R−Y,B−Y)をRGB値に変換し、このRGB値の比率が1:1:1になるようなRゲインとBゲインである。
まず、図2に示す構成の撮像装置が図1の子機101〜103として動作する場合について説明する。
図4は、ホワイトバランス制御部220での制御の流れを示したフローチャートである。
ステップ(以下、Sとする)401では、ゲイン算出部221で自機のホワイトバランスゲインを算出する。ゲイン算出部221が算出するホワイトバランスゲインは、白抽出部209で抽出した白色の平均値(R−Y,B−Y)をRGB値に変換し、このRGB値の比率が1:1:1になるようなRゲインとBゲインである。
S402では、算出したホワイトバランスゲインからホワイトバランス補正量を算出する。本実施形態では、ホワイトバランス補正量として色温度を利用する。ホワイトバランス補正量について、以下に図5を用いて説明する。
図5は、ホワイトバランスゲインの制御状態を示す図である。
図5において、横軸は、ホワイトバランスのRゲインを示し、縦軸は、Bゲインを示している。曲線500は、黒体放射軸を示している。撮像装置が採り得るホワイトバランスゲインは、基本的には、この黒体放射軸(曲線500)上を動くように制御される。また、黒体放射軸上の位置から被写体の色温度を算出できる。図5の例では、曲線500上のP501は、色温度が2000K、P502は、7000Kの位置を示している。また、P503は、現在制御されているホワイトバランスゲイン状態を示している。この黒体放射軸上の位置から色温度を算出する。この例では、P503は、4000Kである。このようにホワイトバランスゲイン値そのものを使うのではなく、補正量として色温度を利用する理由は、CCDなどの撮像素子のばらつきを吸収するためである。撮像素子は、製造誤差によってそれぞれ特性に若干のばらつきを有している。そのため、同じゲインの値を設定しても全ての撮像装置で同じ色味になるとは限らない。そこで、共通の指標であるホワイトバランス補正量(色温度)を用いてばらつきを吸収する。
図5は、ホワイトバランスゲインの制御状態を示す図である。
図5において、横軸は、ホワイトバランスのRゲインを示し、縦軸は、Bゲインを示している。曲線500は、黒体放射軸を示している。撮像装置が採り得るホワイトバランスゲインは、基本的には、この黒体放射軸(曲線500)上を動くように制御される。また、黒体放射軸上の位置から被写体の色温度を算出できる。図5の例では、曲線500上のP501は、色温度が2000K、P502は、7000Kの位置を示している。また、P503は、現在制御されているホワイトバランスゲイン状態を示している。この黒体放射軸上の位置から色温度を算出する。この例では、P503は、4000Kである。このようにホワイトバランスゲイン値そのものを使うのではなく、補正量として色温度を利用する理由は、CCDなどの撮像素子のばらつきを吸収するためである。撮像素子は、製造誤差によってそれぞれ特性に若干のばらつきを有している。そのため、同じゲインの値を設定しても全ての撮像装置で同じ色味になるとは限らない。そこで、共通の指標であるホワイトバランス補正量(色温度)を用いてばらつきを吸収する。
図4に戻って、S403では、S401で算出したホワイトバランスゲインの信頼度を算出する。具体的には、白抽出部209において抽出した白色と思われる色の量から信頼度を算出する。画面全体の画素数に対して白と判断した画素数が多いとき信頼度は、高くなり、白と判断した画素数が少ないとき信頼度は、低くなる。すなわち、ホワイトバランスゲインの信頼度は、撮像した被写体画像中で白色が占める割合に基づき算出される。そして、白色が占める割合が多いほど信頼度が高くなる。例えば、画面全体の画素数に対して白と判断した画素数が半分を占める場合、信頼度を50%として定義できる。
先に示した図12の例では、白色を含まない(a),(b)の構図の撮像装置のホワイトバランスゲインの信頼度は、低くなり、背景に白色を含む(c)の構図のホワイトバランスゲインの信頼度は、高くなる。また、自機がホワイトバランスを白板などを用いて撮影者がマニュアル(手動)調整している場合は、信頼度を最大に補正する。
先に示した図12の例では、白色を含まない(a),(b)の構図の撮像装置のホワイトバランスゲインの信頼度は、低くなり、背景に白色を含む(c)の構図のホワイトバランスゲインの信頼度は、高くなる。また、自機がホワイトバランスを白板などを用いて撮影者がマニュアル(手動)調整している場合は、信頼度を最大に補正する。
S404では、算出したホワイトバランス補正量である色温度をホワイトバランスゲイン情報として含み、かつ、その信頼度をホワイトバランス信頼度情報として含むホワイトバランス情報を、通信部210を介して親機に送信する。
(2)親機の動作
次に、図2に示す撮像装置が、図1の親機100として動作する場合について説明する。
図6は、親機のホワイトバランス制御部220での制御の流れを示したフローチャートである。
S601では、自機のホワイトバランスゲイン、ホワイトバランス補正量(色温度)、ホワイトバランスゲインの信頼度を算出する。算出方法は、子機における図4のS401〜S403の処理と同様である。
次に、図2に示す撮像装置が、図1の親機100として動作する場合について説明する。
図6は、親機のホワイトバランス制御部220での制御の流れを示したフローチャートである。
S601では、自機のホワイトバランスゲイン、ホワイトバランス補正量(色温度)、ホワイトバランスゲインの信頼度を算出する。算出方法は、子機における図4のS401〜S403の処理と同様である。
S602では、前述のように子機から送信されたホワイトバランス情報(ホワイトバランス補正量と信頼度)を、通信部210を介して取得する。
S603では、自機(ここでは、親機)、子機を含む全ての撮像装置の中から最もホワイトバランスゲインの信頼度の高い撮像装置を選択する。また、当該選択された撮像装置のホワイトバランス補正量を自機及び他の子機が使用するホワイトバランス補正量に決める。さらに、上述のようにして決めたホワイトバランス補正量(色温度)からホワイトバランスゲインを算出し(図5)、自機のホワイトバランスゲインをこれに合わせて補正する。
S604では、S603で選択した信頼度の高い撮像装置のホワイトバランス補正量を、通信部210を介して子機に送信する。
S603では、自機(ここでは、親機)、子機を含む全ての撮像装置の中から最もホワイトバランスゲインの信頼度の高い撮像装置を選択する。また、当該選択された撮像装置のホワイトバランス補正量を自機及び他の子機が使用するホワイトバランス補正量に決める。さらに、上述のようにして決めたホワイトバランス補正量(色温度)からホワイトバランスゲインを算出し(図5)、自機のホワイトバランスゲインをこれに合わせて補正する。
S604では、S603で選択した信頼度の高い撮像装置のホワイトバランス補正量を、通信部210を介して子機に送信する。
(3)子機の受信動作
次に、親機から送信されたホワイトバランス補正量に基づき子機がホワイトバランス補正を行う処理について説明する。
図7は、子機のホワイトバランス制御部220での制御の流れを示したフローチャートである。
S701では、前述のように親機から送信されたホワイトバランス補正量を、通信部210を介して取得する。
S702では、親機から送信されたホワイトバランス補正量(色温度)と自機で算出したホワイトバランス補正量(色温度)とを比較する。
次に、親機から送信されたホワイトバランス補正量に基づき子機がホワイトバランス補正を行う処理について説明する。
図7は、子機のホワイトバランス制御部220での制御の流れを示したフローチャートである。
S701では、前述のように親機から送信されたホワイトバランス補正量を、通信部210を介して取得する。
S702では、親機から送信されたホワイトバランス補正量(色温度)と自機で算出したホワイトバランス補正量(色温度)とを比較する。
図8は、ホワイトバランス補正の閾値を示す図である。
図8においてP801は、自機で算出した色温度である。また、P802、P803は、親機から送信された信頼度の高い撮像装置の色温度である。図7のS702では、自機で算出した色温度P801に対して、親機から取得した信頼度の高い色温度が閾値以上離れているか否かを判定する。P802に示すように閾値内であればS703に進み、P803に示すように閾値以上離れていればS705に進む。
図8においてP801は、自機で算出した色温度である。また、P802、P803は、親機から送信された信頼度の高い撮像装置の色温度である。図7のS702では、自機で算出した色温度P801に対して、親機から取得した信頼度の高い色温度が閾値以上離れているか否かを判定する。P802に示すように閾値内であればS703に進み、P803に示すように閾値以上離れていればS705に進む。
図7に戻って、S703では、親機から取得したホワイトバランス補正量(色温度)からホワイトバランスゲインを算出する。ホワイトバランスゲインは、各撮像装置におけるホワイトバランスゲインと色温度の関係(図5)から算出する。補正量からホワイトバランスゲインを算出することで、前述のように撮像素子の特性のばらつきを吸収することが可能となる。
S704では、S703で算出したホワイトバランスゲインを自機に設定する。一方、S705では、自機で算出したホワイトバランスゲインを自機に設定する。
このように、自機で算出したホワイトバランス補正量と、親機から送信された信頼度の高いホワイトバランス情報とが大きく異なる場合は、自機のホワイトバランス情報を優先して使用する。これは、異なる被写体を撮影している可能性が高いからである。
S704では、S703で算出したホワイトバランスゲインを自機に設定する。一方、S705では、自機で算出したホワイトバランスゲインを自機に設定する。
このように、自機で算出したホワイトバランス補正量と、親機から送信された信頼度の高いホワイトバランス情報とが大きく異なる場合は、自機のホワイトバランス情報を優先して使用する。これは、異なる被写体を撮影している可能性が高いからである。
次に、親機及び子機がホワイトバランス補正量及び信頼度を送受信するタイミングについて説明する。
図9は、親機(100)及び子機(101,102)の動作を示すシーケンス図である。なお、図1に示したもう一台の子機(103)については、図示を省略する。また、以下では、子機(101,102)をそれぞれ子機1,2として説明する。
図9において、S901からS912は、図1に示すような複数の撮像装置間のネットワークが確立したタイミングでホワイトバランス情報を送受信する例を示している。
図9は、親機(100)及び子機(101,102)の動作を示すシーケンス図である。なお、図1に示したもう一台の子機(103)については、図示を省略する。また、以下では、子機(101,102)をそれぞれ子機1,2として説明する。
図9において、S901からS912は、図1に示すような複数の撮像装置間のネットワークが確立したタイミングでホワイトバランス情報を送受信する例を示している。
S901,S902,S903では、親機と子機1,2が相互に通信ネットワークを介して接続を確立する。これにより、親機と子機1,2は、画像やホワイトバランス情報を送受信できる状態になる。S904,S905,S906では、同一の通信ネットワークに接続している全ての撮像装置(この場合は、親機及び子機1,2)でホワイトバランス補正量と信頼度を算出する。この算出処理は、撮像装置間の接続が確立されてから一定時間後に行う。また、ホワイトバランス補正量及び信頼度の算出方法に関しては、前述の通りである。
S907では、子機1,2が算出したホワイトバランス補正量と信頼度を親機に送信する。
S908では、親機は、自機を含むホワイトバランスゲインの信頼度の中から最も信頼度の高い撮像装置を選択する。
S909では、親機がS908で選択した最も信頼度の高いホワイトバランス補正量を子機1,2に出力する。S910,S911,S912では、各撮像装置において最も信頼度の高いホワイトバランス補正量に基づきホワイトバランスゲインを算出し、各撮像装置でホワイトバランスを設定する。
S907では、子機1,2が算出したホワイトバランス補正量と信頼度を親機に送信する。
S908では、親機は、自機を含むホワイトバランスゲインの信頼度の中から最も信頼度の高い撮像装置を選択する。
S909では、親機がS908で選択した最も信頼度の高いホワイトバランス補正量を子機1,2に出力する。S910,S911,S912では、各撮像装置において最も信頼度の高いホワイトバランス補正量に基づきホワイトバランスゲインを算出し、各撮像装置でホワイトバランスを設定する。
また、図9において、S920からS927は、白板などを利用してホワイトバランスをマニュアル調整されたタイミングでホワイトバランスの情報を送受信する例を示している。
S920では、使用者により子機2がホワイトバランスをマニュアル(手動)で調整される。
S921では、子機2においてホワイトバランスの補正量と信頼度を算出する。このとき、前述したように、子機2のホワイトバランスゲインの信頼度が高くなる。
S922では、子機2がホワイトバランス補正量及び信頼度を親機に対して送信する。
S923では、親機が、ホワイトバランスゲインの信頼度が最も高い撮像装置を選択する。この場合、マニュアル調整している子機2が最も信頼度が高くなる。
S924では、最も信頼度が高いホワイトバランス補正量を親機から子機1,2に送信する。
S925,S926,S927では、各撮像装置において最も信頼度の高いホワイトバランス補正量に基づきホワイトバランスゲインを算出し、各撮像装置でホワイトバランスを設定する。
S920では、使用者により子機2がホワイトバランスをマニュアル(手動)で調整される。
S921では、子機2においてホワイトバランスの補正量と信頼度を算出する。このとき、前述したように、子機2のホワイトバランスゲインの信頼度が高くなる。
S922では、子機2がホワイトバランス補正量及び信頼度を親機に対して送信する。
S923では、親機が、ホワイトバランスゲインの信頼度が最も高い撮像装置を選択する。この場合、マニュアル調整している子機2が最も信頼度が高くなる。
S924では、最も信頼度が高いホワイトバランス補正量を親機から子機1,2に送信する。
S925,S926,S927では、各撮像装置において最も信頼度の高いホワイトバランス補正量に基づきホワイトバランスゲインを算出し、各撮像装置でホワイトバランスを設定する。
以上説明したように、本実施形態によれば、撮像装置は、外部の撮像装置からホワイトバランス補正量とその信頼度に関する情報であるホワイトバランス情報を取得する。また、自機のホワイトバランス補正量とその信頼度を算出し、取得したホワイトバランス情報を含めて、信頼度の最も高いホワイトバランス補正量に基づき、自機を含む複数の撮像装置のホワイトバランスゲインを補正する。
これにより、自機の被写体中に白と考えられる色が存在しない場合であっても、他の撮像装置の信頼度が高いホワイトバランス情報を利用することができ、ホワイトバランスの精度が向上する。
また、複数の撮像装置間で通信ネットワークを構成し画像を共有するときに、ホワイトバランスを揃えることができ、撮像装置間の色味のばらつきを低減させることができる。
これにより、自機の被写体中に白と考えられる色が存在しない場合であっても、他の撮像装置の信頼度が高いホワイトバランス情報を利用することができ、ホワイトバランスの精度が向上する。
また、複数の撮像装置間で通信ネットワークを構成し画像を共有するときに、ホワイトバランスを揃えることができ、撮像装置間の色味のばらつきを低減させることができる。
(第2実施形態)
図10は、第2実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
第2実施形態は、自機のホワイトバランスゲインの信頼度が低い場合に、他の撮像装置からホワイトバランス情報を取得する形態である。
なお、前述した第1実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第2実施形態の撮像装置1000,1001,1002は、第1実施形態の撮像装置100〜103と同様のカメラである。これらは、第1実施形態のものと同様の形態をしているが、親機、子機の関係が無い点が異なる。また、各撮像装置は、無線もしくは有線で接続されており、各撮像装置の間でホワイトバランス情報をやりとりすることが可能である点は、第1実施形態と同様である。
図10は、第2実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
第2実施形態は、自機のホワイトバランスゲインの信頼度が低い場合に、他の撮像装置からホワイトバランス情報を取得する形態である。
なお、前述した第1実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第2実施形態の撮像装置1000,1001,1002は、第1実施形態の撮像装置100〜103と同様のカメラである。これらは、第1実施形態のものと同様の形態をしているが、親機、子機の関係が無い点が異なる。また、各撮像装置は、無線もしくは有線で接続されており、各撮像装置の間でホワイトバランス情報をやりとりすることが可能である点は、第1実施形態と同様である。
次に、撮像装置1000〜1002の詳細について説明する。撮像装置1000〜1002の構成は、第1実施形態で説明した図2と同一の形態であるため詳細な説明は省略する。また、画像を撮像するときの基本動作に関しても第1実施形態と同様であるため詳細な説明は省略する。ただし本実施形態では、ホワイトバランス制御部220(図2参照)の動作が第1実施形態と異なる。以下、ホワイトバランス制御部220の動作について説明する。
図11は、ホワイトバランス制御部220の動作を示したフローチャートである。
S1101では、撮像装置は、自機のホワイトバランス補正量及び信頼度を算出する。算出方法は、第1実施形態で説明した方法と同様である。
S1102では、算出した自機のホワイトバランスゲインの信頼度が予め定めた閾値以上であるか判定する。閾値以上である場合は、S1103へ進み、信頼度が閾値よりも小さい場合は、S1104に進む。第2実施形態では、第1実施形態と同様に、ホワイトバランスゲインの信頼度は、撮像した被写体画像中で白色が占める割合に基づき算出されている。よって、ここで使用する閾値には、例えば、被写体画像中で白色が占める割合が20%というように設定することができる。
S1103では、自機で算出したホワイトバランス補正量に基づきホワイトバランスゲインを設定する。
S1101では、撮像装置は、自機のホワイトバランス補正量及び信頼度を算出する。算出方法は、第1実施形態で説明した方法と同様である。
S1102では、算出した自機のホワイトバランスゲインの信頼度が予め定めた閾値以上であるか判定する。閾値以上である場合は、S1103へ進み、信頼度が閾値よりも小さい場合は、S1104に進む。第2実施形態では、第1実施形態と同様に、ホワイトバランスゲインの信頼度は、撮像した被写体画像中で白色が占める割合に基づき算出されている。よって、ここで使用する閾値には、例えば、被写体画像中で白色が占める割合が20%というように設定することができる。
S1103では、自機で算出したホワイトバランス補正量に基づきホワイトバランスゲインを設定する。
一方、S1104では、自機から見て外部装置である他の撮像装置(他機)に対してホワイトバランス情報(ホワイトバランス補正量及び信頼度)を送信するように通信部210を介して要求を出す。ホワイトバランス情報の送信を要求された他機は、第1実施形態の図4で説明した内容と同様の処理を行い、ホワイトバランス情報(ホワイトバランス補正量及び信頼度)を送信する。
S1105では、他機から送信されたホワイトバランス情報(ホワイトバランス補正量及び信頼度)を取得する。
S1106では、信頼度が最も高い撮像装置を選択する。
S1107では、信頼度が最も高い撮像装置が算出したホワイトバランス補正量に基づきホワイトバランスゲインを自機に設定する。
これにより、自機のホワイトバランスゲインの信頼度が低いときのみ、他機のホワイトバランス情報を取得して補正を行うことが可能となる。
S1105では、他機から送信されたホワイトバランス情報(ホワイトバランス補正量及び信頼度)を取得する。
S1106では、信頼度が最も高い撮像装置を選択する。
S1107では、信頼度が最も高い撮像装置が算出したホワイトバランス補正量に基づきホワイトバランスゲインを自機に設定する。
これにより、自機のホワイトバランスゲインの信頼度が低いときのみ、他機のホワイトバランス情報を取得して補正を行うことが可能となる。
以上説明したように、本実施形態の撮像装置は、自機のホワイトバランスゲインの信頼度を算出し、自機のホワイトバランスゲインの信頼度が所定の閾値よりも小さい場合に、他機から取得したホワイトバランス補正量及び信頼度に基づき、自機のホワイトバランスゲインを補正する。
これにより、自機の被写体中に白と考えられる色が少ない場合であっても他の撮像装置の信頼度が高いホワイトバランス情報を利用することができ、ホワイトバランスの精度を向上できる。
これにより、自機の被写体中に白と考えられる色が少ない場合であっても他の撮像装置の信頼度が高いホワイトバランス情報を利用することができ、ホワイトバランスの精度を向上できる。
(変形形態)
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
(1)各実施形態において、通信部210が通信するホワイトバランス情報には、ホワイトバランスゲインに関するホワイトバランスゲイン情報と、このホワイトバランスゲインの信頼度に関する情報を含むホワイトバランス信頼度情報との両方を含む例を示した。しかし、本発明の実施形態は、これに限らず、例えば、必要に応じて適宜ホワイトバランスゲイン情報とホワイトバランス信頼度情報とを選択的に通信してもよい。
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
(1)各実施形態において、通信部210が通信するホワイトバランス情報には、ホワイトバランスゲインに関するホワイトバランスゲイン情報と、このホワイトバランスゲインの信頼度に関する情報を含むホワイトバランス信頼度情報との両方を含む例を示した。しかし、本発明の実施形態は、これに限らず、例えば、必要に応じて適宜ホワイトバランスゲイン情報とホワイトバランス信頼度情報とを選択的に通信してもよい。
(2)各実施形態において、ホワイトバランス制御部220のゲイン決定部224は、ホワイトバランスゲインの信頼度が最も高いホワイトバランスゲインを、採用するホワイトバランスゲインとした例を示した。しかし、本発明の実施形態は、これに限らず、ホワイトバランスゲインの信頼度に基づいて、採用するホワイトバランスゲインを演算などにより決定してもよい。例えば、ホワイトバランスゲインの信頼度に応じて、各ホワイトバランスゲインに重み付けをする演算を行って、採用するホワイトバランスゲインを決定してもよい。
(3)各実施形態において、自機のホワイトバランスゲインを算出するために用いる光源情報は、撮像素子から得る例を示したが、これに限らず、例えば、別途設けたいわゆる外光センサから得た光源情報を用いてホワイトバランスゲインを算出してもよいし、これらを組み合わせてもよい。
(4)各実施形態において、いずれも同一の形態をした撮像装置を通信可能に接続して使用する例を示した。しかし、これに限らず、例えば、撮影機能を持たず各撮像装置を統括的に制御する機能を有したホワイトバランス制御装置を含めて通信ネットワークを構築してもよい。この場合、例えば図2の一体化された装置が、ホワイトバランス制御部220と、それ以外の撮像装置としての機能部が分離された構成になる。そして撮像装置のブロックとホワイトバランス制御部220がネットワークを介して接続され、ホワイトバランス制御部220が統括的な機能を実行する。
(5)第1実施形態では、親機から送信されたホワイトバランス補正量が自機のホワイトバランス補正量と比較して閾値以上異なっていた場合、自機のホワイトバランス補正量を採用する例について説明した。これに限らず、例えば、自機のホワイトバランス補正量と比較して閾値以上異なっていた場合には、子機は、親機に対して次に(2番目に)信頼度が高いホワイトバランス情報を送信するように要求する制御を行ってもよい。
(6)第1実施形態では、ホワイトバランスの信頼度は、画像中の白色と思われる色の量(撮像した被写体画像中で白色が占める割合)と、マニュアル(手動)調整の有無とを用いて判断する例を示した。しかし、これに限らず、これ以外の情報から信頼度を算出してもよい。例えば、ホワイトバランスゲインの時間的な変化量に基づき信頼度を算出してもよい。この場合、時間的な変化量が小さければ、安定していると判断できるので、信頼度が高くなり、時間的な変化量が大きい場合に信頼度が低くなる。
(7)第1実施形態では、親機は、ホワイトバランスゲインの信頼度が最も高い撮像装置を選択するが、信頼度が同じ撮像装置が複数ある場合は、信頼度を算出した時間が最も新しいものを選択するような制御を加えてもよい。
(8)第1実施形態では、親機と子機の間で接続が確立した時、及び、ネットワーク内の撮像装置がマニュアルでホワイトバランスを設定されたときに、ホワイトバランス情報(ホワイトバランス補正量及び信頼度)を通信する例について説明した。しかし、ホワイトバランス情報を取得したり送信したりする通信タイミングをこれらに限定するものではない。
例えば、通信が確立してから所定時間が経過した後にホワイトバランス情報を通信してもよいし、一定時間毎に定期的にホワイトバランス情報を通信してもよい。
また、既に接続されていた他の撮像装置に加えて、新たに新規の撮像装置がネットワークに追加接続された場合や、何れかの撮像装置が大きな色温度変化を検出したときにホワイトバランス情報を通信してもよい。
さらに、被写体の輝度が大きく変化した場合、何れかの撮像装置が撮影を行った場合などにホワイトバランス情報を通信してもよい。
例えば、通信が確立してから所定時間が経過した後にホワイトバランス情報を通信してもよいし、一定時間毎に定期的にホワイトバランス情報を通信してもよい。
また、既に接続されていた他の撮像装置に加えて、新たに新規の撮像装置がネットワークに追加接続された場合や、何れかの撮像装置が大きな色温度変化を検出したときにホワイトバランス情報を通信してもよい。
さらに、被写体の輝度が大きく変化した場合、何れかの撮像装置が撮影を行った場合などにホワイトバランス情報を通信してもよい。
(9)第1実施形態では、ホワイトバランス補正量として色温度を用いた例を説明したが、ホワイトバランス補正量は、色温度以外の指標で表現してもよい。例えば、Rゲイン、Bゲインの最大値、最小値に対する割合などの指標で表現することが可能である。
(10)第2実施形態では、他機のホワイトバランスゲインの信頼度が最も高いものを採用する例について説明したが、他機のホワイトバランスゲインの信頼度が最も高いものよりも自機のホワイトバランスゲインの信頼度が高ければ自機のホワイトバランス情報を利用する制御を行ってもよい。
(11)第2実施形態では、第1実施形態と同様に、他機のホワイトバランス補正量(色温度)が自機と大きく離れている場合、違う被写体を撮影していると判断して自機のホワイトバランス情報を利用してホワイトバランス制御を行うこととしてもよい。
なお、第1実施形態,第2実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は、以上説明した各実施形態によって限定されることはない。
なお、第1実施形態,第2実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は、以上説明した各実施形態によって限定されることはない。
100 撮像装置(親機)
101,102,103 撮像装置(子機)
201 撮像系
202 輝度・色信号生成部
203 輝度処理部
204 ホワイトバランス増幅部
205 色処理部
206 圧縮符号化部
207 記録部
208 座標変換部
209 白抽出部
210 通信部
220 ホワイトバランス制御部
221 ゲイン算出部
222 信頼度算出部
223 ホワイトバランス情報取得部
224 ゲイン決定部
225 ゲイン補正部
1000,1001,1002 撮像装置
101,102,103 撮像装置(子機)
201 撮像系
202 輝度・色信号生成部
203 輝度処理部
204 ホワイトバランス増幅部
205 色処理部
206 圧縮符号化部
207 記録部
208 座標変換部
209 白抽出部
210 通信部
220 ホワイトバランス制御部
221 ゲイン算出部
222 信頼度算出部
223 ホワイトバランス情報取得部
224 ゲイン決定部
225 ゲイン補正部
1000,1001,1002 撮像装置
Claims (22)
- 外部装置と通信を行う通信部と、
前記通信部を介して、前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得するホワイトバランス情報取得部と、
前記ホワイトバランス情報取得部が取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、自機に係わる撮像装置に採用するホワイトバランスゲインを決定するゲイン決定部と、
を備えるホワイトバランス制御装置。 - 請求項1に記載のホワイトバランス制御装置において、
前記ゲイン決定部は、前記ホワイトバランスゲイン情報が複数あるとき、前記ホワイトバランス信頼度情報により得られる信頼度が最も高いホワイトバランスゲイン情報のホワイトバランスゲインを採用するホワイトバランスゲインとして決定すること、
を特徴とするホワイトバランス制御装置。 - 請求項2に記載のホワイトバランス制御装置において、
前記ゲイン決定部は、前記ホワイトバランス信頼度情報により得られる信頼度が最も高いホワイトバランスゲイン情報のホワイトバランスゲインが複数存在したときは、ホワイトバランス信頼度情報を算出した時間が最も新しいホワイトバランスゲイン情報のホワイトバランスゲインを採用するホワイトバランスゲインとして決定すること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項3までのいずれか1項に記載のホワイトバランス制御装置において、
前記決定部は、決定したホワイトバランスゲインを前記通信部を介して前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項4までのいずれか1項に記載のホワイトバランス制御装置において、
ホワイトバランスゲインを自ら算出するために必要な光源情報を検知するセンサ部と、
前記センサ部が検知した前記光源情報に基づき、自機のホワイトバランスゲインを算出するゲイン算出部と、
前記ゲイン算出部が算出するホワイトバランスゲインについての自機のホワイトバランス信頼度情報を算出する信頼度算出部と、
を備え、
前記ゲイン決定部は、前記ホワイトバランス情報取得部が取得した他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報に加えて、前記ゲイン算出部が算出した自機の前記ホワイトバランスゲイン及び前記信頼度算出部が算出した自機の前記ホワイトバランス信頼度情報に基づき、採用するホワイトバランスゲインを決定すること、
を特徴とするホワイトバランス制御装置。 - 請求項5に記載のホワイトバランス制御装置において、
前記ゲイン決定部が決定したホワイトバランスゲインとなるように自機のホワイトバランスゲインを補正するゲイン補正部を有すること、
を特徴とするホワイトバランス制御装置。 - 請求項5又は請求項6に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記信頼度算出部が算出した自機の前記ホワイトバランス信頼度情報により得られる信頼度が、予め決めた閾値よりも低いときに、前記通信部を介して前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランス信頼度情報とを取得し、
前記ゲイン決定部は、前記ホワイトバランス情報取得部が取得した情報を用いてホワイトバランスゲインを決定すること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項7までのいずれか1項に記載のホワイトバランス制御装置において、
前記ホワイトバランスゲインの信頼度は、撮像した被写体画像中で白色が占める割合に基づき算出される値であり、白色が占める割合が多いほど信頼度が高くなること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項8までのいずれか1項に記載のホワイトバランス制御装置において、
前記ホワイトバランスゲインの信頼度は、ホワイトバランスゲインを手動で設定したか否かによって変化する値であり、ホワイトバランスゲインを手動で設定した場合には、信頼度が高くなること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項9までのいずれか1項に記載のホワイトバランス制御装置において、
前記ホワイトバランスゲインの信頼度は、ホワイトバランスゲインの時間的な変化量に基づき算出される値であり、ホワイトバランスゲインの時間的な変化量が小さいときに信頼度が高くなること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項10までのいずれか1項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記外部装置との通信が確立してから予め決めた時間が経過した後に、前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項11までのいずれか1項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記外部装置において他の撮像装置のホワイトバランスゲインが手動で設定されたときに、前記外部装置から前記他の撮像装置のホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項12までのいずれか1項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、一定時間毎に前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項13までのいずれか1項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記他の撮像装置が撮影を行ったときに、前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項14までのいずれか1項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、他の撮像装置の前記ホワイトバランスゲイン情報の変化量が予め決めた閾値を超えて変化したときに、前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。 - 他の撮像装置を制御する外部装置と通信を行う通信部と、
自機に係わる撮像装置のホワイトバランスゲインを算出するために必要な光源情報を検知するセンサ部と、
前記センサ部が検知した前記光源情報に基づき、自機に係わる撮像装置のホワイトバランスゲインを算出するゲイン算出部と、
前記ゲイン算出部が算出する自機に係わる撮像装置のホワイトバランスゲインについての自機に係わる撮像装置のホワイトバランス信頼度情報を算出する信頼度算出部と、
前記ゲイン算出部が算出した自機のホワイトバランスゲインに関する自機に係わる撮像装置のホワイトバランスゲイン情報と前記信頼度算出部が算出した自機に係わる撮像装置のホワイトバランス信頼度情報とを前記通信部を介して前記外部装置へ送信するホワイトバランス制御部と、
を備えるホワイトバランス制御装置。 - 請求項16に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、ホワイトバランスゲインが手動で設定されたときに、自機に係わる撮像装置のホワイトバランスゲイン情報及び自機のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。 - 請求項16又は請求項17に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、一定時間毎に、自機のホワイトバランスゲイン情報及び自機のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。 - 請求項16から請求項18までのいずれか1項に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、自機に係わる撮像装置が撮影を行ったときに、自機に係わる撮像装置のホワイトバランスゲイン情報及び自機に係わる撮像装置のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。 - 請求項16から請求項19までのいずれか1項に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、前記ゲイン算出部が算出する自機に係わる撮像装置のホワイトバランスゲインの変化量が予め決めた閾値を超えて変化したときに、自機に係わる撮像装置のホワイトバランスゲイン情報及び自機に係わる撮像装置のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。 - 請求項1から請求項20までのいずれか1項に記載のホワイトバランス制御装置において、前記自機に係わる撮像装置は、一体化されていることを特徴とするホワイトバランス制御装置。
- 他の撮像装置に係わる外部装置と通信することにより実行される撮像装置のホワイトバランス制御方法であって、
前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得し、
前記取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、前記撮像装置に採用するホワイトバランスゲインを決定する、
ことを特徴とするホワイトバランス制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008163389A JP2010004464A (ja) | 2008-06-23 | 2008-06-23 | ホワイトバランス制御装置、ホワイトバランス制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008163389A JP2010004464A (ja) | 2008-06-23 | 2008-06-23 | ホワイトバランス制御装置、ホワイトバランス制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010004464A true JP2010004464A (ja) | 2010-01-07 |
Family
ID=41585754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008163389A Pending JP2010004464A (ja) | 2008-06-23 | 2008-06-23 | ホワイトバランス制御装置、ホワイトバランス制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010004464A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011254339A (ja) * | 2010-06-03 | 2011-12-15 | Hitachi Ltd | 撮像装置 |
JP2012178755A (ja) * | 2011-02-28 | 2012-09-13 | Hitachi Ltd | 監視カメラ装置、監視カメラ制御装置 |
JP2014175922A (ja) * | 2013-03-11 | 2014-09-22 | Mitsubishi Electric Corp | ストリーム受信装置、パラメータ設定方法およびパラメータ設定システム |
CN104427228A (zh) * | 2013-08-22 | 2015-03-18 | 展讯通信(上海)有限公司 | 协作拍摄***及其拍摄方法 |
KR20150047189A (ko) * | 2013-10-24 | 2015-05-04 | 삼성전자주식회사 | 이미지 촬영 장치의 자동 화이트 밸런스 조절 방법 및 이를 이용하는 이미지 촬영 장치 |
JP2016039620A (ja) * | 2014-08-12 | 2016-03-22 | カシオ計算機株式会社 | 制御装置、制御システム、制御方法及びプログラム |
JP2016167797A (ja) * | 2015-03-02 | 2016-09-15 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2017069768A (ja) * | 2015-09-30 | 2017-04-06 | リコーイメージング株式会社 | 画像処理装置 |
US11128851B2 (en) | 2015-03-02 | 2021-09-21 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
WO2024034255A1 (ja) * | 2022-08-08 | 2024-02-15 | コニカミノルタ株式会社 | 情報処理システム、情報処理方法およびプログラム |
-
2008
- 2008-06-23 JP JP2008163389A patent/JP2010004464A/ja active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011254339A (ja) * | 2010-06-03 | 2011-12-15 | Hitachi Ltd | 撮像装置 |
JP2012178755A (ja) * | 2011-02-28 | 2012-09-13 | Hitachi Ltd | 監視カメラ装置、監視カメラ制御装置 |
JP2014175922A (ja) * | 2013-03-11 | 2014-09-22 | Mitsubishi Electric Corp | ストリーム受信装置、パラメータ設定方法およびパラメータ設定システム |
CN104427228B (zh) * | 2013-08-22 | 2017-09-08 | 展讯通信(上海)有限公司 | 协作拍摄***及其拍摄方法 |
CN104427228A (zh) * | 2013-08-22 | 2015-03-18 | 展讯通信(上海)有限公司 | 协作拍摄***及其拍摄方法 |
KR20150047189A (ko) * | 2013-10-24 | 2015-05-04 | 삼성전자주식회사 | 이미지 촬영 장치의 자동 화이트 밸런스 조절 방법 및 이를 이용하는 이미지 촬영 장치 |
US9258539B2 (en) | 2013-10-24 | 2016-02-09 | Samsung Electronics Co., Ltd. | Method of calibrating automatic white balance and image capturing device performing the same |
KR102126487B1 (ko) * | 2013-10-24 | 2020-06-24 | 삼성전자주식회사 | 이미지 촬영 장치의 자동 화이트 밸런스 조절 방법 및 이를 이용하는 이미지 촬영 장치 |
JP2016039620A (ja) * | 2014-08-12 | 2016-03-22 | カシオ計算機株式会社 | 制御装置、制御システム、制御方法及びプログラム |
US9723221B2 (en) | 2014-08-12 | 2017-08-01 | Casio Computer Co., Ltd. | Imaging device shooting a common subject in synchronization with other imaging devices |
JP2016167797A (ja) * | 2015-03-02 | 2016-09-15 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US11128851B2 (en) | 2015-03-02 | 2021-09-21 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
JP2017069768A (ja) * | 2015-09-30 | 2017-04-06 | リコーイメージング株式会社 | 画像処理装置 |
WO2024034255A1 (ja) * | 2022-08-08 | 2024-02-15 | コニカミノルタ株式会社 | 情報処理システム、情報処理方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010004464A (ja) | ホワイトバランス制御装置、ホワイトバランス制御方法 | |
JP6240642B2 (ja) | イメージ撮影装置のイメージを提供する方法及びその装置 | |
KR101953614B1 (ko) | 카메라장치의 이미지처리장치 및 방법 | |
US9584713B2 (en) | Image capturing apparatus capable of specifying an object in image data based on object detection, motion detection and/or object recognition, communication apparatus communicating with image capturing apparatus, and control method therefor | |
US8860798B2 (en) | Image-capturing device and image processing method | |
US20160119560A1 (en) | Imaging device, imaging method, and image processing device | |
KR102375688B1 (ko) | 촬상 장치, 촬영 시스템 및 촬영 방법 | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
US9369623B2 (en) | Remote-control apparatus and control method thereof, image capturing apparatus and control method thereof, and system | |
JP5838852B2 (ja) | 撮像システム、撮像装置、撮像方法及びプログラム | |
KR20140080815A (ko) | 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 | |
JP2010171625A (ja) | 撮像装置、録音装置、および動画撮影システム | |
JP2021182672A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6057705B2 (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
US10397462B2 (en) | Imaging control apparatus and imaging apparatus for synchronous shooting | |
US9516211B2 (en) | Photographing apparatus and method of photographing image thereof | |
JP2012053113A (ja) | 撮像装置、3次元画像生成システム、及び3次元画像生成プログラム | |
JP4748399B2 (ja) | 画像処理システム、画像処理装置及び画像処理方法 | |
JP2006157432A (ja) | 立体画像撮影装置及び立体画像の撮影方法 | |
JP2008206090A (ja) | 撮影装置及び撮影システム | |
JP7249212B2 (ja) | 画像処理装置および画像処理方法、撮像装置およびその制御方法、システム、並びにプログラム | |
US20150373073A1 (en) | Image pickup apparatus, control method and recording medium | |
JP2010056768A (ja) | 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置 | |
JP2010062834A (ja) | 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置 | |
JP2022086311A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム |