JP7254461B2 - 撮像装置、制御方法、記録媒体、および、情報処理装置 - Google Patents

Description

可視光により撮像した画像と赤外光により撮像した画像とに基づいて合成画像を出力する技術に関する。

従来、可視光での撮像と赤外光（非可視光）での撮像を行うために、１つの光学系に対して可視光を受光する可視光センサと、赤外光を受光する赤外光センサとを設ける撮像装置が知られている(特許文献１)。照度が低い環境下などでは、可視光センサが出力する画像データ(可視画像)と、赤外光センサが出力する画像データ(赤外画像)とを合成することで、ノイズの少ないカラー画像を取得することができる。

特開２０１０―１０３７４０号公報

このような合成画像では、色を含むため赤外画像と比べると視認性は高くなるが、可視画像と比べると色の再現性が異なる。従って、照度が低くなることに伴って、カメラから配信する画像を可視画像から合成画像に切り替えると画像の色味が変化してしまう。しかし、可視画像と合成画像は、画像の内容からユーザが区別することが困難で、色味の変化が生じた場合に、画像可視画像と合成画像とを切り替えたことに起因する変化であるか、撮影領域の周辺の環境変化に起因するのか把握することが困難である。

本発明は、可視画像と合成画像とを切り替えたことに起因する色味の変化であることの判断を容易にする技術の提供を目的とする。

本発明に係る撮像装置は、可視画像と赤外画像を撮像可能な撮像装置であって、
前記可視画像と、前記赤外画像とを合成し、合成画像を生成する合成手段と、
輝度に基づいて、合成画像、可視画像、赤外画像のうちいずれの画像を出力するかを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記可視画像と前記赤外画像との合成割合を示す合成情報を、前記合成画像、前記可視画像または前記赤外画像のいずれかに重畳する重畳手段と、を有することを特徴とする。

本発明によれば、可視画像と合成画像とを切り替えたことに起因する色味の変化であることを容易に判断することが可能となる。

第１の実施形態に係る撮像装置を含む撮像システムのブロック図である。 第１の実施形態に係る撮像システムのハードウェア構成の一例を示すブロック図である。 第１の実施形態に係る合成画像の生成および合成情報の重畳処理を示すフローチャートである。 第１の実施形態に係る合成情報の一例を示す概略図である。 第１の実施形態に係る合成情報の他例を示す概略図である。 第２の実施形態に係る撮像装置を含む撮像システムのブロック図である。 第２の実施形態に係る第１の重畳情報および第２の重畳情報、並びに、合成情報の一例を示す概略図である。 第２の実施形態に係る第１の重畳情報および第２の重畳情報、並びに、合成情報の他例を示す概略図である。 第３の実施形態に係るクライアント装置を含む撮像システムのブロック図である。

以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

＜第１の実施形態＞
以下に、図１を参照して、第１の実施形態に係る撮像装置１０１の構成および機能の概略について説明する。図１は、第１の実施形態に係る撮像装置１０１を含む撮像システム１００のブロック図である。撮像システム１００は、撮像装置１０１と、クライアント装置１０３と、を含む。

ネットワーク１０２は、撮像装置１０１とクライアント装置１０３との接続に利用されるネットワークである。ネットワーク１０２は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。ネットワーク１０２は、撮像装置１０１、クライアント装置１０３間の通信を行うことができるものであればその通信規格、規模、構成を問わない。ネットワーク１０２は、例えば、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。

クライアント装置１０３は、例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。クライアント装置１０３は、撮像装置１０１の制御に関する各種コマンドを撮像装置１０１に出力する。撮像装置１０１は、それらのコマンドに対するレスポンスや画像をクライアント装置１０３に出力する。

続いて、撮像装置１０１の詳細を説明する。撮像装置１０１は、例えば、ネットワークカメラ等の撮像装置である。撮像装置１０１は、可視画像と赤外画像を撮像可能であって、ネットワーク１０２を介して、クライアント装置１０３と通信可能に接続されている。撮像装置１０１は、撮像部１１６、第１の画像処理部１０８、第２の画像処理部１０９、合成部１１０、変更部１１１、赤外照明部１１２、照明制御部１１３、重畳部１１４、および、ＮＷ処理部１１５を備える。撮像部１１６は、レンズ１０４、波長分離プリズム１０５、第１の撮像素子１０６、第２の撮像素子１０７を含みうる。レンズ１０４は、被写体から入射する光を結像する光学レンズである。波長分離プリズム１０５は、レンズ１０４を通過した光を波長毎に分離する。より詳細には、レンズ１０４を通過した光に含まれる波長４００ｎｍ～７００ｎｍ程度の可視光成分と波長７００ｎｍ～程度の赤外光成分を分離する。

第１の撮像素子１０６は、波長分離プリズム１０５を通過した可視光を電気信号へ変換する。第２の撮像素子１０７は、波長分離プリズム１０５を通過した赤外光を電気信号へ変換する。第１の撮像素子１０６および第２の撮像素子１０７は、例えば、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等である。

第１の画像処理部１０８は、第１の撮像素子１０６で撮像された画像信号に対して現像処理を施し、可視画像を生成する。また、第１の画像処理部１０８は、可視画像の輝度信号から、可視画像の被写体照度の判定を行う。第２の画像処理部１０９は、第２の撮像素子１０７で撮像された画像信号に対して現像処理を施し、赤外画像を生成する。なお、第１の撮像素子１０６と第２の撮像素子１０７の解像度が異なる場合、第１の画像処理部１０８と第２の画像処理部１０９いずれかで、解像度変換処理を行い、可視画像と赤外画像で同じ解像度にする。本実施形態では、一例として１つの光学系と２つの撮像素子と２つの画像処理部を備える撮像装置について説明する。撮像装置１０１は、同時に同一の被写体に対して可視画像と赤外画像を撮像可能で、可視画像と赤外画像を生成可能であればよくこの構成に限られるものではない。例えば、可視光・赤外光に対応した複数の画像信号を出力する１つの撮像素子を用いても良いし、可視画像の画像信号と赤外画像の画像信号を１つ画像処理部で処理しても良い。

合成部１１０は、第１の画像処理部１０８で生成された可視画像と第２の画像処理部１０９で生成された赤外画像とを、例えば、以下式（１）に基づき合成し、合成画像を生成する。

ここで、Ｙ_ｓ・Ｃｂ_ｓ・Ｃｒ_ｓはそれぞれ合成画像の輝度信号・青の色差信号・赤の色差信号、Ｙ_ｖ・Ｃｂ_ｖ・Ｃｒ_ｖはそれぞれ赤外画像の輝度信号・青の色差信号・赤の色差信号、Ｙ_ｉは赤外画像の輝度信号、α・βは係数を示している。

変更部１１１は、式（１）における係数αとβを決定する。変更部１１１は、例えば、可視光の画像の輝度信号Ｙ_ｖや赤外画像の輝度信号Ｙ_ｉにより係数αおよびβを決定する。変更部１１１は、係数αとβを変更することにより、可視画像と赤外画像との合成割合を変更する。変更部１１１は、決定した合成割合を合成部１１０へ出力する。

赤外照明部１１２は、被写体に赤外光を照射する。照明制御部１１３は、合成部１１０で生成した合成画像または、合成割合に基づき、赤外光のОＮ／ОＦＦの切り替えや強弱を制御する。例えば、赤外画像の係数βが０の時は、合成部１１０から出力される合成画像は可視画像だけの画像となるため、照明制御部１１３は赤外照明部１１２をОＦＦに制御してもよい。重畳部１１４は、可視画像と赤外画像との合成割合を示す合成情報をＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ－Ｄｉｓｐｌａｙ）画像として生成し、合成画像に重畳する。合成情報は、例えば、文字または図形であって、合成割合に応じた色または輝度で合成画像に重畳される。合成画像に重畳される合成情報の詳細については後述する。なお、ここで合成割合は、αとβの比でもよいし、αＹ_ｖと（１－α）Ｙ_ｉの比のように可視画像および赤外画像のぞれぞれの輝度信号に基づき決定されてもよい。ＮＷ処理部１１５は、ネットワーク１０２を介して、クライアント装置１０３からのコマンドに対するレスポンスや合成画像などをクライアント装置１０３へ出力する。

図２は、第１の実施形態における撮像システム１００のハードウェア構成の一例を示すブロック図である。撮像装置１０１は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、撮像部１１６、ＮＷ処理部１１５を含む。ＣＰＵ２１１は、ＲＯＭ２１２に記憶されたプログラムを読み出して撮像装置１０１の処理を制御する。ＲＡＭ２１３は、ＣＰＵ２１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ２１２は、ブートプログラム等を記憶する。ＣＰＵ２１１がＲＯＭ２１２に記憶されたプログラムに基づき処理を実行することによって、撮像装置１０１の機能および撮像装置１０１の処理等が実現される。

クライアント装置１０３は、ＣＰＵ２２０、ＲＯＭ２２１、ＲＡＭ２２２、ＮＷ処理部２２３、入力部２２４、表示部２２５を含む。ＣＰＵ２２０は、ＲＯＭ２２１に記憶されたプログラムを読み出して各種処理を実行する。ＲＯＭ２２１は、ブートプログラム等を記憶する。ＲＡＭ２２２は、ＣＰＵ２２０の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＮＷ処理部２２３は、ネットワーク１０２を介して、撮像装置１０１の制御に関する各種コマンドを撮像装置１０１に出力し、撮像装置１０１から出力された合成画像を受信する。

入力部２２４は、キーボード等であって、クライアント装置１０３への情報の入力を行う。表示部２２５は、ディスプレイ等の表示媒体であって、撮像装置１０１によって生成された合成画像と、合成画像に含まれる可視画像と赤外画像との合成割合である合成情報を表示する。なお、入力部２２４および表示部２２５は、クライアント装置１０３とは、独立した装置であっても良いし、クライアント装置１０３に含まれていても良い。記憶部２２６は、例えば、ハードディスクやＳＤカード等の記憶媒体であって撮像装置１０１から出力された合成情報が重畳された合成画像を記憶する。

以下に、図３を参照して、合成画像の生成とＯＳＤ画像としての合成情報の重畳のフローを説明する。図３は、第１の実施形態に係る合成画像の生成および合成情報の重畳処理を示すフローチャートである。まず、Ｓ２０１にて、第１の撮像素子１０６と第２の撮像素子１０７よって変換された電気信号を第１の画像処理部１０８と第２の画像処理部１０９においてそれぞれ処理し、可視画像と赤外画像を生成する。続いてＳ２０２にて、第１の画像処理部１０８は、可視画像における被写体照度がｔ１以上であるか否かを判定し、判定結果を合成部１１０に出力する。第１の画像処理部１０８による被写体照度の判定は、例えば、可視画像を複数のブロック（例えば、８×８＝６４個）に分割して、分割したブロックごとに輝度信号の平均値を算出し、ブロックごとの輝度信号の平均値から被写体照度を算出しても良い。本実施形態では、被写体照度を輝度信号の平均値から算出することとしたが、分割したブロック毎の明るさが分かればよく、積分値で表してもよいし、ＥＶ値等の明るさの指標となる値で表してもよい。

Ｓ２０２にて被写体照度がｔ1以上である場合（ＹＥＳ）は、Ｓ２０３にて照明制御部１１３が赤外照明部１１２をＯＦＦにする。続いてＳ２０４にて、合成部１１０で赤外画像の係数βを０として、生成した合成画像を重畳部１１４に出力する。このとき、赤外画像の係数βは０であるので、結果として合成部１１０において可視画像のみが選択され、重畳部１１４へと出力されることとなるが、本実施形態においては、このような画像も含めて、合成部１１０から出力される画像を合成画像という。

Ｓ２０２にて可視画像における被写体照度がｔ１未満である場合（ＮＯ）は、Ｓ２０５にて照明制御部１１３が赤外照明部１１２をＯＮにする。続いてＳ２０６にて、第１の画像処理部１０８は、可視画像における被写体照度がｔ２（ｔ１＞ｔ２）以上であるか否かを判定し、判定結果を合成部１１０に出力する。被写体照度の判定方法については、Ｓ２０２と同様である。Ｓ２０６にて可視画像における被写体照度がｔ２以上である場合（ＹＥＳ）は、Ｓ２０７にて、合成部１１０で可視画像と赤外画像を合成する。続いて、Ｓ２０８にて生成した合成画像を重畳部１１４に出力する。Ｓ２０６にて可視画像における被写体照度がｔ２未満の場合（ＮＯ）は、Ｓ２０９にて、合成部１１０で可視画像の係数αを０として、生成した合成画像を重畳部１１４に出力する。このとき、可視画像の係数αは０であるので、結果として合成部１１０において赤外画像のみが選択され、重畳部１１４へと出力されることとなる。最後に、重畳部１１４に入力された画像に、合成部１１０における可視画像と赤外画像との合成割合を示す合成情報を重畳する。

以下に、合成情報の詳細を説明する。図４は、第１の実施形態に係る合成情報の一例を示す概略図である。本図においては、合成情報として文字を重畳した例を示す。可視画像３０１ａ、合成画像３０２ａ、赤外画像３０３ａには、それぞれ合成割合が文字で重畳されている。可視画像３０１ａには“１００％”という文字が合成情報３０１ｂとして重畳されている。これは、可視画像の割合が１００％であることを示している。合成画像３０２ａには“６０％”という文字が合成情報３０２ｂとして重畳されている。これは、可視画像の割合が６０％であることを示している。赤外画像３０３ａには“０％”という文字が合成情報３０３ｂとして重畳されている。これは、可視画像の割合が０％であることを示している。なお、図４においては、可視画像の合成割合を重畳しているが、赤外画像の合成割合を重畳しても良いし、可視画像と赤外画像の両方の合成割合を重畳しても良い。

合成情報として、合成割合を文字で重畳することで、クライアント装置１０３で表示される画像の色味が変化した際、合成によって変化しているか、その他の理由で変化しているかの判断が容易になる。また、合成画像である場合は合成割合の判断も可能になる。なお、赤外画像は色を含まないため、クライアント装置１０３で画像を確認すれば赤外画像であることを判断するのは容易である。したがって、赤外画像では合成割合を画像に重畳しなくても良い。

図５は、第１の実施形態に係る合成情報の他例を示す概略図である。本図においては、合成情報として合成割合に応じた輝度の図形を重畳した例を示す。可視画像４０１ａ、合成画像４０２ａ、赤外画像４０３ａには、それぞれ合成割合に応じた輝度の図形が重畳されている。可視画像４０１ａには黒色、即ち輝度の低い図形が合成情報４０１ｂとして重畳されている。これは、可視画像の割合が１００％であることを示している。赤外画像４０３ａには白色、即ち輝度の高い図形が合成情報４０３ｂとして重畳されている。これは、可視画像の割合が０％であることを示している。合成画像４０２ａには可視画像４０１ａに重畳された図形よりは輝度が高く、赤外画像４０３ａに重畳された図形よりは輝度の低い図形が合成情報４０２ｂとして重畳されている。これは、可視画像と赤外画像が合成されていることを示している。なお、本実施形態においては、可視画像の割合が高い程合成情報の輝度を高くしたが、可視画像の割合が高い程合成情報の輝度を低くしても良い。

このように合成割合に応じた輝度の図形を重畳することで、クライアント装置１０３で表示される画像の色味が変化した際、合成画像によって変化しているか、その他の理由で変化しているかの判断が容易になる。なお、図５においては、合成割合に応じた輝度で図形を重畳しているが、合成割合に応じた色（例えば、可視画像６０１を青色、赤外画像６０３を緑色）で重畳しても良い。なお、図３のフローを所定の時間間隔で繰り返す事で、出力画像が切り替わる可能性がある。図５の例では、現在の出力画像の合成割合に対応する情報のみを重畳しているが、「１００％→６０％（現在）」のように変更する前の合成割合から現在の変更後の合成割合に遷移したことが分かるように、変更前の合成割合と変更後の合成割合の両方の情報を重畳するようにしてもよい。

＜第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態として言及しない事項は、前述の実施形態に従う。以下に、図６を参照して、第２の実施形態に係る撮像装置５０１の構成および機能の概略について説明する。図６は、第２の実施形態に係る撮像装置５０１を含む撮像システム５００のブロック図である。ネットワーク１０２、クライアント装置１０３、撮像部１１６、変更部１１１、赤外照明部１１２、照明制御部１１３は第１の実施形態同様であるため説明は省略する。

第１の画像処理部５０２は、可視画像の輝度信号の平均値を算出する。第２の画像処理部５０３、赤外画像の輝度信号の平均値を算出する。なお、それぞれの画像に対する輝度信号の平均値の算出方法の詳細については、後述する。第１の重畳部５０４は、可視画像に対して、文字や図形などの第１の重畳情報を重畳する。第２の重畳部５０５は、赤外画像に対して、文字や図形などの第２の重畳情報を重畳する。第１の重畳情報および第２の重畳情報の詳細については後述する。合成部５０６は、第１の重畳情報が重畳された可視画像と第２の重畳情報が重畳された赤外画像を第１の実施形態の式（１）に基づき合成し、合成画像を生成する。

以下に、第１の重畳情報および第２の重畳情報の詳細を説明する。図７は、第２の実施形態に係る第１の重畳情報および第２の重畳情報、並びに、合成情報の一例を示す概略図である。本図においては、第１の重畳情報および第２の重畳情報として同一の文字をそれぞれ異なる輝度で重畳した例を示す。可視画像６０１ａと赤外画像６０３ａには、それぞれ同一の位置に同一の文字が異なる輝度で重畳されている。可視画像６０１ａには黒色、即ち輝度の低い文字が第１の重畳情報６０１ｂとして重畳されている。赤外画像６０３には白色、即ち輝度の高い文字が第２の重畳情報６０３ｂとして重畳されている。

合成部５０６によって、第１の重畳情報６０１ｂが重畳された可視画像６０１ａと第２の重畳情報６０３ｂが重畳された赤外画像６０３ａとを合成すると合成画像６０２ａが生成される。合成画像６０２ａには、第１の重畳情報６０１ｂと第２の重畳情報６０３ｂとが合成されたことにより、合成割合に応じた輝度の文字が合成情報６０２ｂとして重畳される。なお、赤外画像の合成割合が０（係数β＝０）である場合、結果として、第１の重畳情報６０１ｂのみが合成情報として可視画像６０１ａに重畳され、クライアント装置１０３へと出力されることとなる。また、可視画像の合成割合が０（係数α＝０）である場合、結果として第２の重畳情報６０３ｂのみが合成情報として赤外画像６０３ａに重畳され、クライアント装置１０３へと出力されることとなる。

このように、第１の重畳情報と第２の重畳情報を可視画像と赤外画像にそれぞれ重畳し、合成画像を生成することで、合成情報が重畳された画像をクライアント装置１０３へ出力することが可能となる。よって、クライアント装置１０３で表示される画像の色味が変化した際、合成画像によって変化しているか、その他の理由で変化しているかの判断が容易になる。なお、図７においては、第１の重畳情報および第２の重畳情報として同一の文字をそれぞれ異なる輝度で重畳しているが、同一の図形を重畳しても良い。また、同一の文字または図形をそれぞれ異なる色（例えば、可視画像６０１ａを青色、赤外画像６０３ａを緑色）で重畳しても良い。

図８は、第２の実施形態に係る第１の重畳情報および第２の重畳情報、並びに、合成情報の他例を示す概略図である。本図においては、第１の重畳情報および第２の重畳情報として同一の図形を合成画像において異なる位置となるように重畳した例を示す。可視画像７０１ａと赤外画像７０３ａには、それぞれ合成画像を生成した際に異なる位置となるように同一の図形が重畳されている。本図においては、可視画像７０１ａには太陽を模した図形が第１の重畳情報７０１ｂとして、赤外画像７０３ａには月を模した図形が第２の重畳情報７０３ｂとして重畳されている。第１の重畳情報７０１ｂおよび第２の重畳情報７０３ｂの輝度はそれぞれの画像の輝度信号の平均値に応じて決定される。第１の画像処理部５０２は、例えば、可視画像を複数のブロック（例えば、８×８＝６４個）に分割して、分割したブロックごとに輝度信号の平均値を算出し、ブロックごとの輝度信号の平均値から可視画像の輝度信号の平均値を算出する。第２の画像処理部５０３は、これと同様の方法で、赤外画像の輝度信号の平均値を算出する。

合成部５０６によって、第１の重畳情報７０１ｂが重畳された可視画像７０１ａと第２の重畳情報７０３ｂが重畳された赤外画像７０３ａとを合成すると合成画像７０２ａが生成される。合成画像７０２ａには、第１の重畳情報７０１ｂと第２の重畳情報７０３ｂとが重畳されている。第１の重畳情報７０１ｂである図形と第２の重畳情報７０３ｂである図形の、２つの図形が合成情報７０２ｂとして重畳されている。合成情報７０２ｂに含まれる２つの図形のそれぞれの輝度から合成割合が確認することができる。

このように、第１の重畳情報と第２の重畳情報を可視画像と赤外画像にそれぞれ重畳し、合成画像を生成することで、合成情報が重畳された画像をクライアント装置１０３へ出力することが可能となる。よって、クライアント装置１０３で表示される画像の色味が変化した際、合成画像によって変化しているか、その他の理由で変化しているかの判断が容易になる。

＜第３の実施形態＞
次に、第３の実施形態について説明する。第３の実施形態として言及しない事項は、前述の実施形態に従う。以下に、図９を参照して、第３の実施形態に係るクライアント装置８０２の構成および機能の概略について説明する。図９は、第３の実施形態に係るクライアント装置８０２を含む撮像システム８００のブロック図である。ネットワーク１０２、撮像部１１６、第１の画像処理部１０８、第２の画像処理部１０９、変更部１１１、赤外照明部１１２、照明制御部１１３は第１の実施形態と同様であるため説明は省略する。

合成部８０３は、第１の画像処理部１０８で生成された可視画像と第２の画像処理部１０９で生成された赤外画像とを、第１の実施形態の式（１）に基づき合成し、合成画像を生成する。合成部８０３は、合成画像と、変更部１１１によって決定された合成割合とをＮＷ処理部８０５に出力する。ＮＷ処理部８０５は、ネットワーク１０２を介して、合成部８０３で生成された合成画像（映像データ８０６）と、変更部１１１で決定された合成割合（メタデータ８０７）をクライアント装置８０２へ出力する。

クライアント装置８０２は、ＮＷ処理部８０８、生成部８１１、表示部８１２、および、記憶部８１３を備える。ＮＷ処理部８０８は、ネットワーク１０２を介して撮像装置８０１から出力された映像データ８０６と、メタデータ８０７を受信する。生成部８１１は、メタデータ８０７から可視画像と赤外画像との合成割合を示す合成情報をＯＳＤ画像として生成する。生成部８１１は、第１の実施形態と同様に映像データ８０６に合成情報を重畳しても良い。合成情報は、例えば、第１の実施形態と同様であっても良いし、合成割合がわかる文字列などであっても良い。表示部８１２は、ディスプレイ等の表示媒体であって、合成画像と合成情報とを表示する。表示部８１２は、合成画像と合成情報とを重畳させて表示させても良いし、合成画像と合成情報を並べて表示するなど、重畳せずに表示させても良い。記憶部８１３は、例えば、ハードディスクやＳＤカード等の記憶媒体であって合成画像および合成情報を記憶する。

このように、メタデータとして受信した合成割合を合成画像と共に表示させることにより、クライアント装置１０３で表示される画像の色味が変化した際、合成画像によって変化しているか、その他の理由で変化しているかの判断が容易になる。

＜その他の実施形態＞
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像装置
１０３ クライアント装置
１０６ 第１の撮像素子
１０７ 第２の撮像素子
１１０ 合成部
１１４ 重畳部

Claims (18)

1. 可視画像と赤外画像を撮像可能な撮像装置であって、
   前記可視画像と、前記赤外画像とを合成し、合成画像を生成する合成手段と、
   輝度に基づいて、合成画像、可視画像、赤外画像のうちいずれの画像を出力するかを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記可視画像と前記赤外画像との合成割合を示す合成情報を、前記合成画像、前記可視画像または前記赤外画像のいずれかに重畳する重畳手段と、を有することを特徴とする撮像装置。
2. 前記合成情報は、文字または図形である、ことを特徴とする請求項１に記載の撮像装置。
3. 前記合成情報は、前記合成割合に応じた色または輝度で重畳される、ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記合成割合は、前記可視画像および前記赤外画像のぞれぞれの輝度信号に基づき決定される、ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記合成情報が重畳された合成画像、前記合成情報が重畳された可視画像、または前記合成情報が重畳された赤外画像の少なくとも一つを情報処理装置に出力する出力手段をさらに備える、ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記可視画像と前記赤外画像の合成割合を変更する変更手段を備え、
   前記重畳手段は、前記変更手段により変更する前の合成割合と前記変更手段により変更した後の合成割合とを重畳することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 可視画像と赤外画像を撮像可能な撮像装置であって、
   前記可視画像に第１の重畳情報を重畳する第１の重畳手段と、
   前記赤外画像に第２の重畳情報を重畳する第２の重畳手段と、
   前記第１の重畳情報が重畳された前記可視画像と、前記第２の重畳情報が重畳された前記赤外画像と、を合成し、合成画像を生成する合成手段と、を有することを特徴とする撮像装置。
8. 前記合成手段は、前記可視画像と前記赤外画像との合成割合を示す合成情報が重畳された合成画像を生成する、ことを特徴とする請求項７に記載の撮像装置。
9. 前記合成情報が重畳された合成画像を情報処理装置に出力する出力手段をさらに備える、ことを特徴とする請求項８に記載の撮像装置。
10. 第１の重畳情報および前記第２の重畳情報は、文字または図形である、ことを特徴とする請求項７乃至９のいずれか１項に記載の撮像装置。
11. 第１の重畳情報および前記第２の重畳情報は、同一の文字または図形であって、それぞれ異なる色または輝度である、ことを特徴とする請求項７乃至１０のいずれか１項に記載の撮像装置。
12. 第１の重畳情報および前記第２の重畳情報は、それぞれ異なる文字または図形であって、前記合成画像において異なる位置となるように重畳される、ことを特徴とする請求項７乃至１０のいずれか１項に記載の撮像装置。
13. 前記可視画像を撮像する第１の撮像手段と、前記赤外画像を撮像する第２の撮像手段とをさらに有することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記可視画像と前記赤外画像の合成割合を変更する変更手段を備える、ことを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 可視画像と赤外画像を撮像可能な撮像装置の制御方法であって、
    前記可視画像と、前記赤外画像とを合成し、合成画像を生成する合成工程と、
    輝度に基づいて、合成画像、可視画像、赤外画像のうちいずれの画像を出力するかを判定する判定工程と、
    前記判定工程の判定結果に基づいて、前記可視画像と前記赤外画像との合成割合である合成情報を、前記合成画像、前記可視画像または前記赤外画像のいずれかに重畳する重畳工程と、を含むことを特徴とする制御方法。
16. 請求項１から１４のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのプログラムを記録する記録媒体。
17. 可視画像と赤外画像を撮像し、輝度に基づいて、合成画像、可視画像、赤外画像のうちいずれの画像を出力するかを判定し、判定結果に基づいて、合成画像、可視画像、赤外画像のうちいずれの画像を出力すると共に、前記合成画像の合成割合に関する情報を出力する撮像装置と通信可能な情報処理装置であって、
    前記合成割合に関する情報に基づき、前記可視画像と前記赤外画像との合成割合を示す合成情報を生成する生成手段と、
    前記合成画像、前記可視画像または前記赤外画像のいずれかと、前記合成情報と、を表示する表示手段を備える、ことを特徴とする情報処理装置。
18. 可視画像と赤外画像を撮像し、輝度に基づいて、合成画像、可視画像、赤外画像のうちいずれの画像を出力するかを判定し、判定結果に基づいて、合成画像、可視画像、赤外画像のうちいずれの画像を出力すると共に、前記合成画像の合成割合に関する情報を出力する撮像装置と通信可能な情報処理装置の制御方法であって、
    前記合成割合に関する情報に基づき、前記可視画像と前記赤外画像との合成割合を示す合成情報を生成する生成工程と、
    前記合成画像、前記可視画像または前記赤外画像のいずれかと、前記合成情報と、を表示する表示工程とを有することを特徴とする制御方法。

Images