JP6077391B2 - 撮像表示装置 - Google Patents

Description

本願は、撮像および映像の表示を同時に行う撮像表示装置に関する。

近年、遠隔コミュニケーションシステムやデジタルミラーシステムといった、撮像と映像の表示とを同時に行うシステムが普及している。これらのシステムでは、ディスプレイに表示された映像を見ている人物（使用者）と、ディスプレイに表示された人物（遠隔者または使用者自身）との間で視線が合わないという課題があった。これは、表示された映像が、ディスプレイの周辺に配置されたカメラによってディスプレイに正対する人物を撮影したものであるためである。両者の視線を一致させるためには、ディスプレイに映像を表示しながら、ディスプレイの裏側から人物を撮影する必要がある。特許文献１は、そのような構成を有する液晶表示装置を開示している。

特開２００７−２９８５４７号公報 特開２００８−２０５８３９号公報

特許文献１に開示された方式では、撮像と映像の表示とを同時に行うために、複数の光源および液晶に対して複雑な制御を行う必要があった。

本開示は、複雑な制御を必要とせず、撮像と表示との両立を図ることができる撮像表示装置を提供する。

上記課題を解決するために、本開示の一態様に係る撮像表示装置は、第１波長域の光を出射するように構成された光源と、前記光源から出射された前記第１波長域の光の光路上に配置され、前記第１波長域の光の少なくとも一部を反射し、前記第１波長域とは異なる第２波長域の光の少なくとも一部を透過させるように構成された光学系と、前記光源から出射され、前記光学系によって反射された前記第１波長域の光の光路上に配置され、前記第１波長域の光および前記第２波長域の光を透過させるように構成された表示パネルと、前記光学系に対して前記表示パネルが設けられた側とは反対の側に設けられ、前記表示パネルおよび前記光学系を透過した前記第２波長域の光を受けて画像信号を出力するように構成された撮像部とを備える。

上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、またはシステム、方法、およびコンピュータプログラムの組み合わせを用いて実現され得る。

本開示の撮像表示装置によれば、複雑な制御を必要とせず、撮像と表示との両立を図ることができる。

本開示の実施形態における撮像表示装置の基本構成例を示す図 本開示の実施の形態１における撮像表示装置の構成図 赤外光カットフィルタの透過特性の一例を示す図 赤外カットフィルタの透過特性の他の例を示す図 実施の形態１における撮像表示装置の変形例を示す図 実施の形態１における撮像表示装置の変形例におけるコールドミラーの平面図 コールドミラーの反射特性および透過特性の一例を示す図 コールドミラーの反射特性および透過特性の他の例を示す図 赤外光源６の変形例を示す模式図 赤外光源６の他の変形例を示す模式図 本開示の実施の形態２における撮像表示装置の構成図 本開示の実施の形態３における撮像表示装置の構成図 本開示の実施の形態４における遠隔コミュニケーションシステムの構成図 本開示の実施の形態４における撮像表示装置の構成図 比較例における液晶表示装置の構成図

以下、本開示の実施形態を説明する。具体的な実施形態を説明する前に、まず、本開示の技術の基礎となった知見を説明する。なお、本明細書において、「光」には、可視光の他、赤外線および紫外線が含まれるものとし、前者を「赤外光」、後者を「紫外光」と呼ぶ。

図１１は、特許文献１に開示された装置に類似する構成を有する液晶表示装置を模式的に示す図である。液晶表示装置１０１は、行および列状に配列された複数のカラーフィルタを有する透過液晶パネル１０２と、２つの蛍光管１０４ａ、１０４ｂと、散乱パネル１０５と、可視光よりも波長の長い光（赤外光）に感度を有する２つの赤外光カメラ１０３ａ、１０３ｂとを備えている。

散乱パネル１０５における２枚のガラス基板１０６ａ、１０６ｂの間には、液晶層１０７および反射膜１０９が積層されている。液晶層１０７には透明電極１０８が、反射膜１０９には２つの透明電極１０８ａ、１０８ｂが埋め込まれており、透明電極１０８と、透明電極１０８ａ、１０８ｂとの間に電圧を印加することにより、液晶層１０７中の透明電極１０８ａ、１０８ｂに対向する部分を光が透過する状態（透過モード）に変化させることができる。透過モードにすることにより、透明電極１０８ａおよび透明電極１０８ｂの背後にそれぞれ設置された赤外光カメラ１０３ａおよび赤外光カメラ１０３ｂに光が入射し、撮像が可能となる。

蛍光管１０４ａ、１０４ｂから出射した光は、主に反射膜１０９によって反射され、透過液晶パネル１０２の方に向かう。この光はバックライトとしての役割を果たす。

赤外光は、複数のカラーフィルタを有する透過液晶パネル１０２を透過する率が可視光に比べて高いという性質を有している。このため、透過液晶パネル１０２および透過モードの散乱パネル１０５を透過した赤外光を、透過液晶パネル１０２の背面側に配置された赤外光カメラ１０３ａ、１０３ｂによって受光することができる。これにより、撮像と表示との両立が可能となる。

液晶表示装置１０１は、２つの赤外光カメラ１０３ａ、１０３ｂによる撮像を交互に行う。具体的には、透明電極１０８ａに対向する液晶層１０７の部分が透過モードで、かつ蛍光管１０４ａが消灯しているときに赤外光カメラ１０３ａで撮像を行う。一方、透明電極１０８ｂに対向する液晶層１０７の部分が透過モードで、かつ蛍光管１０４ｂが消灯しているときに赤外光カメラ１０３ｂで撮像を行う。赤外光カメラ１０３ａ、１０３の各々について、近くの蛍光管が消灯しているときに撮像を行うのは、蛍光管から出射される光に含まれる赤外光成分が赤外光カメラ１０３ａ、１０３ｂに入射することによって発生するノイズを低減させるためである。

このように、図１１に示す表示装置１０１は、透明電極１０８ａ、蛍光管１０４ｂ、および赤外光カメラ１０３ａの組と、透明電極１０８ｂ、蛍光管１０４ａ、および赤外光カメラ１０３ｂの組とを交互に駆動させる。これにより、透過液晶パネル１０２に映像を表示しながら、透過液晶パネル１０２の背面側に配置された赤外光カメラ１０３ａ、１０３ｂによって表示面側の被写体を撮像することができる。

しかしながら、この表示装置１０１は、撮像の際、透明電極１０８ａ、１０８ｂ、蛍光管１０４ａ、１０４ｂ、および赤外光カメラ１０３ａ、１０３ｂを上記のように複雑に制御する必要がある。また、蛍光管１０４ａ、１０４ｂの点灯と消灯とを繰り返すため、映像のちらつきが発生するという課題がある。

上記の課題を解決するために、本願発明者らは、以下に説明する新たな構成の撮像表示装置を完成させた。本開示の実施形態の概要は、以下のとおりである。

（１）本開示の一態様に係る撮像表示装置は、第１波長域の光を出射するように構成された光源と、前記光源から出射された前記第１波長域の光の光路上に配置され、前記第１波長域の光の少なくとも一部を反射し、前記第１波長域とは異なる第２波長域の光の少なくとも一部を透過させるように構成された光学系と、前記光源から出射され、前記光学系によって反射された前記第１波長域の光の光路上に配置され、前記第１波長域の光および前記第２波長域の光を透過させるように構成された表示パネルと、前記光学系に対して前記表示パネルが設けられた側とは反対の側に設けられ、前記表示パネルおよび前記光学系を透過した前記第２波長域の光を受けて画像信号を出力するように構成された撮像部と、を備える。

（２）ある実施形態において、前記光学系は、前記第１波長域の光を反射し、前記第２波長域の光を透過させる特性を有するダイクロイックミラーである。

（３）ある実施形態において、前記光学系は、ハーフミラーである。

（４）ある実施形態において、前記第１波長域の光は、可視光であり、前記第２波長域の光は、赤外光または紫外光である。

（５）ある実施形態において、前記光源は、前記第１波長域の光および前記第２波長域の光を出射するように構成され、前記光源と前記光学系との間に、前記第１波長域の光を透過させ、前記第２波長域の光を透過させないように構成された光学フィルタをさらに備えている。

（６）ある実施形態において、前記表示パネルは、前記撮像部から出力された前記画像信号に基づく画像を表示するように構成されている。

（７）ある実施形態において、前記第２波長域の光を被写体に照射するように配置された少なくとも１つの照明源をさらに備えている。

（８）ある実施形態において、前記少なくとも１つの照明源は、前記表示パネルの側部に設けられている。

（９）ある実施形態において、前記第１波長域の光は可視光であり、前記第２波長域の光は赤外光であり、被写体からの可視光を受けて少なくとも１つのカラー画像信号を出力するように構成された少なくとも１つのカラー撮像部をさらに備えている。

（１０）ある実施形態において、前記撮像部および前記少なくとも１つのカラー撮像部による撮像のタイミングを同期させるための制御信号を出力する撮像制御部と、前記撮像部から出力された前記画像信号と、前記少なくとも１つのカラー撮像部から出力された前記少なくとも１つのカラー画像信号とから、合成カラー画像信号を生成する画像処理部と、をさらに備えている。

（１１）ある実施形態において、前記少なくとも１つのカラー撮像部の数は２つである。

（１２）ある実施形態において、前記少なくとも１つのカラー撮像部は、前記表示パネルの中心に対して対称な位置に配置されている。

（１３）ある実施形態において、前記少なくとも１つのカラー撮像部の近傍に配置され、赤外光を被写体に照射する少なくとも１つの赤外光源をさらに備えている。

（１４）ある実施形態において、前記光源は、前記表示パネルに表示される画像に応じたカラー画像を表示するカラー表示パネルを含む。

（１５）ある実施形態において、前記光源における前記カラー表示パネルおよび前記表示パネルに、同期した映像を表示させる表示制御部をさらに備えている。

（１６）ある実施形態において、前記撮像部から出力された前記画像信号をネットワークに送信し、前記ネットワークから他の画像信号を受信するように構成された通信回路とをさらに備え、前記表示パネルは、前記通信回路によって受信された前記他の画像信号に基づく画像を表示するように構成されている。

（１７）本開示の一態様に係る遠隔コミュニケーションシステムは、上記のいずれかの撮像表示装置と、前記撮像表示装置を他の撮像表示装置にネットワークを介して接続する中継装置と、を備える。

以下、本開示の実施形態の基本構成および動作を説明する。

図１は、本開示の実施形態における撮像表示装置１００の基本的な構成例を示す図である。図示される撮像表示装置１００は、第１波長域の光を出射するように構成された光源５３と、光源５３から出射された第１波長域の光の光路上に配置され、第１波長域の光の少なくとも一部を反射し、第１波長域とは異なる第２波長域の光の少なくとも一部を透過させるように構成された光学系５５と、光源５３から出射され、ダイクロイックミラー５５によって反射された第１波長域の光の光路上に配置され、第１波長域の光および第２波長域の光を透過させるように構成された表示パネル（ディスプレイ）５１と、光学系５５に対して表示パネル５１が設けられた側とは反対の側に設けられ、表示パネル５１および光学系５５を透過した第２波長域の光を受けて画像信号を出力するように構成された撮像部５２とを備えている。

第１波長域は、例えば可視光の波長域であり、第２波長域は、例えば赤外光の波長域であり得るが、後述するように、これに限定されない。図１では、第１波長域の光をＬ１と表し、第２波長域の光をＬ２で表している。

光源５３から出射した第１波長域の光Ｌ１は、光学系５５で反射され、表示パネル５１を透過する。この光Ｌ１は、表示パネル５１のバックライトとして機能する。これにより、使用者（被写体）５７は、表示パネル５１に表示された映像を視聴することができる。

外界または不図示の照明源から第２波長域の光Ｌ２が使用者５７に入射すると、その光Ｌ２は、表示パネル５１および光学系５５を透過して撮像部５２に入射する。撮像部５２は、第２波長域の光Ｌ２に感度を有しているため、受けた光Ｌ２の強度に応じた画像信号を生成して出力する。この画像信号は、例えば不図示の画像処理部で処理され、表示パネル５１に画像として表示され得る。あるいは、不図示の通信回路を介して外部ネットワークに送信され、他の拠点に設けられた撮像表示装置に送られ、そこで画像として表示されてもよい。

以下、本開示のより具体的な実施の形態を説明する。

（実施の形態１）
図２は、本開示の実施の形態１における撮像表示装置１１０の概略構成を示す図である。撮像表示装置１１０は、被写体（使用者）７を撮像しながらディスプレイに表示する電子ミラーとしての機能を有する。撮像表示装置１１０は、光透過性を有する透過液晶パネル１と、透過液晶パネル１の背面側に配置されたコールドミラー５と、コールドミラー５の背面側に配置された赤外光カメラ２と、コールドミラー５に光を照射する面発光ダイオード３と、面発光ダイオード３およびコールドミラー５の間に設けられた赤外光カットフィルタ４とを備えている。撮像表示装置１１０は、さらに、透過液晶パネル１の周辺に設けられ、赤外光を出射する２つの発光ダイオード（赤外光源）６と、赤外光カメラ２および透過液晶パネル１に接続された画像処理部８とを備えている。本実施形態では、透過液晶パネル１、コールドミラー５、赤外光カメラ２、面発光ダイオード３、赤外光カットフィルタ４、発光ダイオード（赤外光源）６が、それぞれ上記の表示パネル、光学系（ダイクロイックミラー）、撮像部、光源、光学フィルタ、照明源として機能する。また、可視光の波長域（約３５０ｎｍ〜約７５０ｎｍ）が第１波長域に対応し、近赤外光の波長域（約７５０ｎｍ〜約１４００ｎｍ）が第２波長域に対応する。

透過液晶パネル１は、行および列方向に配列された複数のカラーフィルタと、液晶層と、透明電極とを有する表示パネルである。透過液晶パネル１は、可視光および赤外光を透過させることができる。透過液晶パネル１は、画像処理部８から送られてきた映像データに基づき、各画素ごとに液晶の配向を変化させることにより、映像を表示する。ここで表示される映像は、例えば使用者７自身を写したリアルタイムの映像であり得る。透過液晶パネル１は、遠隔地で撮影された人物を写したリアルタイムの映像や、録画された映像または静止画を表示するように構成されていてもよい。透過液晶パネル１に代えて、同等の特性を有する他の種類の透光性ディスプレイを用いてもよい。

コールドミラー５は、可視光の波長域の光を反射し、赤外光の波長域の光を透過させる特性を有するダイクロイックミラーである。コールドミラー５は、ガラス基盤に屈折率の異なる複数の誘電体膜を積層コーティングすることによって作製され得る。各誘電体層の屈折率や厚さを調整することにより、反射および透過する光の波長域を調整することができる。コールドミラー５は、例えば図３Ａに示す反射特性および透過特性を有する。図３Ａでは、約３５０ｎｍ〜約６５０ｎｍの波長域の可視光の透過率がほぼ１００％であり、約７００ｎｍ以上の波長域の赤外光および約３００ｎｍ以下の紫外光の透過率がほぼ０％である例を示しているが、必ずしもこのような特性である必要はない。例えば、可視光の波長域の光の全体の透過率（分光透過率を波長について積分したもの）が７０％以上であり、近赤外光の全体の透過率が３０％以下であるような特性であってもよい。例えば、図３Ｂに示されるような透過特性および反射特性を有するコールドミラー（ダイクロイックミラー）を光学系として採用してもよい。

コールドミラー５は、面発光ダイオード３から出射され、赤外光カットフィルタ４を通過した可視光を反射して透過液晶パネル１に入射させることにより、透過液晶パネル１のバックライトとしての役割を果たす。また、コールドミラー５は、使用者７の側から透過液晶パネル１に入射して透過した赤外光を赤外光カメラ２の側へ透過させる。赤外光カメラ２の側からコールドミラー５に入射する可視光は赤外光カメラ２の側に反射されるため、透過液晶パネル１の側から赤外光カメラ２が見えることはない。

なお、コールドミラー５の特性をもつ部分を赤外光カメラ２に対向する部分だけにし、残りの部分は光を反射する反射鏡などで構成してもよい。すなわち、図４Ａに示すように、コールドミラー５ａと、その周囲の反射鏡５ｂとを組み合わせたものを光学系として用いてもよい。図４Ｂは、このような光学系を正面から見た場合の模式図である。図中において斜線で表した部材５ａの背後に赤外光カメラ２が配置され得る。また、図４Ａに示されるコールドミラー５は、その上端部が透過液晶パネル１の上端部に接し、その主面が透過液晶パネル１の表示面に対して傾斜しているが、必ずしも傾斜している必要はない。コールドミラー５を透過液晶パネル１と平行に配置する場合であっても、可視光が効率よく透過液晶パネルに向かうように面発光ダイオード３の位置および向きが調整されていればよい。

赤外光カメラ２は、可視光よりも波長の長い赤外光に感度を有する撮像部である。赤外光カメラ２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサと、赤外光のみを透過させ、可視光を除去する赤外光透過フィルタとの組み合わせによって好適に実現され得る。赤外光カメラ２は、撮像によって生成した画像信号を画像処理部８に出力する。

赤外光カメラ２は、透過液晶パネル１およびコールドミラー５を介して使用者７に対向する位置に配置され得る。これにより、透過液晶パネル１に表示される使用者７の視線が正面を向くため、使用者７自身と視線が合わないという課題を解決できる。赤外線カメラ２は、典型的には、透過液晶パネル１の表示面の中心部を通る垂線上に配置されるが、当該垂線から多少ずれていてもよい。

面発光ダイオード３は、可視光領域の波長の光を含む光を出射するように構成された光源である。面発光ダイオードの代わりに、白熱電球や冷陰極管といった他の種類の光源を用いてもよい。面発光ダイオード３から出射される光には、可視光成分だけでなく、赤外光成分も含まれ得る。このため、面発光ダイオード３の後段に赤外光カットフィルタ４が配置される。

赤外光カットフィルタ４は、入射光に含まれる赤外光成分を除去し、可視光を透過させる特性を有する光学フィルタである。図５Ａは、赤外光カットフィルタ４の分光透過率特性の一例を示す図である。図５Ａに示される例では、３００ｎｍ〜７００ｎｍの波長域の光（主に可視光）の透過率が１００％に近く、それ以外の波長域の赤外光や紫外光の透過率はほぼ０％であるが、このような特性に限定されない。例えば、図５Ｂに示すような分光透過特性を有する赤外光カットフィルタを用いてもよい。赤外光の波長域の光を７０％以上除去し、可視光の波長域の光を７０％以上透過させるように設計された光学フィルタであれば、赤外光カットフィルタ４として用いてもよい。赤外カットフィルタ４を設けることにより、面発光ダイオード３からの出射光に含まれる赤外光成分が除去され、可視光成分がコールドミラー５に到達する。なお、本実施形態における赤外光カットフィルタ４は、光源（面発光ダイオード３）と分離しているが、光源と一体化されていてもよい。

面発光ダイオード３からの光は、赤外光カットフィルタ４を通過することによって赤外光成分が除去されるため、面発光ダイオード３を点灯させたまま赤外光カメラ２で撮像することができる。したがって、従来技術では必要であった光源の制御が不要になるという利点がある。

本実施形態では、透過液晶パネル１の側部に、赤外光を出射する２つの発光ダイオード（赤外光源）６が配置されている。赤外光源６は、透過液晶パネル１の正面に位置する使用者７に向けて赤外光を照射するように配置される。これにより、外部光に含まれる赤外光だけでは赤外光量が不足する場合であっても、使用者７から十分な量の赤外光を赤外光カメラ２に入射させることができる。２つの赤外光源６は、例えば透過液晶パネル１の表示面の中心に対して対称な位置に配置され得るが、そのような配置に限定されない。また、赤外光源６の数は２つである必要はなく、少なくとも１つ設けられていれば、不足する赤外光を補うことができる。

図６Ａおよび図６Ｂは、赤外光源６の他の構成例を示す図である。図６Ａに示される例では、透過液晶パネル１の左右両側に縦長の２つの赤外光源６が設けられている。左右ではなく上下の両側に横長の２つの赤外光源６が設けられていてもよい。図６Ｂに示される例では、透過液晶パネル１の上下に細長の２つの赤外光源６が、透過液晶パネル１の左右に縦長の２つの赤外光源６が設けられている。この例では、分離された４つの赤外光源６が設けられているが、透過液晶パネル１の周囲を囲むように構成された１つの照明源が設けられていてもよい。

赤外光源６から照射された赤外光は、使用者７によって反射され、透過液晶パネル１およびコールドミラー５を透過して赤外光カメラ２に入射する。赤外光源６を設けることにより、赤外光カメラ２に入射する赤外光が増幅されるため、より鮮明な画像を撮像することが可能となる。

本実施の形態における撮像表示装置１１０は、画像処理部８さらに備える。画像処理部８は、赤外光カメラ２および透過液晶パネル１に電気的に接続され、赤外光カメラ２から送出された画像信号（赤外光画像データ）に基づいて、透過液晶パネル１に表示させる画像データを生成する。画像処理部８は、例えば、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、不図示のメモリに記録されたソフトウェア（コンピュータプログラム）との組み合わせによって好適に実現され得る。画像処理部８は、専用の画像処理回路によって実現されていてもよい。

画像処理部８は、例えば、赤外光画像データから計算される温度分布に応じて色分けをしたカラー画像データを生成し、透過液晶パネル１に表示させることができる。また、画像処理部８は、透過液晶パネル１へ表示させる画像データの大きさの調整および位置合わせを行うこともできる。

画像処理部８は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式による測距を行うように構成されていてもよい。具体的には、赤外光源６によって照射された赤外光が、使用者７で反射されて赤外光カメラ２へ入射するまでの時間を計測することにより、使用者７までの距離を求めてもよい。そのような距離情報から、距離に応じて輝度を変えた距離画像を生成してもよい。さらに、赤外光カメラ２より得られた画像データをもとに、顔検出や目検出を行うことで、使用者７の位置を特定することもできる。これらの使用者７の距離情報および位置情報を利用すれば、透過液晶パネル１に表示させる画像の位置や大きさを調整することもできる。

なお、本実施形態の撮像表示装置１１０は、図２に示される要素以外にも、各構成要素の動作を制御する制御回路、各種のデータを記録するメモリ、外部ネットワークと通信を行う通信インターフェース、電源回路、スピーカ、ユーザインターフェースといった構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。

以上のように、本実施形態の撮像表示装置１１０によれば、面発光ダイオード３の後段に赤外光カットフィルタ４が設けられているため、赤外光カメラ２に面発光ダイオード３からの赤外光が入射することはない。このため、特許文献１の装置とは異なり、光源の制御を不要にすることができる。さらに、コールドミラー５を用いることによって透過液晶パネル１のバックライトの役割を果たすと共に、透過液晶パネル１の背面側からの撮像を可能にしている。かかる構成によれば、複雑な制御を必要とせずに撮像と映像の表示とを両立でき、かつ、使用者７の視線と、ディスプレイ（透過液晶パネル１）に表示される使用者７の視線とを一致させることができるという従来にない効果を得ることができる。

（実施の形態２）
図７は、実施の形態２における撮像表示装置１２０の概略構成を示す図である。図７において、図２と同様の構成要素については同一の符号を付している。本実施の形態における撮像表示装置１２０は、カラー画像信号を取得する可視光カメラ（カラー撮像部）９と、各撮像部を制御する撮像制御部１０とを備える点で、実施の形態１における撮像表示装置１１０とは異なっている。その他の要素については実施の形態１と同様である。以下、実施の形態１と異なる点を説明し、共通する事項についての説明は省略する。

可視光カメラ９は、可視光に感度を有する撮像部である。本実施形態では、２つの可視光カメラ９が透過液晶パネル１の周囲に設けられている。可視光カメラ９は、透過液晶パネル１の正面に位置する使用者７に向けて配置される。２つの可視光カメラ９は、透過液晶パネル１の表示面の中心に対して対称な位置に配置され得るが、そのような配置に限定されない。また、可視光カメラ９の数は２つである必要はなく、少なくとも１つ設けられていればよい。本実施形態では、各可視光カメラ９の近傍に赤外光源６が設けられているが、必ずしもこのような配置関係である必要はない。可視光カメラ９と赤外光源６とは、一体化されていてもよい。

赤外光カメラ２および２つの可視光カメラ９は、撮像制御部１０に電気的に接続される。撮像制御部１０は、赤外光カメラ２および２つの可視光カメラ９の撮像のタイミングを制御するための同期信号を生成し、各カメラに送信する。これにより、各カメラから同時刻の画像フレームを取得することができる。撮像制御部１０は、例えばＣＰＵなどのプロセッサと、不図示のメモリ等に格納された制御プログラムとの組み合わせ、または専用の制御回路によって実現され得る。

赤外光カメラ２および２つの可視光カメラ９は、画像処理部８を介して透過液晶パネル１と接続される。赤外光カメラ２および２つの可視光カメラ９によって取得された画像データは、画像処理部８に送られる。

画像処理部８は、赤外光カメラ２から得られた赤外光画像データと、２つの可視光カメラ９から得られたカラー画像データとに基づいて、透過液晶パネル１に表示させるカラー画像データを生成する。画像処理部８は、例えば特許文献２に記載されている画像処理を行うことにより、赤外光画像データとカラー画像データとを合成したカラー画像データ（合成カラー画像信号）を生成することができる。特許文献２の記載内容全体を本願明細書に援用する。具体的には、まず、２つの可視光カメラ９から得られたカラー画像データを、可視光カメラ９が使用者７に対して傾いて取り付けられていることに起因する傾斜角度分の歪みを補正した画像データに変換する。次に、補正後の画像データと赤外光カメラ２から得られた画像データとを合成する。これにより、使用者７の正面から撮影したものと同様のカラー画像を生成することができる。

また、実施の形態１で説明したＴＯＦ方式を用いることにより、使用者７の距離情報（３次元情報）を取得することができる。画像処理部８は、この３次元情報を利用して、使用者７の３次元カラー画像データを生成することもできる。例えば、得られた３次元情報に対して、ＣＧ技術で用いられるテクスチャマッピングを用いることで、３次元カラー画像データを生成できる。具体的には、得られた３次元情報から、頂点、稜線、面の接続情報をもつポリゴンによって表現される３次元オブジェクトを構築し、その表面にカラー画像データから得られるテクスチャーをマッピングする（壁紙のように張り付ける）ことにより、３次元カラー画像を生成することができる。

以上のように、本実施形態によれば、少なくとも１つのカラー撮像部（可視光カメラ９）によってカラー画像を取得することができるため、これと赤外光画像とを合成することにより、使用者７を正面から撮影したものと同等のカラー画像を得ることができる。複雑な制御を必要とせずに撮像と映像の表示とを両立でき、かつ、使用者７の視線と、ディスプレイ（透過液晶パネル１）に表示される使用者７の視線とを一致させることができるという従来にない効果を得ることができる。

（実施の形態３）
図８は、本開示の実施の形態３における撮像表示装置１３０の構成図である。図８において、図２および図７と同じ構成要素については同じ符号を用い、説明を省略する。

本実施の形態における撮像表示装置１３０は、光源としてカラー表示パネル１１ａを備えている。カラー表示パネル１１ａとしては、液晶パネルやプラズマパネル、有機ＥＬパネルなどのカラー表示が可能なディスプレイを広く用いることができる。

光源としてカラー表示パネル１１ａを設けるのは、透過液晶パネル１の発色性が不足する場合に、透過液晶パネル１の背面側から、透過液晶パネル１に表示させる映像と同期した映像を表す光を照射することで透過液晶パネル１の発色性を向上させるためである。

カラー表示パネル１１ａは、透過液晶パネル１に対して９０度の傾斜角度で配置され、画像処理部８と電気的に接続される。

コールドミラー５は、透過液晶パネル１に対して４５度の傾斜角度で配置され、カラー表示パネル１１ａに表示された映像による光を透過液晶パネル１へ反射する。したがって、使用者７から見た場合、カラー表示パネル１１ａに表示された映像は、見かけ上、図８に示すカラー表示パネル１１ｂに表示されているように見える。

画像処理部８は、赤外光カメラ２から得られた赤外光画像データに基づいて透過液晶パネル１およびカラー表示パネル１１ａに表示させる画像データを作成する。透過液晶パネル１およびカラー表示パネル１１ａに表示させる画像データは同じ内容であるが、大きさが異なる。使用者７から見た場合に、透過液晶パネル１に表示される映像と見かけ上のカラー表示パネル１１ｂの映像との大きさおよび位置が一致するように、透過液晶パネル１に表示される画像データは、カラー表示パネル１１ａに表示される画像データを縮小したものになる。縮小比率は、使用者７と赤外光カメラ２との距離によって異なる。このようにして、画像処理部８は、透過液晶パネル１およびカラー表示パネル１１ａに、同期した映像を表示させる。このため、画像処理部８は、表示制御部と呼んでもよい。

かかる構成によれば、カラー表示パネル１１ａの光が透過液晶パネル１の色情報を補うことができるため、透過液晶パネル１の発色性を向上させることができる。なお、本実施の形態においても、実施の形態２と同じように可視光カメラ９と撮像制御部１０とを設けても良い。

（実施の形態４）
図９は、本開示の実施の形態４における遠隔コミュニケーションシステムの構成例を示す模式図である。本実施の形態の遠隔コミュニケーションシステムは、複数の拠点の各々に設けられた撮像表示装置１２と、ネットワーク１５に接続するための中継装置１３とを備える。ネットワーク１５は、例えばインターネット、広域ＬＡＮ、または専用回線であり得る。本実施形態の遠隔コミュニケーションシステムによれば、異なる複数の拠点における撮像表示装置１２の使用者１４同士でビデオ通話などの遠隔コミュニケーションを実現することができる。

図１０は、本実施形態における撮像表示装置１２の構成例を示す図である。図示される撮像表示装置１２は、実施形態１における撮像表示装置１１０の構成要素に加え、通信ＩＦ２０をさらに備えている。通信ＩＦ２０は、公知のネットワークインターフェースカードなどの通信回路であり、中継装置１３との間で通信を行う。言い換えれば、通信ＩＦ２０は、中継装置１３を介して撮像部（赤外線カメラ）から出力された画像信号をネットワークに送信し、ネットワークから他の画像信号を受信する。これにより、画像情報や音声情報などのデータの送受信を行うことができる。なお、撮像表示装置１２は、通信ＩＦ２０を除いて実施形態１における撮像表示装置と同様の構成を有しているが、実施形態２または３の撮像表示装置と同様の構成を採用してもよい。

なお、遠隔コミュニケーションシステムとして機能するためには、マイクやスピーカも必要であるが、それらは、本開示の技術の本質ではないため、説明を省略する。

本実施形態によれば、各拠点の撮像表示装置１２は、中継装置１３によってネットワーク１５を介して互いに接続されている。これにより、複数の使用者１４がお互いの映像および音声を通信することが可能となる。かかる構成によれば、各拠点の使用者１４の視線と、ディスプレイに表示される他の拠点の使用者１４の視線とを一致させながらお互いにコミュニケーションをとることが可能となる。

（他の実施の形態）
以上のように、本開示の技術の例示として、実施の形態１〜４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜４で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。以下、他の実施の形態を例示する。

以上の実施の形態１から４においては、反射特性と透過特性を有する光学系としてコールドミラー５を設けたが、光学系はコールドミラーに限定されない。例えば、可視光および赤外光の両方を約５０％透過し、約５０％反射するような特性をもつハーフミラーを光学系として利用してもよい。この場合、透過液晶パネル１を透過した赤外光はハーフミラーで約半分が反射してしまうため、赤外光源６の光の強度を強くする必要がある。また、面発光ダイオード３の光も半分が撮像部側へ透過してしまうため、光の強度を強くする必要もある。

また、実施の形態１から４において、可視光領域以外の波長の光に感度を有する撮像部として、赤外光カメラ２を設けたが、このような構成に限定されない。例えば、可視光よりも波長の短い光（紫外光）に感度を有する紫外光カメラを赤外光カメラ２の代わりに設けても良い。その場合、反射特性および透過特性を有する光学系として、紫外光を透過し可視光を反射するミラーを設け、赤外光カットフィルタ４の代わりに紫外光を遮断する紫外光カットフィルタを設け、赤外光源６の代わりに紫外光を照射する発光ダイオードなどの紫外光源を設ければよい。青色から近紫外線の波長域の光は、人の顔の内部でシミが発生している領域に生成されるメラニンによって減衰され易いため、シミを検出するために利用できる。したがって、近紫外線の波長域の紫外光に感度を有する紫外光カメラを用いれば、画像処理部８は、紫外光カメラから得られた画像データに基づいて皮膚のシミ検出を行い、シミの位置を表示した画像データを生成してディスプレイに表示させることもできる。

また、光学系は、上記のダイクロイックミラーやハーフミラーに限らず、光源から出射された第１波長域の光の光路上に配置され、第１波長域の光の少なくとも一部を反射し、第１波長域とは異なる第２波長域の光の少なくとも一部を透過させる特性を有している限り、どのような構成であってもよい。第１波長域としては、可視光全体の波長域に限らず、可視光の一部の波長域であってもよい。第２波長域としては、近赤外光や近紫外光の波長域に限らず、可視光の一部の波長域であってもよい。例えば、第１波長域の光として、赤および緑の波長域（例えば約５００ｎｍ〜約７００ｎｍ）の光を採用し、第２波長域として、その補色（青）の波長域（例えば約３５０ｎｍ〜約５００ｎｍ）を採用してもよい。上記のように、紫外線に近い青い光は、シミを検出するのに有効であるため、本構成例によってもシミを検出することができる。なお、本構成例では、表示パネルのバックライトが白色光ではなく、黄色の光になってしまうため、これを防ぐため、別途青色の光源を表示パネルの背後に設けてもよい。その際、撮像部に当該光源からの青色光が入らないように、撮像部の対向部分にのみ青光を透過させるダイクロイックミラーを設け、その周囲には反射鏡を設けた構成を採用してもよい。

上記の各実施形態では、赤外光源や紫外光源などの照明源が設けられているが、これらは必須の要素ではない。例えば、撮像に利用する波長域の光が十分に存在する環境下においては、照明源を設ける必要はない。

本開示の撮像表示装置は、ディスプレイおよびカメラを含むバーチャルミラーシステムや、テレビ会議システム等の用途に応用できる。

１ カラーフィルタ付き透過液晶パネル
２ 赤外光カメラ
３ 面発光ダイオード
４ 赤外光カットフィルタ
５ コールドミラー
６ 発光ダイオード（赤外光源）
７ 使用者（被写体）
８ 画像処理部
９ 可視光カメラ
１０ 撮像制御部
１１ａ カラー表示パネル
１１ｂ 見かけ上のカラー表示パネル
１２ 撮像表示装置
１３ 通信部
１４ 通信者
１５ ネットワーク
５１ 表示パネル（ディスプレイ）
５２ 撮像部
５３ 光源
５５ 光学系
５７ 使用者（被写体）
１００、１１０、１２０ 撮像表示装置
１０１ 比較例における液晶表示装置

Claims (16)

1. 第１波長域の光、および前記第１波長域とは異なる第２波長域の光を出射するように構成された光源と、
   前記光源から出射された前記第１波長域の光の光路上に配置され、前記第１波長域の光の少なくとも一部を反射し、前記第２波長域の光の少なくとも一部を透過させるように構成された光学系と、
   前記光源から出射され、前記光学系によって反射された前記第１波長域の光の光路上に配置され、前記第１波長域の光および前記第２波長域の光を透過させるように構成された表示パネルと、
   前記光学系に対して前記表示パネルが設けられた側とは反対の側に設けられ、前記表示パネルおよび前記光学系を透過した前記第２波長域の光を受けて画像信号を出力するように構成された撮像部と、
   前記前記光源と前記光学系との間において、前記第１波長域の光を透過させ、前記第２波長域の光を透過させないように構成された光学フィルタと、
   を備える撮像表示装置。
2. 前記光学系は、前記第１波長域の光を反射し、前記第２波長域の光を透過させる特性を有するダイクロイックミラーである、請求項１に記載の撮像表示装置。
3. 前記光学系は、ハーフミラーである、請求項１に記載の撮像表示装置。
4. 前記第１波長域の光は、可視光であり、
   前記第２波長域の光は、赤外光または紫外光である、
   請求項１から３のいずれかに記載の撮像表示装置。
5. 前記表示パネルは、前記撮像部から出力された前記画像信号に基づく画像を表示するように構成されている、請求項１から４のいずれかに記載の撮像表示装置。
6. 前記第２波長域の光を被写体に照射するように配置された少なくとも１つの照明源をさらに備えている、請求項１から５のいずれかに記載の撮像表示装置。
7. 前記少なくとも１つの照明源は、前記表示パネルの側部に設けられている、請求項６に記載の撮像表示装置。
8. 前記第１波長域の光は可視光であり、前記第２波長域の光は赤外光であり、
   被写体からの可視光を受けて少なくとも１つのカラー画像信号を出力するように構成された少なくとも１つのカラー撮像部をさらに備えている、請求項１から７のいずれかに記載の撮像表示装置。
9. 前記撮像部および前記少なくとも１つのカラー撮像部による撮像のタイミングを同期させるための制御信号を出力する撮像制御部と、
   前記撮像部から出力された前記画像信号と、前記少なくとも１つのカラー撮像部から出力された前記少なくとも１つのカラー画像信号とから、合成カラー画像信号を生成する画像処理部と、
   をさらに備えている、請求項８に記載の撮像表示装置。
10. 前記少なくとも１つのカラー撮像部の数は２つである、請求項８または９に記載の撮像表示装置。
11. 前記少なくとも１つのカラー撮像部は、前記表示パネルの中心に対して対称な位置に配置されている、請求項１０に記載の撮像表示装置。
12. 前記少なくとも１つのカラー撮像部の近傍に配置され、赤外光を被写体に照射する少なくとも１つの赤外光源をさらに備えている、請求項８から１１のいずれかに記載の撮像表示装置。
13. 前記光源は、前記表示パネルに表示される画像に応じたカラー画像を表示するカラー表示パネルを含む、請求項１から１２のいずれかに記載の撮像表示装置。
14. 前記光源における前記カラー表示パネルおよび前記表示パネルに、同期した映像を表示させる表示制御部をさらに備えている、請求項１３に記載の撮像表示装置。
15. 前記撮像部から出力された前記画像信号をネットワークに送信し、前記ネットワークから他の画像信号を受信するように構成された通信回路と、
    をさらに備え、
    前記表示パネルは、前記通信回路によって受信された前記他の画像信号に基づく画像を表示するように構成されている、
    請求項１から１４のいずれかに記載の撮像表示装置。
16. 請求項１５に記載の撮像表示装置と、
    前記撮像表示装置を他の撮像表示装置にネットワークを介して接続する中継装置と、
    を備える遠隔コミュニケーションシステム。

Images