JP2004246252A - 画像情報収集装置及び方法 - Google Patents
画像情報収集装置及び方法 Download PDFInfo
- Publication number
- JP2004246252A JP2004246252A JP2003038255A JP2003038255A JP2004246252A JP 2004246252 A JP2004246252 A JP 2004246252A JP 2003038255 A JP2003038255 A JP 2003038255A JP 2003038255 A JP2003038255 A JP 2003038255A JP 2004246252 A JP2004246252 A JP 2004246252A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- image
- visible light
- imaging
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】人に対応する画像領域をより正確に抽出可能な画像情報を収集することのできる画像情報収集装置及び方法を得る。
【解決手段】赤外線帯域に撮像感度を有するＩＩＲカメラ２４Ａ、２４Ｂにより画像データの収集対象とする空間内を撮像して画像データ（温熱データ）を取得し、当該画像データに基づいて上記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光カメラ２６Ａ、２６Ｂにより上記空間内を撮像して取得される画像データにより示される画像における人の領域と背景領域との間の輝度差（コントラスト）が所定レベル以上となるように上記空間内の照明装置３０による照明光の輝度及び可視光カメラ２６Ａ、２６Ｂによる露出の少なくとも一方を調整する。
【選択図】 図１
【解決手段】赤外線帯域に撮像感度を有するＩＩＲカメラ２４Ａ、２４Ｂにより画像データの収集対象とする空間内を撮像して画像データ（温熱データ）を取得し、当該画像データに基づいて上記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光カメラ２６Ａ、２６Ｂにより上記空間内を撮像して取得される画像データにより示される画像における人の領域と背景領域との間の輝度差（コントラスト）が所定レベル以上となるように上記空間内の照明装置３０による照明光の輝度及び可視光カメラ２６Ａ、２６Ｂによる露出の少なくとも一方を調整する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像情報収集装置及び方法に係り、より詳しくは、可視光帯域に撮像感度を有する可視光撮像手段と、赤外線帯域に撮像感度を有する赤外線撮像手段とを備えた画像情報収集装置及び方法に関する。
【０００２】
【従来の技術】
従来より、赤外線帯域に撮像感度を有する赤外線カメラが用いられている。以前のこの種の赤外線カメラは、高価であると共に、冷却装置を必要として大型化が避けられなかったため、広く一般に普及するには至らなかった。しかしながら、近年、半導体技術の進歩によってＭＯＳ型の小型赤外線カメラが製造可能となってきており、これに伴って赤外線カメラの利用が拡大しつつある。
【０００３】
このような赤外線カメラと、可視光帯域に撮像感度を有する通常のカメラ（以下、「可視光カメラ」という。）と、を併用することによって様々な技術が実現可能となるが、これに関する従来の技術として以下に示すものがあった。
【０００４】
まず、２つの異なる波長帯の電磁波（可視光及び赤外線）を撮像し映像信号に変換する２つのカメラ間の視差によって生じる両カメラ間の画像の不一致をなくすことを目的として、一方の波長帯の電磁波を反射させ他方の波長帯の電磁波を透過させる光学系を備えると共に、反射電磁波を一方のカメラで撮像し、透過電磁波を他方のカメラで撮像する技術があった（例えば、特許文献１参照。）。
【０００５】
また、異常検知を的確かつ迅速に行うことを目的として、可視光カメラによって得られた画像情報に基づいて異常を検知すると共に赤外線カメラによって得られた画像情報に基づいて異常を検知するものとし、これら各画像情報毎に検知された異常の内容及び発生場所が同一である場合には信頼性の高い異常警報を行い、一方のみ異常が検知された場合にはその旨を付加した異常警報を行う技術もあった（例えば、特許文献２参照。）。
【０００６】
更に、対象物を赤外線カメラで撮影し、該赤外線カメラからの赤外線放射分布を検出して異常の有無を監視する監視装置において、赤外線カメラによる対象物の検知精度を向上させることを目的として、対象物撮影用の可視光カメラを赤外線カメラに併設して搭載し、可視光カメラにより撮影した可視画像と基準可視画像との比較による画像の位置や方向のずれ量に基づき、赤外線カメラ位置や方向の偏差を補正する機能あるいは可視光カメラと同時に撮影した赤外画像を補正する機能を備える技術もあった（例えば、特許文献３参照。）。
【０００７】
【特許文献１】
特開２００２−２０９１２６公報
【特許文献２】
特開平７−２４５７５７号公報
【特許文献３】
特開平４−３２４７８７号公報
【０００８】
【発明が解決しようとする課題】
ところで、可視光カメラにより得られた画像から人に対応する画像領域を抽出する技術が必要とされる技術がある。例えば、所定空間内への不審者の侵入を検知する技術や、所定空間内に人が存在する場合の当該人の動作状態を判断する技術等である。
【０００９】
しかしながら、この技術に上記の各従来の技術を、人の検出に赤外線カメラを用いるものとして適用した場合、各従来の技術の目的とすることは達成できるものの、可視光カメラにより得られた画像からの人に対応する画像領域の抽出に関しては特に言及されておらず、撮影対象とする空間内のコントラスト（明るい部分と暗い部分との明るさの差）が小さい場合には可視光カメラにより得られた画像から人に対応する画像領域を精度よく抽出することが困難である、という問題点があった。
【００１０】
通常、画像処理により人に対応する画像部分を抽出する方法は、撮像装置の各画像素子が捉えた輝度に閾値を設け、各画像素子が捉えた輝度が閾値より上ならば‘１’、閾値以下ならば‘０’というように２値化することで行うことができる。例えば、一般には背景よりも抽出対象である人体の一部（例えば、手）の方が手前にあるため、撮像装置側から手に向かって照明を行えば、背景より手の輝度が大きくなるため、背景の輝度と手の輝度との間に２値化の閾値を設定すれば、手の部分が抽出できる。
【００１１】
しかしながら、照明強度が不適切で、撮像装置で検出できる背景と抽出対象の間の輝度差（コントラスト）が小さい場合、撮像装置で得られる画像のノイズの影響が相対的に大きくなり、抽出対象の形を正確に抽出することができない。
【００１２】
例えば、人の肌の色が日に焼けて黒く、照明の強度が充分でない場合は、手の照明光の反射輝度が弱くなり、その結果、背景との輝度差が小さくなり、正確に抽出できない。
【００１３】
逆に、人の肌の色合いが白いとき、照明が強すぎると背景の光反射輝度も過度に大きくなりすぎ、その結果、背景との輝度差が小さくなり、正確に抽出できない。
【００１４】
本発明は上記問題点を解消するためになされたものであり、人に対応する画像領域をより正確に抽出可能な画像情報を収集することのできる画像情報収集装置及び方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の画像情報収集装置は、画像情報の収集対象とする空間内を照明する照明手段と、可視光帯域に撮像感度を有すると共に前記空間内を撮像して第１画像情報を取得する可視光撮像手段と、赤外線帯域に撮像感度を有すると共に前記空間内を撮像して第２画像情報を取得する赤外線撮像手段と、前記第２画像情報に基づいて前記空間内に人が存在するか否かを判定する判定手段と、前記判定手段により人が存在すると判定されたときに前記第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記照明手段による照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方を調整する露光調整手段と、を備えている。
【００１６】
請求項１記載の画像情報収集装置は、画像情報の収集対象とする空間内が照明手段によって照明されるものとされており、可視光帯域に撮像感度を有する可視光撮像手段によって前記空間内が撮像されて第１画像情報が取得され、赤外線帯域に撮像感度を有する赤外線撮像手段によって前記空間内が撮像されて第２画像情報が取得される。なお、上記照明手段には、ＬＥＤ、蛍光灯、ハロゲンランプ等のあらゆる光源を含めることができる。
【００１７】
ここで、本発明では、前記第２画像情報に基づいて前記空間内に人が存在するか否かが判定手段によって判定され、人が存在すると判定されたときに前記第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記照明手段による照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方が露光調整手段によって調整される。
【００１８】
すなわち、画像情報の収集対象とする空間内の明るさや、被写体及び背景の色等の撮影条件によっては、可視光撮像手段による撮像により取得された第１画像情報から人の画像領域を抽出することが困難である場合があることは前述した通りである。これに対し、赤外線撮像手段による撮像により取得された第２画像情報からは、上記のような撮影条件とは無関係に、人の体温に対応する温度を示す領域の有無や、当該領域の形状、位置、面積等に基づいて人が存在するか否かを高い確率で判定することができる。
【００１９】
この点に着目して本発明では、第２画像情報に基づいて上記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように当該空間内の照明光の輝度及び可視光撮像手段による露出の少なくとも一方を調整するようにしている。従って、この調整が行われた後に可視光撮像手段により取得された第１画像情報は、当該画像情報により示される画像のコントラストが所定のレベル以上のものとなるため、人に対応する画像領域をより正確に抽出可能な画像情報とすることができる。
【００２０】
このように、請求項１に記載の画像情報収集装置によれば、赤外線帯域に撮像感度を有する赤外線撮像手段により画像情報の収集対象とする空間内を撮像して第２画像情報を取得し、前記第２画像情報に基づいて前記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光撮像手段により前記空間内を撮像して取得される第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記空間内の照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方を調整しているので、人に対応する画像領域をより正確に抽出可能な画像情報を収集することができる。
【００２１】
また、請求項２記載の画像情報収集装置は、請求項１記載の発明において、前記露光調整手段は、前記照明手段による照明光の輝度を調整する場合に、前記輝度を所定レベルの低輝度から徐々に高輝度側に移行させて調整するものである。
【００２２】
請求項２記載の画像情報収集装置によれば、露光調整手段により、照明手段による照明光の輝度を調整する場合に、当該輝度が所定レベルの低輝度から徐々に高輝度側に移行されて調整される。
【００２３】
このように、請求項２に記載の画像情報収集装置によれば、請求項１に記載の発明と同様の効果を奏することができると共に、照明手段による照明光の輝度を調整する場合に、当該輝度を所定レベルの低輝度から徐々に高輝度側に移行させて調整しているので、照明光を発生させるためのエネルギーを節約できると共に、空間内に存在する人に対する照明光による刺激を少なくすることができる。
【００２４】
また、請求項３記載の画像情報収集装置は、請求項１又は請求項２記載の発明において、前記第１画像情報及び前記第２画像情報に基づいて前記第１画像情報から当該第１画像情報により示される画像の雑音成分を除去する雑音除去手段を更に設けたものである。
【００２５】
請求項３記載の画像情報収集装置によれば、第１画像情報及び第２画像情報に基づいて、第１画像情報から当該第１画像情報により示される画像の雑音成分が雑音除去手段によって除去される。
【００２６】
このように、請求項３に記載の画像情報収集装置によれば、請求項１又は請求項２に記載の発明と同様の効果を奏することができると共に、本発明の第１画像情報及び第２画像情報に基づいて、第１画像情報から当該第１画像情報により示される画像の雑音成分を除去しているので、同一条件下で取得された２つの画像情報に基づく高精度な雑音成分の除去が可能となり、この結果、人に対応する画像領域の抽出を高精度に行うことのできる画像情報を収集することができる。
【００２７】
なお、請求項４に記載の画像情報収集装置のように、請求項３に記載の発明における前記雑音除去手段は、前記第１画像情報と前記第２画像情報による画素毎の論理演算によって前記雑音成分を除去するか、又は前記第２画像情報により示される人の領域に対応する画像情報のみを前記第１画像情報から抽出することによって前記雑音成分を除去するものとすることができる。これにより、高精度でかつ簡易に第１画像情報から雑音成分を除去することができる。
【００２８】
更に、請求項５記載の画像情報収集装置は、請求項１乃至請求項４の何れか１項記載の発明において、前記第１画像情報及び前記第２画像情報により示される各画像の視野を一致させる一致手段を更に設けたものである。
【００２９】
請求項５記載の画像情報収集装置によれば、一致手段によって第１画像情報及び第２画像情報により示される各画像の視野が一致される。
【００３０】
このように、請求項５に記載の画像情報収集装置によれば、請求項１乃至請求項４の何れか１項に記載の発明と同様の効果を奏することができると共に、第１画像情報及び第２画像情報により示される各画像の視野を一致させているので、第１画像情報及び第２画像情報により各々示される２つの画像内の同一位置を同一の座標値で示すことができ、第１画像情報及び第２画像情報を用いた画像処理を簡易化することができる。
【００３１】
一方、上記目的を達成するために、請求項６記載の画像情報収集方法は、赤外線帯域に撮像感度を有する赤外線撮像手段により画像情報の収集対象とする空間内を撮像して第２画像情報を取得し、前記第２画像情報に基づいて前記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光撮像手段により前記空間内を撮像して取得される第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記空間内の照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方を調整するものである。
【００３２】
従って、請求項６に記載の画像情報収集方法によれば、請求項１に記載の発明と同様に作用するので、請求項１記載の発明と同様に、人に対応する画像領域をより正確に抽出可能な画像情報を収集することができる。
【００３３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、ここでは、本発明を、個人宅の部屋や病院の病室等の所定空間における空気調和機（所謂エアコン）や電動カーテン等の被制御機器の利用を支援する機器利用支援システムに適用した場合の形態について説明する。まず、図１を参照して、本実施の形態に係る機器利用支援システム１０の構成について説明する。
【００３４】
同図に示すように、本実施の形態に係る機器利用支援システム１０は、機器利用支援装置２０と、該機器利用支援装置２０によって動作が制御される空気調和機や電動カーテン等の被制御機器５０とから構成されている。
【００３５】
機器利用支援装置２０は、各々中間赤外域に撮像感度を有する２台の赤外線カメラ（以下、「ＩＩＲ（Ｉｎｔｅｒｍｅｄｉａｔｅ Ｉｎｆｒａｒｅｄ）カメラ」という。）２４Ａ、２４Ｂと、各々可視光帯域に撮像感度を有する２台の可視光カメラ２６Ａ、２６Ｂとを備えている。ＩＩＲカメラ２４Ａ、２４Ｂ及び可視光カメラ２６Ａ、２６Ｂには、各々、撮像素子の受光面に結像させるための結像レンズとして、広角固定焦点レンズである魚眼レンズが取り付けられている。魚眼レンズには等距離射影（ｅｑｕｉｄｉｓｔａｎｃｅ ｐｒｏｊｅｃｔｉｏｎ）型、立体射影型、等立体角射影型、正射影型等の種々の種類があり、何れの魚眼レンズも使用可能である。ＩＩＲカメラ２４Ａ、２４Ｂが本発明の赤外線撮像手段に、可視光カメラ２６Ａ、２６Ｂが本発明の可視光撮像手段に、各々相当する。
【００３６】
なお、本実施の形態に係る機器利用支援システム１０は、上記所定空間内に設置されているベッド４０で横になっている人（以下、「被写体」という。）６０の指先の動きに応じて被制御機器５０の動作を遠隔操作することによって当該被制御機器５０の利用を支援するものであり、図２に示されるように、ＩＩＲカメラ２４Ａ、２４Ｂは当該所定空間の天井に、当該空間に設置されているベッド４０の全域が撮像可能で、かつ各々の結像レンズの光軸が略平行となるように所定間隔隔てられた状態で取り付けられている。
【００３７】
また、ＩＩＲカメラ２４Ａ、２４Ｂの各々における結像レンズの光軸上には、中間赤外線を透過し、可視光を反射するシリコン、ゲルマニウム等を材料として構成された本発明の一致手段としての反射板２９が取り付けられており、当該反射板２９による可視光の反射方向下流側には、各々の結像レンズの光軸がＩＩＲカメラ２４Ａ、２４Ｂの各々の上記光軸と一致するように可視光カメラ２６Ａ、２６Ｂが取り付けられている。なお、ＩＩＲカメラ２４Ａ及び可視光カメラ２６Ａの各々の撮像面から反射板２９の反射面までの距離が略同一となるように可視光カメラ２６Ａの取り付け位置は位置決めされると共に、ＩＩＲカメラ２４Ｂ及び可視光カメラ２６Ｂの各々の撮像面から反射板２９の反射面までの距離が略同一となるように可視光カメラ２６Ｂの取り付け位置は位置決めされている。
【００３８】
このように、可視光カメラ２６Ａ、２６Ｂが位置決めされると共に、ＩＩＲカメラ２４Ａ、２４Ｂ及び可視光カメラ２６Ａ、２６Ｂの各カメラの結像レンズを同一仕様のものとしているので、ＩＩＲカメラ２４Ａと可視光カメラ２６Ａの視野を略同一とすることができると共に、ＩＩＲカメラ２４Ｂと可視光カメラ２６Ｂの視野を略同一とすることができる。なお、同図では、反射板２９及び可視光カメラ２６Ａ、２６Ｂの取り付け部材の図示は省略されている。
【００３９】
図１に示すように、ＩＩＲカメラ２４Ａ、２４Ｂ及び可視光カメラ２６Ａ、２６Ｂは各々制御部２２に接続されており、各カメラによる撮像によって得られた画像データは制御部２２へ出力される。制御部２２はＣＰＵ、ＲＯＭ、ＲＡＭ、出力ポートを備え、これらがバスを介して互いに接続されて構成されており、後述する機器利用支援処理等を実行するためのプログラムはＲＯＭに記憶されている。
【００４０】
また、制御部２２には、多数のＬＥＤ光源により発光面が構成された照明装置３０が接続されており、照明装置３０による照明光の輝度は制御部２２によって制御される。照明装置３０は、上記所定空間を照明するように当該所定空間の天井に取り付けられている（図２では図示省略）。なお、照明装置３０が本発明の照明手段に相当する。
【００４１】
また、制御部２２には、被制御機器５０に対して各種動作を指示するためのコマンド信号を送信するコマンド送信装置２８が接続されており、コマンド送信装置２８によるコマンド信号の送信は制御部２２によって制御される。
【００４２】
一方、被制御機器５０には、上記コマンド信号を受信する不図示の受信部と、当該受信部により受信されたコマンド信号により指示された動作を行うように被制御機器本体を制御する不図示の制御部とが備えられている。
【００４３】
次に、本実施の形態の作用として、機器利用支援装置２０の制御部２２において所定時間（本実施の形態では１秒）毎に実行される機器利用支援処理について、図３のフローチャートを参照して説明する。なお、ここでは、被写体６０の指先の動きの各種バリエーションと、これによって示される被制御機器５０の動作内容とが予め定められている場合について説明する。
【００４４】
ステップ１００では、人である被写体６０の存在がＩＩＲカメラ２４Ａ及び２４Ｂから入力された画像データ（温熱データ）の少なくとも一方により確認されたか否かを判定し、否定判定の場合は本機器利用支援処理を終了し、肯定判定の場合にはステップ１０２に移行する。
【００４５】
なお、本ステップ１００における被写体６０の存在が確認されたか否かの判定の手法としては、ＩＩＲカメラ２４Ａ及び２４Ｂから入力された温熱データの少なくとも一方において、人の顔及び手の少なくとも一方の表面温度が含まれる所定温度範囲（一例として、２５℃以上３８℃以下の範囲）内の温度を示す画素の数が所定数（一例として、全画素数の１０％の数）以上であるか否かを判定することにより行う手法や、人の衣服の表面温度が含まれる所定温度範囲（一例として、１５℃以上３０℃以下の範囲）内の温度を示す画素の数が所定数（一例として、全画素数の２０％の数）以上であるか否かを判定することにより行う手法や、これらの手法を組み合わせて適用する手法等を例示することができる。すなわち、本実施の形態に係る機器利用支援システム１０では、被写体６０の体温に基づいて当該被写体６０の存在を確認している。このため、上記所定空間内の照明光が比較的暗すぎたり明るすぎたりすることにより、背景と被写体６０との輝度差が可視光カメラで充分判別できない場合でも、被写体６０の存在を確実に確認することができる。
【００４６】
ステップ１０２では、所定輝度レベルである低輝度での照明装置３０による照明を開始し、次のステップ１０４では、可視光カメラ２６Ａ、２６Ｂの露出の状態（シャッター速度及び絞りの状態）を所定高露出値の状態となるように設定する。
【００４７】
次のステップ１０６では、被写体６０が可視光カメラ２６Ａ及び２６Ｂから入力された画像データの双方により検出可能か否かを判定し、否定判定の場合はステップ１０８に移行する。
【００４８】
なお、本ステップ１０６における被写体６０が検出可能か否かの判定の手法としては、可視光カメラ２６Ａ及び２６Ｂから入力された画像データの各々において、全画像エリアにおける画素データの最大値と最小値の差が所定値（一例として、画素データ範囲（画素データが８ビット構成である場合の０以上２５５以下の範囲）の５０％の値）以上であるか否かを判定することにより行う手法や、少なくとも被写体６０の手が含まれる一部画像エリアにおける画素データの最大値と最小値の差が所定値（一例として、画素データ範囲の３０％の値）以上であるか否かを判定することにより行う手法等、可視光カメラから入力された画像データにより示される画像のコントラストを示す値が所定値以上であるか否かに基づいて行う手法を例示することができる。
【００４９】
ステップ１０８では、照明装置３０における発光輝度の所定度合い（一例として、照明装置３０の最大輝度の５％に対応する度合い）の増加及び可視光カメラ２６Ａ、２６Ｂにおける露出値の所定値（一例として、１）の低減が可能か否かを判定することにより、上記所定空間における露光量の増加が可能であるか否かを判定し、否定判定の場合はステップ１１０に移行して、不図示のブザーの鳴動、不図示の音声再生装置による当該機器利用支援処理ができない旨を示すメッセージの再生、不図示のランプの点灯・点滅等により被写体６０に対して警報を発生した後に本機器利用支援処理を終了する。
【００５０】
一方、上記ステップ１０８において肯定判定となった場合はステップ１１２に移行して照明装置３０における発光輝度が上記所定度合いだけ増加するように照明装置３０を制御した後、次のステップ１１４で可視光カメラ２６Ａ、２６Ｂの露出値が各々上記所定値だけ低減されるように可視光カメラ２６Ａ、２６Ｂの露出状態を補正した後に上記ステップ１０６に戻る。
【００５１】
このステップ１０６〜ステップ１１４の繰り返し処理により、可視光カメラ２６Ａ、２６Ｂによって取得される画像データにより示される画像における被写体６０の領域と背景領域との間の輝度差（コントラスト）を、当該画像データにより被写体６０を検出可能とすることのできる所定レベル以上とすることができる。
【００５２】
一方、上記ステップ１０６において肯定判定となった場合はステップ１１６に移行し、この時点で可視光カメラ２６Ａ及び２６Ｂから入力されている画像データに対してノイズ除去処理を施した後にステップ１１８に移行する。
【００５３】
なお、本ステップ１１６におけるノイズ除去処理としては種々の処理を適用することができるが、本実施の形態では、一例として図４に示すように、可視光カメラにより取得された２値化後の画像データとＩＩＲカメラにより取得された２値化後の画像データとの画素毎の論理積演算を行うことによるノイズ除去処理を採用している。すなわち、本ノイズ除去処理は、可視光カメラにより取得された画像データにおいて発生するノイズの位置と、ＩＩＲカメラにより取得された画像データにおいて発生するノイズの位置とは一致する可能性が低い点を利用してノイズ除去を行う手法を採用している。なお、上記論理積演算は、可視光カメラ２６Ａにより取得された画像データに対してはＩＩＲカメラ２４Ａにより取得された画像データを用いて行い、可視光カメラ２６Ｂにより取得された画像データに対してはＩＩＲカメラ２４Ｂにより取得された画像データを用いて行う。
【００５４】
ステップ１１８では、可視光カメラ２６Ａ及び２６Ｂにより取得され、ノイズ除去処理が施された後の各画像データに基づいて被写体６０の指先位置の３次元座標を導出し、次のステップ１２０では、導出した３次元座標を示すデータを制御部２２に備えられたＲＡＭに記憶し、更に次のステップ１２２では、ＲＡＭに記憶した３次元座標を示すデータの数が所定数に達したか否かを判定し、否定判定の場合は上記ステップ１１６に戻り、肯定判定となった時点でステップ１２４に移行する。
【００５５】
なお、上記ステップ１１８による３次元座標の導出は、可視光カメラ２６Ａ、２６Ｂによる各画像データを用いたステレオ法により行うことができる。なお、ステレオ法は周知の技術であるので、ここでの説明は省略する。
【００５６】
以上のステップ１１６〜ステップ１２２の繰り返し処理により、被写体６０の指先位置を示す３次元座標を示すデータが時系列に所定数だけサンプリングされるので、ステップ１２４では、当該所定数の３次元座標を示すデータに基づいて機器動作制御処理を実行する。
【００５７】
本実施の形態に係る機器利用支援システム１０では、前述したように、被写体６０の指先の動きの各種バリエーションと、これによって示される被制御機器５０の動作内容とが予め定められているので、本実施の形態に係る機器動作制御処理では、上記所定数の３次元座標を示すデータにより被写体６０の指先の動きを特定し、当該動きに対応する被制御機器５０の動作内容の実行を指示するコマンド信号をコマンド送信装置２８を介して被制御機器５０に送信する処理を実行する。当該コマンド信号を受信部により受信した被制御機器５０では、制御部によって当該コマンド信号により指示された動作を行うように被制御機器本体を制御する。これによって、被写体６０により指先の動きによって指示された被制御機器５０の動作が実行されることになる。
【００５８】
次のステップ１２６では、照明装置３０の発光輝度が本機器利用支援処理の実行開始時における輝度となるように復帰させ、その後に本機器利用支援処理を終了する。
【００５９】
本機器利用支援処理のステップ１００の処理が本発明の判定手段に、ステップ１１２、１１４の処理が本発明の露光調整手段に、ステップ１１６の処理が本発明の雑音除去手段に、各々相当する。
【００６０】
以上詳細に説明したように、本実施の形態によれば、赤外線帯域に撮像感度を有するＩＩＲカメラ２４Ａ、２４Ｂにより画像データの収集対象とする空間内を撮像して画像データ（温熱データ）を取得し、当該画像データに基づいて上記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光カメラ２６Ａ、２６Ｂにより上記空間内を撮像して取得される画像データにより示される画像のコントラストが所定レベル以上となるように上記空間内の照明光の輝度及び可視光カメラ２６Ａ、２６Ｂによる露出の少なくとも一方を調整しているので、人に対応する画像領域をより正確に抽出可能な画像データを収集することができる。
【００６１】
また、本実施の形態によれば、照明装置３０による照明光の輝度を調整する場合に、当該輝度を所定レベルの低輝度から徐々に高輝度側に移行させて調整しているので、照明光を発生させるためのエネルギーを節約できると共に、空間内に存在する人に対する照明光による刺激を少なくすることができる。
【００６２】
また、本実施の形態によれば、可視光カメラによって取得された画像データ及びＩＩＲカメラによって取得された画像データに基づいて、可視光カメラによって取得された画像データから当該画像データにより示される画像の雑音成分を除去しているので、同一条件下で取得された２つの画像データに基づく高精度な雑音成分の除去が可能となり、この結果、人に対応する画像領域の抽出を高精度に行うことのできる画像データを収集することができる。
【００６３】
また、本実施の形態によれば、可視光カメラによって取得された画像データとＩＩＲカメラによって取得された画像データによる画素毎の論理演算によってノイズ成分を除去しているので、高精度でかつ簡易に可視光カメラによって取得された画像データからノイズ成分を除去することができる。
【００６４】
更に、本実施の形態によれば、可視光カメラによって取得された画像データ及びＩＩＲカメラによって取得された画像データにより示される各画像の視野を一致させているので、各画像データにより各々示される２つの画像内の同一位置を同一の座標値で示すことができ、各画像データを用いた画像処理を簡易化することができる。
【００６５】
なお、本実施の形態では、被写体６０の指先位置の３次元座標を導出する手法としてステレオ法を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法を適用する形態とすることもできる。この場合も、本実施の形態と同様の効果を奏することができる。
【００６６】
また、本実施の形態では、ノイズ除去処理の手法として可視光カメラにより得られた画像データとＩＩＲカメラにより得られた画像データを用いた画素データ毎の論理演算による手法を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、ＩＩＲカメラにより取得された画像データにおける人の体温に対応する温度範囲に含まれる画像領域のみを、可視光カメラにより取得された画像データから抽出する手法を適用する形態とすることもできる。この場合にも、本実施の形態と同様の効果を奏することができる。
【００６７】
また、本実施の形態では、ＩＩＲカメラ及び可視光カメラを各々２台ずつ備えると共に、ＩＩＲカメラと対応する可視光カメラとの視野を一致させ、かつ各カメラの結像レンズの光軸方向を平行とした場合について説明したが、本発明はこれに限定されるものではなく、以下に示すような様々な変形が可能である。
【００６８】
例えば、本実施の形態では、被写体６０の指先位置の３次元座標を導出するために２台の可視光カメラを備えると共に、可視光カメラ及びＩＩＲカメラによって得られた画像データによる画素毎の論理演算によってノイズ除去処理を行うために可視光カメラとＩＩＲカメラの視野を一致させたが、１視点から得られた画像データのみに基づいて画像処理を行う用途に本発明を適用する場合には、図５（Ａ）に示すように、ＩＩＲカメラ２４及び可視光カメラ２６を各々１台ずつ、異なる位置に並べて配置する形態や、図５（Ｂ）に示すように、ＩＩＲカメラ２４の結像レンズの光軸上に、中間赤外線を透過し、可視光を反射するシリコン、ゲルマニウム等を材料として構成された本実施の形態と同様の反射板２９を設けると共に、当該反射板２９による可視光の反射方向下流側に、結像レンズの光軸がＩＩＲカメラ２４の光軸と一致するように可視光カメラ２６を設ける形態、すなわち、本実施の形態におけるＩＩＲカメラ２４Ａと可視光カメラ２６Ａ、及びＩＩＲカメラ２４Ｂと可視光カメラ２６Ｂの何れか１セットのみを適用する形態とすることもできる。
【００６９】
また、本実施の形態と同様に、２視点から得られた画像データに基づいて画像処理を行う用途に本発明を適用する場合には、図５（Ｃ）に示すように、２台の可視光カメラ２６Ａ、２６Ｂの略中央部に１台のＩＩＲカメラ２４を設置する形態や、図５（Ｄ）に示すように、１台のＩＩＲカメラ２４の結像レンズの光軸上に、中間赤外線を透過し、可視光を反射するシリコン、ゲルマニウム等を材料として構成された本実施の形態と同様の反射板２９を設けると共に、当該反射板２９による可視光の反射方向下流側に２台の可視光カメラ２６Ａ及び２６Ｂを設ける形態や、図５（Ｅ）に示すように、反射板２９を用いることなく、２台のＩＩＲカメラ２４Ａ、２４Ｂに並べて２台の可視光カメラ２６Ａ、２６Ｂを配置する形態とすることもできる。
【００７０】
更に、図５（Ａ）に示す配置状態とされたＩＩＲカメラ２４及び可視光カメラ２６を、各々の可視光カメラにおける結像レンズの光軸が平行とならないように２セット分配置する形態や、図５（Ｂ）に示す配置状態とされたＩＩＲカメラ２４及び可視光カメラ２６を、各々の可視光カメラにおける結像レンズの光軸が平行とならないように２セット分配置する形態とすることもできる。
【００７１】
また、本実施の形態では、可視光カメラ２６Ａ、２６Ｂにより取得される画像データによって示される画像における被写体６０の領域と背景領域との間の輝度差（コントラスト）を所定レベル以上とするために、照明装置３０における発光輝度と可視光カメラ２６Ａ、２６Ｂの露出状態の双方を調整する場合について説明したが、本発明はこれに限定されるものではなく、当該発光輝度及び露出状態の何れか一方のみを調整する形態とすることもできる。この場合は、調整対象とするパラメータ数が少なくなるので許容調整範囲が狭くなってしまう反面、調整に対する処理上の負荷を軽減することができる。
【００７２】
また、本実施の形態で説明した機器利用支援システム１０の構成（図１、図２参照）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００７３】
また、本実施の形態において説明した機器利用支援処理プログラム（図３参照）の処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００７４】
更に、本発明は上記機器利用支援システム１０に限らず、様々な画像処理装置に適用可能である。
【００７５】
【発明の効果】
請求項１に記載の画像情報収集装置及び請求項６に記載の画像情報収集方法によれば、赤外線帯域に撮像感度を有する赤外線撮像手段により画像情報の収集対象とする空間内を撮像して第２画像情報を取得し、前記第２画像情報に基づいて前記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光撮像手段により前記空間内を撮像して取得される第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記空間内の照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方を調整しているので、人に対応する画像領域をより正確に抽出可能な画像情報を収集することができる、という効果が得られる。
【００７６】
また、請求項２に記載の画像情報収集装置によれば、照明手段による照明光の輝度を調整する場合に、当該輝度を所定レベルの低輝度から徐々に高輝度側に移行させて調整しているので、照明光を発生させるためのエネルギーを節約できると共に、空間内に存在する人に対する照明光による刺激を少なくすることができる、という効果が得られる。
【００７７】
また、請求項３に記載の画像情報収集装置によれば、本発明の第１画像情報及び第２画像情報に基づいて、第１画像情報から当該第１画像情報により示される画像の雑音成分を除去しているので、同一条件下で取得された２つの画像情報に基づく高精度な雑音成分の除去が可能となり、この結果、人に対応する画像領域の抽出を高精度に行うことのできる画像情報を収集することができる、という効果が得られる。
【００７８】
また、請求項４に記載の画像情報収集装置によれば、第１画像情報と第２画像情報による画素毎の論理演算によって雑音成分を除去するか、又は第２画像情報により示される人の領域に対応する画像情報のみを第１画像情報から抽出することによって雑音成分を除去するものとしているので、高精度でかつ簡易に第１画像情報から雑音成分を除去することができる、という効果が得られる。
【００７９】
更に、請求項５に記載の画像情報収集装置によれば、第１画像情報及び第２画像情報により示される各画像の視野を一致させているので、第１画像情報及び第２画像情報により各々示される２つの画像内の同一位置を同一の座標値で示すことができ、第１画像情報及び第２画像情報を用いた画像処理を簡易化することができる、という効果が得られる。
【図面の簡単な説明】
【図１】実施の形態に係る機器利用支援システム１０の構成を示すブロック図である。
【図２】実施の形態に係る機器利用支援システム１０における被写体６０と、ＩＩＲカメラ２４Ａ、２４Ｂ及び可視光カメラ２６Ａ、２６Ｂとの位置関係及び各カメラの設置状態を示す概略図である。
【図３】実施の形態に係る機器利用支援処理プログラムの処理の流れを示すフローチャートである。
【図４】実施の形態に係るノイズ除去処理の説明に供する概略図である。
【図５】実施の形態のＩＩＲカメラ及び可視光カメラの設置台数及び設置位置の変形例の説明に供する概略図である。
【符号の説明】
１０ 機器利用支援システム
２０ 機器利用支援装置
２２ 制御部（判定手段、露光調整手段、雑音除去手段）
２４Ａ、２４Ｂ ＩＩＲカメラ（赤外線撮像手段）
２６Ａ、２６Ｂ 可視光カメラ（可視光撮像手段）
２８ コマンド送信装置
２９ 反射板（一致手段）
３０ 照明装置（照明手段）
４０ ベッド
６０ 被写体
【発明の属する技術分野】
本発明は、画像情報収集装置及び方法に係り、より詳しくは、可視光帯域に撮像感度を有する可視光撮像手段と、赤外線帯域に撮像感度を有する赤外線撮像手段とを備えた画像情報収集装置及び方法に関する。
【０００２】
【従来の技術】
従来より、赤外線帯域に撮像感度を有する赤外線カメラが用いられている。以前のこの種の赤外線カメラは、高価であると共に、冷却装置を必要として大型化が避けられなかったため、広く一般に普及するには至らなかった。しかしながら、近年、半導体技術の進歩によってＭＯＳ型の小型赤外線カメラが製造可能となってきており、これに伴って赤外線カメラの利用が拡大しつつある。
【０００３】
このような赤外線カメラと、可視光帯域に撮像感度を有する通常のカメラ（以下、「可視光カメラ」という。）と、を併用することによって様々な技術が実現可能となるが、これに関する従来の技術として以下に示すものがあった。
【０００４】
まず、２つの異なる波長帯の電磁波（可視光及び赤外線）を撮像し映像信号に変換する２つのカメラ間の視差によって生じる両カメラ間の画像の不一致をなくすことを目的として、一方の波長帯の電磁波を反射させ他方の波長帯の電磁波を透過させる光学系を備えると共に、反射電磁波を一方のカメラで撮像し、透過電磁波を他方のカメラで撮像する技術があった（例えば、特許文献１参照。）。
【０００５】
また、異常検知を的確かつ迅速に行うことを目的として、可視光カメラによって得られた画像情報に基づいて異常を検知すると共に赤外線カメラによって得られた画像情報に基づいて異常を検知するものとし、これら各画像情報毎に検知された異常の内容及び発生場所が同一である場合には信頼性の高い異常警報を行い、一方のみ異常が検知された場合にはその旨を付加した異常警報を行う技術もあった（例えば、特許文献２参照。）。
【０００６】
更に、対象物を赤外線カメラで撮影し、該赤外線カメラからの赤外線放射分布を検出して異常の有無を監視する監視装置において、赤外線カメラによる対象物の検知精度を向上させることを目的として、対象物撮影用の可視光カメラを赤外線カメラに併設して搭載し、可視光カメラにより撮影した可視画像と基準可視画像との比較による画像の位置や方向のずれ量に基づき、赤外線カメラ位置や方向の偏差を補正する機能あるいは可視光カメラと同時に撮影した赤外画像を補正する機能を備える技術もあった（例えば、特許文献３参照。）。
【０００７】
【特許文献１】
特開２００２−２０９１２６公報
【特許文献２】
特開平７−２４５７５７号公報
【特許文献３】
特開平４−３２４７８７号公報
【０００８】
【発明が解決しようとする課題】
ところで、可視光カメラにより得られた画像から人に対応する画像領域を抽出する技術が必要とされる技術がある。例えば、所定空間内への不審者の侵入を検知する技術や、所定空間内に人が存在する場合の当該人の動作状態を判断する技術等である。
【０００９】
しかしながら、この技術に上記の各従来の技術を、人の検出に赤外線カメラを用いるものとして適用した場合、各従来の技術の目的とすることは達成できるものの、可視光カメラにより得られた画像からの人に対応する画像領域の抽出に関しては特に言及されておらず、撮影対象とする空間内のコントラスト（明るい部分と暗い部分との明るさの差）が小さい場合には可視光カメラにより得られた画像から人に対応する画像領域を精度よく抽出することが困難である、という問題点があった。
【００１０】
通常、画像処理により人に対応する画像部分を抽出する方法は、撮像装置の各画像素子が捉えた輝度に閾値を設け、各画像素子が捉えた輝度が閾値より上ならば‘１’、閾値以下ならば‘０’というように２値化することで行うことができる。例えば、一般には背景よりも抽出対象である人体の一部（例えば、手）の方が手前にあるため、撮像装置側から手に向かって照明を行えば、背景より手の輝度が大きくなるため、背景の輝度と手の輝度との間に２値化の閾値を設定すれば、手の部分が抽出できる。
【００１１】
しかしながら、照明強度が不適切で、撮像装置で検出できる背景と抽出対象の間の輝度差（コントラスト）が小さい場合、撮像装置で得られる画像のノイズの影響が相対的に大きくなり、抽出対象の形を正確に抽出することができない。
【００１２】
例えば、人の肌の色が日に焼けて黒く、照明の強度が充分でない場合は、手の照明光の反射輝度が弱くなり、その結果、背景との輝度差が小さくなり、正確に抽出できない。
【００１３】
逆に、人の肌の色合いが白いとき、照明が強すぎると背景の光反射輝度も過度に大きくなりすぎ、その結果、背景との輝度差が小さくなり、正確に抽出できない。
【００１４】
本発明は上記問題点を解消するためになされたものであり、人に対応する画像領域をより正確に抽出可能な画像情報を収集することのできる画像情報収集装置及び方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の画像情報収集装置は、画像情報の収集対象とする空間内を照明する照明手段と、可視光帯域に撮像感度を有すると共に前記空間内を撮像して第１画像情報を取得する可視光撮像手段と、赤外線帯域に撮像感度を有すると共に前記空間内を撮像して第２画像情報を取得する赤外線撮像手段と、前記第２画像情報に基づいて前記空間内に人が存在するか否かを判定する判定手段と、前記判定手段により人が存在すると判定されたときに前記第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記照明手段による照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方を調整する露光調整手段と、を備えている。
【００１６】
請求項１記載の画像情報収集装置は、画像情報の収集対象とする空間内が照明手段によって照明されるものとされており、可視光帯域に撮像感度を有する可視光撮像手段によって前記空間内が撮像されて第１画像情報が取得され、赤外線帯域に撮像感度を有する赤外線撮像手段によって前記空間内が撮像されて第２画像情報が取得される。なお、上記照明手段には、ＬＥＤ、蛍光灯、ハロゲンランプ等のあらゆる光源を含めることができる。
【００１７】
ここで、本発明では、前記第２画像情報に基づいて前記空間内に人が存在するか否かが判定手段によって判定され、人が存在すると判定されたときに前記第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記照明手段による照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方が露光調整手段によって調整される。
【００１８】
すなわち、画像情報の収集対象とする空間内の明るさや、被写体及び背景の色等の撮影条件によっては、可視光撮像手段による撮像により取得された第１画像情報から人の画像領域を抽出することが困難である場合があることは前述した通りである。これに対し、赤外線撮像手段による撮像により取得された第２画像情報からは、上記のような撮影条件とは無関係に、人の体温に対応する温度を示す領域の有無や、当該領域の形状、位置、面積等に基づいて人が存在するか否かを高い確率で判定することができる。
【００１９】
この点に着目して本発明では、第２画像情報に基づいて上記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように当該空間内の照明光の輝度及び可視光撮像手段による露出の少なくとも一方を調整するようにしている。従って、この調整が行われた後に可視光撮像手段により取得された第１画像情報は、当該画像情報により示される画像のコントラストが所定のレベル以上のものとなるため、人に対応する画像領域をより正確に抽出可能な画像情報とすることができる。
【００２０】
このように、請求項１に記載の画像情報収集装置によれば、赤外線帯域に撮像感度を有する赤外線撮像手段により画像情報の収集対象とする空間内を撮像して第２画像情報を取得し、前記第２画像情報に基づいて前記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光撮像手段により前記空間内を撮像して取得される第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記空間内の照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方を調整しているので、人に対応する画像領域をより正確に抽出可能な画像情報を収集することができる。
【００２１】
また、請求項２記載の画像情報収集装置は、請求項１記載の発明において、前記露光調整手段は、前記照明手段による照明光の輝度を調整する場合に、前記輝度を所定レベルの低輝度から徐々に高輝度側に移行させて調整するものである。
【００２２】
請求項２記載の画像情報収集装置によれば、露光調整手段により、照明手段による照明光の輝度を調整する場合に、当該輝度が所定レベルの低輝度から徐々に高輝度側に移行されて調整される。
【００２３】
このように、請求項２に記載の画像情報収集装置によれば、請求項１に記載の発明と同様の効果を奏することができると共に、照明手段による照明光の輝度を調整する場合に、当該輝度を所定レベルの低輝度から徐々に高輝度側に移行させて調整しているので、照明光を発生させるためのエネルギーを節約できると共に、空間内に存在する人に対する照明光による刺激を少なくすることができる。
【００２４】
また、請求項３記載の画像情報収集装置は、請求項１又は請求項２記載の発明において、前記第１画像情報及び前記第２画像情報に基づいて前記第１画像情報から当該第１画像情報により示される画像の雑音成分を除去する雑音除去手段を更に設けたものである。
【００２５】
請求項３記載の画像情報収集装置によれば、第１画像情報及び第２画像情報に基づいて、第１画像情報から当該第１画像情報により示される画像の雑音成分が雑音除去手段によって除去される。
【００２６】
このように、請求項３に記載の画像情報収集装置によれば、請求項１又は請求項２に記載の発明と同様の効果を奏することができると共に、本発明の第１画像情報及び第２画像情報に基づいて、第１画像情報から当該第１画像情報により示される画像の雑音成分を除去しているので、同一条件下で取得された２つの画像情報に基づく高精度な雑音成分の除去が可能となり、この結果、人に対応する画像領域の抽出を高精度に行うことのできる画像情報を収集することができる。
【００２７】
なお、請求項４に記載の画像情報収集装置のように、請求項３に記載の発明における前記雑音除去手段は、前記第１画像情報と前記第２画像情報による画素毎の論理演算によって前記雑音成分を除去するか、又は前記第２画像情報により示される人の領域に対応する画像情報のみを前記第１画像情報から抽出することによって前記雑音成分を除去するものとすることができる。これにより、高精度でかつ簡易に第１画像情報から雑音成分を除去することができる。
【００２８】
更に、請求項５記載の画像情報収集装置は、請求項１乃至請求項４の何れか１項記載の発明において、前記第１画像情報及び前記第２画像情報により示される各画像の視野を一致させる一致手段を更に設けたものである。
【００２９】
請求項５記載の画像情報収集装置によれば、一致手段によって第１画像情報及び第２画像情報により示される各画像の視野が一致される。
【００３０】
このように、請求項５に記載の画像情報収集装置によれば、請求項１乃至請求項４の何れか１項に記載の発明と同様の効果を奏することができると共に、第１画像情報及び第２画像情報により示される各画像の視野を一致させているので、第１画像情報及び第２画像情報により各々示される２つの画像内の同一位置を同一の座標値で示すことができ、第１画像情報及び第２画像情報を用いた画像処理を簡易化することができる。
【００３１】
一方、上記目的を達成するために、請求項６記載の画像情報収集方法は、赤外線帯域に撮像感度を有する赤外線撮像手段により画像情報の収集対象とする空間内を撮像して第２画像情報を取得し、前記第２画像情報に基づいて前記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光撮像手段により前記空間内を撮像して取得される第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記空間内の照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方を調整するものである。
【００３２】
従って、請求項６に記載の画像情報収集方法によれば、請求項１に記載の発明と同様に作用するので、請求項１記載の発明と同様に、人に対応する画像領域をより正確に抽出可能な画像情報を収集することができる。
【００３３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、ここでは、本発明を、個人宅の部屋や病院の病室等の所定空間における空気調和機（所謂エアコン）や電動カーテン等の被制御機器の利用を支援する機器利用支援システムに適用した場合の形態について説明する。まず、図１を参照して、本実施の形態に係る機器利用支援システム１０の構成について説明する。
【００３４】
同図に示すように、本実施の形態に係る機器利用支援システム１０は、機器利用支援装置２０と、該機器利用支援装置２０によって動作が制御される空気調和機や電動カーテン等の被制御機器５０とから構成されている。
【００３５】
機器利用支援装置２０は、各々中間赤外域に撮像感度を有する２台の赤外線カメラ（以下、「ＩＩＲ（Ｉｎｔｅｒｍｅｄｉａｔｅ Ｉｎｆｒａｒｅｄ）カメラ」という。）２４Ａ、２４Ｂと、各々可視光帯域に撮像感度を有する２台の可視光カメラ２６Ａ、２６Ｂとを備えている。ＩＩＲカメラ２４Ａ、２４Ｂ及び可視光カメラ２６Ａ、２６Ｂには、各々、撮像素子の受光面に結像させるための結像レンズとして、広角固定焦点レンズである魚眼レンズが取り付けられている。魚眼レンズには等距離射影（ｅｑｕｉｄｉｓｔａｎｃｅ ｐｒｏｊｅｃｔｉｏｎ）型、立体射影型、等立体角射影型、正射影型等の種々の種類があり、何れの魚眼レンズも使用可能である。ＩＩＲカメラ２４Ａ、２４Ｂが本発明の赤外線撮像手段に、可視光カメラ２６Ａ、２６Ｂが本発明の可視光撮像手段に、各々相当する。
【００３６】
なお、本実施の形態に係る機器利用支援システム１０は、上記所定空間内に設置されているベッド４０で横になっている人（以下、「被写体」という。）６０の指先の動きに応じて被制御機器５０の動作を遠隔操作することによって当該被制御機器５０の利用を支援するものであり、図２に示されるように、ＩＩＲカメラ２４Ａ、２４Ｂは当該所定空間の天井に、当該空間に設置されているベッド４０の全域が撮像可能で、かつ各々の結像レンズの光軸が略平行となるように所定間隔隔てられた状態で取り付けられている。
【００３７】
また、ＩＩＲカメラ２４Ａ、２４Ｂの各々における結像レンズの光軸上には、中間赤外線を透過し、可視光を反射するシリコン、ゲルマニウム等を材料として構成された本発明の一致手段としての反射板２９が取り付けられており、当該反射板２９による可視光の反射方向下流側には、各々の結像レンズの光軸がＩＩＲカメラ２４Ａ、２４Ｂの各々の上記光軸と一致するように可視光カメラ２６Ａ、２６Ｂが取り付けられている。なお、ＩＩＲカメラ２４Ａ及び可視光カメラ２６Ａの各々の撮像面から反射板２９の反射面までの距離が略同一となるように可視光カメラ２６Ａの取り付け位置は位置決めされると共に、ＩＩＲカメラ２４Ｂ及び可視光カメラ２６Ｂの各々の撮像面から反射板２９の反射面までの距離が略同一となるように可視光カメラ２６Ｂの取り付け位置は位置決めされている。
【００３８】
このように、可視光カメラ２６Ａ、２６Ｂが位置決めされると共に、ＩＩＲカメラ２４Ａ、２４Ｂ及び可視光カメラ２６Ａ、２６Ｂの各カメラの結像レンズを同一仕様のものとしているので、ＩＩＲカメラ２４Ａと可視光カメラ２６Ａの視野を略同一とすることができると共に、ＩＩＲカメラ２４Ｂと可視光カメラ２６Ｂの視野を略同一とすることができる。なお、同図では、反射板２９及び可視光カメラ２６Ａ、２６Ｂの取り付け部材の図示は省略されている。
【００３９】
図１に示すように、ＩＩＲカメラ２４Ａ、２４Ｂ及び可視光カメラ２６Ａ、２６Ｂは各々制御部２２に接続されており、各カメラによる撮像によって得られた画像データは制御部２２へ出力される。制御部２２はＣＰＵ、ＲＯＭ、ＲＡＭ、出力ポートを備え、これらがバスを介して互いに接続されて構成されており、後述する機器利用支援処理等を実行するためのプログラムはＲＯＭに記憶されている。
【００４０】
また、制御部２２には、多数のＬＥＤ光源により発光面が構成された照明装置３０が接続されており、照明装置３０による照明光の輝度は制御部２２によって制御される。照明装置３０は、上記所定空間を照明するように当該所定空間の天井に取り付けられている（図２では図示省略）。なお、照明装置３０が本発明の照明手段に相当する。
【００４１】
また、制御部２２には、被制御機器５０に対して各種動作を指示するためのコマンド信号を送信するコマンド送信装置２８が接続されており、コマンド送信装置２８によるコマンド信号の送信は制御部２２によって制御される。
【００４２】
一方、被制御機器５０には、上記コマンド信号を受信する不図示の受信部と、当該受信部により受信されたコマンド信号により指示された動作を行うように被制御機器本体を制御する不図示の制御部とが備えられている。
【００４３】
次に、本実施の形態の作用として、機器利用支援装置２０の制御部２２において所定時間（本実施の形態では１秒）毎に実行される機器利用支援処理について、図３のフローチャートを参照して説明する。なお、ここでは、被写体６０の指先の動きの各種バリエーションと、これによって示される被制御機器５０の動作内容とが予め定められている場合について説明する。
【００４４】
ステップ１００では、人である被写体６０の存在がＩＩＲカメラ２４Ａ及び２４Ｂから入力された画像データ（温熱データ）の少なくとも一方により確認されたか否かを判定し、否定判定の場合は本機器利用支援処理を終了し、肯定判定の場合にはステップ１０２に移行する。
【００４５】
なお、本ステップ１００における被写体６０の存在が確認されたか否かの判定の手法としては、ＩＩＲカメラ２４Ａ及び２４Ｂから入力された温熱データの少なくとも一方において、人の顔及び手の少なくとも一方の表面温度が含まれる所定温度範囲（一例として、２５℃以上３８℃以下の範囲）内の温度を示す画素の数が所定数（一例として、全画素数の１０％の数）以上であるか否かを判定することにより行う手法や、人の衣服の表面温度が含まれる所定温度範囲（一例として、１５℃以上３０℃以下の範囲）内の温度を示す画素の数が所定数（一例として、全画素数の２０％の数）以上であるか否かを判定することにより行う手法や、これらの手法を組み合わせて適用する手法等を例示することができる。すなわち、本実施の形態に係る機器利用支援システム１０では、被写体６０の体温に基づいて当該被写体６０の存在を確認している。このため、上記所定空間内の照明光が比較的暗すぎたり明るすぎたりすることにより、背景と被写体６０との輝度差が可視光カメラで充分判別できない場合でも、被写体６０の存在を確実に確認することができる。
【００４６】
ステップ１０２では、所定輝度レベルである低輝度での照明装置３０による照明を開始し、次のステップ１０４では、可視光カメラ２６Ａ、２６Ｂの露出の状態（シャッター速度及び絞りの状態）を所定高露出値の状態となるように設定する。
【００４７】
次のステップ１０６では、被写体６０が可視光カメラ２６Ａ及び２６Ｂから入力された画像データの双方により検出可能か否かを判定し、否定判定の場合はステップ１０８に移行する。
【００４８】
なお、本ステップ１０６における被写体６０が検出可能か否かの判定の手法としては、可視光カメラ２６Ａ及び２６Ｂから入力された画像データの各々において、全画像エリアにおける画素データの最大値と最小値の差が所定値（一例として、画素データ範囲（画素データが８ビット構成である場合の０以上２５５以下の範囲）の５０％の値）以上であるか否かを判定することにより行う手法や、少なくとも被写体６０の手が含まれる一部画像エリアにおける画素データの最大値と最小値の差が所定値（一例として、画素データ範囲の３０％の値）以上であるか否かを判定することにより行う手法等、可視光カメラから入力された画像データにより示される画像のコントラストを示す値が所定値以上であるか否かに基づいて行う手法を例示することができる。
【００４９】
ステップ１０８では、照明装置３０における発光輝度の所定度合い（一例として、照明装置３０の最大輝度の５％に対応する度合い）の増加及び可視光カメラ２６Ａ、２６Ｂにおける露出値の所定値（一例として、１）の低減が可能か否かを判定することにより、上記所定空間における露光量の増加が可能であるか否かを判定し、否定判定の場合はステップ１１０に移行して、不図示のブザーの鳴動、不図示の音声再生装置による当該機器利用支援処理ができない旨を示すメッセージの再生、不図示のランプの点灯・点滅等により被写体６０に対して警報を発生した後に本機器利用支援処理を終了する。
【００５０】
一方、上記ステップ１０８において肯定判定となった場合はステップ１１２に移行して照明装置３０における発光輝度が上記所定度合いだけ増加するように照明装置３０を制御した後、次のステップ１１４で可視光カメラ２６Ａ、２６Ｂの露出値が各々上記所定値だけ低減されるように可視光カメラ２６Ａ、２６Ｂの露出状態を補正した後に上記ステップ１０６に戻る。
【００５１】
このステップ１０６〜ステップ１１４の繰り返し処理により、可視光カメラ２６Ａ、２６Ｂによって取得される画像データにより示される画像における被写体６０の領域と背景領域との間の輝度差（コントラスト）を、当該画像データにより被写体６０を検出可能とすることのできる所定レベル以上とすることができる。
【００５２】
一方、上記ステップ１０６において肯定判定となった場合はステップ１１６に移行し、この時点で可視光カメラ２６Ａ及び２６Ｂから入力されている画像データに対してノイズ除去処理を施した後にステップ１１８に移行する。
【００５３】
なお、本ステップ１１６におけるノイズ除去処理としては種々の処理を適用することができるが、本実施の形態では、一例として図４に示すように、可視光カメラにより取得された２値化後の画像データとＩＩＲカメラにより取得された２値化後の画像データとの画素毎の論理積演算を行うことによるノイズ除去処理を採用している。すなわち、本ノイズ除去処理は、可視光カメラにより取得された画像データにおいて発生するノイズの位置と、ＩＩＲカメラにより取得された画像データにおいて発生するノイズの位置とは一致する可能性が低い点を利用してノイズ除去を行う手法を採用している。なお、上記論理積演算は、可視光カメラ２６Ａにより取得された画像データに対してはＩＩＲカメラ２４Ａにより取得された画像データを用いて行い、可視光カメラ２６Ｂにより取得された画像データに対してはＩＩＲカメラ２４Ｂにより取得された画像データを用いて行う。
【００５４】
ステップ１１８では、可視光カメラ２６Ａ及び２６Ｂにより取得され、ノイズ除去処理が施された後の各画像データに基づいて被写体６０の指先位置の３次元座標を導出し、次のステップ１２０では、導出した３次元座標を示すデータを制御部２２に備えられたＲＡＭに記憶し、更に次のステップ１２２では、ＲＡＭに記憶した３次元座標を示すデータの数が所定数に達したか否かを判定し、否定判定の場合は上記ステップ１１６に戻り、肯定判定となった時点でステップ１２４に移行する。
【００５５】
なお、上記ステップ１１８による３次元座標の導出は、可視光カメラ２６Ａ、２６Ｂによる各画像データを用いたステレオ法により行うことができる。なお、ステレオ法は周知の技術であるので、ここでの説明は省略する。
【００５６】
以上のステップ１１６〜ステップ１２２の繰り返し処理により、被写体６０の指先位置を示す３次元座標を示すデータが時系列に所定数だけサンプリングされるので、ステップ１２４では、当該所定数の３次元座標を示すデータに基づいて機器動作制御処理を実行する。
【００５７】
本実施の形態に係る機器利用支援システム１０では、前述したように、被写体６０の指先の動きの各種バリエーションと、これによって示される被制御機器５０の動作内容とが予め定められているので、本実施の形態に係る機器動作制御処理では、上記所定数の３次元座標を示すデータにより被写体６０の指先の動きを特定し、当該動きに対応する被制御機器５０の動作内容の実行を指示するコマンド信号をコマンド送信装置２８を介して被制御機器５０に送信する処理を実行する。当該コマンド信号を受信部により受信した被制御機器５０では、制御部によって当該コマンド信号により指示された動作を行うように被制御機器本体を制御する。これによって、被写体６０により指先の動きによって指示された被制御機器５０の動作が実行されることになる。
【００５８】
次のステップ１２６では、照明装置３０の発光輝度が本機器利用支援処理の実行開始時における輝度となるように復帰させ、その後に本機器利用支援処理を終了する。
【００５９】
本機器利用支援処理のステップ１００の処理が本発明の判定手段に、ステップ１１２、１１４の処理が本発明の露光調整手段に、ステップ１１６の処理が本発明の雑音除去手段に、各々相当する。
【００６０】
以上詳細に説明したように、本実施の形態によれば、赤外線帯域に撮像感度を有するＩＩＲカメラ２４Ａ、２４Ｂにより画像データの収集対象とする空間内を撮像して画像データ（温熱データ）を取得し、当該画像データに基づいて上記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光カメラ２６Ａ、２６Ｂにより上記空間内を撮像して取得される画像データにより示される画像のコントラストが所定レベル以上となるように上記空間内の照明光の輝度及び可視光カメラ２６Ａ、２６Ｂによる露出の少なくとも一方を調整しているので、人に対応する画像領域をより正確に抽出可能な画像データを収集することができる。
【００６１】
また、本実施の形態によれば、照明装置３０による照明光の輝度を調整する場合に、当該輝度を所定レベルの低輝度から徐々に高輝度側に移行させて調整しているので、照明光を発生させるためのエネルギーを節約できると共に、空間内に存在する人に対する照明光による刺激を少なくすることができる。
【００６２】
また、本実施の形態によれば、可視光カメラによって取得された画像データ及びＩＩＲカメラによって取得された画像データに基づいて、可視光カメラによって取得された画像データから当該画像データにより示される画像の雑音成分を除去しているので、同一条件下で取得された２つの画像データに基づく高精度な雑音成分の除去が可能となり、この結果、人に対応する画像領域の抽出を高精度に行うことのできる画像データを収集することができる。
【００６３】
また、本実施の形態によれば、可視光カメラによって取得された画像データとＩＩＲカメラによって取得された画像データによる画素毎の論理演算によってノイズ成分を除去しているので、高精度でかつ簡易に可視光カメラによって取得された画像データからノイズ成分を除去することができる。
【００６４】
更に、本実施の形態によれば、可視光カメラによって取得された画像データ及びＩＩＲカメラによって取得された画像データにより示される各画像の視野を一致させているので、各画像データにより各々示される２つの画像内の同一位置を同一の座標値で示すことができ、各画像データを用いた画像処理を簡易化することができる。
【００６５】
なお、本実施の形態では、被写体６０の指先位置の３次元座標を導出する手法としてステレオ法を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法を適用する形態とすることもできる。この場合も、本実施の形態と同様の効果を奏することができる。
【００６６】
また、本実施の形態では、ノイズ除去処理の手法として可視光カメラにより得られた画像データとＩＩＲカメラにより得られた画像データを用いた画素データ毎の論理演算による手法を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、ＩＩＲカメラにより取得された画像データにおける人の体温に対応する温度範囲に含まれる画像領域のみを、可視光カメラにより取得された画像データから抽出する手法を適用する形態とすることもできる。この場合にも、本実施の形態と同様の効果を奏することができる。
【００６７】
また、本実施の形態では、ＩＩＲカメラ及び可視光カメラを各々２台ずつ備えると共に、ＩＩＲカメラと対応する可視光カメラとの視野を一致させ、かつ各カメラの結像レンズの光軸方向を平行とした場合について説明したが、本発明はこれに限定されるものではなく、以下に示すような様々な変形が可能である。
【００６８】
例えば、本実施の形態では、被写体６０の指先位置の３次元座標を導出するために２台の可視光カメラを備えると共に、可視光カメラ及びＩＩＲカメラによって得られた画像データによる画素毎の論理演算によってノイズ除去処理を行うために可視光カメラとＩＩＲカメラの視野を一致させたが、１視点から得られた画像データのみに基づいて画像処理を行う用途に本発明を適用する場合には、図５（Ａ）に示すように、ＩＩＲカメラ２４及び可視光カメラ２６を各々１台ずつ、異なる位置に並べて配置する形態や、図５（Ｂ）に示すように、ＩＩＲカメラ２４の結像レンズの光軸上に、中間赤外線を透過し、可視光を反射するシリコン、ゲルマニウム等を材料として構成された本実施の形態と同様の反射板２９を設けると共に、当該反射板２９による可視光の反射方向下流側に、結像レンズの光軸がＩＩＲカメラ２４の光軸と一致するように可視光カメラ２６を設ける形態、すなわち、本実施の形態におけるＩＩＲカメラ２４Ａと可視光カメラ２６Ａ、及びＩＩＲカメラ２４Ｂと可視光カメラ２６Ｂの何れか１セットのみを適用する形態とすることもできる。
【００６９】
また、本実施の形態と同様に、２視点から得られた画像データに基づいて画像処理を行う用途に本発明を適用する場合には、図５（Ｃ）に示すように、２台の可視光カメラ２６Ａ、２６Ｂの略中央部に１台のＩＩＲカメラ２４を設置する形態や、図５（Ｄ）に示すように、１台のＩＩＲカメラ２４の結像レンズの光軸上に、中間赤外線を透過し、可視光を反射するシリコン、ゲルマニウム等を材料として構成された本実施の形態と同様の反射板２９を設けると共に、当該反射板２９による可視光の反射方向下流側に２台の可視光カメラ２６Ａ及び２６Ｂを設ける形態や、図５（Ｅ）に示すように、反射板２９を用いることなく、２台のＩＩＲカメラ２４Ａ、２４Ｂに並べて２台の可視光カメラ２６Ａ、２６Ｂを配置する形態とすることもできる。
【００７０】
更に、図５（Ａ）に示す配置状態とされたＩＩＲカメラ２４及び可視光カメラ２６を、各々の可視光カメラにおける結像レンズの光軸が平行とならないように２セット分配置する形態や、図５（Ｂ）に示す配置状態とされたＩＩＲカメラ２４及び可視光カメラ２６を、各々の可視光カメラにおける結像レンズの光軸が平行とならないように２セット分配置する形態とすることもできる。
【００７１】
また、本実施の形態では、可視光カメラ２６Ａ、２６Ｂにより取得される画像データによって示される画像における被写体６０の領域と背景領域との間の輝度差（コントラスト）を所定レベル以上とするために、照明装置３０における発光輝度と可視光カメラ２６Ａ、２６Ｂの露出状態の双方を調整する場合について説明したが、本発明はこれに限定されるものではなく、当該発光輝度及び露出状態の何れか一方のみを調整する形態とすることもできる。この場合は、調整対象とするパラメータ数が少なくなるので許容調整範囲が狭くなってしまう反面、調整に対する処理上の負荷を軽減することができる。
【００７２】
また、本実施の形態で説明した機器利用支援システム１０の構成（図１、図２参照）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００７３】
また、本実施の形態において説明した機器利用支援処理プログラム（図３参照）の処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００７４】
更に、本発明は上記機器利用支援システム１０に限らず、様々な画像処理装置に適用可能である。
【００７５】
【発明の効果】
請求項１に記載の画像情報収集装置及び請求項６に記載の画像情報収集方法によれば、赤外線帯域に撮像感度を有する赤外線撮像手段により画像情報の収集対象とする空間内を撮像して第２画像情報を取得し、前記第２画像情報に基づいて前記空間内に人が存在するか否かを判定し、人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光撮像手段により前記空間内を撮像して取得される第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記空間内の照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方を調整しているので、人に対応する画像領域をより正確に抽出可能な画像情報を収集することができる、という効果が得られる。
【００７６】
また、請求項２に記載の画像情報収集装置によれば、照明手段による照明光の輝度を調整する場合に、当該輝度を所定レベルの低輝度から徐々に高輝度側に移行させて調整しているので、照明光を発生させるためのエネルギーを節約できると共に、空間内に存在する人に対する照明光による刺激を少なくすることができる、という効果が得られる。
【００７７】
また、請求項３に記載の画像情報収集装置によれば、本発明の第１画像情報及び第２画像情報に基づいて、第１画像情報から当該第１画像情報により示される画像の雑音成分を除去しているので、同一条件下で取得された２つの画像情報に基づく高精度な雑音成分の除去が可能となり、この結果、人に対応する画像領域の抽出を高精度に行うことのできる画像情報を収集することができる、という効果が得られる。
【００７８】
また、請求項４に記載の画像情報収集装置によれば、第１画像情報と第２画像情報による画素毎の論理演算によって雑音成分を除去するか、又は第２画像情報により示される人の領域に対応する画像情報のみを第１画像情報から抽出することによって雑音成分を除去するものとしているので、高精度でかつ簡易に第１画像情報から雑音成分を除去することができる、という効果が得られる。
【００７９】
更に、請求項５に記載の画像情報収集装置によれば、第１画像情報及び第２画像情報により示される各画像の視野を一致させているので、第１画像情報及び第２画像情報により各々示される２つの画像内の同一位置を同一の座標値で示すことができ、第１画像情報及び第２画像情報を用いた画像処理を簡易化することができる、という効果が得られる。
【図面の簡単な説明】
【図１】実施の形態に係る機器利用支援システム１０の構成を示すブロック図である。
【図２】実施の形態に係る機器利用支援システム１０における被写体６０と、ＩＩＲカメラ２４Ａ、２４Ｂ及び可視光カメラ２６Ａ、２６Ｂとの位置関係及び各カメラの設置状態を示す概略図である。
【図３】実施の形態に係る機器利用支援処理プログラムの処理の流れを示すフローチャートである。
【図４】実施の形態に係るノイズ除去処理の説明に供する概略図である。
【図５】実施の形態のＩＩＲカメラ及び可視光カメラの設置台数及び設置位置の変形例の説明に供する概略図である。
【符号の説明】
１０ 機器利用支援システム
２０ 機器利用支援装置
２２ 制御部（判定手段、露光調整手段、雑音除去手段）
２４Ａ、２４Ｂ ＩＩＲカメラ（赤外線撮像手段）
２６Ａ、２６Ｂ 可視光カメラ（可視光撮像手段）
２８ コマンド送信装置
２９ 反射板（一致手段）
３０ 照明装置（照明手段）
４０ ベッド
６０ 被写体
Claims (6)
- 画像情報の収集対象とする空間内を照明する照明手段と、
可視光帯域に撮像感度を有すると共に前記空間内を撮像して第１画像情報を取得する可視光撮像手段と、
赤外線帯域に撮像感度を有すると共に前記空間内を撮像して第２画像情報を取得する赤外線撮像手段と、
前記第２画像情報に基づいて前記空間内に人が存在するか否かを判定する判定手段と、
前記判定手段により人が存在すると判定されたときに前記第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記照明手段による照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方を調整する露光調整手段と、
を備えた画像情報収集装置。 - 前記露光調整手段は、前記照明手段による照明光の輝度を調整する場合に、前記輝度を所定レベルの低輝度から徐々に高輝度側に移行させて調整する
請求項１記載の画像情報収集装置。 - 前記第１画像情報及び前記第２画像情報に基づいて前記第１画像情報から当該第１画像情報により示される画像の雑音成分を除去する雑音除去手段
を更に備えた請求項１又は請求項２記載の画像情報収集装置。 - 前記雑音除去手段は、前記第１画像情報と前記第２画像情報による画素毎の論理演算によって前記雑音成分を除去するか、又は前記第２画像情報により示される人の領域に対応する画像情報のみを前記第１画像情報から抽出することによって前記雑音成分を除去する
請求項３記載の画像情報収集装置。 - 前記第１画像情報及び前記第２画像情報により示される各画像の視野を一致させる一致手段
を更に備えた請求項１乃至請求項４の何れか１項記載の画像情報収集装置。 - 赤外線帯域に撮像感度を有する赤外線撮像手段により画像情報の収集対象とする空間内を撮像して第２画像情報を取得し、
前記第２画像情報に基づいて前記空間内に人が存在するか否かを判定し、
人が存在すると判定されたときに、可視光帯域に撮像感度を有する可視光撮像手段により前記空間内を撮像して取得される第１画像情報により示される画像における人の領域と背景領域との間の輝度差が所定レベル以上となるように前記空間内の照明光の輝度及び前記可視光撮像手段による露出の少なくとも一方を調整する
画像情報収集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003038255A JP2004246252A (ja) | 2003-02-17 | 2003-02-17 | 画像情報収集装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003038255A JP2004246252A (ja) | 2003-02-17 | 2003-02-17 | 画像情報収集装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004246252A true JP2004246252A (ja) | 2004-09-02 |
Family
ID=33022831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003038255A Pending JP2004246252A (ja) | 2003-02-17 | 2003-02-17 | 画像情報収集装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004246252A (ja) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007182189A (ja) * | 2006-01-10 | 2007-07-19 | Denso Corp | 車両用表示装置 |
| KR101146017B1 (ko) * | 2009-06-30 | 2012-05-15 | 소니 주식회사 | 정보 처리 장치 및 정보 처리 방법 |
| JP2015510169A (ja) * | 2012-01-17 | 2015-04-02 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | 物体検出のためのコントラストの改善及び光学画像化による特徴評価 |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US9436998B2 (en) | 2012-01-17 | 2016-09-06 | Leap Motion, Inc. | Systems and methods of constructing three-dimensional (3D) model of an object using image cross-sections |
| US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
| WO2016171190A1 (ja) * | 2015-04-22 | 2016-10-27 | 日本電気株式会社 | 暗視装置、暗視方法およびプログラム |
| US9495613B2 (en) | 2012-01-17 | 2016-11-15 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging using formed difference images |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| JP2018013949A (ja) * | 2016-07-21 | 2018-01-25 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 移動体、移動体の障害物検知方法および移動体の障害物検知プログラム |
| JPWO2017204126A1 (ja) * | 2016-05-24 | 2019-03-28 | コニカミノルタ株式会社 | 画像認識システム、動体検知ユニットおよびケアサポートシステム |
| CN110127468A (zh) * | 2019-04-12 | 2019-08-16 | 深圳壹账通智能科技有限公司 | 电梯控制方法、装置、计算机可读存储介质和计算机设备 |
| US10585193B2 (en) | 2013-03-15 | 2020-03-10 | Ultrahaptics IP Two Limited | Determining positional information of an object in space |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| JP2020099011A (ja) * | 2018-12-18 | 2020-06-25 | キヤノン株式会社 | 光電変換装置、光電変換システムおよび信号処理装置 |
| US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
| CN112154646A (zh) * | 2019-03-26 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 确定装置、摄像***及移动体 |
| US11099653B2 (en) | 2013-04-26 | 2021-08-24 | Ultrahaptics IP Two Limited | Machine responsiveness to dynamic user movements and gestures |
| CN114143421A (zh) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | 双传感器摄像***及其校准方法 |
| US11353962B2 (en) | 2013-01-15 | 2022-06-07 | Ultrahaptics IP Two Limited | Free-space user interface and control using virtual constructs |
| US11720180B2 (en) | 2012-01-17 | 2023-08-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US11740705B2 (en) | 2013-01-15 | 2023-08-29 | Ultrahaptics IP Two Limited | Method and system for controlling a machine according to a characteristic of a control object |
| US11775033B2 (en) | 2013-10-03 | 2023-10-03 | Ultrahaptics IP Two Limited | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US11778159B2 (en) | 2014-08-08 | 2023-10-03 | Ultrahaptics IP Two Limited | Augmented reality with motion sensing |
| US11868687B2 (en) | 2013-10-31 | 2024-01-09 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
| US11994377B2 (en) | 2012-01-17 | 2024-05-28 | Ultrahaptics IP Two Limited | Systems and methods of locating a control object appendage in three dimensional (3D) space |
-
2003
- 2003-02-17 JP JP2003038255A patent/JP2004246252A/ja active Pending
Cited By (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007182189A (ja) * | 2006-01-10 | 2007-07-19 | Denso Corp | 車両用表示装置 |
| JP4645452B2 (ja) * | 2006-01-10 | 2011-03-09 | 株式会社デンソー | 車両用表示装置 |
| KR101146017B1 (ko) * | 2009-06-30 | 2012-05-15 | 소니 주식회사 | 정보 처리 장치 및 정보 처리 방법 |
| US10410411B2 (en) | 2012-01-17 | 2019-09-10 | Leap Motion, Inc. | Systems and methods of object shape and position determination in three-dimensional (3D) space |
| US9697643B2 (en) | 2012-01-17 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of object shape and position determination in three-dimensional (3D) space |
| US9436998B2 (en) | 2012-01-17 | 2016-09-06 | Leap Motion, Inc. | Systems and methods of constructing three-dimensional (3D) model of an object using image cross-sections |
| US11994377B2 (en) | 2012-01-17 | 2024-05-28 | Ultrahaptics IP Two Limited | Systems and methods of locating a control object appendage in three dimensional (3D) space |
| US10565784B2 (en) | 2012-01-17 | 2020-02-18 | Ultrahaptics IP Two Limited | Systems and methods for authenticating a user according to a hand of the user moving in a three-dimensional (3D) space |
| JP2016186793A (ja) * | 2012-01-17 | 2016-10-27 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | 物体検出のためのコントラストの改善及び光学画像化による特徴評価 |
| US9495613B2 (en) | 2012-01-17 | 2016-11-15 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging using formed difference images |
| JP2015510169A (ja) * | 2012-01-17 | 2015-04-02 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | 物体検出のためのコントラストの改善及び光学画像化による特徴評価 |
| US9626591B2 (en) | 2012-01-17 | 2017-04-18 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US9652668B2 (en) | 2012-01-17 | 2017-05-16 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging based on differences between images |
| US9672441B2 (en) | 2012-01-17 | 2017-06-06 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging based on differences between images |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US10699155B2 (en) | 2012-01-17 | 2020-06-30 | Ultrahaptics IP Two Limited | Enhanced contrast for object detection and characterization by optical imaging based on differences between images |
| US9741136B2 (en) | 2012-01-17 | 2017-08-22 | Leap Motion, Inc. | Systems and methods of object shape and position determination in three-dimensional (3D) space |
| US9767345B2 (en) | 2012-01-17 | 2017-09-19 | Leap Motion, Inc. | Systems and methods of constructing three-dimensional (3D) model of an object using image cross-sections |
| US9778752B2 (en) | 2012-01-17 | 2017-10-03 | Leap Motion, Inc. | Systems and methods for machine control |
| US11782516B2 (en) | 2012-01-17 | 2023-10-10 | Ultrahaptics IP Two Limited | Differentiating a detected object from a background using a gaussian brightness falloff pattern |
| US11720180B2 (en) | 2012-01-17 | 2023-08-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US9934580B2 (en) | 2012-01-17 | 2018-04-03 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging based on differences between images |
| US10366308B2 (en) | 2012-01-17 | 2019-07-30 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging based on differences between images |
| US11308711B2 (en) | 2012-01-17 | 2022-04-19 | Ultrahaptics IP Two Limited | Enhanced contrast for object detection and characterization by optical imaging based on differences between images |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US10097754B2 (en) | 2013-01-08 | 2018-10-09 | Leap Motion, Inc. | Power consumption in motion-capture systems with audio and optical signals |
| US9626015B2 (en) | 2013-01-08 | 2017-04-18 | Leap Motion, Inc. | Power consumption in motion-capture systems with audio and optical signals |
| US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
| US11874970B2 (en) | 2013-01-15 | 2024-01-16 | Ultrahaptics IP Two Limited | Free-space user interface and control using virtual constructs |
| US11353962B2 (en) | 2013-01-15 | 2022-06-07 | Ultrahaptics IP Two Limited | Free-space user interface and control using virtual constructs |
| US11740705B2 (en) | 2013-01-15 | 2023-08-29 | Ultrahaptics IP Two Limited | Method and system for controlling a machine according to a characteristic of a control object |
| US10585193B2 (en) | 2013-03-15 | 2020-03-10 | Ultrahaptics IP Two Limited | Determining positional information of an object in space |
| US11693115B2 (en) | 2013-03-15 | 2023-07-04 | Ultrahaptics IP Two Limited | Determining positional information of an object in space |
| US11099653B2 (en) | 2013-04-26 | 2021-08-24 | Ultrahaptics IP Two Limited | Machine responsiveness to dynamic user movements and gestures |
| US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
| US11776208B2 (en) | 2013-08-29 | 2023-10-03 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
| US11282273B2 (en) | 2013-08-29 | 2022-03-22 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
| US11461966B1 (en) | 2013-08-29 | 2022-10-04 | Ultrahaptics IP Two Limited | Determining spans and span lengths of a control object in a free space gesture control environment |
| US11775033B2 (en) | 2013-10-03 | 2023-10-03 | Ultrahaptics IP Two Limited | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US11868687B2 (en) | 2013-10-31 | 2024-01-09 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| US11778159B2 (en) | 2014-08-08 | 2023-10-03 | Ultrahaptics IP Two Limited | Augmented reality with motion sensing |
| WO2016171190A1 (ja) * | 2015-04-22 | 2016-10-27 | 日本電気株式会社 | 暗視装置、暗視方法およびプログラム |
| JPWO2016171190A1 (ja) * | 2015-04-22 | 2018-03-15 | 日本電気株式会社 | 暗視装置、暗視方法およびプログラム |
| JPWO2017204126A1 (ja) * | 2016-05-24 | 2019-03-28 | コニカミノルタ株式会社 | 画像認識システム、動体検知ユニットおよびケアサポートシステム |
| JP2018013949A (ja) * | 2016-07-21 | 2018-01-25 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 移動体、移動体の障害物検知方法および移動体の障害物検知プログラム |
| JP7286309B2 (ja) | 2018-12-18 | 2023-06-05 | キヤノン株式会社 | 光電変換装置、光電変換システムおよび信号処理装置 |
| JP2020099011A (ja) * | 2018-12-18 | 2020-06-25 | キヤノン株式会社 | 光電変換装置、光電変換システムおよび信号処理装置 |
| CN112154646A (zh) * | 2019-03-26 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 确定装置、摄像***及移动体 |
| CN110127468B (zh) * | 2019-04-12 | 2023-02-07 | 深圳壹账通智能科技有限公司 | 电梯控制方法、装置、计算机可读存储介质和计算机设备 |
| CN110127468A (zh) * | 2019-04-12 | 2019-08-16 | 深圳壹账通智能科技有限公司 | 电梯控制方法、装置、计算机可读存储介质和计算机设备 |
| CN114143421A (zh) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | 双传感器摄像***及其校准方法 |
| CN114143421B (zh) * | 2020-09-04 | 2024-04-05 | 聚晶半导体股份有限公司 | 双传感器摄像***及其校准方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004246252A (ja) | 画像情報収集装置及び方法 | |
| JP4040613B2 (ja) | 撮像装置 | |
| US8350903B2 (en) | Vehicle-mounted image processing device, and method for controlling vehicle-mounted image processing device | |
| KR101182188B1 (ko) | 적외선 센서 및 이를 이용한 감지 방법 | |
| JP2003030659A (ja) | 虹彩認証装置及び虹彩撮像装置 | |
| KR102281149B1 (ko) | 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법 | |
| EP4202526A1 (en) | Endoscope system and method for detecting when tail end of endoscope comes into contact with tissue | |
| JP2017011634A (ja) | 撮像装置およびその制御方法、並びにプログラム | |
| WO2006123754A1 (ja) | 車両用画像処理装置 | |
| JP2017207883A (ja) | 監視システム、カラーカメラ装置及び光学部品 | |
| JP2017225073A (ja) | 撮像装置とその制御方法、プログラム及び撮像システム | |
| JP6525503B2 (ja) | 画像処理装置および撮像装置 | |
| JP2010026858A (ja) | 認証用画像撮像装置 | |
| CN108259775B (zh) | 一种成像方法、成像装置及后视镜 | |
| JPWO2017022331A1 (ja) | 制御装置、制御方法、コンピュータプログラム及び電子機器 | |
| JP6780543B2 (ja) | 画像撮像システム及び画像撮像装置 | |
| JP5206190B2 (ja) | ドライバー監視装置 | |
| JP6525723B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
| JP6322723B2 (ja) | 撮像装置および車両 | |
| JP7278764B2 (ja) | 撮像装置、電子機器、撮像装置の制御方法およびプログラム | |
| KR20140133213A (ko) | 차량용 영상 처리 장치 및 방법 | |
| JP7080724B2 (ja) | 配光制御装置、投光システム及び配光制御方法 | |
| JP6541510B2 (ja) | 撮像装置、その制御方法およびプログラム | |
| JP7218116B2 (ja) | 撮像装置および撮像装置の制御方法 | |
| CN108828770B (zh) | 一种适用于近红外成像的背景光消除方法及*** |