JP2014174101A - 物体検出装置 - Google Patents

Abstract

【課題】演算量を抑えつつ、広範囲で距離取得が可能な物体検出装置を提供する。
【解決手段】目標領域に光を投射する投射部１００と、目標領域をＣＭＯＳイメージセンサ２４０により撮像する撮像部２００と、ＣＭＯＳイメージセンサ２４０上の所定の画素の輝度値を取得する撮像信号処理回路２３と、撮像信号処理回路２３により取得された輝度値に基づいて、目標領域に存在する検出対象物体を検出する物体検出部２１ｃと、を備える。物体検出部２１ｃは、実測時に、検出対象物体の実測形状Ｊの実測面積Ｓｂを取得し、実測形状Ｊの実測面積Ｓｂと、検出対象物体が基準距離Ｄにあるときの検出対象物体の基準形状Ｈの基準面積Ｓａとに基づいて、検出対象物体の距離情報を取得する。
【選択図】図２

Description

本発明は、目標領域内の物体を検出する物体検出装置に関する。

従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、２次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。

距離画像センサとして、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサが知られている（たとえば、非特許文献１）。かかる距離画像センサでは、基準面にレーザ光を照射したときのドットパターンが撮像素子により撮像され、撮像されたドットパターンが基準ドットパターンとして保持される。そして、基準ドットパターンと、実測時に撮像された実測ドットパターンとが比較され、距離情報が取得される。具体的には、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置に基づいて、三角測量法により、当該参照領域に対する距離情報が取得される。

第１９回日本ロボット学会学術講演会（２００１年９月１８−２０日）予稿集、Ｐ１２７９−１２８０

しかしながら、上記距離画像センサでは、ドットパターンの光を生成する必要があるため、目標領域に光を投射する投射部の構成が複雑になるとの問題がある。また、参照領域に含まれるドットを実測ドットパターン上において探索する処理が必要となるため、距離情報の取得のために、煩雑な演算処理が必要になるとの問題もある。

さらに、イメージセンサの出力信号が飽和するほど近距離に物体が近付けられた場合、撮像した画像には、一様に高い輝度値が出力されるため、適正に距離を取得することができないとの問題も生じる。

上記課題に鑑み、本発明は、演算量を抑えつつ、広範囲で距離取得が可能な物体検出装置を提供することを目的とする。

本発明の主たる態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域に光を投射する投射部と、前記目標領域をイメージセンサにより撮像する撮像部と、前記イメージセンサ上の所定の画素の輝度値を取得する輝度取得部と、前記輝度取得部により取得された輝度値に基づいて、前記目標領域に存在する検出対象物体を検出する物体検出部と、を備える。前記物体検出部は、実測時に、前記検出対象物体の実測形状の大きさを取得し、前記実測形状の大きさと、前記検出対象物体が基準距離にあるときの前記検出対象物体の基準形状の大きさとに基づいて、前記検出対象物体の距離に関する情報を取得する。

本発明によれば、演算量を抑えつつ、広範囲で距離取得が可能な物体検出装置を提供することができる。

本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。

実施の形態に係る物体検出装置を内蔵したパーソナルコンピュータの外観構成を示す図である。 実施の形態に係る物体検出装置の構成を示す図である。 実施の形態に係る投射部と撮像部の構成を示す図である。 実施の形態に係るイメージセンサの感度を示す図である。 実施の形態に係る輝度値と距離の関係を規定する距離変換関数の波形、および距離と撮像画像中に写り込んだ検出対象物体の大きさの関係を示す図である。 実施の形態に係る基準形状登録テーブルの設定方法を説明する図である。 実施の形態に係る基準形状登録処理を示すフローチャートである。 実施の形態に係る物体検出処理を示すフローチャートである。 変更例に係る基準形状登録テーブルの設定方法を説明する図である。 変更例に係る基準形状登録テーブルの設定方法を説明する図である。

以下、本発明の実施の形態につき図面を参照して説明する。

本実施の形態は、ノート型のパーソナルコンピュータに本発明に係る物体検出装置を適用したものである。この他、本発明に係る物体検出装置は、デスクトップ型のパーソナルコンピュータやテレビ等の他の機器にも適宜適用可能なものである。なお、本発明に係る物体検出装置は、必ずしも、他の機器に一体的に搭載されなくとも良く、単独で一つの装置を構成するものであっても良い。

以下に示す実施の形態において、撮像信号処理回路２３は、請求項に記載の「輝度取得部」に相当する。ＣＭＯＳイメージセンサ２４０は、請求項に記載の「イメージセンサ」に相当する。図５（ａ）に示す距離変換関数は、請求項に記載の「規定情報」に相当する。物体検出部２１ｃによって取得される距離情報は、請求項に記載の「実測時における物体の距離に関する情報」に相当する。平均輝度Ｂａは、請求項に記載の「輝度値」に相当する。基準面積Ｓａは、請求項に記載の「基準形状の大きさ」に相当する。実測面積Ｓｂは、請求項に記載の「実測形状の大きさ」に相当する。ただし、上記請求項と本実施の形態との対応の記載は、あくまで一例であって、請求項に係る発明を本実施の形態に限定するものではない。

図１は、本実施の形態に係るパーソナルコンピュータ１の概略構成を示す図である。図１に示すように、パーソナルコンピュータ１は、物体検出装置２と、情報処理部３を備えている。この他、パーソナルコンピュータ１は、キーボード４と、操作パッド５と、モニタ６を備えている。

物体検出装置２は、目標領域全体に、可視光の波長帯よりも長い赤外の波長帯域の光（赤外光）を投射し、その反射光をＣＭＯＳイメージセンサにて受光することにより、目標領域に存在する物体までの距離（以下、「距離情報」という）を取得する。情報処理部３は、物体検出装置２により取得された距離情報に基づいて、目標領域に存在する所定の物体を検出し、さらに、当該物体の動きを検出する。そして、情報処理部３は、当該物体の
動きに応じて、パーソナルコンピュータ１の機能を制御する。

たとえば、ユーザが手を用いて所定のジェスチャを行うと、物体検出装置２からジェスチャに応じた距離情報が情報処理部３に送信される。この情報に基づき、情報処理部３は、ユーザの手を検出対象物体として検出し、手の動きに対応付けられた機能（画面の拡大・縮小や、画面の明るさ調整、ページ送り、等）を実行する。

図２は、物体検出装置２と情報処理部３の構成を示す図である。

物体検出装置２は、光学部の構成として、投射部１００と撮像部２００とを備えている。投射部１００と撮像部２００は、Ｘ軸方向に並ぶように、配置されている。

投射部１００は、赤外の波長帯域の光を出射する光源１１０を備えている。

撮像部２００は、アパーチャ２１０と、撮像レンズ２２０と、フィルタ２３０と、ＣＭＯＳイメージセンサ２４０とを備えている。この他、物体検出装置２は、回路部の構成として、ＣＰＵ（Central Processing Unit）２１と、赤外光源駆動回路２２と、撮像信号処理回路２３と、入出力回路２４と、メモリ２５を備えている。

なお、このように、投射部１００が赤外の波長帯域の光を出射する光源１１０を備え、撮像部２００が撮像レンズ２２０とフィルタ２３０とを備える構成は、請求項７に記載の構成の一例である。

光源１１０から目標領域に投射された光は、目標領域に存在する物体によって反射され、アパーチャ２１０を介して撮像レンズ２２０に入射する。

アパーチャ２１０は、撮像レンズ２２０のＦナンバーに合うように、外部からの光を制限する。撮像レンズ２２０は、アパーチャ２１０を介して入射された光をＣＭＯＳイメージセンサ２４０上に集光する。フィルタ２３０は、光源１１０の出射波長を含む波長帯域の光を透過し、可視光の波長帯域の光をカットするバンドパスフィルタである。

ＣＭＯＳイメージセンサ２４０は、後述のように、光源１１０から出射される赤外光の波長帯域に対して感度を有する。ＣＭＯＳイメージセンサ２４０は、撮像レンズ２２０にて集光された光を受光して、画素毎に、受光量に応じた信号を撮像信号処理回路２３に出力する。ここで、ＣＭＯＳイメージセンサ２４０は、各画素における受光から高レスポンスでその画素の信号を撮像信号処理回路２３に出力できるよう、信号の出力速度が高速化されている。

本実施の形態において、ＣＭＯＳイメージセンサ２４０の撮像有効領域（センサとして信号を出力する領域）は、たとえば、ＶＧＡ（横６４０画素×縦４８０画素）のサイズである。ＣＭＯＳイメージセンサ２４０の撮像有効領域は、ＸＧＡ（横１０２４画素×縦７６８画素）のサイズや、ＳＸＧＡ（横１２８０画素×縦１０２４画素）のサイズ等、他のサイズであっても良い。

ＣＰＵ２１は、メモリ２５に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ２１には、光源制御部２１ａと、基準形状取得部２１ｂと、物体検出部２１ｃとの機能が付与される。

光源制御部２１ａは、赤外光源駆動回路２２を制御する。基準形状取得部２１ｂは、事前設定時にＣＭＯＳイメージセンサ２４０から出力される信号に基づいて、検出対象物体
の距離情報を取得するための基準形状と基準面積を取得し、メモリ２５の基準形状登録テーブルＴに登録する。なお、基準形状取得部２１ｂによる基準形状登録処理については、追って、図７を参照して説明する。

赤外光源駆動回路２２は、ＣＰＵ２１からの制御信号に応じて光源１１０を駆動する。

撮像信号処理回路２３は、ＣＰＵ２１からの制御を受けてＣＭＯＳイメージセンサ２４０を駆動し、ＣＭＯＳイメージセンサ２４０から出力される信号から、各画素の輝度信号を取得し、取得した輝度信号をＣＰＵ２１に出力する。後述のように、撮像信号処理回路２３は、ＣＰＵ２１により設定された露光時間をＣＭＯＳイメージセンサ２４０の各画素に適用し、さらに、ＣＭＯＳイメージセンサ２４０から出力される信号に対してＣＰＵ２１により設定されたゲインを適用して、画素毎に、輝度信号を取得する。

ＣＰＵ２１は、撮像信号処理回路２３から供給される輝度信号をもとに、基準形状登録テーブルＴに登録された基準形状の検出対象物体を検出し、物体検出装置２から検出対象物体までの距離を、物体検出部２１ｃによる処理によって算出する。距離情報は、ＣＭＯＳイメージセンサ２４０の画素毎に取得される。物体検出部２１ｃは、取得した距離情報をもとに、検出対象物体の動きを検出し、所定の動きパターンに応じた機能制御信号を情報処理部３のＣＰＵ３１に出力する。なお、物体検出部２１ｃによる物体検出処理については、追って、図８を参照して詳細に説明する。

入出力回路２４は、情報処理部３とのデータ通信を制御する。

メモリ２５は、ＣＰＵ２１により実行される制御プログラムの他、距離情報の取得に用いられる距離変換関数を保持している。この他、メモリ２５は、ＣＰＵ２１における処理の際のワーク領域としても用いられる。なお、距離変換関数については、追って、図５（ａ）を参照して説明する。

情報処理部３は、ＣＰＵ３１と、入出力回路３２と、メモリ３３を備えている。なお、情報処理部３には、図２に示す構成の他、パーソナルコンピュータ１の各部を駆動および制御するための構成が配されるが、便宜上、これら周辺回路の構成は図示省略されている。

ＣＰＵ３１は、メモリ３３に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ３１には、物体検出部２１ｃからの信号に応じて、パーソナルコンピュータ１の機能を制御するための機能制御部３１ａの機能が付与される。

機能制御部３１ａは、物体検出部２１ｃからの機能制御信号に応じて、パーソナルコンピュータ１の機能の制御を実行する。

図３（ａ）、図３（ｂ）は、投射部１００および撮像部２００の構成を示す図である。図３（ａ）は、回路基板３００に設置された状態の投射部１００および撮像部２００を示す平面図であり、図３（ｂ）は、図３（ａ）のＡ−Ａ’断面図である。

図３（ａ）、（ｂ）を参照して、光源１１０は、発光ダイオード（ＬＥＤ：LightEmitting Diode）、半導体レーザ等からなっている。光源１１０は、赤外光の利用効率を高めるため、レンズ等によって、目標領域において赤外光が撮像範囲の近傍に集まるように調整されている。光源１１０は、回路基板３００上に実装されている。

撮像部２００は、上述のアパーチャ２１０、撮像レンズ２２０、フィルタ２３０および
ＣＭＯＳイメージセンサ２４０の他、レンズバレル２５０と、撮像レンズホルダ２６０を備えている。ＣＭＯＳイメージセンサ２４０は、回路基板３００上に実装されている。撮像レンズ２２０は、レンズバレル２５０に装着され、レンズバレル２５０は、撮像レンズ２２０を保持した状態で撮像レンズホルダ２６０に装着される。撮像レンズホルダ２６０は、下面に凹部を有し、この凹部に、フィルタ２３０が装着される。こうして、撮像レンズ２２０とフィルタ２３０とを保持した状態で、撮像レンズホルダ２６０が、ＣＭＯＳイメージセンサ２４０を覆うように、回路基板３００上に設置される。

本実施の形態において、撮像レンズ２２０は、４枚のレンズにより構成されている。しかしながら、撮像レンズ２２０を構成するレンズの数はこれに限られるものではなく、他の枚数のレンズから撮像レンズ２２０が構成されても良い。

回路基板３００には、投射部１００と撮像部２００の他、物体検出装置２を構成する回路部４００が実装される。図２に示すＣＰＵ２１、赤外光源駆動回路２２、撮像信号処理回路２３、入出力回路２４およびメモリ２５は、かかる回路部４００に含まれる。

図３（ｃ）は、目標領域に対する赤外光の投射状態および撮像部２００による目標領域の撮像状態を模式的に示す図である。

図３（ｃ）の下部には、投射部１００による赤外光の投射状態と、撮像部２００による目標領域の撮像状態が示されている。また、図３（ｃ）の上部には、目標領域における赤外光の投射範囲と、目標領域に対する撮像部２００の撮像範囲が模式的に示されている。さらに、図３（ｃ）の上部には、ＣＭＯＳイメージセンサ２４０の撮像有効領域に対応する領域が示されている。図３（ｃ）において、Ｌｍｉｎは、物体検出装置２によって取得可能な最小距離を示している。図３（ｃ）の上部には、目標領域が最大距離の位置にあるときの投射範囲、撮像範囲および撮像有効領域が示されている。

図３（ｃ）に示すように、撮像範囲と投射範囲は、目標領域において互いに重なり合っており、撮像範囲と投射範囲とが重なる範囲に、撮像有効領域が位置付けられる。

目標領域をＣＭＯＳイメージセンサ２４０で撮像するためには、ＣＭＯＳイメージセンサ２４０の撮像有効領域に対応する領域が、投射範囲内に含まれている必要がある。一方、距離が短くなるにつれて、投射範囲が狭くなり、やがて、投射範囲が撮像有効領域に対応する領域に掛らなくなる。したがって最小距離Ｌｍｉｎは、少なくとも、投射範囲が撮像有効領域全体に掛かり得る最小の限界距離よりも長く設定される。

図４は、ＣＭＯＳイメージセンサ２４０上の各画素の感度を模式的に示す図である。

本実施の形態では、ＣＭＯＳイメージセンサ２４０として、カラーセンサが用いられる。したがって、ＣＭＯＳイメージセンサ２４０には、赤、緑、青をそれぞれ検知する３種の画素が含まれる。

図４において、Ｒ、Ｇ、Ｂは、それぞれ、ＣＭＯＳイメージセンサ２４０に含まれる赤、緑、青の画素の感度を示している。図４に示すとおり、赤、緑、青の画素の感度は、赤外の波長帯域である８００ｎｍ以上の帯域において、略同じ感度となっている（図４の斜線部分を参照）。したがって、図３（ｂ）に示すフィルタ２３０によって、可視光の波長帯域が除去されると、ＣＭＯＳイメージセンサ２４０の赤、緑、青の画素の感度は、互いに略等しくなる。このため、赤、緑、青の画素に、それぞれ、同じ光量の赤外光が入射すると、各色の画素から出力される信号の値は略等しくなる。よって、各画素からの信号を画素間で調整する必要はなく、各画素からの信号をそのまま距離情報の取得に用いること
ができる。

図５（ａ）の上部には、メモリ２５に保持された距離変換関数の波形を模式的に示す図が示されている。図５（ａ）の下部には、物体検出装置２から検出対象物体までの距離と輝度の関係を模式的に示す図が示されている。図５（ａ）には、検出対象物体として手が示されており、ハッチングが濃いほど、受光量が大きいことが示されている。図５（ａ）に示すグラフの縦軸は、輝度値（階調値）であり、横軸は、距離（ｃｍ）である。なお、ＣＭＯＳイメージセンサ２４０の最高輝度値２５５よりも高い輝度値の範囲には、ハッチングが付されている。

図５（ａ）に示すように、距離変換関数は、ＣＭＯＳイメージセンサ２４０を介して取得される輝度値と、当該輝度値に対応する距離の関係を規定する。一般に、直進する光の光量は、距離の２乗に反比例して減衰する。したがって、投射部１００から出射された赤外光は、投射部１００から目標領域までの距離と目標領域から撮像部２００までの距離を加算した距離の２乗分の１に光量が減衰した状態で、撮像部２００によって受光される。このため、図５（ａ）に示すように、ＣＭＯＳイメージセンサ２４０を介して取得される輝度値は、物体までの距離が長いほど小さくなり、物体までの距離が短いほど大きくなる。したがって、距離と輝度との関係を規定する距離変換関数は、図５（ａ）に示すような曲線波形になる。

物体検出装置２では、距離と輝度値との関係が距離変換関数に略整合するように、ＣＭＯＳイメージセンサ２４０の露光時間と、輝度値の取得に適用にされるゲインが調整されている。輝度値は、２５６階調で取得される。

かかる調整は、物体検出装置２の製造時に行われる。そして、調整された露光時間とゲインは、メモリ２５に保持され、距離情報の取得の際に用いられる。

上述のように、検出対象物体（たとえば、手等）を物体検出装置２に近付けていくと、距離の２乗に反比例してＣＭＯＳイメージセンサ２４０に対する反射光の受光光量が大きくなり、輝度が高くなる。そして、所定の距離Ｌ０まで検出対象物体が近付けられると、ＣＭＯＳイメージセンサ２４０の出力が飽和し、輝度は最大値である２５５となる。検出対象物体が距離Ｌ０よりもさらに物体検出装置２側に近付けられた場合、ＣＭＯＳイメージセンサ２４０の出力が飽和しているため、距離に応じて受光光量が大きくなっても、輝度値は上昇しなくなる。

また、検出対象物体を物体検出装置２から遠ざけると、距離の２乗に反比例してＣＭＯＳイメージセンサ２４０に対する反射光の受光光量が小さくなり、輝度が低くなる。そして、所定の距離Ｌｅまで検出対象物体が遠ざけられると、ＣＭＯＳイメージセンサ２４０の受光光量が検出限界まで小さくなり、輝度は最小である０となる。検出対象物体が距離Ｌｅよりもさらに物体検出装置２から遠ざけられた場合、ＣＭＯＳイメージセンサ２４０の検出限界よりも受光光量が小さいため、距離に応じて受光光量が小さくなっても、輝度は低下しなくなる。

このように、距離Ｌ０よりも近距離に物体が位置付けられた場合、輝度が変化しないため、輝度の変化からは距離を測定することができない。

図５（ｂ）は、物体検出装置２から検出対象物体までの距離と撮像画像中に写り込んだ検出対象物体の大きさとを示す図である。なお、図５（ｂ）には、検出対象物体として手が示されており、ハッチングが薄いほど、輝度が高いことが示されている。

図５（ｂ）には、図中、左から順に、近距離から遠距離に徐々に手を遠ざけた場合の所定の距離における手の大きさが示されている。図示の如く、手を近距離から遠距離に徐々に遠ざけた場合、撮像画像中に写り込む物体形状の大きさは、徐々に小さくなる。図中一番左に写り込んでいる手とその右隣の手の位置の輝度は、それぞれ、最大値（２５５）となっている。

一般に、撮像画像中に写り込む検出対象物体の形状の大きさは、輝度と同様、距離の２乗に反比例して小さくなる。したがって、あらかじめ、検出対象物体の形状と所定の基準距離Ｄにおける検出対象物体の大きさを保持しておけば、上記と同様の距離変換関数に基づいて、保持しておいた検出対象物体の大きさと実測時の検出対象物体の大きさの比から、距離を算出することができる。本実施の形態では、基準距離Ｄは、輝度が略最大値となる距離Ｌ０に設定される。

たとえば、図５（ａ）に示すように、あらかじめ、物体検出装置２から３０ｃｍの位置で輝度が最大値の２５５となるように、ＣＭＯＳイメージセンサ２４０のゲイン、露光時間等のパラメータが調整されており、輝度が最大値（２５５）となるときの検出対象物体の面積をＳとすると、実測時の検出対象物体の面積が１．５Ｓであった場合、距離は、略２５ｃｍと算出される。また、実測時の検出対象物体の面積が０．５Ｓであった場合は、略４５ｃｍと算出される。

このように、輝度が略最大値となる基準距離Ｄにおける検出対象物体の面積と、実測時における検出対象物体の面積の比から実測時の距離を算出することができる。撮像画像に写り込む検出対象物体は、ＣＭＯＳイメージセンサ２４０の出力値が飽和するほど検出対象物体が物体検出装置２に近付けられたとしても大きさが変化するため、輝度値のみで距離を取得する場合に比べ、より広範囲で距離取得を行うことができる。

なお、このように、あらかじめ保持しておいた基準距離Ｄのときの検出対象物体の面積と、実測時における検出対象物体の面積に基づいて、検出対象物体の距離が取得される構成は、請求項１に記載の構成の一例である。また、基準距離Ｄが、輝度が略最大値となる距離に設定される構成は、請求項４に記載の構成の一例である。

上述のようにして、実測時における検出対象物体の面積と距離変換関数から距離を算出するために、物体検出の前に、輝度が略最大値となる基準距離Ｄにおける検出対象物体の基準形状Ｈと検出対象物体の基準面積Ｓａがメモリ２５の基準形状登録テーブルＴに設定される。

図６（ａ）は、ＣＭＯＳイメージセンサ２４０から出力された撮像画像の例を示す模式図である。図６（ｂ）〜図６（ｅ）は、人物の手周辺の撮像画像の例を示す図である。図６（ｆ）は、基準形状登録テーブルＴを示す図である。

図６（ａ）の撮像画像には、手を前方に突き出した人物が写り込んでいる。図６（ａ）〜図６（ｅ）の撮像画像では、ハッチングが濃ければ濃いほど、輝度が低く、ハッチングが薄ければ薄いほど、輝度が高いことが示されている。

基準形状登録テーブルＴの設定時には、まず、図６（ｂ）〜図６（ｅ）に示すように、人物が徐々に手を物体検出装置２に近付けている状態が撮像部２００により撮像される。そして、取得された撮像画像が、所定のサイズの判定領域Ｗ１〜Ｗｎに区分される。判定領域Ｗ１〜Ｗｎのサイズは、図６（ｄ）に示すように、検出対象物体の大きさよりも小さくなるように設定される。判定領域Ｗ１〜Ｗｎのうちどれかに輝度が略最大値となる検出対象物体が含まれていると判定された場合、検出対象物体が基準距離Ｄに位置付けられた
と判定される。そして、その位置における検出対象物体の形状が基準形状Ｈとして、基準形状Ｈに含まれる画素数が基準面積Ｓａとして、基準形状登録テーブルＴに登録される。

たとえば、図６（ｂ）〜図６（ｅ）に示すように、人物が徐々に手を前方に突き出した状態を撮像した場合、図６（ｄ）に示す撮像画像を撮像したときに、判定領域Ｗｉに輝度が略最大値となる検出対象物体が含まれていると判定される。そして、この判定領域Ｗｉを含む検出対象物体の形状が所定の輪郭抽出エンジンによって抽出される。そして、抽出した輪郭に含まれる画素数がカウントされ、図６（ｆ）に示すようにメモリ２５の基準形状登録テーブルＴに基準形状Ｈと基準面積Ｓａが設定される。

こうして、基準形状登録テーブルＴに基準形状Ｈと基準面積Ｓａが設定されると、実測時における撮像画像中における検出対象物体の形状が抽出され、実測時における検出対象物体の実測形状Ｊの実測面積Ｓｂと基準形状Ｈの基準面積Ｓａの比から、上記の距離変換関数に基づいて距離取得が行われる。

なお、このように、検出対象物体の基準形状Ｈと基準面積Ｓａが設定される構成は、請求項２に記載の構成の一例である。また、輝度値に対応する距離の関係を規定する距離変換関数を備え、輝度が略最大値となるときの検出対象物体の基準形状Ｈと基準面積Ｓａが設定される構成は、請求項３に記載の構成の一例である。さらに、実測時における検出対象物体の形状の実測面積Ｓｂと基準形状Ｈの基準面積Ｓａの比と、距離変換関数に基づいて、実測時の検出対象物体の距離が取得される構成は、請求項６に記載の構成の一例である。

判定領域Ｗ１〜Ｗｎのサイズは、図６（ｄ）に示すように、検出対象物体の輝度が略最大値となる基準距離Ｄの位置において、検出対象物体の大きさよりも小さくなるように設定されるのが望ましい。これは、指や手の向きや形状によって光の当たり方が異なるためである。たとえば、判定領域Ｗ１〜Ｗｎのサイズが、手の形状と略同等の大きさである場合、手全体の輝度が略最大値になるよう、ユーザ側で指や手の向き及び形状を調節する必要がある。これに対し、本実施の形態では、判定領域Ｗ１〜Ｗｎのサイズは、検出対象物体の大きさよりも小さく設定されるため、検出対象物体の形状や向きにかかわらず、適正に検出対象物体の輝度が略最大値となる位置を判定することができる。これにより、適正に基準形状Ｈと基準面積Ｓａを基準形状登録テーブルＴに設定することができる。

なお、このように、検出対象物体の輝度が略最大値となる基準距離Ｄにおいて、基準形状Ｈの基準面積Ｓａよりも小さい判定領域Ｗ１〜Ｗｎが設定される構成は、請求項５に記載の構成の一例である。

図７は、基準形状登録処理を示すフローチャートである。図７の処理は、図２に示すＣＰＵ２１の機能のうち、基準形状取得部２１ｂの機能によって実行される。

基準形状登録処理が開始され、撮像タイミングが到来すると（Ｓ１０１：ＹＥＳ）、ＣＰＵ２１は、上記のように設定された露光時間とゲインをメモリ２５から読み出して、撮像信号処理回路２３に設定する。これにより撮像信号処理回路２３は、設定された露光時間とゲインでもって、ＣＭＯＳイメージセンサ２４０から撮像画像を取得し（Ｓ１０２）、取得した撮像画像から、画素毎に輝度値を取得する（Ｓ１０３）。取得された輝度値は、ＣＰＵ２１に送信される。

ＣＰＵ２１は、撮像画像上において、所定のサイズの領域を、判定領域Ｗ１〜Ｗｎとして区分する（Ｓ１０４）。判定領域Ｗ１〜Ｗｎは、検出対象物体の大きさよりも小さく設定される。たとえば、縦５画素×横５画素の領域に設定される。

ＣＰＵ２１は、変数ｉに１をセットし（Ｓ１０５）、判定領域Ｗｉ内の平均輝度Ｂａを算出する（Ｓ１０６）。そして、ＣＰＵ２１は、判定領域Ｗｉの平均輝度Ｂａが輝度閾値Ｂｓｈ１以上であるか否かを判定する（Ｓ１０７）。

判定領域Ｗｉの平均輝度Ｂａが輝度閾値Ｂｓｈ１以上でない場合（Ｓ１０７：ＮＯ）、ＣＰＵ２１は、変数ｉに１を加算し（Ｓ１０８）、変数ｉが変数ｎを超えたか否かを判定する（Ｓ１０９）。変数ｉが変数ｎを超えていない場合（Ｓ１０９：ＮＯ）、ＣＰＵ２１は、処理をＳ１０６に戻し、次の判定領域Ｗｉの平均輝度Ｂａの算出と（Ｓ１０６）、平均輝度Ｂａが輝度閾値Ｂｓｈ１以上であるか否かを判定する（Ｓ１０７）。判定領域Ｗｉの平均輝度Ｂａが輝度閾値Ｂｓｈ１以上でない限り（Ｓ１０７：ＮＯ）、ＣＰＵ２１は、最後の判定領域Ｗｎに到達するまで（Ｓ１０９：ＮＯ）、処理を繰り返す（Ｓ１０６〜Ｓ１０９）。

輝度閾値Ｂｓｈ１は、ＣＭＯＳイメージセンサ２４０の出力が飽和しているかを判定するため、輝度の最大値（２５５）に近い値が設定される（たとえば、２５０）。

判定領域Ｗ１〜Ｗｎの平均輝度Ｂａが輝度閾値Ｂｓｈ１以上でなく（Ｓ１０７：ＮＯ）、最後の判定領域Ｗｎまで処理が完了すると（Ｓ１０９：ＹＥＳ）、ＣＰＵ２１は、基準形状登録処理が終了したか否かを判定する（Ｓ１１０）。基準形状登録処理が終了していない場合（Ｓ１１０：ＮＯ）、ＣＰＵ２１は、処理をＳ１０１に戻し、次の撮像画像に対する基準形状判定処理を実行する（Ｓ１０１〜Ｓ１１３）。

判定領域Ｗｉの平均輝度Ｂａが輝度閾値Ｂｓｈ１以上である場合（Ｓ１０７：ＹＥＳ）、ＣＰＵ２１は、判定領域Ｗｉを含む検出対象物体の輪郭を所定の輪郭抽出エンジンによって抽出する（Ｓ１１１）。こうして抽出された輪郭が、基準形状Ｈとされる。そして、基準形状Ｈの輪郭内に含まれる画素数をカウントする（Ｓ１１２）。こうしてカウントされた画素数が、基準面積Ｓａとされる。そして、ＣＰＵ２１は、抽出した基準形状Ｈと、基準面積Ｓａを基準形状登録テーブルＴに設定する（Ｓ１１３）。これにより、基準形状登録テーブルＴに、検出対象物体の形状と輝度が略最大値（２５５）となるときの検出対象物体の大きさ（面積）がメモリ２５の基準形状登録テーブルＴに設定される。

こうして、基準形状登録テーブルＴに基準形状Ｈと基準面積Ｓａが登録されると、ＣＰＵ２１は、基準形状登録処理が終了したか否かを判定する（Ｓ１１０）。基準形状登録処理が終了していない場合（Ｓ１１０：ＮＯ）、ＣＰＵ２１は、処理をＳ１０１に戻し、次の撮像画像に対する処理を実行する（Ｓ１０１〜Ｓ１１３）。基準形状登録処理が終了すると（Ｓ１１０：ＹＥＳ）、ＣＰＵ２１は、処理を完了する。

図８は、物体検出処理を示すフローチャートである。図８の処理は、図２に示すＣＰＵ２１の機能のうち、物体検出部２１ｃの機能によって実行される。

物体検出処理が開始され、撮像タイミングが到来すると（Ｓ２０１：ＹＥＳ）、ＣＰＵ２１は、上記のように設定された露光時間とゲインをメモリ２５から読み出して、撮像信号処理回路２３に設定する。これにより撮像信号処理回路２３は、設定された露光時間とゲインでもって、ＣＭＯＳイメージセンサ２４０から撮像画像を取得し（Ｓ２０２）、取得した撮像画像から、画素毎に輝度値を取得する（Ｓ２０３）。取得された輝度値は、ＣＰＵ２１に送信される。

ＣＰＵ２１は、撮像信号処理回路２３から受信した輝度値を各画素位置に設定して輝度画像を作成する（Ｓ２０４）。そして、ＣＰＵ２１は、輝度画像における最高階調の輝度
値（最も物体検出装置２に接近することを表す輝度値）から所定の値ΔＢを減じた値を輝度閾値Ｂｓｈ２に設定する（Ｓ２０５）。

次に、ＣＰＵ２１は、輝度画像上において、輝度値（階調値）が輝度閾値Ｂｓｈ２よりも高い領域を、対象領域として区分する（Ｓ２０６）。そして、ＣＰＵ２１は、所定の輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、基準形状登録テーブルＴの基準形状Ｈの輪郭とを比較して、基準形状Ｈの輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する（Ｓ２０７）。この抽出された領域が実測形状Ｊとされる。ＣＰＵ２１は、抽出した実測形状Ｊの輪郭内に含まれる画素数をカウントし、検出対象物体の実測面積Ｓｂを算出する（Ｓ２０８）。

ＣＰＵ２１は、算出した実測面積Ｓｂと基準形状登録テーブルＴに保持された基準面積Ｓａの比に応じて、メモリ２５に保持された距離変換関数に基づく演算により距離情報を取得する（Ｓ２０９）。また、ＣＰＵ２１は、検出対象物体の中心の画素位置を取得する（Ｓ２１０）。取得した距離情報と画素位置が、検出対象物体の３次元距離情報に相当する。取得した３次元距離情報は、メモリ２５に保持される。

ＣＰＵ２１は、取得した３次元距離情報と、これまでに取得したメモリ２５に保持された３次元距離情報に基づいて、検出対象物体の動きを取得する（Ｓ２１１）。そして、ＣＰＵ２１は、取得した検出対象物体の動きが、あらかじめ設定された所定の動きパターンと合致するか否かを判定する（Ｓ２１２）。

検出対象物体の動きが所定の動きパターンに合致しない場合（Ｓ２１２：ＮＯ）、ＣＰＵ２１は、処理をＳ２１４に進める。検出対象物体の動きが所定の動きパターンに合致する場合（Ｓ２１２：ＹＥＳ）、ＣＰＵ２１は、所定の動きパターンに応じた機能制御信号を図２に示すパーソナルコンピュータ１の情報処理部３に出力する。パーソナルコンピュータ１の情報処理部３は、機能制御信号を受信すると、信号に応じたパーソナルコンピュータ１の機能（画面の拡大・縮小や、画面の明るさ調整、ページ送り、等）を実行する。

こうして、検出対象物体の距離取得、動き検出処理が終了すると、ＣＰＵ２１は、物体検出動作が終了したか否かを判定する（Ｓ２１４）。物体検出動作が終了していない場合（Ｓ２１４：ＮＯ）、ＣＰＵ２１は、Ｓ２０１に戻り、次の撮像画像が取得されるのを待つ。そして、次の撮像画像が取得されると（Ｓ２０１：ＹＥＳ）、ＣＰＵ２１は、Ｓ２０２以降の処理を実行し、当該撮像画像から検出対象物体の距離取得、動き検出処理を実行する（Ｓ２０２〜Ｓ２１３）。物体検出処理が終了すると（Ｓ２１４：ＹＥＳ）、ＣＰＵ２１は、処理を完了する。

＜実施の形態の効果＞
以上、本実施の形態によれば、基準形状登録処理により登録された基準形状Ｈの基準面積Ｓａと実測時に取得された実測形状Ｊの実測面積Ｓｂに基づいて、距離取得が行われるため、ＣＭＯＳイメージセンサ２４０の出力が飽和するような近距離においても、適正に距離取得を行うことができる。したがって、広範囲で距離取得を行うことができる。

また、本実施の形態によれば、基準面積Ｓａと実測面積Ｓｂの比に応じて、メモリ２５に保持された距離変換関数に基づく演算より、距離情報が取得されるため、簡素な演算処理により距離情報を取得することができる。

また、本実施の形態によれば、判定領域Ｗ１〜Ｗｎが検出対象物体の輝度が略最大値となる基準距離Ｄにおいて、検出対象物体の大きさよりも小さく設定されるため、検出対象物体の形状や向きにかかわらず、適正に検出対象物体の輝度が略最大値となる位置を判定
することができる。これにより、適正に基準形状Ｈと基準面積Ｓａを基準形状登録テーブルＴに設定することができる。

＜変更例＞
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。

たとえば、上記実施の形態では、図６（ｆ）に示すように、基準形状登録テーブルＴには、１つの基準形状Ｈと１つの基準面積Ｓａが設定されたが、図９に示すように、複数種類の異なる基準形状Ｈと基準面積Ｓａが設定されても良い。また、同じ基準形状Ｈで異なる角度の基準形状が設定されても良い。

本変更例とすれば、実測時に検出対象物体の形状が変化したとしても、検出対象物体を適正に検出することができ、適正に距離取得を行うことができる。

また、上記実施の形態では、検出対象物体によりＣＭＯＳイメージセンサ２４０が飽和する位置を基準距離Ｄとして、実測時における検出対象物体の距離が取得されたが、これに限られるものではない。たとえば、図１０に示すように、輝度値が略半分（１２８）になる距離Ｌｍを基準距離Ｄとして、実測時における検出対象物体の距離が取得されても良い。この場合、基準形状登録テーブルＴには、輝度値が１２８に相当する距離Ｌｍにおける基準形状Ｈと基準面積Ｓａが登録される。

本変更例とすれば、上記実施の形態同様、検出対象物体の大きさの変化に応じて、距離を取得することができるため、広範囲で距離取得を行うことができる。

なお、本変更例の場合、基準距離Ｄがやや遠距離に設定されるため、基準形状登録時に、検出対象物体以外の物体が基準距離Ｄよりも前方に位置付けられ易い。基準形状登録時に、検出対象物体以外の物体が基準距離Ｄよりも前方に位置付けられると、適正に検出対象物体の基準形状Ｈを取得できないため、上記実施の形態のように、基準距離Ｄは、最も近距離となる輝度値が略最大値（２５５）となる距離Ｌ０に設定される方が望ましい。

また、上記実施の形態では、判定領域Ｗ１〜Ｗｎに含まれる平均輝度Ｂａを算出して、ＣＭＯＳイメージセンサ２４０が飽和する位置（基準距離Ｄ）が判定されたが、判定領域Ｗ１〜Ｗｎに含まれる輝度の合計値により、ＣＭＯＳイメージセンサ２４０が飽和する位置が判定されても良い。また、この他、判定領域Ｗ１〜Ｗｎに含まれる輝度のうち、最大の輝度により、ＣＭＯＳイメージセンサ２４０が飽和する位置が判定されても良い。

また、上記実施の形態では、検出対象物体によりＣＭＯＳイメージセンサ２４０が飽和する位置を判定するために、所定のサイズの判定領域Ｗ１〜Ｗｎが設定されたが、領域が設定されず、１画素単位の輝度によって、検出対象物体によりＣＭＯＳイメージセンサ２４０が飽和する位置が判定されても良い。ただし、ノイズ等による誤検出を抑制するためには、所定のサイズの判定領域に含まれる複数の輝度値によってＣＭＯＳイメージセンサ２４０が飽和する位置が判定された方が望ましい。

また、上記実施の形態では、全ての距離範囲において、基準形状Ｈの基準面積Ｓａと実測形状Ｊの実測面積Ｓｂに応じて、距離取得が行われたが、図５（ａ）に示す輝度取得可能範囲内であれば、輝度値に応じて距離取得が行われても良い。

また、上記実施の形態では、基準形状Ｈ、実測形状Ｊに含まれる画素数をカウントすることにより、基準面積Ｓａ、実測面積Ｓｂが取得されたが、基準形状Ｈ、実測形状Ｊの輪
郭の座標値に基づく演算によって基準面積Ｓａ、実測面積Ｓｂが取得されても良い。

また、上記実施の形態では、物体検出の前に、基準形状取得部２１ｂにより、基準形状Ｈと基準面積Ｓａがメモリ２５の基準形状登録テーブルＴに登録されたが、あらかじめ、物体検出装置２の製造時に、想定される検出対象物体の基準形状Ｈと基準面積Ｓａが登録されていても良い。この場合、図２に示す基準形状取得部２１ｂの機能が省略される。なお、本変更例の場合、検出対象物体の形状の変化に対応するために、基準形状登録テーブルＴには、多数の基準形状Ｈと基準面積Ｓａが登録されていたほうが望ましい。

本変更例においても、上記実施の形態同様、検出対象物体の大きさの変化に応じて、距離を取得することができるため、広範囲で距離取得を行うことができる。

なお、検出対象物体の基準形状Ｈと基準面積Ｓａは、検出状況に応じて変化することが想定される（たとえば、検出対象の人物が入れ替わる等）。したがって、検出状況の変化に対応するためには、上記実施の形態のように、物体検出の前に、基準形状取得部２１ｂにより、基準形状Ｈと基準面積Ｓａが基準形状登録テーブルＴに設定されたほうが望ましい。

また、上記実施の形態および変更例では、ＣＭＯＳイメージセンサ２４０上の全ての画素について輝度値が取得されたが、必ずしも全ての画素について輝度値が取得されなくとも良く、たとえば、数画素おきに輝度値が取得されても良い。

また、上記実施の形態では、撮像部２００のフィルタ２３０が撮像レンズ２２０とＣＭＯＳイメージセンサ２４０との間に配置されたが、フィルタ２３０の配置位置は、これに限られるものではなく、撮像レンズ２２０よりも目標領域側であっても良い。

また、上記実施の形態では、ＣＰＵ２１による機能によってソフトウエア処理により距離情報が取得されたが、距離情報の取得が回路によるハードウエア処理により実現されても良い。

さらに、上記実施の形態では、受光素子として、ＣＭＯＳイメージセンサ２４０を用いたが、これに替えて、ＣＣＤイメージセンサを用いることもできる。また、赤外以外の波長帯域の光を距離取得に用いることもできる。

この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

１ … パーソナルコンピュータ
２ … 物体検出装置
３ … 情報処理部
２１ｂ … 基準形状取得部
２１ｃ … 物体検出部
２３ … 撮像信号処理回路（輝度取得部）
１００ … 投射部
１１０ … 光源
２００ … 撮像部
２２０ … 撮像レンズ
２３０ … フィルタ
２４０ … ＣＭＯＳイメージセンサ（イメージセンサ）
Ｂａ … 平均輝度（輝度値）
Ｄ … 基準距離
Ｈ … 基準形状
Ｊ … 実測形状
Ｓａ … 基準面積（基準形状の大きさ）
Ｓｂ … 実測面積（実測形状の大きさ）
Ｗ１〜Ｗｎ … 判定領域

Claims (7)

1. 目標領域に光を投射する投射部と、
   前記目標領域をイメージセンサにより撮像する撮像部と、
   前記イメージセンサ上の所定の画素の輝度値を取得する輝度取得部と、
   前記輝度取得部により取得された輝度値に基づいて、前記目標領域に存在する検出対象物体を検出する物体検出部と、を備え、
   前記物体検出部は、実測時に、前記検出対象物体の実測形状の大きさを取得し、前記実測形状の大きさと、前記検出対象物体が基準距離にあるときの前記検出対象物体の基準形状の大きさとに基づいて、前記検出対象物体の距離に関する情報を取得する、
   ことを特徴とする物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記輝度取得部により取得された輝度値に基づいて、前記基準距離における前記検出対象物体の前記基準形状と該基準形状の大きさを取得する基準形状取得部を、さらに備える、
   ことを特徴とする物体検出装置。
3. 請求項２に記載の物体検出装置において、
   前記基準形状取得部は、輝度値と距離との関係を規定する規定情報を備え、前記規定情報に基づいて、前記基準距離における前記基準形状と前記基準形状の大きさを取得する、ことを特徴とする物体検出装置。
4. 請求項３に記載の物体検出装置において、
   前記基準距離は、前記検出対象物体を前記撮像部に近づけたときに、前記イメージセンサから取得される輝度値がその距離から飽和する距離に設定される、
   ことを特徴とする物体検出装置。
5. 請求項４に記載の物体検出装置において、
   前記基準形状取得部は、前記基準距離における前記基準形状の大きさよりも小さい判定領域を設定し、当該判定領域に含まれる前記輝度値に基づいて、前記イメージセンサから取得される輝度値が飽和しているかを判定する、
   ことを特徴とする物体検出装置。
6. 請求項３ないし５の何れか一項に記載の物体検出装置において、
   前記物体検出部は、前記基準形状の大きさに対する前記実測形状の大きさの変化量と、前記規定情報に基づいて、前記実測時における前記検出対象物体の距離に関する情報を取得する、
   ことを特徴とする物体検出装置。
7. 請求項１ないし６の何れか一項に記載の物体検出装置において、
   前記投射部は、赤外の波長帯域の光を出射する光源を含み、
   前記撮像部は、前記赤外の波長帯域の光を透過するフィルタと、前記目標領域に照射された前記光を前記イメージセンサに集光する撮像レンズと、を備える、
   ことを特徴とする物体検出装置。

Images