JP2014174101A - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- JP2014174101A JP2014174101A JP2013049235A JP2013049235A JP2014174101A JP 2014174101 A JP2014174101 A JP 2014174101A JP 2013049235 A JP2013049235 A JP 2013049235A JP 2013049235 A JP2013049235 A JP 2013049235A JP 2014174101 A JP2014174101 A JP 2014174101A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- object detection
- image sensor
- target object
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】演算量を抑えつつ、広範囲で距離取得が可能な物体検出装置を提供する。
【解決手段】目標領域に光を投射する投射部100と、目標領域をCMOSイメージセンサ240により撮像する撮像部200と、CMOSイメージセンサ240上の所定の画素の輝度値を取得する撮像信号処理回路23と、撮像信号処理回路23により取得された輝度値に基づいて、目標領域に存在する検出対象物体を検出する物体検出部21cと、を備える。物体検出部21cは、実測時に、検出対象物体の実測形状Jの実測面積Sbを取得し、実測形状Jの実測面積Sbと、検出対象物体が基準距離Dにあるときの検出対象物体の基準形状Hの基準面積Saとに基づいて、検出対象物体の距離情報を取得する。
【選択図】図2
【解決手段】目標領域に光を投射する投射部100と、目標領域をCMOSイメージセンサ240により撮像する撮像部200と、CMOSイメージセンサ240上の所定の画素の輝度値を取得する撮像信号処理回路23と、撮像信号処理回路23により取得された輝度値に基づいて、目標領域に存在する検出対象物体を検出する物体検出部21cと、を備える。物体検出部21cは、実測時に、検出対象物体の実測形状Jの実測面積Sbを取得し、実測形状Jの実測面積Sbと、検出対象物体が基準距離Dにあるときの検出対象物体の基準形状Hの基準面積Saとに基づいて、検出対象物体の距離情報を取得する。
【選択図】図2
Description
本発明は、目標領域内の物体を検出する物体検出装置に関する。
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。
距離画像センサとして、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサが知られている(たとえば、非特許文献1)。かかる距離画像センサでは、基準面にレーザ光を照射したときのドットパターンが撮像素子により撮像され、撮像されたドットパターンが基準ドットパターンとして保持される。そして、基準ドットパターンと、実測時に撮像された実測ドットパターンとが比較され、距離情報が取得される。具体的には、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置に基づいて、三角測量法により、当該参照領域に対する距離情報が取得される。
第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280
しかしながら、上記距離画像センサでは、ドットパターンの光を生成する必要があるため、目標領域に光を投射する投射部の構成が複雑になるとの問題がある。また、参照領域に含まれるドットを実測ドットパターン上において探索する処理が必要となるため、距離情報の取得のために、煩雑な演算処理が必要になるとの問題もある。
さらに、イメージセンサの出力信号が飽和するほど近距離に物体が近付けられた場合、撮像した画像には、一様に高い輝度値が出力されるため、適正に距離を取得することができないとの問題も生じる。
上記課題に鑑み、本発明は、演算量を抑えつつ、広範囲で距離取得が可能な物体検出装置を提供することを目的とする。
本発明の主たる態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域に光を投射する投射部と、前記目標領域をイメージセンサにより撮像する撮像部と、前記イメージセンサ上の所定の画素の輝度値を取得する輝度取得部と、前記輝度取得部により取得された輝度値に基づいて、前記目標領域に存在する検出対象物体を検出する物体検出部と、を備える。前記物体検出部は、実測時に、前記検出対象物体の実測形状の大きさを取得し、前記実測形状の大きさと、前記検出対象物体が基準距離にあるときの前記検出対象物体の基準形状の大きさとに基づいて、前記検出対象物体の距離に関する情報を取得する。
本発明によれば、演算量を抑えつつ、広範囲で距離取得が可能な物体検出装置を提供することができる。
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
以下、本発明の実施の形態につき図面を参照して説明する。
本実施の形態は、ノート型のパーソナルコンピュータに本発明に係る物体検出装置を適用したものである。この他、本発明に係る物体検出装置は、デスクトップ型のパーソナルコンピュータやテレビ等の他の機器にも適宜適用可能なものである。なお、本発明に係る物体検出装置は、必ずしも、他の機器に一体的に搭載されなくとも良く、単独で一つの装置を構成するものであっても良い。
以下に示す実施の形態において、撮像信号処理回路23は、請求項に記載の「輝度取得部」に相当する。CMOSイメージセンサ240は、請求項に記載の「イメージセンサ」に相当する。図5(a)に示す距離変換関数は、請求項に記載の「規定情報」に相当する。物体検出部21cによって取得される距離情報は、請求項に記載の「実測時における物体の距離に関する情報」に相当する。平均輝度Baは、請求項に記載の「輝度値」に相当する。基準面積Saは、請求項に記載の「基準形状の大きさ」に相当する。実測面積Sbは、請求項に記載の「実測形状の大きさ」に相当する。ただし、上記請求項と本実施の形態との対応の記載は、あくまで一例であって、請求項に係る発明を本実施の形態に限定するものではない。
図1は、本実施の形態に係るパーソナルコンピュータ1の概略構成を示す図である。図1に示すように、パーソナルコンピュータ1は、物体検出装置2と、情報処理部3を備えている。この他、パーソナルコンピュータ1は、キーボード4と、操作パッド5と、モニタ6を備えている。
物体検出装置2は、目標領域全体に、可視光の波長帯よりも長い赤外の波長帯域の光(赤外光)を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域に存在する物体までの距離(以下、「距離情報」という)を取得する。情報処理部3は、物体検出装置2により取得された距離情報に基づいて、目標領域に存在する所定の物体を検出し、さらに、当該物体の動きを検出する。そして、情報処理部3は、当該物体の
動きに応じて、パーソナルコンピュータ1の機能を制御する。
動きに応じて、パーソナルコンピュータ1の機能を制御する。
たとえば、ユーザが手を用いて所定のジェスチャを行うと、物体検出装置2からジェスチャに応じた距離情報が情報処理部3に送信される。この情報に基づき、情報処理部3は、ユーザの手を検出対象物体として検出し、手の動きに対応付けられた機能(画面の拡大・縮小や、画面の明るさ調整、ページ送り、等)を実行する。
図2は、物体検出装置2と情報処理部3の構成を示す図である。
物体検出装置2は、光学部の構成として、投射部100と撮像部200とを備えている。投射部100と撮像部200は、X軸方向に並ぶように、配置されている。
投射部100は、赤外の波長帯域の光を出射する光源110を備えている。
撮像部200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、物体検出装置2は、回路部の構成として、CPU(Central Processing Unit)21と、赤外光源駆動回路22と、撮像信号処理回路23と、入出力回路24と、メモリ25を備えている。
なお、このように、投射部100が赤外の波長帯域の光を出射する光源110を備え、撮像部200が撮像レンズ220とフィルタ230とを備える構成は、請求項7に記載の構成の一例である。
光源110から目標領域に投射された光は、目標領域に存在する物体によって反射され、アパーチャ210を介して撮像レンズ220に入射する。
アパーチャ210は、撮像レンズ220のFナンバーに合うように、外部からの光を制限する。撮像レンズ220は、アパーチャ210を介して入射された光をCMOSイメージセンサ240上に集光する。フィルタ230は、光源110の出射波長を含む波長帯域の光を透過し、可視光の波長帯域の光をカットするバンドパスフィルタである。
CMOSイメージセンサ240は、後述のように、光源110から出射される赤外光の波長帯域に対して感度を有する。CMOSイメージセンサ240は、撮像レンズ220にて集光された光を受光して、画素毎に、受光量に応じた信号を撮像信号処理回路23に出力する。ここで、CMOSイメージセンサ240は、各画素における受光から高レスポンスでその画素の信号を撮像信号処理回路23に出力できるよう、信号の出力速度が高速化されている。
本実施の形態において、CMOSイメージセンサ240の撮像有効領域(センサとして信号を出力する領域)は、たとえば、VGA(横640画素×縦480画素)のサイズである。CMOSイメージセンサ240の撮像有効領域は、XGA(横1024画素×縦768画素)のサイズや、SXGA(横1280画素×縦1024画素)のサイズ等、他のサイズであっても良い。
CPU21は、メモリ25に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、光源制御部21aと、基準形状取得部21bと、物体検出部21cとの機能が付与される。
光源制御部21aは、赤外光源駆動回路22を制御する。基準形状取得部21bは、事前設定時にCMOSイメージセンサ240から出力される信号に基づいて、検出対象物体
の距離情報を取得するための基準形状と基準面積を取得し、メモリ25の基準形状登録テーブルTに登録する。なお、基準形状取得部21bによる基準形状登録処理については、追って、図7を参照して説明する。
の距離情報を取得するための基準形状と基準面積を取得し、メモリ25の基準形状登録テーブルTに登録する。なお、基準形状取得部21bによる基準形状登録処理については、追って、図7を参照して説明する。
赤外光源駆動回路22は、CPU21からの制御信号に応じて光源110を駆動する。
撮像信号処理回路23は、CPU21からの制御を受けてCMOSイメージセンサ240を駆動し、CMOSイメージセンサ240から出力される信号から、各画素の輝度信号を取得し、取得した輝度信号をCPU21に出力する。後述のように、撮像信号処理回路23は、CPU21により設定された露光時間をCMOSイメージセンサ240の各画素に適用し、さらに、CMOSイメージセンサ240から出力される信号に対してCPU21により設定されたゲインを適用して、画素毎に、輝度信号を取得する。
CPU21は、撮像信号処理回路23から供給される輝度信号をもとに、基準形状登録テーブルTに登録された基準形状の検出対象物体を検出し、物体検出装置2から検出対象物体までの距離を、物体検出部21cによる処理によって算出する。距離情報は、CMOSイメージセンサ240の画素毎に取得される。物体検出部21cは、取得した距離情報をもとに、検出対象物体の動きを検出し、所定の動きパターンに応じた機能制御信号を情報処理部3のCPU31に出力する。なお、物体検出部21cによる物体検出処理については、追って、図8を参照して詳細に説明する。
入出力回路24は、情報処理部3とのデータ通信を制御する。
メモリ25は、CPU21により実行される制御プログラムの他、距離情報の取得に用いられる距離変換関数を保持している。この他、メモリ25は、CPU21における処理の際のワーク領域としても用いられる。なお、距離変換関数については、追って、図5(a)を参照して説明する。
情報処理部3は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理部3には、図2に示す構成の他、パーソナルコンピュータ1の各部を駆動および制御するための構成が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
CPU31は、メモリ33に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU31には、物体検出部21cからの信号に応じて、パーソナルコンピュータ1の機能を制御するための機能制御部31aの機能が付与される。
機能制御部31aは、物体検出部21cからの機能制御信号に応じて、パーソナルコンピュータ1の機能の制御を実行する。
図3(a)、図3(b)は、投射部100および撮像部200の構成を示す図である。図3(a)は、回路基板300に設置された状態の投射部100および撮像部200を示す平面図であり、図3(b)は、図3(a)のA−A’断面図である。
図3(a)、(b)を参照して、光源110は、発光ダイオード(LED:LightEmitting Diode)、半導体レーザ等からなっている。光源110は、赤外光の利用効率を高めるため、レンズ等によって、目標領域において赤外光が撮像範囲の近傍に集まるように調整されている。光源110は、回路基板300上に実装されている。
撮像部200は、上述のアパーチャ210、撮像レンズ220、フィルタ230および
CMOSイメージセンサ240の他、レンズバレル250と、撮像レンズホルダ260を備えている。CMOSイメージセンサ240は、回路基板300上に実装されている。撮像レンズ220は、レンズバレル250に装着され、レンズバレル250は、撮像レンズ220を保持した状態で撮像レンズホルダ260に装着される。撮像レンズホルダ260は、下面に凹部を有し、この凹部に、フィルタ230が装着される。こうして、撮像レンズ220とフィルタ230とを保持した状態で、撮像レンズホルダ260が、CMOSイメージセンサ240を覆うように、回路基板300上に設置される。
CMOSイメージセンサ240の他、レンズバレル250と、撮像レンズホルダ260を備えている。CMOSイメージセンサ240は、回路基板300上に実装されている。撮像レンズ220は、レンズバレル250に装着され、レンズバレル250は、撮像レンズ220を保持した状態で撮像レンズホルダ260に装着される。撮像レンズホルダ260は、下面に凹部を有し、この凹部に、フィルタ230が装着される。こうして、撮像レンズ220とフィルタ230とを保持した状態で、撮像レンズホルダ260が、CMOSイメージセンサ240を覆うように、回路基板300上に設置される。
本実施の形態において、撮像レンズ220は、4枚のレンズにより構成されている。しかしながら、撮像レンズ220を構成するレンズの数はこれに限られるものではなく、他の枚数のレンズから撮像レンズ220が構成されても良い。
回路基板300には、投射部100と撮像部200の他、物体検出装置2を構成する回路部400が実装される。図2に示すCPU21、赤外光源駆動回路22、撮像信号処理回路23、入出力回路24およびメモリ25は、かかる回路部400に含まれる。
図3(c)は、目標領域に対する赤外光の投射状態および撮像部200による目標領域の撮像状態を模式的に示す図である。
図3(c)の下部には、投射部100による赤外光の投射状態と、撮像部200による目標領域の撮像状態が示されている。また、図3(c)の上部には、目標領域における赤外光の投射範囲と、目標領域に対する撮像部200の撮像範囲が模式的に示されている。さらに、図3(c)の上部には、CMOSイメージセンサ240の撮像有効領域に対応する領域が示されている。図3(c)において、Lminは、物体検出装置2によって取得可能な最小距離を示している。図3(c)の上部には、目標領域が最大距離の位置にあるときの投射範囲、撮像範囲および撮像有効領域が示されている。
図3(c)に示すように、撮像範囲と投射範囲は、目標領域において互いに重なり合っており、撮像範囲と投射範囲とが重なる範囲に、撮像有効領域が位置付けられる。
目標領域をCMOSイメージセンサ240で撮像するためには、CMOSイメージセンサ240の撮像有効領域に対応する領域が、投射範囲内に含まれている必要がある。一方、距離が短くなるにつれて、投射範囲が狭くなり、やがて、投射範囲が撮像有効領域に対応する領域に掛らなくなる。したがって最小距離Lminは、少なくとも、投射範囲が撮像有効領域全体に掛かり得る最小の限界距離よりも長く設定される。
図4は、CMOSイメージセンサ240上の各画素の感度を模式的に示す図である。
本実施の形態では、CMOSイメージセンサ240として、カラーセンサが用いられる。したがって、CMOSイメージセンサ240には、赤、緑、青をそれぞれ検知する3種の画素が含まれる。
図4において、R、G、Bは、それぞれ、CMOSイメージセンサ240に含まれる赤、緑、青の画素の感度を示している。図4に示すとおり、赤、緑、青の画素の感度は、赤外の波長帯域である800nm以上の帯域において、略同じ感度となっている(図4の斜線部分を参照)。したがって、図3(b)に示すフィルタ230によって、可視光の波長帯域が除去されると、CMOSイメージセンサ240の赤、緑、青の画素の感度は、互いに略等しくなる。このため、赤、緑、青の画素に、それぞれ、同じ光量の赤外光が入射すると、各色の画素から出力される信号の値は略等しくなる。よって、各画素からの信号を画素間で調整する必要はなく、各画素からの信号をそのまま距離情報の取得に用いること
ができる。
ができる。
図5(a)の上部には、メモリ25に保持された距離変換関数の波形を模式的に示す図が示されている。図5(a)の下部には、物体検出装置2から検出対象物体までの距離と輝度の関係を模式的に示す図が示されている。図5(a)には、検出対象物体として手が示されており、ハッチングが濃いほど、受光量が大きいことが示されている。図5(a)に示すグラフの縦軸は、輝度値(階調値)であり、横軸は、距離(cm)である。なお、CMOSイメージセンサ240の最高輝度値255よりも高い輝度値の範囲には、ハッチングが付されている。
図5(a)に示すように、距離変換関数は、CMOSイメージセンサ240を介して取得される輝度値と、当該輝度値に対応する距離の関係を規定する。一般に、直進する光の光量は、距離の2乗に反比例して減衰する。したがって、投射部100から出射された赤外光は、投射部100から目標領域までの距離と目標領域から撮像部200までの距離を加算した距離の2乗分の1に光量が減衰した状態で、撮像部200によって受光される。このため、図5(a)に示すように、CMOSイメージセンサ240を介して取得される輝度値は、物体までの距離が長いほど小さくなり、物体までの距離が短いほど大きくなる。したがって、距離と輝度との関係を規定する距離変換関数は、図5(a)に示すような曲線波形になる。
物体検出装置2では、距離と輝度値との関係が距離変換関数に略整合するように、CMOSイメージセンサ240の露光時間と、輝度値の取得に適用にされるゲインが調整されている。輝度値は、256階調で取得される。
かかる調整は、物体検出装置2の製造時に行われる。そして、調整された露光時間とゲインは、メモリ25に保持され、距離情報の取得の際に用いられる。
上述のように、検出対象物体(たとえば、手等)を物体検出装置2に近付けていくと、距離の2乗に反比例してCMOSイメージセンサ240に対する反射光の受光光量が大きくなり、輝度が高くなる。そして、所定の距離L0まで検出対象物体が近付けられると、CMOSイメージセンサ240の出力が飽和し、輝度は最大値である255となる。検出対象物体が距離L0よりもさらに物体検出装置2側に近付けられた場合、CMOSイメージセンサ240の出力が飽和しているため、距離に応じて受光光量が大きくなっても、輝度値は上昇しなくなる。
また、検出対象物体を物体検出装置2から遠ざけると、距離の2乗に反比例してCMOSイメージセンサ240に対する反射光の受光光量が小さくなり、輝度が低くなる。そして、所定の距離Leまで検出対象物体が遠ざけられると、CMOSイメージセンサ240の受光光量が検出限界まで小さくなり、輝度は最小である0となる。検出対象物体が距離Leよりもさらに物体検出装置2から遠ざけられた場合、CMOSイメージセンサ240の検出限界よりも受光光量が小さいため、距離に応じて受光光量が小さくなっても、輝度は低下しなくなる。
このように、距離L0よりも近距離に物体が位置付けられた場合、輝度が変化しないため、輝度の変化からは距離を測定することができない。
図5(b)は、物体検出装置2から検出対象物体までの距離と撮像画像中に写り込んだ検出対象物体の大きさとを示す図である。なお、図5(b)には、検出対象物体として手が示されており、ハッチングが薄いほど、輝度が高いことが示されている。
図5(b)には、図中、左から順に、近距離から遠距離に徐々に手を遠ざけた場合の所定の距離における手の大きさが示されている。図示の如く、手を近距離から遠距離に徐々に遠ざけた場合、撮像画像中に写り込む物体形状の大きさは、徐々に小さくなる。図中一番左に写り込んでいる手とその右隣の手の位置の輝度は、それぞれ、最大値(255)となっている。
一般に、撮像画像中に写り込む検出対象物体の形状の大きさは、輝度と同様、距離の2乗に反比例して小さくなる。したがって、あらかじめ、検出対象物体の形状と所定の基準距離Dにおける検出対象物体の大きさを保持しておけば、上記と同様の距離変換関数に基づいて、保持しておいた検出対象物体の大きさと実測時の検出対象物体の大きさの比から、距離を算出することができる。本実施の形態では、基準距離Dは、輝度が略最大値となる距離L0に設定される。
たとえば、図5(a)に示すように、あらかじめ、物体検出装置2から30cmの位置で輝度が最大値の255となるように、CMOSイメージセンサ240のゲイン、露光時間等のパラメータが調整されており、輝度が最大値(255)となるときの検出対象物体の面積をSとすると、実測時の検出対象物体の面積が1.5Sであった場合、距離は、略25cmと算出される。また、実測時の検出対象物体の面積が0.5Sであった場合は、略45cmと算出される。
このように、輝度が略最大値となる基準距離Dにおける検出対象物体の面積と、実測時における検出対象物体の面積の比から実測時の距離を算出することができる。撮像画像に写り込む検出対象物体は、CMOSイメージセンサ240の出力値が飽和するほど検出対象物体が物体検出装置2に近付けられたとしても大きさが変化するため、輝度値のみで距離を取得する場合に比べ、より広範囲で距離取得を行うことができる。
なお、このように、あらかじめ保持しておいた基準距離Dのときの検出対象物体の面積と、実測時における検出対象物体の面積に基づいて、検出対象物体の距離が取得される構成は、請求項1に記載の構成の一例である。また、基準距離Dが、輝度が略最大値となる距離に設定される構成は、請求項4に記載の構成の一例である。
上述のようにして、実測時における検出対象物体の面積と距離変換関数から距離を算出するために、物体検出の前に、輝度が略最大値となる基準距離Dにおける検出対象物体の基準形状Hと検出対象物体の基準面積Saがメモリ25の基準形状登録テーブルTに設定される。
図6(a)は、CMOSイメージセンサ240から出力された撮像画像の例を示す模式図である。図6(b)〜図6(e)は、人物の手周辺の撮像画像の例を示す図である。図6(f)は、基準形状登録テーブルTを示す図である。
図6(a)の撮像画像には、手を前方に突き出した人物が写り込んでいる。図6(a)〜図6(e)の撮像画像では、ハッチングが濃ければ濃いほど、輝度が低く、ハッチングが薄ければ薄いほど、輝度が高いことが示されている。
基準形状登録テーブルTの設定時には、まず、図6(b)〜図6(e)に示すように、人物が徐々に手を物体検出装置2に近付けている状態が撮像部200により撮像される。そして、取得された撮像画像が、所定のサイズの判定領域W1〜Wnに区分される。判定領域W1〜Wnのサイズは、図6(d)に示すように、検出対象物体の大きさよりも小さくなるように設定される。判定領域W1〜Wnのうちどれかに輝度が略最大値となる検出対象物体が含まれていると判定された場合、検出対象物体が基準距離Dに位置付けられた
と判定される。そして、その位置における検出対象物体の形状が基準形状Hとして、基準形状Hに含まれる画素数が基準面積Saとして、基準形状登録テーブルTに登録される。
と判定される。そして、その位置における検出対象物体の形状が基準形状Hとして、基準形状Hに含まれる画素数が基準面積Saとして、基準形状登録テーブルTに登録される。
たとえば、図6(b)〜図6(e)に示すように、人物が徐々に手を前方に突き出した状態を撮像した場合、図6(d)に示す撮像画像を撮像したときに、判定領域Wiに輝度が略最大値となる検出対象物体が含まれていると判定される。そして、この判定領域Wiを含む検出対象物体の形状が所定の輪郭抽出エンジンによって抽出される。そして、抽出した輪郭に含まれる画素数がカウントされ、図6(f)に示すようにメモリ25の基準形状登録テーブルTに基準形状Hと基準面積Saが設定される。
こうして、基準形状登録テーブルTに基準形状Hと基準面積Saが設定されると、実測時における撮像画像中における検出対象物体の形状が抽出され、実測時における検出対象物体の実測形状Jの実測面積Sbと基準形状Hの基準面積Saの比から、上記の距離変換関数に基づいて距離取得が行われる。
なお、このように、検出対象物体の基準形状Hと基準面積Saが設定される構成は、請求項2に記載の構成の一例である。また、輝度値に対応する距離の関係を規定する距離変換関数を備え、輝度が略最大値となるときの検出対象物体の基準形状Hと基準面積Saが設定される構成は、請求項3に記載の構成の一例である。さらに、実測時における検出対象物体の形状の実測面積Sbと基準形状Hの基準面積Saの比と、距離変換関数に基づいて、実測時の検出対象物体の距離が取得される構成は、請求項6に記載の構成の一例である。
判定領域W1〜Wnのサイズは、図6(d)に示すように、検出対象物体の輝度が略最大値となる基準距離Dの位置において、検出対象物体の大きさよりも小さくなるように設定されるのが望ましい。これは、指や手の向きや形状によって光の当たり方が異なるためである。たとえば、判定領域W1〜Wnのサイズが、手の形状と略同等の大きさである場合、手全体の輝度が略最大値になるよう、ユーザ側で指や手の向き及び形状を調節する必要がある。これに対し、本実施の形態では、判定領域W1〜Wnのサイズは、検出対象物体の大きさよりも小さく設定されるため、検出対象物体の形状や向きにかかわらず、適正に検出対象物体の輝度が略最大値となる位置を判定することができる。これにより、適正に基準形状Hと基準面積Saを基準形状登録テーブルTに設定することができる。
なお、このように、検出対象物体の輝度が略最大値となる基準距離Dにおいて、基準形状Hの基準面積Saよりも小さい判定領域W1〜Wnが設定される構成は、請求項5に記載の構成の一例である。
図7は、基準形状登録処理を示すフローチャートである。図7の処理は、図2に示すCPU21の機能のうち、基準形状取得部21bの機能によって実行される。
基準形状登録処理が開始され、撮像タイミングが到来すると(S101:YES)、CPU21は、上記のように設定された露光時間とゲインをメモリ25から読み出して、撮像信号処理回路23に設定する。これにより撮像信号処理回路23は、設定された露光時間とゲインでもって、CMOSイメージセンサ240から撮像画像を取得し(S102)、取得した撮像画像から、画素毎に輝度値を取得する(S103)。取得された輝度値は、CPU21に送信される。
CPU21は、撮像画像上において、所定のサイズの領域を、判定領域W1〜Wnとして区分する(S104)。判定領域W1〜Wnは、検出対象物体の大きさよりも小さく設定される。たとえば、縦5画素×横5画素の領域に設定される。
CPU21は、変数iに1をセットし(S105)、判定領域Wi内の平均輝度Baを算出する(S106)。そして、CPU21は、判定領域Wiの平均輝度Baが輝度閾値Bsh1以上であるか否かを判定する(S107)。
判定領域Wiの平均輝度Baが輝度閾値Bsh1以上でない場合(S107:NO)、CPU21は、変数iに1を加算し(S108)、変数iが変数nを超えたか否かを判定する(S109)。変数iが変数nを超えていない場合(S109:NO)、CPU21は、処理をS106に戻し、次の判定領域Wiの平均輝度Baの算出と(S106)、平均輝度Baが輝度閾値Bsh1以上であるか否かを判定する(S107)。判定領域Wiの平均輝度Baが輝度閾値Bsh1以上でない限り(S107:NO)、CPU21は、最後の判定領域Wnに到達するまで(S109:NO)、処理を繰り返す(S106〜S109)。
輝度閾値Bsh1は、CMOSイメージセンサ240の出力が飽和しているかを判定するため、輝度の最大値(255)に近い値が設定される(たとえば、250)。
判定領域W1〜Wnの平均輝度Baが輝度閾値Bsh1以上でなく(S107:NO)、最後の判定領域Wnまで処理が完了すると(S109:YES)、CPU21は、基準形状登録処理が終了したか否かを判定する(S110)。基準形状登録処理が終了していない場合(S110:NO)、CPU21は、処理をS101に戻し、次の撮像画像に対する基準形状判定処理を実行する(S101〜S113)。
判定領域Wiの平均輝度Baが輝度閾値Bsh1以上である場合(S107:YES)、CPU21は、判定領域Wiを含む検出対象物体の輪郭を所定の輪郭抽出エンジンによって抽出する(S111)。こうして抽出された輪郭が、基準形状Hとされる。そして、基準形状Hの輪郭内に含まれる画素数をカウントする(S112)。こうしてカウントされた画素数が、基準面積Saとされる。そして、CPU21は、抽出した基準形状Hと、基準面積Saを基準形状登録テーブルTに設定する(S113)。これにより、基準形状登録テーブルTに、検出対象物体の形状と輝度が略最大値(255)となるときの検出対象物体の大きさ(面積)がメモリ25の基準形状登録テーブルTに設定される。
こうして、基準形状登録テーブルTに基準形状Hと基準面積Saが登録されると、CPU21は、基準形状登録処理が終了したか否かを判定する(S110)。基準形状登録処理が終了していない場合(S110:NO)、CPU21は、処理をS101に戻し、次の撮像画像に対する処理を実行する(S101〜S113)。基準形状登録処理が終了すると(S110:YES)、CPU21は、処理を完了する。
図8は、物体検出処理を示すフローチャートである。図8の処理は、図2に示すCPU21の機能のうち、物体検出部21cの機能によって実行される。
物体検出処理が開始され、撮像タイミングが到来すると(S201:YES)、CPU21は、上記のように設定された露光時間とゲインをメモリ25から読み出して、撮像信号処理回路23に設定する。これにより撮像信号処理回路23は、設定された露光時間とゲインでもって、CMOSイメージセンサ240から撮像画像を取得し(S202)、取得した撮像画像から、画素毎に輝度値を取得する(S203)。取得された輝度値は、CPU21に送信される。
CPU21は、撮像信号処理回路23から受信した輝度値を各画素位置に設定して輝度画像を作成する(S204)。そして、CPU21は、輝度画像における最高階調の輝度
値(最も物体検出装置2に接近することを表す輝度値)から所定の値ΔBを減じた値を輝度閾値Bsh2に設定する(S205)。
値(最も物体検出装置2に接近することを表す輝度値)から所定の値ΔBを減じた値を輝度閾値Bsh2に設定する(S205)。
次に、CPU21は、輝度画像上において、輝度値(階調値)が輝度閾値Bsh2よりも高い領域を、対象領域として区分する(S206)。そして、CPU21は、所定の輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、基準形状登録テーブルTの基準形状Hの輪郭とを比較して、基準形状Hの輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する(S207)。この抽出された領域が実測形状Jとされる。CPU21は、抽出した実測形状Jの輪郭内に含まれる画素数をカウントし、検出対象物体の実測面積Sbを算出する(S208)。
CPU21は、算出した実測面積Sbと基準形状登録テーブルTに保持された基準面積Saの比に応じて、メモリ25に保持された距離変換関数に基づく演算により距離情報を取得する(S209)。また、CPU21は、検出対象物体の中心の画素位置を取得する(S210)。取得した距離情報と画素位置が、検出対象物体の3次元距離情報に相当する。取得した3次元距離情報は、メモリ25に保持される。
CPU21は、取得した3次元距離情報と、これまでに取得したメモリ25に保持された3次元距離情報に基づいて、検出対象物体の動きを取得する(S211)。そして、CPU21は、取得した検出対象物体の動きが、あらかじめ設定された所定の動きパターンと合致するか否かを判定する(S212)。
検出対象物体の動きが所定の動きパターンに合致しない場合(S212:NO)、CPU21は、処理をS214に進める。検出対象物体の動きが所定の動きパターンに合致する場合(S212:YES)、CPU21は、所定の動きパターンに応じた機能制御信号を図2に示すパーソナルコンピュータ1の情報処理部3に出力する。パーソナルコンピュータ1の情報処理部3は、機能制御信号を受信すると、信号に応じたパーソナルコンピュータ1の機能(画面の拡大・縮小や、画面の明るさ調整、ページ送り、等)を実行する。
こうして、検出対象物体の距離取得、動き検出処理が終了すると、CPU21は、物体検出動作が終了したか否かを判定する(S214)。物体検出動作が終了していない場合(S214:NO)、CPU21は、S201に戻り、次の撮像画像が取得されるのを待つ。そして、次の撮像画像が取得されると(S201:YES)、CPU21は、S202以降の処理を実行し、当該撮像画像から検出対象物体の距離取得、動き検出処理を実行する(S202〜S213)。物体検出処理が終了すると(S214:YES)、CPU21は、処理を完了する。
<実施の形態の効果>
以上、本実施の形態によれば、基準形状登録処理により登録された基準形状Hの基準面積Saと実測時に取得された実測形状Jの実測面積Sbに基づいて、距離取得が行われるため、CMOSイメージセンサ240の出力が飽和するような近距離においても、適正に距離取得を行うことができる。したがって、広範囲で距離取得を行うことができる。
以上、本実施の形態によれば、基準形状登録処理により登録された基準形状Hの基準面積Saと実測時に取得された実測形状Jの実測面積Sbに基づいて、距離取得が行われるため、CMOSイメージセンサ240の出力が飽和するような近距離においても、適正に距離取得を行うことができる。したがって、広範囲で距離取得を行うことができる。
また、本実施の形態によれば、基準面積Saと実測面積Sbの比に応じて、メモリ25に保持された距離変換関数に基づく演算より、距離情報が取得されるため、簡素な演算処理により距離情報を取得することができる。
また、本実施の形態によれば、判定領域W1〜Wnが検出対象物体の輝度が略最大値となる基準距離Dにおいて、検出対象物体の大きさよりも小さく設定されるため、検出対象物体の形状や向きにかかわらず、適正に検出対象物体の輝度が略最大値となる位置を判定
することができる。これにより、適正に基準形状Hと基準面積Saを基準形状登録テーブルTに設定することができる。
することができる。これにより、適正に基準形状Hと基準面積Saを基準形状登録テーブルTに設定することができる。
<変更例>
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。
たとえば、上記実施の形態では、図6(f)に示すように、基準形状登録テーブルTには、1つの基準形状Hと1つの基準面積Saが設定されたが、図9に示すように、複数種類の異なる基準形状Hと基準面積Saが設定されても良い。また、同じ基準形状Hで異なる角度の基準形状が設定されても良い。
本変更例とすれば、実測時に検出対象物体の形状が変化したとしても、検出対象物体を適正に検出することができ、適正に距離取得を行うことができる。
また、上記実施の形態では、検出対象物体によりCMOSイメージセンサ240が飽和する位置を基準距離Dとして、実測時における検出対象物体の距離が取得されたが、これに限られるものではない。たとえば、図10に示すように、輝度値が略半分(128)になる距離Lmを基準距離Dとして、実測時における検出対象物体の距離が取得されても良い。この場合、基準形状登録テーブルTには、輝度値が128に相当する距離Lmにおける基準形状Hと基準面積Saが登録される。
本変更例とすれば、上記実施の形態同様、検出対象物体の大きさの変化に応じて、距離を取得することができるため、広範囲で距離取得を行うことができる。
なお、本変更例の場合、基準距離Dがやや遠距離に設定されるため、基準形状登録時に、検出対象物体以外の物体が基準距離Dよりも前方に位置付けられ易い。基準形状登録時に、検出対象物体以外の物体が基準距離Dよりも前方に位置付けられると、適正に検出対象物体の基準形状Hを取得できないため、上記実施の形態のように、基準距離Dは、最も近距離となる輝度値が略最大値(255)となる距離L0に設定される方が望ましい。
また、上記実施の形態では、判定領域W1〜Wnに含まれる平均輝度Baを算出して、CMOSイメージセンサ240が飽和する位置(基準距離D)が判定されたが、判定領域W1〜Wnに含まれる輝度の合計値により、CMOSイメージセンサ240が飽和する位置が判定されても良い。また、この他、判定領域W1〜Wnに含まれる輝度のうち、最大の輝度により、CMOSイメージセンサ240が飽和する位置が判定されても良い。
また、上記実施の形態では、検出対象物体によりCMOSイメージセンサ240が飽和する位置を判定するために、所定のサイズの判定領域W1〜Wnが設定されたが、領域が設定されず、1画素単位の輝度によって、検出対象物体によりCMOSイメージセンサ240が飽和する位置が判定されても良い。ただし、ノイズ等による誤検出を抑制するためには、所定のサイズの判定領域に含まれる複数の輝度値によってCMOSイメージセンサ240が飽和する位置が判定された方が望ましい。
また、上記実施の形態では、全ての距離範囲において、基準形状Hの基準面積Saと実測形状Jの実測面積Sbに応じて、距離取得が行われたが、図5(a)に示す輝度取得可能範囲内であれば、輝度値に応じて距離取得が行われても良い。
また、上記実施の形態では、基準形状H、実測形状Jに含まれる画素数をカウントすることにより、基準面積Sa、実測面積Sbが取得されたが、基準形状H、実測形状Jの輪
郭の座標値に基づく演算によって基準面積Sa、実測面積Sbが取得されても良い。
郭の座標値に基づく演算によって基準面積Sa、実測面積Sbが取得されても良い。
また、上記実施の形態では、物体検出の前に、基準形状取得部21bにより、基準形状Hと基準面積Saがメモリ25の基準形状登録テーブルTに登録されたが、あらかじめ、物体検出装置2の製造時に、想定される検出対象物体の基準形状Hと基準面積Saが登録されていても良い。この場合、図2に示す基準形状取得部21bの機能が省略される。なお、本変更例の場合、検出対象物体の形状の変化に対応するために、基準形状登録テーブルTには、多数の基準形状Hと基準面積Saが登録されていたほうが望ましい。
本変更例においても、上記実施の形態同様、検出対象物体の大きさの変化に応じて、距離を取得することができるため、広範囲で距離取得を行うことができる。
なお、検出対象物体の基準形状Hと基準面積Saは、検出状況に応じて変化することが想定される(たとえば、検出対象の人物が入れ替わる等)。したがって、検出状況の変化に対応するためには、上記実施の形態のように、物体検出の前に、基準形状取得部21bにより、基準形状Hと基準面積Saが基準形状登録テーブルTに設定されたほうが望ましい。
また、上記実施の形態および変更例では、CMOSイメージセンサ240上の全ての画素について輝度値が取得されたが、必ずしも全ての画素について輝度値が取得されなくとも良く、たとえば、数画素おきに輝度値が取得されても良い。
また、上記実施の形態では、撮像部200のフィルタ230が撮像レンズ220とCMOSイメージセンサ240との間に配置されたが、フィルタ230の配置位置は、これに限られるものではなく、撮像レンズ220よりも目標領域側であっても良い。
また、上記実施の形態では、CPU21による機能によってソフトウエア処理により距離情報が取得されたが、距離情報の取得が回路によるハードウエア処理により実現されても良い。
さらに、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。また、赤外以外の波長帯域の光を距離取得に用いることもできる。
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
1 … パーソナルコンピュータ
2 … 物体検出装置
3 … 情報処理部
21b … 基準形状取得部
21c … 物体検出部
23 … 撮像信号処理回路(輝度取得部)
100 … 投射部
110 … 光源
200 … 撮像部
220 … 撮像レンズ
230 … フィルタ
240 … CMOSイメージセンサ(イメージセンサ)
Ba … 平均輝度(輝度値)
D … 基準距離
H … 基準形状
J … 実測形状
Sa … 基準面積(基準形状の大きさ)
Sb … 実測面積(実測形状の大きさ)
W1〜Wn … 判定領域
2 … 物体検出装置
3 … 情報処理部
21b … 基準形状取得部
21c … 物体検出部
23 … 撮像信号処理回路(輝度取得部)
100 … 投射部
110 … 光源
200 … 撮像部
220 … 撮像レンズ
230 … フィルタ
240 … CMOSイメージセンサ(イメージセンサ)
Ba … 平均輝度(輝度値)
D … 基準距離
H … 基準形状
J … 実測形状
Sa … 基準面積(基準形状の大きさ)
Sb … 実測面積(実測形状の大きさ)
W1〜Wn … 判定領域
Claims (7)
- 目標領域に光を投射する投射部と、
前記目標領域をイメージセンサにより撮像する撮像部と、
前記イメージセンサ上の所定の画素の輝度値を取得する輝度取得部と、
前記輝度取得部により取得された輝度値に基づいて、前記目標領域に存在する検出対象物体を検出する物体検出部と、を備え、
前記物体検出部は、実測時に、前記検出対象物体の実測形状の大きさを取得し、前記実測形状の大きさと、前記検出対象物体が基準距離にあるときの前記検出対象物体の基準形状の大きさとに基づいて、前記検出対象物体の距離に関する情報を取得する、
ことを特徴とする物体検出装置。 - 請求項1に記載の物体検出装置において、
前記輝度取得部により取得された輝度値に基づいて、前記基準距離における前記検出対象物体の前記基準形状と該基準形状の大きさを取得する基準形状取得部を、さらに備える、
ことを特徴とする物体検出装置。 - 請求項2に記載の物体検出装置において、
前記基準形状取得部は、輝度値と距離との関係を規定する規定情報を備え、前記規定情報に基づいて、前記基準距離における前記基準形状と前記基準形状の大きさを取得する、ことを特徴とする物体検出装置。 - 請求項3に記載の物体検出装置において、
前記基準距離は、前記検出対象物体を前記撮像部に近づけたときに、前記イメージセンサから取得される輝度値がその距離から飽和する距離に設定される、
ことを特徴とする物体検出装置。 - 請求項4に記載の物体検出装置において、
前記基準形状取得部は、前記基準距離における前記基準形状の大きさよりも小さい判定領域を設定し、当該判定領域に含まれる前記輝度値に基づいて、前記イメージセンサから取得される輝度値が飽和しているかを判定する、
ことを特徴とする物体検出装置。 - 請求項3ないし5の何れか一項に記載の物体検出装置において、
前記物体検出部は、前記基準形状の大きさに対する前記実測形状の大きさの変化量と、前記規定情報に基づいて、前記実測時における前記検出対象物体の距離に関する情報を取得する、
ことを特徴とする物体検出装置。 - 請求項1ないし6の何れか一項に記載の物体検出装置において、
前記投射部は、赤外の波長帯域の光を出射する光源を含み、
前記撮像部は、前記赤外の波長帯域の光を透過するフィルタと、前記目標領域に照射された前記光を前記イメージセンサに集光する撮像レンズと、を備える、
ことを特徴とする物体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013049235A JP2014174101A (ja) | 2013-03-12 | 2013-03-12 | 物体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013049235A JP2014174101A (ja) | 2013-03-12 | 2013-03-12 | 物体検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014174101A true JP2014174101A (ja) | 2014-09-22 |
Family
ID=51695431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013049235A Pending JP2014174101A (ja) | 2013-03-12 | 2013-03-12 | 物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014174101A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021199806A1 (ja) * | 2020-03-30 | 2021-10-07 | 三菱重工工作機械株式会社 | 三次元積層装置、制御方法、及びプログラム |
-
2013
- 2013-03-12 JP JP2013049235A patent/JP2014174101A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021199806A1 (ja) * | 2020-03-30 | 2021-10-07 | 三菱重工工作機械株式会社 | 三次元積層装置、制御方法、及びプログラム |
EP4129559A4 (en) * | 2020-03-30 | 2024-05-01 | Nidec Machine Tool Corporation | DEVICE FOR THREE-DIMENSIONAL ADDITIVE MANUFACTURING, CONTROL METHOD AND PROGRAM |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11575843B2 (en) | Image sensor modules including primary high-resolution imagers and secondary imagers | |
JP6299983B2 (ja) | 複数の光源を有するモーションセンサ装置 | |
JP6302414B2 (ja) | 複数の光源を有するモーションセンサ装置 | |
TWI585436B (zh) | 深度資訊量測方法及裝置 | |
US9863767B2 (en) | Motion sensor device having plurality of light sources | |
JP6270813B2 (ja) | 複数の光源を有するモーションセンサ装置 | |
TW201606331A (zh) | 可操作以區別表示自一目標物反射之信號及表示一假性反射之信號之光電模組 | |
US9699377B2 (en) | Depth detecting apparatus and method, and gesture detecting apparatus and gesture detecting method | |
WO2014122713A1 (ja) | 情報取得装置および物体検出装置 | |
JP2014137762A (ja) | 物体検出装置 | |
US20220206159A1 (en) | Processing apparatus, electronic apparatus, processing method, and program | |
JP2014181949A (ja) | 情報取得装置および物体検出装置 | |
US20190051005A1 (en) | Image depth sensing method and image depth sensing apparatus | |
TWI646504B (zh) | 深度感測裝置及深度感測方法 | |
JP2014174101A (ja) | 物体検出装置 | |
JP6352150B2 (ja) | 画像処理装置および画像処理方法 | |
US20220294990A1 (en) | Information processing device, imaging device, information processing method, and program | |
US10744404B2 (en) | Information processing system, information processing apparatus, computer-readable non-transitory storage medium having stored therein information processing program, and hand-held information processing apparatus | |
JP2015220607A (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2014122712A1 (ja) | 情報取得装置および物体検出装置 | |
JP2014035294A (ja) | 情報取得装置および物体検出装置 | |
JP2014163830A (ja) | 情報取得装置および物体検出装置 | |
JP2011041036A (ja) | 画像処理装置、画像処理方法、及び電子機器 | |
JP2010231536A (ja) | 撮影対象物の最適撮影位置検出方法 | |
TW201827911A (zh) | 影像擷取裝置及其對焦方法 |