JP2016040520A - Object detection device - Google Patents

Object detection device Download PDF

Info

Publication number
JP2016040520A
JP2016040520A JP2013002979A JP2013002979A JP2016040520A JP 2016040520 A JP2016040520 A JP 2016040520A JP 2013002979 A JP2013002979 A JP 2013002979A JP 2013002979 A JP2013002979 A JP 2013002979A JP 2016040520 A JP2016040520 A JP 2016040520A
Authority
JP
Japan
Prior art keywords
distance
region
object detection
pixel
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013002979A
Other languages
Japanese (ja)
Inventor
岸田　孝範
Takanori Kishida
孝範 岸田
夫馬　正人
Masato Fuma
正人 夫馬
山口　光隆
Mitsutaka Yamaguchi
光隆 山口
直史 生田
Tadashi Ikuta
直史 生田
潤 江頭
Jun Egashira
潤 江頭
眞梶　康彦
Yasuhiko Makaji
康彦 眞梶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PUX CORP
Sanyo Electric Co Ltd
Original Assignee
PUX CORP
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PUX CORP, Sanyo Electric Co Ltd filed Critical PUX CORP
Priority to JP2013002979A priority Critical patent/JP2016040520A/en
Priority to PCT/JP2013/007621 priority patent/WO2014108976A1/en
Publication of JP2016040520A publication Critical patent/JP2016040520A/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Abstract

PROBLEM TO BE SOLVED: To provide an object detection device that can smoothly detect an object targeted for detection on a target area.SOLUTION: An object detection device 1 comprises: a projection optical system 100 that projects laser light of a dot pattern to a target area; a light reception optical system 200 that images the target area by use of a CMOS image sensor 240; a distance acquisition unit 21b that acquires three-dimensional distance information; a distance information correction unit 21d that corrects the three-dimensional distance information on the basis of a luminance value of each pixel on the CMOS image sensor 240; and an object detection unit 21c that detects an object targeted for detection on the basis of the corrected three-dimensional distance information. The distance information correction unit 21d is configured to correct the three-dimensional distance information to be determined inaccurate due to a close location of the object relative to the object detection device 1 to a value based on the luminance value.SELECTED DRAWING: Figure 2

Description

本発明は、目標領域内の物体を検出する物体検出装置に関する。   The present invention relates to an object detection device that detects an object in a target area.

従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、２次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。この場合、距離画像センサでは、レーザ光源やＬＥＤ（Light Emitting Diode）から、予め決められた波長帯域の光が目標領域に投射され、ＣＭＯＳイメージセンサ等の撮像素子により目標領域が撮像される。   Conventionally, object detection devices using light have been developed in various fields. An object detection apparatus using a so-called distance image sensor can detect not only a planar image on a two-dimensional plane but also the shape and movement of the detection target object in the depth direction. In this case, in the distance image sensor, light in a predetermined wavelength band is projected onto a target area from a laser light source or an LED (Light Emitting Diode), and the target area is imaged by an imaging element such as a CMOS image sensor.

かかる距離画像センサとして、所定のドットパターンを持つレーザ光を目標領域に照射するタイプのものが知られている（たとえば、非特許文献１）。かかる距離画像センサでは、基準面にレーザ光を照射したときのドットパターンが撮像素子により撮像され、撮像されたドットパターンが基準ドットパターンとして保持される。そして、基準ドットパターンと、実測時に撮像された実測ドットパターンとが比較され、距離情報が取得される。具体的には、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置に基づいて、三角測量法により、当該参照領域に対する距離情報が取得される。   As such a distance image sensor, a type that irradiates a target region with laser light having a predetermined dot pattern is known (for example, Non-Patent Document 1). In such a distance image sensor, a dot pattern when the reference surface is irradiated with laser light is picked up by the image pickup device, and the picked-up dot pattern is held as a reference dot pattern. Then, the reference dot pattern is compared with the actually measured dot pattern captured at the time of actual measurement, and distance information is acquired. Specifically, distance information with respect to the reference region is acquired by a triangulation method based on the position of the reference region set on the standard dot pattern on the measured dot pattern.

第１９回日本ロボット学会学術講演会（２００１年９月１８−２０日）予稿集、Ｐ１２７９−１２８０19th Annual Conference of the Robotics Society of Japan (September 18-20, 2001) Proceedings, P1279-1280

上記距離画像センサでは、一般、前後方向の所定の範囲において、距離の検出が可能である。検出対象物体がこの範囲から外れた位置にあると、検出対象物体に対する距離情報を取得することができない。また、検出対象物体が距離画像センサに近づいた位置にあるような場合、検出対象物体上において、ドットパターンのドットがかなり大きくなり、ドットの境界が不明確となる。こうなると、上記手法では、距離情報の取得が不可能である。   The distance image sensor can generally detect a distance in a predetermined range in the front-rear direction. If the detection target object is at a position outside this range, distance information for the detection target object cannot be acquired. Further, when the detection target object is at a position close to the distance image sensor, the dots of the dot pattern are considerably large on the detection target object, and the dot boundaries are unclear. In this case, it is impossible to acquire distance information with the above method.

上記課題に鑑み、本発明は、目標領域上における検出対象物体を円滑に検出可能な物体検出装置を提供することを目的とする。   In view of the above problems, an object of the present invention is to provide an object detection apparatus that can smoothly detect an object to be detected on a target area.

本発明の第１の態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域にドットパターンの光を投射する投射部と、前記目標領域をイメージセンサにより撮像する撮像部と、前記撮像部により撮像された撮像画像上のドットの位置に基づいて、前記目標領域上の各位置に対する距離情報を取得する距離取得部と、物体が前記投射部と前記撮像部に対して接近した位置にあるために不正確であると判定される前記距離情報を所定の値に補正する距離補正部と、前記距離補正部により補正された前記距離情報に基づいて検出対象物体を検出する物体検出部と、を備える。   A first aspect of the present invention relates to an object detection apparatus. The object detection apparatus according to this aspect includes a projection unit that projects a dot pattern of light onto a target region, an imaging unit that captures the target region with an image sensor, and a position of a dot on a captured image captured by the imaging unit. And a distance acquisition unit that acquires distance information for each position on the target area, and the object is determined to be inaccurate because the object is located at a position close to the projection unit and the imaging unit. A distance correction unit that corrects the distance information to a predetermined value; and an object detection unit that detects a detection target object based on the distance information corrected by the distance correction unit.

本発明の第２の態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域に光を投射する投射部と、前記目標領域をイメージセンサにより撮像する撮像部と、前記イメージセンサにおける各画素の輝度値を取得し、取得した輝度値に基づいて撮像画像
上の高輝度領域を特定し、特定した前記高輝度領域から検出対象物体に対応する領域を抽出する物体抽出部と、を備える。 A 2nd aspect of this invention is related with an object detection apparatus. The object detection apparatus according to the present aspect acquires a luminance value obtained by projecting light onto a target area, an imaging unit that images the target area with an image sensor, and a luminance value of each pixel in the image sensor. And an object extraction unit that specifies a high-luminance region on the captured image and extracts a region corresponding to the detection target object from the identified high-luminance region.

本発明によれば、目標領域上における検出対象物体を円滑に検出可能な物体検出装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the object detection apparatus which can detect the detection target object on a target area | region smoothly can be provided.

本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。   The effects and significance of the present invention will become more apparent from the following description of embodiments. However, the embodiment described below is merely an example when the present invention is implemented, and the present invention is not limited to the following embodiment.

実施例１に係る物体検出装置の構成を示す図である。1 is a diagram illustrating a configuration of an object detection apparatus according to a first embodiment. 実施例１に係る物体検出装置の構成を示す図である。1 is a diagram illustrating a configuration of an object detection apparatus according to a first embodiment. 実施例１に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。It is a figure which shows the irradiation state of the laser beam with respect to the target area | region which concerns on Example 1, and the light reception state of the laser beam on an image sensor. 実施例１に係る参照パターンの生成方法を説明する図である。FIG. 6 is a diagram illustrating a reference pattern generation method according to the first embodiment. 実施例１に係る距離検出手法を説明する図である。It is a figure explaining the distance detection method which concerns on Example 1. FIG. 実施例１に距離画像生成処理および輝度画像生成処理を示す図である。It is a figure which shows a distance image generation process and a brightness | luminance image generation process in Example 1. FIG. 実施例１に係る距離画像の生成例を示す図である。FIG. 6 is a diagram illustrating an example of generating a distance image according to the first embodiment. 実施例１に係る物体検出処理および物体検出方法を示す図である。It is a figure which shows the object detection process and object detection method which concern on Example 1. FIG. 実施例１の変更例に係る輝度画像生成処理および白とび領域の判定方法を示す図である。It is a figure which shows the luminance image generation process which concerns on the example of a change of Example 1, and the determination method of a whiteout area | region. 実施例１の他の変更例に係る距離画像の補正処理および補正方法を示す図である。It is a figure which shows the correction process and correction method of the distance image which concern on the other modification of Example 1. FIG. 実施例２に係る物体検出装置の構成を示す図である。FIG. 6 is a diagram illustrating a configuration of an object detection device according to a second embodiment. 実施例２に係る物体検出処理および物体検出方法を示す図である。It is a figure which shows the object detection process and object detection method which concern on Example 2. FIG. 実施例２における課題を示す図である。FIG. 10 is a diagram illustrating a problem in the second embodiment. 実施例２の変更例に係る物体検出処理を示す図である。It is a figure which shows the object detection process which concerns on the example of a change of Example 2. FIG. 実施例２の変更例に係る物体検出例を示す図である。FIG. 10 is a diagram illustrating an example of object detection according to a modified example of the second embodiment. 実施例２の他の変更例に係る物体検出処理を示す図である。It is a figure which shows the object detection process which concerns on the other modification of Example 2. FIG.

以下、本発明の実施の形態につき図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

以下に示す実施の形態において、レーザ駆動回路２２および投射光学系１００は、請求項に記載の「投射部」に相当する。撮像信号処理回路２３および受光光学系２００は、請求項に記載の「撮像部」に相当する。距離取得部２１ｂは、請求項に記載の「距離取得部」に相当する。物体検出部２１ｃは、請求項に記載の「物体検出部」に相当する。距離情報補正部２１ｄは、請求項に記載の「距離補正部」に相当する。画像処理部２１ｅは、請求項に記載の「物体抽出部」に相当する。ＣＭＯＳイメージセンサ２４０は、請求項に記載の「イメージセンサ」に相当する。ただし、上記請求項と本実施の形態との対応の記載はあくまで一例であって、請求項に係る発明を本実施の形態に限定するものではない。   In the embodiment described below, the laser drive circuit 22 and the projection optical system 100 correspond to a “projection unit” described in the claims. The imaging signal processing circuit 23 and the light receiving optical system 200 correspond to an “imaging unit” recited in the claims. The distance acquisition unit 21b corresponds to a “distance acquisition unit” recited in the claims. The object detection unit 21c corresponds to an “object detection unit” recited in the claims. The distance information correction unit 21d corresponds to a “distance correction unit” recited in the claims. The image processing unit 21e corresponds to an “object extraction unit” recited in the claims. The CMOS image sensor 240 corresponds to an “image sensor” recited in the claims. However, the description of the correspondence between the above claims and the present embodiment is merely an example, and the invention according to the claims is not limited to the present embodiment.

（１）実施例１
本実施例は、請求項１に記載の構成の一例を示すものである。 (1) Example 1
The present embodiment shows an example of the configuration described in claim 1.

図１に本実施例に係る物体検出装置１の概略構成を示す。図１に示すように、物体検出装置１は、テレビ２に内蔵されている。テレビ２は、内部に情報処理部３を備えており、情報処理部３からの信号によって制御される。   FIG. 1 shows a schematic configuration of an object detection apparatus 1 according to the present embodiment. As shown in FIG. 1, the object detection device 1 is built in a television 2. The television 2 includes an information processing unit 3 inside, and is controlled by a signal from the information processing unit 3.

物体検出装置１は、目標領域全体に、可視光の波長帯よりも長い波長の光を投射し、その反射光をＣＭＯＳイメージセンサにて受光することにより、目標領域に存在する物体各部までの距離（以下、「３次元距離情報」という）を取得する。物体検出装置１は、取得した３次元距離情報に基づき目標領域における物体を検出するとともに、３次元距離情報の変化から、目標領域における物体の動きを検出する。そして、物体検出装置１は、物体の動きに応じた信号を、テレビ２内の配線を介してテレビ２の情報処理部３に送信する。情報処理部３は、物体検出装置１から受信した物体の動きに応じた信号に基づき、テレビ２を制御する。   The object detection device 1 projects light having a wavelength longer than the visible light wavelength band over the entire target area, and receives the reflected light with a CMOS image sensor, thereby distances to various parts of the object existing in the target area. (Hereinafter referred to as “three-dimensional distance information”). The object detection device 1 detects an object in the target area based on the acquired three-dimensional distance information, and detects the movement of the object in the target area from the change in the three-dimensional distance information. Then, the object detection device 1 transmits a signal corresponding to the movement of the object to the information processing unit 3 of the television 2 via the wiring in the television 2. The information processing unit 3 controls the television 2 based on a signal corresponding to the movement of the object received from the object detection device 1.

たとえば、ユーザがテレビ２を見ながら所定の動き（ジェスチャ）をすると、物体検出装置１からユーザのジェスチャに応じた信号がテレビ２の情報処理部３に送信される。そして、情報処理部３により、あらかじめジェスチャに応じた信号に対応付けられたチャンネル切り替えやボリュームのＵＰ／Ｄｏｗｎ等のテレビ２の機能が実行される。   For example, when the user performs a predetermined movement (gesture) while watching the television 2, a signal corresponding to the user's gesture is transmitted from the object detection device 1 to the information processing unit 3 of the television 2. Then, the information processing unit 3 executes functions of the television 2 such as channel switching and volume up / down associated with signals corresponding to gestures in advance.

なお、テレビ２のほか、ゲーム機、パーソナルコンピュータ等に物体検出装置１が内蔵されていても良い。たとえば、ゲーム機に物体検出装置１が内蔵される場合、ゲーム機の情報処理部により、あらかじめジェスチャに応じた信号に対応付けられたゲーム機の機能が実行される。たとえば、ユーザのジェスチャに応じて、テレビ画面上のキャラクタが操作され、ゲームの対戦状況が変化する。   In addition to the television 2, the object detection device 1 may be incorporated in a game machine, a personal computer, or the like. For example, when the object detection device 1 is built in a game machine, the information processing unit of the game machine executes a game machine function associated with a signal corresponding to a gesture in advance. For example, a character on the television screen is operated in accordance with a user's gesture, and the game battle state changes.

図２は、物体検出装置１とテレビ２の情報処理部３の構成を示す図である。   FIG. 2 is a diagram illustrating a configuration of the object detection device 1 and the information processing unit 3 of the television 2.

物体検出装置１は、光学部の構成として、投射光学系１００と受光光学系２００とを備えている。投射光学系１００と受光光学系２００は、Ｘ軸方向に並ぶように、物体検出装置１に配置される。   The object detection apparatus 1 includes a projection optical system 100 and a light receiving optical system 200 as a configuration of an optical unit. The projection optical system 100 and the light receiving optical system 200 are arranged in the object detection apparatus 1 so as to be aligned in the X-axis direction.

投射光学系１００は、レーザ光源１１０と、コリメータレンズ１２０と、ミラー１３０と、回折光学素子（ＤＯＥ：Diffractive Optical Element）１４０を備えている。また
、受光光学系２００は、アパーチャ２１０と、撮像レンズ２２０と、フィルタ２３０と、ＣＭＯＳイメージセンサ２４０とを備えている。この他、物体検出装置１は、回路部の構成として、ＣＰＵ（Central Processing Unit）２１と、レーザ駆動回路２２と、撮像信
号処理回路２３と、入出力回路２４と、メモリ２５を備えている。 The projection optical system 100 includes a laser light source 110, a collimator lens 120, a mirror 130, and a diffractive optical element (DOE) 140. The light receiving optical system 200 includes an aperture 210, an imaging lens 220, a filter 230, and a CMOS image sensor 240. In addition, the object detection apparatus 1 includes a CPU (Central Processing Unit) 21, a laser drive circuit 22, an imaging signal processing circuit 23, an input / output circuit 24, and a memory 25 as a circuit unit configuration.

レーザ光源１１０は、受光光学系２００から離れる方向（Ｘ軸負方向）に、可視光の波長帯域よりも長い波長（たとえば、８３０ｎｍ程度）のレーザ光を出力する。コリメータレンズ１２０は、レーザ光源１１０から出射されたレーザ光を略平行光に変換する。   The laser light source 110 outputs laser light having a wavelength (for example, about 830 nm) longer than the wavelength band of visible light in a direction away from the light receiving optical system 200 (X-axis negative direction). The collimator lens 120 converts the laser light emitted from the laser light source 110 into substantially parallel light.

ミラー１３０は、コリメータレンズ１２０側から入射されたレーザ光をＤＯＥ１４０に向かう方向（Ｚ軸正方向）に反射する。   The mirror 130 reflects the laser light incident from the collimator lens 120 side in the direction toward the DOE 140 (Z-axis positive direction).

ＤＯＥ１４０は、入射面に回折パターンを有する。この回折パターンによる回折作用により、ＤＯＥ１４０に入射したレーザ光は、所定のドットパターンのレーザ光に変換されて、目標領域に照射される。   The DOE 140 has a diffraction pattern on the incident surface. Due to the diffractive action of this diffraction pattern, the laser light incident on the DOE 140 is converted into laser light having a predetermined dot pattern and irradiated onto the target area.

ＤＯＥ１４０の回折パターンは、たとえば、ステップ型の回折格子が所定のパターンで形成された構造とされる。回折格子は、コリメータレンズ１２０により略平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。ＤＯＥ１４０は、ミラー１３０から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。   The diffraction pattern of the DOE 140 has, for example, a structure in which a step type diffraction grating is formed in a predetermined pattern. The pattern and pitch of the diffraction grating are adjusted so as to convert the laser light that has been made substantially parallel light by the collimator lens 120 into laser light of a dot pattern. The DOE 140 irradiates the target region with the laser beam incident from the mirror 130 as a laser beam having a dot pattern that spreads radially.

目標領域から反射されたレーザ光は、アパーチャ２１０を介して撮像レンズ２２０に入射する。   The laser light reflected from the target area enters the imaging lens 220 via the aperture 210.

アパーチャ２１０は、撮像レンズ２２０のＦナンバーに合うように、外部からの光を制限する。撮像レンズ２２０は、アパーチャ２１０を介して入射された光をＣＭＯＳイメージセンサ２４０上に集光する。フィルタ２３０は、レーザ光源１１０の出射波長（たとえば８３０ｎｍ程度）を含む波長帯域の光を透過し、可視光の波長帯域の光をカットするバンドパスフィルタである。   The aperture 210 limits light from the outside so as to match the F number of the imaging lens 220. The imaging lens 220 collects the light incident through the aperture 210 on the CMOS image sensor 240. The filter 230 is a band-pass filter that transmits light in a wavelength band including the emission wavelength (for example, about 830 nm) of the laser light source 110 and cuts light in the visible wavelength band.

ＣＭＯＳイメージセンサ２４０は、レーザ光源１１０から出射されるレーザ光の波長帯域の光に対し、撮像画像を出力可能に構成されている。ＣＭＯＳイメージセンサ２４０は、撮像レンズ２２０にて集光された光を受光して、画素毎に、受光量に応じた信号（電荷）を撮像信号処理回路２３に出力する。ここで、ＣＭＯＳイメージセンサ２４０は、各画素における受光から高レスポンスでその画素の信号（電荷）を撮像信号処理回路２３に出力できるよう、信号の出力速度が高速化されている。   The CMOS image sensor 240 is configured to output a captured image with respect to light in the wavelength band of the laser light emitted from the laser light source 110. The CMOS image sensor 240 receives the light collected by the imaging lens 220 and outputs a signal (charge) corresponding to the amount of received light to the imaging signal processing circuit 23 for each pixel. Here, in the CMOS image sensor 240, the output speed of the signal is increased so that the signal (charge) of the pixel can be output to the imaging signal processing circuit 23 with high response from the light reception in each pixel.

本実施例において、ＣＭＯＳイメージセンサ２４０の撮像有効領域（センサとして信号を出力する領域）は、たとえば、ＶＧＡ（横６４０画素×縦４８０画素）のサイズである。ＣＭＯＳイメージセンサ２４０の撮像有効領域は、ＸＧＡ（横１０２４画素×縦７６８画素）のサイズや、ＳＸＧＡ（横１２８０画素×縦１０２４画素）のサイズ等、他のサイズであっても良い。   In this embodiment, the effective imaging area of the CMOS image sensor 240 (area in which a signal is output as a sensor) is, for example, the size of VGA (horizontal 640 pixels × vertical 480 pixels). The imaging effective area of the CMOS image sensor 240 may have other sizes such as an XGA (horizontal 1024 pixels × vertical 768 pixels) size or an SXGA (horizontal 1280 pixels × vertical 1024 pixels) size.

ＣＰＵ２１は、メモリ２５に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ２１には、レーザ制御部２１ａと、距離取得部２１ｂと、物体検出部２１ｃと、距離情報補正部２１ｄの機能が付与される。   The CPU 21 controls each unit according to a control program stored in the memory 25. With this control program, the CPU 21 is provided with the functions of a laser control unit 21a, a distance acquisition unit 21b, an object detection unit 21c, and a distance information correction unit 21d.

レーザ制御部２１ａは、レーザ駆動回路２２を制御する。距離取得部２１ｂは、ＣＭＯＳイメージセンサ２４０によって撮像された撮像画像に基づいて、後述のように３次元距離情報を生成する。   The laser control unit 21 a controls the laser drive circuit 22. The distance acquisition unit 21b generates three-dimensional distance information as described later based on the captured image captured by the CMOS image sensor 240.

物体検出部２１ｃは、距離取得部２１ｂによって取得される３次元距離情報から画像中の物体の形状を抽出し、さらに、抽出した物体形状の動きを検出する。そして、物体検出部２１ｃは、検出した物体の動きが所定の動きパターンに合致しているかを判定し、所定の動きパターンに応じた信号をテレビ２の情報処理部３に送信する。   The object detection unit 21c extracts the shape of the object in the image from the three-dimensional distance information acquired by the distance acquisition unit 21b, and further detects the movement of the extracted object shape. Then, the object detection unit 21c determines whether the detected motion of the object matches a predetermined motion pattern, and transmits a signal corresponding to the predetermined motion pattern to the information processing unit 3 of the television 2.

距離情報補正部２１ｄは、ＣＭＯＳイメージセンサ２４０の各画素の輝度値に基づき３次元距離情報を補正する。距離情報補正部２１ｄは、ＣＭＯＳイメージセンサ２４０の各画素の輝度値に基づき、撮像画像上の高輝度領域を特定する。そして、距離情報補正部２１ｄは、高輝度領域に対応する画素の輝度値を当該高輝度領域に当て嵌めた輝度画像を生成し、生成した輝度画像を、距離取得部２１ｂによって生成された距離画像に重畳して、距離画像を補正する。かかる距離情報補正部２１ｄの機能については、追って、図６および図７を参照して説明する。   The distance information correction unit 21d corrects the three-dimensional distance information based on the luminance value of each pixel of the CMOS image sensor 240. The distance information correction unit 21d specifies a high luminance region on the captured image based on the luminance value of each pixel of the CMOS image sensor 240. Then, the distance information correction unit 21d generates a luminance image in which the luminance value of the pixel corresponding to the high luminance region is applied to the high luminance region, and the generated luminance image is the distance image generated by the distance acquisition unit 21b. To correct the distance image. The function of the distance information correction unit 21d will be described later with reference to FIGS.

レーザ駆動回路２２は、ＣＰＵ２１からの制御信号に応じてレーザ光源１１０を駆動する。   The laser drive circuit 22 drives the laser light source 110 according to a control signal from the CPU 21.

撮像信号処理回路２３は、ＣＰＵ２１からの制御を受けてＣＭＯＳイメージセンサ２４０を駆動し、所定の撮像間隔で、ＣＭＯＳイメージセンサ２４０により生成された各画素の信号（電荷）をライン毎に順次取り込む。そして、取り込んだ信号を順次ＣＰＵ２１に
出力する。ＣＰＵ２１は、撮像信号処理回路２３から供給される信号（撮像信号）をもとに、物体検出装置１から検出対象物体の各部までの距離を、距離取得部２１ｂによる処理によって算出する。 The imaging signal processing circuit 23 drives the CMOS image sensor 240 under the control of the CPU 21, and sequentially captures the signal (charge) of each pixel generated by the CMOS image sensor 240 for each line at a predetermined imaging interval. Then, the captured signals are sequentially output to the CPU 21. Based on the signal (imaging signal) supplied from the imaging signal processing circuit 23, the CPU 21 calculates the distance from the object detection device 1 to each part of the detection target object by processing by the distance acquisition unit 21b.

入出力回路２４は、テレビ２の情報処理部３とのデータ通信を制御する。   The input / output circuit 24 controls data communication with the information processing unit 3 of the television 2.

メモリ２５は、ＣＰＵ２１により実行される制御プログラムの他、３次元距離情報を取得する際に参照される参照テンプレートと、物体検出の際に参照される物体形状テンプレートを保持している。この他、メモリ２５は、ＣＰＵ２１における処理の際のワーク領域としても用いられる。   In addition to the control program executed by the CPU 21, the memory 25 holds a reference template that is referred to when acquiring three-dimensional distance information and an object shape template that is referred to when detecting an object. In addition, the memory 25 is also used as a work area during processing in the CPU 21.

情報処理部３は、ＣＰＵ３１と、入出力回路３２と、メモリ３３を備えている。なお、情報処理装置３には、図２に示す構成の他、テレビ２を制御するための構成が配されるが、便宜上、これら周辺回路の構成は図示省略されている。   The information processing unit 3 includes a CPU 31, an input / output circuit 32, and a memory 33. In addition to the configuration shown in FIG. 2, the information processing device 3 is provided with a configuration for controlling the television 2, but for the sake of convenience, the configuration of these peripheral circuits is omitted.

ＣＰＵ３１は、メモリ３３に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ３１には、物体検出部２１ｃからの信号に応じて、テレビ２の機能を制御するための機能制御部３１ａの機能が付与される。機能制御部３１ａは、物体検出部２１ｃによる検出結果に基づき、上記のように、テレビ２の機能を制御する。   The CPU 31 controls each unit according to a control program stored in the memory 33. With this control program, the function of the function control unit 31a for controlling the function of the television 2 is given to the CPU 31 in accordance with a signal from the object detection unit 21c. The function control unit 31a controls the function of the television 2 as described above based on the detection result by the object detection unit 21c.

入出力回路３２は、物体検出装置１とのデータ通信を制御する。   The input / output circuit 32 controls data communication with the object detection device 1.

投射光学系１００と受光光学系２００は、投射光学系１００の投射中心と受光光学系２００の撮像中心がＸ軸に平行な直線上に並ぶように、Ｘ軸方向に所定の距離をもって並んで設置される。投射光学系１００と受光光学系２００の設置間隔は、物体検出装置１と目標領域の基準面との距離に応じて、設定される。   The projection optical system 100 and the light receiving optical system 200 are installed side by side with a predetermined distance in the X axis direction so that the projection center of the projection optical system 100 and the imaging center of the light receiving optical system 200 are aligned on a straight line parallel to the X axis. Is done. The installation interval between the projection optical system 100 and the light receiving optical system 200 is set according to the distance between the object detection device 1 and the reference plane of the target area.

次に、物体検出装置１による３次元距離情報の取得方法について説明する。   Next, a method for acquiring three-dimensional distance information by the object detection device 1 will be described.

図３（ａ）は、目標領域に対するレーザ光の照射状態を模式的に示す図、図３（ｂ）は、ＣＭＯＳイメージセンサ２４０におけるレーザ光の受光状態を模式的に示す図である。なお、図３（ｂ）には、便宜上、目標領域に平坦な面（スクリーン）とスクリーンの前に人物が存在するときの受光状態が示されている。   FIG. 3A is a diagram schematically showing the irradiation state of the laser light on the target region, and FIG. 3B is a diagram schematically showing the light receiving state of the laser light in the CMOS image sensor 240. For convenience, FIG. 3B shows a flat surface (screen) in the target area and a light receiving state when a person is present in front of the screen.

図３（ａ）に示すように、投射光学系１００からは、ドットパターンを持ったレーザ光（以下、このパターンを持つレーザ光の全体を「ＤＰ光」という）が、目標領域に照射される。図３（ａ）には、ＤＰ光の光束領域が実線の枠によって示されている。ＤＰ光の光束中には、ＤＯＥ１４０による回折作用により生成されるドット領域（以下、単に「ドット」という）が、ＤＯＥ１４０による回折作用によるドットパターンに従って点在している。ドットは、レーザ光源１１０からのレーザ光がＤＯＥ１４０によって分岐されることにより生成される。   As shown in FIG. 3A, the projection optical system 100 irradiates a target region with laser light having a dot pattern (hereinafter, the entire laser light having this pattern is referred to as “DP light”). . In FIG. 3A, the light flux region of DP light is indicated by a solid line frame. In the light flux of DP light, dot regions (hereinafter simply referred to as “dots”) generated by the diffraction action by the DOE 140 are scattered according to the dot pattern by the diffraction action by the DOE 140. The dots are generated when the laser light from the laser light source 110 is branched by the DOE 140.

目標領域に平坦な面（スクリーン）と人物が存在すると、ＤＰ光は、図３（ｂ）のように、ＣＭＯＳイメージセンサ２４０上に分布する。図３（ａ）に示す目標領域上におけるＤｔ０の光は、ＣＭＯＳイメージセンサ２４０上では、図３（ｂ）に示すＤｔ０’の位置に入射する。スクリーンの前の人物の像は、ＣＭＯＳイメージセンサ２４０上では、上下左右が反転して撮像される。   When a flat surface (screen) and a person are present in the target area, DP light is distributed on the CMOS image sensor 240 as shown in FIG. The light of Dt0 on the target area shown in FIG. 3A enters the position of Dt0 ′ shown in FIG. 3B on the CMOS image sensor 240. An image of a person in front of the screen is taken upside down on the CMOS image sensor 240 in the vertical and horizontal directions.

図４（ａ）〜（ｃ）は、上記距離検出手法に用いられる参照パターンの設定方法を説明
する図である。 4A to 4C are diagrams for explaining a reference pattern setting method used in the distance detection method.

図４（ａ）に示すように、投射光学系１００から所定の距離Ｌｓの位置に、Ｚ軸方向に垂直な平坦な反射平面ＲＳが配置される。出射されたＤＰ光は、反射平面ＲＳによって反射され、受光光学系２００のＣＭＯＳイメージセンサ２４０に入射する。これにより、ＣＭＯＳイメージセンサ２４０から、撮像有効領域内の画素毎に、電気信号が出力される。出力された画素毎の電気信号の値（画素値）は、図２のメモリ２５上に展開される。   As shown in FIG. 4A, a flat reflection plane RS perpendicular to the Z-axis direction is disposed at a position at a predetermined distance Ls from the projection optical system 100. The emitted DP light is reflected by the reflection plane RS and enters the CMOS image sensor 240 of the light receiving optical system 200. Thereby, an electrical signal is output from the CMOS image sensor 240 for each pixel in the effective imaging area. The output electric signal value (pixel value) for each pixel is developed on the memory 25 of FIG.

以下、反射平面ＲＳからの反射によって得られた全画素値からなる画像を「基準画像」と称し、反射平面ＲＳを「基準面」と称する。   Hereinafter, an image composed of all pixel values obtained by reflection from the reflection plane RS is referred to as a “reference image”, and the reflection plane RS is referred to as a “reference plane”.

図４（ｂ）に示すように、基準画像上に、「参照パターン領域」が設定される。なお、図４（ｂ）には、ＣＭＯＳイメージセンサ２４０の背面側から受光面をＺ軸正方向に透視した状態が図示されている。図５（ａ）、（ｂ）においても、これと同様である。   As shown in FIG. 4B, a “reference pattern region” is set on the standard image. FIG. 4B shows a state in which the light receiving surface is seen through in the positive direction of the Z axis from the back side of the CMOS image sensor 240. The same applies to FIGS. 5A and 5B.

こうして設定された参照パターン領域に対して、所定の大きさを有する複数のセグメント領域が設定される。セグメント領域は、たとえば、図４（ｃ）に示すように、隣り合うセグメント領域が参照パターン領域に対してＸ軸方向およびＹ軸方向に１画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域のＸ軸方向およびＹ軸方向に隣り合うセグメント領域に対して、それぞれ、Ｘ軸方向およびＹ軸方向に１画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。セグメント領域内のドットのパターンは、後述する探索範囲Ｌ０において、セグメント領域毎に異なっている。   A plurality of segment areas having a predetermined size are set for the reference pattern area set in this way. For example, as shown in FIG. 4C, the segment areas are set so that adjacent segment areas are arranged at intervals of one pixel in the X-axis direction and the Y-axis direction with respect to the reference pattern area. That is, a certain segment area is set at a position shifted by one pixel in the X-axis direction and the Y-axis direction with respect to the segment area adjacent to the segment area in the X-axis direction and the Y-axis direction, respectively. At this time, each segment area is dotted with dots in a unique pattern. The pattern of dots in the segment area differs for each segment area in a search range L0 described later.

こうして、ＣＭＯＳイメージセンサ２４０上における参照パターン領域の位置に関する情報と、参照パターン領域に含まれる全画素の画素値（参照パターン）と、参照パターン領域に対して設定されるセグメント領域の情報が、参照テンプレートとして図２のメモリ２５に記憶される。   Thus, information on the position of the reference pattern area on the CMOS image sensor 240, pixel values (reference patterns) of all pixels included in the reference pattern area, and information on segment areas set for the reference pattern area are referred to. A template is stored in the memory 25 of FIG.

図２のＣＰＵ２１は、投射光学系１００から検出対象物体の各部までの距離を算出する際に、参照テンプレートを参照する。ＣＰＵ２１は、距離を算出する際に、参照テンプレートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。   The CPU 21 in FIG. 2 refers to the reference template when calculating the distance from the projection optical system 100 to each part of the detection target object. When calculating the distance, the CPU 21 calculates the distance to each part of the object based on the shift amount of the dot pattern in each segment area obtained from the reference template.

たとえば、図４（ａ）に示すように距離Ｌｓよりも近い位置に物体がある場合、参照パターン上の所定のセグメント領域Ｓｎに対応するＤＰ光（ＤＰｎ）は、物体によって反射され、セグメント領域Ｓｎとは異なる領域Ｓｎ’に入射する。投射光学系１００と受光光学系２００はＸ軸方向に隣り合っているため、セグメント領域Ｓｎに対する領域Ｓｎ’の変位方向はＸ軸に平行となる。図４（ａ）の場合、物体が距離Ｌｓよりも近い位置にあるため、領域Ｓｎ’は、セグメント領域Ｓｎに対してＸ軸正方向に変位する。物体が距離Ｌｓよりも遠い位置にあれば、領域Ｓｎ’は、セグメント領域Ｓｎに対してＸ軸負方向に変位する。   For example, as shown in FIG. 4A, when an object is present at a position closer than the distance Ls, DP light (DPn) corresponding to a predetermined segment area Sn on the reference pattern is reflected by the object, and the segment area Sn. It is incident on a different region Sn ′. Since the projection optical system 100 and the light receiving optical system 200 are adjacent to each other in the X-axis direction, the displacement direction of the region Sn ′ with respect to the segment region Sn is parallel to the X-axis. In the case of FIG. 4A, since the object is located at a position closer than the distance Ls, the region Sn 'is displaced in the X-axis positive direction with respect to the segment region Sn. If the object is at a position farther than the distance Ls, the region Sn ′ is displaced in the negative X-axis direction with respect to the segment region Sn.

セグメント領域Ｓｎに対する領域Ｓｎ’の変位方向と変位量（図４（ａ）に示す画素ずれ量Ｄ）をもとに、投射光学系１００からＤＰ光（ＤＰｎ）が照射された物体の部分までの距離Ｌｒが、距離Ｌｓを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系１００からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献１（第１９回日本ロボット学会学術講演会（２００１年９月１８−２０日）予稿集、Ｐ１２７９−１２８０）に示されている。   Based on the displacement direction and displacement amount of the region Sn ′ with respect to the segment region Sn (pixel displacement amount D shown in FIG. 4A), the projection optical system 100 reaches the portion of the object irradiated with DP light (DPn). The distance Lr is calculated based on the triangulation method using the distance Ls. Similarly, the distance from the projection optical system 100 is calculated for the part of the object corresponding to another segment area. The details of this calculation method are described in, for example, Non-Patent Document 1 (The 19th Annual Conference of the Robotics Society of Japan (September 18-20, 2001) Proceedings, P1279-1280).

かかる距離算出では、参照テンプレートのセグメント領域Ｓｎが、実測時においてどの位置に変位したかが検出される。この検出は、実測時にＣＭＯＳイメージセンサ２４０上に照射されたＤＰ光から得られたドットパターンと、セグメント領域Ｓｎに含まれるドットパターンとを照合することによって行われる。実測時のＣＭＯＳイメージセンサ２４０の撮像有効領域は、基準画像取得時と同様に、たとえば、ＶＧＡ（横６４０画素×縦４８０画素）のサイズである。   In this distance calculation, it is detected to which position the segment area Sn of the reference template has been displaced during actual measurement. This detection is performed by collating the dot pattern obtained from the DP light irradiated onto the CMOS image sensor 240 at the time of actual measurement with the dot pattern included in the segment region Sn. The effective imaging area of the CMOS image sensor 240 at the time of actual measurement is the size of VGA (horizontal 640 pixels × vertical 480 pixels), for example, as in the case of acquiring the reference image.

図５（ａ）〜（ｃ）は、かかる距離検出の手法を説明する図である。図５（ａ）は、ＣＭＯＳイメージセンサ２４０上における基準画像に設定された参照パターン領域を示す図であり、図５（ｂ）は、実測時のＣＭＯＳイメージセンサ２４０上の撮像画像（実測画像）を示す図であり、図５（ｃ）は、撮像画像に含まれるＤＰ光のドットパターンと、参照テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。なお、便宜上、図５（ａ）、（ｂ）には、一部のセグメント領域のみが示されており、図５（ｃ）には、各セグメント領域の大きさが、横９画素×縦９画素で示されている。   FIGS. 5A to 5C are diagrams for explaining such a distance detection method. FIG. 5A is a diagram showing a reference pattern region set in a standard image on the CMOS image sensor 240, and FIG. 5B is a captured image (measured image) on the CMOS image sensor 240 at the time of actual measurement. FIG. 5C is a diagram for explaining a method of matching the dot pattern of DP light included in the captured image with the dot pattern included in the segment area of the reference template. For convenience, FIGS. 5 (a) and 5 (b) show only a part of the segment areas, and FIG. 5 (c) shows the size of each segment area as horizontal 9 pixels × vertical 9 Shown in pixels.

図５（ａ）のセグメント領域Ｓｉの実測時における変位位置を探索する場合、図５（ｂ）に示すように、実測時の撮像画像上において、セグメント領域Ｓｉと同じ位置にある領域Ｓｉ０を中心にＸ軸方向に＋α画素および−α画素の範囲が探索範囲Ｌ０に設定される。探索時には、セグメント領域Ｓｉが探索範囲Ｌ０において１画素ずつＸ軸方向に送られ、各送り位置において、セグメント領域Ｓｉのドットパターンと撮像画像上のドットパターンとが比較される。以下、撮像画像上の各送り位置に対応する領域を、「比較領域」と称する。探索範囲Ｌ０には、セグメント領域Ｓｉと同じサイズの比較領域が１画素おきに設定される。探索範囲Ｌ０は、取得しようとする距離の範囲に応じて設定される。取得しようとする距離の範囲が広い程、探索範囲Ｌ０は広くなる。   When searching for the displacement position at the time of actual measurement of the segment area Si in FIG. 5A, as shown in FIG. 5B, the area Si0 at the same position as the segment area Si is centered on the captured image at the time of actual measurement. In addition, the range of + α pixels and −α pixels in the X-axis direction is set as the search range L0. During the search, the segment area Si is sent pixel by pixel in the search range L0, and the dot pattern of the segment area Si is compared with the dot pattern on the captured image at each feed position. Hereinafter, an area corresponding to each feed position on the captured image is referred to as a “comparison area”. In the search range L0, comparison areas having the same size as the segment area Si are set every other pixel. The search range L0 is set according to the range of distances to be acquired. The wider the range of distances to be acquired, the wider the search range L0.

こうして設定された探索範囲Ｌ０において、セグメント領域ＳｉをＸ軸方向に１画素ずつ送りながら、各送り位置において、セグメント領域Ｓｉのドットパターンと、各送り位置の比較領域のドットパターンとのマッチング度合いが求められる。このようにセグメント領域Ｓｉを探索範囲Ｌ０内においてＸ軸方向にのみ送るのは、図４（ａ）を参照して説明したように、通常、セグメント領域内のドットは、実測時において、Ｘ軸方向に変位するためである。   In the search range L0 set in this way, while the segment area Si is fed one pixel at a time in the X-axis direction, the matching degree between the dot pattern of the segment area Si and the dot pattern of the comparison area at each feed position is set at each feed position. Desired. As described above with reference to FIG. 4A, the segment region Si is sent only in the X-axis direction within the search range L0 as described above with reference to FIG. This is because it is displaced in the direction.

上記マッチング度合いの検出時には、セグメント領域Ｓｉの各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域内の全ての画素について加算した値Ｒｓａｄが、類似度を示す値として取得される。   At the time of detecting the matching degree, the difference between the pixel value of each pixel in the segment area Si and the pixel value of the corresponding pixel in the comparison area is obtained. Then, a value Rsad obtained by adding the obtained difference to all the pixels in the comparison region is acquired as a value indicating the similarity.

たとえば、図５（ｃ）のように、一つのセグメント領域中に、ｎ列×ｍ行の画素が含まれている場合、セグメント領域のｉ列、ｊ行の画素の画素値Ｔ（ｉ，ｊ）と、比較領域のｉ列、ｊ行の画素の画素値Ｉ（ｉ，ｊ）との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図５（ｃ）に示す式の値Ｒｓａｄが求められる。値Ｒｓａｄが小さい程、セグメント領域と比較領域との間の類似度が高い。   For example, as shown in FIG. 5C, when pixels in n columns × m rows are included in one segment area, the pixel values T (i, j) of the pixels in i columns and j rows in the segment area. ) And the pixel value I (i, j) of the pixel in the comparison area i column and j row. Then, the difference is obtained for all the pixels in the segment area, and the value Rsad of the equation shown in FIG. 5C is obtained from the sum of the differences. The smaller the value Rsad, the higher the degree of similarity between the segment area and the comparison area.

こうして、セグメント領域Ｓｉについて、探索範囲Ｌ０内の全ての比較領域に対して値Ｒｓａｄが求められる。そして、求めた値Ｒｓａｄが最小の比較領域が、セグメント領域Ｓｉの移動後の領域として検出される。このとき、たとえば、値Ｒｓａｄの最小値と、値Ｒｓａｄの２番目に小さい値との差分が所定の閾値よりも小さい場合、値Ｒｓａｄが最小の比較領域はセグメント領域Ｓｉの移動後の領域とされず、セグメント領域Ｓｉに対する探索がエラーとされる。この場合、セグメント領域Ｓｉに対する距離値は取得されない。   In this way, the value Rsad is obtained for all the comparison regions within the search range L0 for the segment region Si. Then, the comparison region having the minimum obtained value Rsad is detected as the region after the movement of the segment region Si. At this time, for example, when the difference between the minimum value of the value Rsad and the second smallest value of the value Rsad is smaller than a predetermined threshold, the comparison region having the minimum value Rsad is the region after the movement of the segment region Si. Instead, the search for the segment region Si is regarded as an error. In this case, the distance value for the segment region Si is not acquired.

図５（ｂ）の例では、セグメント領域Ｓｉに含まれるドットは、撮像画像（実測画像）上において、比較領域Ｃｊの位置に移動している。したがって、この場合、比較領域Ｃｊに対する値Ｒｓａｄが最小となり、比較領域Ｃｊがセグメント領域Ｓｉの移動後の領域として検出される。そして、比較領域Ｃｊと、セグメント領域Ｓｉと同じ位置にある領域Ｓｉ０との間の、Ｘ軸方向における画素ずれ量が取得される。この画素ずれ量は、図４（ａ）に示す画素ずれ量Ｄに相当する。その後、この画素ずれ量Ｄをもとに、上記のように三角測量法に基づいて、セグメント領域Ｓｉに対する距離情報が取得される。   In the example of FIG. 5B, the dots included in the segment area Si have moved to the position of the comparison area Cj on the captured image (measured image). Therefore, in this case, the value Rsad for the comparison area Cj is minimized, and the comparison area Cj is detected as an area after the movement of the segment area Si. Then, a pixel shift amount in the X-axis direction between the comparison region Cj and the region Si0 located at the same position as the segment region Si is acquired. This pixel shift amount corresponds to the pixel shift amount D shown in FIG. Thereafter, based on this pixel shift amount D, distance information with respect to the segment region Si is acquired based on the triangulation method as described above.

物体検出装置１は、上記のようにして取得された各セグメント領域に対応する検出対象物体までの距離を白から黒の階調で表現された画素値に割り当てた画像を、メモリ２５に記憶する。以下、各セグメント領域に対応する距離を画素値で表現した画像を「距離画像」と称する。上記のように、本実施例において、セグメント領域は、基準画像の参照パターン領域に対して、１画素刻みで設定されるため、距離画像は、基準画像と略同様のＶＧＡサイズの解像度（略６４０×略４８０）を有する。   The object detection device 1 stores in the memory 25 an image in which the distance to the detection target object corresponding to each segment area acquired as described above is assigned to pixel values expressed in white to black gradation. . Hereinafter, an image in which a distance corresponding to each segment area is expressed by a pixel value is referred to as a “distance image”. As described above, in the present embodiment, the segment area is set in increments of one pixel with respect to the reference pattern area of the standard image. Therefore, the distance image has a resolution of approximately the same VGA size as the standard image (approximately 640 X approximately 480).

本実施例において、距離画像の各画素位置の距離は、２５６階調で表現され、近距離ほど白（画素値２５６）に近く、遠距離ほど黒（画素値０）に近い階調が割り当てられる。また、セグメント領域の探索がエラーとなった場合は、黒（画素値０）の階調が割り当てられる。物体検出装置１は、所定の時間おきに、当該距離画像を取得する。本実施例では、物体検出装置１は、１秒間に３０枚の距離画像を生成する。   In the present embodiment, the distance of each pixel position of the distance image is expressed by 256 gradations, and gradations closer to white (pixel value 256) are assigned as the distance is shorter, and gradations closer to black (pixel value 0) are assigned as the distance is longer. . If the segment area search results in an error, a gray scale of black (pixel value 0) is assigned. The object detection device 1 acquires the distance image every predetermined time. In the present embodiment, the object detection apparatus 1 generates 30 distance images per second.

このように距離画像が生成される場合、図５（ｂ）の探索範囲Ｌ０に対応する距離範囲から外れた位置に物体が存在しても、この物体に対する距離値は得られない。したがって、距離画像において、探索範囲Ｌ０に対応する距離範囲から外れた位置に物体が存在する領域には、エラー値（画素値０）が設定される。しかしながら、この物体が、手等の検出対象物体である場合、テレビ２に対するコマンドであるユーザからのジェスチャが検出されないことになってしまう。したがって、探索範囲Ｌ０に対応する距離範囲から外れた位置に物体が存在する場合にも、極力、この物体に対する距離値が距離画像に反映されるようにするのが望ましい。   When a distance image is generated in this way, even if an object exists at a position outside the distance range corresponding to the search range L0 in FIG. 5B, a distance value for this object cannot be obtained. Therefore, in the distance image, an error value (pixel value 0) is set in a region where an object exists at a position outside the distance range corresponding to the search range L0. However, when this object is a detection target object such as a hand, a gesture from the user as a command for the television 2 is not detected. Therefore, even when an object exists at a position outside the distance range corresponding to the search range L0, it is desirable that the distance value with respect to the object is reflected in the distance image as much as possible.

そこで、本実施例では、物体が、探索範囲Ｌ０に対応する距離範囲よりも物体検出装置１に接近した位置にある場合、距離情報補正部２１ｄによって、この物体に対する所定の値が距離画像に重畳され、距離画像が補正される。   Therefore, in this embodiment, when the object is located closer to the object detection device 1 than the distance range corresponding to the search range L0, the distance information correction unit 21d superimposes a predetermined value for this object on the distance image. Then, the distance image is corrected.

以下、この補正処理を含め、距離取得部２１ｂによる距離情報の取得処理から、物体検出部２１ｃによる物体検出処理までの流れについて、図６（ａ）〜図８（ｂ）を参照して説明する。   Hereinafter, the flow from the distance information acquisition process by the distance acquisition unit 21b to the object detection process by the object detection unit 21c, including this correction process, will be described with reference to FIGS. 6 (a) to 8 (b). .

図６（ａ）は、距離画像の生成処理を示すフローチャートである。図６（ａ）の処理は、図２に示すＣＰＵ２１の機能のうち、主として距離取得部２１ｂの機能により実行される。   FIG. 6A is a flowchart showing a distance image generation process. 6A is executed mainly by the function of the distance acquisition unit 21b among the functions of the CPU 21 shown in FIG.

ＣＰＵ２１は、ＣＭＯＳイメージセンサ２４０から画像を取得するタイミングが到来すると（Ｓ１０１：ＹＥＳ）、ＣＭＯＳイメージセンサ２４０から撮像画像を取得し（Ｓ１０２）、上述のように、取得した撮像画像に基づき距離情報を取得する（Ｓ１０３）。さらに、ＣＰＵ２１は、取得した距離情報に対応する距離値を各画素位置に設定して距離画像を生成する（Ｓ１０４）。そして、ＣＰＵ２１は、作成した距離画像に、輝度値に基づく輝度画像を合成する（Ｓ１０５）。   When it is time to acquire an image from the CMOS image sensor 240 (S101: YES), the CPU 21 acquires a captured image from the CMOS image sensor 240 (S102), and obtains distance information based on the acquired captured image as described above. Obtain (S103). Further, the CPU 21 sets a distance value corresponding to the acquired distance information at each pixel position and generates a distance image (S104). And CPU21 synthesize | combines the luminance image based on a luminance value with the produced distance image (S105).

図６（ｂ）は、輝度画像の生成処理を示すフローチャートである。図６（ｂ）の処理は、図２に示すＣＰＵ２１の機能のうち、主として距離情報補正部２１ｄの機能により実行される。   FIG. 6B is a flowchart showing a luminance image generation process. 6B is executed mainly by the function of the distance information correction unit 21d among the functions of the CPU 21 shown in FIG.

ＣＰＵ２１は、図６（ａ）のＳ１０２において取得した撮像画像に対して平滑化処理を行う（Ｓ２０１）。この平滑化処理として、画像フィルタ処理として用いられる平滑化フィルタ処理（移動平均フィルタ、ガウシアンフィルタ、等）が用いられる。かかる平滑化処理により、撮像画像上の各画素の輝度値が、平らに滑らかにされる。   CPU21 performs the smoothing process with respect to the captured image acquired in S102 of Fig.6 (a) (S201). As this smoothing processing, smoothing filter processing (moving average filter, Gaussian filter, etc.) used as image filter processing is used. By such smoothing processing, the luminance value of each pixel on the captured image is smoothed flat.

次に、ＣＰＵ２１は、輝度値が平滑化された撮像画像上において、輝度値が予め決められた閾値以上の画素領域（以下、「高輝度領域」という）を特定する（Ｓ２０２）。そして、ＣＰＵ２１は、高輝度領域中の各画素の輝度値の階調を、Ｓ１０４で作成した距離画像の階調に対応するよう調整し、調整した輝度値を高輝度領域の各画素に設定して、輝度画像を生成する（Ｓ２０３）。すなわち、ＣＰＵ２１は、Ｓ２０２において平滑化された各画素の輝度値の階調を、輝度値を距離値として扱えるように補正し、補正後の階調の輝度値を用いて、輝度画像を生成する。この場合、たとえば、輝度値の階調を補正するための補正テーブルが予めメモリ２５に保持される。ＣＰＵ２１は、この補正テーブルを参照して、高輝度領域中の各画素の輝度値の階調を距離画像の階調に対応するよう調整し、調整した輝度値を高輝度領域の各画素に設定して、輝度画像を生成する。   Next, the CPU 21 specifies a pixel region (hereinafter referred to as “high luminance region”) having a luminance value equal to or greater than a predetermined threshold on the captured image with the luminance value smoothed (S202). Then, the CPU 21 adjusts the gradation of the luminance value of each pixel in the high luminance area so as to correspond to the gradation of the distance image created in S104, and sets the adjusted luminance value for each pixel of the high luminance area. Then, a luminance image is generated (S203). That is, the CPU 21 corrects the gradation of the luminance value of each pixel smoothed in S202 so that the luminance value can be treated as a distance value, and generates a luminance image using the luminance value of the corrected gradation. . In this case, for example, a correction table for correcting the gradation of the luminance value is held in the memory 25 in advance. The CPU 21 refers to this correction table and adjusts the gradation of the luminance value of each pixel in the high luminance area so as to correspond to the gradation of the distance image, and sets the adjusted luminance value to each pixel of the high luminance area. Then, a luminance image is generated.

なお、このように、撮像画像から輝度値が閾値以上の画素領域（高輝度領域）を特定する構成（Ｓ２０３）は、請求項３に記載の構成の一例である。また、高輝度領域の各画素に、輝度値に基づく値を設定して輝度画像を生成する処理（Ｓ２０２、Ｓ２０３）は、請求項２に記載の構成の一例である。   Note that the configuration (S203) for specifying a pixel region (high luminance region) having a luminance value equal to or greater than the threshold value from the captured image is an example of the configuration according to claim 3. Further, the processing (S202, S203) for generating a luminance image by setting a value based on the luminance value to each pixel in the high luminance region is an example of a configuration according to claim 2.

物体が、図５（ｂ）の探索範囲Ｌ０に対応する距離範囲よりも物体検出装置１に接近した位置にある場合、この物体には高い光量で光が照射される。このため、撮像画像上の当該物体に対応する領域の輝度は、他の領域よりも高くなる。ＣＰＵ２１は、この現象に基づき、撮像画像上において、輝度が閾値以上となる画素領域（高輝度領域）を、物体が存在する領域として特定する。   When the object is at a position closer to the object detection device 1 than the distance range corresponding to the search range L0 in FIG. 5B, the object is irradiated with light with a high light amount. For this reason, the brightness | luminance of the area | region corresponding to the said object on a captured image becomes higher than another area | region. Based on this phenomenon, the CPU 21 specifies a pixel region (high luminance region) where the luminance is equal to or higher than a threshold on the captured image as a region where the object exists.

図６（ａ）のＳ１０５に戻り、ＣＰＵ２１は、Ｓ２０３において生成した高輝度領域の輝度画像を、Ｓ１０４で生成した距離画像に合成する。具体的には、距離画像上の高輝度領域に対応する領域の各画素の距離値を、Ｓ２０３で生成した各画素の輝度値に置き換える。こうして、輝度画像が合成された距離画像（以下、「合成画像」と称する）が生成される。   Returning to S105 in FIG. 6A, the CPU 21 synthesizes the luminance image of the high luminance area generated in S203 with the distance image generated in S104. Specifically, the distance value of each pixel in the region corresponding to the high luminance region on the distance image is replaced with the luminance value of each pixel generated in S203. In this way, a distance image (hereinafter referred to as “synthesized image”) in which the luminance image is synthesized is generated.

このように、距離画像上の高輝度領域に対応する領域の各画素の距離値を、輝度画像の輝度値に対応する値に置き換える処理（Ｓ１０５）は、請求項２、５に記載の構成の一例である。   As described above, the process of replacing the distance value of each pixel in the region corresponding to the high luminance region on the distance image with the value corresponding to the luminance value of the luminance image (S105) is configured as described in claims 2 and 5. It is an example.

上記のように、本実施例では、物体が物体検出装置１に近づく程、距離値が大きくなる。他方、撮像画像上における輝度値も、物体が物体検出装置１に近づく程、大きくなる。また、合成画像の生成の際に、輝度値の階調は、輝度値を距離値として扱えるように補正される。このように、距離値と輝度値には、互いに相関関係があり、また、輝度画像において輝度値が距離値に対応するよう調整されるため、距離画像上の物体が存在する領域に輝度画像の輝度値を設定したとしても、設定された輝度値は、当該領域に物体が存在することを検出するための距離値として用い得るものとなる。このような観点から、本実施例では、距離画像上の高輝度領域に対応する領域に、輝度値に基づく値が設定される。ここで、高輝度領域を特定するための閾値（図６（ｂ）のＳ２０２）は、図５（ｂ）の探索範
囲Ｌ０に対応する測距可能範囲よりも物体検出装置１側に物体が存在する場合に、撮像画像上において、当該物体に対応する領域を高輝度領域として特定可能となるように設定される。 As described above, in this embodiment, the distance value increases as the object approaches the object detection device 1. On the other hand, the luminance value on the captured image also increases as the object approaches the object detection device 1. Further, when generating a composite image, the gradation of the luminance value is corrected so that the luminance value can be handled as a distance value. As described above, the distance value and the luminance value are correlated with each other, and the luminance value is adjusted so as to correspond to the distance value in the luminance image. Even if the brightness value is set, the set brightness value can be used as a distance value for detecting the presence of an object in the area. From this point of view, in this embodiment, a value based on the luminance value is set in a region corresponding to the high luminance region on the distance image. Here, the threshold (S202 in FIG. 6B) for specifying the high-luminance region has an object closer to the object detection device 1 than the distance measurement possible range corresponding to the search range L0 in FIG. 5B. In this case, the area corresponding to the object is set to be specified as a high-luminance area on the captured image.

なお、Ｓ１０５では、距離画像上の高輝度領域に対応する領域の各画素の距離値がエラーを示す値（ゼロ）でない場合も、当該領域の各画素の距離値が、Ｓ２０３で生成された各画素の輝度値に置き換えられる。上述のように、距離値はマッチング処理によって取得されるため、距離値の取得がエラーとなるべき画素に誤って距離値が設定されることが起こり得る。したがって、このように、距離画像上の高輝度領域に対応する領域に既に距離値が設定されている場合にも、当該距離値を輝度値に置き換える処理を実行することにより、誤った距離値が、より適正な値に更新されるとの効果が奏され得る。なお、この処理に代えて、既に距離値が設定されている画素には輝度値が設定されないようにされても良い。   In S105, even if the distance value of each pixel in the region corresponding to the high-luminance region on the distance image is not a value (zero) indicating an error, the distance value of each pixel in the region is generated in S203. It is replaced with the luminance value of the pixel. As described above, since the distance value is acquired by the matching process, it is possible that the distance value is erroneously set to a pixel for which acquisition of the distance value is an error. Therefore, even when a distance value has already been set in the region corresponding to the high-intensity region on the distance image, an incorrect distance value is obtained by executing the process of replacing the distance value with the luminance value. The effect of being updated to a more appropriate value can be obtained. Instead of this process, the luminance value may not be set for the pixels for which the distance value has already been set.

ＣＰＵ２１は、以上の処理を、距離取得動作が終了するまで実行する（Ｓ１０６）。距離取得動作が終了していない場合（Ｓ１０６：ＮＯ）、ＣＰＵ２１は、Ｓ１０１に戻って、次の画像取得タイミングの到来を待つ。そして、次の画像取得タイミングが到来すると（Ｓ１０１：ＹＥＳ）、Ｓ１０２以降の処理を実行して、距離画像に輝度画像が合成された合成画像を生成する（Ｓ１０２〜Ｓ１０５）。   CPU21 performs the above process until distance acquisition operation is complete | finished (S106). If the distance acquisition operation has not ended (S106: NO), the CPU 21 returns to S101 and waits for the next image acquisition timing. When the next image acquisition timing arrives (S101: YES), the processing after S102 is executed to generate a combined image in which the luminance image is combined with the distance image (S102 to S105).

図７（ａ）〜（ｄ）は、図６（ａ）、（ｂ）の処理による合成画像の生成例を示す図である。なお、図７（ａ）〜（ｄ）では、便宜上、右手ＨＲと左手ＨＬのみが図示され、人の胴体や顔等の図示は省略されている。   FIGS. 7A to 7D are diagrams illustrating an example of generating a composite image by the processes of FIGS. 6A and 6B. 7A to 7D, for the sake of convenience, only the right hand HR and the left hand HL are illustrated, and the human torso, face, and the like are not illustrated.

たとえば、図７（ａ）に示すように、図５（ｂ）の探索範囲Ｌ０に対応する測距可能範囲Ｗ２内に左手ＨＬが存在し、測距可能範囲Ｗ２よりも物体検出装置１に近い測距不能範囲Ｗ１に右手ＨＲが存在する場合、ＣＭＯＳイメージセンサ２４０によって撮像された撮像画像は、図７（ｂ）に示すように、右手ＨＲの画像と左手ＨＬの画像を含むこととなる。ここで、右手ＨＲは左手ＨＬよりも物体検出装置１に近づいているため、図７（ｂ）に示すように、撮像画像において、右手ＨＲの画像は左手ＨＬの画像よりも大きく、また、右手ＨＲの輝度は左手ＨＬの輝度よりも高い。   For example, as shown in FIG. 7A, the left hand HL exists in the distance measurement possible range W2 corresponding to the search range L0 in FIG. 5B, and is closer to the object detection device 1 than the distance measurement possible range W2. When the right hand HR is present in the unmeasurable range W1, the captured image captured by the CMOS image sensor 240 includes an image of the right hand HR and an image of the left hand HL as shown in FIG. 7B. Here, since the right hand HR is closer to the object detection device 1 than the left hand HL, the image of the right hand HR is larger than the image of the left hand HL in the captured image, as shown in FIG. The brightness of HR is higher than that of left hand HL.

しかし、この場合、左手ＨＬのみが測距可能範囲Ｗ２に含まれるため、図７（ｃ）に示すように、図６（ａ）のＳ１０４にて生成される距離画像には、左手ＨＬの領域に距離値が設定され、その他の領域は、通常、エラーとなる。この場合、エラーの領域には、図７（ａ）の測距不能範囲Ｗ３に対応する領域の他、測距不能範囲Ｗ１に位置付けられた右手ＨＲの領域も含まれる。   However, in this case, since only the left hand HL is included in the distance measurement possible range W2, as shown in FIG. 7C, the distance image generated in S104 of FIG. A distance value is set for the other area, and an error usually occurs in other areas. In this case, the error area includes not only the area corresponding to the unmeasurable range W3 in FIG. 7A but also the area of the right hand HR positioned in the unmeasurable range W1.

この場合、測距不能範囲Ｗ１に位置付けられた右手ＨＲの領域は、各画素の輝度値が高いため、図６（ｂ）の処理により、高輝度領域として特定され、輝度画像が生成される。このため、図６（ａ）のＳ１０５において距離画像に輝度画像が合成された合成画像には、図７（ｄ）に示すように、右手ＨＲの領域が含まれるようになり、この右手ＨＲの領域の各画素には、上記のように、階調が補正された輝度値が設定される。こうして、左手ＨＬよりも前に存在する右手ＨＲが、合成画像に取り込まれるようになる。   In this case, since the luminance value of each pixel is high in the area of the right hand HR positioned in the distance measurement impossible range W1, the luminance image is generated by being identified as a high luminance area by the process of FIG. 6B. Therefore, the synthesized image obtained by synthesizing the luminance image with the distance image in S105 of FIG. 6A includes the area of the right hand HR as shown in FIG. 7D. As described above, the luminance value whose gradation is corrected is set for each pixel in the region. In this way, the right hand HR existing before the left hand HL is captured in the composite image.

なお、図６（ａ）のＳ１０４にて生成される距離画像において、右手ＨＲの領域に誤った距離値が設定されることも起こり得る。この場合も、距離画像上の右手ＨＲの領域の距離値が輝度値に置き換えられるため、誤った距離値が、より適正な値（輝度値）に更新される。   In the distance image generated in S104 in FIG. 6A, an incorrect distance value may be set in the right-hand HR region. Also in this case, since the distance value of the right-hand HR region on the distance image is replaced with the luminance value, the incorrect distance value is updated to a more appropriate value (luminance value).

図２に示す物体検出部２１ｃは、こうして生成された合成画像に基づいて、検出対象物体を抽出する。   The object detection unit 21c illustrated in FIG. 2 extracts a detection target object based on the composite image thus generated.

図８（ａ）は、検出対象物体の検出処理を示す図である。図８（ａ）の処理は、図２に示すＣＰＵ２１の機能のうち、主として物体検出部２１ｃの機能により実行される。図８（ｂ）は、検出対象物体の検出例を示す図である。この例では、右手ＨＲを前方（Ｚ軸負方向）に突き出した状態で、人Ｈが物体検出装置１に向き合った状態が示されている。ここで、右手ＨＲは、測距可能範囲Ｗ２よりも物体検出装置１に接近した位置にあり、人Ｈの左手ＨＬと胴体等が測距可能範囲Ｗ２にある。   FIG. 8A is a diagram illustrating detection processing of a detection target object. The process of FIG. 8A is executed mainly by the function of the object detection unit 21c among the functions of the CPU 21 shown in FIG. FIG. 8B is a diagram illustrating a detection example of the detection target object. In this example, a state in which the person H faces the object detection device 1 with the right hand HR protruding forward (in the negative direction of the Z axis) is shown. Here, the right hand HR is located closer to the object detection device 1 than the distance measurement possible range W2, and the left hand HL of the person H, the trunk, and the like are in the distance measurement possible range W2.

図６（ａ）のＳ１０５において合成画像が取得されると（Ｓ３０１：ＹＥＳ）、ＣＰＵ２１は、輝度画像が合成される前の距離画像（図６（ａ）のＳ１０４にて生成された距離画像）における最高階調の距離値（最も物体検出装置１に接近することを表す距離値）から所定の値ΔＤを減じた値を距離閾値Ｄｓｈに設定する（Ｓ３０２）。この処理により、図８（ｂ）の例では、左手ＨＬの距離値の階調から所定の値ΔＤを減じた値が距離閾値Ｄｓｈに設定される。   When the composite image is acquired in S105 of FIG. 6A (S301: YES), the CPU 21 displays the distance image before the luminance image is combined (the distance image generated in S104 of FIG. 6A). A value obtained by subtracting a predetermined value ΔD from the distance value of the highest gradation at (the distance value representing the closest approach to the object detection apparatus 1) is set as the distance threshold value Dsh (S302). By this process, in the example of FIG. 8B, a value obtained by subtracting the predetermined value ΔD from the gradation of the distance value of the left hand HL is set as the distance threshold value Dsh.

次に、ＣＰＵ２１は、合成画像から、距離閾値Ｄｓｈよりも距離値（階調値）が高い領域を、対象領域として区分する（Ｓ３０３）。そして、ＣＰＵ２１は、輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、メモリ２５に保持された物体形状抽出テンプレートとを比較して、物体形状抽出テンプレートに保持された輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する（Ｓ３０４）。図８（ｂ）の例では、Ｓ３０３の処理により、合成画像から、右手ＨＲと左手ＨＬに対応する領域が、それぞれ、対象領域として区分される。また、物体形状抽出テンプレートに保持された検出対象物体が右手である場合、Ｓ３０４の処理により、区分された２つの対象領域のうち右手ＨＲに対する対象領域が、検出対象物体に対応する領域として抽出される。   Next, the CPU 21 classifies an area having a distance value (gradation value) higher than the distance threshold Dsh as a target area from the composite image (S303). Then, the CPU 21 executes the contour extraction engine, compares the contour of the divided target area with the object shape extraction template held in the memory 25, and compares the contour corresponding to the contour held in the object shape extraction template. The target region is extracted as a region corresponding to the detection target object (S304). In the example of FIG. 8B, by the process of S303, the areas corresponding to the right hand HR and the left hand HL are each classified as a target area from the composite image. If the detection target object held in the object shape extraction template is the right hand, the target area for the right hand HR is extracted as the area corresponding to the detection target object from the two divided target areas by the process of S304. The

なお、Ｓ３０４において検出対象物体が抽出されない場合、当該合成画像に対する検出対象物体の抽出は、エラーとされる。   If no detection target object is extracted in S304, extraction of the detection target object from the composite image is an error.

こうして、検出対象物体の抽出処理が終了すると、ＣＰＵ２１は、物体検出動作が終了したか否かを判定する（Ｓ３０５）。物体検出動作が終了していない場合（Ｓ３０５：ＮＯ）、ＣＰＵ２１は、Ｓ３０１に戻り、次の合成画像が取得されるのを待つ。そして、次の合成画像が取得されると（Ｓ３０１：ＹＥＳ）、ＣＰＵ２１は、Ｓ３０２以降の処理を実行し、当該合成画像から検出対象物体を抽出する（Ｓ３０２〜Ｓ３０４）。   Thus, when the extraction process of the detection target object is completed, the CPU 21 determines whether or not the object detection operation is completed (S305). If the object detection operation has not ended (S305: NO), the CPU 21 returns to S301 and waits for the next synthesized image to be acquired. Then, when the next composite image is acquired (S301: YES), the CPU 21 executes the processing after S302, and extracts a detection target object from the composite image (S302 to S304).

なお、Ｓ３０４において抽出された検出対象物体の領域は、さらに、物体検出部２１ｃにおいて、検出対象物体の動き検出のために用いられる。そして、検出された動きから、所定のジェスチャが取得されると、テレビ２側において、ジェスチャに応じた制御が実行される。   Note that the region of the detection target object extracted in S304 is further used by the object detection unit 21c for motion detection of the detection target object. When a predetermined gesture is acquired from the detected movement, control according to the gesture is executed on the television 2 side.

＜実施例１の効果＞
以上、本実施例によれば、測距可能範囲Ｗ２よりも物体検出装置１に接近した位置に検出対象物体が存在する場合、検出対象物体に対応する領域の輝度画像が距離画像に合成されて合成画像が生成される。すなわち、距離画像において適正に距離値が取得されなかった領域のうち、検出対象物体に対応する領域に、輝度値に基づく値が設定されて合成画像が生成される。そして、生成された合成画像に基づいて、検出対象物体の抽出処理が行われる。したがって、本実施例によれば、測距可能範囲Ｗ２よりも物体検出装置１に接近した位置に検出対象物体が存在する場合にも、輝度画像が合成された合成画像により、検出対象物体を円滑に抽出することができる。よって、検出対象物体の動きに基づくテレビ２
の制御を適正に行うことができる。 <Effect of Example 1>
As described above, according to the present embodiment, when the detection target object is present at a position closer to the object detection device 1 than the distance measurement possible range W2, the luminance image of the region corresponding to the detection target object is combined with the distance image. A composite image is generated. That is, a value based on the luminance value is set in a region corresponding to the detection target object among regions where the distance value is not properly acquired in the distance image, and a composite image is generated. Then, based on the generated composite image, extraction processing of the detection target object is performed. Therefore, according to the present embodiment, even when the detection target object is present at a position closer to the object detection device 1 than the distance measurement possible range W2, the detection target object is smoothly smoothed by the composite image obtained by combining the luminance images. Can be extracted. Therefore, the television 2 based on the movement of the detection target object.
Can be properly controlled.

＜実施例１の変更例１＞
図６（ｂ）の輝度画像の生成処理では、平滑化された撮像画像上において、輝度値が閾値以上となる画素の領域が、高輝度領域として特定された（Ｓ２０２）。これに代えて、本変更例に係る図９（ａ）の輝度画像の生成処理では、撮像画像上において、注目画素を中心として所定の判定領域が設定され、設定された判定領域内に含まれる各画素の輝度値を合計した値が所定の閾値以上である場合に、当該注目画素が高輝度領域（白とび領域）に含まれる画素とされる（Ｓ２１１）。 <Modification 1 of Example 1>
In the luminance image generation process in FIG. 6B, a pixel region having a luminance value equal to or greater than a threshold on the smoothed captured image is specified as a high luminance region (S202). Instead, in the luminance image generation process of FIG. 9A according to the present modification, a predetermined determination area is set around the target pixel on the captured image, and is included in the set determination area. When the total value of the luminance values of the respective pixels is equal to or greater than a predetermined threshold value, the target pixel is set as a pixel included in the high luminance area (overexposed area) (S211).

図９（ｂ）は、Ｓ２１１の処理を説明する図である。図９（ｂ）には、物体検出装置１に接近した位置にある物体にＤＰ光が照射された場合のＣＭＯＳイメージセンサ２４０の受光状態が模式的に示されている。すなわち、物体が物体検出装置１に接近した位置にあるため、ドットが重なり合った状態でＤＰ光が物体に照射され、このため、ＣＭＯＳイメージセンサ２４０上においても、ドットが互いに重なり合った状態となっている。   FIG. 9B is a diagram for explaining the processing of S211. FIG. 9B schematically shows a light receiving state of the CMOS image sensor 240 when DP light is irradiated to an object located close to the object detection apparatus 1. That is, since the object is in a position close to the object detection device 1, the DP light is irradiated to the object in a state where the dots are overlapped. For this reason, the dots are also overlapped on the CMOS image sensor 240. Yes.

Ｓ２１１の処理では、撮像画像上の一つの画素が注目画素とされ、この注目画素を中心に、所定の広さの領域（ここでは、縦５画素、横５画素の領域）が判定領域に設定される。そして、判定領域に含まれる全ての画素の輝度値が加算され、この加算値が、所定の閾値以上である場合に、当該注目画素が高輝度領域（白とび領域）に含まれると判定される。この処理が、撮像画像上の全画素を注目画素として行われる。そして、高輝度領域（白とび領域）に含まれると判定された画素に対して、上記実施例１と同様、当該画素の輝度値を距離値に対応する階調に補正した値が設定される（Ｓ２０３）。   In the processing of S211, one pixel on the captured image is set as the target pixel, and an area of a predetermined area (here, a vertical 5 pixel area and a horizontal 5 pixel area) is set as the determination area around the target pixel. Is done. Then, the luminance values of all the pixels included in the determination region are added, and when the added value is equal to or greater than a predetermined threshold value, it is determined that the target pixel is included in the high luminance region (overexposed region). . This process is performed using all pixels on the captured image as the target pixel. Then, a value obtained by correcting the luminance value of the pixel to a gradation corresponding to the distance value is set for the pixel determined to be included in the high luminance region (out-of-white region), as in the first embodiment. (S203).

こうして、高輝度領域（白とび領域）が特定され、高輝度領域に輝度値が設定された輝度画像が生成される。輝度画像を距離画像に合成する処理は、図６（ａ）の処理と同様である。   In this way, a high-luminance area (overexposed area) is specified, and a luminance image in which a luminance value is set in the high-luminance area is generated. The process of combining the luminance image with the distance image is the same as the process of FIG.

なお、このように、注目画素を中心に所定の広さを有する判定領域について、各画素の輝度値を加算し、この加算値と所定の閾値とを比較することにより、高輝度領域を特定する構成は、請求項４に記載の構成の一例である。   As described above, the luminance value of each pixel is added to the determination area having a predetermined area around the target pixel, and the high luminance area is specified by comparing the added value with a predetermined threshold value. The configuration is an example of a configuration according to claim 4.

本変更例によれば、物体が物体検出装置１に接近した位置にあるために輝度が高くなっている画素領域を、より正確に検出することができる。すなわち、上記実施例１によれば、各画素の輝度値と閾値とを比較して、当該画素が高輝度領域に含まれるかが判定された。しかし、この処理では、物体が測距可能範囲Ｗ２にある場合に、一つのドットが一つの画素に落ちると、当該画素の輝度が閾値を超えて、当該画素が高輝度領域に含まれると判定されることが起こり得る。これに対し、本変更例によれば、注目画素とともにその周囲の画素の輝度値も含めて、注目画素が高輝度領域に含まれるかが判定されるため、物体が測距可能範囲Ｗ２にある場合に、一つのドットが一つの画素に落ちても、誤って当該画素が、物体が接近した位置にあるために高輝度となった画素領域（高輝度領域）に含まれると判定されることを防止することができる。よって、本変更例によれば、物体が物体検出装置１に接近した位置にあるために輝度が高くなっている画素領域を、より正確に検出することができる。   According to this modified example, it is possible to more accurately detect a pixel region whose luminance is high because the object is located close to the object detection device 1. That is, according to the first embodiment, the luminance value of each pixel is compared with the threshold value to determine whether the pixel is included in the high luminance area. However, in this process, when one dot falls on one pixel when the object is in the distance measurement possible range W2, the luminance of the pixel exceeds the threshold value, and it is determined that the pixel is included in the high luminance region. Can happen. On the other hand, according to this modified example, since it is determined whether the target pixel is included in the high luminance region including the target pixel and the luminance values of the surrounding pixels, the object is in the distance measurement possible range W2. In this case, even if one dot falls on one pixel, it is erroneously determined that the pixel is included in the pixel area (high brightness area) that has become bright because the object is close to the object. Can be prevented. Therefore, according to the present modification example, it is possible to more accurately detect a pixel region in which the brightness is high because the object is in a position close to the object detection device 1.

＜実施例１の変更例２＞
上記実施例１では、輝度に基づいて、近距離にある物体に対応する画素領域（高輝度領域）が特定されたが、本変更例では、距離画像の距離値に基づいて、近距離にある物体に対応する画素領域が特定される。 <Modification 2 of Example 1>
In the first embodiment, the pixel area (high luminance area) corresponding to the object at a short distance is specified based on the luminance. However, in the present modification, the pixel area is at a short distance based on the distance value of the distance image. A pixel area corresponding to the object is specified.

図１０（ａ）は、本変更例に係る距離画像の補正処理を示すフローチャートである。この処理は、図６（ａ）のＳ１０５において実行される。また、図１０（ｂ）は、図６（ａ）のＳ１０５において生成された距離画像の一例を模式的に示す図である。図１０（ｂ）において、各画素に記載された数字は、その画素の距離値である。   FIG. 10A is a flowchart showing distance image correction processing according to this modification. This process is executed in S105 of FIG. FIG. 10B is a diagram schematically illustrating an example of the distance image generated in S105 of FIG. In FIG. 10B, the number written in each pixel is the distance value of that pixel.

図６（ａ）のＳ１０４において距離画像が生成されると、ＣＰＵ２１は、距離画像に注目画素を設定し（Ｓ４０１）、さらに、この注目画素を中心に所定の広さの単位領域（ここでは、縦９画素、横９画素の領域）を設定する（Ｓ４０２）。次に、ＣＰＵ２１は、単位領域内において、同じ距離値を持つ画素をグルーピングし、同じ距離値のグループの数をカウントする（Ｓ４０３）。図１０（ｂ）の例では、単位領域内に、距離値が０、１、２、３、５の画素が含まれているため、カウントされるグループの数は５である。そして、ＣＰＵ２１は、カウントしたグループ数が所定の閾値Ｃｓｈ以上であるかを判定する（Ｓ４０４）。   When a distance image is generated in S104 of FIG. 6A, the CPU 21 sets a target pixel in the distance image (S401), and further, a unit area (here, a predetermined area) centering on the target pixel. A region of 9 pixels vertically and 9 pixels horizontally) is set (S402). Next, the CPU 21 groups pixels having the same distance value in the unit area, and counts the number of groups having the same distance value (S403). In the example of FIG. 10B, since the unit area includes pixels with distance values of 0, 1, 2, 3, and 5, the number of groups to be counted is 5. Then, the CPU 21 determines whether or not the counted number of groups is equal to or greater than a predetermined threshold value Csh (S404).

グループ数が閾値Ｃｓｈ以上であれば（Ｓ４０４：ＹＥＳ）、注目画素は、近距離にある物体に対応する領域に含まれると判定され、注目画素の距離値が、上記実施例１と同様、当該画素の輝度値を距離値に対応する階調に補正した値に置き換えられる（Ｓ４０５）。一方、グループ数が閾値Ｃｓｈ未満であれば（Ｓ４０４：ＮＯ）、注目画素は、近距離にある物体に対応する領域に含まれないと判定され、注目画素の距離値がそのまま維持される。   If the number of groups is equal to or greater than the threshold Csh (S404: YES), it is determined that the target pixel is included in the region corresponding to the object at a short distance, and the distance value of the target pixel is the same as in the first embodiment. The luminance value of the pixel is replaced with a value corrected to a gradation corresponding to the distance value (S405). On the other hand, if the number of groups is less than the threshold Csh (S404: NO), it is determined that the target pixel is not included in the region corresponding to the object at a short distance, and the distance value of the target pixel is maintained as it is.

以上の処理が、距離画像上の全画素を注目画素として行われる（Ｓ４０５）。距離画像上の全画素に対してＳ４０１〜Ｓ４０５の処理が行われると（Ｓ４０６：ＹＥＳ）、距離画像上の、近距離に存在する物体に対応する領域に輝度値が設定された合成画像が生成される。しかる後、ＣＰＵ２１は、図６のＳ１０６に処理を進める。   The above processing is performed with all pixels on the distance image as the target pixel (S405). When the processing of S401 to S405 is performed on all the pixels on the distance image (S406: YES), a composite image in which a luminance value is set in an area corresponding to an object existing at a short distance on the distance image is generated. Is done. Thereafter, the CPU 21 advances the processing to S106 in FIG.

なお、このように、距離画像上の各画素の距離値に基づいて、距離値を輝度値に置き換える構成は、請求項６に記載の構成の一例である。   Note that the configuration in which the distance value is replaced with the luminance value based on the distance value of each pixel on the distance image is an example of the configuration according to claim 6.

本変更例によれば、測距可能範囲Ｗ２よりも物体検出装置１に接近した位置にある物体に対応する領域を、適正に特定することができる。すなわち、物体が存在しない領域に対しては、上記マッチング処理では距離値が取得されず、この領域に対する距離値は一様にエラー（距離値＝０）となり易い。これに対して、物体が測距可能範囲Ｗ２よりも物体検出装置１に接近した位置にある場合、この物体に対応する領域に対しては、一様な距離値が得られず、エラーを示す距離値や、種々の誤った距離値が得られる傾向にある。したがって、上記のように、単位領域に含まれる画素について距離値の種類の数を求め、この数が所定の閾値Ｃｓｈ以上である否かを判定することにより、測距可能範囲Ｗ２よりも物体検出装置１に接近した位置にある物体に対応する画素領域を、適正に特定することができる。なお、閾値Ｃｓｈは、物体が存在する領域を特定可能なように設定される。   According to this modified example, it is possible to appropriately specify a region corresponding to an object located closer to the object detection device 1 than the distance measurement possible range W2. That is, a distance value is not acquired in the matching process for a region where no object exists, and the distance value for this region tends to be an error (distance value = 0) uniformly. On the other hand, when the object is at a position closer to the object detection apparatus 1 than the distance measurement possible range W2, a uniform distance value cannot be obtained for the region corresponding to this object, indicating an error. There is a tendency to obtain distance values and various erroneous distance values. Therefore, as described above, the number of types of distance values for the pixels included in the unit area is obtained, and it is determined whether or not this number is equal to or greater than the predetermined threshold Csh, thereby detecting the object more than the distance measurement possible range W2. A pixel region corresponding to an object located close to the device 1 can be specified appropriately. Note that the threshold value Csh is set so that an area where an object exists can be specified.

（２）実施例２
上記実施例１では、図５（ａ）〜（ｃ）に示すマッチング処理により各画素の距離値が取得され、取得された距離値に対して、輝度値に基づく補正処理が行われた。しかしながら、距離値を取得することなく、輝度値のみにより、物体検出を行うことも可能である。本実施例は、輝度値のみにより物体検出を行う場合の構成例を示すものである。 (2) Example 2
In the first embodiment, the distance value of each pixel is acquired by the matching process illustrated in FIGS. 5A to 5C, and the correction process based on the luminance value is performed on the acquired distance value. However, it is also possible to perform object detection based only on the luminance value without acquiring the distance value. The present embodiment shows a configuration example in the case where object detection is performed only by luminance values.

なお、本実施例は、請求項７に記載の構成の一例を示すものである。   In addition, a present Example shows an example of the structure of Claim 7.

図１１は、本実施例に係る物体検出装置１の構成を示す図である。本実施例では、上記実施例１の構成から、ＣＰＵ２１の機能が変更されている。すなわち、ＣＰＵ２１から距
離取得部２１ｂ、物体検出部２１ｃおよび距離情報補正部２１ｄの機能が削除され、代わりに、画像処理部２１ｅの機能が、ＣＰＵ２１に追加されている。また、本実施例では、距離値の取得処理が行われないため、メモリ２５には、参照テンプレートが保持されない。図１１に示すその他の構成は、図２と同様である。 FIG. 11 is a diagram illustrating a configuration of the object detection device 1 according to the present embodiment. In the present embodiment, the function of the CPU 21 is changed from the configuration of the first embodiment. That is, the functions of the distance acquisition unit 21b, the object detection unit 21c, and the distance information correction unit 21d are deleted from the CPU 21, and the function of the image processing unit 21e is added to the CPU 21 instead. In the present embodiment, since the distance value acquisition process is not performed, the memory 25 does not hold the reference template. Other configurations shown in FIG. 11 are the same as those in FIG.

画像処理部２１ｅは、撮像画像の各画素の輝度に基づき、物体に対応する領域を特定し、さらに、特定した領域から、検出対象物体に対応する領域を抽出する。さらに、画像処理部２１ｅは、抽出した検出対象物体の領域に基づいて、検出対象物体の動きを検出し、検出した動きが所定の動きパターンに合致しているかを判定し、所定の動きパターンに応じた信号をテレビ２側のＣＰＵ３１（機能制御部３１ａ）に送信する。   The image processing unit 21e specifies a region corresponding to the object based on the luminance of each pixel of the captured image, and further extracts a region corresponding to the detection target object from the specified region. Further, the image processing unit 21e detects the movement of the detection target object based on the extracted region of the detection target object, determines whether the detected movement matches a predetermined movement pattern, and sets the predetermined movement pattern. The corresponding signal is transmitted to the CPU 31 (function control unit 31a) on the television 2 side.

図１２（ａ）は、本実施例における物体抽出処理を示すフローチャートである。図１２（ａ）の処理は、主としてＣＰＵ２１の画像処理部２１ｅの機能によって行われる。   FIG. 12A is a flowchart showing object extraction processing in the present embodiment. The process of FIG. 12A is mainly performed by the function of the image processing unit 21e of the CPU 21.

画像を取得するタイミングが到来すると（Ｓ５０１：ＹＥＳ）、ＣＰＵ２１は、ＣＭＯＳイメージセンサ２４０から撮像画像を取得し（Ｓ５０２）、さらに、取得した撮像画像に対して平滑化処理を行う（Ｓ５０３）。この平滑化処理は、上記実施例１と同様、画像フィルタ処理として用いられる平滑化フィルタ処理（移動平均フィルタ、ガウシアンフィルタ、等）である。かかる平滑化処理により、撮像画像上の各画素の輝度値が、平らに滑らかにされる。   When it is time to acquire an image (S501: YES), the CPU 21 acquires a captured image from the CMOS image sensor 240 (S502), and further performs a smoothing process on the acquired captured image (S503). This smoothing process is a smoothing filter process (moving average filter, Gaussian filter, etc.) used as an image filter process, as in the first embodiment. By such smoothing processing, the luminance value of each pixel on the captured image is smoothed flat.

次に、ＣＰＵ２１は、輝度値が平滑化された撮像画像上において、輝度値が予め決められた閾値Ｂｓｈ以上の画素領域を、物体抽出の対象となり得る領域（以下、「対象領域」という）として区分する（Ｓ５０４）。そして、ＣＰＵ２１は、輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、メモリ２５に保持された物体形状抽出テンプレートとを比較して、物体形状抽出テンプレートに保持された輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する（Ｓ５０５）。   Next, the CPU 21 sets a pixel area having a luminance value equal to or higher than a predetermined threshold Bsh as a region that can be an object extraction target (hereinafter referred to as “target area”) on the captured image with the smoothed luminance value. Sort (S504). Then, the CPU 21 executes the contour extraction engine, compares the contour of the divided target area with the object shape extraction template held in the memory 25, and compares the contour corresponding to the contour held in the object shape extraction template. The target region is extracted as a region corresponding to the detection target object (S505).

なお、このように、画素値が閾値以上の画素領域を対象領域として区分する構成は、請求項８に記載の構成の一例である。ここで、本実施例における対象領域は、請求項７に記載の「高輝度領域」に対応する。   Note that, in this way, a configuration in which a pixel region having a pixel value equal to or greater than a threshold is classified as a target region is an example of a configuration according to claim 8. Here, the target area in this embodiment corresponds to a “high luminance area” described in claim 7.

図１２（ｂ）は、検出対象物体の検出例を示す図である。この例では、右手ＨＲを前方（Ｚ軸負方向）に突き出した状態で、人Ｈが物体検出装置１に向き合った状態が示されている。図１２（ｂ）には、便宜上、ＣＭＯＳイメージセンサ２４０により物体に対して取得され得る輝度のスケールが付記されている。図１２（ｂ）に示す例では、右手ＨＲと左手ＨＬに対して取得される輝度Ｂｒ、Ｂｌは、それぞれ、閾値Ｂｓｈよりも高く、人Ｈの胴体に対して取得される輝度は、閾値Ｂｓｈよりも低くなっている。   FIG. 12B is a diagram illustrating a detection example of the detection target object. In this example, a state in which the person H faces the object detection device 1 with the right hand HR protruding forward (in the negative direction of the Z axis) is shown. In FIG. 12B, for convenience, a scale of luminance that can be acquired for an object by the CMOS image sensor 240 is added. In the example shown in FIG. 12B, the luminances Br and Bl acquired for the right hand HR and the left hand HL are respectively higher than the threshold value Bsh, and the luminance acquired for the torso of the person H is the threshold value Bsh. Is lower than.

この例では、図１２（ｃ）に示すように、Ｓ５０４の処理により、撮像画像から、右手ＨＲと左手ＨＬに対応する領域が、それぞれ、対象領域として区分される。また、物体形状抽出テンプレートに保持された検出対象物体が右手である場合、Ｓ５０５の処理により、区分された２つの対象領域のうち右手ＨＲに対する対象領域が、検出対象物体に対応する領域として抽出される。   In this example, as shown in FIG. 12C, the areas corresponding to the right hand HR and the left hand HL are each classified as a target area from the captured image by the process of S504. If the detection target object held in the object shape extraction template is the right hand, the target area for the right hand HR is extracted as the area corresponding to the detection target object from the two divided target areas by the process of S505. The

なお、Ｓ５０５において検出対象物体に対応する領域が抽出されない場合、当該撮像画像に対する検出対象物体の抽出は、エラーとされる。   In addition, when the area | region corresponding to a detection target object is not extracted in S505, extraction of the detection target object with respect to the said captured image is made into an error.

こうして、検出対象物体の抽出処理が完了すると、ＣＰＵ２１は、物体検出動作が終了したか否かを判定する（Ｓ５０６）。物体検出動作が終了していない場合（Ｓ５０６：Ｎ
Ｏ）、ＣＰＵ２１は、Ｓ５０１に戻り、次の撮像画像が取得されるのを待つ。そして、次の撮像画像が取得されると（Ｓ５０１：ＹＥＳ）、ＣＰＵ２１は、Ｓ５０２以降の処理を実行し、当該撮像画像から検出対象物体を抽出する（Ｓ５０２〜Ｓ５０５）。 In this way, when the extraction process of the detection target object is completed, the CPU 21 determines whether or not the object detection operation is completed (S506). When the object detection operation is not completed (S506: N
O) The CPU 21 returns to S501 and waits for the next captured image to be acquired. Then, when the next captured image is acquired (S501: YES), the CPU 21 executes the processing after S502 and extracts the detection target object from the captured image (S502 to S505).

なお、Ｓ５０５において抽出された検出対象物体の領域は、さらに、画像処理部２１ｅの機能において、検出対象物体の動き検出のために用いられる。そして、検出された動きから所定のジェスチャが取得されると、テレビ２側において、ジェスチャに応じた制御が行われる。   Note that the region of the detection target object extracted in step S505 is further used for motion detection of the detection target object in the function of the image processing unit 21e. When a predetermined gesture is acquired from the detected movement, control according to the gesture is performed on the television 2 side.

＜実施例２の効果＞
本実施例によれば、測距を行うことなく、輝度に対する処理のみにより、検出対象物体を検出することができる。したがって、上記実施例１に比べ、物体抽出のための処理負荷を軽減でき、比較的簡素な処理により迅速に、検出対象物体を検出することができる。 <Effect of Example 2>
According to the present embodiment, it is possible to detect a detection target object only by processing for luminance without performing distance measurement. Therefore, compared to the first embodiment, the processing load for object extraction can be reduced, and the detection target object can be detected quickly by a relatively simple process.

＜実施例２の変更例＞
上記図１２（ａ）の処理では、閾値Ｂｓｈが１種類であるため、検出対象物体の位置が閾値Ｂｓｈに対応する距離よりも物体検出装置１から離れている場合には、検出対象物体を適正に検出できないことが起こり得る。たとえば、図１３（ａ）に示す位置に人Ｈが位置付けられた場合、右手ＨＲと左手ＨＬに対して取得される輝度Ｂｒ、Ｂｌは、それぞれ、閾値Ｂｓｈよりも低くなる。このため、この場合には、図１２（ａ）のＳ５０４において、右手ＨＲと左手ＨＬに対応する領域が、撮像画像上において区分されないこととなる。 <Modification of Example 2>
In the process of FIG. 12A, since the threshold value Bsh is one type, when the position of the detection target object is farther from the object detection device 1 than the distance corresponding to the threshold value Bsh, the detection target object is set appropriately. It may happen that it cannot be detected. For example, when the person H is positioned at the position shown in FIG. 13A, the luminances Br and Bl acquired for the right hand HR and the left hand HL are lower than the threshold value Bsh. For this reason, in this case, in S504 of FIG. 12A, the regions corresponding to the right hand HR and the left hand HL are not divided on the captured image.

本変更例は、このような問題を解消することを目的とするものである。本変更例では、図１３（ｂ）に示すように、露光時間テーブルにより、撮像の際に複数の露光時間（Ｔ１〜Ｔｋ）が設定され、それぞれの露光時間に応じた撮像画像が取得される。図１１のＣＭＯＳイメージセンサ２４０と撮像信号処理回路２３は、複数の露光時間が設定可能に構成される。   This modification is intended to solve such a problem. In this modified example, as shown in FIG. 13B, a plurality of exposure times (T1 to Tk) are set at the time of imaging by the exposure time table, and captured images corresponding to the respective exposure times are acquired. . The CMOS image sensor 240 and the imaging signal processing circuit 23 in FIG. 11 are configured so that a plurality of exposure times can be set.

このように、ＣＭＯＳイメージセンサ２４０と撮像信号処理回路２３において露光時間が調整可能な構成は、請求項１０の構成の一例である。   As described above, the configuration in which the exposure time can be adjusted in the CMOS image sensor 240 and the imaging signal processing circuit 23 is an example of the configuration of claim 10.

撮像信号処理回路２３は、ＣＰＵ２１から指定された露光時間において、ＣＭＯＳイメージセンサ２４０が各画素の電荷をチャージするよう、ＣＭＯＳイメージセンサ２４０を駆動する。露光時間が長いほど、各画素に長く光が照射されるため、各画素の輝度は高くなり、露光時間が短いほど、各画素の輝度は低くなる。こうして取得されたそれぞれの撮像画像に対して、図１２（ａ）のＳ５０３〜Ｓ５０５の処理が行われる。これにより、何れかの撮像画像から検出対象物体が抽出され、抽出された検出対象物体を用いて、テレビ２の制御が行われる。   The imaging signal processing circuit 23 drives the CMOS image sensor 240 so that the CMOS image sensor 240 charges each pixel during the exposure time designated by the CPU 21. As the exposure time is longer, each pixel is irradiated with light longer, so the luminance of each pixel is higher, and as the exposure time is shorter, the luminance of each pixel is lower. The processing of S503 to S505 in FIG. 12A is performed on each captured image acquired in this way. Thereby, a detection target object is extracted from any captured image, and the television 2 is controlled using the extracted detection target object.

図１４（ａ）は、本実施例における物体抽出処理を示すフローチャートである。図１４（ａ）の処理は、主としてＣＰＵ２１の画像処理部２１ｅの機能によって行われる。   FIG. 14A is a flowchart illustrating object extraction processing in the present embodiment. The process of FIG. 14A is mainly performed by the function of the image processing unit 21e of the CPU 21.

画像を取得するタイミングが到来すると（Ｓ６０１：ＹＥＳ）、ＣＰＵ２１は、露光時間Ｔ１〜Ｔｋでそれぞれ撮像された撮像画像Ｉ１〜ＩｋをＣＭＯＳイメージセンサ２４０から取得し、メモリ２５に保持させる（Ｓ６０２）。図１３（ｂ）に示すように、露光時間Ｔ１は最も時間が短く、露光時間Ｔｋは最も時間が長い。したがって、撮像画像Ｉ１は、最も短い露光時間Ｔ１で撮像された撮像画像であり、撮像画像Ｉｋが、最も長い露光時間Ｔｋで撮像された撮像画像である。   When it is time to acquire an image (S601: YES), the CPU 21 acquires the captured images I1 to Ik captured at the exposure times T1 to Tk from the CMOS image sensor 240 and stores them in the memory 25 (S602). As shown in FIG. 13B, the exposure time T1 is the shortest and the exposure time Tk is the longest. Therefore, the captured image I1 is a captured image captured with the shortest exposure time T1, and the captured image Ik is a captured image captured with the longest exposure time Tk.

次に、ＣＰＵ２１は、変数ｉに１を設定し（Ｓ６０３）、撮像画像Ｉｉについて、検出対象物体の抽出処理を実行する（Ｓ６０４）。ここでは、変数ｉが１であるため、露光時間が最も短い撮像画像Ｉ１について、検出対象物体の抽出処理が行われる。Ｓ６０４では、撮像画像Ｉｉに対し、図１２（ａ）のＳ５０３〜Ｓ５０５と同様の処理が行われる。すなわち、ＣＰＵ２１は、撮像画像Ｉｉから、輝度が閾値Ｂｓｈ以上の対象領域を区分し、区分した対象領域から検出対象物体に対応する領域の抽出を行う。こうして、検出対象物体の抽出処理を実行した後、ＣＰＵ２１は、撮像画像Ｉｉから検出対象物体に対応する領域が抽出されたか否かを判定する（Ｓ６０５）。   Next, the CPU 21 sets 1 to the variable i (S603), and executes detection target object extraction processing for the captured image Ii (S604). Here, since the variable i is 1, the detection target object extraction process is performed on the captured image I1 having the shortest exposure time. In S604, the same processing as S503 to S505 in FIG. 12A is performed on the captured image Ii. That is, the CPU 21 divides a target area whose luminance is equal to or higher than the threshold Bsh from the captured image Ii, and extracts an area corresponding to the detection target object from the categorized target area. After executing the detection target object extraction processing in this way, the CPU 21 determines whether or not an area corresponding to the detection target object has been extracted from the captured image Ii (S605).

このように、露光時間を変化させることにより、撮像画像の各画素の輝度値を閾値Ｂｓｈに対して相対的に変化させて、対象領域を区分する構成は、請求項９に記載の構成の一例である。   In this way, the configuration in which the target region is divided by changing the luminance value of each pixel of the captured image relative to the threshold value Bsh by changing the exposure time is an example of the configuration according to claim 9. It is.

撮像画像Ｉｉから検出対象物体に対応する領域が抽出されない場合（Ｓ６０５：ＮＯ）、ＣＰＵ２１は、変数ＩがＫに到達したかを判定する（Ｓ６０６）。変数ＩがＫに到達していない場合（Ｓ６０６：ＮＯ）、ＣＰＵ２１は、変数ｉに１を加算し（Ｓ６０７）、Ｓ６０４に戻って、次の撮像画像Ｉｉについて、検出対象物体の抽出処理を実行する。ここでは、変数ｉが２であるため、露光時間が２番目に短い撮像画像Ｉ２について、検出対象物体の抽出処理が行われる。   When the area corresponding to the detection target object is not extracted from the captured image Ii (S605: NO), the CPU 21 determines whether the variable I has reached K (S606). When the variable I has not reached K (S606: NO), the CPU 21 adds 1 to the variable i (S607), and returns to S604 to execute the detection target object extraction process for the next captured image Ii. To do. Here, since the variable i is 2, the extraction process of the detection target object is performed on the captured image I2 having the second shortest exposure time.

こうして、ＣＰＵ２１は、Ｓ６０４〜６０７の処理を繰り返し、露光時間が短い撮像画像から順に、検出対象物体に対応する領域の抽出を試行する。そして、何れかの露光時間の撮像画像について、検出対象物体に対応する領域が抽出されると（Ｓ６０５：ＹＥＳ）、ＣＰＵ２１は、当該露光時間よりも長い露光時間の撮像画像に対する処理を中止し、物体検出動作が終了したか否かを判定する（Ｓ６０８）。物体検出動作が終了していない場合（Ｓ６０８：ＮＯ）、ＣＰＵ２１は、Ｓ６０１に戻って、次の画像取得タイミングを待つ。   In this way, the CPU 21 repeats the processing of S604 to 607, and tries to extract a region corresponding to the detection target object in order from a captured image with a short exposure time. When a region corresponding to the detection target object is extracted for the captured image with any exposure time (S605: YES), the CPU 21 stops the processing for the captured image with an exposure time longer than the exposure time, It is determined whether or not the object detection operation is finished (S608). If the object detection operation has not ended (S608: NO), the CPU 21 returns to S601 and waits for the next image acquisition timing.

このように、露光時間が短い撮像画像から順に検出対象物体の抽出を試行し、検出対象物体を抽出可能な撮像画像（物体抽出に適する露光時間の撮像画像）から検出対象物体を抽出する構成は、請求項１０、１１に記載の構成の一例である。また、所定の露光時間の撮像画像から検出対象物体に対応する領域が抽出されると、当該露光時間よりも長い露光時間の撮像画像に対する処理を中止する構成は、請求項１２に記載の構成の一例である。さらに、露光時間が短い撮像画像から順に、検出対象物体に対応する領域の抽出を行う構成は、請求項１３に記載の構成の一例である。   In this way, the configuration in which extraction of the detection target object is tried in order from the captured image having the short exposure time, and the detection target object is extracted from the captured image (the captured image having the exposure time suitable for object extraction) from which the detection target object can be extracted. This is an example of a configuration according to claims 10 and 11. Further, when a region corresponding to the detection target object is extracted from a captured image having a predetermined exposure time, the configuration for stopping the processing on the captured image having an exposure time longer than the exposure time is the configuration according to claim 12. It is an example. Furthermore, the configuration for extracting the region corresponding to the detection target object in order from the captured image with the short exposure time is an example of the configuration according to claim 13.

撮像画像Ｉ１〜Ｉｋの何れについても検出対象物体が抽出できなかった場合（Ｓ６０６：ＹＥＳ）、ＣＰＵ２１は、当該画像取得タイミングにおける検出対象物体の抽出を、エラーとし、次の画像取得タイミングを待つ（Ｓ６０８→Ｓ６０１）。また、Ｓ６０８において、物体検出動作が終了したと判定すると（Ｓ６０８：ＹＥＳ）、ＣＰＵ２１は、処理を終了する。   When the detection target object cannot be extracted for any of the captured images I1 to Ik (S606: YES), the CPU 21 sets the detection target object extraction at the image acquisition timing as an error and waits for the next image acquisition timing ( S608 → S601). If it is determined in S608 that the object detection operation has ended (S608: YES), the CPU 21 ends the process.

図１５（ａ）は、図１４の処理フローチャートによる物体検出動作を模式的に示す図である。ここでは、人Ｈが、図１３（ａ）と同じ状態で同じ位置に居ることが想定されている。   FIG. 15A is a diagram schematically illustrating an object detection operation according to the process flowchart of FIG. Here, it is assumed that the person H is in the same position as in FIG.

図１４の処理フローチャートでは、露光時間が短い撮像画像から順に物体抽出が行われるため、最初に物体抽出が行われる撮像画像Ｉ１は、他の撮像画像Ｉ２〜Ｉｋよりも、輝度が低い。したがって、撮像画像Ｉ１では、たとえば、人Ｈが、図１５（ａ）の上側の破線の位置に居るのと等価の状態となる。この場合、右手ＨＲと左手ＨＬに対して取得され
る輝度は、何れも、閾値Ｂｓｈ以上とならない。このため、撮像画像Ｉ１については、検出対象物体である右手ＨＲは抽出されない。 In the processing flowchart of FIG. 14, since object extraction is performed in order from a captured image with a short exposure time, the captured image I1 from which object extraction is first performed has a lower luminance than the other captured images I2 to Ik. Therefore, in the captured image I1, for example, the person H is in a state equivalent to being in the position of the upper broken line in FIG. In this case, the luminance acquired for the right hand HR and the left hand HL does not exceed the threshold Bsh. For this reason, the right hand HR that is the detection target object is not extracted from the captured image I1.

その後、処理が進み、撮像画像の露光時間が次第に長くなると、人Ｈに対して取得される輝度が次第に高くなるため、恰も、人Ｈが次第に物体検出装置１に近づくのと等価の状態となる。これにより、図１５（ａ）の下側の破線に示すように、所定の露光時間Ｔｍの撮像画像Ｉｍにおいて、右手ＨＲの輝度が閾値Ｂｓｈ以上となり、当該撮像画像Ｉｍから検出対象物体である右手ＨＲが抽出される。   Thereafter, when the process proceeds and the exposure time of the captured image becomes gradually longer, the luminance acquired for the person H gradually becomes higher, so that the person H gradually becomes equivalent to the object detection apparatus 1 being approached. . As a result, as shown by the lower broken line in FIG. 15A, in the captured image Im of the predetermined exposure time Tm, the luminance of the right hand HR becomes equal to or higher than the threshold Bsh, and the right hand that is the detection target object from the captured image Im. HR is extracted.

また、図１５（ｂ）のように、人Ｈが物体検出装置１に接近した位置に居る場合、上記実施例１の処理では、右手ＨＲと左手ＨＬの輝度Ｂｒ、Ｂｌのみならず、人Ｈの胴体等の輝度もまた、閾値Ｂｓｈ以上となるため、検出対象物体である右手ＨＲを適正に検出するのが困難である。これに対し、本変更例では、図１５（ｂ）の下側の破線に示すように、比較的短い露光時間Ｔｎの撮像画像Ｉｎにおいて、右手ＨＲの輝度が閾値Ｂｓｈ以上となり、当該撮像画像Ｉｎから検出対象物体である右手ＨＲが抽出される。なお、図１５（ｂ）の上側の破線は、最初に物体抽出が行われる撮像画像Ｉ１において、人Ｈの各部に対し取得される輝度値を輝度値のスケールに対応づけて模式的に示したものである。また、図１５（ｂ）の下側の破線は、露光時間Ｔｎにより取得された撮像画像Ｉｎにおいて、人Ｈの各部に対し取得される輝度値を輝度値のスケールに対応づけて模式的に示したものである。   Further, as shown in FIG. 15B, when the person H is in a position close to the object detection device 1, in the processing of the first embodiment, not only the brightness Br and Bl of the right hand HR and the left hand HL but also the person H Since the brightness of the torso etc. is also equal to or higher than the threshold value Bsh, it is difficult to properly detect the right hand HR that is the detection target object. On the other hand, in the present modified example, as shown by the lower broken line in FIG. 15B, in the captured image In having a relatively short exposure time Tn, the luminance of the right hand HR becomes equal to or higher than the threshold Bsh, and the captured image In The right-hand HR that is the detection target object is extracted from. In addition, the upper broken line in FIG. 15B schematically shows the luminance value acquired for each part of the person H in association with the luminance value scale in the captured image I1 where the object extraction is first performed. Is. Further, the lower broken line in FIG. 15B schematically shows the luminance value acquired for each part of the person H in association with the luminance value scale in the captured image In acquired by the exposure time Tn. It is a thing.

このように、本変更例によれば、前後方向に広い範囲において検出対象物体を検出することができる。よって、検出対象物体の検出精度を高めることができる。   Thus, according to this modification, it is possible to detect the detection target object in a wide range in the front-rear direction. Therefore, the detection accuracy of the detection target object can be increased.

また、本変更例によれば、所定の露光時間の撮像画像から検出対象物体に対応する領域が取得されると、当該露光時間よりも長い露光時間の撮像画像に対する処理が中止されるため、ＣＰＵ２１における処理負荷を軽減することができる。   Further, according to the present modification example, when the region corresponding to the detection target object is acquired from the captured image with the predetermined exposure time, the processing for the captured image with the exposure time longer than the exposure time is stopped, so the CPU 21 Can reduce the processing load.

なお、本変更例では、露光時間を変化させることにより、撮像画像の各画素の輝度値を閾値Ｂｓｈに対して相対的に変化させた。これに代えて、露光時間は一定とし、閾値Ｂｓｈを変化させることにより、撮像画像の各画素の輝度値を閾値Ｂｓｈに対して相対的に変化させても良い。たとえば、図１３（ａ）の例では、閾値Ｂｓｈを高輝度側から低輝度側へと段階的に変化させる。そうすると、右手ＨＲの輝度Ｂｒよりやや低い状態に閾値Ｂｓｈを変化させたタイミングで、右手ＨＲに対応する領域が対象領域として取得される。これにより、撮像画像から、検出対象物体である右手ＨＲの領域を抽出することができる。   In this modified example, the luminance value of each pixel of the captured image is changed relative to the threshold value Bsh by changing the exposure time. Alternatively, the luminance value of each pixel of the captured image may be changed relative to the threshold value Bsh by changing the threshold value Bsh while keeping the exposure time constant. For example, in the example of FIG. 13A, the threshold value Bsh is changed stepwise from the high luminance side to the low luminance side. Then, an area corresponding to the right hand HR is acquired as a target area at the timing when the threshold value Bsh is changed to a state slightly lower than the luminance Br of the right hand HR. Thereby, the area | region of the right hand HR which is a detection target object can be extracted from a captured image.

なお、このように、露光時間は一定とし、閾値Ｂｓｈを変化させることにより、撮像画像の各画素の輝度値を閾値Ｂｓｈに対して相対的に変化させる構成もまた、請求項９に記載の構成の一例である。   The configuration according to claim 9, wherein the exposure time is constant and the luminance value of each pixel of the captured image is changed relative to the threshold value Bsh by changing the threshold value Bsh. It is an example.

ただし、このように閾値Ｂｓｈを変化させる構成では、以下のように、検出対象物体が物体検出装置１に接近した位置に存在する場合に、検出対象物体を適正に検出できないことが起こり得る。すなわち、露光時間が１種類である場合、通常、露光時間は、図１５（ｂ）に示す右手ＨＲの位置よりも物体検出装置１から離れた位置に検出対象物体が存在する場合に適するように設定される。このため、図１５（ｂ）のように右手ＨＲが物体検出装置１に接近した位置に存在する場合には、このように設定された露光時間では、右手ＨＲに対する輝度が高まり過ぎて、いわゆるハレーションの現象が起こり、撮像画像において、右手ＨＲの輪郭が不明瞭な状態となってしまう。この場合、右手ＨＲの輝度Ｂｒよりもやや低い状態に閾値Ｂｓｈを変化させると、右手ＨＲに対応する領域が対象領域として撮像画像から区分されるものの、区分された対象領域の輪郭は、正規の右手ＨＲの輪郭か
ら大きく崩れたものとなる。このため、右手ＨＲを適正に検出するのが困難となる。 However, in the configuration in which the threshold value Bsh is changed in this way, the detection target object may not be detected properly when the detection target object exists at a position close to the object detection device 1 as described below. That is, when there is only one type of exposure time, the exposure time is usually suitable when the detection target object is present at a position farther from the object detection device 1 than the position of the right hand HR shown in FIG. Is set. For this reason, when the right hand HR is present at a position close to the object detection apparatus 1 as shown in FIG. 15B, the luminance with respect to the right hand HR is excessively increased at the exposure time set in this way, so-called halation. As a result, the outline of the right hand HR becomes unclear in the captured image. In this case, when the threshold value Bsh is changed to a state slightly lower than the luminance Br of the right hand HR, the region corresponding to the right hand HR is divided from the captured image as the target region, but the contour of the divided target region is normal The outline of the right hand HR is greatly collapsed. For this reason, it is difficult to properly detect the right hand HR.

これに対し、上記変更例のように、露光時間を変化させる場合には、物体の近さに適する露光時間にて対象領域が区分されるため、区分された対象領域の輪郭が、ハレーション等によって大きく崩れることが抑制される。たとえば、図１５（ｂ）の例では、短い露光時間の撮像画像から対象領域が区分されるため、区分された対象領域の輪郭がハレーション等により大きく崩れることがない。   On the other hand, when the exposure time is changed as in the above modification example, the target area is divided by the exposure time suitable for the proximity of the object, so that the outline of the divided target area is caused by halation or the like. Large collapse is suppressed. For example, in the example of FIG. 15B, since the target area is segmented from the captured image having a short exposure time, the contour of the segmented target area is not greatly collapsed due to halation or the like.

このように、物体検出装置１に接近した位置においても検出対象物体を適正に検出するためには、露光時間を固定して閾値Ｂｓｈを変化させるよりも、上記変更例のように、露光時間の方を変化させて、撮像画像の各画素の輝度値を閾値Ｂｓｈに対して相対的に変化させるのが好ましい。   As described above, in order to properly detect the detection target object even at a position close to the object detection apparatus 1, the exposure time is changed as in the above modification example, rather than changing the threshold value Bsh while fixing the exposure time. It is preferable to change the luminance value of each pixel of the captured image relative to the threshold value Bsh by changing the direction.

また、上記変更例では、露光時間が短い撮像画像から順に検出対象物体の抽出処理が行われた。これに限らず、他の順序で検出対象物体の抽出処理が行われても良く、たとえば、露光時間が長い撮像画像から順に検出対象物体の抽出処理が行われても良い。ただし、露光時間が短いほど、物体検出装置１に接近した検出対象物体を撮像画像から抽出し易くなるため、上記のように検出対象物体が右手ＨＲである場合等、検出対象物体が、通常、物体検出装置１側に付き出されて物体検出装置１に接近するような場合には、露光時間が短い撮像画像から順に検出対象物体の抽出処理を行った方が、迅速に検出対象物体を抽出することができる。   In the above modification, the detection target object extraction process is performed in order from the captured image with the short exposure time. However, the detection target object extraction process may be performed in another order. For example, the detection target object extraction process may be performed in order from a captured image having a long exposure time. However, the shorter the exposure time, the easier it is to extract the detection target object approaching the object detection device 1 from the captured image. Therefore, the detection target object is usually the right-hand HR as described above. When the object detection device 1 is brought close to the object detection device 1, the detection target object is extracted more quickly by performing the detection target object extraction process in order from the captured image with the short exposure time. can do.

なお、図１３（ｂ）には、露光時間の種類がｋ個とされたが、露光時間の種類の数、露光時間の間隔、および、露光時間の最小値から最大値までの幅は、ＣＰＵ２１の処理負荷と、検出対象物体を検出可能な距離範囲とを勘案して、適宜設定され得るものである。   In FIG. 13B, the number of types of exposure time is k. However, the number of types of exposure time, the interval between exposure times, and the width from the minimum value to the maximum value of the exposure time are shown in FIG. The processing load and the distance range in which the detection target object can be detected can be set as appropriate.

また、上記変更例では、露光時間が短いものから順に、撮像画像に対する検出対象物体の抽出処理が行われたが、撮像画像Ｉ１〜Ｉｋのうち複数または全てについて、物体の抽出処理が並行して行われても良い。   In the above modification, the detection target object extraction process is performed on the captured image in order from the shortest exposure time. However, the object extraction process is performed in parallel on a plurality or all of the captured images I1 to Ik. It may be done.

また、上記変更例では、まず、全ての露光時間Ｔ１〜Ｔｋについて撮像画像Ｉ１〜Ｉｋを取得し、次に、露光時間が短い撮像画像から順に、物体の抽出処理が行われた。これに代えて、たとえば、露光時間Ｔ１について、撮像画像Ｉ１の取得から物体の抽出処理を行い、これにより、検出対象物体が抽出できなければ、露光時間Ｔ２について、撮像画像Ｉ２の取得から物体の抽出処理を行うといったように、撮像画像の取得から物体の抽出までの処理を、露光時間毎に、一連の処理により行っても良い。   In the above modification, first, the captured images I1 to Ik are acquired for all the exposure times T1 to Tk, and then the object extraction processing is performed in order from the captured images with the shortest exposure times. Instead, for example, the object extraction process is performed from the acquisition of the captured image I1 for the exposure time T1, and if the detection target object cannot be extracted by this, the object of the object is acquired from the acquisition of the captured image I2 for the exposure time T2. As in the case of performing extraction processing, processing from acquisition of a captured image to extraction of an object may be performed by a series of processing for each exposure time.

また、上記変更例では、画像取得タイミングが到来する毎に、露光時間を変化させてｋ個の撮像画像Ｉ１〜Ｉｋが取得され、物体の抽出処理が行われた。これに代えて、たとえば、最初の画像取得タイミングでは、露光時間を変化させて撮像画像Ｉ１〜Ｉｋを取得して物体の抽出処理を行い、この処理において検出対象物体が抽出されれば、検出対象物体が検出された撮像画像に対応する露光時間を、その後の処理において用いるようにしても良い。たとえば、検出対象物体が抽出された撮像画像の露光時間がＴ３であれば、その後の画像取得タイミングにおいては、露光時間Ｔ３のみで撮像画像を取得して物体の抽出処理を行うようにしても良い。   In the above modification, every time the image acquisition timing arrives, k captured images I1 to Ik are acquired by changing the exposure time, and the object extraction process is performed. Instead, for example, at the first image acquisition timing, the exposure time is changed to acquire the captured images I1 to Ik and the object extraction process is performed, and if the detection target object is extracted in this process, the detection target The exposure time corresponding to the captured image in which the object is detected may be used in the subsequent processing. For example, if the exposure time of the captured image from which the detection target object is extracted is T3, the captured image may be acquired only by the exposure time T3 and the object extraction process may be performed at the subsequent image acquisition timing. .

図１６は、この場合の処理例を示すフローチャートである。   FIG. 16 is a flowchart showing an example of processing in this case.

画像取得タイミングが到来すると（Ｓ７０１：ＹＥＳ）、ＣＰＵ２１は、既に露光時間Ｔ０が設定されているかを判定する（Ｓ７０２）。露光時間Ｔ０が設定されていない場合
（Ｓ７０２：ＮＯ）、ＣＰＵ２１は、上記変更例と同様、露光時間を変化させて、検出対象物体を抽出する（Ｓ７０７）。Ｓ７０７では、たとえば、図１４のＳ６０２〜Ｓ６０７と同様の処理が行われる。Ｓ７０７の処理により検出対象物体に対応する領域が抽出されると（Ｓ７０８：ＹＥＳ）、ＣＰＵ２１は、露光時間Ｔ０に、検出対象物体が抽出された撮像画像に対応する露光時間を設定する（Ｓ７０９）。その後、ＣＰＵ２１は、物体検出動作が終了したかを判定し（Ｓ７０６）、終了していなければ（Ｓ７０６：ＮＯ）、Ｓ７０１に戻って、次の撮像タイミングを待つ。 When the image acquisition timing arrives (S701: YES), the CPU 21 determines whether the exposure time T0 has already been set (S702). When the exposure time T0 is not set (S702: NO), the CPU 21 extracts the detection target object by changing the exposure time as in the above modification example (S707). In S707, for example, processing similar to S602 to S607 in FIG. 14 is performed. When the region corresponding to the detection target object is extracted by the process of S707 (S708: YES), the CPU 21 sets the exposure time corresponding to the captured image from which the detection target object is extracted as the exposure time T0 (S709). . Thereafter, the CPU 21 determines whether or not the object detection operation has ended (S706). If it has not ended (S706: NO), the CPU 21 returns to S701 and waits for the next imaging timing.

Ｓ７０２において露光時間Ｔ０が設定されていると判定されると（Ｓ７０２：ＹＥＳ）、ＣＰＵ２１は、当該露光時間Ｔ０で撮像画像を取得し（Ｓ７０３）、取得した撮像画像について、検出対象物体の抽出処理を行う（Ｓ７０４）。これにより、当該撮像画像から検出対象物体の領域が抽出されると（Ｓ７０５：ＹＥＳ）、ＣＰＵ２１は、物体検出動作が終了したかを判定し（Ｓ７０６）、終了していなければ（Ｓ７０６：ＮＯ）、Ｓ７０１に戻って、次の撮像タイミングを待つ。他方、当該撮像画像から検出対象物体の領域が抽出されなければ（Ｓ７０５：ＮＯ）、ＣＰＵ２１は、Ｓ７０７に処理を進め、露光時間を変化させて、検出対象物体を抽出する。   When it is determined in S702 that the exposure time T0 is set (S702: YES), the CPU 21 acquires a captured image at the exposure time T0 (S703), and for the acquired captured image, extraction processing of a detection target object is performed. (S704). Thereby, when the area of the detection target object is extracted from the captured image (S705: YES), the CPU 21 determines whether the object detection operation is completed (S706), and if not completed (S706: NO). , The process returns to S701 to wait for the next imaging timing. On the other hand, if the region of the detection target object is not extracted from the captured image (S705: NO), the CPU 21 proceeds to S707 and changes the exposure time to extract the detection target object.

その後、Ｓ７０７の処理により検出対象物体に対応する領域が抽出されると（Ｓ７０８：ＹＥＳ）、ＣＰＵ２１は、露光時間Ｔ０を、検出対象物体が抽出された撮像画像に対応する露光時間に更新する（Ｓ７０９）。これにより、その後の撮像画像取得処理は、更新された露光時間Ｔ０によって行われる。   Thereafter, when the region corresponding to the detection target object is extracted by the processing of S707 (S708: YES), the CPU 21 updates the exposure time T0 to the exposure time corresponding to the captured image from which the detection target object is extracted ( S709). Thereby, subsequent captured image acquisition processing is performed with the updated exposure time T0.

この構成例によれば、画像取得タイミングが到来する毎に、露光時間を変化させてｋ個の撮像画像Ｉ１〜Ｉｋが取得されないため、ＣＰＵ２１の処理負担を軽減でき、且つ、処理の迅速化を図ることができる。また、検出対象物体が前後に移動した場合等、露光時間Ｔ０によって検出対象物体に対応する領域が抽出できない場合には、再度、露光時間を変えながら、物体の抽出処理が行われるため、円滑に検出対象物体に対応する領域を抽出することができる。さらに、この処理により検出対象物体に対応する領域が所定の露光時間の撮像画像から抽出された場合には、当該露光時間が露光時間Ｔ０に再設定されるため、更新された露光時間Ｔ０により、その後の処理を円滑に進めることができる。   According to this configuration example, since the k captured images I1 to Ik are not acquired by changing the exposure time every time the image acquisition timing arrives, the processing load on the CPU 21 can be reduced and the processing can be speeded up. Can be planned. Also, when the region corresponding to the detection target object cannot be extracted by the exposure time T0, such as when the detection target object moves back and forth, the object extraction process is performed again while changing the exposure time, so that A region corresponding to the detection target object can be extracted. Furthermore, when the region corresponding to the detection target object is extracted from the captured image of the predetermined exposure time by this process, the exposure time is reset to the exposure time T0, and therefore, the updated exposure time T0 Subsequent processing can proceed smoothly.

なお、図１６のＳ７０２〜Ｓ７０４のように、検出対象物体が検出された露光時間Ｔ０を、その後の撮像画像の取得において、物体抽出に適する露光時間として用いる構成もまた、請求項１０に記載の構成の一例である。   The configuration in which the exposure time T0 when the detection target object is detected is used as the exposure time suitable for object extraction in the subsequent captured image acquisition as in S702 to S704 of FIG. It is an example of a structure.

また、上記実施例２およびその変更例では、図１２のＳ５０３、Ｓ５０４における処理により、撮像領域から対象領域が区分された。これに代えて、図９（ｂ）で説明した実施例１の変更例１に係る処理により、撮像画像から対象領域が区分されても良い。   Further, in the second embodiment and the modified example thereof, the target area is divided from the imaging area by the processing in S503 and S504 in FIG. Instead, the target area may be segmented from the captured image by the process according to the first modification of the first embodiment described with reference to FIG.

また、上記実施例２およびその変更例では、投射光学系１００からドットパターンのレーザ光が目標領域に投射された。しかしながら、上記実施例２およびその変更例では、必ずしも、ドットパターンのレーザ光が目標領域に投射されなくとも良く、たとえば、光がドットパターンに変換されることなく、目標領域に均一に広がるように、光が目標領域に投射されても良い。上記実施例２およびその変更例では、ドットパターンによる距離検出は行われないため、輝度による物体検出が可能なように目標領域に光が投射されれば良い。   Moreover, in the said Example 2 and its modification, the laser beam of the dot pattern was projected on the target area | region from the projection optical system 100. FIG. However, in the second embodiment and the modified example thereof, the laser light of the dot pattern does not necessarily have to be projected onto the target area. For example, the light is not uniformly converted into the dot pattern but spreads uniformly in the target area. The light may be projected onto the target area. In the second embodiment and the modified example thereof, since the distance detection by the dot pattern is not performed, the light may be projected onto the target area so that the object can be detected by the luminance.

＜その他の変更例＞
以上、本発明の実施例および変更例について説明したが、本発明は、上記実施例および変更例に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。 <Other changes>
As mentioned above, although the Example and modified example of this invention were demonstrated, this invention is not restrict | limited to the said Example and modified example at all, A various change is possible for the structural example of this invention.

たとえば、上記実施例１では、距離画像に輝度画像を合成する場合に、輝度値の階調を距離値に対応する階調に補正した上で、高輝度領域の各画素の輝度値を、距離画像に適用した。これに代えて、高輝度領域の各画素の輝度値を、そのまま、距離画像に適用しても良い。   For example, in the first embodiment, when a luminance image is combined with a distance image, the luminance value is corrected to a gradation corresponding to the distance value, and then the luminance value of each pixel in the high luminance area is converted to the distance. Applied to images. Instead, the luminance value of each pixel in the high luminance area may be applied to the distance image as it is.

また、上記実施例１では、物体までの距離が長いほど階調が低くなるように距離画像が生成されたが、物体までの距離が長いほど階調が高くなるように距離画像が生成されても良い。この場合、輝度値は、輝度が高いほど階調が低くなるよう階調が変換されて、距離画像に合成される。   In the first embodiment, the distance image is generated so that the gradation becomes lower as the distance to the object becomes longer. However, the distance image is generated so that the gradation becomes higher as the distance to the object becomes longer. Also good. In this case, the luminance value is converted so that the gradation becomes lower as the luminance is higher, and is synthesized with the distance image.

また、図６（ｂ）、図１２（ａ）の処理フローチャートでは、撮像画像を平滑化した後、高輝度領域または対象領域を特定する処理が行われたが、平滑化処理を行わずに、撮像画像をそのまま用いて、高輝度領域または対象領域を特定する処理が行われても良い。   Further, in the process flowcharts of FIGS. 6B and 12A, after smoothing the captured image, the process of specifying the high luminance area or the target area is performed, but without performing the smoothing process, Processing that specifies a high-luminance region or a target region may be performed using the captured image as it is.

また、上記実施例１では、三角測量法を用いて距離情報が求められたが、距離情報の取得方法はこれに限られるものではなく、たとえば、図４（ａ）を参照して説明した画素ずれ量Ｄをそのまま距離情報として取得しても良い。   In the first embodiment, the distance information is obtained using the triangulation method. However, the distance information acquisition method is not limited to this. For example, the pixel described with reference to FIG. The deviation amount D may be acquired as it is as distance information.

また、上記実施例１では、基準画像に設定されたセグメント領域を、実測画像上において探索するようにしたが、実測画像上に設定された領域のドットパターンに対応するセグメント領域を、基準画像上で探索するようにしても良い。   In the first embodiment, the segment area set in the reference image is searched on the actual measurement image. However, the segment area corresponding to the dot pattern of the area set on the actual measurement image is searched on the reference image. You may make it search with.

また、上記実施例１では、図５（ｂ）に示すように、実測時の撮像画像上において、セグメント領域Ｓｉと同じ位置にある領域Ｓｉ０を中心にＸ軸方向に＋α画素および−α画素の範囲が探索範囲Ｌ０に設定されたが、探索範囲Ｌ０は、必ずしも、領域Ｓｉ０を中心にＸ軸正負の方向に対称に設定されなくともよく、領域Ｓｉ０を中心にＸ軸正負の方向に非対称に探索範囲Ｌ０が設定されても良い。   Further, in the first embodiment, as shown in FIG. 5B, on the captured image at the time of actual measurement, + α pixel and −α pixel in the X-axis direction around the region Si0 at the same position as the segment region Si. Although the range is set to the search range L0, the search range L0 does not necessarily have to be set symmetrically in the positive and negative X-axis directions around the region Si0, and is asymmetric in the positive and negative X-axis directions around the region Si0. The search range L0 may be set.

また、上記実施の形態では、受光素子として、ＣＭＯＳイメージセンサ２４０を用いたが、これに替えて、ＣＣＤイメージセンサを用いることもできる。また、上記実施の形態では、光源として、レーザ光源１１０を用いたが、これに替えて、ＬＥＤ等の他の光源を用いることもできる。さらに、投射光学系１００および受光光学系２００の構成も、適宜変更可能である。   In the above embodiment, the CMOS image sensor 240 is used as the light receiving element, but a CCD image sensor may be used instead. Moreover, in the said embodiment, although the laser light source 110 was used as a light source, it replaces with this and other light sources, such as LED, can also be used. Furthermore, the configurations of the projection optical system 100 and the light receiving optical system 200 can be changed as appropriate.

この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。   In addition, the embodiment of the present invention can be variously modified as appropriate within the scope of the technical idea shown in the claims.

１ … 物体検出装置
２１ｂ … 距離取得部
２１ｃ … 物体検出部
２１ｄ … 距離情報補正部（距離補正部）
２１ｅ … 画像処理部（物体抽出部）
２２ … レーザ駆動回路（投射部）
２３ … 撮像信号処理回路（撮像部）
１００ … 投射光学系（投射部）
２００ … 受光光学系（撮像部）
２４０ … ＣＭＯＳイメージセンサ（イメージセンサ） DESCRIPTION OF SYMBOLS 1 ... Object detection apparatus 21b ... Distance acquisition part 21c ... Object detection part 21d ... Distance information correction | amendment part (distance correction | amendment part)
21e ... Image processing unit (object extraction unit)
22 ... Laser drive circuit (projection unit)
23 ... Imaging signal processing circuit (imaging unit)
100 ... Projection optical system (projection unit)
200 ... Light receiving optical system (imaging unit)
240 ... CMOS image sensor (image sensor)

Claims (13)

目標領域にドットパターンの光を投射する投射部と、
前記目標領域をイメージセンサにより撮像する撮像部と、
前記撮像部により撮像された撮像画像上のドットの位置に基づいて、前記目標領域上の各位置に対する距離情報を取得する距離取得部と、
物体が前記投射部と前記撮像部に対して接近した位置にあるために不正確であると判定される前記距離情報を所定の値に補正する距離補正部と、
前記距離補正部により補正された前記距離情報に基づいて検出対象物体を検出する物体検出部と、を備える、
ことを特徴とする物体検出装置。 A projection unit that projects the light of the dot pattern onto the target area;
An imaging unit for imaging the target area by an image sensor;
A distance acquisition unit that acquires distance information for each position on the target area based on the position of a dot on a captured image captured by the imaging unit;
A distance correction unit that corrects the distance information determined to be inaccurate because the object is in a position close to the projection unit and the imaging unit, to a predetermined value;
An object detection unit that detects a detection target object based on the distance information corrected by the distance correction unit,
An object detection apparatus characterized by that. 請求項１に記載の物体検出装置において、
前記距離補正部は、前記イメージセンサにおける各画素の輝度値を取得し、取得した輝度値に基づいて前記撮像画像上の高輝度領域を特定し、特定した前記高輝度領域に対応する前記距離情報を所定の値に補正する、
ことを特徴とする物体検出装置。 The object detection apparatus according to claim 1,
The distance correction unit acquires a luminance value of each pixel in the image sensor, specifies a high luminance region on the captured image based on the acquired luminance value, and the distance information corresponding to the specified high luminance region To a predetermined value,
An object detection apparatus characterized by that. 請求項２に記載の物体検出装置において、
前記距離補正部は、前記イメージセンサにおける各画素の輝度値と所定の閾値とを比較することにより、前記高輝度領域を特定する、
ことを特徴とする物体検出装置。 The object detection device according to claim 2,
The distance correction unit identifies the high luminance region by comparing a luminance value of each pixel in the image sensor and a predetermined threshold value.
An object detection apparatus characterized by that. 請求項２に記載の物体検出装置において、
前記距離補正部は、複数の画素を含む所定の画素領域について、各画素の輝度値を加算し、前記各画素の輝度値の加算値と所定の閾値とを比較することにより、前記高輝度領域を特定する、
ことを特徴とする物体検出装置。 The object detection device according to claim 2,
The distance correction unit adds a luminance value of each pixel with respect to a predetermined pixel region including a plurality of pixels, and compares the addition value of the luminance value of each pixel with a predetermined threshold value to thereby calculate the high luminance region. Identify
An object detection apparatus characterized by that. 請求項２ないし４の何れか一項に記載の物体検出装置において、
前記距離補正部は、前記高輝度領域に対応する前記距離情報を、前記高輝度領域に対応する前記イメージセンサ上の画素の輝度値に基づく値に置き換える、
ことを特徴とする物体検出装置。 In the object detection device according to any one of claims 2 to 4,
The distance correction unit replaces the distance information corresponding to the high luminance region with a value based on a luminance value of a pixel on the image sensor corresponding to the high luminance region.
An object detection apparatus characterized by that. 請求項２に記載の物体検出装置において、
前記距離補正部は、前記距離取得部により取得された距離情報に基づいて、測距可能範囲よりも接近した位置に存在する物体に対応する物体領域を特定し、特定した前記物体領域に対する距離情報として、当該物体領域に対応するイメージセンサ上の画素の輝度値に基づく値を適用する、
ことを特徴とする物体検出装置。 The object detection device according to claim 2,
The distance correction unit identifies an object region corresponding to an object existing at a position closer to the distance measurement possible range based on the distance information acquired by the distance acquisition unit, and distance information for the specified object region Apply a value based on the luminance value of the pixel on the image sensor corresponding to the object region,
An object detection apparatus characterized by that. 目標領域に光を投射する投射部と、
前記目標領域をイメージセンサにより撮像する撮像部と、
前記イメージセンサにおける各画素の輝度値を取得し、取得した輝度値に基づいて撮像画像上の高輝度領域を特定し、特定した前記高輝度領域から検出対象物体に対応する領域を抽出する物体抽出部と、を備える、
ことを特徴とする物体検出装置。 A projection unit that projects light onto the target area;
An imaging unit for imaging the target area by an image sensor;
Object extraction that acquires a luminance value of each pixel in the image sensor, specifies a high luminance region on the captured image based on the acquired luminance value, and extracts a region corresponding to the detection target object from the specified high luminance region And comprising
An object detection apparatus characterized by that. 請求項７に記載の物体検出装置において、
前記物体抽出部は、前記各画素の輝度値と所定の閾値とを比較することにより、前記高
輝度領域を特定する、
ことを特徴とする物体検出装置。 The object detection apparatus according to claim 7,
The object extraction unit identifies the high luminance region by comparing a luminance value of each pixel with a predetermined threshold;
An object detection apparatus characterized by that. 請求項８に記載の物体検出装置において、
前記物体抽出部は、前記各画素の輝度値を前記閾値に対して相対的に変化させて、前記高輝度領域を特定する、
ことを特徴とする物体検出装置。 The object detection apparatus according to claim 8,
The object extraction unit changes the luminance value of each pixel relative to the threshold value to identify the high luminance region;
An object detection apparatus characterized by that. 請求項９に記載の物体検出装置において、
前記撮像部は、撮像時の露光時間を変化させることが可能に構成され、
前記物体抽出部は、物体抽出に適する露光時間の撮像画像から、前記検出対象物体に対応する領域を抽出する、
ことを特徴とする物体検出装置。 The object detection device according to claim 9,
The imaging unit is configured to be able to change an exposure time during imaging,
The object extraction unit extracts a region corresponding to the detection target object from a captured image having an exposure time suitable for object extraction;
An object detection apparatus characterized by that. 請求項１０に記載の物体検出装置において、
前記撮像部は、露光時間を変化させながら撮像画像を取得し、
前記物体抽出部は、取得された各撮像画像について前記高輝度領域を特定し、特定した前記高輝度領域から前記検出対象物体に対応する領域を抽出する抽出処理を実行する、
ことを特徴とする物体検出装置。 The object detection apparatus according to claim 10.
The imaging unit acquires a captured image while changing an exposure time,
The object extraction unit specifies the high-intensity region for each acquired captured image, and executes an extraction process of extracting an area corresponding to the detection target object from the specified high-intensity region;
An object detection apparatus characterized by that. 請求項１１に記載の物体検出装置において、
前記物体抽出部は、前記検出対象物体に対応する領域が抽出されるまで、露光時間が異なる前記撮像画像に対し、所定の順序で、前記抽出処理を実行する、
ことを特徴とする物体検出装置。 The object detection apparatus according to claim 11,
The object extraction unit performs the extraction process in a predetermined order on the captured images having different exposure times until a region corresponding to the detection target object is extracted.
An object detection apparatus characterized by that. 請求項１２に記載の物体検出装置において、
前記物体抽出部は、露光時間が短い撮像画像から順に、前記抽出処理を実行する、
ことを特徴とする物体検出装置。 The object detection device according to claim 12,
The object extraction unit executes the extraction processing in order from a captured image with a short exposure time.
An object detection apparatus characterized by that.
JP2013002979A 2013-01-10 2013-01-10 Object detection device Pending JP2016040520A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013002979A JP2016040520A (en) 2013-01-10 2013-01-10 Object detection device
PCT/JP2013/007621 WO2014108976A1 (en) 2013-01-10 2013-12-26 Object detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013002979A JP2016040520A (en) 2013-01-10 2013-01-10 Object detection device

Publications (1)

Publication Number Publication Date
JP2016040520A true JP2016040520A (en) 2016-03-24

Family

ID=51166654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013002979A Pending JP2016040520A (en) 2013-01-10 2013-01-10 Object detection device

Country Status (2)

Country Link
JP (1) JP2016040520A (en)
WO (1) WO2014108976A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018077839A (en) * 2016-11-10 2018-05-17 メタル インダストリーズ リサーチ アンド ディベロップメント センター Gesture operation method based on depth value and gesture operation system based on depth value
JPWO2017183114A1 (en) * 2016-04-19 2019-02-28 株式会社日立エルジーデータストレージ Distance image generating apparatus and distance image generating method
KR20190029901A (en) * 2017-09-13 2019-03-21 네이버랩스 주식회사 Light focusing system for detection distance enhancement of area sensor type lidar
CN113597534A (en) * 2019-03-26 2021-11-02 松下知识产权经营株式会社 Range imaging system, range imaging method, and program
US11415827B2 (en) 2018-12-28 2022-08-16 Japan Display Inc. Display device and electronic apparatus incorporating display device
JP7439073B2 (en) 2018-10-12 2024-02-27 テラダイン、 インコーポレイテッド System and method for welding path generation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060397A1 (en) * 2019-09-26 2021-04-01 株式会社小糸製作所 Gating camera, automobile, vehicle lamp, image processing device, and image processing method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3868621B2 (en) * 1998-03-17 2007-01-17 株式会社東芝 Image acquisition apparatus, image acquisition method, and recording medium
JP3637226B2 (en) * 1999-02-01 2005-04-13 株式会社東芝 Motion detection method, motion detection device, and recording medium
JP3625390B2 (en) * 1999-02-01 2005-03-02 株式会社東芝 Image acquisition apparatus and method
JP2004317126A (en) * 2003-04-10 2004-11-11 Renesas Technology Corp Solder printer
JP4422580B2 (en) * 2004-08-24 2010-02-24 住友大阪セメント株式会社 Motion detection device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017183114A1 (en) * 2016-04-19 2019-02-28 株式会社日立エルジーデータストレージ Distance image generating apparatus and distance image generating method
US10928518B2 (en) 2016-04-19 2021-02-23 Hitachi-Lg Data Storage, Inc. Range image generation apparatus and range image generation method
JP2018077839A (en) * 2016-11-10 2018-05-17 メタル インダストリーズ リサーチ アンド ディベロップメント センター Gesture operation method based on depth value and gesture operation system based on depth value
US10824240B2 (en) 2016-11-10 2020-11-03 Metal Industries Research & Development Centre Gesture operation method based on depth values and system thereof
KR20190029901A (en) * 2017-09-13 2019-03-21 네이버랩스 주식회사 Light focusing system for detection distance enhancement of area sensor type lidar
KR102087081B1 (en) * 2017-09-13 2020-03-10 네이버랩스 주식회사 Light focusing system for detection distance enhancement of area sensor type lidar
JP7439073B2 (en) 2018-10-12 2024-02-27 テラダイン、 インコーポレイテッド System and method for welding path generation
US11415827B2 (en) 2018-12-28 2022-08-16 Japan Display Inc. Display device and electronic apparatus incorporating display device
CN113597534A (en) * 2019-03-26 2021-11-02 松下知识产权经营株式会社 Range imaging system, range imaging method, and program
CN113597534B (en) * 2019-03-26 2023-07-25 松下知识产权经营株式会社 Ranging imaging system, ranging imaging method, and program

Also Published As

Publication number Publication date
WO2014108976A1 (en) 2014-07-17

Similar Documents

Publication Publication Date Title
WO2014108976A1 (en) Object detecting device
US10309770B2 (en) Three-dimensional sensor system and three-dimensional data acquisition method
JP5911934B2 (en) Contour measurement device and robot system
EP2568253B1 (en) Structured-light measuring method and system
KR101394809B1 (en) A method and systems for obtaining an improved stereo image of an object
JP6187640B2 (en) Image composition method and apparatus
JP2016029564A (en) Target detection method and target detector
JP2011185872A (en) Information processor, and processing method and program of the same
US20130156278A1 (en) Optical flow accelerator for motion recognition and method thereof
JP2009529824A (en) CMOS stereo camera for 3D image acquisition
US10742963B2 (en) Image capturing apparatus, control method for the same, and computer readable medium
JPWO2012147495A1 (en) Information acquisition device and object detection device
US20160275359A1 (en) Information processing apparatus, information processing method, and computer readable medium storing a program
JP2019215811A (en) Projection system, image processing apparatus, and projection method
JP6009206B2 (en) 3D measuring device
JP2014137762A (en) Object detector
CN106323190B (en) The depth measurement method of customizable depth measurement range and the system of depth image
JP2015179077A (en) Parallax calculation system, information processing device, information processing method, and program
JP5138115B2 (en) Information acquisition apparatus and object detection apparatus having the information acquisition apparatus
JPWO2012026180A1 (en) Information acquisition device and object detection device
JP2011095131A (en) Image processing method
JP2014132219A (en) Information acquisition device and object detector
JP2014021017A (en) Information acquisition device and object detection device
JP2013246009A (en) Object detection apparatus
JP2013234956A (en) Information acquisition apparatus and object detection system