WO2012144340A1 - 情報取得装置および物体検出装置 - Google Patents
情報取得装置および物体検出装置 Download PDFInfo
- Publication number
- WO2012144340A1 WO2012144340A1 PCT/JP2012/059447 JP2012059447W WO2012144340A1 WO 2012144340 A1 WO2012144340 A1 WO 2012144340A1 JP 2012059447 W JP2012059447 W JP 2012059447W WO 2012144340 A1 WO2012144340 A1 WO 2012144340A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information acquisition
- segment
- area
- dot pattern
- acquisition device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
Definitions
- the present invention relates to an object detection apparatus that detects an object in a target area based on a state of reflected light when light is projected onto the target area, and an information acquisition apparatus suitable for use in the object detection apparatus.
- An object detection apparatus using a so-called distance image sensor can detect not only a planar image on a two-dimensional plane but also the shape and movement of the detection target object in the depth direction.
- light in a predetermined wavelength band is projected from a laser light source or LED (Light Emitting Diode) onto a target area, and the reflected light is received (imaged) by a photodetector such as a CMOS image sensor.
- CMOS image sensor complementary metal-sector
- a distance image sensor of a type that irradiates a target area with laser light having a predetermined dot pattern reflected light from the target area of laser light having a dot pattern is received by a photodetector. Then, based on the light receiving position of the dot on the photodetector, the distance to each part of the detection target object (irradiation position of each dot on the detection target object) is detected using a triangulation method (for example, non- Patent Document 1).
- the dot pattern received by the photodetector when the reference plane is disposed at a position separated by a predetermined distance is compared with the dot pattern received by the photodetector at the time of actual measurement. Detection is performed. For example, a plurality of areas are set in the dot pattern with respect to the reference plane.
- the object detection device detects the distance to the target object for each region based on the position on the dot pattern received during measurement of the dots included in each region. In this case, the greater the number of regions set in the dot pattern, the higher the resolution when detecting the distance to the target object, and the accuracy of distance detection is improved.
- the present invention has been made in view of this point, and an object thereof is to provide an information acquisition device and an object detection device capable of improving the accuracy of distance detection.
- 1st aspect of this invention is related with the information acquisition apparatus which acquires the information of a target area
- the information acquisition apparatus is arranged so as to be aligned with a projection optical system that projects a laser beam with a predetermined dot pattern on the target area, a predetermined distance away from the projection optical system, and the target area
- a plurality of segment areas are set in a reference dot pattern imaged by the image sensor, and corresponding to the segment area from the actually measured dot pattern imaged by the image sensor at the time of actual measurement.
- An information acquisition unit that searches for a corresponding area and acquires three-dimensional information of an object existing in the target area based on the searched position of the corresponding area.
- the information acquisition unit sets the plurality of segment areas so that at least a part of the plurality of segment areas overlaps the adjacent segment areas.
- the second aspect of the present invention relates to an object detection apparatus.
- the object detection apparatus according to this aspect includes the information acquisition apparatus according to the first aspect.
- an information acquisition device and an object detection device that can improve the accuracy of distance detection.
- FIG. 1 It is a figure which shows schematic structure of the object detection apparatus which concerns on embodiment. It is a figure which shows the structure of the information acquisition apparatus and information processing apparatus which concern on embodiment. It is a perspective view which shows the installation state of the projection optical system which concerns on embodiment, and a light reception optical system. It is a figure which shows typically the structure of the projection optical system which concerns on embodiment, and a light reception optical system. It is the figure which shows typically the irradiation state of the laser beam with respect to the target area
- an information acquisition device of a type that irradiates a target area with laser light having a predetermined dot pattern is exemplified.
- FIG. 1 shows a schematic configuration of the object detection apparatus according to the present embodiment.
- the object detection device includes an information acquisition device 1 and an information processing device 2.
- the television 3 is controlled by a signal from the information processing device 2.
- a device including the information acquisition device 1 and the information processing device 2 corresponds to the object detection device of the present invention.
- the information acquisition device 1 projects infrared light over the entire target area and receives the reflected light with a CMOS image sensor, whereby the distance between each part of the object in the target area (hereinafter referred to as “three-dimensional distance information”). To get.
- the acquired three-dimensional distance information is sent to the information processing apparatus 2 via the cable 4.
- the information processing apparatus 2 is, for example, a controller for TV control, a game machine, a personal computer, or the like.
- the information processing device 2 detects an object in the target area based on the three-dimensional distance information received from the information acquisition device 1, and controls the television 3 based on the detection result.
- the information processing apparatus 2 detects a person based on the received three-dimensional distance information and detects the movement of the person from the change in the three-dimensional distance information.
- the information processing device 2 is a television control controller
- the information processing device 2 detects the person's gesture from the received three-dimensional distance information and outputs a control signal to the television 3 in accordance with the gesture.
- the application program to be installed is installed.
- the user can cause the television 3 to execute a predetermined function such as channel switching or volume up / down by making a predetermined gesture while watching the television 3.
- the information processing device 2 when the information processing device 2 is a game machine, the information processing device 2 detects the person's movement from the received three-dimensional distance information, and displays a character on the television screen according to the detected movement.
- An application program that operates and changes the game battle situation is installed. In this case, the user can experience a sense of realism in which he / she plays a game as a character on the television screen by making a predetermined movement while watching the television 3.
- FIG. 2 is a diagram showing the configuration of the information acquisition device 1 and the information processing device 2.
- the information acquisition apparatus 1 includes a projection optical system 11 and a light receiving optical system 12 as a configuration of the optical unit.
- the information acquisition device 1 includes a CPU (Central Processing Unit) 21, a laser driving circuit 22, an imaging signal processing circuit 23, an input / output circuit 24, and a memory 25 as a circuit unit.
- CPU Central Processing Unit
- the projection optical system 11 irradiates a target area with laser light having a predetermined dot pattern.
- the light receiving optical system 12 receives the laser beam reflected from the target area.
- the configurations of the projection optical system 11 and the light receiving optical system 12 will be described later with reference to FIGS.
- the CPU 21 controls each unit according to a control program stored in the memory 25.
- the CPU 21 has functions of a laser control unit 21 a for controlling a laser light source 111 (described later) in the projection optical system 11 and a three-dimensional distance calculation unit 21 b for generating three-dimensional distance information. Is granted.
- the laser drive circuit 22 drives a laser light source 111 (described later) according to a control signal from the CPU 21.
- the imaging signal processing circuit 23 controls a CMOS image sensor 123 (described later) in the light receiving optical system 12 and sequentially takes in each pixel signal (charge) generated by the CMOS image sensor 123 for each line. Then, the captured signals are sequentially output to the CPU 21.
- CPU21 calculates the distance from the information acquisition apparatus 1 to each part of a detection target based on the signal (imaging signal) supplied from the imaging signal processing circuit 23 by the process by the three-dimensional distance calculation part 21b.
- the input / output circuit 24 controls data communication with the information processing apparatus 2.
- the information processing apparatus 2 includes a CPU 31, an input / output circuit 32, and a memory 33.
- the information processing apparatus 2 has a configuration for performing communication with the television 3 and for reading information stored in an external memory such as a CD-ROM and installing it in the memory 33.
- an external memory such as a CD-ROM
- the configuration of these peripheral circuits is not shown for the sake of convenience.
- the CPU 31 controls each unit according to a control program (application program) stored in the memory 33.
- a control program application program
- the CPU 31 is provided with the function of the object detection unit 31a for detecting an object in the image.
- a control program is read from a CD-ROM by a drive device (not shown) and installed in the memory 33, for example.
- the object detection unit 31a detects a person in the image and its movement from the three-dimensional distance information supplied from the information acquisition device 1. Then, a process for operating the character on the television screen according to the detected movement is executed by the control program.
- the object detection unit 31 a detects a person in the image and its movement (gesture) from the three-dimensional distance information supplied from the information acquisition device 1. To do. Then, processing for controlling functions (channel switching, volume adjustment, etc.) of the television 3 is executed by the control program in accordance with the detected movement (gesture).
- the input / output circuit 32 controls data communication with the information acquisition device 1.
- FIG. 3 is a perspective view showing an installation state of the projection optical system 11 and the light receiving optical system 12.
- the projection optical system 11 and the light receiving optical system 12 are installed on a base plate 300 having high thermal conductivity.
- the optical members constituting the projection optical system 11 are installed on the chassis 11 a, and the chassis 11 a is installed on the base plate 300. Thereby, the projection optical system 11 is installed on the base plate 300.
- the light receiving optical system 12 is installed on the upper surface of the two pedestals 300a on the base plate 300 and the upper surface of the base plate 300 between the two pedestals 300a.
- a CMOS image sensor 123 described later is installed on the upper surface of the base plate 300 between the two pedestals 300a, and a holding plate 12a is installed on the upper surface of the pedestal 300a.
- a lens holder 12b for holding 122 is installed.
- the projection optical system 11 and the light receiving optical system 12 are installed side by side with a predetermined distance in the X axis direction so that the projection center of the projection optical system 11 and the imaging center of the light receiving optical system 12 are aligned on a straight line parallel to the X axis.
- a circuit board 200 (see FIG. 4) that holds the circuit unit (see FIG. 2) of the information acquisition device 1 is installed on the back surface of the base plate 300.
- a hole 300 b for taking out the wiring of the laser light source 111 to the back of the base plate 300 is formed in the lower center of the base plate 300.
- an opening 300 c for exposing the connector 12 c of the CMOS image sensor 123 to the back of the base plate 300 is formed below the installation position of the light receiving optical system 12 on the base plate 300.
- FIG. 4 is a diagram schematically showing the configuration of the projection optical system 11 and the light receiving optical system 12 according to the present embodiment.
- the projection optical system 11 includes a laser light source 111, a collimator lens 112, a rising mirror 113, and a diffractive optical element (DOE: Diffractive Optical Element) 114.
- the light receiving optical system 12 includes a filter 121, an imaging lens 122, and a CMOS image sensor 123.
- the laser light source 111 outputs laser light in a narrow wavelength band with a wavelength of about 830 nm.
- the laser light source 111 is installed so that the optical axis of the laser light is parallel to the X axis.
- the collimator lens 112 converts the laser light emitted from the laser light source 111 into substantially parallel light.
- the collimator lens 112 is installed so that its own optical axis is aligned with the optical axis of the laser light emitted from the laser light source 111.
- the raising mirror 113 reflects the laser beam incident from the collimator lens 112 side.
- the optical axis of the laser beam is bent 90 ° by the rising mirror 113 and becomes parallel to the Z axis.
- the DOE 114 has a diffraction pattern on the incident surface.
- the diffraction pattern is composed of, for example, a step type hologram. Due to the diffractive action of this diffraction pattern, the laser light reflected by the rising mirror 113 and incident on the DOE 114 is converted into a laser light having a dot pattern and irradiated onto the target area.
- the diffraction pattern is designed to be a predetermined dot pattern in the target area.
- an aperture (not shown) for making the contour of the laser light circular is arranged between the laser light source 111 and the collimator lens 112. Note that this aperture may be constituted by an emission opening of the laser light source 111.
- the laser light reflected from the target area passes through the filter 121 and enters the imaging lens 122.
- the filter 121 transmits light in a wavelength band including the emission wavelength (about 830 nm) of the laser light source 111 and cuts other wavelength bands.
- the imaging lens 122 condenses the light incident through the filter 121 on the CMOS image sensor 123.
- the imaging lens 122 includes a plurality of lenses, and an aperture and a spacer are interposed between the predetermined lenses. Such an aperture stops the light from the outside so as to match the F number of the imaging lens 122.
- the CMOS image sensor 123 receives the light collected by the imaging lens 122 and outputs a signal (charge) corresponding to the amount of received light to the imaging signal processing circuit 23 for each pixel.
- the output speed of the signal is increased so that the signal (charge) of the pixel can be output to the imaging signal processing circuit 23 with high response from the light reception in each pixel.
- the filter 121 is arranged so that the light receiving surface is perpendicular to the Z axis.
- the imaging lens 122 is installed so that the optical axis is parallel to the Z axis.
- the CMOS image sensor 123 is installed such that the light receiving surface is perpendicular to the Z axis.
- the filter 121, the imaging lens 122, and the CMOS image sensor 123 are arranged so that the center of the filter 121 and the center of the light receiving region of the CMOS image sensor 123 are aligned on the optical axis of the imaging lens 122.
- the projection optical system 11 and the light receiving optical system 12 are installed on the base plate 300 as described with reference to FIG.
- a circuit board 200 is further installed on the lower surface of the base plate 300, and wirings (flexible boards) 201 and 202 are connected from the circuit board 200 to the laser light source 111 and the CMOS image sensor 123.
- the circuit unit of the information acquisition apparatus 1 such as the CPU 21 and the laser driving circuit 22 shown in FIG.
- FIG. 5A is a diagram schematically showing the irradiation state of the laser light on the target region
- FIG. 5B is a diagram schematically showing the light receiving state of the laser light in the CMOS image sensor 123.
- FIG. 6B shows a light receiving state when a flat surface (screen) exists in the target area.
- the projection optical system 11 emits laser light having a dot pattern (hereinafter, the entire laser light having this pattern is referred to as “DP light”) toward the target region. Is done.
- the DP light projection area is indicated by a solid frame.
- dot regions hereinafter simply referred to as “dots” in which the intensity of the laser light is increased by the diffractive action of the diffractive optical element are scattered according to the dot pattern by the diffractive action of the diffractive optical element.
- dots dot regions in which the intensity of the laser light is increased by the diffractive action of the diffractive optical element are scattered according to the dot pattern by the diffractive action of the diffractive optical element.
- a flat reflection plane RS perpendicular to the Z-axis direction is disposed at a predetermined distance Ls from the projection optical system 11.
- the temperature of the laser light source 111 is maintained at a predetermined temperature (reference temperature).
- DP light is emitted from the projection optical system 11 for a predetermined time Te.
- the emitted DP light is reflected by the reflection plane RS and enters the CMOS image sensor 123 of the light receiving optical system 12.
- an electrical signal for each pixel is output from the CMOS image sensor 123.
- the output electric signal value (pixel value) for each pixel is developed on the memory 25 of FIG.
- a reference pattern region that defines the DP light irradiation region on the CMOS image sensor 123 is set as shown in FIG. 6B.
- segment area (comparative example) set as a reference pattern area will be described with reference to FIG.
- the reference pattern area set as described above is divided vertically and horizontally to set a segment area.
- Each segment area is the same size as all other segment areas.
- the pattern of pixel values in the segment area differs for each segment area.
- the pixel value of each pixel included in the segment area is assigned to each segment area.
- information on the position of the reference pattern area on the CMOS image sensor 123, pixel values of all pixels included in the reference pattern area (reference pattern), and information for dividing the reference pattern area into segment areas are: A reference template.
- the pixel values (reference patterns) of all the pixels included in the reference pattern region correspond to the DP light dot pattern included in the reference pattern region.
- the mapping area of the pixel values (reference patterns) of all the pixels included in the reference pattern area into segment areas the pixel values of the pixels included in each segment area are acquired.
- the reference template in this case may further hold the pixel values of the pixels included in each segment area for each segment area in advance.
- the configured reference template is held in the memory 25 of FIG. 2 in an unerasable state.
- the reference template thus stored in the memory 25 is referred to by the CPU 21 when calculating the distance from the projection optical system 11 to each part of the detection target object.
- DP light corresponding to a predetermined segment area Sn on the reference pattern is reflected by the object, and the segment area The light enters a region Sn ′ different from Sn. Since the projection optical system 11 and the light receiving optical system 12 are adjacent to each other in the X-axis direction, the displacement direction of the region Sn ′ with respect to the segment region Sn is parallel to the X-axis. In the case of FIG. 6A, since the object is at a position closer than the distance Ls, the region Sn ′ is displaced in the positive direction of the X axis with respect to the segment region Sn. If the object is at a position farther than the distance Ls, the region Sn ′ is displaced in the negative X-axis direction with respect to the segment region Sn.
- the distance Lr from the projection optical system 11 to the portion of the object irradiated with DP light (DPn) is triangulated using the distance Ls. Calculated based on Similarly, the distance from the projection optical system 11 is calculated for the part of the object corresponding to another segment area.
- Non-Patent Document 1 The 19th Annual Conference of the Robotics Society of Japan (September 18-20, 2001) Proceedings, P1279-1280).
- FIG. 7 is a diagram for explaining the detection method using the segment region (comparative example) shown in FIG.
- FIG. 5A is a diagram showing the setting state of the reference pattern region and the segment region on the CMOS image sensor 123
- FIG. 5B is a diagram showing a method for searching the segment region at the time of actual measurement
- FIG. These are figures which show the collation method with the dot pattern of measured DP light, and the dot pattern contained in the segment area
- the segment area S1 is one pixel in the X-axis direction in the range P1 to P2.
- the matching degree between the dot pattern of the segment area S1 and the actually measured dot pattern of DP light is obtained.
- the segment area S1 is sent in the X-axis direction only on the line L1 passing through the uppermost segment area group of the reference pattern area. This is because, as described above, each segment region is normally displaced only in the X-axis direction from the position set by the reference template at the time of actual measurement. That is, the segment area S1 is considered to be on the uppermost line L1.
- the processing load for the search is reduced.
- the segment area may protrude from the reference pattern area in the X-axis direction. Therefore, the ranges P1 and P2 are set wider than the width of the reference pattern area in the X-axis direction.
- a region (comparison region) having the same size as the segment region S1 is set on the line L1, and the similarity between the comparison region and the segment region S1 is obtained. That is, the difference between the pixel value of each pixel in the segment area S1 and the pixel value of the corresponding pixel in the comparison area is obtained. A value Rsad obtained by adding the obtained difference to all the pixels in the comparison region is acquired as a value indicating the similarity.
- the pixel values T (i, j) of the i columns and j rows of pixels in the segment area are included in one segment area.
- the pixel value I (i, j) of the pixel in the comparison area i column and j row is obtained from the sum of the differences. That is, the value Rsad is calculated by the following equation.
- the comparison area is sequentially set while being shifted by one pixel on the line L1. Then, the value Rsad is obtained for all the comparison regions on the line L1. A value smaller than the threshold value is extracted from the obtained value Rsad. If there is no value Rsad smaller than the threshold value, the search for the segment area S1 is regarded as an error. Then, it is determined that the comparison area corresponding to the extracted Rsad having the smallest value is the movement area of the segment area S1. The same search as described above is performed for the segment areas other than the segment area S1 on the line L1. Similarly, the segment areas on the other lines are searched by setting the comparison area on the lines as described above.
- the segment area is set by dividing the reference pattern area vertically and horizontally.
- a segment area Sp + 1 is set to the right of the segment area Sp.
- each segment area includes 5 ⁇ 5 pixels.
- the interval between the center Op of the segment area Sp and the center Op + 1 of the segment area Sp + 1 is 5 pixels corresponding to the division interval of the segment area.
- the center interval between vertically adjacent segment areas is 5 pixels.
- the distance to the target object is detected at intervals corresponding to 5 pixels vertically and horizontally. That is, as shown in FIG. 8B, the position conceptually indicated by a circle is one position where the distance can be detected, and this is the distance detection resolution.
- the segment area is an area including 5 ⁇ 5 pixels.
- the size of the segment area is increased in order to increase the number of dots included in the segment area and increase the matching accuracy, The distance detection distance with respect to the object is further widened, and the distance detection resolution is further coarsened. Therefore, in the case of the comparative example, there is a possibility that the accuracy of distance detection cannot be obtained sufficiently.
- each segment area is shifted by shifting a predetermined size area by one pixel on the reference pattern area. Is set.
- a segment area Sp + 1 is set on the right side of the segment area Sp of the present embodiment in an area where the segment area Sp is shifted to the right by one pixel.
- corresponding segment areas are set in areas where the segment area Sp is shifted by one pixel to the left side, upper side, and lower side, respectively.
- each segment area includes 5 ⁇ 5 pixels.
- the dot pattern of the reference pattern area is set so that the dot dot pattern in one segment area is different from the dot dot pattern in all other segment areas. For this reason, each segment area can be distinguished from all other segment areas with a dotted dot pattern.
- the interval between the center Op of the segment area Sp and the center Op + 1 of the segment area Sp + 1 is one pixel corresponding to the shift width of the segment area.
- the center interval between the segment areas adjacent in the vertical direction is also one pixel.
- the distance to the target object is detected at a distance corresponding to one pixel vertically and horizontally. That is, as shown in FIG. 9B, the position conceptually indicated by a circle is one position where the distance can be detected, and this is the distance detection resolution.
- information on the position of the reference pattern region on the CMOS image sensor 123, pixel values (reference patterns) of all pixels included in the reference pattern region, information on the vertical and horizontal widths of the segment region, Information on the interval (shift width) of the segment areas is a reference template.
- the reference template is held in the memory 25 of FIG.
- the reference template thus stored in the memory 25 is referred to by the CPU 21 when calculating the distance from the projection optical system 11 to each part of the detection target object.
- the segment area used for the initial search is set to the search start position (upper left corner) of the reference pattern area based on the information about the vertical and horizontal widths of the segment area included in the reference template.
- the vertical and horizontal widths included in the reference template are integer multiples of the pixel interval. Pixel values of pixels included in the set first segment region are extracted from the reference template and used for matching processing for the segment (S2).
- the segment area used for the next search is set by shifting the square area used for setting the first segment area to the right based on the information about the interval (shift) of the segment areas (S4). Pixel values of pixels in the reference pattern area included in the segment area are extracted and used for matching processing for the segment (S2).
- the uppermost line is shifted downward by a shift width (one pixel) to set the next stage line. (S6).
- a rectangular area having the length and width of the two sides is set, and this area is set as the first segment area (S7).
- Pixel values of pixels included in the set segment area are extracted from the reference template (S2). Further, in the second line, as described above, the square area is sequentially moved to the right by one pixel to set the segment area (S4).
- the segment area is set for the third-stage line shifted by one pixel from the second-stage line in the same manner as described above. Performed (S6, S7). Thus, the segment area is set up to the lowermost line of the reference pattern area (S5: YES).
- each segment area is set based on the reference template, and pixel values of pixels included in each segment area are extracted.
- region may be previously hold
- the segment area is set by shifting the square area by one pixel, but information indicating the position of each segment area on the reference pattern area may be held in advance in the reference template.
- the position of each segment area is set as the upper left corner point of each segment area.
- the upper left corner of the reference pattern area is the origin, and the position of each segment area is set according to the number of pixels in the horizontal direction (right direction) and the vertical direction (downward direction) with respect to the origin.
- FIG. 11A is a flowchart showing a dot pattern setting process for the segment area. Such processing is performed when the information acquisition apparatus 1 is activated or when distance detection is started.
- the reference template includes information for assigning individual segment areas to the reference pattern area (see FIG. 6B). Specifically, the reference template further includes information indicating the position of each segment area on the reference pattern area in addition to the information indicating the size (vertical and horizontal width) of each segment area.
- N segment areas are assigned to the reference pattern area, and these segment areas are assigned serial numbers from 1 to N.
- the information indicating the position of the segment area is set so that the upper, lower, left, and right segment areas overlap each other (here, they are shifted by one pixel).
- the CPU 21 of the information acquisition apparatus 1 reads out information on the position of the reference pattern area on the CMOS image sensor 123 and the pixel values of all the pixels included in the reference pattern area from the reference template held in the memory 25 ( S11). Subsequently, the CPU 21 sets 1 to the variable k (S12).
- the CPU 21 acquires information on the vertical and horizontal widths of the k-th segment area Sk and information on the position of the segment area Sk from the reference template stored in the memory 25 (S13). Subsequently, the CPU 21 sets the dot pattern Dk used for the search from the pixel values of all the pixels included in the reference pattern area and the information on the segment area Sk acquired in S13 (S14). Specifically, the CPU 21 acquires the pixel value of the dot pattern included in the segment area Sk among the pixel values of all the pixels of the reference pattern, and sets this as the search dot pattern Dk.
- the CPU 21 determines whether the value of k is equal to N (S15).
- the dot pattern used for the search is set for all the segment areas and the value of k becomes N (S15: YES)
- the process ends.
- the CPU 21 increases the value of k by 1 (S16), and returns the process to S13. In this way, N dot patterns used for the search are sequentially set.
- FIG. 11B is a flowchart showing the distance detection process at the time of actual measurement. This process is performed using the search dot pattern set by the process of FIG. 11A, and is performed in parallel with the process of FIG.
- the CPU 21 of the information acquisition device 1 first sets 1 to the variable c (S21). Next, the CPU 21 searches the dot pattern on the CMOS image sensor 123 received during actual measurement for a region that matches the c-th search dot pattern Dc set in S14 of FIG. 11A (S22). Such a search is performed on an area having a predetermined width in the left-right direction with respect to a position corresponding to the segment area Sc. If there is an area that matches the search dot pattern Dc, the CPU 21 detects how far the matched area has moved in the left or right direction from the position of the segment area Sc, and the detected movement direction and movement. Using the distance, the distance of the object located in the segment area Sc is calculated based on the triangulation method (S23).
- the CPU 21 determines whether the value of c is equal to N (S24). The distance is calculated for all the segment areas, and when the value of c becomes N (S24: YES), the process ends. On the other hand, if the value of c has not reached N (S24: NO), the CPU 21 increases the value of c by 1 (S25), and returns the process to S22. Thus, the distance to the detection target object corresponding to the segment area is obtained.
- each segment region is set such that two adjacent segment regions overlap each other with a shift of one pixel. Therefore, as shown in FIG. 9B, the distance of the target object that can be detected by the CMOS image sensor 123 is also detected at intervals corresponding to one pixel. Thereby, the resolution for distance detection is increased, and the accuracy of distance detection can be increased.
- the CMOS image sensor 123 is used as the photodetector, but a CCD image sensor may be used instead.
- Fig.9 (a) although two adjacent segment area
- the overlap of the two segment areas may be changed as appropriate.
- two adjacent segment areas may be set so as to overlap each other while being shifted by two pixels.
- the shift width between the segment areas adjacent in the vertical and horizontal directions is uniformly 1 pixel, but the shift width between the adjacent segment areas is changed according to the position on the reference pattern area. Also good.
- the deviation width (overlapping degree) between the segment areas adjacent to the left and right may be different from the deviation width (overlapping degree) between the segment areas adjacent in the vertical direction.
- the lateral displacement width may be smaller than that in the vertical direction.
- FIGS. 13A, 13B, and 13C in the central region in the left-right direction where an object is easily positioned, the displacement width between adjacent segment regions is reduced to increase the resolution. 13 (a), (d), and (e), in the left and right end regions where the object is difficult to be positioned, the shift width between adjacent segment regions is increased to reduce the processing load.
- the segment areas adjacent in the vertical direction overlap each other.
- the segment areas adjacent in the vertical direction are
- segment regions adjacent to each other on the left and right may not overlap each other.
- adjacent segment areas may not overlap each other, and the overlapping state (including non-overlap) between adjacent segment areas may be changed on the reference pattern area. May be.
- the size of the segment area is constant.
- the reference pattern area may be divided into a plurality of areas, and the size of the segment area may be changed for each divided area.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Human Computer Interaction (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- User Interface Of Digital Computer (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
距離検出の精度を高めることが可能な情報取得装置および物体検出装置を提供する。情報取得装置は、所定のドットパターンで投射されたレーザ光を投射し、CMOSイメージセンサにより反射光を受光する。CMOSイメージセンサの受光面には、複数のセグメント領域が重なり合うように設定されている。基準面で反射されたドットパターンに基づいて、各セグメント領域に含まれる探索用のドットパターンが設定される。実測時には、CMOSイメージセンサ上のドットパターンから、各セグメント領域に含まれる探索用のドットパターンと一致する領域が探索される。このとき、隣り合うセグメント領域は、互いに1画素だけずれた状態で重なり合うようにして設定される。これにより、距離検出のための分解能が高められることとなり、距離検出の精度を高めることができる。
Description
本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置、および、当該物体検出装置に用いて好適な情報取得装置に関する。
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の光検出器により受光(撮像)される。距離画像センサとして、種々のタイプのものが知られている。
所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、ドットパターンを持つレーザ光の目標領域からの反射光が光検出器によって受光される。そして、ドットの光検出器上の受光位置に基づいて、三角測量法を用いて、検出対象物体の各部(検出対象物体上の各ドットの照射位置)までの距離が検出される(たとえば、非特許文献1)。
第19回日本ロボット学会学術講演会(2001年9月18-20日)予稿集、P1279-1280
上記物体検出装置では、所定距離だけ離れた位置に基準面を配したときに光検出器により受光されるドットパターンと、実測時に光検出器により受光されるドットパターンとが比較されて、距離の検出が行われる。たとえば、基準面に対するドットパターンに複数の領域が設定される。物体検出装置は、各領域に含まれるドットが実測時に受光したドットパターン上のどの位置に移動したかに基づいて、領域毎に、対象物体までの距離を検出する。この場合、ドットパターンに設定される領域の数が多い程、対象物体までの距離を検出する際の分解能が増加し、距離検出の精度が高められる。
本発明は、この点に鑑みてなされたものであり、距離検出の精度を高めることが可能な情報取得装置および物体検出装置を提供することを目的とする。
本発明の第1の態様は、光を用いて目標領域の情報を取得する情報取得装置に関する。本態様に係る情報取得装置は、前記目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、前記投射光学系に対して所定の距離だけ離れて並ぶように配置され、前記目標領域を撮像する撮像素子を有する受光光学系と、前記撮像素子によって撮像される基準ドットパターンに複数のセグメント領域を設定し、実測時に前記撮像素子によって撮像された実測ドットパターンから前記セグメント領域に対応する対応領域を探索し、探索した前記対応領域の位置に基づいて、前記目標領域に存在する物体の3次元情報を取得する情報取得部と、を備える。ここで、前記情報取得部は、前記複数のセグメント領域の少なくとも一部が、隣り合う前記セグメント領域と重なり合うように、前記複数のセグメント領域を設定する。
本発明の第2の態様は、物体検出装置に関する。本態様に係る物体検出装置は、上記第1の態様に係る情報取得装置を有する。
本発明によれば、距離検出の精度を高めることが可能な情報取得装置および物体検出装置を提供することができる。
本発明の特徴は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態には、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置が例示されている。
まず、図1に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置1と、情報処理装置2とを備えている。テレビ3は、情報処理装置2からの信号によって制御される。なお、情報取得装置1と情報処理装置2とからなる装置が、本発明の物体検出装置に相当する。
情報取得装置1は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域にある物体各部の距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル4を介して情報処理装置2に送られる。
情報処理装置2は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置2は、情報取得装置1から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ3を制御する。
たとえば、情報処理装置2は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置2がテレビ制御用のコントローラである場合、情報処理装置2には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ3に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのUp/Down等、所定の機能をテレビ3に実行させることができる。
また、たとえば、情報処理装置2がゲーム機である場合、情報処理装置2には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。
図2は、情報取得装置1と情報処理装置2の構成を示す図である。
情報取得装置1は、光学部の構成として、投射光学系11と受光光学系12とを備えている。この他、情報取得装置1は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信号処理回路23と、入出力回路24と、メモリ25を備えている。
投射光学系11は、所定のドットパターンのレーザ光を、目標領域に照射する。受光光学系12は、目標領域から反射されたレーザ光を受光する。投射光学系11と受光光学系12の構成は、追って、図3、4を参照して説明する。
CPU21は、メモリ25に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、投射光学系11内のレーザ光源111(後述)を制御するためのレーザ制御部21aと、3次元距離情報を生成するための3次元距離演算部21bの機能が付与される。
レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源111(後述)を駆動する。撮像信号処理回路23は、受光光学系12内のCMOSイメージセンサ123(後述)を制御して、CMOSイメージセンサ123で生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。
CPU21は、撮像信号処理回路23から供給される信号(撮像信号)をもとに、情報取得装置1から検出対象物の各部までの距離を、3次元距離演算部21bによる処理によって算出する。入出力回路24は、情報処理装置2とのデータ通信を制御する。
情報処理装置2は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置2には、同図に示す構成の他、テレビ3との通信を行うための構成や、CD-ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD-ROMから読み取られ、メモリ33にインストールされる。
たとえば、制御プログラムがゲームプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。
また、制御プログラムがテレビ3の機能を制御するためのプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動き(ジェスチャ)を検出する。そして、検出された動き(ジェスチャ)に応じて、テレビ3の機能(チャンネル切り替えやボリューム調整、等)を制御するための処理が制御プログラムにより実行される。
入出力回路32は、情報取得装置1とのデータ通信を制御する。
図3は、投射光学系11と受光光学系12の設置状態を示す斜視図である。
投射光学系11と受光光学系12は、熱伝導性の高いベースプレート300上に設置される。投射光学系11を構成する光学部材は、シャーシ11aに設置され、このシャーシ11aがベースプレート300上に設置される。これにより、投射光学系11がベースプレート300上に設置される。
受光光学系12は、ベースプレート300上の2つの台座300aの上面と、2つの台座300aの間のベースプレート300の上面に設置される。2つの台座300aの間のベースプレート300の上面には、後述するCMOSイメージセンサ123が設置され、台座300aの上面には保持板12aが設置され、この保持板12aに、後述するフィルタ121および撮像レンズ122を保持するレンズホルダ12bが設置される。
投射光学系11と受光光学系12は、投射光学系11の投射中心と受光光学系12の撮像中心がX軸に平行な直線上に並ぶように、X軸方向に所定の距離をもって並んで設置されている。ベースプレート300の裏面に、情報取得装置1の回路部(図2参照)を保持する回路基板200(図4参照)が設置される。
ベースプレート300の中央下部には、レーザ光源111の配線をベースプレート300の背部に取り出すための孔300bが形成されている。また、ベースプレート300の受光光学系12の設置位置の下部には、CMOSイメージセンサ123のコネクタ12cをベースプレート300の背部に露出させるための開口300cが形成されている。
図4は、本実施の形態に係る投射光学系11と受光光学系12の構成を模式的に示す図である。
投射光学系11は、レーザ光源111と、コリメータレンズ112と、立ち上げミラー113と、回折光学素子(DOE:Diffractive Optical Element)114を備えている。また、受光光学系12は、フィルタ121と、撮像レンズ122と、CMOSイメージセンサ123とを備えている。
レーザ光源111は、波長830nm程度の狭波長帯域のレーザ光を出力する。レーザ光源111は、レーザ光の光軸がX軸に平行となるように設置される。コリメータレンズ112は、レーザ光源111から出射されたレーザ光を略平行光に変換する。コリメータレンズ112は、自身の光軸がレーザ光源111から出射されたレーザ光の光軸に整合するように設置される。立ち上げミラー113は、コリメータレンズ112側から入射されたレーザ光を反射する。レーザ光の光軸は、立ち上げミラー113によって90°折り曲げられてZ軸に平行となる。
DOE114は、入射面に回折パターンを有する。回折パターンは、たとえば、ステップ型のホログラムにより構成される。この回折パターンによる回折作用により、立ち上げミラー113により反射されDOE114に入射したレーザ光は、ドットパターンのレーザ光に変換されて、目標領域に照射される。回折パターンは、目標領域において所定のドットパターンとなるように設計されている。
なお、レーザ光源111とコリメータレンズ112との間には、レーザ光の輪郭を円形にするためのアパーチャ(図示せず)が配される。なお、このアパーチャは、レーザ光源111の出射開口によって構成されても良い。
目標領域から反射されたレーザ光は、フィルタ121を透過して撮像レンズ122に入射する。
フィルタ121は、レーザ光源111の出射波長(830nm程度)を含む波長帯域の光を透過し、その他の波長帯域をカットする。撮像レンズ122は、フィルタ121を介して入射された光をCMOSイメージセンサ123上に集光する。撮像レンズ122は複数のレンズから構成され、所定のレンズとレンズとの間にアパーチャとスペーサが介挿されている。かかるアパーチャは、撮像レンズ122のFナンバーに合うように、外部からの光に絞りを掛ける。
CMOSイメージセンサ123は、撮像レンズ122にて集光された光を受光して、画素毎に、受光光量に応じた信号(電荷)を撮像信号処理回路23に出力する。ここで、CMOSイメージセンサ123は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路23に出力できるよう、信号の出力速度が高速化されている。
フィルタ121は、受光面がZ軸に垂直になるように配置される。撮像レンズ122は、光軸がZ軸に平行となるように設置される。CMOSイメージセンサ123は、受光面がZ軸に垂直になるように設置される。また、フィルタ121の中心とCMOSイメージセンサ123の受光領域の中心が撮像レンズ122の光軸上に並ぶように、フィルタ121、撮像レンズ122およびCMOSイメージセンサ123が配置される。
投射光学系11と受光光学系12は、図3を参照して説明したように、ベースプレート300に設置されている。ベースプレート300の下面には、さらに、回路基板200が設置され、この回路基板200から、レーザ光源111およびCMOSイメージセンサ123に配線(フレキシブル基板)201、202が接続されている。回路基板200には、図2に示すCPU21やレーザ駆動回路22等の情報取得装置1の回路部が実装されている。
図5(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図であり、図5(b)は、CMOSイメージセンサ123におけるレーザ光の受光状態を模式的に示す図である。なお、同図(b)には、便宜上、目標領域に平坦な面(スクリーン)が存在するときの受光状態が示されている。
同図(a)に示すように、投射光学系11からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に向けて照射される。同図(a)には、DP光の投射領域が実線の枠によって示されている。DP光の光束中には、回折光学素子による回折作用によってレーザ光の強度が高められたドット領域(以下、単に「ドット」という)が、回折光学素子の回折作用によるドットパターンに従って点在している。目標領域に平坦な面(スクリーン)が存在すると、これにより反射されたDP光は、同図(b)のように、CMOSイメージセンサ123上に分布する。
ここで、図6(a)、(b)を参照して、距離検出に用いられる基準パターンについて説明する。
図6(a)を参照して、基準パターンの生成時には、投射光学系11から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。レーザ光源111の温度は、所定の温度(基準温度)に維持される。この状態で、投射光学系11からDP光が所定時間Teだけ出射される。出射されたDP光は、反射平面RSによって反射され、受光光学系12のCMOSイメージセンサ123に入射する。これにより、CMOSイメージセンサ123から、画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)が、図2のメモリ25上に展開される。
こうしてメモリ25上に展開された画素値に基づいて、図6(b)に示すように、CMOSイメージセンサ123上におけるDP光の照射領域を規定する基準パターン領域が設定される。
次に、図6(b)を参照して、基準パターン領域に設定されるセグメント領域(比較例)について説明する。
比較例では、上述したように設定された基準パターン領域が、縦横に区分されてセグメント領域が設定される。各セグメント領域は、他の全てのセグメント領域と同じサイズである。このとき、各セグメント領域には、固有のパターンでドットが点在するため、セグメント領域の画素値のパターンは、セグメント領域毎に異なっている。こうして、各セグメント領域に対して、当該セグメント領域に含まれる各画素の画素値が割り当てられる。
比較例では、CMOSイメージセンサ123上における基準パターン領域の位置に関する情報と、基準パターン領域に含まれる全画素の画素値(基準パターン)と、基準パターン領域をセグメント領域に分割するための情報が、基準テンプレートとなる。なお、基準パターン領域に含まれる全画素の画素値(基準パターン)は、基準パターン領域に含まれるDP光のドットパターンに相応するものになる。また、基準パターン領域に含まれる全画素の画素値(基準パターン)のマッピング領域をセグメント領域に区分することで、各セグメント領域に含まれる画素の画素値が取得される。
なお、この場合の基準テンプレートは、さらに、各セグメント領域に含まれる画素の画素値を、予めセグメント領域毎に保持していても良い。
構成された基準テンプレートは、図2のメモリ25に、消去不可能な状態で保持される。こうしてメモリ25に保持された基準テンプレートは、投射光学系11から検出対象物体の各部までの距離を算出する際にCPU21により参照される。
たとえば、図6(a)に示すように、距離Lsよりも近い位置に物体がある場合、基準パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系11と受光光学系12はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。図6(a)の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
セグメント領域Snに対する領域Sn’の変位方向と変位量をもとに、投射光学系11からDP光(DPn)が照射された物体の部分までの距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系11からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18-20日)予稿集、P1279-1280)に示されている。
かかる距離算出では、基準テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかを検出する必要がある。この検出は、実測時にCMOSイメージセンサ123上に照射されたDP光のドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。
図7は、図6(b)に示すセグメント領域(比較例)を用いて、かかる検出の手法を説明する図である。同図(a)は、CMOSイメージセンサ123上における基準パターン領域とセグメント領域の設定状態を示す図、同図(b)は、実測時におけるセグメント領域の探索方法を示す図、同図(c)は、実測されたDP光のドットパターンと、基準テンプレートのセグメント領域に含まれるドットパターンとの照合方法を示す図である。
たとえば、同図(a)のセグメント領域S1の実測時における変位位置を探索する場合、同図(b)に示すように、セグメント領域S1が、範囲P1~P2において、X軸方向に1画素ずつ送られ、各送り位置において、セグメント領域S1のドットパターンと、実測されたDP光のドットパターンのマッチング度合いが求められる。この場合、セグメント領域S1は、基準パターン領域の最上段のセグメント領域群を通るラインL1上のみをX軸方向に送られる。これは、上記のように、通常、各セグメント領域は、実測時において、基準テンプレートにより設定された位置からX軸方向にのみ変位するためである。すなわち、セグメント領域S1は、最上段のラインL1上にあると考えられるためである。このように、X軸方向にのみ探索を行うことで、探索のための処理負担が軽減される。
なお、実測時には、検出対象物体の位置によっては、セグメント領域が基準パターン領域の範囲からX軸方向にはみ出すことが起こり得る。このため、範囲P1~P2は、基準パターン領域のX軸方向の幅よりも広く設定される。
上記マッチング度合いの検出時には、ラインL1上に、セグメント領域S1と同じサイズの領域(比較領域)が設定され、この比較領域とセグメント領域S1との間の類似度が求められる。すなわち、セグメント領域S1の各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
たとえば、図7(c)のように、一つのセグメント領域中に、m列×n行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、値Rsadが求められる。すなわち、値Rsadは、次式により算出される。
値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
探索時には、比較領域が、ラインL1上を1画素ずつずらされつつ順次設定される。そして、ラインL1上の全ての比較領域について、値Rsadが求められる。求めた値Rsadの中から、閾値より小さいものが抽出される。閾値より小さい値Rsadが無ければ、セグメント領域S1の探索はエラーとされる。そして、抽出されたRsadの中で最も値が小さいものに対応する比較領域が、セグメント領域S1の移動領域であると判定される。ラインL1上のセグメント領域S1以外のセグメント領域も、上記と同様の探索が行われる。また、他のライン上のセグメント領域も、上記と同様、そのライン上に比較領域が設定されて、探索が行われる。
こうして、実測時に取得されたDP光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。
ここで、比較例の場合の距離検出の分解能について説明する。
図8(a)を参照して、比較例では、上述したように、基準パターン領域を縦横に区分することによりセグメント領域が設定されている。たとえば、図示の如く、セグメント領域Spの右隣りには、セグメント領域Sp+1が設定されている。なお、ここでは、各セグメント領域に5×5の画素が含まれているとする。
上述したように、セグメント領域Sp、Sp+1が決定されると、セグメント領域Spの中心Opと、セグメント領域Sp+1の中心Op+1との間隔は、セグメント領域の分割間隔に相当する5画素となる。同様に、上下に隣接するセグメント領域の中心間隔も5画素となる。
このようにセグメント領域が決定されると、対象物体に対する距離は、上下左右に5画素に対応する間隔で検出されることになる。すなわち、図8(b)に示す如く、円で概念的に示される位置が、距離を検出できる一つの位置となり、これが距離検出の分解能となる。ここでは、セグメント領域が、5×5の画素を含む領域とされたが、セグメント領域に含まれるドットの数を増加させてマッチングの精度を高めるために、セグメント領域の大きさを大きくすると、対象物体に対する距離検出の間隔はさらに広くなり、距離検出の分解能はさらに粗くなる。よって、比較例の場合、距離検出の精度が十分に得られない惧れがある。
そこで、本実施の形態では、基準パターン領域を縦横に分割することにより各セグメント領域を設定するのではなく、所定の大きさの領域を、基準パターン領域上で1画素ずつずらすことにより各セグメント領域が設定される。
たとえば、図9(a)に示すように、本実施の形態のセグメント領域Spの右側には、セグメント領域Spを1画素だけ右側にずらした領域に、セグメント領域Sp+1が設定される。同様に、セグメント領域Spの左側、上側、下側にも、それぞれ、セグメント領域Spを1画素だけ左側、上側、下側にずらした領域に、対応するセグメント領域が設定される。なお、ここでは、各セグメント領域に5×5の画素が含まれているとする。
この場合も、1つのセグメント領域におけるドットの点在パターンは、他の全てのセグメント領域におけるドットの点在パターンと相違するよう基準パターン領域のドットパターンが設定される。このため、各セグメント領域は、ドットの点在パターンをもって、他の全てのセグメント領域から区別可能となっている。
本実施の形態では、セグメント領域Spの中心Opと、セグメント領域Sp+1の中心Op+1の間隔は、セグメント領域のずれ幅に相当する1画素となる。同様に、上下に隣接するセグメント領域の中心間隔も1画素となる。
このようにセグメント領域が決定されると、対象物体に対する距離は、上下左右に1画素に対応する距離で検出されることになる。すなわち、図9(b)に示す如く、円で概念的に示される位置が、距離を検出できる一つの位置となり、これが距離検出の分解能となる。
なお、本実施の形態では、CMOSイメージセンサ123上における基準パターン領域の位置に関する情報と、基準パターン領域に含まれる全画素の画素値(基準パターン)と、セグメント領域の縦横の幅に関する情報と、セグメント領域の間隔(ずれ幅)に関する情報が、基準テンプレートとなる。本実施の形態においても、基準テンプレートが、図2のメモリ25に、消去不可能な状態で保持される。こうしてメモリ25に保持された基準テンプレートは、投射光学系11から検出対象物体の各部までの距離を算出する際にCPU21により参照される。
たとえば、図10に示すように、最初の探索に用いるセグメント領域は、基準テンプレートに含まれるセグメント領域の縦横の幅に関する情報に基づいて、基準パターン領域の探索開始位置(左上の角)に設定される。すなわち、基準パターン領域の左上の角を頂点とし、上記縦横の幅を2つの辺の長さとする四角形の領域が、最初のセグメント領域として設定される(S1)。なお、基準テンプレートに含まれる縦横幅は、画素間隔の整数倍である。設定された最初のセグメント領域に含まれる画素の画素値が基準テンプレートから抽出され、当該セグメントに対するマッチング処理に用いられる(S2)。
次の探索に用いるセグメント領域は、最初のセグメント領域の設定に用いた四角形の領域を、セグメント領域の間隔(ずれ)に関する情報に基づいて右側にずらすことにより設定される(S4)。このセグメント領域に含まれる基準パターン領域内の画素の画素値が抽出され、当該セグメントに対するマッチング処理に用いられる(S2)。
こうして、基準パターン領域の最上段のラインの右端までセグメント領域が設定されると(S3:YES)、最上段のラインをずれ幅(1画素)だけ下にずらして次の段のラインが設定される(S6)。そして、設定されたラインの左端に、上記縦横の幅を2つの辺の長さとする四角形の領域が設定され、この領域が最初のセグメント領域として設定される(S7)。設定されたセグメント領域に含まれる画素の画素値が基準テンプレートから抽出される(S2)。さらに、2段目のラインにおいて、上記と同様、四角形の領域を1画素ずつ順次右に移動させて、セグメント領域が設定される(S4)。2段目のラインの右端までセグメントの設定が終了すると(S3:YES)、上記と同様にして、2段目のラインから1画素だけ下にずらした3段目のラインに対するセグメント領域の設定が行われる(S6、S7)。こうして、基準パターン領域の最下段のラインまでセグメント領域の設定が行われる(S5:YES)。
本実施の形態では、実測時に、各セグメント領域が基準テンプレートに基づいて設定され、各セグメント領域に含まれる画素の画素値が抽出される。なお、各セグメント領域に含まれる画素の画素値が、予め、セグメント領域毎に、基準テンプレートに保持されていても良い。
また、上記では、四角形の領域を1画素ずつずらすことによりセグメント領域が設定されたが、予め、基準パターン領域上における各セグメント領域の位置を示す情報が基準テンプレートに保持されていても良い。この場合、各セグメント領域の位置は、各セグメント領域の左上の角の点として設定される。たとえば、基準パターン領域の左上を原点とし、この原点に対する横方向(右方向)および縦方向(下方向)の画素数によって、各セグメント領域の位置が設定される。
図11(a)は、セグメント領域に対するドットパターンの設定処理を示すフローチャートである。かかる処理は、情報取得装置1の起動時または距離検出が開始されたときに行われる。
なお、この場合の基準テンプレートには、基準パターン領域(図6(b)参照)に対して、個々のセグメント領域を割り当てるための情報が含まれている。具体的には、基準テンプレートには、各セグメント領域の大きさ(縦横幅)を示す情報の他、各セグメント領域の基準パターン領域上の位置を示す情報がさらに含まれている。ここでは、基準パターン領域に対してN個のセグメント領域が割り当てられ、これらセグメント領域には1~Nまでの通し番号が付けられているものとする。セグメント領域の位置を示す情報は、上下左右のセグメント領域が互いに重なり合う(ここでは、1画素だけずれる)ように設定されている。
情報取得装置1のCPU21は、まず、メモリ25に保持されている基準テンプレートから、CMOSイメージセンサ123上における基準パターン領域の位置に関する情報と、基準パターン領域に含まれる全画素の画素値を読み出す(S11)。続いて、CPU21は、変数kに1をセットする(S12)。
次に、CPU21は、メモリ25に保持されている基準テンプレートから、k番目のセグメント領域Skの縦横の幅に関する情報と、セグメント領域Skの位置に関する情報を取得する(S13)。続いて、CPU21は、基準パターン領域に含まれる全画素の画素値と、S13で取得したセグメント領域Skの情報から、探索に用いるドットパターンDkを設定する(S14)。具体的には、CPU21は、基準パターンの全画素の画素値のうち、セグメント領域Skに含まれるドットパターンの画素値を取得し、これを探索用のドットパターンDkとする。
次に、CPU21は、kの値がNに等しいかを判定する(S15)。全てのセグメント領域について探索に用いるドットパターンが設定されて、kの値がNになると(S15:YES)、処理が終了する。他方、kの値がNに到達していないと(S15:NO)、CPU21は、kの値を1増やして(S16)、処理をS13に戻す。こうして、探索に用いるN個のドットパターンが順次設定される。
図11(b)は、実測時における距離検出の処理を示すフローチャートである。かかる処理は、図11(a)の処理により設定された探索用のドットパターンを用いて行われ、図11(a)の処理と並行して行われる。
情報取得装置1のCPU21は、まず、変数cに1をセットする(S21)。次に、CPU21は、実測時に受光したCMOSイメージセンサ123上のドットパターンから、図11(a)のS14で設定したc番目の探索用のドットパターンDcと一致する領域を探索する(S22)。かかる探索は、セグメント領域Scに対応する位置に対して左右方向に所定の幅を有する領域に対して行われる。探索用のドットパターンDcと一致する領域があれば、CPU21は、一致した領域がセグメント領域Scの位置から左右どちらの方向にどれだけの距離を移動したかを検出し、検出した移動方向と移動距離を用いて、三角測量法に基づきセグメント領域Scに位置する物体の距離を算出する(S23)。
次に、CPU21は、cの値がNに等しいかを判定する(S24)。全てのセグメント領域について距離の算出が行われ、cの値がNになると(S24:YES)、処理が終了する。他方、cの値がNに到達していないと(S24:NO)、CPU21は、cの値を1増やして(S25)、処理をS22に戻す。こうして、セグメント領域に対応する検出対象物体までの距離が求められる。
以上、本発明の実施の形態によれば、図9(a)に示すように、隣り合う2つのセグメント領域が、互いに1画素だけずれた状態で重なり合うようにして、各セグメント領域が設定されるため、図9(b)に示すように、CMOSイメージセンサ123によって検出できる対象物体の距離も、1画素に対応する間隔で検出される。これにより、距離検出のための分解能が高められることとなり、距離検出の精度を高めることができる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
たとえば、上記実施の形態では、光検出器として、CMOSイメージセンサ123を用いたが、これに替えて、CCDイメージセンサを用いることもできる。
また、上記実施の形態では、図9(a)に示すように、隣り合う2つのセグメント領域は、互いに1画素だけずれた状態で重なり合うようにして設定されたが、これに限らず、隣り合う2つのセグメント領域の重なりは、適宜変更されても良い。たとえば、隣り合う2つのセグメント領域は、互いに2画素だけずれた状態で重なり合うようにして設定されても良い。
また、上記実施の形態では、上下および左右に隣り合うセグメント領域間のずれ幅が一律1画素とされたが、基準パターン領域上の位置に応じて隣り合うセグメント領域間のずれ幅を変化させても良い。たとえば、左右に隣り合うセグメント領域のずれ幅(重なり度合い)と、上下に隣り合うセグメント領域のずれ幅(重なり度合い)が異なるようにしても良い。左右方向の分解能を上下方向よりも高めたい場合は、たとえば図12(a)、(b)に示すように、左右方向のずれ幅を上下方向よりも小さくしても良い。また、たとえば図13(a)、(b)、(c)に示すように、物体が位置付けられやすい左右方向の中央領域では、隣り合うセグメント領域間のずれ幅を小さくして分解能を高め、図13(a)、(d)、(e)に示すように、物体が位置付けられにくい左右方向の端部領域では、隣り合うセグメント領域間のずれ幅を大きくして、処理負担の軽減を図るようにしても良い。
また、上記実施の形態では、左右のみならず、上下に隣り合うセグメント領域も、互いに重なり合うようにしたが、たとえば図14(a)、(b)に示すように、上下に隣り合うセグメント領域は互いに重なり合わないようにしても良く、また、たとえば図15(a)、(b)に示すように、左右に隣り合うセグメント領域が互いに重なり合わないようにしても良い。また、基準パターン領域上の所定の領域においては、隣り合うセグメント領域が互いに重ならないようにしても良く、隣り合うセグメント領域間の重なり具合(重ならないことも含む)が、基準パターン領域上において変えられても良い。
さらに、上記実施の形態では、セグメント領域の大きさを一定としたが、たとえば、基準パターン領域を複数の領域に区分し、区分した領域毎に、セグメント領域の大きさを変えても良い。
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
1 情報取得装置
11 投射光学系
12 受光光学系
21 CPU(情報取得部)
21b 3次元距離演算部(情報取得部)
23 撮像信号処理回路(情報取得部)
111 レーザ光源
112 コリメータレンズ
114 DOE(回折光学素子)
122 撮像レンズ(集光レンズ)
123 CMOSイメージセンサ(撮像素子)
11 投射光学系
12 受光光学系
21 CPU(情報取得部)
21b 3次元距離演算部(情報取得部)
23 撮像信号処理回路(情報取得部)
111 レーザ光源
112 コリメータレンズ
114 DOE(回折光学素子)
122 撮像レンズ(集光レンズ)
123 CMOSイメージセンサ(撮像素子)
Claims (8)
- 光を用いて目標領域の情報を取得する情報取得装置において、
前記目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、
前記投射光学系に対して所定の距離だけ離れて並ぶように配置され、前記目標領域を撮像する撮像素子を有する受光光学系と、
前記撮像素子によって撮像される基準ドットパターンに複数のセグメント領域を設定し、実測時に前記撮像素子によって撮像された実測ドットパターンから前記セグメント領域に対応する対応領域を探索し、探索した前記対応領域の位置に基づいて、前記目標領域に存在する物体の3次元情報を取得する情報取得部と、を備え、
前記情報取得部は、前記複数のセグメント領域の少なくとも一部が、隣り合う前記セグメント領域と一部が重なり合うように、前記複数のセグメント領域を設定する、
ことを特徴とする情報取得装置。 - 請求項1に記載の情報取得装置において、
隣り合う前記セグメント領域の重なり具合が、前記基準ドットパターン上の位置に応じて異なっている、
ことを特徴とする情報取得装置。 - 請求項2に記載の情報取得装置において、
互いに重なり合う前記セグメント領域のずれ幅が、前記基準ドットパターンの周辺よりも中央の方が小さくなっている、
ことを特徴とする情報取得装置。 - 請求項1ないし3の何れか一項に記載の情報取得装置において、
互いに重なり合う前記セグメント領域の左右方向のずれ幅と上下方向のずれ幅とが相違している、
ことを特徴とする情報取得装置。 - 請求項1ないし3の何れか一項に記載の情報取得装置において、
前記セグメント領域は、左右方向と上下方向の何れか一方においてのみ、互いに重なっている、
ことを特徴とする情報取得装置。 - 請求項1ないし5の何れか一項に記載の情報取得装置において、
互いに重なり合う2つの前記セグメント領域が、上下方向および左右方向の少なくとも何れか一方において、互いに1画素だけずれた状態となるように設定されている、
ことを特徴とする情報取得装置。 - 請求項1ないし6の何れか一項に記載の情報取得装置において、
前記投射光学系は、レーザ光源と、前記レーザ光源から出射されたレーザ光を平行光に変換するコリメータレンズと、前記コリメータレンズによって平行光に変換された前記レーザ光を回折によりドットパターンの光に変換する回折光学素子と、を備える、
ことを特徴とする情報取得装置。 - 請求項1ないし7の何れか一項に記載の情報取得装置を有する物体検出装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011094543A JP2014132219A (ja) | 2011-04-20 | 2011-04-20 | 情報取得装置および物体検出装置 |
JP2011-094543 | 2011-04-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012144340A1 true WO2012144340A1 (ja) | 2012-10-26 |
Family
ID=47041452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/059447 WO2012144340A1 (ja) | 2011-04-20 | 2012-04-06 | 情報取得装置および物体検出装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2014132219A (ja) |
WO (1) | WO2012144340A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3652555A4 (en) * | 2017-08-31 | 2020-06-03 | SZ DJI Technology Co., Ltd. | SEMICONDUCTOR LIGHT DISTANCE DETECTION AND ESTIMATION SYSTEM (LIDAR) AND SEMICONDUCTOR LIGHT DISTANCE DETECTION AND ESTIMATION RESOLUTION IMPROVEMENT METHOD |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016035181A1 (ja) | 2014-09-03 | 2016-03-10 | 株式会社ニコン | 撮像装置、情報処理装置、及び撮像システム |
WO2017154706A1 (ja) | 2016-03-09 | 2017-09-14 | 株式会社ニコン | 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム |
JP2019049572A (ja) * | 2018-12-26 | 2019-03-28 | 株式会社ニコン | 撮像装置、情報処理装置、及び撮像システム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07152895A (ja) * | 1993-11-29 | 1995-06-16 | Canon Inc | 画像処理方法及び装置 |
JP2001153633A (ja) * | 1999-11-26 | 2001-06-08 | Fujitsu Ltd | 立体形状検出方法および装置 |
JP2001184497A (ja) * | 1999-10-14 | 2001-07-06 | Komatsu Ltd | ステレオ画像処理装置及び記録媒体 |
JP2004191092A (ja) * | 2002-12-09 | 2004-07-08 | Ricoh Co Ltd | 3次元情報取得システム |
JP2005246033A (ja) * | 2004-02-04 | 2005-09-15 | Sumitomo Osaka Cement Co Ltd | 状態解析装置 |
JP2007218922A (ja) * | 2007-03-27 | 2007-08-30 | Topcon Corp | 画像測定装置 |
JP2009008446A (ja) * | 2007-06-26 | 2009-01-15 | Konica Minolta Holdings Inc | 情報処理システム、プログラム、および情報処理方法 |
JP2009014712A (ja) * | 2007-06-07 | 2009-01-22 | Univ Of Electro-Communications | 物体検出装置とそれを適用したゲート装置 |
JP2010101683A (ja) * | 2008-10-22 | 2010-05-06 | Nissan Motor Co Ltd | 距離計測装置および距離計測方法 |
-
2011
- 2011-04-20 JP JP2011094543A patent/JP2014132219A/ja not_active Withdrawn
-
2012
- 2012-04-06 WO PCT/JP2012/059447 patent/WO2012144340A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07152895A (ja) * | 1993-11-29 | 1995-06-16 | Canon Inc | 画像処理方法及び装置 |
JP2001184497A (ja) * | 1999-10-14 | 2001-07-06 | Komatsu Ltd | ステレオ画像処理装置及び記録媒体 |
JP2001153633A (ja) * | 1999-11-26 | 2001-06-08 | Fujitsu Ltd | 立体形状検出方法および装置 |
JP2004191092A (ja) * | 2002-12-09 | 2004-07-08 | Ricoh Co Ltd | 3次元情報取得システム |
JP2005246033A (ja) * | 2004-02-04 | 2005-09-15 | Sumitomo Osaka Cement Co Ltd | 状態解析装置 |
JP2007218922A (ja) * | 2007-03-27 | 2007-08-30 | Topcon Corp | 画像測定装置 |
JP2009014712A (ja) * | 2007-06-07 | 2009-01-22 | Univ Of Electro-Communications | 物体検出装置とそれを適用したゲート装置 |
JP2009008446A (ja) * | 2007-06-26 | 2009-01-15 | Konica Minolta Holdings Inc | 情報処理システム、プログラム、および情報処理方法 |
JP2010101683A (ja) * | 2008-10-22 | 2010-05-06 | Nissan Motor Co Ltd | 距離計測装置および距離計測方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3652555A4 (en) * | 2017-08-31 | 2020-06-03 | SZ DJI Technology Co., Ltd. | SEMICONDUCTOR LIGHT DISTANCE DETECTION AND ESTIMATION SYSTEM (LIDAR) AND SEMICONDUCTOR LIGHT DISTANCE DETECTION AND ESTIMATION RESOLUTION IMPROVEMENT METHOD |
US11675076B2 (en) | 2017-08-31 | 2023-06-13 | SZ DJI Technology Co., Ltd. | Solid state light detection and ranging (LIDAR) system and system and method for improving solid state light detection and ranging (LIDAR) resolution |
Also Published As
Publication number | Publication date |
---|---|
JP2014132219A (ja) | 2014-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012137674A1 (ja) | 情報取得装置、投射装置および物体検出装置 | |
JP5138116B2 (ja) | 情報取得装置および物体検出装置 | |
JP5214062B1 (ja) | 情報取得装置および物体検出装置 | |
JP5143312B2 (ja) | 情報取得装置、投射装置および物体検出装置 | |
WO2013046927A1 (ja) | 情報取得装置および物体検出装置 | |
JP2012237604A (ja) | 情報取得装置、投射装置および物体検出装置 | |
WO2012144340A1 (ja) | 情報取得装置および物体検出装置 | |
JPWO2013015145A1 (ja) | 情報取得装置および物体検出装置 | |
JP5143314B2 (ja) | 情報取得装置および物体検出装置 | |
JP5138115B2 (ja) | 情報取得装置及びその情報取得装置を有する物体検出装置 | |
JP2014044113A (ja) | 情報取得装置および物体検出装置 | |
JP2014052307A (ja) | 情報取得装置および物体検出装置 | |
JP2014085257A (ja) | 情報取得装置および物体検出装置 | |
WO2012120729A1 (ja) | 情報取得装置および情報取得装置を搭載する物体検出装置 | |
JP2014062796A (ja) | 情報取得装置および物体検出装置 | |
WO2013046928A1 (ja) | 情報取得装置および物体検出装置 | |
JP2014085282A (ja) | 情報取得装置および物体検出装置 | |
WO2013031447A1 (ja) | 物体検出装置および情報取得装置 | |
JP2014035304A (ja) | 情報取得装置および物体検出装置 | |
WO2013031448A1 (ja) | 物体検出装置および情報取得装置 | |
JP2013234956A (ja) | 情報取得装置および物体検出装置 | |
JP5138120B2 (ja) | 物体検出装置および情報取得装置 | |
JP2014098585A (ja) | 情報取得装置および物体検出装置 | |
JP2014106000A (ja) | 情報取得装置および物体検出装置 | |
JP2013234887A (ja) | 情報取得装置および物体検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12774293 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12774293 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |