WO2015163078A1 - 外界認識装置 - Google Patents

外界認識装置 Download PDF

Info

Publication number
WO2015163078A1
WO2015163078A1 PCT/JP2015/059023 JP2015059023W WO2015163078A1 WO 2015163078 A1 WO2015163078 A1 WO 2015163078A1 JP 2015059023 W JP2015059023 W JP 2015059023W WO 2015163078 A1 WO2015163078 A1 WO 2015163078A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
processing unit
vehicle
recognition
Prior art date
Application number
PCT/JP2015/059023
Other languages
English (en)
French (fr)
Inventor
健 志磨
青木　利幸
春樹 的野
門司　竜彦
力也 樫村
泰仁 新垣
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP15782468.1A priority Critical patent/EP3136368A4/en
Priority to CN201580019482.8A priority patent/CN106170828B/zh
Priority to US15/303,228 priority patent/US10210400B2/en
Publication of WO2015163078A1 publication Critical patent/WO2015163078A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities

Definitions

  • the present invention relates to an outside recognition device that detects an object from image information of the outside of a car.
  • Patent Document 1 discloses a method of executing processing for detecting a plurality of objects by sharing one image sensor in time series.
  • image data to be processed tends to increase due to the increase in the number of pixels of the camera, it is necessary to perform detection processing with limited computational resources.
  • Japanese Patent Application Laid-Open No. H10-228688 describes a method of cutting out and processing a necessary image area.
  • Patent Document 1 The content described in Patent Document 1 is based on the premise that there is only one arithmetic device that performs processing, and there remains a problem that all necessary objects cannot be detected and processed at a necessary processing cycle.
  • Patent Document 2 in the method of limiting the processing load by limiting the image area to be processed and the resolution, the necessary image is increased when the number of cameras, the number of pixels of the camera, and the types of objects increase. Detection processing cannot be performed at a processing cycle necessary for resolution, and detection results with accuracy required for automobile control cannot be obtained.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide an external recognition device that can obtain a detection result with a required accuracy when detecting a plurality of objects from a captured image. Is to provide.
  • An external environment recognition apparatus of the present invention that solves the above problems is an external environment recognition apparatus that recognizes the external environment using an image obtained by imaging the outside from a vehicle, and a plurality of processing units that perform image processing on the image, and the plurality of processes
  • a recognition application storage unit that stores a plurality of recognition applications for recognizing an object by being processed by at least one processing unit, and at least one of external environment information and vehicle behavior information
  • An external information acquisition unit that acquires information, and a plurality of processing units that select at least one recognition application from the recognition application storage unit based on the external information and process the selected recognition application It has the selection part which selects from among.
  • the figure explaining the structural example of the external field recognition apparatus in 1st Embodiment The figure which showed the processing flow of the image area cutting-out part. The figure which showed the cutting-out method of the image when a vehicle is low speed. The figure which showed the process schedule in case a vehicle is low speed. The figure which showed the cutting-out method of the image when a vehicle is high speed. The figure which showed the process schedule in case a vehicle is high speed. The figure which showed the processing flow of parallax calculation. The figure explaining the corresponding point of the right-and-left image in a stereo camera. The figure explaining how to obtain the corresponding points of the left and right images. The figure explaining how to calculate distance from parallax in a stereo camera.
  • the external environment recognition device of the present invention is a system capable of simultaneously executing vehicle detection, pedestrian detection, and road sign recognition as a recognition application using a video of a stereo camera mounted on a vehicle. The case where it is applied will be described.
  • FIG. 1 is a block diagram for implementing the apparatus of the present invention.
  • the stereo camera 100 images the front of the vehicle from the vehicle on which the stereo camera 100 is mounted, and includes a pair of left and right imaging units 101 and 102 that capture a partially overlapping range.
  • the stereo camera 100 is configured by the cooperation of hardware such as a microcomputer having a storage device such as an arithmetic device and ROM and RAM, and a software program processed by the hardware.
  • An area cutout unit 103, a plurality of storage units 105, 106, and 107, and a plurality of arithmetic devices (processing units) 108 to 111 are included.
  • a recognition application storage unit (not shown) that stores a plurality of recognition applications for each type of the target object, which are recognized by the processing unit by at least one of the arithmetic units 108 to 111;
  • An external information acquisition unit that acquires external information including at least one of the own vehicle behavior information is provided.
  • External information includes own vehicle behavior information that shows the behavior of the vehicle such as the speed of the vehicle, whether or not lights are lit, whether or not the wiper is operating, etc., and the road type obtained from the map information of the car navigation and urbanization around the road
  • External environment information indicating the external environment such as degree (inside city, between cities) is included.
  • the image region cutout unit 103 cuts out a partial region of the image captured by the left imaging unit 101 and the right imaging unit 102, and transfers the image data to at least one of the plurality of storage units 105, 106, and 107.
  • the image region cutout unit 103 uses external information to determine which region of the image picked up by the left and right image pickup units 101 and 102, and which storage unit and computing device to use to process the image.
  • the image area cutout unit 103 includes a selection unit 104 having a storage unit / arithmetic unit selection function, selects at least one recognition application from the recognition application storage unit based on external information, and processes the selected recognition application.
  • a processing unit to be selected is selected from a plurality of processing units.
  • At least one storage unit for storing image data is selected from the plurality of storage units according to the selected recognition application.
  • the image data of the image area cut out by the image area cutout unit 103 is transferred to and stored in at least one of the first storage unit 105, the second storage unit 106, and the third storage unit 107, which are a plurality of storage units. .
  • the image data transferred to the first storage unit 105, the second storage unit 106, and the third storage unit 107 are processed by the first arithmetic unit 108, the second arithmetic unit 109, and the third arithmetic unit 110.
  • the first arithmetic unit 108 is a dedicated arithmetic unit that is hardware-implemented so that image distortion correction and parallax calculation processing of the left and right camera images can be performed at high speed. Transferred to the storage unit 106 and the third storage unit 107, and further recognized and processed by the second arithmetic unit 109 and the third arithmetic unit 110 to recognize a vehicle, a pedestrian, and a road sign ahead as a predetermined recognition object. Can do.
  • the second arithmetic unit 109 and the third arithmetic unit 110 directly process the image data without using the parallax calculation result calculated by the first arithmetic unit 108, and the vehicle ahead is a predetermined recognition object, Processing for recognizing pedestrians and road signs can also be performed.
  • the results recognized by the second arithmetic unit 109 and the third arithmetic unit 110 are transferred to the fourth arithmetic unit 111.
  • the vehicle is automatically controlled using information on the vehicle ahead, the pedestrian, the presence / absence of the recognition object as a recognition result of the road sign, the relative distance to the recognition object, and the relative acceleration.
  • the speed amount and the steering amount are calculated and a control instruction is given to the control device of the own vehicle.
  • the fourth arithmetic unit 111 uses the information of the vehicle ahead, the pedestrian, the presence of the recognition target object as the road sign recognition result, the relative distance to the recognition target object, and the relative acceleration information to the driver of the host vehicle.
  • the warning content is determined, the determined warning content is transferred to the meter device of the vehicle, and the driver is warned by a warning display on the meter, voice or the like.
  • the arithmetic devices 108, 109, and 110 are configured such that the arithmetic device 108 is a dedicated arithmetic device (ASIC or FPGA), the arithmetic device 109 is one general-purpose arithmetic device, and the arithmetic device 110 is another general-purpose arithmetic device.
  • ASIC or FPGA dedicated arithmetic device
  • the arithmetic device 109 is one general-purpose arithmetic device
  • the arithmetic device 110 is another arithmetic in the same general-purpose arithmetic device.
  • the whole is a one-chip arithmetic device, and the arithmetic device 108 (ASIC or FPGA), the arithmetic device 109 (one arithmetic core), and the arithmetic device 110 (another one) are included in one arithmetic device. It is also possible to adopt a configuration in which two computation cores) are mounted.
  • FIG. 2 is a processing flow performed by the image area cutout unit 103.
  • the vehicle type such as the vehicle speed, the road type obtained from the map information of the car navigation, the degree of urbanization around the road (inside city, between cities)
  • other external information including external environment information is acquired (external information acquisition unit).
  • the schedule reading process 202 the schedule including the storage unit / arithmetic unit selection function is read based on the external information acquired in the external information reading process 201.
  • the schedule is the recognition application to be executed and the execution timing, the exposure time of the left imaging unit 101 and the right imaging unit 102, the exposure timing, and the image area from the left and right images acquired from the left imaging unit 101 and the right imaging unit 102 And a time-series schedule regarding a method of transferring the extracted image area to the storage units 105, 106, and 107.
  • This schedule is stored in advance in a storage device such as a ROM of the stereo camera 100. Details of the schedule reading process 202 will be described later.
  • the exposure time and exposure timing of the left imaging unit 101 and the right imaging unit 102 read in the schedule reading process 202 are transferred to the controller that controls the imaging of the left imaging unit 101 and the right imaging unit 102.
  • the left image reading process 204 the image data of the left image captured by the left imaging unit 101 is read based on the information transmitted in the exposure time / timing transmission process 203.
  • the left image transfer process 205 the image data of the left image read in the left image read process 204 is stored in the storage units 105, 106, 107 based on the storage unit / arithmetic unit selection schedule read in the schedule read process 202. Then, the data is transferred to a predetermined storage unit.
  • the image data of the right image captured by the right imaging unit 102 is read based on the information transmitted in the exposure time / timing transmission process 203. Then, in the right image transfer process 207, the image data of the right image read in the right image read process 206 is stored in the storage units 105, 106, 107 based on the storage unit / arithmetic unit selection schedule read in the schedule read process 202. Then, the data is transferred to a predetermined storage unit.
  • the external information read in the external information reading process 201 in FIG. 2 is that the own vehicle speed is low, the road type acquired from the map information of the car navigation is a narrow street, and the degree of urbanization around the road is in the city (urban area)
  • Case 1 it is expected that a pedestrian will jump out ahead of the vehicle. Therefore, among the front vehicle detection, pedestrian detection, and road sign recognition, the priority of pedestrian detection is the highest, among them the detection of pedestrians jumping out from the left and right has the highest priority, Processing is second priority. Note that road sign recognition is not executed in the case of such external information because the priority is low. Based on these priorities, a method for transferring the clipped image to the storage units 105, 106, and 107 is determined.
  • Case 2 when the external information read in the external information reading process 201 in FIG. 2 is that the vehicle speed is high and the road type obtained from the map information of the car navigation is a highway (hereinafter, Case 2) Is an important application that detects the vehicle ahead and the warning of overspeed in order to perform the front vehicle tracking function (ACC: Adaptive Cruze Control), and there is a possibility that pedestrians exist in the expressway. Low. Therefore, among vehicle detection, pedestrian detection, and road sign recognition, the vehicle detection has the highest priority, the sign recognition process is the second priority, and pedestrian detection is not executed because the priority is low. Based on these priorities, a method for transferring the clipped image to the storage units 105, 106, and 107 is determined.
  • ACC Adaptive Cruze Control
  • reference numeral 301 indicates a left image captured by the left imaging unit 101
  • reference numeral 302 indicates a right image captured by the right imaging unit 102. Since the stereo camera 100 is installed with a certain distance (baseline length) between the left imaging unit 101 and the right imaging unit 102, the left imaging unit 101 and the right imaging unit 102 capture the same object. There are an overlapping portion 305, a portion 306 imaged only by the left imaging unit 101, and a portion 307 imaged only by the right imaging unit 102.
  • the image used by cutting out from the left image 301 includes a left image overlapping cutout region 303 that is a part of the image cutout region 303 of the overlapping portion 305 of the left and right images, and a portion 306 captured only by the left imaging unit 101.
  • This is a single left image cutout region (left single image region) that is an image cutout region 304.
  • an image to be cut out from the right image 302 and used is a right image overlapping cutout region 303 that is an image cutout region 303 of the overlapping portion 305 of the left and right images, and an image cutout region 310 of a portion 307 that is picked up only by the right imaging unit 102.
  • the image coordinates 308 at the upper left of the cutout region are (uS1, vS1)
  • the image coordinates 309 at the lower right of the cutout region are (uE1, vE1)
  • the image thinning rate is D1
  • the thinning rate D1 is 1, all pixels in the image cut-out area 1 are captured.
  • the thinning rate is 1/2
  • an image is captured every vertical and horizontal pixel
  • the thinning rate is 1/3. Captures an image every 2 pixels vertically and horizontally.
  • the left image overlap cutout area and the right image overlap cutout area which are the image cutout areas 303 of the left image 301 and the right image 302, are used as images for detecting the vehicle ahead in the subsequent recognition process.
  • the left image single cutout area 304 that is the image cutout area 304 of the left image 301 and the right image single cutout area that is the image cutout area 310 of the right image 302
  • the image coordinates at the upper left of the cutout area, and the image coordinates at the lower right of the cutout area is captured according to the image thinning rate.
  • the images of the left image single cutout region and the right image single cutout region are used as images for detecting a pedestrian jumping out from the left and right in front of the vehicle in the subsequent recognition process.
  • Figure 4 shows that the external information read in the external information reading processing 201 is that the own vehicle speed is low, the road type obtained from the map information of the car navigation is a narrow street, and the degree of urbanization around the road is in the city (urban area). It is a figure which shows the schedule in the case of (case 1).
  • FIG. 4 401 on the vertical axis indicates time, and the horizontal axis 412 indicates each device (left imaging unit 101, right imaging unit 102, second storage unit 106, first storage unit 105, third storage unit) in the stereo camera 100.
  • storage part 107, the 1st arithmetic unit 108, the 2nd arithmetic unit 109, the 3rd arithmetic unit 110) are shown, and the operation
  • the first arithmetic unit 108 is a dedicated arithmetic unit that is implemented in hardware so as to perform image distortion correction and parallax calculation processing of the left and right camera images at high speed
  • the third arithmetic unit 110 can perform software processing at high speed.
  • the general-purpose arithmetic device, the second arithmetic device 109, is a general-purpose arithmetic device whose processing speed is slower than that of the third arithmetic device 110.
  • the exposures 402 and 403 are executed at the exposure time and timing (t1) sent to the left imaging unit 101 and the right imaging unit 102. To do.
  • the image data of the left image captured by the left imaging unit 101 by the exposure 402 and the image data of the right image captured by the right imaging unit 102 by the exposure 403 are cut out only in the image cutout area 303 in FIG. 1 is sent to the storage unit 105.
  • the first storage unit 105 is a memory attached to the first arithmetic unit 108.
  • the image data 406 of the image cutout area 303 sent to the first storage unit 105 is subjected to parallax calculation 407 at the timing t2 by the first arithmetic unit 108, and the parallax image 408 that is the output of the calculation result is the first 3 is sent to the storage unit 107.
  • the parallax calculation method will be described later.
  • the third storage unit 107 is a memory attached to the second arithmetic device 109 and the third arithmetic device 110.
  • the parallax image 408 held in the third storage unit 107 is sent to the second arithmetic unit 109.
  • the second arithmetic unit 109 executes a vehicle detection process for detecting a vehicle ahead of the host vehicle at the time t3.
  • the parallax is equivalent to the distance information from the host vehicle (stereo camera 100) .
  • the parallax image is divided into vertical sections and the closest position to the host vehicle.
  • a certain distance is extracted one by one as a representative value, distance data existing nearby in the representative value are grouped, and a group having a certain size or more is defined as a three-dimensional object.
  • a travel plane on which the host vehicle travels is estimated, and a three-dimensional object at the top is detected from the travel plane.
  • Non-Patent Document 1 “Toru Saito, et al .: Development of software for stereo image recognition driving support system, 14th Symposium on Image Sensing Symposium, IN2-14 (2008)”. Are listed. Then, based on the detected size and shape of the three-dimensional object, it is determined whether or not the detected three-dimensional object is a vehicle.
  • the image data 406 held in the first storage unit 105 is also used to determine from the shading pattern information of the image. Therefore, the image data 406 is also transmitted from the first storage unit 105 to the second arithmetic device 109.
  • Non-patent document 2 “Hiroshi Otsuka et al .:“ Development of vehicle detection technology using edge-pair feature space method ”VIEW2005 Vision Technology Practical Workshop Lecture Paper The method of “Summary pp160-165, 2005” is used.
  • the image data captured by the left imaging unit 101 by the exposure 402 is cut out only the image clipping region 304 of the left image 301 in FIG. 3 and sent to the second storage unit 106, and is captured by the right imaging unit 102 by the exposure 403. Only the image cutout area 310 of the right image 302 in FIG. 3 is cut out and sent to the second storage unit 106.
  • the second storage unit 106 is a memory attached to the third arithmetic unit 110, and the image cutout region 304 of the left image 301 and the image cutout region 310 of the right image 302 held in the second storage unit 106 at the time t1.
  • Data 405 is sent to the third arithmetic unit 110.
  • the third arithmetic unit 110 calculates a difference between the received time-series image data 405 and 404 and moves an object (own vehicle) moving toward the center of the image in the left image single cutout region 304 and the right image single cutout region 310.
  • an optical flow of images that are continuous in time series is calculated.
  • Optical flow is a well-known technique that has already been established, and can be calculated by comparing images of two frames and identifying the same object contained in each of the two images.
  • the background other than the moving object is moving due to the movement of the host vehicle
  • the movement of the object that has changed on the image shows a different movement from the movement of the background due to the movement of the vehicle. It is necessary to extract the part.
  • vehicle information such as the vehicle speed and yaw rate, internal parameters of the camera (unit cell size of the image sensor, focal length, distortion parameters) and external parameters (the height of the camera installation)
  • the motion of the background is estimated using geometric conditions such as, depression angle, and rotation angle.
  • Non-Patent Document 3 “Akihiro Kiyohara, et al .: Development of moving object detection technology for vehicle periphery monitoring, Proceedings of Workshop on actual use of ViEW vision technology (2011) pp.59-63” It is described in. Then, from the part where the object moved due to the change in the image, the background movement was canceled and the part showing the movement different from the movement of the background accompanying the movement of the vehicle was extracted. Assume that the pedestrian jumps out from the left and right in front of the vehicle in the part with the size. Thereby, the pedestrian located in both right and left sides with respect to the front of the own vehicle can be detected.
  • the third arithmetic device 110 also detects a pedestrian in front of the host vehicle using the parallax image 408 held in the third storage unit 107 and the image data 406 held in the first storage unit 105. The process is executed at time t3.
  • the same method as the vehicle detection 410 described above can be used to detect a pedestrian, and it is determined whether the detected three-dimensional object is a pedestrian based on the size and shape of the detected three-dimensional object. Accordingly, it is possible to detect a pedestrian on the course ahead of the host vehicle.
  • an image to be cut out from the left image 301 and used is a left image overlapping cutout region which is a partial image region 501 of the overlapping portion 305 of the left and right images, and a right portion from a portion 306 captured only by the left imaging unit 101.
  • This is a left image partial overlap region, which is an image region 502 over a portion 305 that is captured overlapping with the image 302.
  • an image cut out from the right image 302 and used is a right image overlapping cutout region which is a partial image region 503 of the overlapping portion 305 of the left and right images, and a left image from a portion 307 captured only by the right imaging unit 102.
  • This is a right image partial overlap region, which is an image region 503 that covers a portion 305 that is imaged overlapping 301.
  • the image coordinates 504 at the upper left of the cutout area are (uS2, vS2)
  • the image coordinates 505 at the lower right of the cutout area are (uE2, vE2)
  • the image thinning rate is D2.
  • the thinning rate D2 is 1, all the pixels in the image cut-out area 1 are captured.
  • the thinning rate is 1/2
  • an image is captured every vertical and horizontal pixel
  • the thinning rate is 1/3. Captures an image every 2 pixels vertically and horizontally.
  • the left image overlap cutout area and the right image overlap cutout area which are the image cutout areas 501 of the left image 301 and the right image 302, are used as images for detecting a distant vehicle ahead in the recognition process in the subsequent stage.
  • the image coordinates at the upper left of the cutout area and the image coordinates at the lower right of the cutout area is captured according to the image thinning rate.
  • the images of the left image partial overlap region and the right image partial overlap region are used as images for recognizing a road sign ahead of the host vehicle in the subsequent recognition process.
  • FIG. 6 is a diagram showing the schedule of case 2, that is, the schedule when the own vehicle speed is high and the road type acquired from the map information of the car navigation is a highway.
  • the vertical axis 601 indicates time
  • the horizontal axis 602 indicates each device in the stereo camera 100 (left imaging unit 101, right imaging unit 102, second storage unit 106, first storage unit 105, third
  • the first arithmetic unit 108 is a dedicated arithmetic unit that is implemented in hardware so as to perform image distortion correction and parallax calculation processing of the left and right camera images at high speed
  • the third arithmetic unit 110 can perform software processing at high speed.
  • the general-purpose arithmetic device, the second arithmetic device 109, is a general-purpose arithmetic device whose processing speed is slower than that of the third arithmetic device 110.
  • exposures 603 and 604 are executed at the exposure time and timing (t1) sent to the left imaging unit 101 and the right imaging unit 102 in the exposure time / timing reading processing 203 of the processing flow of the image region extraction unit 103 in FIG. .
  • the image data captured by the left imaging unit 101 after exposure 603 and the image data captured by the right imaging unit 102 after exposure 604 are cut out only in the image cutout area 501 in FIG. Sent to part 105.
  • the first storage unit 105 is a memory attached to the arithmetic device 1.
  • the image data 609 of the image cutout area 501 sent to the first storage unit 105 is subjected to parallax calculation 611 at the timing t2 in the first arithmetic unit 108, and the parallax image 610 that is the output of the calculation result is the first 3 is sent to the storage unit 107.
  • the parallax calculation method will be described later.
  • the third storage unit 107 is a memory attached to the second arithmetic device 109.
  • the parallax image 610 held in the third storage unit 107 is sent to the third arithmetic unit 110, and the third arithmetic unit 110 executes a process of detecting a vehicle ahead of the host vehicle at time t3.
  • the method for detecting the vehicle ahead of the vehicle is the same as the vehicle detection process 410 in FIG. 4 described above.
  • exposures 605 and 606 are performed at the exposure time and timing (t2) sent to the left imaging unit 101 and the right imaging unit 102.
  • the exposures 603 and 604 are for images that detect a vehicle ahead, and the exposures 605 and 606 are for images that recognize road signs. Therefore, the exposure times of exposures 605 and 606 are set longer than the exposure times of exposures 603 and 604.
  • the second storage unit 106 is a memory attached to the second arithmetic unit 109.
  • the left and right image data 607 held in the second storage unit 106 and the second storage unit 106 are captured at a timing one cycle before time t2.
  • the image data 608 of the image cutout area 502 and the image cutout area 503 held in the unit 106 is sent to the second arithmetic unit 109.
  • the second arithmetic unit 109 executes a process of recognizing the marker in the image area at the time t3 using the received image data 607.
  • a circular edge is detected in the image to make it a candidate for the place where the sign is present, and the other class identification process is performed using the result of machine learning for the candidate, Recognize letters and numbers.
  • the position of the same image pattern as the sign recognized using the image data 607 in the image data 608 captured one cycle before was predicted and predicted.
  • the similarity between the image pattern of the position and the image pattern of the sign recognized by the image data 607 is calculated, and when the similarity is high, the sign recognized by the image data 607 is determined as a recognition result.
  • FIGS. 4 and 6 show that the external information read by the external information reading process 201 in FIG. 2 is that the own vehicle speed is low, the road type obtained from the map information of the car navigation is a narrow street, and the degree of urbanization around the road is within the city (urban area) Therefore, the pedestrian detection, the vehicle detection, the sign detection, and the lane recognition are performed in descending order of processing priority.
  • FIG. 4 shows the processing schedule of pedestrian detection and vehicle detection, and the remaining sign detection and lane recognition are performed in the free time of processing of the second arithmetic unit 109 and the third arithmetic unit 110. Shall be implemented.
  • the external information read in the external information reading process 201 in FIG. 2 indicates that the vehicle speed is high and the road type acquired from the map information of the car navigation is a highway. , Vehicle detection, sign detection, lane recognition, pedestrian detection.
  • FIG. 6 shows the schedule of the vehicle detection and sign detection processing in the time, and the remaining lane recognition and pedestrian detection are performed in the free time of processing of the second arithmetic device 109 and the third arithmetic device 110. Shall be implemented.
  • the left image input process 901 image data captured by the left imaging unit 101 is received.
  • the right image input process 902 the image data captured by the right imaging unit 102 is received.
  • the left image input processing 901 and the right image input processing 902 may be performed simultaneously as parallel processing.
  • the left and right two images acquired in the left image input process 901 and the right image input process 902 are compared, and a part where the same object is imaged is specified. That is, as shown in FIG. 8, when an object 1001 that is a target object on the traveling road is imaged by the stereo camera 100, the images captured by the left imaging unit 101 and the right imaging unit 102 are the left image 1002 respectively. It looks like the right image 1003.
  • the same object 1001 is imaged at the position of 1004 in the left image 1002 is captured at the position in the right image 1003 in 1005, since the deviation of the d 1 is generated in the lateral direction of the image, 1004 of the left image 1002 It is necessary to specify where in the right image 1003 the object being imaged is captured.
  • the horizontal direction is the u axis 1101 and the vertical direction is the v axis 1102.
  • the correlation value between the image in the rectangular area 1103 and the image in the rectangular area 1104 is compared, and the position of the rectangular area 1105 in the right image 1003 having the highest correlation with the rectangular area 1103 in the left image 1002 (u 4 , v 1 ), (u 4 , v 2 ), (u 4 + (u 2 -u 1 ), v 1 ), (u 4 + (u 2 -u 1 ), v 2 ) in the rectangular area 1103
  • each pixel in the rectangular area 1103 corresponds to each pixel in the rectangular area 1105.
  • the rectangular area 1104 of the right image 1003 is scanned and there is no rectangle whose correlation value exceeds a certain value, there is no corresponding point in the right image 1003 corresponding to the rectangular area 1103 of the left image 1002
  • the rectangular area 1104 of the right image 1003 is scanned and there is no rectangle whose correlation value exceeds a certain value, there is no corresponding point in the right image 1003 corresponding to the rectangular area 1103 of the left
  • the rectangular area of the left image 1002 is shifted to the position 1106, and the same processing is performed. In this way, the rectangular area of the left image 1002 is scanned over the entire left image 1002, and corresponding points in the right image 1003 are obtained for all the pixels of the left image 1002. If no corresponding point is found, there is no corresponding point.
  • distance calculation processing 904 is performed in the flowchart of FIG.
  • the parallax and the distance are equivalent, and in this process, the parallax data is converted into the distance data.
  • the position of how far each corresponding point is from the stereo camera 100 Is calculated.
  • the left imaging unit 101 is a camera with a focal length f and an optical axis 1208 composed of a lens 1202 and an imaging surface 1203, and the right imaging unit 102 is a focal length f and an optical axis composed of a lens 1204 and an imaging surface 1205. 1209 camera. 1201 points in front of the camera is captured (from the optical axis 1208 Distance d 2) a point 1206 of the imaging surface 1203 of the left image capturing unit 101 to the left in the image 1002 point 1206 (from the optical axis 1208 of the d 4 pixel position) It becomes.
  • 1201 points in the camera front is imaged at point 1207 of the imaging surface 1205 of the right imaging unit 102 (the distance from the optical axis 1209 d 3), d 5 pixels from the right in the image 1003 point 1207 (optical axis 1209 Position).
  • the point 1201 of the same object is imaged at the position of d 4 pixels from the optical axis 1208 to the left in the left image 1002, and at the position of d 5 from the optical axis 1209 to the right in the right image 1003, and d 4 + d 5 Pixel parallax occurs. Therefore, if the distance between the optical axis 1208 of the left imaging unit 101 and the point 1201 is x, the distance D from the stereo camera 100 to the point 1201 can be obtained by the following equation.
  • a is the size of the image sensor on the imaging surfaces 1203 and 1205.
  • the distance calculation described above is performed for all the corresponding points calculated in the corresponding point calculation processing 903 described above. As a result, a distance image expressing the distance from the stereo camera 100 to the object can be obtained, and the distance image and the parallax image can be treated as equivalent.
  • selection of a processing unit and a storage unit to be used is selected from a plurality of processing units and storage units in consideration of an image resolution, an image area, and a processing cycle required by a recognition application for detecting an object. It has a function, and some of the selection functions are related to the timing of using the computing device and storage device based on external information such as the external environment information such as the type of road on which the vehicle is traveling and the vehicle behavior information such as the speed of the vehicle. Have information.
  • a necessary recognition application is selected based on external information, and an arithmetic device and a storage unit for executing the recognition application are selected. Therefore, a plurality of necessary storage devices and plural arithmetic devices are necessary.
  • the recognition application can be processed with the required accuracy (processing period, image area, image resolution).
  • FIG. 11 and FIG. 12 are block diagrams illustrating other configuration examples of the first embodiment.
  • the difference from the configuration example shown in FIG. 1 is that the fourth arithmetic unit 111 is built in the vehicle control arithmetic unit 1301.
  • the external environment recognition apparatus includes a stereo camera 100 and a vehicle control arithmetic device 1301.
  • the configuration example shown in FIG. 12 is different from the configuration example shown in FIG. 1 in that the second arithmetic unit 109 and the third arithmetic unit 110 are configured by a multi-core integrated into one chip.
  • the arithmetic device 1601 is a multi-core CPU having two arithmetic cores (second arithmetic device 109 and third arithmetic device 110).
  • the external environment recognition apparatus of the present invention is not limited to the configuration shown in FIG. 1, and various modifications are possible, for example, as in the configuration shown in FIGS.
  • the camera 1401, the camera 1402, the camera 1403, and the camera 1404 are monocular cameras attached to the vehicle, and are installed on the front, rear, left, and right sides of the vehicle, respectively.
  • An image captured by the left imaging unit 101 and the right imaging unit 102 of the stereo camera 100 and an image captured by the camera 1401, the camera 1402, the camera 1403, and the camera 1404 are sent to the image region extraction unit 103.
  • the image area cutout unit 103 cuts out a partial region of an image taken by the left imaging unit 101, the right imaging unit 102, the camera 1401, the camera 1402, the camera 1403, and the camera 1404, and extracts the first storage unit 105 and the second storage unit 106. And transferred to the third storage unit 107.
  • the portions 101 to 111 shown in FIG. 1 except for the camera 1401, the camera 1402, the camera 1403, and the camera 1404 are mounted on the stereo camera 100.
  • the number of cameras that capture the surroundings of the vehicle is not limited to the four cameras 1401, 1402, 1403, and 1404, and any one, two, or three may be used.
  • FIG. 14 is a block diagram illustrating another configuration example of the second embodiment. 13 differs from the configuration example shown in FIG. 13 in that the configuration of the stereo camera 100 is only the left imaging unit 101 and the right imaging unit 102, and the configuration from the image area clipping unit 103 to the fourth arithmetic unit 111 is added to the vehicle control arithmetic unit 1501. It is a point provided.
  • the images captured by the left imaging unit 101 and the right imaging unit 102 of the stereo camera 100 and the images captured by the camera 1401, the camera 1402, the camera 1403, and the camera 1404 are sent to the image region extraction unit 103 of the vehicle control arithmetic device 1501. Sent.
  • the parts 103 to 111 shown in FIG. 13 except for the stereo camera 100, the camera 1401, the camera 1402, the camera 1403, and the camera 1404 are mounted on the vehicle control arithmetic device 1501, and the stereo camera 100 and the camera 1401 as a whole are mounted.
  • the external environment recognition device of the present invention is not limited to the configuration shown in FIG. 13 and can be variously modified as shown in the configuration shown in FIG.
  • the present invention is not limited to the above-described embodiments, and various design changes can be made without departing from the spirit of the present invention described in the claims. Is something that can be done.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

　撮像画像から複数の対象物を検知する際に、必要な精度の検知結果を得ることができる外界認識装置を得ること。　本発明の外界認識装置は、画像を画像処理する複数の処理部と、複数の処理部の少なくとも一つの処理部によって処理されることにより対象物を認識する認識アプリケーションを対象物の種類別に複数格納する認識アプリケーション格納部と、外部環境情報または自車挙動情報の少なくとも一方を含む外部情報を取得する外部情報取得部と、外部情報に基づいて認識アプリケーション格納部から少なくとも一つの認識アプリケーションを選択し、選択された認識アプリケーションを処理するための処理部を複数の処理部の中から選択する選択部を有する。

Description

外界認識装置
　本発明は、自動車の外界の画像情報から物体を検出する外界認識装置に関する。
　車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵、アクセル、ブレーキを自動制御する装置に関して研究開発が行われており、一部の車両には既に搭載されている。その中でも、車両に搭載したカメラで車両の前方の車両や歩行者等の障害物を検出して、ドライバへの警報や自動ブレーキを行うシステムは、車両の安全性向上の面で有効である。
　自動車に搭載したカメラの映像から自動車の周囲の障害物を検知するシステムにおいて、検知対象物の種類が増加する傾向にあり、複数の対象物を同時に検知することが必要である。そのために、１つの撮像素子を共有して複数の対象物を検知する処理を時系列に実行する方法が特許文献１に記載されている。また、カメラの画素数の増加により処理する画像データが増加する傾向にある中で、限られた演算リソースにて検知処理を行う必要があり、その実現方法として、各対象物を検知するために必要な画像領域を切出して処理をする方法が特許文献２に記載されている。
ＷＯ2005/006756 特開2012-222762号公報
齋藤徹、他：ステレオ画像認識運転支援システムのソフトウェアの開発について、第14回画像センシングシンポジウム講演論文集、IN2-14(2008) 大塚裕史　他："エッジペア特徴空間法を用いた車両検知技術の開発"VIEW2005 ビジョン技術の実用化ワークショップ講演論文集 pp160-165, 2005 清原將裕、他：車両周辺監視のための移動体検出技術の開発、ViEWビジョン技術の実利用ワークショップ講演論文集(2011) pp.59-63
　特許文献１に記載の内容は、処理を行う演算装置は１つであることを前提としており、必要な全ての対象物を必要な処理周期で検知処理することができないという問題が残る。また、特許文献２に記載のように、処理する画像領域や解像度を制限して処理負荷を抑える方法では、カメラの個数、カメラの画素数、対象物の種類が増加した場合に、必要な画像解像度で必要な処理周期で検知処理できず、自動車の制御に必要な精度の検知結果を得ることができない。
　本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、撮像画像から複数の対象物を検知する際に、必要な精度の検知結果を得ることができる外界認識装置を提供することである。
　上記課題を解決する本発明の外界認識装置は、車両から外部を撮像した画像を用いて外界を認識する外界認識装置であって、前記画像を画像処理する複数の処理部と、該複数の処理部の少なくとも一つの処理部によって処理されることにより対象物を認識する認識アプリケーションを前記対象物の種類別に複数格納する認識アプリケーション格納部と、外部環境情報または自車挙動情報の少なくとも一方を含む外部情報を取得する外部情報取得部と、該外部情報に基づいて前記認識アプリケーション格納部から少なくとも一つの認識アプリケーションを選択し、該選択された認識アプリケーションを処理するための処理部を前記複数の処理部の中から選択する選択部を有することを特徴としている。
　本発明によれば、撮像画像から複数種類の対象物を検知する際に、限られた構成で必要な精度の検知結果を得られる外界認識装置を提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
第１実施形態における外界認識装置の構成例を説明する図。 画像領域切出し部の処理フローを示した図。 車両が低速の場合の画像の切出し方法を示した図。 車両が低速の場合の処理スケジュールを示した図。 車両が高速の場合の画像の切出し方法を示した図。 車両が高速の場合の処理スケジュールを示した図。 視差算出の処理フローを示した図。 ステレオカメラにおける左右画像の対応点に関して説明する図。 左右画像の対応点の求め方を説明する図。 ステレオカメラにおいて視差から距離を算出する仕方を説明する図。 第１実施形態における外界認識装置の他の構成例を説明する図。 第１実施形態における外界認識装置の他の構成例を説明する図。 第２実施形態における外界認識装置の構成例を説明する図。 第２実施形態における外界認識装置の他の構成例を説明する図。
　次に、本発明の実施形態について図面を用いて以下に説明する。
［第１実施形態］
　本実施形態では、本発明の外界認識装置を、車両に搭載されたステレオカメラの映像を用いて、認識アプリケーションとして自車前方の車両検知、歩行者検知、道路標識認識を同時に実行可能なシステムに適用した場合について説明する。
　まず、図１を用いて本実施形態における外界認識装置の概要について説明する。
　図１は、本発明の装置を実現するブロック図である。ステレオカメラ100は、ステレオカメラ100を搭載した車両から車両前方を撮像するものであり、部分的に重複した範囲を撮像する左右一対の左撮像部101及び右撮像部102を有している。ステレオカメラ100は、演算装置とＲＯＭ、ＲＡＭなどの記憶装置を有するマイクロコンピュータなどのハードウエアと、ハードウエアにより処理されるソフトウエアプログラムとの協働により構成されており、その内部機能として、画像領域切り出し部103と、複数の記憶部105、106、107と、複数の演算装置（処理部）108～111を有している。
　そして、複数の演算装置108～111の少なくとも一つの演算装置によって処理されることにより対象物を認識する認識アプリケーションを対象物の種類別に複数格納する不図示の認識アプリケーション格納部と、外部環境情報または自車挙動情報の少なくとも一方を含む外部情報を取得する外部情報取得部を有している。外部情報には、自車速度や灯火類の点灯の有無、ワイパー動作の有無等の自車の挙動を示す自車挙動情報と、カーナビゲーションの地図情報から取得した道路種別、道路周辺の市街化度合い（都市内、都市間）等の外部環境を示す外部環境情報が含まれている。
　画像領域切出し部103は、左撮像部101、右撮像部102で撮像した画像の一部の領域を切出して、その画像データを複数の記憶部105、106、107の少なくとも一つに転送する。画像領域切出し部103は、外部情報を用いて左右の撮像部101、102で撮像した画像のどの領域を切出し、どの記憶部と演算装置を用いて画像を処理するかを決定する。画像領域切出し部103は、記憶部・演算装置選択機能を有する選択部104を備えており、外部情報に基づいて認識アプリケーション格納部から少なくとも一つの認識アプリケーションを選択し、その選択した認識アプリケーションを処理するための処理部を複数の処理部の中から選択する。そして、その選択した認識アプリケーションに応じて複数の記憶部の中から画像データを記憶させる少なくとも一つの記憶部を選択する。画像領域切出し部103で切り出さ
れた画像領域の画像データは、複数の記憶部である第１記憶部105、第２記憶部106、第３記憶部107の少なくとも一つに転送されて記憶される。
　第１記憶部105、第２記憶部106、第３記憶部107に転送された画像データは、第１演算装置108、第２演算装置109、第３演算装置110で処理が行われる。第１演算装置108は、画像歪み補正と、左右カメラ画像の視差算出処理を高速に演算するようにハード化された専用の演算装置であり、第１演算装置108で処理した結果は、第２記憶部106、第３記憶部107に転送され、第２演算装置109、第３演算装置110でさらに認識処理され、所定の認識対象物である前方の車両、歩行者、道路標識を認識することができる。また同時に、第２演算装置109、第３演算装置110では、第１演算装置108で計算した視差算出結果を用いずに、直接画像データを処理して所定の認識対象物である前方の車両、歩行者、道路標識を認識する処理も行うことができる。
　第２演算装置109、第３演算装置110で認識した結果は、第４演算装置111に転送される。第４演算装置111では、前方の車両、歩行者、道路標識の認識結果である認識対象物の有無、認識対象物までの相対距離、相対加速度の情報を用いて、自車を自動制御する加減速度量、操舵量を計算して自車の制御装置へ制御指示する。また、第４演算装置111では、前方の車両、歩行者、道路標識の認識結果である認識対象物の有無、認識対象物までの相対距離、相対加速度の情報を用いて、自車のドライバに警告する内容を決定し、決定した警告内容を自車のメータ装置に転送し、ドライバにメータ上の警告表示、音声等により警告する。本実施の形態では、図1に記載の全ての部分101～111がステレオカメラ100に実装される。
　ここで、演算装置108、109、110は、演算装置108が専用演算装置(ASICまたはFPGA)、演算装置109が１つの汎用演算装置、演算装置110がもう１つの汎用演算装置とし、全体で３つの処理装置が搭載されている。他の構成例としては、演算装置108が専用演算装置(ASICまたはFPGA)、演算装置109が１つの汎用演算装置内の１つの演算コア、演算装置110が同じ汎用演算装置内のもう１つの演算コアであり、全体で２つの処理装置が搭載されている構成としてもよい。さらに他の構成例としては、全体がワンチップの演算装置であり、１つの演算装置の中に演算装置108(ASICまたはFPGA)、演算装置109(１つの演算コア)、演算装置110(もう１つの演算コア)が実装されている構成としてもよい。
　次に、ステレオカメラ100の画像領域切出し部103で行われる処理について図２を用いて以下に説明する。
　図2は、画像領域切出し部103で行われる処理フローである。まず、外部情報読み込み処理201において、ステレオカメラ100の外部から、自車速度等の自車挙動情報や、カーナビゲーションの地図情報から取得した道路種別、道路周辺の市街化度合い（都市内、都市間）等の外部環境情報を含む外部情報を取得する（外部情報取得部）。そして、スケジュール読み込み処理202において、外部情報読み込み処理201で取得した外部情報に基づき、記憶部・演算装置選択機能を含むスケジュールを読み込む。ここでスケジュールとは、実行する認識アプリケーションおよび実行するタイミング、左撮像部101、右撮像部102の露光時間、露光タイミングと、左撮像部101、右撮像部102から取得した左右画像からの画像領域の切出しと、切出した画像領域の記憶部105、106、107への転送方法に関する時系列のスケジュールである。このスケジュールは、ステレオカメラ100のＲＯＭ等の記憶装置に予め記憶されている。スケジュール読み込み処理202の詳細に関しては後述する。
　次に露光時間・タイミング送信処理203において、スケジュール読み込み処理202で読み込んだ左撮像部101と右撮像部102の露光時間と露光タイミングを左撮像部101と右撮像部102の撮像を制御するコントローラに送信する。そして、左画像読み込み処理204において、露光時間・タイミング送信処理203で送信した情報に基づいて左撮像部101で撮像した左画像の画像データを読み込む。それから、左画像転送処理205において、左画像読み込み
処理204で読み込んだ左画像の画像データを、スケジュール読み込み処理202で読み込んだ記憶部・演算装置選択スケジュールに基づき、記憶部105、106、107のうち、所定の記憶部に転送する。次に右画像読み込み処理206において、露光時間・タイミング送信処理203で送信した情報に基づいて右撮像部102で撮像した右画像の画像データを読み込む。そして、右画像転送処理207において、右画像読み込み処理206で読み込んだ右画像の画像データを、スケジュール読み込み処理202で読み込んだ記憶部・演算装置選択スケジュールに基づき、記憶部105、106、107のうち、所定の記憶部に転送する。
　例えば、図2の外部情報読み込み処理201で読み込んだ外部情報が、自車速度が低速、カーナビゲーションの地図情報から取得した道路種別が細街路、道路周辺の市街化度合いが都市内(市街地)である場合（以下、ケース１）には、歩行者が車両の前方に飛び出して来ることが予想される。したがって、前方の車両検知、歩行者検知、道路標識認識のうち、歩行者検知の優先度が最も高く、その中でも左右から飛び出してくる歩行者の検知が最も優先度が高く、前方の車両検知の処理は2番目の優先度とする。なお、道路標識認識は、優先度が低いので、かかる外部情報の場合には実行しない。これらの優先度に基づいて、切出した画像の記憶部105、106、107への転送方法を決定する。
　また、例えば、図2の外部情報読み込み処理201で読み込んだ外部情報が、自車速度が高速であり、カーナビゲーションの地図情報から取得した道路種別が高速道路であった場合（以下、ケース２）には、前車追従機能(ACC：Adaptive Cruse Control)を行うための前方の車両検知処理と、速度超過の警報が重要なアプリケーションであり、かつ、歩行者が高速道路内に存在する可能性は低い。したがって、車両検知、歩行者検知、道路標識認識のうち、車両検知の優先度が最も高く、標識認識の処理は2番目の優先度とし、歩行者検知は優先度が低いため実行しない。これらの優先度に基づいて、切出した画像の記憶部105、106、107への転送方法を決定する。
　次に、スケジュール読み込み処理202で読み込むスケジュールについて説明する。
　まず、左右画像の切出しに関して図3を用いて説明をする。図３において、符号301が左撮像部101で撮像した左画像を示し、符号302が右撮像部102で撮像した右画像を示す。ステレオカメラ100は、左撮像部101と右撮像部102がある一定の距離(基線長)を持って設置されているため、左撮像部101と右撮像部102が同じ対象物を撮像している重なり部分305と、左撮像部101のみで撮像されている部分306と、右撮像部102のみで撮像されている部分307がある。
　この場合、左画像301から切出して使用する画像は、左右画像の重なり部分305の一部の画像切り出し領域303である左画像重複切り出し領域と、左撮像部101のみで撮像されている部分306の画像切出し領域304である左画像単独切り出し領域（左画像単独領域）である。そして、右画像302から切出して使用する画像は、左右画像の重なり部分305の画像切出し領域303である右画像重複切り出し領域と、右撮像部102のみで撮像されている部分307の画像切出し領域310である右画像単独切り出し領域（右画像単独領域）である。
　左画像301と右画像302の画像切り出し領域303について、切出し領域左上の画像座標308は(uS1、vS1)、切出し領域右下の画像座標309は(uE1、vE1)、画像の間引き率はD1とする。ここで間引き率D1が1の場合は、画像切出し領域1の全画素を取り込み、例えば、間引き率が1/2の場合は、縦横1画素毎に画像を取り込み、間引き率が1/3の場合は、縦横2画素毎に画像を取り込む。
　左画像301と右画像302の画像切り出し領域303である左画像重複切り出し領域と右画像重複切り出し領域は、後段の認識処理において、前方の車両を検知する画像として用いる。左画像301の画像切り出し領域304である左画像単独切り出し領域と右画像302の画像切り出し領域310である右画像単独切り出し領域についても同様に、切出し領域左上の画像座標、切出し領域右下の画像座標、画像間引き率に応じて画像を取り込む。左画像単独切り出し領域と右画像単独切り出し領域の画像は、後段の認識処理において、自車の前方の左右から飛び出してくる歩行者を検知する画像として用いる。
　次に、図4を用いて左撮像部101、右撮像部102の露光時間と露光タイミング、および切出した画像の記憶部105、106、107への転送方法に関する時系列のスケジュールを説明する。
　図4は、外部情報読み込み処理201で読み込んだ外部情報が、自車速度が低速、カーナビゲーションの地図情報から取得した道路種別が細街路、道路周辺の市街化度合いが都市内(市街地)であった場合（ケース１）のスケジュールを示す図である。
　図4において縦軸の401は時刻を示し、横軸412は、ステレオカメラ100内のそれぞれの装置（左撮像部101、右撮像部102、第２記憶部106、第１記憶部105、第３記憶部107、第１演算装置108、第２演算装置109、第３演算装置110）を示し、横軸412の下に時刻401に応じた動作を記載している。ここで、第１演算装置108は、画像歪み補正、左右カメラ画像の視差算出処理を高速に演算するようにハード化された専用演算装置であり、第３演算装置110は高速にソフト処理ができる汎用演算装置、第２演算装置109は、第３演算装置110よりも処理速度が遅い汎用演算装置とする。
　まず、図2の画像領域切出し部103の処理フローの露光時間・タイミング読み込み処理203において、左撮像部101と右撮像部102に送られた露光時間とタイミング(t1)で露光402、403を実行する。露光402によって左撮像部101に撮像された左画像の画像データと、露光403によって右撮像部102に撮像された右画像の画像データは、図3の画像切り出し領域303のみがそれぞれ切り出されて第１記憶部105に送られる。
　第１記憶部105は、第１演算装置108に付属しているメモリである。第１記憶部105に送られた画像切り出し領域303の画像データ406は、第１演算装置108にて時刻t2のタイミングで視差算出407が実行され、その算出結果の出力である視差画像408が第３記憶部107へ送られる。視差算出の方法については後述する。第３記憶部107は、第２演算装置109、第３演算装置110に付属したメモリである。第３記憶部107に保持されている視差画像408は、第２演算装置109に送られる。第２演算装置109は、時刻t3のタイミングで自車前方の車両を検出する車両検知処理を実行する。
　視差は、自車(ステレオカメラ100)からの距離の情報と等価であり、自車前方の車両を検知するには、まず視差画像を縦に分割した区分毎に、最も自車両に近い位置にある距離を１つずつ代表値として抽出し、その代表値の中で近くに存在する距離データどうしをグルーピングし、ある一定以上の大きさのグループを立体物とする。また別途自車が走行する走行平面を推定し、走行平面から上部にある立体物を検出する。この立体物の抽出の処理に関しては、非特許文献１「齋藤徹、他：ステレオ画像認識運転支援システムのソフトウェアの開発について、第14回画像センシングシンポジウム講演論文集、IN2-14(2008)」に記載されている。そして、検出した立体物の大きさと形状に基づき、検出した立体物が車両であるか否かを判定する。
　車両であるかの判定に関しては、第１記憶部105に保持されている画像データ406も利用して、画像の濃淡パターン情報からも判定する。そのため、第１記憶部105からも画像データ406を第２演算装置109に送信する。画像の濃淡パターン情報から車両であるかの判定を行うには、非特許文献２「大塚裕史　他：“エッジペア特徴空間法を用いた車両検知技術の開発”VIEW2005 ビジョン技術の実用化ワークショップ講演論文集 pp160-165, 2005」の手法を利用する。
　一方、露光402により左撮像部101に撮像された画像データは、図3の左画像301の画像切り出し領域304のみを切り出して第２記憶部106に送られ、露光403により右撮像部102に撮像された画像データは、図3の右画像302の画像切り出し領域310のみを切り出して第２記憶部106に送られる。第２記憶部106は、第３演算装置110に付属したメモリであり、時刻t1のタイミングで第２記憶部106に保持された左画像301の画像切り出し領域304及び右画像302の画像切り出し領域310の画像データ404と、時刻t1より1サイクル前のタイミングで撮像され、第２記憶部106に保持されている左画像301の画像切り出し領域304と右画像302の画像切り出し領域310の画像データの画像データ405を第３演算装置110に送る。
　第３演算装置110では、受信した時系列の画像データ405と404の差分を計算して、左画像単独切り出し領域304、右画像単独切り出し領域310内で画像中央方向に向かって動く物体（自車の前方の左右から飛び出してくる歩行者）を検知する処理を時刻t2のタイミングで実行する。時系列の画像から物体が移動した部分を検出するには、まず、時系列に連続する画像のオプティカルフローを算出する。オプティカルフローは、既に確立された公知技術であり、２つのフレームの画像を比較し、２つの画像のそれぞれに含まれる同じ物体を同定することによって算出することができる。
　また、自車が動いていることにより移動物体以外の背景も動いているため、画像上変化して物体が移動した部分の中から、車両の移動に伴う背景の移動とは異なる動きを示している部分を抽出する必要がある。車両の移動に伴う背景の移動を検出するには、車両の速度、ヨーレートといった車両情報とカメラの内部パラメータ（撮像素子のユニットセルサイズ、焦点距離、歪パラメータ）や外部パラメータ（カメラの設置高さ、俯角、回転角度）といった幾何条件を利用して、背景の動きを推定する。
　背景の動きの推定は、非特許文献３「清原將裕、他：車両周辺監視のための移動体検出技術の開発、ViEWビジョン技術の実利用ワークショップ講演論文集(2011) pp.59-63」に記載されている。そして、画像上変化して物体が移動した部分の中から、背景の動きをキャンセルして、車両の移動に伴う背景の移動とは異なる動きを示す部分を抽出した中から、ある一定範囲内の大きさを持つ部分を自車の前方の左右から飛び出してくる歩行者とする。これにより、自車の前方に対して左右両側に位置する歩行者を検知することができる。
　また、第３演算装置110では、第３記憶部107に保持された視差画像408と、第１記憶部105に保持されている画像データ406も利用して、自車前方の歩行者を検知する処理を時刻t3のタイミングで実行する。歩行者を検出するには前述の車両検知410と同じ手法が利用でき、検出した立体物の大きさと形状に基づき、検出した立体物が歩行者であるか否かを判定する。したがって、自車前方の進路上の歩行者を検知することができる。
　次に、自車速度が高速であり、カーナビゲーションの地図情報から取得した道路種別が高速道路であった場合（ケース２）のスケジュールについて説明する。まず、ケース２における左右画像の切出しに関して図５を用いて説明をする。
　図５において、図３と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。この場合、左画像301から切出して使用する画像は、左右画像の重なり部分305の一部の画像領域501である左画像重複切り出し領域と、左撮像部101のみで撮像されている部分306から右画像302と重複して撮像されている部分305に亘る画像領域502である左画像部分重複領域である。そして、右画像302から切出して使用する画像は、左右画像の重なり部分305の一部の画像領域503である右画像重複切り出し領域と、右撮像部102のみで撮像されている部分307から左画像301と重複して撮像されている部分305に亘る画像領域503である右画像部分重複領域である。
　左画像301と右画像302の画像切り出し領域501について、切出し領域左上の画像座標504は(uS2、vS2)、切出し領域右下の画像座標505は(uE2、vE2)、画像の間引き率はD2とする。ここで間引き率D2が1の場合は、画像切出し領域1の全画素を取り込み、例えば、間引き率が1/2の場合は、縦横1画素毎に画像を取り込み、間引き率が1/3の場合は、縦横2画素毎に画像を取り込む。左画像301と右画像302の画像切り出し領域501である左画像重複切り出し領域と右画像重複切り出し領域は、後段の認識処理において、前方の遠方の車両を検知する画像として用いる。
　左画像301の画像切り出し領域502である左画像部分重複領域と右画像302の画像切り出し領域503である右画像部分重複領域についても同様に、切出し領域左上の画像座標、切出し領域右下の画像座標、画像間引き率に応じて画像を取り込む。左画像部分重複領域と右画像部分重複領域の画像は、後段の認識処理において、自車の前方の道路標識を認識する画像として用いる。
　次に、図6を用いて左撮像部101、右撮像部102の露光時間と露光タイミング、および切出した画像の記憶部105、106、107への転送方法に関する時系列のスケジュールを説明する。
　図6は、ケース２のスケジュール、すなわち、自車速度が高速であり、カーナビゲーションの地図情報から取得した道路種別が高速道路であった場合のスケジュールを示す図である。
　図6において縦軸の601は時刻を示し、横軸602は、ステレオカメラ100内のそれぞれの装置（左撮像部101、右撮像部102、第２記憶部106、第１記憶部105、第３記憶部107、第１演算装置108、第２演算装置109、第３演算装置110）を示し、横軸602の下に時刻601に応じた動作を記載している。ここで、第１演算装置108は、画像歪み補正、左右カメラ画像の視差算出処理を高速に演算するようにハード化された専用演算装置であり、第３演算装置110は高速にソフト処理ができる汎用演算装置、第２演算装置109は、第３演算装置110よりも処理速度が遅い汎用演算装置とする。
　まず、図2の画像領域切出し部103の処理フローの露光時間・タイミング読み込み処理203において左撮像部101と右撮像部102に送られた露光時間とタイミング(t1)で露光603、604を実行する。露光603が行われ左撮像部101に撮像された画像データと、露光604が行われ右撮像部102に撮像された画像データは、図5の画像切出し領域501のみがそれぞれ切り出されて第１記憶部105に送られる。
　第１記憶部105は、演算装置1に付属しているメモリである。第１記憶部105に送られた画像切り出し領域501の画像データ609は、第１演算装置108にて時刻t2のタイミングで視差算出611が実行され、その算出結果の出力である視差画像610が第３記憶部107へ送られる。視差算出の方法については後述する。第３記憶部107は、第２演算装置109に付属したメモリである。第３記憶部107に保持されている視差画像610は、第３演算装置110に送られ、第３演算装置110にて自車前方の車両を検出する処理を時刻t3のタイミングで実行する。車前方の車両を検知する方法は、前述の図4の車両検知処理410と同様である。
　次に、図2の画像領域切出し部103の処理フローの露光時間・タイミング読み込み処理203において、左撮像部101と右撮像部102に送られた露光時間とタイミング(t2)で露光605、606を実行する。露光603、604は、前方の車両を検知する画像のためのものであり、露光605、606は、道路標識を認識する画像のためのものである。したがって、露光603、604の露光時間よりも、露光605、606の露光時間のほうを長く設定する。
　露光605が行われ左撮像部101に撮像された画像は、図5の画像切出し領域502の画像領域のみを抽出してその画像データが第２記憶部106に送られる。そして、露光606が行われ右撮像部102に撮像された画像は、図5の画像切出し領域503の画像領域のみを抽出してその画像データが第２記憶部106に送られる。
　第２記憶部106は、第２演算装置109に付属したメモリであり、第２記憶部106に保持された左右の画像データ607と、時刻t2より1サイクル前のタイミングで撮像され、第２記憶部106に保持されている画像切出し領域502と画像切出し領域503の部分の画像データ608を第２演算装置109に送る。
　第２演算装置109では、受信した画像データ607を用いて時刻t3のタイミングで画像領域内の標識を認識する処理を実行する。標識を認識するには、まず画像中から円形状のエッジを検出し標識が存在する箇所の候補とし、その候補に関して機械学習した結果を利用した他クラスの識別処理を行い、候補の箇所の中の文字や数字を認識する。また、自車の速度、ヨーレートの情報を利用して、画像データ607を用いて認識した標識と同じ画像パターンが、1サイクル前に撮像した画像データ608のどの位置にあったかを予測し、予測した位置の画像パターンと画像データ607で認識した標識の画像パターンの類似度を計算し、類似度が高い場合に画像データ607で認識した標識を認識結果として確定する。
　ここで、図4と図6におけるスケジュールにおいて、各アプリケーション(車両検知、歩歩行者検知、標識検知、レーン認識)の処理優先順位に関して述べる。図4は、図2の外部情報読み込み処理201で読み込んだ外部情報が、自車速度が低速、カーナビゲーションの地図情報から取得した道路種別が細街路、道路周辺の市街化度合いが都市内(市街地)であるため、処理優先度が高い順に、歩行者検知、車両検知、標識検知、レーン認識の順とする。図4においては、その中の歩行者検知と車両検知の処理のスケジュールを示しており、残りの標識検知、レーン認識については、第２演算装置109と第３演算装置110の処理の空き時間において実施するものとする。
　また図6においては、図2の外部情報読み込み処理201で読み込んだ外部情報が、自車速度が高速、カーナビゲーションの地図情報から取得した道路種別が高速道路であるため、処理優先度が高い順に、車両検知、標識検知、レーン認識、歩行者検知の順とする。図6においては、その中の車両検知と標識検知の処理のスケジュールを示しており、残りのレーン認識、歩行者検知については、第２演算装置109と第３演算装置110の処理の空き時間において実施するものとする。
＜視差算出方法＞
　次に図4の407と図6の611で実行される視差算出処理の方法について、図７のフローチャートを用いて説明する。
　図７のフローチャートにおいて、まず、左画像入力処理901において、左撮像部101で撮像した画像データを受信する。次に右画像入力処理902において、右撮像部102で撮像した画像データを受信する。ここで、左画像入力処理901と右画像入力処理902を並列処理として同時に行っても良い。
　次に、対応点算出処理903において、左画像入力処理901と右画像入力処理902で取得した左右2枚の画像を比較して、同一物体を撮像している部分を特定する。すなわち、図８に示したように、走行路上にある対象物である物体1001をステレオカメラ100で撮像すると、左の撮像部101と右の撮像部102で撮像された画像は、それぞれ左画像1002、右画像1003のようになる。ここで、同一の物体1001は、左画像1002では1004の位置に撮像され、右画像1003では1005の位置に撮像され、画像の横方向にd1のずれが発生するため、左画像1002の1004に撮像されている物体が、右画像1003のどこに撮像されているかを特定する必要がある。
　次に、左画像1002に撮像されている特定の物体が、右画像1003のどこに撮像されているかを特定する方法について図９を用いて説明する。
　図９において、左画像、右画像の座標系に関して、横方向をu軸1101、縦方向をv軸1102とする。まず、左画像1002において、uv座標系で、(u1,v1)、(u1,v2)、(u2,v1)、(u2,v2)で囲まれた矩形領域1103を設定する。
　次に右画像1003において、(U,v1)、(U,v2)、(U+(u2-u1),v1)、(U+(u2-u1),v2)で囲まれた領域を、Uの値をu=0からu=u3まで増加させ、画像の右方向へこの矩形領域1104まで走査させる。走査させる際、矩形領域1103内の画像と、矩形領域1104内の画像の相関値を比較して、左画像1002の矩形領域1103と相関性が最も高い右画像1003の矩形領域1105の位置(u4,v1)、(u4,v2)、(u4+(u2-u1),v1)、(u4+(u2-u1),v2)に、矩形領域1103に撮像されている物体と同一物体が撮像されているとする。ここで、矩形領域1103内の各画素と、矩形領域1105内の各画素が対応しているとする。ここで、右画像1003の矩形領域1104を走査した際、相関値がある一定以上の値になる矩形がない場合は、左画像1002の矩形領域1103に対応する右画像1003内の対応点は無しとする。
　次に、左画像1002の矩形領域を1106の位置にずらし、同様の処理を行う。このように左画像1002の矩形領域を左画像1002内全体に走査して、左画像1002の全画素に対して、右画像1003内の対応点を求める。対応点が見つからない場合は、対応点無しとする。
　次に図７のフローチャートにおいて、距離算出処理904を行う。ここで視差と距離は等価であり、この処理において視差データから距離データに変換する。
　距離算出処理904では、前述の対応点算出処理903で求めた、同一物体を撮像している左画像1002と右画像1003の対応点に関して、各対応点がステレオカメラ100からどの程度の距離の位置にあるかを算出する。
　まず、図１０を用いて、左画像1002と右画像1003の対応点1201のカメラからの距離を算出する方法を説明する。
　図１０において、左撮像部101は、レンズ1202と撮像面1203から成る焦点距離f、光軸1208のカメラであり、右撮像部102は、レンズ1204と撮像面1205から成る焦点距離f、光軸1209のカメラである。カメラ前方にある点1201は、左撮像部101の撮像面1203の点1206（光軸1208からd2の距離）へ撮像され、左画像1002では点1206（光軸1208からd4画素の位置）となる。同様に、カメラ前方にある点1201は、右撮像部102の撮像面1205の点1207（光軸1209からd3の距離）に撮像され、右画像1003では点1207（光軸1209からd5画素の位置）となる。
　このように同一の物体の点1201が、左画像1002では光軸1208から左へd4画素の位置、右画像1003では光軸1209から右へd5の位置に撮像され、d4+d5画素の視差が発生する。このため、左撮像部101の光軸1208と点1201との距離をxとすると、以下の式により、ステレオカメラ100から点1201までの距離Dを求めることができる。
　　点1201と左の撮像部101との関係から　d2 : f = x : D
　　点1201と右の撮像部102との関係から　d3 : f = (d-x) : D
　従って、D = f × d / (d2 + d3) = f × d / { (d4 + d5 ) × a}　となる。ここで、aは撮像面1203、1205の撮像素子のサイズである。
　以上述べた距離算出を、前述の対応点算出処理903で算出した対応点全てに関して実施する。その結果、ステレオカメラ100から対象物までの距離を表現した距離画像を求めることができ、距離画像と視差画像は等価として扱うことができる。
　本発明では、対象物を検知する認識アプリケーションが必要とする画像解像度、画像領域、処理周期を考慮して、複数の処理部や記憶部の中から、使用する処理部と記憶部を選択する選択機能を持ち、選択機能の中には、自車が走行する道路種別といった外部環境情報や、自車の速度といった自車挙動情報等の外部情報に基いた演算装置と記憶装置を使用するタイミングに関する情報を持つ。
　本発明によれば、外部情報に基づいて必要な認識アプリケーションを選択し、その認識アプリケーションを実行するための演算装置と記憶部を選択するので、限られた記憶装置、演算装置で必要な複数の認識アプリケーションを、必要な精度（処理周期、画像領域、画像解像度）で処理することが可能となる。
＜他の構成例＞
　図１１、図１２は、第１実施形態の他の構成例を説明するブロック図である。
　図１に示す構成例と異なる点は、第４演算装置111が、車両制御演算装置1301の中に内蔵されている点である。外界認識装置は、ステレオカメラ100と車両制御演算装置1301によって構成されている。図１２に示す構成例において、図１に示す構成例と異なる点は、第２演算装置109と第３演算装置110が１チップ化されたマルチコアで構成されている点である。演算装置1601は、２つの演算コア(第２演算装置109、第３演算装置110)を持つマルチコアCPUである。本発明の外界認識装置は、図１に示す構成に限定されるものではなく
、例えば上記した図１１、図１２に示す構成のように、種々の変更が可能である。
［第２実施形態］
　次に、本発明の第２実施形態について図１３を用いて以下に説明する。
　本実施形態において特徴的なことは、車両の前後左右を撮像する４台のカメラをステレオカメラに接続し、車両全周囲の歩行者を検知する構成としたことである。カメラ1401、カメラ1402、カメラ1403、カメラ1404は、車両に取り付けられた単眼カメラであり、車両の前後左右にそれぞれ設置されている。ステレオカメラ100の左撮像部101、右撮像部102で撮像された画像と、カメラ1401、カメラ1402、カメラ1403、カメラ1404で撮像された画像は、画像領域切出し部103へ送られる。
　画像領域切出し部103では、左撮像部101、右撮像部102、カメラ1401、カメラ1402、カメラ1403、カメラ1404で撮像した画像の一部領域を切出して第１記憶部105、第２記憶部106、第３記憶部107へ転送する。
　第２演算装置109、第３演算装置110では、第１演算装置108で計算した視差算出結果を用いて、あるいは用いずに、所定の認識対象物である前方の車両、歩行者、道路標識や、車両全周囲の歩行者を認識する処理が行われる。
　本実施の形態では、カメラ1401、カメラ1402、カメラ1403、カメラ1404を除く図１に記載の部分101～111がステレオカメラ100に実装される。車両の周囲を撮像するカメラは、カメラ1401、カメラ1402、カメラ1403、カメラ1404の４台に限定されるものではなく、いずれか１つ、または２つ、または３つでも良い。
＜他の構成例＞
　図１４は、第２実施形態の他の構成例を説明するブロック図である。
　図１３に示す構成例と異なる点は、ステレオカメラ100の構成を左撮像部101及び右撮像部102のみとし、車両制御演算装置1501に画像領域切り出し部103～第４演算装置111までの構成を設けた点である。
　ステレオカメラ100の左撮像部101、右撮像部102で撮像された画像と、カメラ1401、カメラ1402、カメラ1403、カメラ1404で撮像された画像は、車両制御演算装置1501の画像領域切出し部103へ送られる。
　この構成例では、ステレオカメラ100、カメラ1401、カメラ1402、カメラ1403、カメラ1404を除く図１３に記載の部分103～111が車両制御演算装置1501に実装され、全体として、ステレオカメラ100、カメラ1401、カメラ1402、カメラ1403、カメラ1404、車両制御演算装置1501の６つの筐体で構成されている。本発明の外界認識装置は、図１３に示す構成に限定されるものではなく、例えば上記した図１４に示す構成のように、種々の変更が可能である。
　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
100　ステレオカメラ
101　左撮像部
102　右撮像部
103　画像領域切出し部
104　選択部
105　第１記憶部
106　第２記憶部
107　第３記憶部
108　第１演算装置
109　第２演算装置
110　第３演算装置
111　第４演算装置

Claims (12)

  1. 　車両から外部を撮像した画像を用いて外界を認識する外界認識装置であって、
    　前記画像を画像処理する複数の処理部と、
    　該複数の処理部の少なくとも一つの処理部によって処理されることにより対象物を認識する認識アプリケーションを前記対象物の種類別に複数格納する認識アプリケーション格納部と、
    　外部環境情報または自車挙動情報の少なくとも一方を含む外部情報を取得する外部情報取得部と、
    　該外部情報に基づいて前記認識アプリケーション格納部から少なくとも一つの認識アプリケーションを選択し、該選択された認識アプリケーションを処理するための処理部を前記複数の処理部の中から選択する選択部と、
    　を有することを特徴とする外界認識装置。
  2. 　前記選択部により選択された前記認識アプリケーションに基づいて前記画像の少なくとも一部の画像領域を切り出す画像領域切り出し部と、
    　前記画像領域の画像データを記憶することが可能な複数の記憶部と、を有し、
    　前記選択部は、前記選択された認識アプリケーションに応じて前記複数の記憶部の中から前記画像領域の画像データを記憶させる少なくとも一つの記憶部を選択することを特徴とする請求項１に記載の外界認識装置。
  3. 　前記外部環境情報は、車両が走行する道路の道路種別であることを特徴とする請求項２に記載の外界認識装置。
  4. 　前記認識アプリケーションは、歩行者検知、車両検知、車線検知、道路標識認識のうちの少なくとも１つまたは複数を含むことを特徴とする請求項３に記載の外界認識装置。
  5. 　車両前方を撮像する左右一対の撮像部を有しており、
    　前記複数の処理部は、前記一対の撮像部で撮像された画像の歪み補正と視差算出の少なくとも一方の処理を行う第１処理部と、所定の処理速度で前記認識アプリケーションを処理する第２処理部と、該第２処理部よりも速い処理速度で前記認識アプリケーションを処理する第３処理部とを有していることを特徴とする請求項４に記載の外界認識装置。
  6. 　前記外部情報取得部により前記車両が市街地の細街路を低速で走行中であるとの外部情報を取得した場合に、
    　前記選択部は、前記複数の認識アプリケーションの中から車両検知と歩行者検知を選択し、
    　視差を算出する処理部として前記第１処理部を選択し、該第１処理部により算出された視差に基づいて前記車両検知を実行する処理部として前記第２処理部を選択し、前記歩行者検知を実行する処理部として前記第３処理部を選択することを特徴とする請求項５に記載の外界認識装置。
  7. 　前記画像領域切り出し部は、前記一対の撮像部で撮像された左画像と右画像から互いに重複する部分である左画像重複領域及び右画像重複領域と、左画像のみに撮像されている部分である左画像単独領域と、右画像のみに撮像されている部分である右画像単独領域とを切り出し、
    　前記第１処理部は、前記左画像重複領域の画像データ及び右画像重複領域の画像データを用いて視差を算出し、
    　前記第２処理部は、前記視差に基づいて前記車両検知を実行し、
    　前記第３処理部は、前記左画像重複領域と、前記右画像重複領域と、前記左画像単独領域と、前記右画像単独領域の各画像データから前記歩行者検知を実行することを特徴とする請求項６に記載の外界認識装置。
  8. 　車両の周囲を撮像する少なくとも一つ又は複数の単眼撮像部を有しており、
    　前記画像領域切り出し部は、前記単眼撮像部で撮像された車両周囲画像から画像単独領域を切り出し、
    　前記第３処理部は、前記画像単独領域の画像データから前記歩行者検知を実行することを特徴とする請求項７に記載の外界認識装置。
  9. 　前記複数の記憶部は、前記左画像重複領域と前記右画像重複領域の画像データを記憶する第１記憶部と、前記左画像単独領域と前記右画像単独領域の画像データを記憶する第２記憶部と、前記第１処理部で算出された視差を有する視差画像を記憶する第３記憶部と、を有することを特徴とする請求項７に記載の外界認識装置。
  10. 　前記外部情報取得部により前記車両が高速道路を走行中であるとの外部情報を取得した場合に、
    　前記選択部により前記複数の認識アプリケーションの中から車両検知と道路標識認識が選択され、
    　前記選択部により、視差を算出する処理部として前記第１処理部が選択され、該第１処理部により算出された視差に基づいて前記車両検知を実行する処理部として前記第３処理部が選択され、前記道路標識認識を実行する処理部として前記第２処理部が選択されることを特徴とする請求項５に記載の外界認識装置。
  11. 　前記画像領域切り出し部は、前記一対の撮像部で撮像された左画像と右画像から互いに重複する画像領域である左画像重複領域及び右画像重複領域と、左画像のみに撮像されている部分から右画像と重複して撮像されている部分に亘る画像領域である左画像部分重複領域と、右画像のみに撮像されている部分から左画像と重複して撮像されている部分に亘る画像領域である右画像部分重複領域とを切り出し、
    　前記第１処理部は、前記左画像重複領域と前記右画像重複領域の画像データを用いて視差を算出し、
    　前記第３処理部は、前記視差に基づいて前記車両検知を実行し、
    　前記第２処理部は、前記左画像部分重複領域と右画像部分重複領域の画像データから前記道路標識認識を実行することを特徴とする請求項１０に記載の外界認識装置。
  12. 　前記複数の記憶部は、前記左画像重複領域と前記右画像重複領域の画像データを記憶する第１記憶部と、前記左画像部分重複領域と前記右画像部分重複領域の画像データを記憶する第２記憶部と、前記第１処理部で算出された視差を有する視差画像を記憶する第３記憶部と、を有することを特徴とする請求項１１に記載の外界認識装置。
PCT/JP2015/059023 2014-04-24 2015-03-25 外界認識装置 WO2015163078A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15782468.1A EP3136368A4 (en) 2014-04-24 2015-03-25 External-environment-recognizing apparatus
CN201580019482.8A CN106170828B (zh) 2014-04-24 2015-03-25 外界识别装置
US15/303,228 US10210400B2 (en) 2014-04-24 2015-03-25 External-environment-recognizing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-090494 2014-04-24
JP2014090494A JP6313646B2 (ja) 2014-04-24 2014-04-24 外界認識装置

Publications (1)

Publication Number Publication Date
WO2015163078A1 true WO2015163078A1 (ja) 2015-10-29

Family

ID=54332248

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/059023 WO2015163078A1 (ja) 2014-04-24 2015-03-25 外界認識装置

Country Status (5)

Country Link
US (1) US10210400B2 (ja)
EP (1) EP3136368A4 (ja)
JP (1) JP6313646B2 (ja)
CN (1) CN106170828B (ja)
WO (1) WO2015163078A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139631A (ja) * 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 撮像装置
EP3483832A4 (en) * 2016-07-05 2020-07-22 Hitachi Automotive Systems, Ltd. IMAGE PROCESSING DEVICE

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6838222B2 (ja) * 2016-04-28 2021-03-03 日立Astemo株式会社 車両制御装置、及び車両システム
WO2018020751A1 (ja) * 2016-07-26 2018-02-01 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018019155A (ja) * 2016-07-26 2018-02-01 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN109891471B (zh) * 2016-11-01 2022-02-08 三菱电机株式会社 信息提示方法
US10097719B2 (en) 2016-11-17 2018-10-09 Fuji Xerox Co., Ltd. Printer and mobile information processing apparatus
US10133528B2 (en) 2016-11-28 2018-11-20 Fuji Xerox Co., Ltd. Information processing apparatus, printer, and non-transitory computer readable medium
US11391579B2 (en) 2017-01-27 2022-07-19 Cpac Systems Ab Method for forming a local navigation path for an autonomous vehicle
KR102394905B1 (ko) * 2017-12-27 2022-05-09 현대자동차주식회사 차량 및 그 제어 방법
JP6994982B2 (ja) * 2018-02-27 2022-01-14 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP7106332B2 (ja) * 2018-04-17 2022-07-26 日立Astemo株式会社 外界認識装置
JP2020013332A (ja) * 2018-07-18 2020-01-23 トヨタ自動車株式会社 画像認識装置
JP7120835B2 (ja) * 2018-07-18 2022-08-17 トヨタ自動車株式会社 画像処理装置
JP7427594B2 (ja) * 2018-08-22 2024-02-05 日立Astemo株式会社 画像処理装置
JP7052660B2 (ja) * 2018-09-25 2022-04-12 トヨタ自動車株式会社 学習画像選別装置
WO2020116205A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2020164045A (ja) * 2019-03-29 2020-10-08 マツダ株式会社 車両走行制御装置
JP2020205498A (ja) * 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置
CN110378854B (zh) * 2019-07-17 2021-10-26 上海商汤智能科技有限公司 机器人图像增强方法及装置
US11724641B2 (en) * 2021-01-26 2023-08-15 Ford Global Technologies, Llc Hazard condition warning for package delivery operation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302325A (ja) * 1994-04-30 1995-11-14 Suzuki Motor Corp 車載用画像認識装置
JP2005242759A (ja) * 2004-02-27 2005-09-08 National Institute Of Information & Communication Technology 行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011100338A (ja) * 2009-11-06 2011-05-19 Hitachi Automotive Systems Ltd 車載用マルチアプリ実行装置
JP2012222762A (ja) * 2011-04-14 2012-11-12 Hitachi Automotive Systems Ltd 画像処理装置
US20130060522A1 (en) * 2011-03-04 2013-03-07 Audi Ag Method for emulating an environmental sensor in a motor vehicle and for testing an anticipatory safety system, and an emulation system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2723504C (en) * 1998-10-30 2014-04-29 Virnetx, Inc. An agile network protocol for secure communications with assured system availability
JP4153522B2 (ja) 2003-07-11 2008-09-24 株式会社日立製作所 画像処理カメラシステム及び画像処理カメラ制御方法
US7444004B2 (en) * 2004-03-29 2008-10-28 Fujifilm Corporation Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
WO2010038851A1 (ja) * 2008-10-02 2010-04-08 日立オートモティブシステムズ株式会社 車両走行に関する情報処理装置
JP2010224670A (ja) 2009-03-19 2010-10-07 Honda Motor Co Ltd 車両の周辺監視装置
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
JP5834232B2 (ja) 2011-01-17 2015-12-16 パナソニックＩｐマネジメント株式会社 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
JP2012226689A (ja) 2011-04-22 2012-11-15 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
EP2669846B1 (en) * 2012-06-01 2017-11-01 Ricoh Company, Ltd. Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
JP6014440B2 (ja) * 2012-09-26 2016-10-25 日立オートモティブシステムズ株式会社 移動物体認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302325A (ja) * 1994-04-30 1995-11-14 Suzuki Motor Corp 車載用画像認識装置
JP2005242759A (ja) * 2004-02-27 2005-09-08 National Institute Of Information & Communication Technology 行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2011100338A (ja) * 2009-11-06 2011-05-19 Hitachi Automotive Systems Ltd 車載用マルチアプリ実行装置
US20130060522A1 (en) * 2011-03-04 2013-03-07 Audi Ag Method for emulating an environmental sensor in a motor vehicle and for testing an anticipatory safety system, and an emulation system
JP2012222762A (ja) * 2011-04-14 2012-11-12 Hitachi Automotive Systems Ltd 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3136368A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017139631A (ja) * 2016-02-04 2017-08-10 日立オートモティブシステムズ株式会社 撮像装置
EP3413015A4 (en) * 2016-02-04 2019-09-04 Hitachi Automotive Systems, Ltd. IMAGING DEVICE
US11650052B2 (en) 2016-02-04 2023-05-16 Hitachi Astemo, Ltd. Imaging device
EP3483832A4 (en) * 2016-07-05 2020-07-22 Hitachi Automotive Systems, Ltd. IMAGE PROCESSING DEVICE

Also Published As

Publication number Publication date
EP3136368A4 (en) 2017-11-29
CN106170828B (zh) 2020-04-03
CN106170828A (zh) 2016-11-30
JP6313646B2 (ja) 2018-04-18
JP2015210592A (ja) 2015-11-24
US20170039434A1 (en) 2017-02-09
US10210400B2 (en) 2019-02-19
EP3136368A1 (en) 2017-03-01

Similar Documents

Publication Publication Date Title
JP6313646B2 (ja) 外界認識装置
JP4654163B2 (ja) 車両の周囲環境認識装置及びシステム
US9679196B2 (en) Object sensing device
JP5690688B2 (ja) 外界認識方法，装置，および車両システム
JP6407626B2 (ja) 物体認識装置及び車両制御システム
CN109074742B (zh) 周边认知装置、周边认知方法和计算机可读取的记录介质
JP6457278B2 (ja) 物体検出装置及び物体検出方法
JP4755227B2 (ja) 物体を認識するための方法
JP2013225289A (ja) 複眼カメラ装置、及びそれを備えた車両
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
US10803307B2 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
JP7454685B2 (ja) 車両走行路内のデブリの検出
JP7031157B2 (ja) 物体検出方法及び物体検出装置
JP2010092353A (ja) 画像処理装置及び画像処理方法
JP2010041322A (ja) 移動体識別装置、画像処理装置、コンピュータプログラム及び光軸方向特定方法
CN114746915B (zh) 信号机识别方法及信号机识别装置
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
JP2017182139A (ja) 判定装置、判定方法、および判定プログラム
US11679769B2 (en) Traffic signal recognition method and traffic signal recognition device
JP4432730B2 (ja) 車両用道路標示検出装置
JP7323716B2 (ja) 画像処理装置および画像処理方法
RU2779773C1 (ru) Способ распознавания светофора и устройство распознавания светофора
JP6082293B2 (ja) 車両用白線認識装置
WO2022130780A1 (ja) 画像処理装置
JP2020101935A (ja) 画像認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15782468

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015782468

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015782468

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15303228

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE