WO2019073920A1 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents
情報処理装置、移動装置、および方法、並びにプログラム Download PDFInfo
- Publication number
- WO2019073920A1 WO2019073920A1 PCT/JP2018/037346 JP2018037346W WO2019073920A1 WO 2019073920 A1 WO2019073920 A1 WO 2019073920A1 JP 2018037346 W JP2018037346 W JP 2018037346W WO 2019073920 A1 WO2019073920 A1 WO 2019073920A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- distance
- image
- camera
- information
- unit
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims description 138
- 238000004364 calculation method Methods 0.000 claims description 227
- 238000012545 processing Methods 0.000 claims description 110
- 238000001514 detection method Methods 0.000 claims description 75
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000003672 processing method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 abstract description 25
- 230000008569 process Effects 0.000 description 123
- 238000004458 analytical method Methods 0.000 description 81
- 238000004891 communication Methods 0.000 description 37
- 230000010391 action planning Effects 0.000 description 21
- 230000001133 acceleration Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282994 Cervidae Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present disclosure relates to an information processing device, a mobile device, a method, and a program. More specifically, the present invention relates to an information processing apparatus, a moving apparatus, a method, and a program for calculating a distance and a position of an object outside a distance sensor detection area using a camera captured image.
- Examples of distance measuring devices for calculating the distance of an object include the following devices.
- a lidar LiDAR: Light Detection and Ranging, Laser Imaging Detection and Ranging
- B Radar
- C Stereo camera that calculates the distance of an object in a captured image by corresponding point analysis of the captured image of two cameras
- distance measuring devices such as LiDAR and stereo cameras are mounted only in front of a car, for example, and relatively low cost cameras are mounted at four places in the front, rear, left and right of the car.
- the camera for example, an around view photographing camera using a wide angle lens or the like is used.
- front sensing is definitely important for detecting an obstacle ahead of the vehicle in the traveling direction.
- overtaking, merging processing, or traveling on a road where oncoming vehicles are performed are performed, and for safe driving, obstacles such as vehicles and walls not only in front but also in side and rear are detected. It is important to confirm the distance of obstacles.
- Patent Document 1 Japanese Patent Laid-Open No. 2014-169922 discloses a method of improving the distance detection accuracy of an object by combining a millimeter wave output by a radar and a photographed image of a camera.
- Patent Document 1 is configured to use two different sensor information of the millimeter wave detection information of the radar and the photographed image. Therefore, in order to measure the distance to the object in all directions in the front, rear, left, and right of the car, it is necessary to mount the radar and the camera in all directions in the front, rear, left, and right of the car. There is.
- the present disclosure has been made in view of the above problems, for example, and it is possible to calculate the distance and position of an object other than the sensing area of a distance measurement device without mounting a large number of expensive distance measurement devices on a moving object. It is an object of the present invention to provide an information processing apparatus, a mobile apparatus, a method, and a program.
- the first aspect of the present disclosure is An object detection unit that detects an object based on an image captured by a camera; And an object distance calculation unit that calculates a distance to the object, The object distance calculation unit The information processing apparatus may calculate a distance to an object based on actual size information of the object and a captured image of the object.
- a second aspect of the present disclosure is: A forward camera that captures a forward image of the mobile device; A distance sensor that measures the distance to an object in the forward direction of the moving device; A second direction camera for capturing a second direction image other than the front direction of the moving device; An object distance calculation unit which receives a second direction image captured by the second direction camera and calculates a distance to an object in the second direction image; A planning unit that determines a path of the moving device based on the distance information to the object calculated by the object distance calculation unit; It has an operation control unit that performs operation control of the mobile device according to the route determined by the planning unit, The object distance calculation unit The moving device may calculate a distance to the object based on real size information of the object and a captured image of the object included in the second direction image.
- the third aspect of the present disclosure is: An information processing method to be executed in the information processing apparatus;
- the object distance calculation unit has an object distance calculation step of inputting an image captured by a camera and calculating a distance of an object in the image;
- the object distance calculating step is
- the present invention is an information processing method for calculating the distance to an object by applying the actual size information of the object and the image information of an image object included in the captured image.
- a fourth aspect of the present disclosure is: A mobile device control method to be executed in the mobile device;
- the moving device is A forward camera that captures a forward image of the mobile device;
- a distance sensor that measures the distance to the object in the forward direction of the moving device;
- a second direction camera for capturing a second direction image other than the forward direction of the moving device is mounted,
- An object distance calculation step in which an object distance calculation unit inputs an image captured by a camera and calculates a distance of an object in the image;
- a planning step in which a planning unit inputs object distance information calculated by the object distance calculation unit to determine a path of the moving device;
- the operation control unit executes an operation control step of performing operation control of the mobile device according to the route determined by the planning unit,
- the object distance calculating step is
- the moving device control method may be a step of calculating the distance to the object by applying the actual size information of the object and the image information of the image object included in the second direction image.
- a fifth aspect of the present disclosure is: A program that causes an information processing apparatus to execute information processing,
- the object distance calculation unit has an object distance calculation step of inputting an image taken by a camera and calculating the distance of an object in the image;
- the program may There is provided a program for calculating the distance to the object by applying the actual size information of the object and the image information of the image object included in the photographed image.
- a sixth aspect of the present disclosure is: A program for causing a mobile device to execute mobile device control processing,
- the moving device is A forward camera that captures a forward image of the mobile device;
- a distance sensor that measures the distance to the object in the forward direction of the moving device;
- a second direction camera for capturing a second direction image other than the forward direction of the moving device is mounted,
- the program is An object distance calculation step of inputting an image photographed by a camera to an object distance calculation unit and calculating a distance of an object in the image; Planning the input of the object distance information calculated by the object distance calculation unit to the planning unit to determine the path of the moving device; Causing the operation control unit to execute an operation control step of performing operation control of the mobile device according to the route determined by the planning unit;
- the present invention is a program for calculating the distance to the object by applying the actual size information of the object and the image information of the image object included in the second direction image.
- the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium that provides various program codes in a computer-readable format to an information processing apparatus or computer system capable of executing the program code.
- a storage medium or a communication medium that provides various program codes in a computer-readable format to an information processing apparatus or computer system capable of executing the program code.
- a system is a logical set composition of a plurality of devices, and the device of each composition is not limited to what exists in the same case.
- a configuration is realized that calculates the distance and the position of an object included in an image in a direction in which distance measurement by the distance sensor can not be performed.
- it has an object distance calculation unit which inputs a photographed image by a camera and calculates the distance of an object in the image, and the object distance calculation unit is included in the actual size information of the object and the photographed image
- the image information of the image object is applied to calculate the distance to the object.
- the object position calculation unit calculates the object position using the calculation information of the object distance calculation unit and the image information.
- the actual size of the object is acquired based on the captured image in the direction in which the distance can be measured by the distance sensor.
- FIG. 1 illustrates one embodiment of a mobile device 10 of the present disclosure.
- the mobile device 10 is an automobile (vehicle)
- the configuration and processing of the present disclosure can be used in various mobile devices other than automobiles. is there.
- the present invention can be applied to various moving devices such as robots (walking type, running type), flying objects such as drone, or devices moving on or under water such as ships, submarines and the like.
- the moving apparatus 10 is equipped with a plurality of cameras and one distance sensor.
- the attached camera is the following camera.
- a forward camera 11 that captures the forward direction of the moving device 10
- a rear direction camera 12 for photographing the rear direction of the moving device 10
- a left direction camera 13 for capturing the left direction of the moving device 10
- a right direction camera 14 that captures the right direction of the moving device 10, These four cameras.
- a camera that performs normal image shooting or a camera (single-eye camera) equipped with a wide-angle lens such as a fisheye lens can be used.
- the distance sensor mounted on the moving device 10 is one of the following distance sensors.
- the distance sensor 21 is configured, for example, by any one of the following devices.
- a lidar LiDAR: Light Detection and Ranging, Laser Imaging Detection and Ranging
- B Radar
- C Stereo camera that calculates the distance of an object in a captured image by corresponding point analysis of the captured image of two cameras
- the distance sensor 21 is not limited to any of the above devices, and other existing distance measuring devices can be used.
- the moving device 10 includes one forward distance sensor 21 capable of measuring the distance to an object in the forward direction, and four cameras 11 to 14 capable of capturing images in all directions, front and rear, right and left, and all directions. It is attached.
- the moving apparatus 10 is the moving apparatus 10 described with reference to FIG. 1 and is equipped with one forward distance sensor 21 and four cameras 11 to 14 capable of capturing images in all directions, front and rear, right and left, and all directions. It is a moving device 10.
- the upper direction of the drawing is the front, and the moving device 10 moves (travels) in the front direction.
- the oncoming vehicle 30 On the right front of the moving device 10, and the oncoming vehicle 30 travels downward in the drawing.
- the oncoming vehicle 30 approaches the direction of the mobile device 10 as time passes, and is set to pass on the right side of the mobile device 10.
- FIG. Front camera image capturing area 11a Rearward camera image capturing area 12a, Left direction camera image capturing area 13a, Right direction camera image capturing area 14a, Forward distance sensor measurable area 21a
- the image capturing area by the four cameras 11 to 14 covers the entire peripheral area of the moving device 10.
- the forward distance sensor measurable area 21 a which is an object distance measurable area by the forward distance sensor 21, is only the front area of the moving device 10.
- the moving apparatus 10 can confirm the oncoming vehicle 30 from the photographed image of the front direction camera 11, and can further acquire the distance of the oncoming vehicle 30 measured by the front direction distance sensor 21. .
- the automatic driving device provided in the moving device 10 or the action planning unit in the driving support device may use the captured image information of the forward camera 11 and the distance information of the oncoming vehicle 30 measured by the forward distance sensor 21. Based on the input information, it is possible to set a route so as to avoid a collision with the oncoming vehicle 30.
- the oncoming vehicle 30 approaches the direction of the moving device 10 and passes by on the right side of the moving device 10. In this process, the oncoming vehicle 30 moves to the outside of the forward distance sensor measurable area 21a.
- the position of the oncoming vehicle 30 after a predetermined time has elapsed will be described with reference to FIG. After a predetermined time has elapsed from the setting shown in FIG. 2, the oncoming vehicle 30 passes the right side of the moving device 10 as shown in FIG. 3.
- the moving apparatus 10 can only confirm the oncoming vehicle 30 from the captured image of the right direction camera 14, and the distance of the oncoming vehicle 30 can not be acquired by the distance sensor.
- the mobile apparatus 10 of the present disclosure or the information processing apparatus mounted inside the mobile apparatus 10 is thus capable of displaying the distance of the object, that is, shown in FIG. 3 even when the distance detection information by the distance sensor can not be obtained. It is possible to calculate the distance to an object such as an oncoming vehicle 30.
- the configuration of the present disclosure will be described.
- FIG. 4 is a block diagram showing an exemplary configuration of an information processing apparatus mounted on the mobile apparatus 10 of the present disclosure.
- the information processing apparatus 50 outputs, as sensor detection information, output information of the distance sensor 40 and camera captured images of the forward camera 41, the backward camera 42, the left camera 43, and the right camera 44. Based on the input information, the distance and position of the object in all directions are calculated.
- the distance sensor 40 is a sensor in which only the forward direction of the moving device 10 is a distance measurable area.
- the forward camera 41, the backward camera 42, the left camera 43, and the right camera 44 can capture images of all directions in the front, rear, left, and right of the moving apparatus 10 as described with reference to FIGS. 2 and 3 There is.
- the information processing apparatus 50 includes a distance sensor output information analysis unit 51, an object detection unit 52, an object tracking and analysis unit 53, an object distance calculation unit 54, an object position and actual size calculation unit 55, and object information.
- a storage unit 56 and an object position calculation unit 57 are provided.
- the distance sensor output information analysis unit 51 receives sensor information output from the distance sensor 40, and analyzes all the distances in the area detectable by the sensor based on the sensor information. For example, a depth map indicating distance information of all distances in the area of the detectable range is generated.
- the distance sensor 40 is a sensor in which only the forward direction of the moving device 10 is the distance measurable area
- the distance sensor output information analysis unit 51 is the moving device 10. Analyze only the distance of the forward region of
- the object detection unit 52 receives the forward camera 41, the backward camera 42, the left camera 43, the right camera 44, and these camera-captured images, and detects an object from each image.
- the object is, for example, an object such as an oncoming vehicle described with reference to FIGS. 2 and 3.
- the objects include vehicles such as oncoming vehicles and leading vehicles, pedestrians, card rails, side walls, and all other objects that can be obstacles to the movement of the moving device 10.
- the object tracking & analysis unit 53 executes tracking processing of the object detected by the object detection unit 52. That is, an identifier (ID) is set to each of the objects detected from the image, and each object is tracked according to the movement on the image. Furthermore, the object tracking & analysis unit 53 acquires the size (for example, the number of pixels of vertical (h) ⁇ horizontal (w) on the image of the object for which the object ID is set) and the feature information of the object.
- the feature information of the object is, for example, features such as the color, shape, and pattern of the object.
- the object tracking & analysis unit 53 The correspondence data of the object ID, the object image size, and the object feature information is output to the object distance calculation unit 54 together with the camera captured image.
- the object distance calculation unit 54 receives the following information from the distance sensor output information analysis unit 51 and the object tracking and analysis unit 53, respectively.
- the object distance calculation unit 54 inputs these pieces of information and calculates the distance of the object included in the image, that is, the object distance.
- the calculation processing of the distance to the object performed by the object distance calculation unit 54 is different processing in the following two cases. (1) When the camera shot image input from the object tracking & analysis unit 53 is a shot image of the forward direction camera 41, (2) When the camera captured image input from the object tracking and analysis unit 53 is a captured image of a camera other than the forward camera 41, that is, a captured image of the backward camera 42, the left camera 43, and the right camera 44
- the object included in the camera captured image is measured by the distance sensor 40. It is possible to calculate the distance to the object immediately by using the measurement information of the distance sensor, which is included in the possible area.
- the camera captured image input from the object tracking & analysis unit 53 is a captured image of the backward camera 42, the left camera 43, and the right camera 44 other than the forward camera 41.
- the object included in the camera-captured image is outside the distance measurable area of the distance sensor 40, and the distance to the object can not be calculated using the measurement information of the distance sensor.
- the object distance calculation unit 54 calculates the distance to the object using the input information from the object tracking & analysis unit 53, that is, the camera captured image and the storage information of the object information storage unit 56. Details of this process will be described later.
- the object distance calculation unit 54 calculates the distance to the object of the detected object from the image, it calculates the distance to the calculated object, for example, to the object such as the action planning unit that sets the movement path (path) of the moving device. Output to a module that uses distance.
- the action planning unit included in the moving device 10 refers to the distance to the object calculated by the object distance calculation unit 54, and sets the movement route so as not to touch an object such as an oncoming vehicle, and travels. Will do.
- the object distance calculation unit 54 executes the following processing only when the image subjected to the object distance calculation processing is a photographed image of the forward direction camera 41.
- the object distance calculation unit 54 includes object distance information of an object included in a captured image of the forward direction camera 41 and input information from the object tracking and analysis unit 53, that is, Camera shot image (shot image of front direction camera 41), Corresponding data between object ID and object image size, These data are output to the object position & real size calculation unit 55.
- the object position & actual size calculation unit 55 receives the information input from the object distance calculation unit 54, that is, Camera shot image (shot image of front direction camera 41), Corresponding data between object ID and object image size, Object distance information, These data are used to calculate the actual size of the object and the position of the object. The details of the process of calculating the actual size of the object and the position will be described later.
- the object position & actual size calculation unit 55 calculates the actual size and position of the object included in the captured image of the forward direction camera 41, and outputs the calculated object position to an object information utilization module such as an action planning unit. Furthermore, the object position & actual size calculation unit 55 stores the calculated object actual size in the object information storage unit 56 in association with the object ID and the object feature information.
- the object information storage unit 56 includes Object ID, Object real size, Object feature information (color, shape, pattern, etc.) These pieces of information are recorded as corresponding data in object units. Note that these are all objects whose distances are measured by the distance sensor 40, and in the present embodiment are objects included in an image captured by the forward camera 41.
- the object position calculation unit 57 calculates the position of an object in a captured image of a camera other than the forward camera 41, that is, the backward camera 42, the left camera 43, and the right camera 44. Details of this process will be described later.
- the object position information calculated by the object position calculation unit 57 is output to an object information use module such as an action planning unit, and is used to set the route of the mobile device.
- the object distance calculation process executed by the object distance calculation unit 54 is different in the following two cases. (1) When the camera shot image input from the object tracking & analysis unit 53 is a shot image of the forward direction camera 41, (2) When the camera captured image input from the object tracking & analysis unit 53 is a captured image of the rear direction camera 42 other than the forward direction camera 41, the left direction camera 43, and the right direction camera 44,
- the object included in the camera captured image is measured by the distance sensor 40. It is possible to calculate the distance to the object immediately by using the measurement information of the distance sensor, which is included in the possible area.
- the camera captured image input from the object tracking & analysis unit 53 is a captured image of the backward camera 42, the left camera 43, and the right camera 44 other than the forward camera 41.
- the object included in the camera-captured image is outside the distance measurable area of the distance sensor 40, and the distance to the object can not be calculated using the measurement information of the distance sensor.
- the object distance calculation unit 54 calculates the distance to the object using the input information from the object tracking & analysis unit 53, that is, the camera captured image and the storage information of the object information storage unit 56.
- the object position & actual size calculation unit 55 calculates the position and the size of the object included in the image captured by the forward direction camera 41. Further, the object position calculation unit 57 calculates the position of an object included in any one of the photographed images of the backward camera 42, the left camera 43 or the right camera 44 which is a camera other than the forward camera 41.
- the processing example described below is a processing example in the case where the distance of an object in a camera captured image can be calculated using the measurement information of the distance sensor as it is.
- the distance sensor 40 is mounted in front of the moving device 10, and the distance of an object in the captured image of the forward camera 41 is calculated using the measurement information of the distance sensor 40 as it is. be able to.
- FIG. 6 is a diagram for explaining an example of processing when the information processing apparatus 50 calculates the distance of an object included in the captured image of the forward camera 41 by inputting the captured image of the forward camera 41.
- FIG. 6 the flow of data generated when the image captured by the front direction camera 41 is input is indicated by thick arrows.
- sensor output from the distance sensor 40 is performed for an area overlapping with the photographing area of the photographed image of the forward camera 41, That is, distance information can be input.
- the distance sensor output information analysis unit 51 receives sensor information output from the distance sensor 40, and generates distance information of a detection range by the sensor, that is, a forward region of the moving device 10 based on the sensor information.
- the object detection unit 52 receives a camera-captured image of the front direction camera 41 and detects an object from the front direction image.
- the objects include all objects that can be obstacles to the movement of the mobile device 10, such as vehicles, pedestrians, card rails, and the like.
- the object tracking & analysis unit 53 executes tracking processing of the object detected by the object detection unit 52 to set an object ID to each object, and further, an object image size (for example, vertical (h) ⁇ horizontal (w) And the feature information (color, shape, pattern, etc.) of the object.
- the object tracking & analysis unit 53 The correspondence data of the object ID, the object image size, and the object feature information is output to the object distance calculation unit 54 together with the camera captured image.
- the object distance calculation unit 54 receives the following information from the distance sensor output information analysis unit 51 and the object tracking and analysis unit 53, respectively.
- the object distance calculation unit 54 inputs these pieces of information and calculates the distance of the object included in the image, that is, the distance to the object.
- the camera captured image input from the object tracking and analysis unit 53 is a captured image of the forward camera 41, and an object included in the forward camera captured image is a distance measurable area of the distance sensor 40. It is inside. Therefore, the object distance calculation unit 54 can immediately calculate the distance to the object using the sensor information of the distance sensor 40, that is, the output information of the distance sensor output information analysis unit 51.
- the object distance calculation unit 54 calculates the distance to the object of the detected object from the captured image of the forward direction camera 41, and then sets the calculated distance to the object, for example, the movement plan (path) of the moving device. Output to a module that uses the object distance, such as a module.
- the action planning unit included in the moving device 10 refers to the distance to the object calculated by the object distance calculation unit 54, and sets the movement route so as not to touch an object such as an oncoming vehicle, and travels. Will do.
- the object distance calculation unit 54 receives object distance information of an object included in a captured image of the forward direction camera 41 and input information from the object tracking & analysis unit 53, that is, Camera shot image (shot image of front direction camera 41), Corresponding data between object ID and object image size, These data are output to the object position & real size calculation unit 55.
- the object position & actual size calculation unit 55 receives the information input from the object distance calculation unit 54, that is, Camera shot image (shot image of front direction camera 41), Corresponding data between object ID and object image size, Object distance information, These data are used to calculate the actual size of the object and the position of the object. The details of the process of calculating the actual size of the object and the position will be described with reference to FIG.
- the horizontal axis corresponding to the horizontal direction pixel of the image is U axis
- the vertical axis corresponding to the vertical direction pixel of the image is V axis.
- Horizontal pixel count W Image.
- the origin O is set at the lower end of the pixel in the vertical direction, and at the midpoint of the pixel number W in the horizontal direction.
- an object image object is captured. This image object corresponds to, for example, the oncoming vehicle 30 shown in FIG.
- An object detection frame is shown in front of the image object.
- the coordinates of the lower left corner of the object detection frame are (u1, v1),
- the coordinates of the upper right corner of the object detection frame are (u2, v2), It is.
- Coordinates (u1, v1) and (u2, v2) indicating these object areas are coordinate information that can be acquired from the camera captured image.
- the position of the object in the forward shot camera image shown in FIG. 7 (2), the XZ coordinate space shown in the processing example of the actual size calculation processing corresponds to the real space.
- the camera position of the forward camera is taken as the origin (camera origin O)
- the axis (left / right axis) perpendicular to the camera shooting direction (forward direction) is taken as the horizontal axis X axis
- the Z axis shown in the figure as the vertical axis is the camera optical axis This corresponds to (camera shooting direction).
- the Z-axis value corresponds to the vertical distance (depth) from the camera.
- the real object shown in FIG. 7 (2) is an object photographed in the image of FIG. 7 (1).
- the real object is in the forward camera image capturing area and in the distance sensor measurement area.
- the front surface (camera side) of the real object position is at a position z1 in the Z-axis (camera optical axis) direction from the camera origin, and the X coordinate is in the range of X1 and X2.
- the object distance d is a value calculated from the sensor information of the distance sensor 40.
- Angle of view of camera image ⁇ Is a known value.
- the position and size of the real object in the real space are calculated.
- the X coordinate of the real object shown in FIG. 7 (2), X1, X2 are calculated as the object position.
- the horizontal length that is, the width of the real object can be calculated from X coordinates X1 and X2 of the real object by X2-X1. If the width of the real object can be acquired, other sizes such as the height of the real object can also be acquired. That is, for example, the ratio of the width to the height of the image object and the ratio of the width to the height of the real object are the same, and the ratio of each side is calculated from the image object and converted according to the real size of the real object. Thus, the length of each side of the real object can be calculated.
- the calculation process of the X coordinate indicating the position of the real object shown in FIG. 7 (2), X1 and X2, and the calculation process of the size are performed by sequentially executing the following processes A1 to A5.
- Process A1 An angle ⁇ formed by a straight line OD (a straight line shown as an object distance d in the drawing) connecting the camera origin O in the real space to the object front center D is calculated.
- Process A2 A separation distance from the camera origin O of the real space to the Z axis (camera optical axis) direction, that is, the Z coordinate z1 of the real object is calculated.
- the center point of the line segment ab in the image of FIG. 7A is c, and the center point of the image object in the line segment ab is d.
- C be the center point of the line segment AB in the real space in FIG. 7B
- D be the center point of the real object in the line segment AB.
- W is the number of horizontal pixels of the front camera shot image
- u1, u2 are coordinate information of the image object of the forward camera captured image
- ⁇ is the angle of view of the forward camera
- all are known values. Therefore, from the above (Equation 2), an angle ⁇ ⁇ , that is, an angle formed by a straight line OD (a straight line shown as an object distance d in the figure) connecting the object front center D with the Z axis (camera optical axis) from the camera origin O ⁇ can be calculated.
- d is an object distance d, which is a known value from the measurement value of the distance sensor 40.
- the coordinates X1 and X2 are in the same positional relationship.
- the object position information X1 and X2 are output to and used by an object position information utilization module such as an action planning unit.
- processing A5 Calculation Processing of Size of Real Object
- the size (width) of the real object in the real space of FIG. 7 (2) can be calculated by the following (Expression 11).
- Real object size X2-X1 (Equation 11)
- the values of X1 and X2 have been calculated by the above (Equation 9) and (Equation 10), and the size (width) of the real object can be calculated according to the above (Equation 11).
- the object position & actual size calculation unit 55 uses the information input from the object distance calculation unit 54 in accordance with the process described above, that is, the calculation process described with reference to FIG.
- Camera shot image shot image of front direction camera 41
- Corresponding data between object ID and object image size Object distance information, These data are used to calculate the actual size, which is the actual size of the object.
- the object position & actual size calculation unit 55 calculates the actual size of the object included in the captured image of the forward direction camera 41, associates the calculated actual size of the object with the object ID and the object feature information It is stored in the information storage unit 56.
- the data stored in the object information storage unit 56 is the data described above with reference to FIG. 5, and is the corresponding data of the following data.
- Object ID Object real size
- Object feature information color, shape, pattern, etc.
- the camera-captured image input from the object tracking & analysis unit 53 of the information processing apparatus 50 shown in FIG. 8 is the image of the rear direction camera 42 other than the front direction camera 41, the left direction camera 43, and the right direction camera 44.
- the object included in the captured image of the camera is out of the distance measurable area of the distance sensor 40, and the distance to the object can not be calculated using the measurement information of the distance sensor.
- the object distance calculation unit 54 receives input information from the object tracking and analysis unit 53, that is, a camera captured image, correspondence data of an object ID, an object image size, and object feature information,
- the storage information of the object information storage unit 56 is used to calculate the distance to the object.
- the information processing apparatus 50 inputs a photographed image of any camera other than the forward camera 41, that is, the backward camera 42, the left camera 43, or the right camera 44, and It is a figure explaining the processing example in the case of performing distance calculation of the object contained in a photography picture.
- the flow of data generated when inputting a captured image of either the backward camera 42, the left camera 43 or the right camera 44 is indicated by thick arrows.
- the processing performed by the information processing apparatus 50 by inputting images taken by cameras other than the forward camera 41 is a common process, so in the following, when the images taken by the right direction camera 44 is input as a representative example
- the process of Specifically, for example, processing when the object (the oncoming vehicle 30) as described above with reference to FIG. 3 is photographed by the right-direction camera 44 will be described.
- the object detection unit 52 of the information processing apparatus 50 illustrated in FIG. 8 detects an object from the image when the image captured by the right-direction camera 44 is input.
- the objects include all objects that can be obstacles to the movement of the mobile device 10, such as vehicles, pedestrians, card rails, and the like.
- the object tracking & analysis unit 53 executes tracking processing of the object detected by the object detection unit 52 to set an object ID to each object, and further, an object image size (for example, vertical (h) ⁇ horizontal (w) And the feature information (color, shape, pattern, etc.) of the object.
- an object image size for example, vertical (h) ⁇ horizontal (w)
- feature information color, shape, pattern, etc.
- the object tracking & analysis unit 53 sets the same object ID for an object which has been photographed in advance by the forward camera 41 and in which an object ID has been set, among objects photographed by the right direction camera 44.
- the object tracking & analysis unit 53 holds corresponding pixel position information of the boundary area between the forward direction camera 41 and the right direction camera 44, and the object photographed by the forward direction camera 41 passes through the corresponding pixel position. When moving to the right direction camera 44, the same object ID is set to the object.
- the object tracking & analysis unit 53 performs processing of setting the same identifier (ID) for shooting objects of two cameras that shoot adjacent images.
- the object tracking & analysis unit 53 The correspondence data of the object ID, the object image size, and the object feature information is output to the object distance calculation unit 54 together with the camera captured image.
- the object distance calculation unit 54 inputs the following information from the object tracking & analysis unit 53 and the object information storage unit 56.
- the object distance calculation unit 54 inputs these pieces of information, and first confirms whether or not an ID identical to the object ID input from the object tracking & analysis unit 53 is stored in the object information storage unit 56.
- the object information storage unit 56 When the same ID as the object ID input from the object tracking & analysis unit 53 is stored in the object information storage unit 56, the feature of the object in the right-direction camera captured image input from the object tracking & analysis unit 53 The feature information of the object for which the same ID has already been stored in the object information storage unit 56 is compared.
- the object information storage unit 56 If the feature of the object in the right-hand camera image and the feature information of the object for which the same ID has already been stored in the object information storage unit 56 match, it is determined that the ID setting process has been correctly performed, and object information It is determined whether the actual size corresponding to the object ID is recorded in the storage unit 56 or not. When the feature information of the objects match and the actual size corresponding to the object ID is recorded, the object distance calculation process described below is performed.
- the object distance calculation unit 54 Based on the input information from the object tracking & analysis unit 53 and the object information storage unit 56, the distance to the object is calculated.
- the object distance calculation unit 54 calculates the distance to the object using the following information.
- the object distance calculation unit 54 calculates the distance to the object of the detected object from the captured image of the right direction camera 44, and then sets the calculated distance to the object, for example, the movement plan (path) of the moving device. Output to a module that uses the object distance, such as a module.
- the action planning unit included in the moving device 10 refers to the distance to the object calculated by the object distance calculation unit 54, and sets the movement path so as not to touch an object such as an oncoming vehicle passing by in the right direction. To do the driving.
- the object distance calculation unit 54 calculates the distance to the object using the following information.
- FIG. 1 Right-direction camera captured image (2) Right-direction camera captured object distance, position calculation processing example
- the horizontal axis corresponding to the horizontal pixels of the image is U axis
- the vertical axis corresponding to the vertical pixels of the image is V axis.
- Horizontal pixel count W Image.
- the origin O is set at the lower end of the pixel in the vertical direction, and at the midpoint of the pixel number W in the horizontal direction.
- an object image object
- This image object corresponds to, for example, the oncoming vehicle 30 shown in FIG.
- An object detection frame is shown in front of the image object.
- the coordinates of the lower left corner of the object detection frame are (u1, v1),
- the coordinates of the upper right corner of the object detection frame are (u2, v2), It is.
- Coordinates (u1, v1) and (u2, v2) indicating these object areas are coordinate information that can be acquired from the camera captured image.
- the XZ coordinate space shown in the processing example of distance and position calculation processing of an object in the right-direction camera photographed image shown in FIG. 9 (2) corresponds to a real space.
- the camera position of the right direction camera is the origin (camera origin O)
- the axis perpendicular to the camera shooting direction (right direction of the moving device 10) is the horizontal axis X axis
- the Z axis shown as the vertical axis in the figure is the camera optical axis This corresponds to (camera shooting direction).
- the Z-axis value corresponds to the vertical distance (depth) from the camera.
- the real object shown in FIG. 9 (2) is an object photographed in the image of FIG. 9 (1).
- the real object is in the rightward camera image capturing area. However, it is not within the distance sensor measurement area.
- the front surface (camera side) of the real object position is at a position z1 in the Z-axis (camera optical axis) direction from the camera origin, and the X coordinate is in the range of X1 and X2.
- This object distance d is the object distance d to be calculated.
- Angle of view of camera image ⁇ Is a known value.
- the distance d of the real object in the real space is calculated.
- the calculation process of the actual object distance d shown in FIG. 9 (2) is performed by sequentially executing the following processes B1 to B3.
- An angle ⁇ formed by a straight line OD (a straight line shown as an object distance d in the drawing) connecting the camera origin O in the real space to the object front center D is calculated.
- a separation distance from the camera origin O of the real space to the Z axis (camera optical axis) direction, that is, the Z coordinate z1 of the real object is calculated.
- the object distance d is calculated using the values calculated in the processes B1 and B2. The details of each of the processes (Process B1) to (Process B3) will be described below.
- the center point of the line segment ab in the image of FIG. 9A is c, and the center point of the image object in the line segment ab is d.
- C be the center point of the line segment AB in the real space in FIG. 9B
- D be the center point of the real object in the line segment AB.
- W is the number of horizontal pixels of the right-hand camera image
- u1, u2 are coordinate information of the image object of the right-hand camera image
- ⁇ is the angle of view of the right direction camera
- all are known values. Therefore, from the above (Equation 22), an angle ⁇ ⁇ , that is, an angle formed by a straight line OD (a straight line shown as an object distance d in the figure) connecting the object front center D with the Z axis (camera optical axis) from the camera origin O ⁇ can be calculated.
- CB in the above (formula 24) can be calculated by the following (formula 25).
- CB (W / 2) x (X2-X1) / (u2-u1) ... (Equation 25)
- W / 2 is known to be 1/2 of the number of horizontal pixels of the photographed image.
- (X2-X1) is the size (width) of the real object, which is a value stored in advance in the object information storage unit 56.
- (U2-u1) can be acquired from the photographed image.
- (X2-X1) is the size (width) of the real object, which is a value calculated by applying the photographed image of the forward camera 41 and stored in the object information storage unit 56. Therefore, for example, when the object is an oncoming vehicle, the object size (width) previously stored in the object information storage unit 56 corresponds to the width of the front portion of the oncoming vehicle photographed by the front camera.
- the image shown in FIG. 9 (1) is an image taken by the right direction camera, and the object width may correspond to the length of the vehicle when the oncoming vehicle is viewed from the side.
- the size (width) X2-X1 of the real object is applied as it is, an error may occur in the calculated value.
- the object size (width) stored in the object information storage unit 56 is not applied as it is to the size (width) X2-X1 of the real object applied to the above (Equation 26). It is good also as composition using a value converted using a conversion type set up beforehand.
- the ratio between the front size and the side size is stored in advance in the memory in units of object types.
- the object distance calculation unit 54 determines the object type from the object feature, calculates a value obtained by multiplying the ratio, and sets the size (width) X2-X1 of the real object in (Expression 26).
- Process B3 Next, the process of calculating the object distance d using process B3, that is, the values calculated in processes B1 and B2 will be described.
- z1 is a value calculated in (Equation 26) of the (processing B2) described above
- ⁇ is a value that can be calculated by (Expression 22) of (Processing B1). Therefore, the distance d to the real object can be calculated according to the above (Equation 28).
- the object position calculation unit 57 calculates the position of the object included in the right direction camera 44. That is, the object position calculation unit 57 calculates X1 and X2, which are values on the X axis of the real object in the real space of FIG. 9 (2).
- the calculation process of the object positions X1 and X2 in the object position calculation unit 57 is performed by sequentially executing the following processes C1 to C2.
- the object positions X1 and X2 are calculated using the values calculated in the process C1.
- the coordinates X1 and X2 are in the same positional relationship.
- processing C2 that is, processing for calculating object positions X1 and X2 using the values calculated in processing C1 will be described.
- the object position information X1 and X2 are output to and used by an object position information utilization module such as an action planning unit.
- the information processing apparatus 50 executes the following two processes. (Processing 1. Processing on the object in the image of the distance measurable area of the distance sensor)
- the object distance calculation unit 54 calculates the distance of the object included in the captured image of the forward direction camera 41 that captures the image of the distance measurable area of the distance sensor 40 from the sensor information of the distance sensor 40.
- the object position and actual size calculation unit 55 calculates the position and actual size of the object by applying the processing described earlier with reference to FIG. 7, that is, the photographed image of the forward direction camera 41 and the distance information d. Do.
- the object distance calculation unit 54 This calculation is performed using the photographed image of and the object size information stored in the object information storage unit 56. Further, with regard to the object position, the object position calculation unit 57 calculates the captured image of the camera, the distance to the object in the camera optical axis direction calculated by the object distance calculation unit 54, and the object size stored in the object information storage unit 56. Calculate using information.
- Step S101 The process of step S101 is a process executed by the object detection unit 52 of the information processing apparatus.
- the object detection unit 52 determines whether or not a distance calculation target object is detected in the camera captured image.
- the camera in this case is any of the forward camera 41, the backward camera 42, the left camera 43, and the right camera 44.
- the distance calculation target object may be, for example, all objects that can be obstacles to the movement of the moving apparatus 10, such as pedestrians, card rails, side walls, etc. It may be set.
- Steps S102 to S103 The processes of the next steps S102 to S103 are processes executed by the object tracking & analysis unit 53.
- the object tracking & analysis unit 53 executes tracking processing of the object detected by the object detection unit 52. That is, an identifier (ID) is set to each of the objects detected from the image, and each object is tracked according to the movement on the image.
- ID an identifier
- the object tracking & analysis unit 53 acquires the size (for example, the number of pixels of vertical (h) ⁇ horizontal (w) on the image of the object for which the object ID is set) and the feature information of the object.
- the feature information of the object is, for example, features such as the color, shape, and pattern of the object.
- the object tracking & analysis unit 53 holds the corresponding pixel position information of the boundary area of the captured image of the two cameras that capture the adjacent image, such as the forward camera 41 and the right camera 44.
- the same object ID is set to the object.
- the object tracking & analysis unit 53 performs the same identifier (ID) setting process for shooting objects of two cameras that shoot adjacent images.
- Step S104 The process of step S104 is a process performed by the object distance calculation unit 54.
- the object distance calculation unit 54 determines whether the distance calculation target object included in the image captured by the camera is included in the distance measurable area of the distance sensor 40.
- the distance measurable area of the distance sensor 40 is within the imaging area of the forward camera 41, and the object to be processed is the forward camera.
- the determination in step S104 is YES, and the process proceeds to step S105.
- the determination in step S104 is No, and the process proceeds to step S201.
- Step S105 The processes of steps S105 to S107 are processes that are executed when the object to be processed is an object of a captured image of the forward direction camera 41.
- the process of step S105 is a process performed by the object distance calculation unit 54.
- the processes of steps S106 to S107 are processes executed by the object position & real size calculating unit 55.
- the object distance calculation unit 54 calculates the distance of the distance calculation target object in the image captured by the front direction camera 41. This object distance calculation process can be calculated directly from the sensor information of the distance sensor 40.
- the distance information to the object calculated by the object distance calculation unit 54 is output to an object information use module such as an action planning unit.
- the object information utilization module such as the action plan unit provided in the movement device 10 refers to the distance to the object calculated by the object distance calculation unit 54 so as not to touch the object such as the oncoming vehicle or the like. Make settings and run.
- Step S106 the object position & actual size calculation unit 55 calculates the actual size and the position of the distance calculation target object in the image captured by the forward direction camera 41.
- This process is the process described above with reference to FIG. That is, the actual size and position of the object are calculated by applying the photographed image of the front direction camera 41 and the object distance information d calculated by the object distance calculation unit 54.
- the object position information calculated by the object position & real size calculating unit 55 is output to an object information using module such as an action planning unit.
- the object information utilization module such as the action plan unit provided in the movement device 10 moves with reference to the object position and the object position calculated by the actual size calculation unit 55 so as not to touch the object such as the oncoming vehicle Set the route and drive.
- Step S107 Furthermore, in step S107, the object position & actual size calculation unit 55 determines the actual size of the object calculated in step S106, that is, the actual size of the distance calculation target object in the photographed image of the forward direction camera 41 (ID) and feature information are stored in the object information storage unit 56 in association with each other.
- the data stored in the object information storage unit 56 is the data described above with reference to FIG. 5, and is the corresponding data of the following data.
- Object ID Object real size
- Object feature information color, shape, pattern, etc.
- step S107 When the process of step S107 is completed, the process returns to step S101, and a process for a new object is further executed.
- step S104 determines whether the object to be processed is an object of a photographed image of cameras other than the forward camera 41. Do.
- Step S201 The process of step S201 is a process performed by the object distance calculation unit 54.
- the object to be processed is an object of a photographed image of a camera other than the forward direction camera 41
- the object distance calculation unit 54 first performs the object size information corresponding to the object identifier (ID) in the object information storage unit 56 in step S201. It is determined whether or not it is recorded.
- ID object identifier
- the object tracking & analysis unit 53 holds the corresponding pixel position information of the boundary area of the captured image of the two cameras that capture the adjacent image, such as the forward camera 41 and the right camera 44.
- the same object ID is set to the object.
- the actual size information is the same as the object ID of the object set as the current process target. It is recorded in the object information storage unit 56 in association with the object ID.
- the actual size data may not be stored in the storage unit.
- step S201 When the object distance calculation unit 54 confirms that the object size information corresponding to the object identifier (ID) is recorded in the object information storage unit 56 in step S201, the process proceeds to step S202. On the other hand, when it is confirmed that the object size information corresponding to the object identifier (ID) is not recorded in the object information storage unit 56, the process proceeds to step S203.
- Step S202 The process of step S202 is a process performed by the object distance calculation unit 54 and the object position calculation unit 57.
- the object distance calculation unit 54 calculates the distance of the object in step S202.
- the object position calculation unit 57 calculates an object position.
- object distance calculation unit 54 For the distance of an object included in a captured image of a camera (backward camera, leftward camera 43, rightward camera 44) that captures an image other than the distance measurable area of distance sensor 40, object distance calculation unit 54 The calculation is performed using the captured image of the camera and the object size information stored in the object information storage unit 56. As for the object position, the object position calculation unit 57 uses the captured image of the camera, the distance to the object calculated by the object distance calculation unit 54, and the object size information stored in the object information storage unit 56. calculate.
- the distance and position of the object calculated by the object distance calculation unit 54 and the object position calculation unit 57 are output to an object information use module such as an action planning unit.
- An object information utilization module such as an action plan unit provided in the movement device 10 sets a movement path so as not to touch an object such as an oncoming vehicle with reference to a distance and a position to an object to be input. Do the driving.
- Step S203 In the process of step S203, when it is confirmed in step S201 that the object size information corresponding to the object identifier (ID) is not recorded in the object information storage unit 56, the object distance calculation unit 54 and the object position calculation unit 57 is a process to be executed.
- the object distance calculation unit 54 and the object position calculation unit 57 estimate the object type based on the object feature in the image in step S203, and assume that the representative size of the estimated object is the object actual size, and the assumed object Calculate the actual size and the distance to the object from the image size of the object on the image.
- the object distance calculation unit 54 and the object position calculation unit 57 specify the object type based on the object feature in the image.
- the object is a passenger car.
- it estimates the object type such as being a la track or being a pedestrian.
- the object distance calculation unit 54 and the object position calculation unit 57 acquire from the storage unit a representative size corresponding to the object type estimated based on the object feature.
- the object distance calculation unit 54 and the object position calculation unit 57 apply the representative size acquired from the storage unit as the actual size information of the object, and execute the processing described above with reference to FIG. Calculate the distance and position of
- the distance and position of the object calculated by the object distance calculation unit 54 and the object position calculation unit 57 are output to an object information use module such as an action planning unit.
- An object information utilization module such as an action plan unit provided in the movement device 10 sets a movement path so as not to touch an object such as an oncoming vehicle with reference to a distance and a position to an object to be input. Do the driving.
- FIG. 12 is a block diagram showing an example of a schematic configuration of functions of a vehicle control system 100 which is an example of a moving object control system mountable to a moving device that executes the above-described processing.
- the vehicle provided with the vehicle control system 100 is distinguished from other vehicles, it is referred to as the own vehicle or the own vehicle.
- the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system 108, a body system control unit 109, and a body.
- the system system 110, the storage unit 111, and the automatic driving control unit 112 are provided.
- the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. Connected to each other.
- the communication network 121 may be, for example, an on-vehicle communication network or bus conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
- CAN Controller Area Network
- LIN Local Interconnect Network
- LAN Local Area Network
- FlexRay registered trademark
- each unit of the vehicle control system 100 performs communication via the communication network 121
- the description of the communication network 121 is omitted.
- the input unit 101 and the automatic driving control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic driving control unit 112 merely communicate.
- the input unit 101 includes an apparatus used by a passenger for inputting various data and instructions.
- the input unit 101 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device and the like that can be input by a method other than manual operation by voice or gesture.
- the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 100.
- the input unit 101 generates an input signal based on data, an instruction, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
- the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
- the data acquisition unit 102 includes various sensors for detecting the state of the vehicle.
- the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, and an engine speed.
- IMU inertia measurement device
- a sensor or the like for detecting a motor rotation speed or a rotation speed of a wheel is provided.
- the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
- the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
- the data acquisition unit 102 includes an environment sensor for detecting weather, weather or the like, and an ambient information detection sensor for detecting an object around the vehicle.
- the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
- the ambient information detection sensor is made of, for example, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar or the like.
- the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
- the data acquisition unit 102 includes a GNSS receiver or the like which receives a GNSS signal from a Global Navigation Satellite System (GNSS) satellite.
- GNSS Global Navigation Satellite System
- the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
- the data acquisition unit 102 includes an imaging device for imaging a driver, a biological sensor for detecting biological information of the driver, a microphone for collecting sound in a vehicle interior, and the like.
- the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver holding the steering wheel.
- the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each portion of the vehicle control system 100, and receives the received data. Supply to each part of 100.
- the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
- the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Also, for example, the communication unit 103 may use a Universal Serial Bus (USB), a High-Definition Multimedia Interface (HDMI (registered trademark)), or an MHL (Universal Serial Bus) via a connection terminal (and a cable, if necessary) not shown. Wired communication is performed with the in-vehicle device 104 by Mobile High-definition Link) or the like.
- USB Universal Serial Bus
- HDMI High-Definition Multimedia Interface
- MHL Universal Serial Bus
- the communication unit 103 may communicate with an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. Communicate. Also, for example, using the P2P (Peer To Peer) technology, the communication unit 103 may use a terminal (eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) with a terminal existing near the host vehicle. Communicate. Furthermore, for example, the communication unit 103 may perform vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
- an apparatus for example, an application server or control server
- an external network for example, the Internet, a cloud network, or a network unique to an operator
- the communication unit 103 may use a terminal (eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal)
- V2X communication such as communication is performed.
- the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from radio stations installed on roads, and acquires information such as current position, traffic jam, traffic restriction, or required time. Do.
- the in-vehicle device 104 includes, for example, a mobile device or wearable device owned by the passenger, an information device carried in or attached to the vehicle, and a navigation device for searching for a route to an arbitrary destination.
- the output control unit 105 controls the output of various information to the passenger of the vehicle or the outside of the vehicle.
- the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the generated output signal to the output unit 106.
- the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and an output signal including the generated image is generated.
- the output unit 106 is supplied.
- the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal including the generated voice data to the output unit 106.
- Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal
- the output unit 106 includes a device capable of outputting visual information or auditory information to the passenger of the vehicle or the outside of the vehicle.
- the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, wearable devices such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
- the display device included in the output unit 106 has visual information in the driver's field of vision, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be an apparatus for displaying.
- the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. In addition, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108, and the like.
- the drive system 108 includes various devices related to the drive system of the vehicle.
- the drive system 108 includes a driving force generating device for generating a driving force of an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering mechanism for adjusting a steering angle.
- a braking system that generates a braking force an antilock brake system (ABS), an electronic stability control (ESC), an electric power steering apparatus, and the like are provided.
- the body control unit 109 controls the body system 110 by generating various control signals and supplying the control signals to the body system 110.
- the body system control unit 109 supplies a control signal to each unit other than the body system 110, as required, to notify the control state of the body system 110, and the like.
- the body system 110 includes various devices of the body system mounted on the vehicle body.
- the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlamps, back lamps, brake lamps, blinkers, fog lamps, etc.) Etc.
- the storage unit 111 includes, for example, a read only memory (ROM), a random access memory (RAM), a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
- the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
- the storage unit 111 is map data such as a three-dimensional high-precision map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-precision map, and information around the vehicle.
- map data such as a three-dimensional high-precision map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-precision map, and information around the vehicle.
- the autonomous driving control unit 112 performs control regarding autonomous driving such as autonomous traveling or driving assistance. Specifically, for example, the automatic driving control unit 112 can avoid collision or reduce impact of the vehicle, follow-up traveling based on the distance between vehicles, vehicle speed maintenance traveling, collision warning of the vehicle, lane departure warning of the vehicle, etc. Coordinated control is carried out to realize the functions of the Advanced Driver Assistance System (ADAS), including: Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving or the like that travels autonomously without depending on the driver's operation.
- the automatic driving control unit 112 includes a detection unit 131, a self position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
- the detection unit 131 detects various types of information necessary for control of automatic driving.
- the detection unit 131 includes an out-of-vehicle information detection unit 141, an in-vehicle information detection unit 142, and a vehicle state detection unit 143.
- the external information detection unit 141 performs detection processing of external information of the vehicle based on data or signals from each unit of the vehicle control system 100. For example, the external information detection unit 141 performs detection processing of an object around the host vehicle, recognition processing, tracking processing, and detection processing of the distance to the object.
- the objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings and the like.
- the outside-of-vehicle information detection unit 141 performs a process of detecting the environment around the vehicle.
- the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition and the like.
- the information outside the vehicle detection unit 141 indicates data indicating the result of the detection process as the self position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. Supply to the emergency situation avoidance unit 171 and the like.
- the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
- the in-vehicle information detection unit 142 performs a driver authentication process and recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
- the state of the driver to be detected includes, for example, physical condition, awakening degree, concentration degree, fatigue degree, gaze direction and the like.
- the in-vehicle environment to be detected includes, for example, temperature, humidity, brightness, smell and the like.
- the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
- the vehicle state detection unit 143 detects the state of the vehicle based on data or signals from each unit of the vehicle control system 100.
- the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality and contents, state of driving operation, position and inclination of power seat, state of door lock, and other in-vehicle devices. Status etc. are included.
- the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
- the self position estimation unit 132 estimates the position and orientation of the vehicle based on data or signals from each part of the vehicle control system 100 such as the external information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Do the processing. In addition, the self position estimation unit 132 generates a local map (hereinafter, referred to as a self position estimation map) used to estimate the self position, as necessary.
- the self-location estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
- the self position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. In addition, the self position estimation unit 132 stores the self position estimation map in the storage unit 111.
- the situation analysis unit 133 analyzes the situation of the vehicle and the surroundings.
- the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
- the map analysis unit 151 uses various data or signals stored in the storage unit 111 while using data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132 and the external information detection unit 141 as necessary. Perform analysis processing and construct a map that contains information necessary for automatic driving processing.
- the map analysis unit 151 is configured of the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to
- the traffic rule recognition unit 152 uses traffic rules around the vehicle based on data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition process, for example, the position and state of signals around the vehicle, the contents of traffic restriction around the vehicle, and the travelable lane are recognized.
- the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
- the situation recognition unit 153 uses data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on the recognition processing of the situation regarding the vehicle. For example, the situation recognition unit 153 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. In addition, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used to recognize the situation around the host vehicle, as necessary.
- the situation recognition map is, for example, an Occupancy Grid Map.
- the situation of the vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the vehicle, and the presence or absence and contents of abnormality.
- the situation around the vehicle to be recognized includes, for example, the type and position of the surrounding stationary object, the type, position and movement of the surrounding moving object (eg, speed, acceleration, movement direction, etc.) Configuration and road surface conditions, as well as ambient weather, temperature, humidity, brightness, etc. are included.
- the state of the driver to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, movement of eyes, driving operation and the like.
- the situation recognition unit 153 supplies data (including a situation recognition map, if necessary) indicating the result of the recognition process to the self position estimation unit 132, the situation prediction unit 154, and the like. In addition, the situation recognition unit 153 stores the situation recognition map in the storage unit 111.
- the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, the occurrence of an abnormality, the travelable distance, and the like.
- the situation around the vehicle to be predicted includes, for example, the behavior of the moving object around the vehicle, the change of the signal state, and the change of the environment such as the weather.
- the driver's condition to be predicted includes, for example, the driver's behavior and physical condition.
- the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, indicates data indicating the result of the prediction process, the route planning unit 161 of the planning unit 134, the action planning unit 162, and the operation planning unit 163. Supply to etc.
- the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. In addition, for example, the route planning unit 161 changes the route as appropriate based on traffic jams, accidents, traffic restrictions, conditions such as construction, the physical condition of the driver, and the like. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
- the action planning part 162 Based on data or signals from each part of the vehicle control system 100 such as the map analyzing part 151 and the situation predicting part 154, the action planning part 162 safely makes the route planned by the route planning part 161 within the planned time. Plan your vehicle's action to drive. For example, the action planning unit 162 performs planning of start, stop, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), travel lane, travel speed, overtaking, and the like. The action plan unit 162 supplies data indicating the planned behavior of the host vehicle to the operation plan unit 163 or the like.
- the operation planning unit 163 is an operation of the own vehicle for realizing the action planned by the action planning unit 162 based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan.
- the operation plan unit 163 plans acceleration, deceleration, a traveling track, and the like.
- the operation planning unit 163 supplies data indicating the planned operation of the vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like of the operation control unit 135.
- the operation control unit 135 controls the operation of the vehicle.
- the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
- the emergency situation avoidance unit 171 is based on the detection results of the external information detection unit 141, the in-vehicle information detection unit 142, and the vehicle state detection unit 143, collision, contact, entry into a danger zone, driver's abnormality, vehicle Perform detection processing of an emergency such as an abnormality.
- the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle for avoiding an emergency situation such as a sudden stop or a sudden turn.
- the emergency situation avoidance unit 171 supplies data indicating the planned operation of the host vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
- the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
- the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the operation plan unit 163 or the emergency situation avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
- FIG. 12 shows the configuration of a vehicle control system 100 that can be installed in a mobile apparatus that executes the above-described process, but the process according to the embodiment described above can be performed by using various sensors such as a distance sensor and a camera. It is also possible to input detection information into an information processing apparatus such as a PC and perform data processing to calculate the distance, size, and position of an object.
- an information processing apparatus such as a PC
- FIG. 12 shows the configuration of a vehicle control system 100 that can be installed in a mobile apparatus that executes the above-described process, but the process according to the embodiment described above can be performed by using various sensors such as a distance sensor and a camera. It is also possible to input detection information into an information processing apparatus such as a PC and perform data processing to calculate the distance, size, and position of an object.
- an information processing apparatus such as a PC
- FIG. 13 is a diagram showing an example of the hardware configuration of an information processing apparatus such as a general PC.
- a central processing unit (CPU) 301 functions as a data processing unit that executes various processes in accordance with a program stored in a read only memory (ROM) 302 or a storage unit 308. For example, processing according to the sequence described in the above-described embodiment is performed.
- the RAM (Random Access Memory) 303 stores programs executed by the CPU 301, data, and the like.
- the CPU 301, the ROM 302 and the RAM 303 are mutually connected by a bus 304.
- the CPU 301 is connected to the input / output interface 305 via the bus 304.
- the input / output interface 305 includes various switches, a keyboard, a touch panel, a mouse, a microphone, and further a sensor, a camera, a situation data acquisition unit such as GPS, etc.
- An output unit 307 including a unit 306, a display, a speaker and the like is connected.
- the input unit 306 also receives input information from a sensor 321 such as a distance sensor or a camera.
- the output unit 307 also outputs the distance, position information, and the like of an object as information to the planning unit 322 such as the action planning unit of the mobile device.
- the CPU 301 inputs an instruction, status data, and the like input from the input unit 306, executes various types of processing, and outputs a processing result to, for example, the output unit 307.
- a storage unit 308 connected to the input / output interface 305 includes, for example, a hard disk, and stores programs executed by the CPU 301 and various data.
- a communication unit 309 functions as a transmission / reception unit of data communication via a network such as the Internet or a local area network, and communicates with an external device.
- a drive 130 connected to the input / output interface 305 drives removable media 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
- removable media 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
- the technology disclosed in the present specification can have the following configurations. (1) an object detection unit that detects an object based on an image captured by a camera; And an object distance calculation unit that calculates a distance to the object, The object distance calculation unit An information processing apparatus that calculates a distance to an object based on actual size information of the object and a captured image of the object.
- the object distance calculation unit The information processing apparatus according to (1), wherein the distance to the object is calculated by applying a ratio of the size of the captured image of the object to the actual size of the object.
- the information processing apparatus further includes: The information processing according to (1) or (2), including an object position calculation unit that calculates the position of an object by applying distance information to the object calculated by the object distance calculation unit and a captured image of the object apparatus.
- the distance information to the object calculated by the object distance calculation unit is a distance to the object in the camera optical axis direction
- the object position calculation unit Applying the distance to the object in the camera optical axis direction and the image information, the angle between the line connecting the camera origin and the object end point and the camera optical axis is calculated, and the object is calculated based on the calculated angle
- the information processing apparatus according to (3), which calculates a position of an end point.
- the camera is A camera that shoots the left and right, or the rear of the moving device
- the actual size information of the object is It is actual size information calculated by applying an image captured by a forward camera that captures the front of the moving device and distance information measured by a distance sensor that measures the distance to an object in front of the moving device.
- the information processing apparatus according to any one of (1) to (4).
- the camera is a camera that captures an image outside the distance measurement area by the distance sensor
- the actual size information of the object is The actual size calculated by the object actual size calculation unit applying the preceding photographed image photographed by the preceding photographing camera that photographs the image in the distance measurable area by the distance sensor and the distance information measured by the distance sensor
- An information processing apparatus according to any one of (1) to (5), which is information.
- the object real size calculation unit The two end point positions of the object are calculated using the distance information measured by the distance sensor and the preceding captured image, and the difference between the two end point positions is calculated as the width of the object (6) Processing unit.
- the information processing apparatus It has an object tracking unit that assigns an identifier (ID) to an object captured by a camera, The object tracking unit It is determined whether or not the identifier setting target object is the same as an object already photographed by another camera, and in the case of the same, an identifier already set for the object is acquired from the storage unit and set ( The information processing apparatus according to any one of 1) to (7).
- ID an identifier
- the object distance calculation unit When the real size information of the object can not be acquired, The type of object is determined based on the feature information of the object, and representative size information corresponding to the object type stored in advance in the storage unit is acquired, The information processing apparatus according to any one of (1) to (8), wherein the distance to an object is calculated by applying the acquired representative size information and the image information.
- a forward camera that captures a forward image of the moving device, A distance sensor that measures the distance to an object in the forward direction of the moving device; A second direction camera for capturing a second direction image other than the front direction of the moving device; An object distance calculation unit which receives a second direction image captured by the second direction camera and calculates a distance to an object in the second direction image; A planning unit that determines a path of the moving device based on the distance information to the object calculated by the object distance calculation unit; It has an operation control unit that performs operation control of the mobile device according to the route determined by the planning unit, The object distance calculation unit A moving device that calculates a distance to the object based on real size information of the object and a captured image of the object included in the second direction image.
- the object distance calculation unit The moving device according to (10), wherein the distance to the object is calculated by applying a ratio between the image size of the image object in the second direction image and the real size of the real object in real space.
- the mobile device further includes: The moving apparatus according to (10) or (11), further including: an object position calculation unit configured to calculate a position of an object by applying calculation information of the object distance calculation unit and the image information.
- the real size information of the object is The moving apparatus according to any one of (10) to (12), which is actual size information calculated by applying the forward image captured by the forward camera and the distance information measured by the distance sensor.
- the moving device is It has an object tracking unit that assigns an identifier (ID) to an object captured by a camera, The object tracking unit Determine whether the identifier setting target object is the same as the shooting object by the preceding shooting camera, and if it is the same, obtain and set the identifier set for the object from the storage unit (10). (13) The mobile device according to any one of the above.
- the object distance calculation unit When the real size information of the object can not be acquired, The type of object is determined based on the feature information of the object, and representative size information corresponding to the object type stored in advance in the storage unit is acquired, The mobile apparatus according to any one of (10) to (14), wherein the distance to the object is calculated by applying the acquired representative size information and the image information.
- the object distance calculation unit has an object distance calculation step of inputting an image captured by a camera and calculating a distance of an object in the image;
- the object distance calculating step is An information processing method for calculating a distance to an object by applying real size information of the object and image information of an image object included in the captured image.
- a mobile device control method executed by the mobile device is A forward camera that captures a forward image of the mobile device; A distance sensor that measures the distance to the object in the forward direction of the moving device; A second direction camera for capturing a second direction image other than the forward direction of the moving device is mounted, An object distance calculation step in which an object distance calculation unit inputs an image captured by a camera and calculates a distance of an object in the image; A planning step in which a planning unit inputs object distance information calculated by the object distance calculation unit to determine a path of the moving device; The operation control unit executes an operation control step of performing operation control of the mobile device according to the route determined by the planning unit, The object distance calculating step is A moving device control method, which is a step of calculating a distance to an object by applying real size information of the object and image information of an image object included in the second direction image.
- the object distance calculation unit has an object distance calculation step of inputting an image taken by a camera and calculating the distance of an object in the image;
- the program may A program for calculating a distance to an object by applying real size information of the object and image information of an image object included in the photographed image.
- a program for causing a mobile device to execute mobile device control processing The moving device is A forward camera that captures a forward image of the mobile device; A distance sensor that measures the distance to the object in the forward direction of the moving device; A second direction camera for capturing a second direction image other than the forward direction of the moving device is mounted,
- the program is An object distance calculation step of inputting an image photographed by a camera to an object distance calculation unit and calculating a distance of an object in the image; Planning the input of the object distance information calculated by the object distance calculation unit to the planning unit to determine the path of the moving device; Causing the operation control unit to execute an operation control step of performing operation control of the mobile device according to the route determined by the planning unit;
- the series of processes described in the specification can be performed by hardware, software, or a combined configuration of both.
- the program recording the processing sequence is installed in memory in a computer built into dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It is possible to install and run.
- the program can be recorded in advance on a recording medium.
- the program can be installed from a recording medium to a computer, or can be installed in a recording medium such as a built-in hard disk by receiving a program via a network such as a LAN (Local Area Network) or the Internet.
- LAN Local Area Network
- a system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to those in the same housing.
- a configuration for calculating the distance and the position of an object included in an image in a direction in which distance measurement by the distance sensor is not possible is realized.
- it has an object distance calculation unit which inputs a photographed image by a camera and calculates the distance of an object in the image, and the object distance calculation unit is included in the actual size information of the object and the photographed image
- the image information of the image object is applied to calculate the distance to the object.
- the object position calculation unit calculates the object position using the calculation information of the object distance calculation unit and the image information.
- the actual size of the object is acquired based on the captured image in the direction in which the distance can be measured by the distance sensor.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成を実現する。カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出部を有し、オブジェクト距離算出部は、オブジェクトの実サイズ情報と、撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する。さらに、オブジェクト位置算出部が、オブジェクト距離算出部の算出情報と、画像情報を利用してオブジェクト位置を算出する。オブジェクト実サイズは、距離センサによる距離計測可能な方向の撮影画像に基づいて取得する。
Description
本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、距離センサ検出領域外のオブジェクトの距離や位置を、カメラ撮影画像を用いて算出する情報処理装置、移動装置、および方法、並びにプログラムに関する。
近年、例えば自動運転車やロボット等、自律型移動装置の開発が盛んに行われている。
このような移動装置が所定経路(パス)に従って移動するためには、移動の障害となる対向車や壁等の様々なオブジェクトの距離を算出することが必要となる。
このような移動装置が所定経路(パス)に従って移動するためには、移動の障害となる対向車や壁等の様々なオブジェクトの距離を算出することが必要となる。
オブジェクトの距離を算出するための距離計測機器には、例えば、以下のような機器がある。
(a)パルス状のレーザ光を用いて周囲情報を取得するライダー(LiDAR:Light Detection and Ranging,Laser Imaging Detection and Ranging)、
(b)電波の反射波を検出して反射物までの距離を計測するレーダ(Radar)、
(c)2つのカメラの撮影画像の対応点解析により撮影画像内のオブジェクトの距離を算出するステレオカメラ、
例えば、これらの距離計測機器が知られている。
(a)パルス状のレーザ光を用いて周囲情報を取得するライダー(LiDAR:Light Detection and Ranging,Laser Imaging Detection and Ranging)、
(b)電波の反射波を検出して反射物までの距離を計測するレーダ(Radar)、
(c)2つのカメラの撮影画像の対応点解析により撮影画像内のオブジェクトの距離を算出するステレオカメラ、
例えば、これらの距離計測機器が知られている。
しかし、これらの距離計測機器は、いずれも高価である。距離計測を自動車の前後左右全方向について行うためには、前後左右少なくとも4つの距離計測機器を装着する必要があり、コスト高となってしまう。
従って、自動車に距離計測機器を装着する場合、自動車の前方(フロント)のみに装着するといった構成とする場合が多い。
従って、自動車に距離計測機器を装着する場合、自動車の前方(フロント)のみに装着するといった構成とする場合が多い。
具体例として、例えば自動車の前方のみにLiDARやステレオカメラ等の距離計測機器を装着し、比較的、低コストなカメラを自動車の前後左右の4か所に装着したものがある。カメラは、例えば、広角レンズを用いたアラウンドビュー撮影カメラなどが利用される。
自動運転や運転支援を装着した構成では、自動車の走行方向となる前方の障害物を検出するためフロントセンシングが重要であることは間違いない。
しかし、通常の運転では、追い越しや合流処理、あるいは対向車がある道路での走行が行われ、安全走行のためには、前方のみならず側面や後方の車や壁などの障害物の検出や、障害物の距離を確認することが重要である。
しかし、通常の運転では、追い越しや合流処理、あるいは対向車がある道路での走行が行われ、安全走行のためには、前方のみならず側面や後方の車や壁などの障害物の検出や、障害物の距離を確認することが重要である。
なお、例えば特許文献1(特開2014-169922号公報)には、レーダによって出力するミリ波と、カメラの撮影画像を組み合わせて、物体の距離検出精度を向上させる手法を開示している。
しかし、この特許文献1に記載の手法は、レーダのミリ波検出情報と撮影画像の2つの異なるセンサ情報を用いる構成である。
従って、自動車の前後左右の全ての方向のオブジェクトまでの距離を計測するためには、自動車の前後左右の全ての方向にレーダとカメラをそれぞれ装着することが必要であり、コスト高となるという問題がある。
従って、自動車の前後左右の全ての方向のオブジェクトまでの距離を計測するためには、自動車の前後左右の全ての方向にレーダとカメラをそれぞれ装着することが必要であり、コスト高となるという問題がある。
本開示は、例えば上記問題点に鑑みてなされたものであり、高価な距離計測機器を移動体に多数、装着することなく、距離計測機器のセンシング領域以外のオブジェクトの距離や位置を算出可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
カメラによる撮影画像に基づいてオブジェクトを検出するオブジェクト検出部と、
前記オブジェクトまでの距離を算出するオブジェクト距離算出部とを有し、
前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報と、前記オブジェクトの撮影画像に基づいてオブジェクトまでの距離を算出する情報処理装置にある。
カメラによる撮影画像に基づいてオブジェクトを検出するオブジェクト検出部と、
前記オブジェクトまでの距離を算出するオブジェクト距離算出部とを有し、
前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報と、前記オブジェクトの撮影画像に基づいてオブジェクトまでの距離を算出する情報処理装置にある。
さらに、本開示の第2の側面は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向にあるオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラと、
前記第2方向カメラにより撮影された第2方向画像を入力し、前記第2方向画像内のオブジェクトまでの距離を算出するオブジェクト距離算出部と、
前記オブジェクト距離算出部の算出したオブジェクトまでの距離情報に基づいて前記移動装置の経路を決定する計画部と、
前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有し、
前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれるオブジェクトの撮像画像に基づいて前記オブジェクトまでの距離を算出する移動装置にある。
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向にあるオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラと、
前記第2方向カメラにより撮影された第2方向画像を入力し、前記第2方向画像内のオブジェクトまでの距離を算出するオブジェクト距離算出部と、
前記オブジェクト距離算出部の算出したオブジェクトまでの距離情報に基づいて前記移動装置の経路を決定する計画部と、
前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有し、
前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれるオブジェクトの撮像画像に基づいて前記オブジェクトまでの距離を算出する移動装置にある。
さらに、本開示の第3の側面は、
情報処理装置において実行する情報処理方法であり、
オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップを有し、
前記オブジェクト距離算出ステップは、
前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップを有し、
前記オブジェクト距離算出ステップは、
前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する情報処理方法にある。
さらに、本開示の第4の側面は、
移動装置において実行する移動装置制御方法であり、
前記移動装置は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラを装着した構成であり、
オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップと、
計画部が、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定する計画ステップと、
動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御ステップを実行し、
前記オブジェクト距離算出ステップは、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出するステップである移動装置制御方法にある。
移動装置において実行する移動装置制御方法であり、
前記移動装置は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラを装着した構成であり、
オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップと、
計画部が、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定する計画ステップと、
動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御ステップを実行し、
前記オブジェクト距離算出ステップは、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出するステップである移動装置制御方法にある。
さらに、本開示の第5の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップを有し、
前記プログラムは、前記オブジェクト距離算出ステップにおいて、
前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップを有し、
前記プログラムは、前記オブジェクト距離算出ステップにおいて、
前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラムにある。
さらに、本開示の第6の側面は、
移動装置において移動装置制御処理を実行させるプログラムであり、
前記移動装置は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラを装着した構成であり、
前記プログラムは、
オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップと、
計画部に、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定させる計画ステップと、
動作制御部に、前記計画部の決定した経路に従って前記移動装置の動作制御を行わせる動作制御ステップを実行させ、
前記オブジェクト距離算出ステップにおいては、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラムにある。
移動装置において移動装置制御処理を実行させるプログラムであり、
前記移動装置は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラを装着した構成であり、
前記プログラムは、
オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップと、
計画部に、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定させる計画ステップと、
動作制御部に、前記計画部の決定した経路に従って前記移動装置の動作制御を行わせる動作制御ステップを実行させ、
前記オブジェクト距離算出ステップにおいては、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成が実現される。
具体的には、例えば、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出部を有し、オブジェクト距離算出部は、オブジェクトの実サイズ情報と、撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する。さらに、オブジェクト位置算出部が、オブジェクト距離算出部の算出情報と、画像情報を利用してオブジェクト位置を算出する。オブジェクト実サイズは、距離センサによる距離計測可能な方向の撮影画像に基づいて取得する。
本構成により、距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出部を有し、オブジェクト距離算出部は、オブジェクトの実サイズ情報と、撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する。さらに、オブジェクト位置算出部が、オブジェクト距離算出部の算出情報と、画像情報を利用してオブジェクト位置を算出する。オブジェクト実サイズは、距離センサによる距離計測可能な方向の撮影画像に基づいて取得する。
本構成により、距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.本開示の移動装置の構成例について
2.本開示の移動装置、および情報処理装置の構成と処理について
3.オブジェクトの距離、サイズ、および位置の算出処理の詳細について
3-1.前方向カメラの撮影画像のオブジェクトの距離、位置、およびサイズの算出処理例について
3-2.前方向以外のカメラ撮影画像に含まれるオブジェクトの距離、および位置の算出処理例について
4.情報処理装置の実行する処理のシーケンスについて
5.移動装置の構成例について
6.情報処理装置の構成例について
7.本開示の構成のまとめ
1.本開示の移動装置の構成例について
2.本開示の移動装置、および情報処理装置の構成と処理について
3.オブジェクトの距離、サイズ、および位置の算出処理の詳細について
3-1.前方向カメラの撮影画像のオブジェクトの距離、位置、およびサイズの算出処理例について
3-2.前方向以外のカメラ撮影画像に含まれるオブジェクトの距離、および位置の算出処理例について
4.情報処理装置の実行する処理のシーケンスについて
5.移動装置の構成例について
6.情報処理装置の構成例について
7.本開示の構成のまとめ
[1.本開示の移動装置の構成例について]
まず、図1以下を参照して、本開示の移動装置の構成例について説明する。
図1には、本開示の移動装置10の一実施例を示している。
なお、以下の実施例では、移動装置10の一例として、移動装置10が自動車(車両)である例を説明するが、本開示の構成や処理は、自動車以外の様々な移動装置において利用可能である。
例えば、ロボット(歩行型、走行型)や、ドローン等の飛行体、あるいは船舶、潜水艦等の水上、水中を移動する装置等、様々な移動装置に適用可能である。
まず、図1以下を参照して、本開示の移動装置の構成例について説明する。
図1には、本開示の移動装置10の一実施例を示している。
なお、以下の実施例では、移動装置10の一例として、移動装置10が自動車(車両)である例を説明するが、本開示の構成や処理は、自動車以外の様々な移動装置において利用可能である。
例えば、ロボット(歩行型、走行型)や、ドローン等の飛行体、あるいは船舶、潜水艦等の水上、水中を移動する装置等、様々な移動装置に適用可能である。
図1に示すように、移動装置10は、複数のカメラと、1つの距離センサを装着している。
装着カメラは以下のカメラである。
移動装置10の前方向を撮影する前方向カメラ11、
移動装置10の後方向を撮影する後方向カメラ12、
移動装置10の左方向を撮影する左方向カメラ13、
移動装置10の右方向を撮影する右方向カメラ14、
これら4台のカメラである。
装着カメラは以下のカメラである。
移動装置10の前方向を撮影する前方向カメラ11、
移動装置10の後方向を撮影する後方向カメラ12、
移動装置10の左方向を撮影する左方向カメラ13、
移動装置10の右方向を撮影する右方向カメラ14、
これら4台のカメラである。
なお、これらのカメラ11~14としては、通常の画像撮影を行うカメラ、あるいは魚眼レンズのような広角レンズを備えたカメラ(単眼カメラ)が利用可能である。
また、移動装置10に装着された距離センサは以下の1つの距離センサである。
移動装置10の前方向のオブジェクトまでの距離を計測する前方向距離センサ21、
この1つの距離ゼンサである。
移動装置10の前方向のオブジェクトまでの距離を計測する前方向距離センサ21、
この1つの距離ゼンサである。
なお、距離センサ21は、例えば、以下のいずれかの機器によって構成される。
(a)パルス状のレーザ光を用いて周囲情報を取得するライダー(LiDAR:Light Detection and Ranging,Laser Imaging Detection and Ranging)、
(b)電波の反射波を検出して反射物までの距離を計測するレーダ(Radar)、
(c)2つのカメラの撮影画像の対応点解析により撮影画像内のオブジェクトの距離を算出するステレオカメラ、
なお、距離センサ21は、上記のいずれかの機器に限らず、その他の既存の距離計測機器が利用可能である。
(a)パルス状のレーザ光を用いて周囲情報を取得するライダー(LiDAR:Light Detection and Ranging,Laser Imaging Detection and Ranging)、
(b)電波の反射波を検出して反射物までの距離を計測するレーダ(Radar)、
(c)2つのカメラの撮影画像の対応点解析により撮影画像内のオブジェクトの距離を算出するステレオカメラ、
なお、距離センサ21は、上記のいずれかの機器に限らず、その他の既存の距離計測機器が利用可能である。
このように、移動装置10には、前方向のオブジェクトまでの距離を計測可能な1つの前方向距離センサ21と、前後左右、全方向の画像を撮影可能とした4台のカメラ11~14が装着される。
次に、図2を参照して、前方向距離センサ21による距離計測可能領域と、4台のカメラ11~14による画像撮影領域について説明する。
図2には、中心に移動装置10を示している。移動装置10は、図1を参照して説明した移動装置10であり、1つの前方向距離センサ21と、前後左右、全方向の画像を撮影可能とした4台のカメラ11~14を装着した移動装置10である。
図面の上方向が前方であり、移動装置10は前方向に移動(走行)している。
図2には、中心に移動装置10を示している。移動装置10は、図1を参照して説明した移動装置10であり、1つの前方向距離センサ21と、前後左右、全方向の画像を撮影可能とした4台のカメラ11~14を装着した移動装置10である。
図面の上方向が前方であり、移動装置10は前方向に移動(走行)している。
移動装置10の右前方に対向車30があり、対向車30は、図面下方向に向かって走行している。
対向車30は、時間経過に伴い、移動装置10の方向に近づき、移動装置10の右側ですれ違う設定である。
対向車30は、時間経過に伴い、移動装置10の方向に近づき、移動装置10の右側ですれ違う設定である。
図2には、以下の各領域を示している。
前方向カメラ画像撮影領域11a、
後方向カメラ画像撮影領域12a、
左方向カメラ画像撮影領域13a、
右方向カメラ画像撮影領域14a、
前方向距離センサ計測可能領域21a
前方向カメラ画像撮影領域11a、
後方向カメラ画像撮影領域12a、
左方向カメラ画像撮影領域13a、
右方向カメラ画像撮影領域14a、
前方向距離センサ計測可能領域21a
図から理解されるように、4台のカメラ11~14による画像撮影領域は、移動装置10の全周囲領域をカバーしている。
しかし、前方向距離センサ21によるオブジェクト距離計測可能領域である前方向距離センサ計測可能領域21aは、移動装置10の前方領域のみである。
しかし、前方向距離センサ21によるオブジェクト距離計測可能領域である前方向距離センサ計測可能領域21aは、移動装置10の前方領域のみである。
図2の設定において、対向車30は、前方向カメラ画像撮影領域11aと、前方向距離センサ計測可能領域21aの重複領域内にある。
従って、移動装置10は、対向車30を、前方向カメラ11の撮影画像から確認することが可能であり、さらに、前方向距離センサ21によって計測された対向車30の距離も取得することができる。
従って、移動装置10は、対向車30を、前方向カメラ11の撮影画像から確認することが可能であり、さらに、前方向距離センサ21によって計測された対向車30の距離も取得することができる。
例えば、移動装置10に備えられた自動運転装置、あるいは走行支援装置内の行動計画部は、前方向カメラ11の撮影画像情報と、前方向距離センサ21によって計測された対向車30の距離情報を入力し、これらの入力情報に基づいて、対向車30との衝突を避けるように経路設定を行うことができる。
しかし、時間経過に伴い、対向車30は、移動装置10の方向に近づき、移動装置10の右側ですれ違う。この過程で対向車30は、前方向距離センサ計測可能領域21aの外部に移動してしまうことになる。
図3を参照して、所定時間経過後の対向車30の位置について説明する。
図2に示す設定から、所定時間経過後には、図3に示すように、対向車30は、移動装置10の右側を通過する。
図2に示す設定から、所定時間経過後には、図3に示すように、対向車30は、移動装置10の右側を通過する。
この図3に示す状態では、対向車30は、右方向カメラ画像撮影領域14aの内部にあるが、前方向距離センサ計測可能領域21aの外部にある。
従って、移動装置10は、対向車30を、右方向カメラ14の撮影画像から確認することのみ可能であり、距離センサによる対向車30の距離は取得できない。
従って、移動装置10は、対向車30を、右方向カメラ14の撮影画像から確認することのみ可能であり、距離センサによる対向車30の距離は取得できない。
本開示の移動装置10、または移動装置10内部に装着される情報処理装置は、このように、距離センサによる距離検出情報が取得できない場合であっても、オブジェクトの距離、すなわち、図3に示す対向車30のようなオブジェクトまでの距離を算出することを可能としている。
以下、本開示の構成について説明する。
以下、本開示の構成について説明する。
[2.本開示の移動装置、および情報処理装置の構成と処理について]
次に、本開示の移動装置、および情報処理装置の構成と処理について説明する。
図4は、本開示の移動装置10に装着される情報処理装置の一構成例を示すブロック図である。
次に、本開示の移動装置、および情報処理装置の構成と処理について説明する。
図4は、本開示の移動装置10に装着される情報処理装置の一構成例を示すブロック図である。
図4に示すように、情報処理装置50は、センサ検出情報として、距離センサ40の出力情報と、前方向カメラ41、後方向カメラ42、左方向カメラ43、右方向カメラ44のカメラ撮影画像を入力して、これらの入力情報に基づいて、全ての方向のオブジェクトのオブジェクトまでの距離や位置を算出する。
距離センサ40、前方向カメラ41、後方向カメラ42、左方向カメラ43、右方向カメラ44、これらは、図1~図3を参照して説明した移動装置10に装着された距離センサとカメラに対応する。
距離センサ40は、図2、図3を参照して説明したように、移動装置10の前方向のみを距離計測可能領域としたセンサである。
前方向カメラ41、後方向カメラ42、左方向カメラ43、右方向カメラ44は、図2、図3を参照して説明したように、移動装置10の前後左右全ての方向の画像を撮影可能としている。
距離センサ40は、図2、図3を参照して説明したように、移動装置10の前方向のみを距離計測可能領域としたセンサである。
前方向カメラ41、後方向カメラ42、左方向カメラ43、右方向カメラ44は、図2、図3を参照して説明したように、移動装置10の前後左右全ての方向の画像を撮影可能としている。
図4に示すように、情報処理装置50は、距離センサ出力情報解析部51、オブジェクト検出部52、オブジェクト追跡&解析部53、オブジェクト距離算出部54、オブジェクト位置&実サイズ算出部55、オブジェクト情報記憶部56、オブジェクト位置算出部57を有する。
距離センサ出力情報解析部51は、距離センサ40から出力されるセンサ情報を入力し、センサ情報に基づいてセンサによる検出可能範囲の領域の全ての距離を解析する。例えば検出可能範囲の領域の全ての距離の距離情報を示すデプスマップを生成する。
ただし、図2、図3を参照して説明したように、距離センサ40は移動装置10の前方向のみを距離計測可能領域とするセンサであり、距離センサ出力情報解析部51は、移動装置10の前方向領域の距離のみを解析する。
ただし、図2、図3を参照して説明したように、距離センサ40は移動装置10の前方向のみを距離計測可能領域とするセンサであり、距離センサ出力情報解析部51は、移動装置10の前方向領域の距離のみを解析する。
オブジェクト検出部52は、前方向カメラ41、後方向カメラ42、左方向カメラ43、右方向カメラ44、これらのカメラ撮影画像を入力し、各画像からオブジェクトを検出する。
オブジェクトとは、例えば図2、図3を参照して説明した対向車等のオブジェクトである。
なお、オブジェクトには、対向車や先行車両等の車両の他、歩行者、カードレール、側壁等、移動装置10の移動に対する障害物となり得る全てのオブジェクトが含まれる。
オブジェクトとは、例えば図2、図3を参照して説明した対向車等のオブジェクトである。
なお、オブジェクトには、対向車や先行車両等の車両の他、歩行者、カードレール、側壁等、移動装置10の移動に対する障害物となり得る全てのオブジェクトが含まれる。
オブジェクト追跡&解析部53は、オブジェクト検出部52が検出したオブジェクトの追跡処理を実行する。すなわち、画像から検出されたオブジェクトの各々に識別子(ID)を設定して、各オブジェクトを画像上での動きに応じて追跡する。
さらに、オブジェクト追跡&解析部53は、オブジェクトIDの設定されたオブジェクトの画像上のサイズ(例えば、縦(h)×横(w)の画素数)と、オブジェクトの特徴情報を取得する。
オブジェクトの特徴情報とは、例えばオブジェクトの色、形状、模様等の特徴である。
さらに、オブジェクト追跡&解析部53は、オブジェクトIDの設定されたオブジェクトの画像上のサイズ(例えば、縦(h)×横(w)の画素数)と、オブジェクトの特徴情報を取得する。
オブジェクトの特徴情報とは、例えばオブジェクトの色、形状、模様等の特徴である。
オブジェクト追跡&解析部53は、
オブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データをカメラ撮影画像とともに、オブジェクト距離算出部54に出力する。
オブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データをカメラ撮影画像とともに、オブジェクト距離算出部54に出力する。
オブジェクト距離算出部54は、距離センサ出力情報解析部51と、オブジェクト追跡&解析部53から、それぞれ以下の各情報を入力する。
(a)距離センサ出力情報解析部51から、移動装置10の前方の距離計測可能領域の距離情報、
(b)オブジェクト追跡&解析部53から、カメラ撮影画像と、画像に含まれるオブジェクトのオブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データ、
オブジェクト距離算出部54は、これらの情報を入力して、画像に含まれるオブジェクトの距離、すなわち、オブジェクト距離を算出する。
(a)距離センサ出力情報解析部51から、移動装置10の前方の距離計測可能領域の距離情報、
(b)オブジェクト追跡&解析部53から、カメラ撮影画像と、画像に含まれるオブジェクトのオブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データ、
オブジェクト距離算出部54は、これらの情報を入力して、画像に含まれるオブジェクトの距離、すなわち、オブジェクト距離を算出する。
ただし、オブジェクト距離算出部54の実行するオブジェクトまでの距離の算出処理は、以下の2つの場合で異なる処理となる。
(1)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41の撮影画像である場合、
(2)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41以外のカメラの撮影画像、すなわち後方向カメラ42、左方向カメラ43、右方向カメラ44の撮影画像である場合、
(1)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41の撮影画像である場合、
(2)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41以外のカメラの撮影画像、すなわち後方向カメラ42、左方向カメラ43、右方向カメラ44の撮影画像である場合、
上記(1)の場合、すなわち、オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41の撮影画像である場合は、そのカメラ撮影画像に含まれるオブジェクトは、距離センサ40の距離計測可能領域内に含まれ、距離センサの計測情報を利用して、即座にオブジェクトまでの距離を算出することができる。
一方、上記(2)の場合、すなわち、オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41以外の後方向カメラ42、左方向カメラ43、右方向カメラ44の撮影画像である場合は、そのカメラ撮影画像に含まれるオブジェクトは、距離センサ40の距離計測可能領域外であり、距離センサの計測情報を利用してオブジェクトまでの距離を算出することができない。
この場合、オブジェクト距離算出部54は、オブジェクト追跡&解析部53からの入力情報、すなわち、カメラ撮影画像と、オブジェクト情報記憶部56の格納情報を利用して、オブジェクトまでの距離を算出する。
この処理の詳細については後述する。
この処理の詳細については後述する。
オブジェクト距離算出部54の実行するオブジェクト距離算出処理の詳細説明の前に、まず、図4の情報処理装置50の各構成部における一連の処理の流れについて説明する。
オブジェクト距離算出部54は、画像から検出されたオブジェクトのオブジェクトまでの距離を算出すると、算出したオブジェクトまでの距離を、例えば移動装置の移動経路(パス)を設定する行動計画部等、オブジェクトまでの距離を利用するモジュールに出力する。
オブジェクト距離算出部54は、画像から検出されたオブジェクトのオブジェクトまでの距離を算出すると、算出したオブジェクトまでの距離を、例えば移動装置の移動経路(パス)を設定する行動計画部等、オブジェクトまでの距離を利用するモジュールに出力する。
移動装置10に備えられた行動計画部は、オブジェクト距離算出部54の算出したオブジェクトまでの距離を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行うことになる。
なお、オブジェクト距離算出部54は、オブジェクト距離算出処理を行った画像が、前方向カメラ41の撮影画像である場合に限り、以下の処理を実行する。
オブジェクト距離算出部54は、前方向カメラ41の撮影画像に含まれるオブジェクトのオブジェクト距離情報と、オブジェクト追跡&解析部53からの入力情報、すなわち、
カメラ撮影画像(前方向カメラ41の撮影画像)、
オブジェクトIDとオブジェクト画像サイズとの対応データ、
これらのデータをオブジェクト位置&実サイズ算出部55に出力する。
オブジェクト距離算出部54は、前方向カメラ41の撮影画像に含まれるオブジェクトのオブジェクト距離情報と、オブジェクト追跡&解析部53からの入力情報、すなわち、
カメラ撮影画像(前方向カメラ41の撮影画像)、
オブジェクトIDとオブジェクト画像サイズとの対応データ、
これらのデータをオブジェクト位置&実サイズ算出部55に出力する。
オブジェクト位置&実サイズ算出部55は、オブジェクト距離算出部54から入力した情報、すなわち、
カメラ撮影画像(前方向カメラ41の撮影画像)、
オブジェクトIDとオブジェクト画像サイズとの対応データ、
オブジェクト距離情報、
これらのデータを利用して、オブジェクトの実際のサイズである実サイズと、オブジェクトの位置を算出する。
このオブジェクト実サイズと位置の算出処理の詳細についても後段で説明する。
カメラ撮影画像(前方向カメラ41の撮影画像)、
オブジェクトIDとオブジェクト画像サイズとの対応データ、
オブジェクト距離情報、
これらのデータを利用して、オブジェクトの実際のサイズである実サイズと、オブジェクトの位置を算出する。
このオブジェクト実サイズと位置の算出処理の詳細についても後段で説明する。
オブジェクト位置&実サイズ算出部55は、前方向カメラ41の撮影画像に含まれるオブジェクトの実サイズと位置を算出し、算出したオブジェクト位置は、行動計画部等のオブジェクト情報利用モジュールに出力する。
さらに、オブジェクト位置&実サイズ算出部55は、算出したオブジェクト実サイズを、オブジェクトIDとオブジェクト特徴情報に対応付けてオブジェクト情報記憶部56に格納する。
さらに、オブジェクト位置&実サイズ算出部55は、算出したオブジェクト実サイズを、オブジェクトIDとオブジェクト特徴情報に対応付けてオブジェクト情報記憶部56に格納する。
オブジェクト情報記憶部56に格納されるデータの一例を図5に示す。
図5に示すように、オブジェクト情報記憶部56には、
オブジェクトID、
オブジェクト実サイズ、
オブジェクト特徴情報(色、形状、模様、その他)
これらの各情報が、各オブジェクト単位の対応データとして記録される。
なお、これらは全て距離センサ40によって距離が計測されたオブジェクトであり、本実施例では前方向カメラ41によって撮影された画像内に含まれるオブジェクトである。
図5に示すように、オブジェクト情報記憶部56には、
オブジェクトID、
オブジェクト実サイズ、
オブジェクト特徴情報(色、形状、模様、その他)
これらの各情報が、各オブジェクト単位の対応データとして記録される。
なお、これらは全て距離センサ40によって距離が計測されたオブジェクトであり、本実施例では前方向カメラ41によって撮影された画像内に含まれるオブジェクトである。
オブジェクト位置算出部57は、前方向カメラ41以外のカメラ、すなわち、後方向カメラ42、左方向カメラ43、右方向カメラ44の撮影画像中のオブジェクトの位置を算出する。
この処理の詳細については後述する。
オブジェクト位置算出部57の算出したオブジェクト位置情報は、行動計画部等のオブジェクト情報利用モジュールに出力され、移動装置の経路設定等に利用される。
この処理の詳細については後述する。
オブジェクト位置算出部57の算出したオブジェクト位置情報は、行動計画部等のオブジェクト情報利用モジュールに出力され、移動装置の経路設定等に利用される。
[3.オブジェクトの距離、サイズ、および位置の算出処理の詳細について]
次に、図4に示す情報処理装置50のオブジェクト距離算出部54、オブジェクト位置&実サイズ算出部55、オブジェクト位置算出部57において実行する処理の詳細について説明する。
次に、図4に示す情報処理装置50のオブジェクト距離算出部54、オブジェクト位置&実サイズ算出部55、オブジェクト位置算出部57において実行する処理の詳細について説明する。
先に、説明したように、オブジェクト距離算出部54において実行するオブジェクト距離算出処理は、以下の2つの場合で異なる処理となる。
(1)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41の撮影画像である場合、
(2)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41以外の後方向カメラ42、左方向カメラ43、右方向カメラ44の撮影画像である場合、
(1)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41の撮影画像である場合、
(2)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41以外の後方向カメラ42、左方向カメラ43、右方向カメラ44の撮影画像である場合、
上記(1)の場合、すなわち、オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41の撮影画像である場合は、そのカメラ撮影画像に含まれるオブジェクトは、距離センサ40の距離計測可能領域内に含まれ、距離センサの計測情報を利用して、即座にオブジェクトまでの距離を算出することができる。
一方、上記(2)の場合、すなわち、オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41以外の後方向カメラ42、左方向カメラ43、右方向カメラ44の撮影画像である場合は、そのカメラ撮影画像に含まれるオブジェクトは、距離センサ40の距離計測可能領域外であり、距離センサの計測情報を利用してオブジェクトまでの距離を算出することができない。
この場合、オブジェクト距離算出部54は、オブジェクト追跡&解析部53からの入力情報、すなわち、カメラ撮影画像と、オブジェクト情報記憶部56の格納情報を利用して、オブジェクトまでの距離を算出する。
さらに、オブジェクト位置&実サイズ算出部55は、前方向カメラ41の撮影画像に含まれるオブジェクトの位置とサイズを算出する。
また、オブジェクト位置算出部57は、前方向カメラ41以外のカメラである後方向カメラ42、または左方向カメラ43、または右方向カメラ44、いずれかの撮影画像に含まれるオブジェクトの位置を算出する。
また、オブジェクト位置算出部57は、前方向カメラ41以外のカメラである後方向カメラ42、または左方向カメラ43、または右方向カメラ44、いずれかの撮影画像に含まれるオブジェクトの位置を算出する。
以下において、下記の2つの場合の処理例について説明する。
(1)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41の撮影画像である場合、
(2)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41以外の後方向カメラ42、左方向カメラ43、右方向カメラ44の撮影画像である場合、
これら2つの場合の処理の具体例について、順次、説明する。
(1)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41の撮影画像である場合、
(2)オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41以外の後方向カメラ42、左方向カメラ43、右方向カメラ44の撮影画像である場合、
これら2つの場合の処理の具体例について、順次、説明する。
[3-1.前方向カメラの撮影画像のオブジェクトの距離、位置、およびサイズの算出処理例について]
まず、前方向カメラ41の撮影画像のオブジェクトの距離や位置、およびサイズを算出する処理例について説明する。
まず、前方向カメラ41の撮影画像のオブジェクトの距離や位置、およびサイズを算出する処理例について説明する。
なお、以下で説明する処理例は、カメラ撮影画像内のオブジェクトの距離を、距離センサの計測情報をそのまま利用して算出可能な場合の処理例である。
本実施例では、距離センサ40を移動装置10の前に取り付けた構成であり、前方向カメラ41の撮影画像内のオブジェクトの距離は、距離センサ40の計測情報をそのまま利用して距離を算出することができる。
本実施例では、距離センサ40を移動装置10の前に取り付けた構成であり、前方向カメラ41の撮影画像内のオブジェクトの距離は、距離センサ40の計測情報をそのまま利用して距離を算出することができる。
図6は、情報処理装置50が、前方向カメラ41の撮影画像を入力して、前方向カメラ41の撮影画像に含まれるオブジェクトの距離算出を行う場合の処理例について説明した図である。
図6には、前方向カメラ41の撮影画像を入力する場合に発生するデータの流れを太線矢印で示している。
図6に示すように、情報処理装置50は、前方向カメラ41の撮影画像を入力する際、その前方向カメラ41の撮影画像の撮影領域と重複する領域について、距離センサ40からのセンサ出力、すなわち距離情報を入力することができる。
図6に示すように、情報処理装置50は、前方向カメラ41の撮影画像を入力する際、その前方向カメラ41の撮影画像の撮影領域と重複する領域について、距離センサ40からのセンサ出力、すなわち距離情報を入力することができる。
距離センサ出力情報解析部51は、距離センサ40から出力されるセンサ情報を入力し、センサ情報に基づいてセンサによる検出範囲、すなわち、移動装置10の前方領域の距離情報を生成する。
オブジェクト検出部52は、前方向カメラ41のカメラ撮影画像を入力し、前方向画像からオブジェクトを検出する。
オブジェクトは、車両、歩行者、カードレール等、移動装置10の移動に対する障害物となり得る全てのオブジェクトが含まれる。
オブジェクトは、車両、歩行者、カードレール等、移動装置10の移動に対する障害物となり得る全てのオブジェクトが含まれる。
オブジェクト追跡&解析部53は、オブジェクト検出部52が検出したオブジェクトの追跡処理を実行して、各オブジェクトにオブジェクトIDを設定し、さらに、オブジェクト画像サイズ(例えば、縦(h)×横(w)の画素数)と、オブジェクトの特徴情報(色、形状、模様等)を取得する。
オブジェクト追跡&解析部53は、
オブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データをカメラ撮影画像とともに、オブジェクト距離算出部54に出力する。
オブジェクト追跡&解析部53は、
オブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データをカメラ撮影画像とともに、オブジェクト距離算出部54に出力する。
オブジェクト距離算出部54は、距離センサ出力情報解析部51と、オブジェクト追跡&解析部53から、それぞれ以下の各情報を入力する。
(a)距離センサ出力情報解析部51から、移動装置10の前方の距離計測可能領域の距離情報、
(b)オブジェクト追跡&解析部53から、前方向カメラ撮影画像と、画像に含まれるオブジェクトのオブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データ、
オブジェクト距離算出部54は、これらの情報を入力して、画像に含まれるオブジェクトの距離、すなわち、オブジェクトまでの距離を算出する。
(a)距離センサ出力情報解析部51から、移動装置10の前方の距離計測可能領域の距離情報、
(b)オブジェクト追跡&解析部53から、前方向カメラ撮影画像と、画像に含まれるオブジェクトのオブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データ、
オブジェクト距離算出部54は、これらの情報を入力して、画像に含まれるオブジェクトの距離、すなわち、オブジェクトまでの距離を算出する。
図6に示す例は、オブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41の撮影画像であり、この前方向カメラ撮影画像に含まれるオブジェクトは、距離センサ40の距離計測可能領域内にある。
従って、オブジェクト距離算出部54は、距離センサ40のセンサ情報、すなわち距離センサ出力情報解析部51の出力情報を利用して、即座にオブジェクトまでの距離を算出することができる。
従って、オブジェクト距離算出部54は、距離センサ40のセンサ情報、すなわち距離センサ出力情報解析部51の出力情報を利用して、即座にオブジェクトまでの距離を算出することができる。
オブジェクト距離算出部54は、前方向カメラ41の撮影画像から検出されたオブジェクトのオブジェクトまでの距離を算出すると、算出したオブジェクトまでの距離を、例えば移動装置の移動経路(パス)を設定する行動計画部等、オブジェクト距離を利用するモジュールに出力する。
移動装置10に備えられた行動計画部は、オブジェクト距離算出部54の算出したオブジェクトまでの距離を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行うことになる。
さらに、オブジェクト距離算出部54は、前方向カメラ41の撮影画像に含まれるオブジェクトのオブジェクト距離情報と、オブジェクト追跡&解析部53からの入力情報、すなわち、
カメラ撮影画像(前方向カメラ41の撮影画像)、
オブジェクトIDとオブジェクト画像サイズとの対応データ、
これらのデータをオブジェクト位置&実サイズ算出部55に出力する。
カメラ撮影画像(前方向カメラ41の撮影画像)、
オブジェクトIDとオブジェクト画像サイズとの対応データ、
これらのデータをオブジェクト位置&実サイズ算出部55に出力する。
オブジェクト位置&実サイズ算出部55は、オブジェクト距離算出部54から入力した情報、すなわち、
カメラ撮影画像(前方向カメラ41の撮影画像)、
オブジェクトIDとオブジェクト画像サイズとの対応データ、
オブジェクト距離情報、
これらのデータを利用して、オブジェクトの実際のサイズである実サイズとオブジェクトの位置を算出する。
このオブジェクト実サイズと位置の算出処理の詳細について、図7を参照して説明する。
カメラ撮影画像(前方向カメラ41の撮影画像)、
オブジェクトIDとオブジェクト画像サイズとの対応データ、
オブジェクト距離情報、
これらのデータを利用して、オブジェクトの実際のサイズである実サイズとオブジェクトの位置を算出する。
このオブジェクト実サイズと位置の算出処理の詳細について、図7を参照して説明する。
図7には、以下の各図を示している。
(1)前方向カメラ撮影画像
(2)前方向カメラ撮影画像内オブジェクトの位置、実サイズ算出処理例
(1)前方向カメラ撮影画像
(2)前方向カメラ撮影画像内オブジェクトの位置、実サイズ算出処理例
図7(1)の前方向カメラ撮影画像は、画像の横方向画素に相当する横軸をU軸、画像の縦方向画素に相当する縦軸をV軸としている。撮影画像は、
縦方向画素数=H
横方向画素数=W
の画像である。
原点Oは、縦方向画素の下端、横方向画素数Wの中点位置に設定している。
この画像内に、オブジェクト(画像オブジェクト)が撮影されている。
この画像オブジェクトは、例えば、図2に示す対向車30に相当する。
縦方向画素数=H
横方向画素数=W
の画像である。
原点Oは、縦方向画素の下端、横方向画素数Wの中点位置に設定している。
この画像内に、オブジェクト(画像オブジェクト)が撮影されている。
この画像オブジェクトは、例えば、図2に示す対向車30に相当する。
画像オブジェクトの前面にはオブジェクト検出枠を示している。
オブジェクト検出枠の左下端の座標は(u1,v1)、
オブジェクト検出枠の右上端の座標は(u2,v2)、
である。
これらのオブジェクト領域を示す座標(u1,v1)、(u2,v2)は、カメラ撮影画像から取得可能な座標情報である。
オブジェクト検出枠の左下端の座標は(u1,v1)、
オブジェクト検出枠の右上端の座標は(u2,v2)、
である。
これらのオブジェクト領域を示す座標(u1,v1)、(u2,v2)は、カメラ撮影画像から取得可能な座標情報である。
図7(2)に示す前方向カメラ撮影画像内オブジェクトの位置、実サイズ算出処理例に示すXZ座標空間は実空間に相当する。
前方向カメラのカメラ位置を原点(カメラ原点O)として、カメラ撮影方向(前方向)に垂直な軸(左右軸)を横軸X軸とし、図に縦軸として示すZ軸は、カメラ光軸(カメラ撮影方向)に相当する。Z軸の値はカメラから垂直方向の距離(奥行)に相当する。
図7(2)に示す実オブジェクトは、図7(1)の画像に撮影されたオブジェクトである。
実オブジェクトは、前方向カメラ画像撮影領域内にあり、かつ、距離センサ計測領域内にある。
前方向カメラのカメラ位置を原点(カメラ原点O)として、カメラ撮影方向(前方向)に垂直な軸(左右軸)を横軸X軸とし、図に縦軸として示すZ軸は、カメラ光軸(カメラ撮影方向)に相当する。Z軸の値はカメラから垂直方向の距離(奥行)に相当する。
図7(2)に示す実オブジェクトは、図7(1)の画像に撮影されたオブジェクトである。
実オブジェクトは、前方向カメラ画像撮影領域内にあり、かつ、距離センサ計測領域内にある。
実オブジェクト位置の前面(カメラ側)は、カメラ原点からZ軸(カメラ光軸)方向にz1の位置にあり、X座標はX1,X2の範囲にある。
カメラ原点Oから、オブジェクト(前面X1~X2の中心D)までの距離、すなわち、オブジェクト距離ODは、
オブジェクト距離OD=d
である。
このオブジェクト距離dは、距離センサ40のセンサ情報から算出される値である。
さらに、
カメラ撮影画像の画角=Ψ
は、既知の値である。
カメラ原点Oから、オブジェクト(前面X1~X2の中心D)までの距離、すなわち、オブジェクト距離ODは、
オブジェクト距離OD=d
である。
このオブジェクト距離dは、距離センサ40のセンサ情報から算出される値である。
さらに、
カメラ撮影画像の画角=Ψ
は、既知の値である。
図7(1)の画像上のオブジェクトを通るU軸に平行な線分ab上の画像は、図7(2)の実空間上のオブジェクトの前面を通る線分AB(Z=z1上のX軸に平行な線分AB)の画像に相当する。
すなわち、実空間上のラインABの実サイズを縮小した画像が画像空間上のラインabの画像に相当する。
従って、図7(1)前方向カメラ撮影画像の線分abにおける画像オブジェクトの位置と、図7(2)の実空間の線分ABにおける実オブジェクトの位置は同じ位置関係にある。
すなわち、実空間上のラインABの実サイズを縮小した画像が画像空間上のラインabの画像に相当する。
従って、図7(1)前方向カメラ撮影画像の線分abにおける画像オブジェクトの位置と、図7(2)の実空間の線分ABにおける実オブジェクトの位置は同じ位置関係にある。
これらの条件の下、実空間における実オブジェクトの位置とサイズを算出する。
具体的には、図7(2)に示す実オブジェクトのX座標,X1,X2をオブジェクト位置として算出する。
さらに、実オブジェクトのX座標,X1,X2から、X2-X1により、実オブジェクトのサイズである横の長さ、すなわち幅を算出することができる。
なお、実オブジェクトの幅が取得できれば、実オブジェクトの高さ等、その他のサイズも取得できる。すなわち、例えば画像オブジェクトの幅と高さの比率と、実オブジェクトの幅と高さの比率は同一であり、画像オブジェクトから各辺の比率を算出して実オブジェクトの実サイズに対応させて変換することで、実オブジェクトの各辺の長さを算出することができる。
具体的には、図7(2)に示す実オブジェクトのX座標,X1,X2をオブジェクト位置として算出する。
さらに、実オブジェクトのX座標,X1,X2から、X2-X1により、実オブジェクトのサイズである横の長さ、すなわち幅を算出することができる。
なお、実オブジェクトの幅が取得できれば、実オブジェクトの高さ等、その他のサイズも取得できる。すなわち、例えば画像オブジェクトの幅と高さの比率と、実オブジェクトの幅と高さの比率は同一であり、画像オブジェクトから各辺の比率を算出して実オブジェクトの実サイズに対応させて変換することで、実オブジェクトの各辺の長さを算出することができる。
図7(2)に示す実オブジェクトの位置を示すX座標,X1,X2の算出処理とサイズの算出処理は、以下の処理A1~A5を順次、実行して行う。
(処理A1)実空間のカメラ原点Oからオブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φを算出する。
(処理A2)実空間のカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標z1を算出する。
(処理A3)実空間のカメラ原点Oと実オブジェクトの前方(カメラ側)の左端(X座標=X1)を結ぶ線分OPとZ軸とのなす角θ1と、カメラ原点Oと実オブジェクトの前方(カメラ側)の右端(X座標=X2)を結ぶ線分OQとZ軸とのなす角θ2を算出する。
(処理A4)処理A1~A3において算出した値を用いて、オブジェクト位置X1,X2を算出する。
(処理A5)実オブジェクトのサイズの算出処理
以下、上記(処理A1)~(処理A5)の各処理の詳細について説明する。
(処理A1)実空間のカメラ原点Oからオブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φを算出する。
(処理A2)実空間のカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標z1を算出する。
(処理A3)実空間のカメラ原点Oと実オブジェクトの前方(カメラ側)の左端(X座標=X1)を結ぶ線分OPとZ軸とのなす角θ1と、カメラ原点Oと実オブジェクトの前方(カメラ側)の右端(X座標=X2)を結ぶ線分OQとZ軸とのなす角θ2を算出する。
(処理A4)処理A1~A3において算出した値を用いて、オブジェクト位置X1,X2を算出する。
(処理A5)実オブジェクトのサイズの算出処理
以下、上記(処理A1)~(処理A5)の各処理の詳細について説明する。
(処理A1)
まず、処理A1、すなわち、実空間のカメラ原点Oからオブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φの算出処理について説明する。
まず、処理A1、すなわち、実空間のカメラ原点Oからオブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φの算出処理について説明する。
図7(1)の画像中の線分abの中央点をc、線分ab中の画像オブジェクトの中央点をdとする。
一方、図7(2)の実空間の線分ABの中央点をC、線分AB中の実オブジェクトの中央点をDとする。
一方、図7(2)の実空間の線分ABの中央点をC、線分AB中の実オブジェクトの中央点をDとする。
また、図7(1)の画像中の線分ab中の画像オブジェクトの左右端点のU座標をu1、u2とする。
このとき、cbとcdの比率と、CBとCDの比率は同一であり、
cb:cd=CB:CD・・・(式1)
上記(式1)が成立する。
上記(式1)から、以下の(式2)が得られる。
W/2:(u1+u2)/2=tan(Ψ/2):tanΦ・・・(式2)
このとき、cbとcdの比率と、CBとCDの比率は同一であり、
cb:cd=CB:CD・・・(式1)
上記(式1)が成立する。
上記(式1)から、以下の(式2)が得られる。
W/2:(u1+u2)/2=tan(Ψ/2):tanΦ・・・(式2)
上記(式2)において、
Wは、前方向カメラ撮影画像の横方向画素数、
u1,u2は、前方向カメラ撮影画像の画像オブジェクトの座標情報、
Ψは、前方向カメラの画角、
であり、すべて既知の値である。
従って、上記(式2)から、角度Φ、すなわち、カメラ原点Oから、オブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φを算出することできる。
Wは、前方向カメラ撮影画像の横方向画素数、
u1,u2は、前方向カメラ撮影画像の画像オブジェクトの座標情報、
Ψは、前方向カメラの画角、
であり、すべて既知の値である。
従って、上記(式2)から、角度Φ、すなわち、カメラ原点Oから、オブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φを算出することできる。
(処理A2)
次に、処理A2、すなわち、実空間のカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標=z1を算出する処理について説明する。
次に、処理A2、すなわち、実空間のカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標=z1を算出する処理について説明する。
図7(2)に示す実空間において、
実オブジェクトのカメラ原点Oからの距離dと、
実オブジェクトのカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標=z1と、
カメラ原点Oと実オブジェクト中央点Dを結ぶ線分ODと、Z軸とのなす角=Φ、
これらの関係は、
cosΦ=z1/d・・・(式3)
となる。この(式3)から、
z1=cosΦ×d・・・(式4)
が得られる。
実オブジェクトのカメラ原点Oからの距離dと、
実オブジェクトのカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標=z1と、
カメラ原点Oと実オブジェクト中央点Dを結ぶ線分ODと、Z軸とのなす角=Φ、
これらの関係は、
cosΦ=z1/d・・・(式3)
となる。この(式3)から、
z1=cosΦ×d・・・(式4)
が得られる。
上記(式4)において、
dは、オブジェクト距離dであり、距離センサ40の計測値から既知の値である。
Φは、(式2)に従って算出される既知の値である。
従って、上記(式4)から、
実オブジェクトのカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標=z1を算出することができる。
dは、オブジェクト距離dであり、距離センサ40の計測値から既知の値である。
Φは、(式2)に従って算出される既知の値である。
従って、上記(式4)から、
実オブジェクトのカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標=z1を算出することができる。
(処理A3)
次に、処理A3、すなわち、実空間のカメラ原点Oと実オブジェクトの前方(カメラ側)の左端(X座標=X1)を結ぶ線分OPとZ軸とのなす角θ1と、カメラ原点Oと実オブジェクトの前方(カメラ側)の右端(X座標=X2)を結ぶ線分OQとZ軸とのなす角θ2を算出する処理について説明する。
次に、処理A3、すなわち、実空間のカメラ原点Oと実オブジェクトの前方(カメラ側)の左端(X座標=X1)を結ぶ線分OPとZ軸とのなす角θ1と、カメラ原点Oと実オブジェクトの前方(カメラ側)の右端(X座標=X2)を結ぶ線分OQとZ軸とのなす角θ2を算出する処理について説明する。
前述したように、図7(1)の画像上のオブジェクトを通るU軸に平行な線分ab上の画像は、図7(2)の実空間上のオブジェクトの前面を通る線分AB(Z=z1上のX軸に平行な線分AB)の画像に相当する。
すなわち、実空間上のラインABの実サイズを縮小した画像が画像空間上のラインabの画像に相当する。
すなわち、実空間上のラインABの実サイズを縮小した画像が画像空間上のラインabの画像に相当する。
従って、図7(1)前方向カメラ撮影画像の線分abにおける画像オブジェクト位置の端点のu座標u1,u2と、図7(2)の実空間の線分ABにおける実オブジェクト位置の端点のX座標X1,X2は同じ位置関係にある。
この関係から、
図7(1)の画像中の、
cからbの長さcb、
cからu1の長さcu1、
cからu2の長さcu2、
および、図7(2)の実空間中の、
CからBの長さCB、
CからX1の長さCX1、
CからX2の長さCX2、
これらの各値の対応関係として、以下の(式5)、(式6)が成立する。
cb:cu1=CB:CX1・・・(式5)
cb:cu2=CB:CX2・・・(式6)
上記(式5),(式6)が成立する。
図7(1)の画像中の、
cからbの長さcb、
cからu1の長さcu1、
cからu2の長さcu2、
および、図7(2)の実空間中の、
CからBの長さCB、
CからX1の長さCX1、
CからX2の長さCX2、
これらの各値の対応関係として、以下の(式5)、(式6)が成立する。
cb:cu1=CB:CX1・・・(式5)
cb:cu2=CB:CX2・・・(式6)
上記(式5),(式6)が成立する。
上記(式5),(式6)から、
W/2:cu1=tan(Ψ/2):tan(θ1)・・・(式7)
W/2:cu2=tan(Ψ/2):tan(θ2)・・・(式8)
が得られる。
上記(式7)において、未知数はθ1のみであるので、(式7)から、θ1を算出することができる。
また、上記(式8)において、未知数はθ2のみであるので、(式8)から、θ2を算出することができる。
W/2:cu1=tan(Ψ/2):tan(θ1)・・・(式7)
W/2:cu2=tan(Ψ/2):tan(θ2)・・・(式8)
が得られる。
上記(式7)において、未知数はθ1のみであるので、(式7)から、θ1を算出することができる。
また、上記(式8)において、未知数はθ2のみであるので、(式8)から、θ2を算出することができる。
(処理A4)
次に、処理A4、すなわち、処理A1~A3において算出した値を用いて、オブジェクト位置X1,X2を算出する処理について説明する。
次に、処理A4、すなわち、処理A1~A3において算出した値を用いて、オブジェクト位置X1,X2を算出する処理について説明する。
図7(2)に示す実オブジェクトの前方(カメラ側)の左端のX座標=X1と、
実オブジェクトのZ座標=z1と、
線分OPとZ軸とのなす角=θ1、
これらの関係は、以下の(式9)によって示すことができる。
X1=z1×sinθ1・・・(式9)
実オブジェクトのZ座標=z1と、
線分OPとZ軸とのなす角=θ1、
これらの関係は、以下の(式9)によって示すことができる。
X1=z1×sinθ1・・・(式9)
同様に、実オブジェクトの前方(カメラ側)の右端のX座標=X2と、
実オブジェクトのZ座標=z1と、
線分OQとZ軸とのなす角=θ2、
これらの関係は、以下の(式10)によって示すことができる。
X2=z1×sinθ2・・・(式10)
実オブジェクトのZ座標=z1と、
線分OQとZ軸とのなす角=θ2、
これらの関係は、以下の(式10)によって示すことができる。
X2=z1×sinθ2・・・(式10)
上記(式9)、(式10)において、z1は、(式4)に従って算出され既知である。
また、θ1、θ2は、(式7)、(式8)に従って算出され既知である。
従って、上記(式9)、(式10)から、
実オブジェクトの前方(カメラ側)の左右端のX座標=X1,X2を算出することができる。
このオブジェクト位置情報X1,X2は、行動計画部等のオブジェクト位置情報利用モジュールに出力され、利用される。
また、θ1、θ2は、(式7)、(式8)に従って算出され既知である。
従って、上記(式9)、(式10)から、
実オブジェクトの前方(カメラ側)の左右端のX座標=X1,X2を算出することができる。
このオブジェクト位置情報X1,X2は、行動計画部等のオブジェクト位置情報利用モジュールに出力され、利用される。
(処理A5)実オブジェクトのサイズの算出処理
次に、処理A5の処理、すなわち、実オブジェクトのサイズの算出処理について説明する。
次に、処理A5の処理、すなわち、実オブジェクトのサイズの算出処理について説明する。
図7(2)の実空間の実オブジェクトのサイズ(幅)は、以下の(式11)によって算出できる。
実オブジェクトサイズ=X2-X1・・・(式11)
X1,X2の値は、上記(式9)、(式10)によって算出済みであり、上記(式11)に従って、実オブジォクトのサイズ(幅)を算出可能となる。
実オブジェクトサイズ=X2-X1・・・(式11)
X1,X2の値は、上記(式9)、(式10)によって算出済みであり、上記(式11)に従って、実オブジォクトのサイズ(幅)を算出可能となる。
なお、図7(1)に示す画像オブジェクトの幅(u2-u1)と高さ(v2-v1)の比は、図7(2)に示す実オブジォクトの幅と高さの比と同一である。
従って、実オブジォクトのサイズ(幅)が取得できれば、実オブジェクトの高さも以下の(式12)に従って算出することができる。
実オブジェクとの高さ=(X2-X1)×((v2-v1)/(u2-u1))・・・(式12)
従って、実オブジォクトのサイズ(幅)が取得できれば、実オブジェクトの高さも以下の(式12)に従って算出することができる。
実オブジェクとの高さ=(X2-X1)×((v2-v1)/(u2-u1))・・・(式12)
オブジェクト位置&実サイズ算出部55は上述した処理、すなわち、図7を参照して説明した算出処理に従って、オブジェクト距離算出部54から入力した情報、すなわち、
カメラ撮影画像(前方向カメラ41の撮影画像)、
オブジェクトIDとオブジェクト画像サイズとの対応データ、
オブジェクト距離情報、
これらのデータを利用して、オブジェクトの実際のサイズである実サイズを算出する。
カメラ撮影画像(前方向カメラ41の撮影画像)、
オブジェクトIDとオブジェクト画像サイズとの対応データ、
オブジェクト距離情報、
これらのデータを利用して、オブジェクトの実際のサイズである実サイズを算出する。
このように、オブジェクト位置&実サイズ算出部55は、前方向カメラ41の撮影画像に含まれるオブジェクトの実サイズを算出し、算出したオブジェクト実サイズを、オブジェクトIDとオブジェクト特徴情報に対応付けてオブジェクト情報記憶部56に格納する。
オブジェクト情報記憶部56に格納されるデータは、先に図5を参照して説明したデータであり、以下の各データの対応データである。
オブジェクトID、
オブジェクト実サイズ、
オブジェクト特徴情報(色、形状、模様、その他)
これらの各情報が、各オブジェクト単位の対応データとして記録される。
なお、これらは全て距離センサ40によって距離が計測されたオブジェクトであり、本実施例では前方向カメラ41によって撮影された画像内に含まれるオブジェクトである。
オブジェクトID、
オブジェクト実サイズ、
オブジェクト特徴情報(色、形状、模様、その他)
これらの各情報が、各オブジェクト単位の対応データとして記録される。
なお、これらは全て距離センサ40によって距離が計測されたオブジェクトであり、本実施例では前方向カメラ41によって撮影された画像内に含まれるオブジェクトである。
[3-2.前方向以外のカメラ撮影画像に含まれるオブジェクトの距離、および位置の算出処理例について]
次に、図8を参照して、前方向カメラ41以外のカメラ、すなわち後方向カメラ42、または左方向カメラ43、または右方向カメラ44のいずれかの撮影画像に含まれるオブジェクトの距離や位置を算出する処理例について説明する。
次に、図8を参照して、前方向カメラ41以外のカメラ、すなわち後方向カメラ42、または左方向カメラ43、または右方向カメラ44のいずれかの撮影画像に含まれるオブジェクトの距離や位置を算出する処理例について説明する。
先に説明したように、図8に示す情報処理装置50のオブジェクト追跡&解析部53から入力するカメラ撮影画像が前方向カメラ41以外の後方向カメラ42、左方向カメラ43、右方向カメラ44の撮影画像である場合、そのカメラ撮影画像に含まれるオブジェクトは、距離センサ40の距離計測可能領域外であり、距離センサの計測情報を利用してオブジェクトまでの距離を算出することができない。
この場合、オブジェクト距離算出部54は、オブジェクト追跡&解析部53からの入力情報、すなわち、カメラ撮影画像と、オブジェクトIDとオブジェクト画像サイズとオブジェクト特徴情報との対応データ、および、
オブジェクト情報記憶部56の格納情報を利用して、オブジェクトまでの距離を算出する。
オブジェクト情報記憶部56の格納情報を利用して、オブジェクトまでの距離を算出する。
図8は、情報処理装置50が、前方向カメラ41以外のカメラ、すなわち後方向カメラ42、または左方向カメラ43、または右方向カメラ44のいずれかの撮影画像を入力して、これらのカメラの撮影画像に含まれるオブジェクトの距離算出を行う場合の処理例について説明した図である。
図8には、後方向カメラ42、または左方向カメラ43、または右方向カメラ44いずれかの撮影画像を入力する場合に発生するデータの流れを太線矢印で示している。
図8には、後方向カメラ42、または左方向カメラ43、または右方向カメラ44いずれかの撮影画像を入力する場合に発生するデータの流れを太線矢印で示している。
なお、情報処理装置50が、前方向カメラ41以外のカメラの撮影画像を入力して行う処理は共通の処理であるので、以下では、代表例として、右方向カメラ44の撮影画像を入力した場合の処理を説明する。
具体的には、例えば先に図3を参照して説明したようなオブジェクト(対向車30)が右方向カメラ44によって撮影された場合の処理について説明する。
具体的には、例えば先に図3を参照して説明したようなオブジェクト(対向車30)が右方向カメラ44によって撮影された場合の処理について説明する。
図8に示す情報処理装置50のオブジェクト検出部52は、右方向カメラ44の撮影画像を入力すると、画像からオブジェクトを検出する。
オブジェクトは、車両、歩行者、カードレール等、移動装置10の移動に対する障害物となり得る全てのオブジェクトが含まれる。
オブジェクトは、車両、歩行者、カードレール等、移動装置10の移動に対する障害物となり得る全てのオブジェクトが含まれる。
オブジェクト追跡&解析部53は、オブジェクト検出部52が検出したオブジェクトの追跡処理を実行して、各オブジェクトにオブジェクトIDを設定し、さらに、オブジェクト画像サイズ(例えば、縦(h)×横(w)の画素数)と、オブジェクトの特徴情報(色、形状、模様等)を取得する。
なお、オブジェクト追跡&解析部53は、右方向カメラ44によって撮影されたオブジェクト中、事前に前方向カメラ41によって撮影され、オブジェクトIDが設定済みのオブジェクトについては、同一のオブジェクトIDを設定する。
オブジェクト追跡&解析部53は、前方向カメラ41と右方向カメラ44との境界領域の対応画素位置情報を保持しており、前方向カメラ41によって撮影されたオブジェクトが、その対応画素位置を通過して右方向カメラ44に移動する場合、そのオブジェクトに同一のオブジェクトIDを設定する。
オブジェクト追跡&解析部53は、隣接画像を撮影する2つのカメラの撮影オブジェクトについて、同じ識別子(ID)を設定する処理を行う。
オブジェクト追跡&解析部53は、隣接画像を撮影する2つのカメラの撮影オブジェクトについて、同じ識別子(ID)を設定する処理を行う。
オブジェクト追跡&解析部53は、
オブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データをカメラ撮影画像とともに、オブジェクト距離算出部54に出力する。
オブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データをカメラ撮影画像とともに、オブジェクト距離算出部54に出力する。
オブジェクト距離算出部54は、オブジェクト追跡&解析部53と、オブジェクト情報記憶部56から以下の各情報を入力する。
(a)オブジェクト追跡&解析部53から、右方向カメラ撮影画像と、画像に含まれるオブジェクトのオブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データ、
(b)オブジェクト情報記憶部56から、記憶部に記録済みのデータ、すなわち、前方向カメラで撮影されたオブジェクトに対応するオブジェクトIDと、オブジェクト実サイズと、オブジェクト特徴情報との対応データ、
(a)オブジェクト追跡&解析部53から、右方向カメラ撮影画像と、画像に含まれるオブジェクトのオブジェクトIDと、オブジェクト画像サイズと、オブジェクト特徴情報との対応データ、
(b)オブジェクト情報記憶部56から、記憶部に記録済みのデータ、すなわち、前方向カメラで撮影されたオブジェクトに対応するオブジェクトIDと、オブジェクト実サイズと、オブジェクト特徴情報との対応データ、
オブジェクト距離算出部54は、これらの情報を入力して、まず、オブジェクト追跡&解析部53から入力したオブジェクトIDと同一のIDがオブジェクト情報記憶部56に格納されているか否かの確認を行う。
オブジェクト追跡&解析部53から入力したオブジェクトIDと同一のIDがオブジェクト情報記憶部56に格納されている場合は、さらに、オブジェクト追跡&解析部53から入力した右方向カメラ撮影画像のオブジェクトの特徴と、オブジェクト情報記憶部56に格納済みの同一IDが設定されたオブジェクトの特徴情報を比較する。
オブジェクト追跡&解析部53から入力したオブジェクトIDと同一のIDがオブジェクト情報記憶部56に格納されている場合は、さらに、オブジェクト追跡&解析部53から入力した右方向カメラ撮影画像のオブジェクトの特徴と、オブジェクト情報記憶部56に格納済みの同一IDが設定されたオブジェクトの特徴情報を比較する。
右方向カメラ撮影画像のオブジェクトの特徴と、オブジェクト情報記憶部56に格納済みの同一IDが設定されたオブジェクトの特徴情報が一致すれば、ID設定処理が正しく行われたと判定し、さらに、オブジェクト情報記憶部56にそのオブジェクトID対応の実サイズが記録されているか否かを判定する。
オブジェクトの特徴情報が一致し、かつ、オブジェクトID対応の実サイズが記録されている場合は、以下に説明するオブジェクト距離算出処理を行う。
オブジェクトの特徴情報が一致し、かつ、オブジェクトID対応の実サイズが記録されている場合は、以下に説明するオブジェクト距離算出処理を行う。
オブジェクト追跡&解析部53から入力したオブジェクトIDと同一のIDがオブジェクト情報記憶部56に格納されていない場合、または、
オブジェクトの特徴情報が一致しない場合、または、
オブジェクトの実サイズが記録されていない場合、
これらの場合は、ID設定処理、あるいは事前のオブジェクト実サイズ算出処理が正しく行われなかったと判定し、以下に説明するオブジェクト距離算出処理は行われない。
この場合は、画像のオブジェクト特徴に基づくサイズ推定処理を行う。この処理については、後段でフローチャートを参照して説明する。
オブジェクトの特徴情報が一致しない場合、または、
オブジェクトの実サイズが記録されていない場合、
これらの場合は、ID設定処理、あるいは事前のオブジェクト実サイズ算出処理が正しく行われなかったと判定し、以下に説明するオブジェクト距離算出処理は行われない。
この場合は、画像のオブジェクト特徴に基づくサイズ推定処理を行う。この処理については、後段でフローチャートを参照して説明する。
オブジェクト追跡&解析部53から入力した画像オブジェクトのオブジェクトIDと、同一のオブジェクトID対応のオブジェクト実サイズと、オブジェクト特徴情報が、オブジェクト情報記憶部56に格納されている場合、オブジェクト距離算出部54は、オブジェクト追跡&解析部53と、オブジェクト情報記憶部56からの入力情報に基づいて、オブジェクトまでの距離を算出する。
すなわち、オブジェクト距離算出部54は、以下の各情報を利用してオブジェクトまでの距離を算出する。
(a)オブジェクト追跡&解析部53から入力する、右方向カメラ撮影画像、
(b)オブジェクト情報記憶部56から、記憶部に記録済みのデータ、すなわち、前方向カメラで撮影された同一オブジェクト対応のオブジェクト実サイズ情報。
この処理の詳細については後述する。
(a)オブジェクト追跡&解析部53から入力する、右方向カメラ撮影画像、
(b)オブジェクト情報記憶部56から、記憶部に記録済みのデータ、すなわち、前方向カメラで撮影された同一オブジェクト対応のオブジェクト実サイズ情報。
この処理の詳細については後述する。
オブジェクト距離算出部54は、右方向カメラ44の撮影画像から検出されたオブジェクトのオブジェクトまでの距離を算出すると、算出したオブジェクトまでの距離を、例えば移動装置の移動経路(パス)を設定する行動計画部等、オブジェクト距離を利用するモジュールに出力する。
移動装置10に備えられた行動計画部は、オブジェクト距離算出部54の算出したオブジェクトまでの距離を参照して、右方向をすれ違う対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行うことになる。
次に、図9を参照して、オブジェクト距離算出部54におけるオブジェクト距離算出処理の詳細について説明する。
前述したように、オブジェクト距離算出部54は、以下の各情報を利用してオブジェクトまでの距離を算出する。
(a)オブジェクト追跡&解析部53から入力する、右方向カメラ撮影画像、
(b)オブジェクト情報記憶部56から、記憶部に記録済みのデータ、すなわち、右方向カメラで撮影された同一オブジェクト対応のオブジェクト実サイズ情報。
前述したように、オブジェクト距離算出部54は、以下の各情報を利用してオブジェクトまでの距離を算出する。
(a)オブジェクト追跡&解析部53から入力する、右方向カメラ撮影画像、
(b)オブジェクト情報記憶部56から、記憶部に記録済みのデータ、すなわち、右方向カメラで撮影された同一オブジェクト対応のオブジェクト実サイズ情報。
図9には、以下の各図を示している。
(1)右方向カメラ撮影画像
(2)右方向カメラ撮影画像内オブジェクトの距離、位置算出処理例
(1)右方向カメラ撮影画像
(2)右方向カメラ撮影画像内オブジェクトの距離、位置算出処理例
図9(1)の右方向カメラ撮影画像は、画像の横方向画素に相当する横軸をU軸、画像の縦方向画素に相当する縦軸をV軸としている。撮影画像は、
縦方向画素数=H
横方向画素数=W
の画像である。
原点Oは、縦方向画素の下端、横方向画素数Wの中点位置に設定している。
この画像内に、オブジェクト(画像オブジェクト)が撮影されている。
この画像オブジェクトは、例えば、図3に示す対向車30に相当する。
縦方向画素数=H
横方向画素数=W
の画像である。
原点Oは、縦方向画素の下端、横方向画素数Wの中点位置に設定している。
この画像内に、オブジェクト(画像オブジェクト)が撮影されている。
この画像オブジェクトは、例えば、図3に示す対向車30に相当する。
画像オブジェクトの前面にはオブジェクト検出枠を示している。
オブジェクト検出枠の左下端の座標は(u1,v1)、
オブジェクト検出枠の右上端の座標は(u2,v2)、
である。
これらのオブジェクト領域を示す座標(u1,v1)、(u2,v2)は、カメラ撮影画像から取得可能な座標情報である。
オブジェクト検出枠の左下端の座標は(u1,v1)、
オブジェクト検出枠の右上端の座標は(u2,v2)、
である。
これらのオブジェクト領域を示す座標(u1,v1)、(u2,v2)は、カメラ撮影画像から取得可能な座標情報である。
図9(2)に示す右方向カメラ撮影画像内オブジェクトの距離、位置算出処理例に示すXZ座標空間は実空間に相当する。
右方向カメラのカメラ位置を原点(カメラ原点O)として、カメラ撮影方向(移動装置10の右方向)に垂直な軸を横軸X軸とし、図に縦軸として示すZ軸は、カメラ光軸(カメラ撮影方向)に相当する。Z軸の値はカメラから垂直方向の距離(奥行)に相当する。
図9(2)に示す実オブジェクトは、図9(1)の画像に撮影されたオブジェクトである。
実オブジェクトは、右方向カメラ画像撮影領域内にある。ただし、距離センサ計測領域内にはない。
右方向カメラのカメラ位置を原点(カメラ原点O)として、カメラ撮影方向(移動装置10の右方向)に垂直な軸を横軸X軸とし、図に縦軸として示すZ軸は、カメラ光軸(カメラ撮影方向)に相当する。Z軸の値はカメラから垂直方向の距離(奥行)に相当する。
図9(2)に示す実オブジェクトは、図9(1)の画像に撮影されたオブジェクトである。
実オブジェクトは、右方向カメラ画像撮影領域内にある。ただし、距離センサ計測領域内にはない。
実オブジェクト位置の前面(カメラ側)は、カメラ原点からZ軸(カメラ光軸)方向にz1の位置にあり、X座標はX1,X2の範囲にある。
カメラ原点Oから、オブジェクト(前面X1~X2の中心D)までの距離、すなわち、オブジェクト距離ODは、
オブジェクト距離OD=d
である。
このオブジェクト距離dが算出対象となるオブジェクト距離dである。
なお、
カメラ撮影画像の画角=Ψ
は、既知の値である。
カメラ原点Oから、オブジェクト(前面X1~X2の中心D)までの距離、すなわち、オブジェクト距離ODは、
オブジェクト距離OD=d
である。
このオブジェクト距離dが算出対象となるオブジェクト距離dである。
なお、
カメラ撮影画像の画角=Ψ
は、既知の値である。
図9(1)の画像上のオブジェクトを通るU軸に平行な線分ab上の画像は、図9(2)の実空間上のオブジェクトの前面を通る線分AB(Z=z1上のX軸に平行な線分AB)の画像に相当する。
すなわち、実空間上のラインABの実サイズを縮小した画像が画像空間上のラインabの画像に相当する。
従って、図9(1)右方向カメラ撮影画像の線分abにおける画像オブジェクトの位置と、図9(2)の実空間の線分ABにおける実オブジェクトの位置は同じ位置関係にある。
すなわち、実空間上のラインABの実サイズを縮小した画像が画像空間上のラインabの画像に相当する。
従って、図9(1)右方向カメラ撮影画像の線分abにおける画像オブジェクトの位置と、図9(2)の実空間の線分ABにおける実オブジェクトの位置は同じ位置関係にある。
これらの条件の下、実空間における実オブジェクトの距離dを算出する。
図9(2)に示す実オブジェクト距離dの算出処理は、以下の処理B1~B3を順次、実行して行う。
(処理B1)実空間のカメラ原点Oからオブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φを算出する。
(処理B2)実空間のカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標z1を算出する。
(処理B3)処理B1~B2において算出した値を用いて、オブジェクト距離dを算出する。
以下、上記(処理B1)~(処理B3)の各処理の詳細について説明する。
図9(2)に示す実オブジェクト距離dの算出処理は、以下の処理B1~B3を順次、実行して行う。
(処理B1)実空間のカメラ原点Oからオブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φを算出する。
(処理B2)実空間のカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標z1を算出する。
(処理B3)処理B1~B2において算出した値を用いて、オブジェクト距離dを算出する。
以下、上記(処理B1)~(処理B3)の各処理の詳細について説明する。
(処理B1)
まず、処理B1、すなわち、実空間のカメラ原点Oからオブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φの算出処理について説明する。
まず、処理B1、すなわち、実空間のカメラ原点Oからオブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φの算出処理について説明する。
図9(1)の画像中の線分abの中央点をc、線分ab中の画像オブジェクトの中央点をdとする。
一方、図9(2)の実空間の線分ABの中央点をC、線分AB中の実オブジェクトの中央点をDとする。
一方、図9(2)の実空間の線分ABの中央点をC、線分AB中の実オブジェクトの中央点をDとする。
また、図9(1)の画像中の線分ab中の画像オブジェクトの左右端点のU座標をu1、u2とする。
このとき、cbとcdの比率と、CBとCDの比率は同一であり、
cb:cd=CB:CD・・・(式21)
上記(式21)が成立する。
上記(式21)から、以下の(式22)が得られる。
W/2:(u1+u2)/2=tan(Ψ/2):tanΦ・・・(式22)
このとき、cbとcdの比率と、CBとCDの比率は同一であり、
cb:cd=CB:CD・・・(式21)
上記(式21)が成立する。
上記(式21)から、以下の(式22)が得られる。
W/2:(u1+u2)/2=tan(Ψ/2):tanΦ・・・(式22)
上記(式22)において、
Wは、右方向カメラ撮影画像の横方向画素数、
u1,u2は、右方向カメラ撮影画像の画像オブジェクトの座標情報、
Ψは、右方向カメラの画角、
であり、すべて既知の値である。
従って、上記(式22)から、角度Φ、すなわち、カメラ原点Oから、オブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φを算出することできる。
Wは、右方向カメラ撮影画像の横方向画素数、
u1,u2は、右方向カメラ撮影画像の画像オブジェクトの座標情報、
Ψは、右方向カメラの画角、
であり、すべて既知の値である。
従って、上記(式22)から、角度Φ、すなわち、カメラ原点Oから、オブジェクト前面中心Dを結ぶ直線OD(図にオブジェクト距離dとして示す直線)と、Z軸(カメラ光軸)とのなす角Φを算出することできる。
(処理B2)
次に、処理B2、すなわち、実空間のカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標=z1を算出する処理について説明する。
次に、処理B2、すなわち、実空間のカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標=z1を算出する処理について説明する。
図9(2)に示す実空間において、
CB=z1×tan(Ψ/2)・・・(式23)、
であり、
z1=CB/(tan(Ψ/2))・・・(式24)
となる。
CB=z1×tan(Ψ/2)・・・(式23)、
であり、
z1=CB/(tan(Ψ/2))・・・(式24)
となる。
ここで、図9(2)に示す実空間での長さCBは、図9(1)に示す画像空間では、長さcb(=W/2)に縮小されている。
この縮小率は、
実空間の実オブジェクトのサイズ(幅)=(X2-X1)と、
画像空間の画像オブジェクトのサイズ(幅)=(u2-u1)、
これらのサイズの縮小率に等しい。
この縮小率は、
実空間の実オブジェクトのサイズ(幅)=(X2-X1)と、
画像空間の画像オブジェクトのサイズ(幅)=(u2-u1)、
これらのサイズの縮小率に等しい。
従って、上記(式24)中のCBは、以下の(式25)で算出できる。
CB=(W/2)×(X2-X1)/(u2-u1)・・・(式25)
CB=(W/2)×(X2-X1)/(u2-u1)・・・(式25)
上記(式25)から、前述の(式24)は、以下の(式26)として示すことができる。
z1=((W/2)×(X2-X1)/(u2-u1))/(tan(Ψ/2))・・・(式26)
z1=((W/2)×(X2-X1)/(u2-u1))/(tan(Ψ/2))・・・(式26)
上記(式26)において、
W/2は、撮影画像の横画素数の1/2であり既知である。
(X2-X1)は、実オブジェクトのサイズ(幅)であり、事前にオブジェクト情報記憶部56に格納された値である。
(u2-u1)は撮影画像から取得可能である。
(tan(Ψ/2))は、画角Ψから算出できる。
従って、これらの既知の値を利用して、上記(式26)に従って、実オブジェクトのカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標=z1を算出することができる。
W/2は、撮影画像の横画素数の1/2であり既知である。
(X2-X1)は、実オブジェクトのサイズ(幅)であり、事前にオブジェクト情報記憶部56に格納された値である。
(u2-u1)は撮影画像から取得可能である。
(tan(Ψ/2))は、画角Ψから算出できる。
従って、これらの既知の値を利用して、上記(式26)に従って、実オブジェクトのカメラ原点OからZ軸(カメラ光軸)方向への離間距離、すなわち、実オブジェクトのZ座標=z1を算出することができる。
なお、(X2-X1)は、実オブジェクトのサイズ(幅)であるが、これは前方向カメラ41の撮影画像を適用して算出されてオブジェクト情報記憶部56に格納された値である。従って、例えば、オブジェクトが対向車である場合、前にオブジェクト情報記憶部56に格納されたオブジェクトサイズ(幅)は、前方カメラで撮影された対向車のフロント部分の幅に相当する。
これに対して、図9(1)に示す画像は、右方向カメラで撮影された画像であり、オブジェクト幅が対向車を横から見た車両の長さ部分に相当する場合があり、このような場合、実オブジェクトのサイズ(幅)X2-X1をそのまま適用すると算出値に誤差が発生する可能性がある。
この問題を低減させるため、上記(式26)に適用する実オブジェクトのサイズ(幅)X2-X1については、オブジェクト情報記憶部56に格納されたオブジェクトサイズ(幅)をそのまま適用するのではなく、予め設定した変換式を用いて変換した値を用いる構成としてもよい。
例えば、予め、メモリにオブジェクト種類単位で、正面サイズと側面サイズとの比率を格納しておく。
オブジェクト距離算出部54は、オブジェクト特徴からオブジェクト種類を判別して、この比率を乗じた値を算出して(式26)の実オブジェクトのサイズ(幅)X2-X1とする。
オブジェクト距離算出部54は、オブジェクト特徴からオブジェクト種類を判別して、この比率を乗じた値を算出して(式26)の実オブジェクトのサイズ(幅)X2-X1とする。
例えば、
乗用車=正面サイズ2m、側面サイズ4m、側面/正面の比率=2.0
トラック=正面サイズ2.5m、側面サイズ7.5m、側面/正面の比率=3.0
歩行者=正面サイズ0.5m、側面サイズ0.3m、側面/正面の比率=0.6
このようなオブジェクト種類単位の代表的サイズと、比率を記憶部に予め格納し、オブジェクト距離算出部54は、この比率情報を適用して、上記(式26)のオブジェクト実サイズX2-X1を調整する設定としてもよい。
乗用車=正面サイズ2m、側面サイズ4m、側面/正面の比率=2.0
トラック=正面サイズ2.5m、側面サイズ7.5m、側面/正面の比率=3.0
歩行者=正面サイズ0.5m、側面サイズ0.3m、側面/正面の比率=0.6
このようなオブジェクト種類単位の代表的サイズと、比率を記憶部に予め格納し、オブジェクト距離算出部54は、この比率情報を適用して、上記(式26)のオブジェクト実サイズX2-X1を調整する設定としてもよい。
(処理B3)
次に、処理B3、すなわち、処理B1~B2において算出した値を用いて、オブジェクト距離dを算出する処理について説明する。
次に、処理B3、すなわち、処理B1~B2において算出した値を用いて、オブジェクト距離dを算出する処理について説明する。
図9(2)に示す実空間において、
cosΦ=z1/d・・・(式27)
上記(式27)が成立する。
cosΦ=z1/d・・・(式27)
上記(式27)が成立する。
上記(式27)から、
d=z1/cosΦ・・・(式28)
上記(式28)が導かれる。
上記(式28)において、
z1は、前述の(処理B2)の(式26)において算出された値であり、
Φは、(処理B1)の(式22)により算出可能な値である。
従って、上記(式28)に従って、実オブジェクトまでの距離dを算出することができる。
d=z1/cosΦ・・・(式28)
上記(式28)が導かれる。
上記(式28)において、
z1は、前述の(処理B2)の(式26)において算出された値であり、
Φは、(処理B1)の(式22)により算出可能な値である。
従って、上記(式28)に従って、実オブジェクトまでの距離dを算出することができる。
さらに、オブジェクト位置算出部57は、右方向カメラ44に含まれるオブジェクトの位置を算出する。
すなわち、オブジェクト位置算出部57は、図9(2)の実空間における実オブジェクトのX軸上の値であるX1,X2を算出する。
すなわち、オブジェクト位置算出部57は、図9(2)の実空間における実オブジェクトのX軸上の値であるX1,X2を算出する。
このオブジェクト位置算出部57におけるオブジェクト位置X1,X2の算出処理は以下の処理C1~C2を順次、実行して行う。
(処理C1)実空間のカメラ原点Oと実オブジェクトの前方(カメラ側)の左端(X座標=X1)を結ぶ線分OPとZ軸とのなす角θ1と、カメラ原点Oと実オブジェクトの前方(カメラ側)の右端(X座標=X2)を結ぶ線分OQとZ軸とのなす角θ2を算出する。
(処理C2)処理C1において算出した値を用いて、オブジェクト位置X1,X2を算出する。
(処理C1)実空間のカメラ原点Oと実オブジェクトの前方(カメラ側)の左端(X座標=X1)を結ぶ線分OPとZ軸とのなす角θ1と、カメラ原点Oと実オブジェクトの前方(カメラ側)の右端(X座標=X2)を結ぶ線分OQとZ軸とのなす角θ2を算出する。
(処理C2)処理C1において算出した値を用いて、オブジェクト位置X1,X2を算出する。
以下、図9を参照して、(処理C1),(処理C2)の詳細について説明する。
(処理C1)
まず、処理C1、すなわち、実空間のカメラ原点Oと実オブジェクトの前方(カメラ側)の左端(X座標=X1)を結ぶ線分OPとZ軸とのなす角θ1と、カメラ原点Oと実オブジェクトの前方(カメラ側)の右端(X座標=X2)を結ぶ線分OQとZ軸とのなす角θ2を算出する処理について説明する。
(処理C1)
まず、処理C1、すなわち、実空間のカメラ原点Oと実オブジェクトの前方(カメラ側)の左端(X座標=X1)を結ぶ線分OPとZ軸とのなす角θ1と、カメラ原点Oと実オブジェクトの前方(カメラ側)の右端(X座標=X2)を結ぶ線分OQとZ軸とのなす角θ2を算出する処理について説明する。
前述したように、図9(1)の画像上のオブジェクトを通るU軸に平行な線分ab上の画像は、図9(2)の実空間上のオブジェクトの前面を通る線分AB(Z=z1上のX軸に平行な線分AB)の画像に相当する。
すなわち、実空間上のラインABの実サイズを縮小した画像が画像空間上のラインabの画像に相当する。
すなわち、実空間上のラインABの実サイズを縮小した画像が画像空間上のラインabの画像に相当する。
従って、図9(1)前方向カメラ撮影画像の線分abにおける画像オブジェクト位置の端点のu座標u1,u2と、図9(2)の実空間の線分ABにおける実オブジェクト位置の端点のX座標X1,X2は同じ位置関係にある。
この関係から、
図9(1)の画像中の、
cからbの長さcb、
cからu1の長さcu1、
cからu2の長さcu2、
および、図9(2)の実空間中の、
CからBの長さCB、
CからX1の長さCX1、
CからX2の長さCX2、
これらの各値の対応関係として、以下の(式31)、(式32)が成立する。
cb:cu1=CB:CX1・・・(式31)
cb:cu2=CB:CX2・・・(式32)
上記(式31),(式32)が成立する。
図9(1)の画像中の、
cからbの長さcb、
cからu1の長さcu1、
cからu2の長さcu2、
および、図9(2)の実空間中の、
CからBの長さCB、
CからX1の長さCX1、
CからX2の長さCX2、
これらの各値の対応関係として、以下の(式31)、(式32)が成立する。
cb:cu1=CB:CX1・・・(式31)
cb:cu2=CB:CX2・・・(式32)
上記(式31),(式32)が成立する。
上記(式31),(式32)から、
W/2:cu1=tan(Ψ/2):tan(θ1)・・・(式33)
W/2:cu2=tan(Ψ/2):tan(θ2)・・・(式34)
が得られる。
上記(式33)において、未知数はθ1のみであるので、(式33)から、θ1を算出することができる。
また、上記(式34)において、未知数はθ2のみであるので、(式34)から、θ2を算出することができる。
W/2:cu1=tan(Ψ/2):tan(θ1)・・・(式33)
W/2:cu2=tan(Ψ/2):tan(θ2)・・・(式34)
が得られる。
上記(式33)において、未知数はθ1のみであるので、(式33)から、θ1を算出することができる。
また、上記(式34)において、未知数はθ2のみであるので、(式34)から、θ2を算出することができる。
(処理C2)
次に、処理C2、すなわち、処理C1において算出した値を用いて、オブジェクト位置X1,X2を算出する処理について説明する。
次に、処理C2、すなわち、処理C1において算出した値を用いて、オブジェクト位置X1,X2を算出する処理について説明する。
図9(2)に示す実オブジェクトの前方(カメラ側)の左端のX座標=X1と、
実オブジェクトのZ座標=z1と、
線分OPとZ軸とのなす角=θ1、
これらの関係は、以下の(式35)によって示すことができる。
X1=z1×sinθ1・・・(式35)
実オブジェクトのZ座標=z1と、
線分OPとZ軸とのなす角=θ1、
これらの関係は、以下の(式35)によって示すことができる。
X1=z1×sinθ1・・・(式35)
同様に、実オブジェクトの前方(カメラ側)の右端のX座標=X2と、
実オブジェクトのZ座標=z1と、
線分OQとZ軸とのなす角=θ2、
これらの関係は、以下の(式36)によって示すことができる。
X2=z1×sinθ2・・・(式36)
実オブジェクトのZ座標=z1と、
線分OQとZ軸とのなす角=θ2、
これらの関係は、以下の(式36)によって示すことができる。
X2=z1×sinθ2・・・(式36)
上記(式35)、(式36)において、z1は、オブジェクト距離算出部54において、先に説明した(式26)に従って算出され既知である。
また、θ1、θ2は、(式33)、(式34)に従って算出され既知である。
従って、上記(式35)、(式36)から、
実オブジェクトの前方(カメラ側)の左右端のX座標=X1,X2を算出することができる。
このオブジェクト位置情報X1,X2は、行動計画部等のオブジェクト位置情報利用モジュールに出力され、利用される。
また、θ1、θ2は、(式33)、(式34)に従って算出され既知である。
従って、上記(式35)、(式36)から、
実オブジェクトの前方(カメラ側)の左右端のX座標=X1,X2を算出することができる。
このオブジェクト位置情報X1,X2は、行動計画部等のオブジェクト位置情報利用モジュールに出力され、利用される。
上述したように、情報処理装置50は、以下の2つの処理を実行する。
(処理1.距離センサの距離計測可能領域の画像内オブジェクトに対する処理)
距離センサ40の距離計測可能領域の画像を撮影する前方向カメラ41の撮影画像に含まれるオブジェクトの距離については、オブジェクト距離算出部54が、距離センサ40のセンサ情報から算出する。
さらに、オブジェクトの位置や実サイズを、オブジェクト位置&実サイズ算出部55が、先に図7を参照して説明した処理、すなわち前方向カメラ41の撮影画像と、距離情報dを適用して算出する。
(処理1.距離センサの距離計測可能領域の画像内オブジェクトに対する処理)
距離センサ40の距離計測可能領域の画像を撮影する前方向カメラ41の撮影画像に含まれるオブジェクトの距離については、オブジェクト距離算出部54が、距離センサ40のセンサ情報から算出する。
さらに、オブジェクトの位置や実サイズを、オブジェクト位置&実サイズ算出部55が、先に図7を参照して説明した処理、すなわち前方向カメラ41の撮影画像と、距離情報dを適用して算出する。
(処理2.距離センサの距離計測可能領域以外の画像内オブジェクトに対する処理)
距離センサ40の距離計測可能領域以外の画像を撮影するカメラ(後方向カメラ、左方向カメラ43、右方向カメラ44)の撮影画像に含まれるオブジェクトの距離については、オブジェクト距離算出部54が、カメラの撮影画像と、オブジェクト情報記憶部56に格納されたオブジェクトサイズ情報を利用して算出する。
また、オブジェクト位置については、オブジェクト位置算出部57が、カメラの撮影画像と、オブジェクト距離算出部54の算出したカメラ光軸方向のオブジェクトまでの距離と、オブジェクト情報記憶部56に格納されたオブジェクトサイズ情報を利用して算出する。
距離センサ40の距離計測可能領域以外の画像を撮影するカメラ(後方向カメラ、左方向カメラ43、右方向カメラ44)の撮影画像に含まれるオブジェクトの距離については、オブジェクト距離算出部54が、カメラの撮影画像と、オブジェクト情報記憶部56に格納されたオブジェクトサイズ情報を利用して算出する。
また、オブジェクト位置については、オブジェクト位置算出部57が、カメラの撮影画像と、オブジェクト距離算出部54の算出したカメラ光軸方向のオブジェクトまでの距離と、オブジェクト情報記憶部56に格納されたオブジェクトサイズ情報を利用して算出する。
[4.情報処理装置の実行する処理のシーケンスについて]
次に、図10、図11に示すフローチャートを参照して、情報処理装置の実行する処理のシーケンスについて説明する。
なお、図10、図11に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
情報処理装置は例えばCPU等のプログラム実行機能を有するハードウェアを備えている。
以下、フローチャートの各ステップの処理について説明する。
次に、図10、図11に示すフローチャートを参照して、情報処理装置の実行する処理のシーケンスについて説明する。
なお、図10、図11に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
情報処理装置は例えばCPU等のプログラム実行機能を有するハードウェアを備えている。
以下、フローチャートの各ステップの処理について説明する。
(ステップS101)
ステップS101の処理は、情報処理装置のオブジェクト検出部52の実行する処理である。オブジェクト検出部52は、ステップS101において、カメラ撮影画像に距離算出対象オブジェクトを検出したか否かを判定する。
なお、この場合のカメラは、前方向カメラ41、後方向カメラ42、左方向カメラ43、右方向カメラ44のいずれかである。
また、距離算出対象オブジェクトは、例えば、車両の他、歩行者、カードレール、側壁等、移動装置10の移動に対する障害物となり得る全てのオブジェクトとしてもよいし、予め、移動するオブジェクトのみを選択する設定としてもよい。
ステップS101の処理は、情報処理装置のオブジェクト検出部52の実行する処理である。オブジェクト検出部52は、ステップS101において、カメラ撮影画像に距離算出対象オブジェクトを検出したか否かを判定する。
なお、この場合のカメラは、前方向カメラ41、後方向カメラ42、左方向カメラ43、右方向カメラ44のいずれかである。
また、距離算出対象オブジェクトは、例えば、車両の他、歩行者、カードレール、側壁等、移動装置10の移動に対する障害物となり得る全てのオブジェクトとしてもよいし、予め、移動するオブジェクトのみを選択する設定としてもよい。
(ステップS102~S103)
次のステップS102~S103の処理は、オブジェクト追跡&解析部53の実行する処理である。
オブジェクト追跡&解析部53は、オブジェクト検出部52が検出したオブジェクトの追跡処理を実行する。すなわち、画像から検出されたオブジェクトの各々に識別子(ID)を設定して、各オブジェクトを画像上での動きに応じて追跡する。
次のステップS102~S103の処理は、オブジェクト追跡&解析部53の実行する処理である。
オブジェクト追跡&解析部53は、オブジェクト検出部52が検出したオブジェクトの追跡処理を実行する。すなわち、画像から検出されたオブジェクトの各々に識別子(ID)を設定して、各オブジェクトを画像上での動きに応じて追跡する。
さらに、オブジェクト追跡&解析部53は、オブジェクトIDの設定されたオブジェクトの画像上のサイズ(例えば、縦(h)×横(w)の画素数)と、オブジェクトの特徴情報を取得する。
オブジェクトの特徴情報とは、例えばオブジェクトの色、形状、模様等の特徴である。
オブジェクトの特徴情報とは、例えばオブジェクトの色、形状、模様等の特徴である。
なお、前述したように、オブジェクト追跡&解析部53は、前方向カメラ41と右方向カメラ44等、隣接画像を撮影する2つのカメラの撮影画像の境界領域の対応画素位置情報を保持しており、オブジェクトが、その対応画素位置を通過して異なるカメラの撮影画像に移動する場合、そのオブジェクトに同一のオブジェクトIDを設定する。このように、オブジェクト追跡&解析部53は、隣接画像を撮影する2つのカメラの撮影オブジェクトについて、同じ識別子(ID)設定処理を行う。
(ステップS104)
ステップS104の処理は、オブジェクト距離算出部54の実行する処理である。
オブジェクト距離算出部54は、まず、ステップS104において、カメラによって撮影された画像に含まれる距離算出対象オブジェクトが、距離センサ40の距離計測可能領域内に含まれるか否かを判定する。
ステップS104の処理は、オブジェクト距離算出部54の実行する処理である。
オブジェクト距離算出部54は、まず、ステップS104において、カメラによって撮影された画像に含まれる距離算出対象オブジェクトが、距離センサ40の距離計測可能領域内に含まれるか否かを判定する。
すなわち、本実施例では、図1~図3を参照して説明したように、距離センサ40の距離計測可能領域は、前方向カメラ41の撮影領域内であり、処理対象オブジェクトが、前方向カメラ41の撮影画像のオブジェクトの場合は、ステップS104の判定はYesとなり、ステップS105に進む。
一方、処理対象オブジェクトが、前方向カメラ41以外のカメラの撮影画像のオブジェクトの場合は、ステップS104の判定はNoとなり、ステップS201に進む。
一方、処理対象オブジェクトが、前方向カメラ41以外のカメラの撮影画像のオブジェクトの場合は、ステップS104の判定はNoとなり、ステップS201に進む。
(ステップS105)
ステップS105~S107の処理は、処理対象オブジェクトが、前方向カメラ41の撮影画像のオブジェクトの場合に実行する処理である。
ステップS105の処理は、オブジェクト距離算出部54の実行する処理である。
ステップS106~S107の処理は、オブジェクト位置&実サイズ算出部55の実行する処理である。
ステップS105~S107の処理は、処理対象オブジェクトが、前方向カメラ41の撮影画像のオブジェクトの場合に実行する処理である。
ステップS105の処理は、オブジェクト距離算出部54の実行する処理である。
ステップS106~S107の処理は、オブジェクト位置&実サイズ算出部55の実行する処理である。
まず、ステップS105において、オブジェクト距離算出部54が、前方向カメラ41の撮影画像内の距離算出対象オブジェクトの距離を算出する。
このオブジェクト距離算出処理は、距離センサ40のセンサ情報から、直接、算出することができる。
なお、オブジェクト距離算出部54が算出したオブジェクトまでの距離情報は、行動計画部等のオブジェクト情報利用モジュールに出力される。
移動装置10に備えられた行動計画部等のオブジェクト情報利用モジュールは、オブジェクト距離算出部54の算出したオブジェクトまでの距離を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。
このオブジェクト距離算出処理は、距離センサ40のセンサ情報から、直接、算出することができる。
なお、オブジェクト距離算出部54が算出したオブジェクトまでの距離情報は、行動計画部等のオブジェクト情報利用モジュールに出力される。
移動装置10に備えられた行動計画部等のオブジェクト情報利用モジュールは、オブジェクト距離算出部54の算出したオブジェクトまでの距離を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。
(ステップS106)
次に、オブジェクト位置&実サイズ算出部55が、ステップS106において、前方向カメラ41の撮影画像内の距離算出対象オブジェクトの実サイズと位置を算出する。
次に、オブジェクト位置&実サイズ算出部55が、ステップS106において、前方向カメラ41の撮影画像内の距離算出対象オブジェクトの実サイズと位置を算出する。
この処理は、先に図7を参照して説明した処理である。
すなわち、前方向カメラ41の撮影画像と、オブジェクト距離算出部54が算出したオブジェクト距離情報dを適用して、オブジェクトの実サイズと位置を算出する。
オブジェクト位置&実サイズ算出部55が算出したオブジェクト位置情報は、行動計画部等のオブジェクト情報利用モジュールに出力される。
移動装置10に備えられた行動計画部等のオブジェクト情報利用モジュールは、オブジェクト位置&実サイズ算出部55の算出したオブジェクト位置を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。
すなわち、前方向カメラ41の撮影画像と、オブジェクト距離算出部54が算出したオブジェクト距離情報dを適用して、オブジェクトの実サイズと位置を算出する。
オブジェクト位置&実サイズ算出部55が算出したオブジェクト位置情報は、行動計画部等のオブジェクト情報利用モジュールに出力される。
移動装置10に備えられた行動計画部等のオブジェクト情報利用モジュールは、オブジェクト位置&実サイズ算出部55の算出したオブジェクト位置を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。
(ステップS107)
オブジェクト位置&実サイズ算出部55は、さらに、ステップS107において、ステップS106で算出したオブジェクトの実サイズ、すなわち、前方向カメラ41の撮影画像内の距離算出対象オブジェクトの実サイズを、そのオブジェクトの識別子(ID)と特徴情報とに対応付けてオブジェクト情報記憶部56に格納する。
オブジェクト位置&実サイズ算出部55は、さらに、ステップS107において、ステップS106で算出したオブジェクトの実サイズ、すなわち、前方向カメラ41の撮影画像内の距離算出対象オブジェクトの実サイズを、そのオブジェクトの識別子(ID)と特徴情報とに対応付けてオブジェクト情報記憶部56に格納する。
オブジェクト情報記憶部56に格納されるデータは、先に図5を参照して説明したデータであり、以下の各データの対応データである。
オブジェクトID、
オブジェクト実サイズ、
オブジェクト特徴情報(色、形状、模様、その他)
これらの各情報が、各オブジェクト単位の対応データとして記録される。
なお、これらは全て距離センサ40によって距離が計測されたオブジェクトであり、本実施例では前方向カメラ41によって撮影された画像内に含まれるオブジェクトである。
オブジェクトID、
オブジェクト実サイズ、
オブジェクト特徴情報(色、形状、模様、その他)
これらの各情報が、各オブジェクト単位の対応データとして記録される。
なお、これらは全て距離センサ40によって距離が計測されたオブジェクトであり、本実施例では前方向カメラ41によって撮影された画像内に含まれるオブジェクトである。
ステップS107の処理が完了すると、ステップS101に戻り、さらに新たなオブジェクトに対する処理を実行する。
次に、ステップS104の判定処理においてNoの判定された場合の処理、すなわち、処理対象オブジェクトが、前方向カメラ41以外のカメラの撮影画像のオブジェクトの場合の処理について、図11を参照して説明する。
(ステップS201)
ステップS201の処理は、オブジェクト距離算出部54の実行する処理である。
オブジェクト距離算出部54は、処理対象オブジェクトが、前方向カメラ41以外のカメラの撮影画像のオブジェクトの場合、まず、ステップS201において、オブジェクト識別子(ID)対応のオブジェクトサイズ情報が、オブジェクト情報記憶部56に記録されているか否かを判定する。
ステップS201の処理は、オブジェクト距離算出部54の実行する処理である。
オブジェクト距離算出部54は、処理対象オブジェクトが、前方向カメラ41以外のカメラの撮影画像のオブジェクトの場合、まず、ステップS201において、オブジェクト識別子(ID)対応のオブジェクトサイズ情報が、オブジェクト情報記憶部56に記録されているか否かを判定する。
すなわち、先行して実行された前方向カメラ41の撮影画像に対する処理において、距離算出、実サイズ算出が実行され、算出された実サイズ情報がオブジェクトIDとともにオブジェクト情報記憶部56に記録されているか否かを確認する。
なお、前述したように、オブジェクト追跡&解析部53は、前方向カメラ41と右方向カメラ44等、隣接画像を撮影する2つのカメラの撮影画像の境界領域の対応画素位置情報を保持しており、オブジェクトが、その対応画素位置を通過して異なるカメラの撮影画像に移動する場合、そのオブジェクトに同一のオブジェクトIDを設定する。
従って、先行して実行された前方向カメラ41の撮影画像に対する処理において、実サイズ算出が実行されている場合、その実サイズ情報は、今回の処理対象として設定しているオブジェクトのオブジェクトIDと同一のオブジェクトIDに対応付けられてオブジェクト情報記憶部56に記録されている。
ただし、前方向カメラ41の撮影画像に対する処理において何らかのエラーが発生した場合、あるいはサイズ算出に失敗した場合等には、記憶部に対する実サイズデータの格納が行われていない場合もある。
ただし、前方向カメラ41の撮影画像に対する処理において何らかのエラーが発生した場合、あるいはサイズ算出に失敗した場合等には、記憶部に対する実サイズデータの格納が行われていない場合もある。
オブジェクト距離算出部54は、ステップS201において、オブジェクト識別子(ID)対応のオブジェクトサイズ情報が、オブジェクト情報記憶部56に記録されていることを確認した場合は、ステップS202に進む。
一方、オブジェクト識別子(ID)対応のオブジェクトサイズ情報が、オブジェクト情報記憶部56に記録されていないことを確認した場合は、ステップS203に進む。
一方、オブジェクト識別子(ID)対応のオブジェクトサイズ情報が、オブジェクト情報記憶部56に記録されていないことを確認した場合は、ステップS203に進む。
(ステップS202)
ステップS202の処理は、オブジェクト距離算出部54と、オブジェクト位置算出部57の実行する処理である。
ステップS201において、オブジェクト識別子(ID)対応のオブジェクトサイズ情報が、オブジェクト情報記憶部56に記録されていることを確認した場合は、ステップS202において、オブジェクト距離算出部54がそのオブジェクトの距離を算出し、さらに、オブジェクト位置算出部57がオブジェクト位置を算出する。
ステップS202の処理は、オブジェクト距離算出部54と、オブジェクト位置算出部57の実行する処理である。
ステップS201において、オブジェクト識別子(ID)対応のオブジェクトサイズ情報が、オブジェクト情報記憶部56に記録されていることを確認した場合は、ステップS202において、オブジェクト距離算出部54がそのオブジェクトの距離を算出し、さらに、オブジェクト位置算出部57がオブジェクト位置を算出する。
この処理は、先に図9を参照して説明した処理である。すなわち、距離センサ40の距離計測可能領域以外の画像を撮影するカメラ(後方向カメラ、左方向カメラ43、右方向カメラ44)の撮影画像に含まれるオブジェクトの距離については、オブジェクト距離算出部54が、カメラの撮影画像と、オブジェクト情報記憶部56に格納されたオブジェクトサイズ情報を利用して算出する。
また、オブジェクト位置については、オブジェクト位置算出部57が、カメラの撮影画像と、オブジェクト距離算出部54が算出したオブジェクトまでの距離と、オブジェクト情報記憶部56に格納されたオブジェクトサイズ情報を利用して算出する。
また、オブジェクト位置については、オブジェクト位置算出部57が、カメラの撮影画像と、オブジェクト距離算出部54が算出したオブジェクトまでの距離と、オブジェクト情報記憶部56に格納されたオブジェクトサイズ情報を利用して算出する。
オブジェクト距離算出部54と、オブジェクト位置算出部57の算出したオブジェクトの距離と位置は、行動計画部等のオブジェクト情報利用モジュールに出力される。
移動装置10に備えられた行動計画部等のオブジェクト情報利用モジュールは、入力するオブジェクトまでの距離と位置を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。
移動装置10に備えられた行動計画部等のオブジェクト情報利用モジュールは、入力するオブジェクトまでの距離と位置を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。
(ステップS203)
ステップS203の処理は、ステップS201において、オブジェクト識別子(ID)対応のオブジェクトサイズ情報が、オブジェクト情報記憶部56に記録されていないことを確認した場合に、オブジェクト距離算出部54と、オブジェクト位置算出部57が実行する処理である。
ステップS203の処理は、ステップS201において、オブジェクト識別子(ID)対応のオブジェクトサイズ情報が、オブジェクト情報記憶部56に記録されていないことを確認した場合に、オブジェクト距離算出部54と、オブジェクト位置算出部57が実行する処理である。
オブジェクト距離算出部54と、オブジェクト位置算出部57は、ステップS203において、画像内のオブジェクト特徴に基づいて、オブジェクト種類を推定し、推定オブジェクトの代表的サイズをオブジェクト実サイズと仮定し、仮定したオブジェクト実サイズと、画像上のオブジェクトの画サイズからオブジェクトまでの距離と位置を算出する。
すなわち、まず、オブジェクト距離算出部54と、オブジェクト位置算出部57は、画像内のオブジェクト特徴に基づいて、オブジェクト種類を特定する。
例えば、オブジェクト特徴に基づいて、オブジェクトが乗用車である。あるいはラトラックである、あるいは歩行者である等のオブジェクト種類の推定を行う。
例えば、オブジェクト特徴に基づいて、オブジェクトが乗用車である。あるいはラトラックである、あるいは歩行者である等のオブジェクト種類の推定を行う。
なお、オブジェクトの種類に応じた代表的サイズ、例えば、
乗用車=幅2m、
トラック=幅3m
歩行者=幅0.5m
このようなオブジェクト種類単位の代表的サイズを記憶部に予め格納しておく。
乗用車=幅2m、
トラック=幅3m
歩行者=幅0.5m
このようなオブジェクト種類単位の代表的サイズを記憶部に予め格納しておく。
オブジェクト距離算出部54と、オブジェクト位置算出部57は、オブジェクト特徴に基づいて推定したオブジェクト種類に応じた代表的サイズを記憶部から取得する。
オブジェクト距離算出部54と、オブジェクト位置算出部57は、記憶部から取得した代表的サイズをオブジェクトの実サイズ情報として適用して、先に図9を参照して説明した処理を実行して、オブジェクトの距離と位置を算出する。
オブジェクト距離算出部54と、オブジェクト位置算出部57は、記憶部から取得した代表的サイズをオブジェクトの実サイズ情報として適用して、先に図9を参照して説明した処理を実行して、オブジェクトの距離と位置を算出する。
オブジェクト距離算出部54と、オブジェクト位置算出部57の算出したオブジェクトの距離と位置は、行動計画部等のオブジェクト情報利用モジュールに出力される。
移動装置10に備えられた行動計画部等のオブジェクト情報利用モジュールは、入力するオブジェクトまでの距離と位置を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。
移動装置10に備えられた行動計画部等のオブジェクト情報利用モジュールは、入力するオブジェクトまでの距離と位置を参照して、対向車等のオブジェクトに接触することがないように移動経路の設定を行い、走行を行う。
[5.移動装置の構成例について]
次に、図12を参照して移動装置の構成例について説明する。
図12は、上述した処理を実行する移動装置に装着可能な移動体制御システムの一例である車両制御システム100の概略的な機能の構成例を示すブロック図である。
次に、図12を参照して移動装置の構成例について説明する。
図12は、上述した処理を実行する移動装置に装着可能な移動体制御システムの一例である車両制御システム100の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム100が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
方向制御部173は、動作計画部163又は緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
[6.情報処理装置の構成例について]
図12は、上述した処理を実行する移動装置内に装着可能な車両制御システム100の構成であるが、先に説明した実施例に従った処理は、例えば距離センサやカメラ等の様々なセンサの検出情報をPC等の情報処理装置に入力してデータ処理を行い、オブジェクトの距離やサイズや位置を算出することも可能である。
この場合の情報処理装置の具体的なハードウェア構成例について、図13を参照して説明する。
図12は、上述した処理を実行する移動装置内に装着可能な車両制御システム100の構成であるが、先に説明した実施例に従った処理は、例えば距離センサやカメラ等の様々なセンサの検出情報をPC等の情報処理装置に入力してデータ処理を行い、オブジェクトの距離やサイズや位置を算出することも可能である。
この場合の情報処理装置の具体的なハードウェア構成例について、図13を参照して説明する。
図13は、一般的なPC等の情報処理装置のハードウェア構成例を示す図である。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPS等の状況データ取得部などよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
なお、入力部306には、距離センサやカメラ等のセンサ321からの入力情報も入力される。
また、出力部307は、移動装置の行動計画部等の計画部322に対する情報としてオブジェクトの距離、位置情報等も出力する。
なお、入力部306には、距離センサやカメラ等のセンサ321からの入力情報も入力される。
また、出力部307は、移動装置の行動計画部等の計画部322に対する情報としてオブジェクトの距離、位置情報等も出力する。
CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されているドライブ130は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) カメラによる撮影画像に基づいてオブジェクトを検出するオブジェクト検出部と、
前記オブジェクトまでの距離を算出するオブジェクト距離算出部とを有し、
前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報と、前記オブジェクトの撮影画像に基づいてオブジェクトまでの距離を算出する情報処理装置。
(1) カメラによる撮影画像に基づいてオブジェクトを検出するオブジェクト検出部と、
前記オブジェクトまでの距離を算出するオブジェクト距離算出部とを有し、
前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報と、前記オブジェクトの撮影画像に基づいてオブジェクトまでの距離を算出する情報処理装置。
(2) 前記オブジェクト距離算出部は、
前記オブジェクトの撮像画像におけるサイズと、前記オブジェクトの実サイズとの比率を適用して前記オブジェクトまでの距離を算出する(1)に記載の情報処理装置。
前記オブジェクトの撮像画像におけるサイズと、前記オブジェクトの実サイズとの比率を適用して前記オブジェクトまでの距離を算出する(1)に記載の情報処理装置。
(3) 前記情報処理装置は、さらに、
前記オブジェクト距離算出部で算出された前記オブジェクトまでの距離情報と、前記オブジェクトの撮像画像を適用してオブジェクトの位置を算出するオブジェクト位置算出部を有する(1)または(2)に記載の情報処理装置。
前記オブジェクト距離算出部で算出された前記オブジェクトまでの距離情報と、前記オブジェクトの撮像画像を適用してオブジェクトの位置を算出するオブジェクト位置算出部を有する(1)または(2)に記載の情報処理装置。
(4) 前記オブジェクト距離算出部で算出された前記オブジェクトまでの距離情報は、カメラ光軸方向のオブジェクトまでの距離であり、
前記オブジェクト位置算出部は、
前記カメラ光軸方向のオブジェクトまでの距離と前記画像情報を適用して、カメラ原点と前記オブジェクト端点を結ぶ線と、カメラ光軸とのなす角度を算出し、算出した角度に基づいて、前記オブジェクト端点の位置を算出する(3)に記載の情報処理装置。
前記オブジェクト位置算出部は、
前記カメラ光軸方向のオブジェクトまでの距離と前記画像情報を適用して、カメラ原点と前記オブジェクト端点を結ぶ線と、カメラ光軸とのなす角度を算出し、算出した角度に基づいて、前記オブジェクト端点の位置を算出する(3)に記載の情報処理装置。
(5) 前記カメラは、
移動装置の左右、または後方を撮影するカメラであり、
前記オブジェクトの実サイズ情報は、
前記移動装置の前方を撮影する前方向カメラによって撮影された画像と、前記移動装置の前方のオブジェクトまでの距離を計測する距離センサの計測した距離情報を適用して算出された実サイズ情報である(1)~(4)いずれかに記載の情報処理装置。
移動装置の左右、または後方を撮影するカメラであり、
前記オブジェクトの実サイズ情報は、
前記移動装置の前方を撮影する前方向カメラによって撮影された画像と、前記移動装置の前方のオブジェクトまでの距離を計測する距離センサの計測した距離情報を適用して算出された実サイズ情報である(1)~(4)いずれかに記載の情報処理装置。
(6) 前記カメラは、距離センサによる距離計測可能領域外の画像を撮影するカメラであり、
前記オブジェクトの実サイズ情報は、
オブジェクト実サイズ算出部が、前記距離センサによる距離計測可能領域内の画像を撮影する先行撮影カメラによって撮影された先行撮影画像と、前記距離センサにより計測された距離情報を適用して算出した実サイズ情報である(1)~(5)いずれかに記載の情報処理装置。
前記オブジェクトの実サイズ情報は、
オブジェクト実サイズ算出部が、前記距離センサによる距離計測可能領域内の画像を撮影する先行撮影カメラによって撮影された先行撮影画像と、前記距離センサにより計測された距離情報を適用して算出した実サイズ情報である(1)~(5)いずれかに記載の情報処理装置。
(7) 前記オブジェクト実サイズ算出部は、
前記距離センサにより計測された距離情報と、前記先行撮影画像を利用してオブジェクトの2つの端点位置を算出し、2つの端点位置の差分を前記オブジェクトの幅として算出する(6)に記載の情報処理装置。
前記距離センサにより計測された距離情報と、前記先行撮影画像を利用してオブジェクトの2つの端点位置を算出し、2つの端点位置の差分を前記オブジェクトの幅として算出する(6)に記載の情報処理装置。
(8) 前記情報処理装置は、
カメラによって撮影されたオブジェクトに識別子(ID)を付与するオブジェクト追跡部を有し、
前記オブジェクト追跡部は、
識別子設定対象オブジェクトが、別のカメラによりすでに撮影されたオブジェクトと同一であるか否かを判定し、同一である場合には、該オブジェクトに設定済みの識別子を記憶部から取得して設定する(1)~(7)いずれかに記載の情報処理装置。
カメラによって撮影されたオブジェクトに識別子(ID)を付与するオブジェクト追跡部を有し、
前記オブジェクト追跡部は、
識別子設定対象オブジェクトが、別のカメラによりすでに撮影されたオブジェクトと同一であるか否かを判定し、同一である場合には、該オブジェクトに設定済みの識別子を記憶部から取得して設定する(1)~(7)いずれかに記載の情報処理装置。
(9) 前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報が取得できない場合、
前記オブジェクトの特徴情報に基づいてオブジェクトの種類を判別し、予め記憶部に格納済みのオブジェクト種類対応の代表的サイズ情報を取得し、
取得した代表的サイズ情報と、前記画像情報を適用してオブジェクトまでの距離を算出する(1)~(8)いずれかに記載の情報処理装置。
前記オブジェクトの実サイズ情報が取得できない場合、
前記オブジェクトの特徴情報に基づいてオブジェクトの種類を判別し、予め記憶部に格納済みのオブジェクト種類対応の代表的サイズ情報を取得し、
取得した代表的サイズ情報と、前記画像情報を適用してオブジェクトまでの距離を算出する(1)~(8)いずれかに記載の情報処理装置。
(10) 移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向にあるオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラと、
前記第2方向カメラにより撮影された第2方向画像を入力し、前記第2方向画像内のオブジェクトまでの距離を算出するオブジェクト距離算出部と、
前記オブジェクト距離算出部の算出したオブジェクトまでの距離情報に基づいて前記移動装置の経路を決定する計画部と、
前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有し、
前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれるオブジェクトの撮像画像に基づいて前記オブジェクトまでの距離を算出する移動装置。
前記移動装置の前方向にあるオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラと、
前記第2方向カメラにより撮影された第2方向画像を入力し、前記第2方向画像内のオブジェクトまでの距離を算出するオブジェクト距離算出部と、
前記オブジェクト距離算出部の算出したオブジェクトまでの距離情報に基づいて前記移動装置の経路を決定する計画部と、
前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有し、
前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれるオブジェクトの撮像画像に基づいて前記オブジェクトまでの距離を算出する移動装置。
(11) 前記オブジェクト距離算出部は、
前記第2方向画像内の画像オブジェクトの画像サイズと、実空間における実オブジェクトの実サイズとの比率を適用して前記オブジェクトまでの距離を算出する(10)に記載の移動装置。
前記第2方向画像内の画像オブジェクトの画像サイズと、実空間における実オブジェクトの実サイズとの比率を適用して前記オブジェクトまでの距離を算出する(10)に記載の移動装置。
(12) 前記移動装置は、さらに、
前記オブジェクト距離算出部の算出情報と、前記画像情報を適用してオブジェクトの位置を算出するオブジェクト位置算出部を有する(10)または(11)に記載の移動装置。
前記オブジェクト距離算出部の算出情報と、前記画像情報を適用してオブジェクトの位置を算出するオブジェクト位置算出部を有する(10)または(11)に記載の移動装置。
(13) 前記オブジェクトの実サイズ情報は、
前記前方向カメラによって撮影された前方向画像と、前記距離センサの計測した距離情報を適用して算出された実サイズ情報である(10)~(12)いずれかに記載の移動装置。
前記前方向カメラによって撮影された前方向画像と、前記距離センサの計測した距離情報を適用して算出された実サイズ情報である(10)~(12)いずれかに記載の移動装置。
(14) 前記移動装置は、
カメラによって撮影されたオブジェクトに識別子(ID)を付与するオブジェクト追跡部を有し、
前記オブジェクト追跡部は、
識別子設定対象オブジェクトが、先行撮影カメラによる撮影オブジェクトと同一であるか否かを判定し、同一である場合には、該オブジェクトに設定済みの識別子を記憶部から取得して設定する(10)~(13)いずれかに記載の移動装置。
カメラによって撮影されたオブジェクトに識別子(ID)を付与するオブジェクト追跡部を有し、
前記オブジェクト追跡部は、
識別子設定対象オブジェクトが、先行撮影カメラによる撮影オブジェクトと同一であるか否かを判定し、同一である場合には、該オブジェクトに設定済みの識別子を記憶部から取得して設定する(10)~(13)いずれかに記載の移動装置。
(15) 前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報が取得できない場合、
前記オブジェクトの特徴情報に基づいてオブジェクトの種類を判別し、予め記憶部に格納済みのオブジェクト種類対応の代表的サイズ情報を取得し、
取得した代表的サイズ情報と、前記画像情報を適用してオブジェクトまでの距離を算出する(10)~(14)いずれかに記載の移動装置。
前記オブジェクトの実サイズ情報が取得できない場合、
前記オブジェクトの特徴情報に基づいてオブジェクトの種類を判別し、予め記憶部に格納済みのオブジェクト種類対応の代表的サイズ情報を取得し、
取得した代表的サイズ情報と、前記画像情報を適用してオブジェクトまでの距離を算出する(10)~(14)いずれかに記載の移動装置。
(16) 情報処理装置において実行する情報処理方法であり、
オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップを有し、
前記オブジェクト距離算出ステップは、
前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する情報処理方法。
オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップを有し、
前記オブジェクト距離算出ステップは、
前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する情報処理方法。
(17) 移動装置において実行する移動装置制御方法であり、
前記移動装置は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラを装着した構成であり、
オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップと、
計画部が、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定する計画ステップと、
動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御ステップを実行し、
前記オブジェクト距離算出ステップは、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出するステップである移動装置制御方法。
前記移動装置は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラを装着した構成であり、
オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップと、
計画部が、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定する計画ステップと、
動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御ステップを実行し、
前記オブジェクト距離算出ステップは、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出するステップである移動装置制御方法。
(18) 情報処理装置において情報処理を実行させるプログラムであり、
オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップを有し、
前記プログラムは、前記オブジェクト距離算出ステップにおいて、
前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラム。
オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップを有し、
前記プログラムは、前記オブジェクト距離算出ステップにおいて、
前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラム。
(19) 移動装置において移動装置制御処理を実行させるプログラムであり、
前記移動装置は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラを装着した構成であり、
前記プログラムは、
オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップと、
計画部に、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定させる計画ステップと、
動作制御部に、前記計画部の決定した経路に従って前記移動装置の動作制御を行わせる動作制御ステップを実行させ、
前記オブジェクト距離算出ステップにおいては、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラム。
前記移動装置は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラを装着した構成であり、
前記プログラムは、
オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップと、
計画部に、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定させる計画ステップと、
動作制御部に、前記計画部の決定した経路に従って前記移動装置の動作制御を行わせる動作制御ステップを実行させ、
前記オブジェクト距離算出ステップにおいては、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成が実現される。
具体的には、例えば、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出部を有し、オブジェクト距離算出部は、オブジェクトの実サイズ情報と、撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する。さらに、オブジェクト位置算出部が、オブジェクト距離算出部の算出情報と、画像情報を利用してオブジェクト位置を算出する。オブジェクト実サイズは、距離センサによる距離計測可能な方向の撮影画像に基づいて取得する。
本構成により、距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成が実現される。
具体的には、例えば、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出部を有し、オブジェクト距離算出部は、オブジェクトの実サイズ情報と、撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する。さらに、オブジェクト位置算出部が、オブジェクト距離算出部の算出情報と、画像情報を利用してオブジェクト位置を算出する。オブジェクト実サイズは、距離センサによる距離計測可能な方向の撮影画像に基づいて取得する。
本構成により、距離センサによる距離計測が不可能な方向の画像に含まれるオブジェクトの距離や位置を算出する構成が実現される。
10・・移動装置,11・・前方向カメラ,12・・後方向カメラ,13・・左方向カメラ,14・・右方向カメラ,21・・前方向距離センサ,40・・距離センサ,41・・前方向カメラ,42・・後方向カメラ,43・・左方向カメラ,44・・右方向カメラ,50・・情報処理装置,51・・距離センサ出力情報解析部,52・・オブジェクト検出部,53・・オブジェクト追跡&解析部,54・・オブジェクト距離算出部,55・・オブジェクト位置&実サイズ算出部,100・・車両制御システム,101・・入力部,102・・データ取得部,103・・通信部,104・・車内機器,105・・出力制御部,106・・出力部,107・・駆動系制御部,108・・駆動系システム,109・・ボディ系制御部,110・・ボディ系システム,111・・記憶部,112・・自動運転制御部,121・・通信ネットワーク,131・・検出部,132・・自己位置推定部,141・・車外情報検出部,142・・車内情報検出部,143・・車両状態検出部,151・・マップ解析部,152・・交通ルール認識部,153・・状況認識部,154・・状況予測部,161・・ルート計画部,162・・行動計画部,163・・動作計画部,171・・緊急事態回避部,172・・加減速制御部,173・・方向制御部,301・・CPU,302・・ROM,303・・RAM,304・・バス,305・・入出力インタフェース,306・・入力部,307・・出力部,308・・記憶部,309・・通信部,310・・ドライブ,311・・リムーバブルメディア,321・・センサ,322・・計画部
Claims (19)
- カメラによる撮影画像に基づいてオブジェクトを検出するオブジェクト検出部と、
前記オブジェクトまでの距離を算出するオブジェクト距離算出部とを有し、
前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報と、前記オブジェクトの撮影画像に基づいてオブジェクトまでの距離を算出する情報処理装置。 - 前記オブジェクト距離算出部は、
前記オブジェクトの撮像画像におけるサイズと、前記オブジェクトの実サイズとの比率を適用して前記オブジェクトまでの距離を算出する請求項1に記載の情報処理装置。 - 前記情報処理装置は、さらに、
前記オブジェクト距離算出部で算出された前記オブジェクトまでの距離情報と、前記オブジェクトの撮像画像を適用してオブジェクトの位置を算出するオブジェクト位置算出部を有する請求項1に記載の情報処理装置。 - 前記オブジェクト距離算出部で算出された前記オブジェクトまでの距離情報は、カメラ光軸方向のオブジェクトまでの距離であり、
前記オブジェクト位置算出部は、
前記カメラ光軸方向のオブジェクトまでの距離と前記画像情報を適用して、カメラ原点と前記オブジェクト端点を結ぶ線と、カメラ光軸とのなす角度を算出し、算出した角度に基づいて、前記オブジェクト端点の位置を算出する請求項3に記載の情報処理装置。 - 前記カメラは、
移動装置の左右、または後方を撮影するカメラであり、
前記オブジェクトの実サイズ情報は、
前記移動装置の前方を撮影する前方向カメラによって撮影された画像と、前記移動装置の前方のオブジェクトまでの距離を計測する距離センサの計測した距離情報を適用して算出された実サイズ情報である請求項1に記載の情報処理装置。 - 前記カメラは、距離センサによる距離計測可能領域外の画像を撮影するカメラであり、
前記オブジェクトの実サイズ情報は、
オブジェクト実サイズ算出部が、前記距離センサによる距離計測可能領域内の画像を撮影する先行撮影カメラによって撮影された先行撮影画像と、前記距離センサにより計測された距離情報を適用して算出した実サイズ情報である請求項1に記載の情報処理装置。 - 前記オブジェクト実サイズ算出部は、
前記距離センサにより計測された距離情報と、前記先行撮影画像を利用してオブジェクトの2つの端点位置を算出し、2つの端点位置の差分を前記オブジェクトの幅として算出する請求項6に記載の情報処理装置。 - 前記情報処理装置は、
カメラによって撮影されたオブジェクトに識別子(ID)を付与するオブジェクト追跡部を有し、
前記オブジェクト追跡部は、
識別子設定対象オブジェクトが、別のカメラによりすでに撮影されたオブジェクトと同一であるか否かを判定し、同一である場合には、該オブジェクトに設定済みの識別子を記憶部から取得して設定する請求項1に記載の情報処理装置。 - 前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報が取得できない場合、
前記オブジェクトの特徴情報に基づいてオブジェクトの種類を判別し、予め記憶部に格納済みのオブジェクト種類対応の代表的サイズ情報を取得し、
取得した代表的サイズ情報と、前記画像情報を適用してオブジェクトまでの距離を算出する請求項1に記載の情報処理装置。 - 移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向にあるオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラと、
前記第2方向カメラにより撮影された第2方向画像を入力し、前記第2方向画像内のオブジェクトまでの距離を算出するオブジェクト距離算出部と、
前記オブジェクト距離算出部の算出したオブジェクトまでの距離情報に基づいて前記移動装置の経路を決定する計画部と、
前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御部を有し、
前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれるオブジェクトの撮像画像に基づいて前記オブジェクトまでの距離を算出する移動装置。 - 前記オブジェクト距離算出部は、
前記第2方向画像内の画像オブジェクトの画像サイズと、実空間における実オブジェクトの実サイズとの比率を適用して前記オブジェクトまでの距離を算出する請求項10に記載の移動装置。 - 前記移動装置は、さらに、
前記オブジェクト距離算出部の算出情報と、前記画像情報を適用してオブジェクトの位置を算出するオブジェクト位置算出部を有する請求項10に記載の移動装置。 - 前記オブジェクトの実サイズ情報は、
前記前方向カメラによって撮影された前方向画像と、前記距離センサの計測した距離情報を適用して算出された実サイズ情報である請求項10に記載の移動装置。 - 前記移動装置は、
カメラによって撮影されたオブジェクトに識別子(ID)を付与するオブジェクト追跡部を有し、
前記オブジェクト追跡部は、
識別子設定対象オブジェクトが、先行撮影カメラによる撮影オブジェクトと同一であるか否かを判定し、同一である場合には、該オブジェクトに設定済みの識別子を記憶部から取得して設定する請求項10に記載の移動装置。 - 前記オブジェクト距離算出部は、
前記オブジェクトの実サイズ情報が取得できない場合、
前記オブジェクトの特徴情報に基づいてオブジェクトの種類を判別し、予め記憶部に格納済みのオブジェクト種類対応の代表的サイズ情報を取得し、
取得した代表的サイズ情報と、前記画像情報を適用してオブジェクトまでの距離を算出する請求項10に記載の移動装置。 - 情報処理装置において実行する情報処理方法であり、
オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップを有し、
前記オブジェクト距離算出ステップは、
前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出する情報処理方法。 - 移動装置において実行する移動装置制御方法であり、
前記移動装置は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラを装着した構成であり、
オブジェクト距離算出部が、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出するオブジェクト距離算出ステップと、
計画部が、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定する計画ステップと、
動作制御部が、前記計画部の決定した経路に従って前記移動装置の動作制御を行う動作制御ステップを実行し、
前記オブジェクト距離算出ステップは、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出するステップである移動装置制御方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップを有し、
前記プログラムは、前記オブジェクト距離算出ステップにおいて、
前記オブジェクトの実サイズ情報と、前記撮影画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラム。 - 移動装置において移動装置制御処理を実行させるプログラムであり、
前記移動装置は、
移動装置の前方向画像を撮影する前方向カメラと、
前記移動装置の前方向のオブジェクトまでの距離を計測する距離センサと、
前記移動装置の前方向以外の第2方向画像を撮影する第2方向カメラを装着した構成であり、
前記プログラムは、
オブジェクト距離算出部に、カメラによる撮影画像を入力し、画像内のオブジェクトの距離を算出させるオブジェクト距離算出ステップと、
計画部に、前記オブジェクト距離算出部の算出したオブジェクト距離情報を入力して前記移動装置の経路を決定させる計画ステップと、
動作制御部に、前記計画部の決定した経路に従って前記移動装置の動作制御を行わせる動作制御ステップを実行させ、
前記オブジェクト距離算出ステップにおいては、
前記オブジェクトの実サイズ情報と、前記第2方向画像に含まれる画像オブジェクトの画像情報を適用してオブジェクトまでの距離を算出させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112018004507.2T DE112018004507T5 (de) | 2017-10-12 | 2018-10-05 | Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm |
US16/753,648 US20200241549A1 (en) | 2017-10-12 | 2018-10-05 | Information processing apparatus, moving apparatus, and method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-198823 | 2017-10-12 | ||
JP2017198823 | 2017-10-12 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019073920A1 true WO2019073920A1 (ja) | 2019-04-18 |
Family
ID=66100866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/037346 WO2019073920A1 (ja) | 2017-10-12 | 2018-10-05 | 情報処理装置、移動装置、および方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200241549A1 (ja) |
DE (1) | DE112018004507T5 (ja) |
WO (1) | WO2019073920A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020218023A1 (ja) * | 2019-04-25 | 2020-10-29 | 日本電信電話株式会社 | 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016116859A1 (de) * | 2016-09-08 | 2018-03-08 | Knorr-Bremse Systeme für Nutzfahrzeuge GmbH | Sensoranordnung für ein autonom betriebenes Nutzfahrzeug und ein Verfahren zur Rundumbilderfassung |
US11565698B2 (en) * | 2018-04-16 | 2023-01-31 | Mitsubishi Electric Cornoration | Obstacle detection apparatus, automatic braking apparatus using obstacle detection apparatus, obstacle detection method, and automatic braking method using obstacle detection method |
CN109059780B (zh) | 2018-09-11 | 2019-10-15 | 百度在线网络技术(北京)有限公司 | 检测障碍物高度的方法、装置、设备及存储介质 |
KR102203438B1 (ko) * | 2018-12-26 | 2021-01-14 | 엘지전자 주식회사 | 이동 로봇 및 이동 로봇의 제어방법 |
JP7280119B2 (ja) * | 2019-06-03 | 2023-05-23 | 古河電気工業株式会社 | 支援情報作成装置、支援情報作成システム、支援情報作成方法、及び支援情報作成プログラム |
DE102019134632A1 (de) * | 2019-12-17 | 2021-06-17 | Valeo Schalter Und Sensoren Gmbh | Positionsbestimmung und Kartenerstellung |
JP7259732B2 (ja) * | 2019-12-23 | 2023-04-18 | 横河電機株式会社 | 配信サーバ、方法およびプログラム |
EP3920083A1 (en) * | 2020-06-05 | 2021-12-08 | Aptiv Technologies Limited | Pointing to non-mapped objects outside a vehicle |
CN113064805A (zh) * | 2021-03-29 | 2021-07-02 | 联想(北京)有限公司 | 一种电子设备的控制方法以及控制装置 |
CN113701642A (zh) * | 2021-07-30 | 2021-11-26 | 的卢技术有限公司 | 一种车身外观尺寸的计算方法及*** |
US20230099598A1 (en) * | 2021-09-27 | 2023-03-30 | Ford Global Technologies, Llc | Vehicle object tracking |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004235711A (ja) * | 2003-01-28 | 2004-08-19 | Nissan Motor Co Ltd | 対象物追跡システムおよび対象物追跡方法 |
JP2005300315A (ja) * | 2004-04-09 | 2005-10-27 | Denso Corp | 物体検出装置 |
JP2008310690A (ja) * | 2007-06-15 | 2008-12-25 | Denso Corp | 車両用認知支援装置 |
JP2016151913A (ja) * | 2015-02-18 | 2016-08-22 | 三菱自動車工業株式会社 | 運転支援装置 |
US20170036673A1 (en) * | 2015-08-03 | 2017-02-09 | Lg Electronics Inc. | Driver assistance apparatus and control method for the same |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8761434B2 (en) * | 2008-12-17 | 2014-06-24 | Sony Computer Entertainment Inc. | Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system |
WO2013059147A1 (en) * | 2011-10-19 | 2013-04-25 | Crown Equipment Corporation | Identifying and evaluating multiple rectangles that may correspond to a pallet in an image scene |
JP6212880B2 (ja) | 2013-03-04 | 2017-10-18 | 株式会社デンソー | 物標認識装置 |
KR102003776B1 (ko) * | 2013-08-13 | 2019-07-26 | 한화테크윈 주식회사 | 감시용 카메라의 자세 검출 방법 및 장치 |
JP6440411B2 (ja) * | 2014-08-26 | 2018-12-19 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
KR102623680B1 (ko) * | 2015-02-10 | 2024-01-12 | 모빌아이 비젼 테크놀로지스 엘티디. | 자율 주행을 위한 약도 |
CN105628951B (zh) * | 2015-12-31 | 2019-11-19 | 北京迈格威科技有限公司 | 用于测量对象的速度的方法和装置 |
-
2018
- 2018-10-05 US US16/753,648 patent/US20200241549A1/en active Pending
- 2018-10-05 WO PCT/JP2018/037346 patent/WO2019073920A1/ja active Application Filing
- 2018-10-05 DE DE112018004507.2T patent/DE112018004507T5/de active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004235711A (ja) * | 2003-01-28 | 2004-08-19 | Nissan Motor Co Ltd | 対象物追跡システムおよび対象物追跡方法 |
JP2005300315A (ja) * | 2004-04-09 | 2005-10-27 | Denso Corp | 物体検出装置 |
JP2008310690A (ja) * | 2007-06-15 | 2008-12-25 | Denso Corp | 車両用認知支援装置 |
JP2016151913A (ja) * | 2015-02-18 | 2016-08-22 | 三菱自動車工業株式会社 | 運転支援装置 |
US20170036673A1 (en) * | 2015-08-03 | 2017-02-09 | Lg Electronics Inc. | Driver assistance apparatus and control method for the same |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020218023A1 (ja) * | 2019-04-25 | 2020-10-29 | 日本電信電話株式会社 | 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム |
JP2020182100A (ja) * | 2019-04-25 | 2020-11-05 | 日本電信電話株式会社 | 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム |
CN113711583A (zh) * | 2019-04-25 | 2021-11-26 | 日本电信电话株式会社 | 物体信息处理装置、物体信息处理方法以及物体信息处理程序 |
JP7174252B2 (ja) | 2019-04-25 | 2022-11-17 | 日本電信電話株式会社 | 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
DE112018004507T5 (de) | 2020-06-10 |
US20200241549A1 (en) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019073920A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
WO2019181284A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
WO2019035300A1 (ja) | 車両走行制御装置、および車両走行制御方法、並びにプログラム | |
US11501461B2 (en) | Controller, control method, and program | |
WO2020116195A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
WO2020203657A1 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
JPWO2019026714A1 (ja) | 情報処理装置、および情報処理方法、プログラム、並びに移動体 | |
WO2019044571A1 (ja) | 画像処理装置、および画像処理方法、プログラム、並びに移動体 | |
US11377101B2 (en) | Information processing apparatus, information processing method, and vehicle | |
CN112534487B (zh) | 信息处理设备、移动体、信息处理方法和程序 | |
US11200795B2 (en) | Information processing apparatus, information processing method, moving object, and vehicle | |
WO2019082669A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
US20200278208A1 (en) | Information processing apparatus, movable apparatus, information processing method, movable-apparatus control method, and programs | |
WO2020116206A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US11615628B2 (en) | Information processing apparatus, information processing method, and mobile object | |
WO2020116194A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
US20200230820A1 (en) | Information processing apparatus, self-localization method, program, and mobile body | |
JP2019045364A (ja) | 情報処理装置、自己位置推定方法、及び、プログラム | |
JP7192771B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び、車両 | |
WO2019111549A1 (ja) | 移動体、測位システム、測位プログラム及び測位方法 | |
CN114026436B (zh) | 图像处理装置、图像处理方法和程序 | |
WO2020129656A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2020090250A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
WO2020036044A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP7483627B2 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18865996 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18865996 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |