WO2019187626A1 - 画像処理装置、撮像装置、および移動体 - Google Patents

画像処理装置、撮像装置、および移動体 Download PDF

Info

Publication number
WO2019187626A1
WO2019187626A1 PCT/JP2019/003719 JP2019003719W WO2019187626A1 WO 2019187626 A1 WO2019187626 A1 WO 2019187626A1 JP 2019003719 W JP2019003719 W JP 2019003719W WO 2019187626 A1 WO2019187626 A1 WO 2019187626A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior
state
controller
history
moving body
Prior art date
Application number
PCT/JP2019/003719
Other languages
English (en)
French (fr)
Inventor
尚典 福島
亮介 茂木
大輔 貴島
伸彦 齋藤
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to CN201980020192.3A priority Critical patent/CN111886638B/zh
Priority to US17/041,648 priority patent/US20210114532A1/en
Priority to EP19774316.4A priority patent/EP3779920A4/en
Priority to CN202211613485.2A priority patent/CN115973188A/zh
Publication of WO2019187626A1 publication Critical patent/WO2019187626A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/041—Potential occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Definitions

  • the present disclosure relates to an image processing device, an imaging device, and a moving body.
  • An image processing apparatus is: A storage unit; An image of the object is detected from a captured image obtained by imaging at least one of the periphery and the inside of the moving body, and the newly detected state of the object is included in the history of the state of the object stored in the storage unit A controller for determining the behavior of the moving body based on the history of the state stored in the storage unit, And an output unit that outputs information indicating the determined behavior of the moving body to the moving body.
  • An imaging apparatus is The state of the object in which the image of the object is detected from the captured image obtained by capturing at least one of the storage unit and the periphery and the inside of the moving body, and the state of the object newly detected is stored in the storage unit Controller for determining the behavior of the moving body based on the history of the state stored in the storage unit, and information indicating the determined behavior of the moving body to the moving body. And an output processing unit.
  • the mobile object according to the third aspect is The state of the object in which the image of the object is detected from the captured image obtained by capturing at least one of the storage unit and the periphery and the inside of the moving body, and the state of the object newly detected is stored in the storage unit Controller for determining the behavior of the moving body based on the history of the state stored in the storage unit, and information indicating the determined behavior of the moving body to the moving body.
  • An image pickup apparatus including an image processing apparatus having an output unit for outputting.
  • an imaging apparatus 11 including an image processing apparatus 10 according to the first embodiment of the present disclosure is mounted on a moving body 1 and is taken from the periphery of the moving body 1 and captured images inside the moving body 1.
  • the state of the object is detected, and the behavior to be executed by the moving body 1 is determined according to the detected state of the object.
  • the moving body 1 may include, for example, a vehicle, a ship, an aircraft, and the like having an automatic driving function.
  • the vehicle may include, for example, an automobile, an industrial vehicle, a railway vehicle, a living vehicle, a fixed wing aircraft that runs on a runway, and the like.
  • Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses, and the like.
  • Industrial vehicles may include, for example, industrial vehicles for agriculture and construction.
  • Industrial vehicles may include, for example, forklifts and golf carts.
  • Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combiners, lawn mowers, and the like.
  • Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, crane trucks, dump trucks, road rollers, and the like.
  • the vehicle may include a vehicle that travels manually.
  • the classification of the vehicle is not limited to the example described above.
  • an automobile may include an industrial vehicle capable of traveling on a road.
  • the same vehicle may be included in multiple classifications.
  • Ships may include, for example, marine jets, boats, tankers, and the like.
  • Aircraft may include, for example, fixed wing aircraft and rotary wing aircraft.
  • the object may include, for example, a person, another moving object, an animal, and the like. Further, the person as the object may include a pedestrian, a person riding a bicycle, and the like.
  • Automatic driving may include automating part or all of user operations for driving a vehicle.
  • the automatic driving may include levels 1 to 5 defined in SAE (Society of Automatic Engineers).
  • SAE Society of Automatic Engineers
  • the mobile body 1 demonstrates as what is provided with the fully automatic operation function of the level 4 or more defined by SAE.
  • the imaging device 11 includes an imaging unit 12 and an image processing device 10.
  • the imaging unit 12 is, for example, an in-vehicle camera mounted on the moving body 1.
  • the imaging unit 12 acquires a captured image obtained by capturing at least one of the periphery and the inside of the moving body 1 and outputs the captured image to the image processing apparatus 10.
  • a single or a plurality of imaging units 12 are included in the imaging device 11.
  • the imaging unit 12 is provided in the front, rear, left side, and right side of the mobile body 1 and in the vehicle of the mobile body 1, and the front, rear, left side, and right side periphery of the mobile body 1, respectively.
  • the inside of the vehicle of the moving body 1 is imaged.
  • the imaging unit 12 includes an imaging optical system and an imaging element.
  • the imaging optical system includes, for example, one or more lenses and optical members such as a diaphragm.
  • the lens provided in the imaging optical system is a lens having a wide angle of view, such as a fisheye lens.
  • the imaging optical system forms a subject image on the light receiving surface of the imaging element.
  • the image pickup device includes, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • the imaging element captures a subject image formed on the light receiving surface and generates a captured image.
  • the image processing apparatus 10 includes a storage unit 13, a controller 14, and an output unit 15.
  • the storage unit 13 includes an arbitrary storage device such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the storage unit 13 stores various programs for causing the controller 14 to function and various information used by the controller 14.
  • the storage unit 13 stores, for example, a history of the state of an object detected by the controller 14, which will be described later, for each object.
  • the history of the state of the object is, for example, information in which the states of the same object at different detection times are arranged in time series.
  • the controller 14 includes one or more processors and memory.
  • the processor may include a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor specialized for a specific process.
  • the dedicated processor may include an application specific integrated circuit (ASIC) (ASIC; Application Specific Integrated Circuit).
  • the processor may include a programmable logic device (PLD; Programmable Logic Device).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the controller 14 may be one of SoC (System-on-a-Chip) in which one or a plurality of processors cooperate, and SiP (System In a Package).
  • the controller 14 acquires a captured image from the imaging unit 12.
  • the controller 14 detects an object image from the captured image.
  • the controller 14 may detect the image of the object by a conventionally known method such as pattern matching.
  • the controller 14 detects the state of the object.
  • the controller 14 detects the state of the object by a conventionally known method such as pattern matching.
  • the controller 14 When the controller 14 detects the state of the object, the controller 14 stores the state in the storage unit 13. When the target detected from the captured image captured at an arbitrary time is a newly detected target, the controller 14 stores the first state in the history of the state for the target in the storage unit 13. Remember. When the controller 14 detects the state of the object detected in the previous captured image, the controller 14 stores the newly detected state of the object in the storage unit 13 so as to be included in the state history of the object. Let
  • Storing in the status history may be performed according to various conditions.
  • the controller 14 may store the newly detected state of the object in the storage unit 13 so as to be included in the state history at regular intervals such as every second. Further, for example, the controller 14 determines whether or not there is a change in the state of the object, and when there is a change, the controller 14 stores the newly detected state of the object in the state history. May be remembered.
  • the controller 14 detects the behavior of its own mobile body 1 (referred to as “self” in the following description) in association with the history, and stores the behavior in the history in the storage unit 13. You may memorize
  • the controller 14 accesses various control systems of the moving body 1 and detects the behavior of the moving body 1. As the behavior of the moving body 1, the controller 14 detects, for example, forward movement, backward movement, stoppage, deceleration, course change, lighting, passing, blinker blinking, horn ringing, external display, and current status maintenance.
  • the controller 14 determines the behavior to be executed by the moving body 1 based on the state history stored in the storage unit 13.
  • the controller 14 may determine the behavior based on the state history by various methods.
  • the controller 14 determines the behavior of the moving body 1 by comparing the table and the state history as shown in FIG.
  • the table shows a correspondence relationship in which the behavior to be taken by the moving object 1 is associated in advance for each of various histories of states of various objects assumed in advance.
  • t (0) in the “state history” in the table indicates the current state.
  • t ( ⁇ 1) is a past state from t (0), and a specific time interval may not be defined for t (0).
  • t ( ⁇ 2) is a past state from t ( ⁇ 1), and a specific time interval may not be defined for t ( ⁇ 1).
  • the controller 14 when the controller 14 detects a plurality of children in front when it is a vehicle and is running, the controller 14 stores the state for creating a history with the children as objects.
  • the controller 14 determines different behaviors according to the history of the state of the child even when the plurality of children are separated on both sides of the road in the latest state. For example, a part of a plurality of children (see reference “t ( ⁇ 2)”) originally on one side of the road moved (see reference “t ( ⁇ 1)”) and separated on both sides of the road (reference “ In the case of the history of the state of t (0) "), the controller 14 determines deceleration as a behavior on the assumption that other children are likely to cross the road.
  • the controller 14 is originally separated into different groups. Assuming that the children belonged to, the maintenance of driving is determined as a behavior.
  • the controller 14 when the controller 14 is a vehicle and is searching for a parking place in the parking lot, the controller 14 accumulates the state for creating a history with surrounding vehicles and people as objects. The controller 14 determines a different behavior according to the history of the state of the surrounding person and the vehicle even if the surrounding person is in the boarding state in the latest state. For example, a person in the vicinity walking (refer to the reference “t ( ⁇ 2)”) gets into the vehicle (refer to the reference “t ( ⁇ 1)”) and is in a boarding state (refer to the reference “t (0)”). In the case of the history of transition to, the controller 14 determines standby as a behavior on the assumption that the person is likely to leave.
  • a surrounding vehicle (refer to a reference “t ( ⁇ 2)”) that is running stops at a parking place (refer to a reference “t ( ⁇ 1)”), and a person is in the vehicle (reference “t”)
  • the controller 14 determines passing through the location as a behavior, assuming that it is immediately after parking.
  • the controller 14 when the controller 14 is a vehicle and is waiting for delivery from the parking state, the controller 14 accumulates the state for creating a history with the surrounding vehicle as an object.
  • the controller 14 determines a different behavior in accordance with the history of the state of the surrounding vehicle even if the surrounding vehicle is in a temporary stop state in the vicinity in the latest state. For example, a surrounding vehicle (see the reference “t ( ⁇ 2)”) that is leaving the vehicle starts running (see the reference “t ( ⁇ 1)”) and is in a temporary stop state (reference “t (“ In the case of the history of shifting to “0)”), the controller 14 determines that the vehicle is a traveling vehicle and determines standby as a behavior.
  • a surrounding vehicle (refer to the reference “t ( ⁇ 2)”) that is running approaches the vicinity of the vehicle (see the reference “t ( ⁇ 1)”), and is temporarily stopped (reference “ In the case of the history of transition to t (0) "), the controller 14 determines the delivery as a behavior, assuming that the vehicle wants to park at its current parking location.
  • the controller 14 when the controller 14 is a taxi and is running in an empty state, the controller 14 stores the state for creating a history with the person in front as an object.
  • the controller 14 determines a different behavior according to the history of the state of the person in front even if the person in front approaches the person in the latest state. For example, even if the person in front is approaching himself / herself in the latest state, different behavior is determined according to the history of the state of the person in front. For example, a person who raises his hand or faces in front of himself (see reference “t ( ⁇ 2)”) keeps approaching himself (see reference signs “t ( ⁇ 1)” and “t (0)”).
  • the controller 14 assumes that the user wants to get on and decides the advance to the front of the person as the behavior. Further, for example, a person who does not raise his hand and does not face himself (see reference sign “t ( ⁇ 2)”) continues to approach himself (reference signs “t ( ⁇ 1)” and “t ( In the case of the history of 0) "see”), the controller 14 determines that the action is not related to itself and determines the passage as the behavior.
  • the controller 14 when the controller 14 is a taxi and is running in an empty state, the controller 14 stores the state for creating a history with the person in front as an object.
  • the controller 14 determines a different behavior according to the history of the state of the person in front even if the person in front is not approaching itself in the latest state. For example, it is said that a person who raises his hand or faces forward (see reference “t ( ⁇ 2)”) is not approaching himself (see reference “t ( ⁇ 1)” and “t (0)”). In the case of the history, the controller 14 determines that the person wants to get on the board and moves forward in front of the person as the behavior.
  • the controller 14 determines the passage as a behavior on the assumption that the behavior is not related to itself.
  • the controller 14 when the controller 14 itself is a bus and is stopped at a stop, the controller 14 accumulates the state for creating a history with surrounding people as objects.
  • the controller 14 determines different behaviors according to the history of the state of the surrounding people even when the surrounding people are traveling in the latest state. For example, a person who is far away (see reference “t ( ⁇ 2)”) gazes at himself (see reference “t ( ⁇ 1)”) and travels (see reference “t (0)”).
  • the controller 14 determines opening of the door as a behavior on the assumption that it is desired to get on the controller 14. Also, for example, a person who is far away (see reference “t ( ⁇ 2)”) does not watch himself (see reference “t ( ⁇ 1)”) and travels (see reference “t (0)”). ), The controller 14 determines the departure as a behavior assuming that it is jogging around itself.
  • the controller 14 when the controller 14 is a bus and is stopped at a stop, the controller 14 stores a state for creating a history with a person in the vehicle as an object. Even if the person in the vehicle is at a position slightly away from the exit gate in the latest state, the controller 14 determines different behaviors according to the history of the state of the person in the vehicle. For example, a person standing in a vehicle (see reference “t ( ⁇ 2)”) standing near the exit (see reference “t ( ⁇ 1)”) is positioned away from the exit (reference “ In the case of the history of t (0) "), the controller 14 determines the waiting for opening the door as a behavior, assuming that there is an intention to get off.
  • the controller 14 determines departure as a behavior, assuming that there is no intention to get off.
  • the controller 14 may determine the behavior to be executed by the moving body 1 based on the history of the state of the moving body 1 as well as the history of the state stored in the storage unit 13.
  • the controller 14 may determine a behavior to be executed based on the state and behavior history by various methods. For example, the controller 14 determines the behavior of the moving body 1 by comparing the table and the history of the state and behavior as shown in FIG.
  • the controller 14 when the controller 14 is a vehicle and is running, when it detects a person at the side of a pedestrian crossing ahead, the controller 14 uses the person as an object and prepares the state and past behavior for the purpose of creating a history. Accumulate. Even if the person beside the pedestrian crossing is stopped crossing in the latest state, the controller 14 determines different behaviors according to the history of the person's state and the history of his / her own behavior.
  • a person at the side of a pedestrian crossing has stopped crossing for a long time (see symbols “t ( ⁇ 2)”, “t ( ⁇ 1)”, “t (0)”), and his / her previous behavior
  • the controller 14 determines that the intent of the object is unknown and determines automatic driving cancellation as the behavior.
  • the behavior predetermined as the calling behavior is, for example, passing, horn, hazard, and the like.
  • the controller 14 determines the call that has not been executed as the behavior. Also, for example, a person at the side of a pedestrian crossing has stopped crossing once after a crossing stop (see symbols “t ( ⁇ 2)”, “t ( ⁇ 1)”, “t (0)”). And the controller 14 has performed all of the predetermined behaviors for the pedestrian in front of the pedestrian, the controller 14 assumes that the object has a slight intention to cross, Are determined as behaviors.
  • a person at the side of a pedestrian crossing has stopped crossing once after a crossing stop (see symbols “t ( ⁇ 2)”, “t ( ⁇ 1)”, “t (0)”).
  • the controller 14 determines the call that has not been executed as the behavior.
  • the controller 14 may update the table in the newly acquired captured image based on the new state of the target object after outputting the information indicating the determined behavior of itself.
  • the controller 14 may update the behavior to be executed to the optimum behavior when the optimum behavior to be taken for the new state of the object is different from the behavior to be executed stored in the table.
  • the output unit 15 outputs to the moving body 1 information indicating the own behavior determined by the controller 14. Note that the information is acquired by each control system that executes each behavior of the moving body 1, and the behavior indicated by the information is executed.
  • step S100 the controller 14 determines whether or not there is an object to be detected for the current situation in the latest captured image acquired from the imaging unit 12. If there is no object to be detected, the behavior determination process ends. If there is an object to be detected, the process proceeds to step S101.
  • step S101 the controller 14 detects the state of the object determined to exist in step S100. If a state is detected, the process proceeds to step S102.
  • step S102 the controller 14 stores the state detected in step S101 in the storage unit 13 and accumulates it in the state history. Once the state is accumulated, the process proceeds to step S103.
  • step S103 the controller 14 reads the state history and the behavior history from the storage unit 13. After reading the history, the process proceeds to step S104.
  • step S104 the controller 14 compares the state history and behavior history read in step S103 with the table stored in the storage unit 13. When the table comparison is started, the process proceeds to step S105.
  • step S105 the controller 14 determines whether or not the same history as the state history and behavior history read in step S103 exists in the table. If there is no identical history in the table, the behavior determination process ends. If there is an identical history in the table, the process proceeds to step S106.
  • step S106 the controller 14 determines the behavior associated with the same history determined in step S105 as the behavior to be executed. In addition, the controller 14 causes the moving body 1 to output the determined behavior via the output unit 15. After output to the moving body 1, the process proceeds to step S107.
  • step S107 the controller 14 stores the behavior determined in step S106 in the storage unit 13 and accumulates it in the behavior history. When the behavior is accumulated, the behavior determination process ends.
  • behavior update processing executed by the controller 14 in the present embodiment will be described with reference to the flowchart of FIG.
  • the behavior update process is started in parallel with the behavior determination process when the next behavior determination process for which the behavior is determined in the behavior determination process is executed.
  • step S200 the controller 14 detects the state of the object detected in step S100 of the latest behavior determination process in the latest captured image acquired from the imaging unit 12. If a state is detected, the process proceeds to step S201.
  • step S201 the controller 14 compares the state assumed that the history used for the determination of the behavior in step S106 of the latest behavior determination process occurs next with the state detected in step S200. When the comparison is started, the process proceeds to step S202.
  • step S202 the controller 14 determines whether or not the assumed state and the newly detected state are inconsistent in the comparison in step S201. If they do not match, that is, they match, the behavior update process ends. If not, the process proceeds to step S203.
  • step S203 the controller 14 takes the behavior to be executed associated with the history in the table with respect to the state assumed that the history used for the behavior determination in step S106 of the latest behavior determination processing will occur next.
  • the behavior is updated by rewriting the behavior.
  • the behavior update process ends.
  • the determination of the behavior of the moving body 1 is based on the history of the object.
  • the image processing apparatus 10 can improve the estimation accuracy of the future state of the target that could not be uniquely identified by the state of the target at any one point in time. Therefore, since the image processing apparatus 10 determines the behavior of the moving body 1 using a more appropriate determination material, the image processing apparatus 10 can perform the fully automatic driving more appropriately and improve the convenience of traffic.
  • the image processing apparatus 10 includes the state of the newly detected object in the state history at regular time intervals. Therefore, the image processing apparatus 10 does not store the state of the object for all captured images, and thus allows the application of the low-capacity storage unit 13.
  • the image processing apparatus 10 includes the state of the newly detected object in the state history when the state of the object is changed. Therefore, the image processing apparatus 10 does not perform storage of the state of the object on all captured images, and does not necessarily store every fixed time, so that the application of the storage unit 13 having a lower capacity is applied. Is acceptable.
  • the image processing apparatus 10 of the present embodiment is based on the behavior history in determining the behavior of the moving body 1. With such a configuration, the image processing apparatus 10 can further improve the estimation accuracy of the future state of the object. Therefore, since the image processing apparatus 10 determines the behavior of the moving body 1 using a more appropriate determination material, the fully automatic driving is performed more appropriately and the convenience of traffic is improved.
  • the table can be updated based on the newly detected state of the object after outputting the information indicating the behavior of the moving body 1.
  • the future state of the object is assumed to be a specific state based on the state history, and behaviors suitable for the specific state are associated in advance.
  • the state of the future object may be different from the assumed state due to local rules in the traveling area.
  • the image processing apparatus 10 having the above-described configuration can update the table, so that the behavior to be associated with the history can be optimized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

画像処理装置１０は記憶部１３とコントローラ１４と出力部１５とを有する。コントローラ１４は撮像画像から対象物の像を検出する。コントローラ１４は当たらに検出した対象物の状態を記憶部１３に記憶している対象物の状態の履歴に含めるように記憶させる。コントローラ１４は記憶部に記憶されていた状態の履歴に基づいて移動体１の挙動を決定する。出力部１５は決定した移動体１の挙動を指示する情報を移動体に出力する。

Description

画像処理装置、撮像装置、および移動体 関連出願の相互参照
　本出願は、２０１８年３月２８日に日本国に特許出願された特願２０１８－６２５６９の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、画像処理装置、撮像装置、および移動体に関するものである。
　近年、車両の全自動運転の研究・開発が進められている。車両の全自動運転に、撮像した撮影画像の画像解析によって推定される周囲状況を用いることが検討されている。例えば、車載カメラにより車両の周辺を撮像し、車載カメラの撮影画像から歩行者の膝部位置の移動速度および上半身部位置の移動速度を検出することが提案されている（特許文献１参照）。
特開２０１０－０６６８１０号公報
　第１の観点による画像処理装置は、
　記憶部と、
　移動体の周辺および内部の少なくとも一方を撮像した撮像画像から対象物の像を検出し、新たに検出した該対象物の状態を前記記憶部に記憶している該対象物の状態の履歴に含めるように記憶させ、前記記憶部に記憶されていた該状態の履歴に基づき前記移動体の挙動を決定するコントローラと、
　決定した前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備える。
　また、第２の観点による撮像装置は、
　記憶部と、移動体の周辺および内部の少なくとも一方を撮像した撮像画像から対象物の像を検出し、新たに検出した該対象物の状態を前記記憶部に記憶している該対象物の状態の履歴に含めるように記憶させ、前記記憶部に記憶されていた該状態の履歴に基づき前記移動体の挙動を決定するコントローラと、決定した前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を有する画像処理装置を備える。
　また、第３の観点による移動体は、
　記憶部と、移動体の周辺および内部の少なくとも一方を撮像した撮像画像から対象物の像を検出し、新たに検出した該対象物の状態を前記記憶部に記憶している該対象物の状態の履歴に含めるように記憶させ、前記記憶部に記憶されていた該状態の履歴に基づき前記移動体の挙動を決定するコントローラと、決定した前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を有する画像処理装置を含む撮像装置を備える。
本実施形態に係る画像処理装置を含む移動体の概略構成を示す機能ブロック図である。 図１の記憶部に記憶される状態の履歴と実行するべき挙動との対応関係を示すテーブルの一例である。 図１の記憶部に記憶される状態および挙動の履歴と実行するべき挙動との対応関係を示すテーブルの一例である。 図１のコントローラが実行する挙動決定処理を説明するためのフローチャートである。 図１のコントローラが実行する挙動更新処理を説明するためのフローチャートである。
以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。
　図１に示すように、本開示の第１の実施形態に係る画像処理装置１０を含む撮像装置１１は、移動体１に搭載され、移動体１の周辺および移動体１内部の撮像画像から対象物の状態を検出し、検出した対象物の状態に応じて、移動体１に実行させる挙動を決定するものである。
　移動体１は、例えば自動運転機能を備える車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
　対象物は、例えは、人、他の移動体、動物などを含んでよい。また、対象物としての人は、歩行者、自転車に乗っている人などを含んでよい。
　自動運転は、車両を運転するユーザ操作の一部または全部を自動化することを含んでよい。例えば、自動運転は、ＳＡＥ（Ｓｏｃｉｅｔｙ　ｏｆ　Ａｕｔｏｍｏｔｉｖｅ　Ｅｎｇｉｎｅｅｒｓ）において定義されるレベル１ないし５を含んでよい。以下では、移動体１は、ＳＡＥで定義されるレベル４以上の全自動運転機能を備えるものとして説明する。
　撮像装置１１は、撮像部１２および画像処理装置１０を含んで構成される。
　撮像部１２は、例えば、移動体１に搭載された車載カメラである。撮像部１２は、移動体１の周辺および内部の少なくとも一方を撮像した撮像画像を取得し、画像処理装置１０に出力する。単一または複数の撮像部１２が、撮像装置１１には含まれる。例えば、撮像部１２は、移動体１の前方、後方、左側方、および右側方、ならびに移動体１の車内に設けられ、それぞれ移動体１の前方、後方、左側方、および右側方の周辺、ならびに移動体１の車内を撮像する。
　撮像部１２は、撮像光学系および撮像素子を含んで構成される。撮像光学系は、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系が備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズである。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを含む。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。
　画像処理装置１０は、記憶部１３、コントローラ１４、および出力部１５を含んで構成される。
　記憶部１３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。記憶部１３は、コントローラ１４を機能させる多様なプログラム、およびコントローラ１４が用いる多様な情報を記憶する。
　記憶部１３は、例えば、後述する、コントローラ１４が検出する対象物の状態の履歴を対象物毎に記憶する。なお、対象物の状態の履歴とは、例えば、異なる検出時期における同一の対象物の状態を時系列に並べた情報である。
　コントローラ１４は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含んでよい。コントローラ１４は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ　Ｉｎ　ａ　Ｐａｃｋａｇｅ）のいずれかであってもよい。
　コントローラ１４は、撮像部１２から撮像画像を取得する。コントローラ１４は、撮像画像から対象物の像を検出する。なお、コントローラ１４は、パターンマッチングなどの従来公知の方法によって対象物の像を検出してよい。コントローラ１４は、撮像画像から対象物の像を検出したとき、当該対象物の状態を検出する。なお、コントローラ１４は、パターンマッチングなどの従来公知の方法によって対象物の状態を検出する。
　コントローラ１４は、対象物の状態を検出すると、当該状態を記憶部１３に記憶させる。コントローラ１４は、任意の時期に撮像された撮像画像から検出された対象物が、新規に検出された対象物であるとき、当該対象物に対する状態の履歴中の最初の状態として、記憶部１３に記憶させる。コントローラ１４は、以前の撮像画像中に検出された対象物の状態を検出するとき、新たに検出した当該対象物の状態を、当該対象物に対する状態の履歴に含めるように、記憶部１３に記憶させる。
　状態の履歴内への記憶は、多様な条件に応じて行ってよい。例えば、コントローラ１４は、１秒毎などの一定時間毎に、新たに検出した対象物の状態を、状態の履歴に含めるように記憶部１３に記憶させてよい。また、例えば、コントローラ１４は、対象物の状態に変化があるか否かを判別し、変化があるときに、新たに検出した対象物の状態を、状態の履歴に含めるように記憶部１３に記憶させてよい。
　コントローラ１４は、状態の履歴への記憶とともに、当該履歴に関連付けて、自身の移動体１（以下の説明において、「自身」と呼ぶ。）の挙動を検出し記憶部１３に移動体１の挙動の履歴として含めるように記憶させてよい。なお、コントローラ１４は、移動体１の各種制御系にアクセスし、移動体１の挙動を検出する。コントローラ１４は、移動体１の挙動として、例えば、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。
　コントローラ１４は、記憶部１３に記憶されていた状態の履歴に基づいて、移動体１に実行させる挙動を決定する。コントローラ１４は、多様な方法により、状態の履歴に基づいて、挙動を決定してよい。
　例えば、コントローラ１４は、図２に示すような、テーブルと、状態の履歴を比較することにより、移動体１の挙動を決定する。テーブルは、あらかじめ想定した多様な対象物の状態の多様な履歴毎に移動体１の取るべき挙動を予め対応づけした対応関係を示す。なお、テーブルの「状態の履歴」におけるｔ（０）は、現在の状態を示す。また、ｔ（－１）は、ｔ（０）より過去の状態であり、ｔ（０）に対して特定の時間間隔が定められていなくてよい。また、ｔ（－２）は、ｔ（－１）より過去の状態であり、ｔ（－１）に対して特定の時間間隔が定められていなくてよい。
　コントローラ１４は、例えば、自身が車両であって、走行中である場合、前方の複数の児童を検出すると、当該児童を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において複数の児童が道路の両側に分かれている場合であっても、児童の状態の履歴に応じて、異なる挙動を決定する。例えば、元々道路の片側にいた複数の児童（符号“ｔ（－２）”参照）の一部が移動（符号“ｔ（－１）”参照）して、道路の両側に分かれた（符号“ｔ（０）”参照）という状態の履歴である場合、コントローラ１４は、他の児童も道路を横断する可能性が高いと仮定として、減速を挙動として決定する。また、例えば、元々児童が道路の両側に分かれてい続ける（符号“ｔ（－２）”、“ｔ（－１）”、“ｔ（０）”参照）場合、コントローラ１４は、元々別々のグループに属していた児童達であると仮定して、走行の維持を挙動として決定する。
　また、コントローラ１４は、例えば、自身が車両であって、駐車場内で駐車場所を探索中である場合、周囲の車両および人を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において周囲の人が乗車状態であっても、周囲の人および車両の状態の履歴に応じて、異なる挙動を決定する。例えば、歩行中の周囲の人が（符号“ｔ（－２）”参照）が、車両に乗込み（符号“ｔ（－１）”参照）、乗車状態（符号“ｔ（０）”参照）に移行するという履歴である場合、コントローラ１４は、当該人が出庫する可能性が高いと仮定して、待機を挙動として決定する。また、例えば、走行中の周囲の車両（符号“ｔ（－２）”参照）が、駐車場所に停車（符号“ｔ（－１）”参照）し、車内に人が乗車状態（符号“ｔ（０）”参照）に移行するという履歴である場合、コントローラ１４は、駐車直後であると仮定して、当該場所からの通過を挙動として決定する。
　また、コントローラ１４は、例えば、自身が車両であって、駐車状態から出庫待機中である場合、周囲の車両を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において周囲の車両が近辺で一時停止状態であっても、周囲の車両の状態の履歴に応じて、異なる挙動を決定する。例えば、出庫中の周囲の車両（符号“ｔ（－２）”参照）が、走行を開始して（符号“ｔ（－１）”参照）、自身の近辺で一時停止状態（符号“ｔ（０）”参照）に移行するという履歴である場合、コントローラ１４は、当該車両が走行車両であると仮定して、待機を挙動として決定する。また、例えば、走行中の周囲の車両（符号“ｔ（－２）”参照）が、自身の近辺に接近して（符号“ｔ（－１）”参照）、近辺で一時停止状態（符号“ｔ（０）”参照）に移行するという履歴である場合、コントローラ１４は、当該車両が自身の現在の駐車場所への駐車を望んでいると仮定して、出庫を挙動として決定する。
　また、コントローラ１４は、例えば、自身がタクシーであって、空車状態で走行中である場合、前方の人を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において前方の人が自身に接近していても、前方の人の状態の履歴に応じて、異なる挙動を決定する。例えば、最新の状態において前方の人が自身に接近中であっても、前方の人の状態の履歴に応じて、異なる挙動を決定する。例えば、挙手または自身の方を向く前方の人（符号“ｔ（－２）”参照）が、自身に接近し続けいている（符号“ｔ（－１）”、“ｔ（０）”参照）という履歴である場合、コントローラ１４は、乗車希望であると仮定して、当該人の手前までの前進を挙動として決定する。また、例えば、挙手もせず且つ自身の方を向かない前方の人（符号“ｔ（－２）”参照）が、自身に接近し続けいている（符号“ｔ（－１）”、“ｔ（０）”参照）という履歴である場合、コントローラ１４は、自身に関係ない行動をしていると仮定して、通過を挙動として決定する。
　また、コントローラ１４は、例えば、自身がタクシーであって、空車状態で走行中である場合、前方の人を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において前方の人が自身に接近していない場合であっても、前方の人の状態の履歴に応じて、異なる挙動を決定する。例えば、挙手または自身の方を向く前方の人（符号“ｔ（－２）”参照）が、自身に接近していない（符号“ｔ（－１）”、“ｔ（０）”参照）という履歴である場合、コントローラ１４は、乗車希望であると仮定して、当該人の手前への前進を挙動として決定する。また、例えば、挙手もせず且つ自身の方を向かない前方の人（符号“ｔ（－２）”参照）が、自身に接近していない（符号“ｔ（－１）”、“ｔ（０）”参照）という履歴である場合、コントローラ１４は、自身に関係ない行動をしていると仮定して、通過を挙動として決定する。
　また、コントローラ１４は、例えば、自身がバスであって、停留所で停車中である場合、周囲の人を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において周囲の人が走行中であっても、周囲の人の状態の履歴に応じて、異なる挙動を決定する。例えば、自身の遠くにいる人（符号“ｔ（－２）”参照）が自身を注視（符号“ｔ（－１）”参照）して、走行（符号“ｔ（０）”参照）するという履歴である場合、コントローラ１４は、自身への乗車を要望していると仮定して、ドアの開放を挙動として決定する。また、例えば、自身の遠くにいる人（符号“ｔ（－２）”参照）が自身を注視せず（符号“ｔ（－１）”参照）に、走行（符号“ｔ（０）”参照）するという履歴である場合、コントローラ１４は、自身の周囲をジョギング中であると仮定して、出発を挙動として決定する。
　また、コントローラ１４は、例えば、自身がバスであって、停留所で停車中である場合、車内の人を対象物として、履歴の作成のために状態を蓄積する。コントローラ１４は、最新の状態において車内の人が降車口から少し離れた場所にいるとしても、車内の人の状態の履歴に応じて、異なる挙動を決定する。たとえば、座席を立った車内の人（符号“ｔ（－２）”参照）が降車口に近づき（符号“ｔ（－１）”参照）ながらも、降車口から離れた場所に位置（符号“ｔ（０）”参照）するという履歴である場合、コントローラ１４は、降車の意思があると仮定して、ドアの開放待機を挙動として決定する。また、例えば、車内の人が降車口から少し離れた場所にい続けている（符号“ｔ（－２）”、“ｔ（－１）”、“ｔ（０）”参照）と言う履歴である場合、コントローラ１４は、降車の意思が無いと仮定して、出発を挙動として決定する。
　コントローラ１４は、記憶部１３に記憶された状態の履歴とともに、移動体１の挙動の履歴にも基づいて、移動体１に実行させる挙動を決定してよい。コントローラ１４は、多様な方法により、状態および挙動の履歴に基づいて、これから実行すべき挙動を決定してよい。例えば、コントローラ１４は、図３に示すような、テーブルと、状態および挙動の履歴を比較することにより、移動体１の挙動を決定する。
　コントローラ１４は、例えば、自身が車両であって、走行中である場合、前方の横断歩道脇の人を検出すると、当該人を対象物として、履歴の作成のために状態および過去の自身の挙動を蓄積する。コントローラ１４は、最新の状態において横断歩道脇の人が横断停止中であっても、当該人の状態の履歴および自身の挙動の履歴に応じて、異なる挙動を決定する。例えば、横断歩道脇の人が、以前から横断を停止しており（符号“ｔ（－２）”、“ｔ（－１）”、“ｔ（０）”参照）、かつ以前の自身の挙動において、前方の歩行者に対する呼びかけの挙動として予め定められている全挙動を実行済みである場合、コントローラ１４は、対象物の意図が不明と判別して、自動運転解除を挙動として決定する。なお、呼びかけの挙動として予め定められている挙動とは、例えば、パッシング、クラクション、およびハザードなどである。また、例えば、横断歩道脇の人が、以前から横断を停止しており（符号“ｔ（－２）”、“ｔ（－１）”、“ｔ（０）”参照）、かつ以前の自身の挙動において、前方の歩行者に対する呼びかけの挙動として予め定められている全挙動を実行していない場合、コントローラ１４は、未実行の呼びかけを挙動として決定する。また、例えば、横断歩道脇の人が、横断停止後、一旦横断後に再び横断停止しており（符号“ｔ（－２）”、“ｔ（－１）”、“ｔ（０）”参照）、かつ前方の歩行者に対する呼びかけの挙動として予め定められている全挙動を実行済みである場合、コントローラ１４は、対象物に横断の意図が少しあると仮定して、実行済みの呼びかけのいずれかを、挙動として決定する。また、例えば、横断歩道脇の人が、横断停止後、一旦横断後に再び横断停止しており（符号“ｔ（－２）”、“ｔ（－１）”、“ｔ（０）”参照）、かつ以前の自身の挙動において、前方の歩行者に対する呼びかけの挙動として予め定められている全挙動を実行していない場合、コントローラ１４は、未実行の呼びかけを挙動として決定する。
　コントローラ１４は、決定した自身の挙動を指示する情報の出力後に、新たに取得した撮像画像において、対象物の新たな状態に基づいて、テーブルを更新してよい。コントローラ１４は、対象物の新たな状態に対して自身が取るべき最適な挙動が、テーブルに記憶されている実行させる挙動と異なる場合に、実行させる挙動を当該最適な挙動に更新してよい。
　出力部１５は、コントローラ１４が決定した、自身の挙動を指示する情報を、移動体１に出力する。なお、当該情報は、移動体１の各挙動を実行する各制御系に取得され、当該情報が示す挙動が実行される。
　次に、本実施形態においてコントローラ１４が実行する、状態の履歴に基づく挙動決定処理について、図４のフローチャートを用いて説明する。挙動決定処理は、周期的に開始する。
　ステップＳ１００において、コントローラ１４は、撮像部１２から取得した最新の撮像画像の中に、現在の自身の状況に対して検出すべき対象物が存在するか否かを判別する。検出すべき対象物が存在しない場合、挙動決定処理は終了する。検出すべき対象物が存在する場合、プロセスはステップＳ１０１に進む。
　ステップＳ１０１では、コントローラ１４は、ステップＳ１００において存在すると判別された対象物の状態を検出する。状態を検出すると、プロセスはステップＳ１０２に進む。
　ステップＳ１０２では、コントローラ１４は、ステップＳ１０１において検出した状態を、記憶部１３に記憶させ、状態の履歴に蓄積させる。状態を蓄積すると、プロセスはステップＳ１０３に進む。
　ステップＳ１０３では、コントローラ１４は、記憶部１３から、状態の履歴、および挙動の履歴を読出す。履歴を読出すと、プロセスはステップＳ１０４に進む。
　ステップＳ１０４では、コントローラ１４は、ステップＳ１０３で読出した状態の履歴および挙動の履歴と、記憶部１３に記憶されたテーブルを比較する。テーブルの比較を開始すると、プロセスはステップＳ１０５に進む。
　ステップＳ１０５では、コントローラ１４は、ステップＳ１０３で読出した状態の履歴および挙動の履歴と同じ履歴が、テーブルに存在するか否かを判別する。テーブルに同一の履歴が無い場合、挙動決定処理は終了する。テーブルに同一の履歴がある場合、プロセスはステップＳ１０６に進む。
　ステップＳ１０６では、コントローラ１４は、ステップＳ１０５において判別した同一の履歴に対して対応づけられた挙動を、実行すべき挙動として決定する。また、コントローラ１４は、決定した挙動を出力部１５を介して、移動体１に出力させる。移動体１への出力後、プロセスはステップＳ１０７に進む。
　ステップＳ１０７では、コントローラ１４は、ステップＳ１０６で決定した挙動を、記憶部１３に記憶させ、挙動の履歴に蓄積させる。挙動を蓄積させると、挙動決定処理は終了する。
　次に、本実施形態においてコントローラ１４が実行する、挙動更新処理について、図５のフローチャートを用いて説明する。挙動更新処理は、挙動決定処理において挙動を決定した次の挙動決定処理の実行時に、当該挙動決定処理と並行するように、開始する。
　ステップＳ２００において、コントローラ１４は、撮像部１２から取得した最新の撮像画像において、最新の挙動決定処理のステップＳ１００において検出した対象物の状態を検出する。状態を検出すると、プロセスはステップＳ２０１に進む。
　ステップＳ２０１では、コントローラ１４は、最新の挙動決定処理のステップＳ１０６において挙動の決定に用いた履歴が次に起きると仮定した状態と、ステップＳ２００において検出した状態とを比較する。比較を開始すると、プロセスはステップＳ２０２に進む。
　ステップＳ２０２では、コントローラ１４は、ステップＳ２０１の比較において、仮定した状態と、新たに検出した状態が不一致であるか否かを判別する。不一致でない、すなわち一致する場合、挙動更新処理は終了する。不一致である場合、プロセスはステップＳ２０３に進む。
　ステップＳ２０３では、コントローラ１４は、テーブル内で履歴に対応づけられた実行させる挙動を、最新の挙動決定処理のステップＳ１０６において挙動の決定に用いた履歴が次に起きると仮定した状態に対して取るべき挙動に書換えさせることにより、挙動を更新する。挙動を更新すると、挙動更新処理は終了する。
　以上のような構成の本実施形態の画像処理装置１０では、移動体１の挙動の決定を、対象物の履歴に基づかせている。このような構成により、画像処理装置１０は、任意の一時点における対象物の状態では一意に特定できなかった対象物の未来の状態の推定精度を向上し得る。したがって、画像処理装置１０は、より適切な判断材料を用いて移動体１の挙動を決定するので、より適切に全自動運転を行わせしめ、交通の利便性を向上させる。
　また、本実施形態の画像処理装置１０は、一定時間毎に、新たに検出した対象物の状態を状態の履歴に含める。したがって、画像処理装置１０は、対象物の状態の記憶を、撮像した全撮像画像に行わないので、低容量の記憶部１３の適用を許容する。
　また、本実施形態の画像処理装置１０は、対象物の状態に変化があったときに、新たに検出した対象物の状態を状態の履歴に含める。したがって、画像処理装置１０は、対象物の状態の記憶を撮像した全撮像画像に行わず、かつ一定時間毎に必ずしも一定時間毎に記憶するわけでもないので、さらに低容量の記憶部１３の適用を許容する。
　また、本実施形態の画像処理装置１０は、移動体１の挙動の決定に、挙動の履歴にも基づかせている。このような構成により、画像処理装置１０は、対象物の未来の状態の推定精度をさらに向上し得る。したがって、画像処理装置１０は、いっそう適切な判断材料を用いて移動体１の挙動を決定するので、いっそう適切に全自動運転を行わせしめ、交通の利便性を向上させる。
　また、本実施形態の画像処理装置１０では、移動体１の挙動を指示する情報の出力後に、新たに検出した該対象物の状態に基づいて、前記テーブルを更新可能である。記憶部１３に記憶させているテーブルでは、状態の履歴に基づいて今後の対象物の状態を特定の状態であると仮定し、当該特定の状態に適した挙動が予め対応づけられている。しかし、今後の対象物の状態は、走行地域におけるローカルルールなどにより、仮定された状態とは異なることも生じ得る。このような事象に対して、上述の構成の画像処理装置１０は、テーブルを更新可能なので、履歴に対応づけるべき挙動の最適化を図り得る。
　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
　なお、ここでは、特定の機能を実行する種々のモジュール及び/またはユニットを有するものとしての装置を開示しており、これらのモジュール及びユニットは、その機能性を簡略に説明するために模式的に示されたものであって、必ずしも、特定のハードウェア及び/またはソフトウェアを示すものではないことに留意されたい。その意味において、これらのモジュール、ユニット、その他の構成要素は、ここで説明された特定の機能を実質的に実行するように実装されたハードウェア及び/またはソフトウェアであればよい。異なる構成要素の種々の機能は、ハードウェア及び/もしくはソフトウェアのいかなる組合せまたは分離したものであってもよく、それぞれ別々に、またはいずれかの組合せにより用いることができる。このように、本開示内容の種々の側面は、多くの異なる態様で実施することができ、それらの態様はすべて本開示内容の範囲に含まれる。
　１　移動体
　１０　画像処理装置
　１１　撮像装置
　１２　撮像部
　１３　記憶部
　１４　コントローラ
　１５　出力部

Claims (8)

  1. 　記憶部と、
    　移動体の周辺および内部の少なくとも一方を撮像した撮像画像から対象物の像を検出し、新たに検出した該対象物の状態を前記記憶部に記憶している該対象物の状態の履歴に含めるように記憶させ、前記記憶部に記憶されていた該状態の履歴に基づき前記移動体の挙動を決定するコントローラと、
    　決定した前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備える
    　画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記コントローラは、一定時間毎に、新たに検出した前記対象物の状態を、前記状態の履歴に含めるように前記記憶部に記憶させる
    　画像処理装置。
  3. 　請求項１または２に記載の画像処理装置において、
    　前記コントローラは、前記対象物の状態に変化があったときに、新たに検出した前記対象物の状態を、前記状態の履歴に含めるように前記記憶部に記憶させる
    　画像処理装置。
  4. 　請求項１から３のいずれか１項に記載の画像処理装置において、
    　前記コントローラは、前記状態の履歴に関連付けて前記移動体の挙動を前記記憶部に記憶している該移動体の挙動の履歴に含めるように記憶させ、前記記憶部に記憶されていた該挙動の履歴に基づき前記移動体の挙動を決定する
    　画像処理装置。
  5. 　請求項１から４のいずれか１項に記載の画像処理装置において、
    　前記コントローラは、予め想定した多様な前記対象物の状態の多様な履歴毎に予め定めた前記移動体の取るべき挙動の対応関係を示すテーブルと、前記記憶部に記憶されていた前記状態の履歴を比較することにより、前記移動体の挙動を決定する
    　画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記コントローラは、前記移動体の挙動を指示する情報の出力後に、新たに検出した該対象物の状態に基づいて、前記テーブルを更新可能である
    　画像処理装置。
  7. 　請求項１から６のいずれか１項に記載の画像処理装置を備える撮像装置。
  8. 　請求項７に記載の撮像装置を備える移動体。
    　
PCT/JP2019/003719 2018-03-28 2019-02-01 画像処理装置、撮像装置、および移動体 WO2019187626A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980020192.3A CN111886638B (zh) 2018-03-28 2019-02-01 图像处理装置、拍摄装置以及移动体
US17/041,648 US20210114532A1 (en) 2018-03-28 2019-02-01 Image processing apparatus, imaging apparatus, and moveable body
EP19774316.4A EP3779920A4 (en) 2018-03-28 2019-02-01 IMAGE PROCESSING DEVICE, IMAGE RECORDING DEVICE, AND MOBILE BODY
CN202211613485.2A CN115973188A (zh) 2018-03-28 2019-02-01 控制器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-062569 2018-03-28
JP2018062569A JP6971187B2 (ja) 2018-03-28 2018-03-28 画像処理装置、撮像装置、および移動体

Publications (1)

Publication Number Publication Date
WO2019187626A1 true WO2019187626A1 (ja) 2019-10-03

Family

ID=68061361

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003719 WO2019187626A1 (ja) 2018-03-28 2019-02-01 画像処理装置、撮像装置、および移動体

Country Status (5)

Country Link
US (1) US20210114532A1 (ja)
EP (1) EP3779920A4 (ja)
JP (1) JP6971187B2 (ja)
CN (2) CN111886638B (ja)
WO (1) WO2019187626A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112572326A (zh) * 2020-12-22 2021-03-30 清华大学 嵌入式自动驾驶车辆智慧顶盖***和具有其的车辆
JP2022181736A (ja) * 2021-05-27 2022-12-08 キヤノン株式会社 情報処理装置、移動装置及びコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188417A (ja) * 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP2010066810A (ja) 2008-09-08 2010-03-25 Mazda Motor Corp 車両用歩行者検出装置
JP2010072969A (ja) * 2008-09-18 2010-04-02 Fujitsu Ten Ltd 周辺車両監視装置及び周辺車両監視方法
JP2014006700A (ja) * 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
JP2016216028A (ja) * 2015-04-21 2016-12-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP2017173903A (ja) * 2016-03-18 2017-09-28 株式会社デンソー 車載装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001229260A (ja) * 2000-02-17 2001-08-24 Nippon Telegr & Teleph Corp <Ntt> サービス提供方法及びサービス提供プログラムを格納した記憶媒体
DE10254402B4 (de) * 2002-11-21 2011-02-17 Lucas Automotive Gmbh System zur Beeinflussung der Geschwindigkeit eines Kraftfahrzeuges
US20080065328A1 (en) * 2006-09-08 2008-03-13 Andreas Eidehall Method and system for collision avoidance
JP2008269588A (ja) * 2007-03-29 2008-11-06 Matsushita Electric Ind Co Ltd 認識装置、認識方法及び認識プログラム
JP4967015B2 (ja) * 2007-04-02 2012-07-04 パナソニック株式会社 安全運転支援装置
JP5433007B2 (ja) * 2008-09-30 2014-03-05 日産自動車株式会社 システム操作者支援のための支援制御装置を備えたシステム、制御操作支援装置、制御操作支援方法、運転操作支援装置、及び運転操作支援方法
CN102378703B (zh) * 2009-03-31 2014-04-16 爱考斯研究株式会社 车辆
JP4957747B2 (ja) * 2009-05-18 2012-06-20 トヨタ自動車株式会社 車両環境推定装置
CN102096803B (zh) * 2010-11-29 2013-11-13 吉林大学 基于机器视觉的行人安全状态识别***
US9581997B1 (en) * 2011-04-22 2017-02-28 Angel A. Penilla Method and system for cloud-based communication for automatic driverless movement
JP5646086B2 (ja) * 2011-11-29 2014-12-24 三菱電機株式会社 歩行者用通信装置およびこれを備えたナビゲーション装置、歩車間通信システム
JP2013196042A (ja) * 2012-03-15 2013-09-30 Nissan Motor Co Ltd 車両用運転状態監視装置及び車両用運転状態監視システム
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
JP5988171B2 (ja) * 2013-11-29 2016-09-07 アイシン精機株式会社 車両挙動制御装置および車両挙動制御システム
DE102014216662A1 (de) * 2014-08-21 2016-02-25 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Vorrichtung zum Regeln einer Kriechgeschwindigkeit
KR101637670B1 (ko) * 2014-08-25 2016-07-07 현대자동차주식회사 차량 탑승자 및 탑승 위치 인식 시스템
JP6191570B2 (ja) * 2014-09-25 2017-09-06 トヨタ自動車株式会社 車両の制御装置
CN104574980B (zh) * 2014-12-01 2017-11-17 山东易华录信息技术有限公司 记录路口转弯机动车不停车避让行人违法行为***和方法
CN107531244B (zh) * 2015-04-21 2020-04-21 松下知识产权经营株式会社 信息处理***、信息处理方法、以及记录介质
JP6791616B2 (ja) * 2015-04-27 2020-11-25 トヨタ自動車株式会社 自動運転車両システム
JP6430907B2 (ja) * 2015-07-17 2018-11-28 株式会社Ｓｏｋｅｎ 運転支援システム
CN105109483A (zh) * 2015-08-24 2015-12-02 奇瑞汽车股份有限公司 驾驶方法及***
US9983591B2 (en) * 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
CN105629785A (zh) * 2015-12-30 2016-06-01 小米科技有限责任公司 智能汽车行驶控制方法及装置
JP6477551B2 (ja) * 2016-03-11 2019-03-06 トヨタ自動車株式会社 情報提供装置及び情報提供プログラム
DE102016002946A1 (de) * 2016-03-11 2016-09-08 Daimler Ag Kraftfahrzeug mit einer Umgebungsüberwachung
CN109564723B (zh) * 2016-08-26 2022-11-08 索尼公司 移动体控制装置、移动体控制方法以及移动体
CN106428000B (zh) * 2016-09-07 2018-12-21 清华大学 一种车辆速度控制装置和方法
JP6431204B2 (ja) * 2016-09-13 2018-11-28 株式会社日立情報通信エンジニアリング 状態予測装置及び状態予測方法
DE102016217770A1 (de) * 2016-09-16 2018-03-22 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs
CN106874886A (zh) * 2017-03-10 2017-06-20 南京沃杨机械科技有限公司 用于农机无人驾驶的多传感器融合的农田环境感知方法
CN107248166B (zh) * 2017-06-29 2020-05-15 武汉工程大学 动态环境下的目标状态预估方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188417A (ja) * 2006-01-16 2007-07-26 Fujitsu Ten Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP2010066810A (ja) 2008-09-08 2010-03-25 Mazda Motor Corp 車両用歩行者検出装置
JP2010072969A (ja) * 2008-09-18 2010-04-02 Fujitsu Ten Ltd 周辺車両監視装置及び周辺車両監視方法
JP2014006700A (ja) * 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
JP2016216028A (ja) * 2015-04-21 2016-12-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP2017173903A (ja) * 2016-03-18 2017-09-28 株式会社デンソー 車載装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3779920A4

Also Published As

Publication number Publication date
EP3779920A4 (en) 2021-12-08
US20210114532A1 (en) 2021-04-22
EP3779920A1 (en) 2021-02-17
CN111886638A (zh) 2020-11-03
JP2019175127A (ja) 2019-10-10
JP6971187B2 (ja) 2021-11-24
CN111886638B (zh) 2023-01-03
CN115973188A (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US11180164B2 (en) Vehicle control apparatus, vehicle, and control method
JP7014822B2 (ja) 画像処理装置、撮像装置、移動体および画像処理方法
US11618482B2 (en) State determination device, driving support device, state determination method, and driving support method
JP7069539B2 (ja) 運転支援装置
WO2019187626A1 (ja) 画像処理装置、撮像装置、および移動体
JP2018081363A (ja) 運転支援装置
CN113165575B (zh) 图像处理装置、拍摄装置、移动体、以及图像处理方法
JP2017129973A (ja) 運転支援装置および運転支援方法
JP6774948B2 (ja) 判定装置、車両および判定方法
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP6860425B2 (ja) 処理装置、車両、処理方法およびプログラム
CN111417959A (zh) 信息处理装置、程序及信息处理方法
JP7326041B2 (ja) 画像処理装置、撮像装置、移動体、および画像処理方法
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
CN111661064A (zh) 车辆控制装置、车辆控制方法、车辆以及存储介质
JP2020009386A (ja) 周辺認識装置及び車載カメラシステム
JP7181956B2 (ja) 移動体の制御装置及び制御方法並びに車両
JP2024030951A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP2022075947A (ja) 運転支援装置
JP2022088962A (ja) 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法
JP2023084575A (ja) 点灯状態識別装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19774316

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019774316

Country of ref document: EP

Effective date: 20201028