WO2019106789A1 - 処理装置及び処理方法 - Google Patents

処理装置及び処理方法 Download PDF

Info

Publication number
WO2019106789A1
WO2019106789A1 PCT/JP2017/043052 JP2017043052W WO2019106789A1 WO 2019106789 A1 WO2019106789 A1 WO 2019106789A1 JP 2017043052 W JP2017043052 W JP 2017043052W WO 2019106789 A1 WO2019106789 A1 WO 2019106789A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
person
surrounding
surrounding vehicle
action
Prior art date
Application number
PCT/JP2017/043052
Other languages
English (en)
French (fr)
Inventor
利貞 毬山
貴之 井對
佳 太田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2017/043052 priority Critical patent/WO2019106789A1/ja
Priority to JP2018520211A priority patent/JPWO2019106789A1/ja
Publication of WO2019106789A1 publication Critical patent/WO2019106789A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a processing apparatus and processing method that contribute to automatic driving or automatic driving support.
  • the behavior of the own vehicle By combining the own vehicle model that predicts the behavior of the own vehicle according to the operation of the own vehicle, and the other vehicle model that predicts the behavior of the other vehicle according to the behavior of the vehicle satisfying the predetermined positional relationship, the behavior of the own vehicle
  • the present invention presents a series of recommended operations from the current time to the future time by predicting a plurality of future behaviors that occur in a vehicle group consisting of the own vehicle and surrounding other vehicles under the influence of.
  • Coexistence with people is a big issue in automatic travel of traveling vehicles.
  • a situation may be considered in which the result is different.
  • a turn signal is issued to change lanes while driving on a freeway
  • the behavior of a vehicle traveling behind the destination lane differs greatly depending on the individual differences of drivers.
  • the same phenomenon occurs in distribution centers where forklifts and AGVs are mixed.
  • a mechanism is required that foresees the actions of objects and people themselves operated by the people around them.
  • a time lag is present until it is determined that the prediction is different from the most probable prediction, and the probability different from the probable prediction is not small.
  • the present invention has been made to solve the above-mentioned problems, and aims to make more probable predictions.
  • a processing apparatus includes: a memory for storing a moving image of a camera for capturing a moving image around the vehicle; and a processing unit for performing processing for determining a route of the vehicle from the stored moving image.
  • the processing unit identifies the category of the surrounding vehicle and the person from the section before the temporary point in order to determine the action prediction using one time point of the moving image, and according to the identified surrounding vehicle and the category of the person The behavior prediction of the vehicle, the surrounding vehicles and the person is determined.
  • the behavior prediction of the own vehicle, the nearby vehicle and the person is determined according to the category of the identified nearby vehicle and person, thereby using the behavior rule according to the nearby vehicle and person categorized in advance. Since the behavior is predicted, more probable prediction can be made.
  • FIG. 2 is a hardware configuration diagram of a processing device in Embodiment 1; 6 is a flowchart of a processing unit of Embodiment 1; Supplementary explanation drawing of the flowchart of FIG. 7 shows an example of a template for detecting a white line in Embodiment 1.
  • 7 illustrates an example of an overhead view in Embodiment 1;
  • the simulation result in the first embodiment shows an example in which the lane change is not performed.
  • Embodiment 1 Coexistence with people is an important factor in controlling one's own vehicle (car, AGV, self-propelled forklift, etc.).
  • the affinity with a person is high and the efficiency is high in an environment where a traveling object (peripheral vehicle) operated by a person, such as a person, a car operated by a person, a forklift, a bicycle, etc.
  • the goal is to develop a good vehicle control.
  • we estimate the motion characteristics of the mobile including the people around us and simulate the interaction between the motion and the motion such as the direction indication display of the vehicle and the movement direction, and the future predicted
  • the most appropriate control method at each time is realized.
  • embodiments of the present invention will be described.
  • a sensor is used to recognize the surrounding environment with respect to the vehicle, which is a traveling vehicle that travels using power, such as an automobile, an AGV, and a self-propelled forklift, and a person coexists in the periphery
  • the vehicle which is a traveling vehicle that travels using power, such as an automobile, an AGV, and a self-propelled forklift, and a person coexists in the periphery
  • the operation category of each vehicle is estimated by observing the surrounding vehicles, and the optimal vehicle control of the own vehicle is realized based on the categories, and the traveling categories are divided for the surrounding vehicles, and Make predictions based on categories.
  • several types of control patterns of the vehicle are prepared, the prediction results are compared, and the control pattern that will be the best in the future will be selected.
  • An example of a car will be described as an example.
  • FIG. 1 is a hardware block diagram of a processing apparatus according to the first embodiment.
  • the configuration will be described.
  • the own vehicle has a camera 1.
  • the camera 1 is basically installed so as to be able to image the front, side, and rear. Therefore, by installing a plurality of cameras 1 in the vehicle, it may be possible to capture images in the front, sides, and the rear, or one camera has a function that enables imaging in the front, the sides, and the rear.
  • the distance sensor 2 has a device capable of measuring the distance between a nearby vehicle and the vehicle. That is, it has a function capable of measuring the distance between the vehicle and the surrounding vehicle in front, side, and rear.
  • a system a system using a laser, a millimeter wave or the like is generally used. It should be noted that in calculating the distance, even with a stereotype camera, if the distance between the peripheral moving object and the vehicle can be measured by installing a plurality of cameras 1, the distance as hardware can be obtained. The sensor 2 becomes unnecessary.
  • the vehicle speed sensor 3 is a sensor 3 that measures the vehicle speed of the vehicle. Generally, the vehicle speed is often measured from the rotation of an automobile engine, motor, or drive shaft, but depending on the function and installation method of the camera 1, the function of the vehicle speed sensor 3 can be provided. The vehicle speed sensor 3 as hardware becomes unnecessary.
  • the yaw rate sensor 4 is a sensor for detecting a rotational angular velocity (yaw rate) about the vertical axis of the vehicle of the own vehicle. Also in this case, the function of the yaw rate sensor 4 can be provided depending on the function of the camera 1 (moving image is taken and the difference of the motion vector for each frame is measured), and in this case, the yaw rate sensor 4 as hardware becomes unnecessary.
  • the steering angle sensor 5 is a sensor for measuring the rotation angle of the steering wheel of the own vehicle, and the rotational speed of the own vehicle can be calculated from the value of this sensor.
  • the accelerator / brake sensor 6 is for measuring information on the accelerator opening degree and the brake opening degree of the vehicle. When a person drives, the accelerator sensor and the brake sensor are often mounted separately. Here, it will be described from the viewpoint of measuring the acceleration and deceleration of the vehicle, assuming future automatic driving. In addition, when there is a brake opening, the tail lamp of the vehicle emits light.
  • the driver switch 7 corresponds to a switch of an apparatus (a direction indicator, a hazard lamp, a front light) for the own vehicle to give information to surrounding vehicles and people.
  • the input interface 11 of the processing device 10 receives the information of the camera 1, the sensors 2 to 6 and the driver switch 7 described above, and sends the information to the memory 12.
  • the processing unit 13 performs processing based on the information in the memory 12 and finally selects a base route along which the vehicle travels in the future and outputs the selected route via the output interface 14. Based on the output information, the vehicle controls the steering wheel, accelerator, brake, driver switch, etc. for automatic driving, or gives the driver its base route for semi-automatic driving etc. Presented via).
  • the processing circuit may be, for example, a single circuit, a complex circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof. Is the case.
  • this processing circuit is described for internal processing, all or part of the processing circuit is processed on the cloud side via the communication line, and the result is received via the communication line. May be
  • FIG. 2 is a flowchart of the processing unit of the first embodiment.
  • FIG. 3 is a supplementary explanatory view of the flowchart of FIG.
  • S201 a moving image having a predetermined frame rate around the vehicle is photographed for a predetermined time (for example, about several seconds to several tens of seconds) using the camera 1.
  • a predetermined time for example, about several seconds to several tens of seconds.
  • the vehicle control information Information that the driver controls or automatically controls the steering wheel, the accelerator, the brake, and the driver switch when the moving image of this step is captured (hereinafter referred to as the vehicle control information) After that, it is preferable to acquire data of the camera 1, distance sensor 2, vehicle speed sensor 3, yaw rate sensor 4, steering angle sensor 5, accelerator / brake sensor 6, and driver switch 7 for several seconds to several tens of seconds. The reason will be described later.
  • step S202 an obstacle, a lane, surrounding vehicles, and a person are identified.
  • the distance sensor 2 is used to detect an approaching obstacle.
  • it may be obtained by irradiating a plurality of laser beams in the direction of a part or the entire circumference of the vehicle, or can be detected from the transition information of vectors measurable from the image of the camera 1 or the like.
  • it can also be acquired and used as input signal processing information in step S201 from a map image or the like used in a navigation system or the like.
  • template matching may be performed on camera images for roadside steps, guard rails, signals, and the like.
  • the lane detection can be detected by detecting a white line from the image of the camera 1.
  • FIG. 4 shows an example of a template for detecting a white line in the first embodiment, and a row is obtained by matching a template with a camera image as shown in (a) to (e) of FIG. It will be.
  • the map image described above may be used.
  • the detection of a surrounding vehicle is mainly performed by the camera 1 and / or the distance sensor 2.
  • a camera after edge detection is performed, there is a method of detecting using optical flow (motion vector in units of frames for a part of the image) in the case of a relatively short distance.
  • optical flow motion vector in units of frames for a part of the image
  • DoG Difference of Gaussian
  • a method may be used in which an edge is extracted using the above, and template matching is performed only on an area on a road ahead 100 meters or more.
  • a method of specifying a person there is a method of performing template rate matching for an area that is recognized as, for example, a roadside step or a white line, an area recognized as an inside of a guardrail) from an image of the camera 1.
  • step S203 the attributes of the detected surrounding vehicle and person are specified. Identifying the attribute of a surrounding vehicle or person is to categorize the behavior of the surrounding vehicle or person. For example, in the case of the surrounding vehicle, category A: rough car, category B: general car, category C : A calm car etc. can be mentioned. These categories are just naming labels, and each category is associated with numerical parameters that can identify vehicle characteristics such as vehicle maximum speed, vehicle acceleration, inter-vehicle distance, and lane change frequency. In the case of a person, if it is estimated that the vehicle is running or if it is estimated that it is a child, the vehicle is classified into Category A as having a high possibility of jumping out on a road or ignoring a signal.
  • the attribute of the vehicle can also be specified from the image information of the vehicle, the feature amount, and the latest operation.
  • vehicle type can be mentioned as feature quantities to be input other than image information, there is no problem even if these are not used depending on the system configuration.
  • the latest behavior information (moving image) is used.
  • One method is generally a combination of CNN (Convolutional Neural Network) and RNN (Recurent Neural Network).
  • CNN is mainly suitable for image recognition such as template matching, and is first used to identify surrounding vehicles.
  • RNN is good at time series analysis dealing with time series data. Therefore, by combining the CNN and the RNN, by inputting the still image for each frame obtained by the moving image, the surrounding vehicle in S202 is first recognized, and the moving image (for example, 5 seconds) is observed, thereby more accurately.
  • the behavior of the surrounding vehicles can be categorized. For example, if the surrounding vehicles have a speed difference greater than their own vehicles, or if there are many lane changes, category A is likely to be categorized as a rough car, and vice versa category C: a gentle car.
  • motorcycles belonging to surrounding vehicles
  • bicycles belonging to surrounding vehicles
  • people etc. can also prepare their respective categories and categorize moving objects present in the periphery.
  • speed on the sidewalk and the magnitude of meandering can also be factors affecting the category.
  • FIG. 5 is an example of an overhead view in the first embodiment.
  • the overhead view is created based on the information processed in step S202 and step S203, and is deformed based on the camera image to fit the image viewed from the top based on the position of the camera 1.
  • a simulation is carried out based on the bird's-eye view created based on step S204, and a reward amount Q is calculated.
  • the simulation is based on the identified obstacle, lane, surrounding vehicle (position, vector, acceleration vector), person (position, vector, acceleration vector), control information of own vehicle, and obstacle based on model used for simulation, The future positions of the lane, surrounding vehicles (position, vector, acceleration vector) and person (position, vector, acceleration vector) are simulated.
  • a lane When simulating with a neural network, for example, an obstacle in a specific frame, a lane, a surrounding vehicle (position, vector, acceleration vector), a person (position, vector, acceleration vector) as an input layer, and an obstacle in the next frame,
  • the lane, surrounding vehicles (position, vector, acceleration vector), and person (position, vector, acceleration vector) are output layers.
  • the action rule when there is a case where only the own vehicle control information is changed, the action of the surrounding vehicle or the person changes (acceleration, deceleration, lane change for the surrounding vehicle, jumping out of the pedestrian crossing for the person, In the case of crossing on a rainy road, etc.), both cases are included.
  • FIG. 6 and FIG. FIG. 6 shows a simulation result in the first embodiment and an example in which the lane is changed
  • FIG. 7 shows an example in which the lane change is not performed in the simulation result in the first embodiment.
  • FIG. 6 shows (a) to (d) from the left, which shows the transition for each predetermined number of frames with reference to (a).
  • FIG. 7 shows (a) to (d) from the left, which shows the transition for each predetermined number of frames based on (a).
  • the behavior of peripheral vehicles and persons is categorized in advance in step S203. Therefore, it is also possible to narrow down the condition of the rule to the action rule along the categorization.
  • peripheral vehicles acceleration, deceleration, lane change
  • prediction can be made with a better action rule, and prediction accuracy can be improved.
  • the timing of the state St (obstacle, lane, surrounding vehicle, person, and own vehicle control information) of the frame that starts the simulation is also an important factor in reducing the action rule and performing action prediction described later. . That is, the most difficult to predict is that there was a change in the vehicle control information, such as turning on a blinker, stepping on a brake, stepping on an accelerator, or initiating a lane change (for surrounding vehicles and people. When sending information), there are many cases where the behavior of surrounding vehicles and people does not take plausible action. That is the point.
  • the surrounding vehicle acceleration, deceleration, lane change
  • the person jumping out of the pedestrian crossing
  • FIG. 8 is an example showing the state St of the host vehicle, the surrounding vehicle, and the person at the time of simulation using CNN as an image.
  • the surrounding vehicles are shown stopped with the hazard lights indicated by both left and right arrows.
  • the right front door is opened and closed, and a line from the right front to the rear right is drawn to indicate this.
  • a person indicated by a circle on the right side of the left upper peripheral vehicle is detected, and a circle 5 indicates that the vehicle is traveling at 5 kilometers per hour.
  • two arrows below the circle are attached to the rear of the vehicle.
  • the right side indicates the direction
  • the left side indicates the acceleration vector. That is, it is shown that the person detected as this circle is advancing while accelerating to the rear side of the vehicle at 5 km / h.
  • the own vehicle shown on the lower side similarly shows a direction indication shown by the right arrow, and while advancing in the right front direction at a speed of 20 km / h, an acceleration vector to the right rear is shown. That is, it is shown that the vehicle is decelerated from 20 km / h while turning the steering wheel on the right. Furthermore, a right arrow is attached on the left side of the vehicle, which indicates that a lane change is being made. It is shown that the vehicle on the upper right is accelerating at a speed of 40 km / h with the lower side as the traveling direction.
  • visualization of CNN processing drive support
  • FIG. 9 is an example of an output diagram where a simulation is performed using CNN in the first embodiment.
  • the contents shown in FIG. 9 are the same as those in FIG.
  • a blind spot formed on the opposite side of the oncoming vehicle or the wall viewed from the own vehicle is formed.
  • This can be formed as an output image by inputting blind spot image information to the CNN as a filter image for the input image, and a path (the distance is close in consideration of the blind spot image information when calculating a reward amount Q described later In the case where the speed is small, it is possible to give a high amount of reward, etc.
  • the blind spot image information fluctuates according to the position of the own vehicle, the surrounding vehicles, and the person.
  • FIG. 10 is an image after a predetermined frame from FIG. Therefore, blind spot image information corresponding to an image after a predetermined frame can be explicitly included.
  • the amount of reward Q for each rule is calculated for the simulation for each determined rule.
  • Various methods can be considered for calculating the evaluation value. For example, the idea of using the movement amount as the reward amount, the idea of using safety as the reward amount based on the distance between vehicles with other vehicles, or the total value of both may be considered. As described above, it is also conceivable to give a high amount of reward to a route in which the blind spot image information is considered (the velocity is small when the distance is short). It is also possible to evaluate the environment at the simulation completion time (for example, the vehicle surroundings after 5 seconds in this example) separately from the amount of remuneration, and regard the sum of the amount of remuneration up to that point and the environmental evaluation value as the evaluation index. it can.
  • a method of calculating the amount of remuneration on the premise that the operation log of a person is correct may be considered (reverse reinforcement learning).
  • any method may be used as long as the motion pattern can be evaluated.
  • step S206 of FIG. 2 an action prediction is determined from the amount of reward Q.
  • Behavior prediction which is a simulation result of the highest reward amount Q from each rule, is set as a provisional base route.
  • step S207 for the provisional base route, input information is directly added to another CNN information predictor, and a route for generating an action is also provided. That is, a moving image for a predetermined time (for example, several seconds to several tens of seconds) having a predetermined frame rate around the vehicle using the camera 1, the distance sensor 2, the vehicle speed sensor 3, the yaw rate sensor 4, the steering angle sensor 5, the accelerator
  • the data of the brake sensor 6 and the driver switch 7 are directly input to the input layer of the neural network including the CNN, and the route information including the vehicle control information is output to the output layer.
  • step S202 to step S206 Since the provisional base path output from step S202 to step S206 described so far has a model built in, it can be expected to operate accurately in the assumed environment, but it is very limited. In situations where the designer is not expecting, there is a possibility that the system is built in and therefore does not work. Under such circumstances, such pre-processing is not performed at all, but it is input in a data format that can be input to a neural network including CNN, and the route information including own vehicle control information as output is used as it is. It is possible to improve the safety for the control of driving. In each process of step S202 to step S206, when it is not possible to exceed an error or a minimum threshold value for determination, etc., the route information output using only step S207 is output as a base route Do. Also, if there is no error or the threshold value for the determination is not exceeded, the provisional base route output from step S202 to step S206 is determined as the base route.
  • a feature of the present embodiment is that the simulation is performed by categorizing surrounding vehicles and people using a moving image of a time before the time of simulation.
  • the base route can be selected more accurately by performing the simulation after looking at the behavior of the surrounding vehicle and the person one second after providing the operation information from the own vehicle.
  • the processing unit identifies the category of the surrounding vehicle and the person from the section before the temporary point in order to determine the action prediction using one time point of the moving image, and identifies the identified surrounding vehicle and the person
  • the information transmitted from the vehicle to the surrounding vehicle or person during the past section, and the own vehicle or the surrounding vehicle according to the category of the identified surrounding vehicle and person By determining the behavior prediction of a person, behavior prediction is performed using behavior rules according to the initial movement according to the surrounding vehicles and persons classified in advance and the information transmitted, and the more likely prediction. You can do
  • the behavior of the surrounding vehicles can be categorized more accurately by classifying the categories using image recognition and time series analysis.
  • CNN can be used for image recognition
  • RNN can be used for time series analysis.
  • the action rules for performing action prediction can also be limited to the action rules according to the surrounding vehicles and persons categorized in advance and the initial action according to the information transmitted from the own vehicle, and the action is predicted The processing time required to
  • the input layer is an image to which information on the state of the vehicle, surrounding vehicles, and the movement of a person is added, and the output vehicle is also predicted.
  • Visualization of processing or driving assistance can be achieved by setting an image to which information on the state of the movement of a surrounding vehicle or a person is added.
  • the action prediction with the highest evaluation value is selected by the above, when control is started based on the result, a situation may be considered in which the behavior of the surrounding vehicle becomes large.
  • the control shown in FIG. 6 it is predicted that the surrounding vehicles maintain the speed according to the prediction when the right blinker is issued, but after observing the initial movement, the right lane as shown in FIG.
  • your car started to accelerate Since such predictions and actual behaviors correspond to changes according to the behavior of the surrounding vehicles, it is necessary to turn steps S201 to S207 at a predetermined cycle, change the category of the surrounding vehicles, and perform behavior prediction matched to the categories. is there. Therefore, we put in place a mechanism to constantly check the predicted value and the actual behavior.
  • S202 if it has a function to recognize obstacles, lanes, surrounding vehicles, people, and own vehicle control information in real time, the specific change of the attributes of the surrounding vehicles and people from step S203 is also changed immediately. It is possible.
  • a feature of the present embodiment is that the simulation is performed by categorizing surrounding vehicles and people using a moving image of a time before the time of simulation.
  • the base route can be selected more accurately by performing simulation after looking at the behavior of the surrounding vehicle and the person after about one second, for example, after providing the operation information from the own vehicle, For example, it is assumed that, when the person jumps out, the appropriate control can not be made in time after waiting for about one second or more.
  • the route information for which the step S207 is directly output from the step S201 Is output as a base route.
  • a storage unit for storing a moving image of the camera 1 for capturing moving images around the vehicle, and a processing unit 13 for performing processing for determining the route of the vehicle from the stored moving image
  • the section has a section for identifying the category of a surrounding vehicle and a person from the section of the moving image, and is more than the process of determining the action prediction of the own vehicle, the surrounding vehicle and a person according to the category of the identified surrounding vehicle and the person.
  • Camera 2 Distance sensor 3: Vehicle speed sensor, 4: Yaw rate sensor, 5: steering angle sensor 6: accelerator / brake sensor 7: driver switch 10: processor 11: input interface 12: memory 13: processor 14: output interface 301: input / output interface

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

自車の周辺の動画像を撮像するカメラ１の動画像を記憶するメモリ１２と、記憶された動画像から自車の経路を決定するための処理を行う処理部１３とを備え、処理部は、動画像の一時点を用いて行動予測を決定するために一時点よりも過去の区間から周辺車両と人物のカテゴリを識別し、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定することで、事前にカテゴライズされた周辺車両、人物に応じた行動ルールを用いて行動予測されるため、より確からしい予測をおこなうことができる。

Description

処理装置及び処理方法
　この発明は自動運転または自動運転支援に資する処理装置及び処理方法に関するものである。
　自車両の操作に応じて自車両の挙動を予測する自車モデル、所定の位置関係を満たす車両の挙動に応じて他車両の挙動を予測する他車モデル、を組み合わせることで、自車両の行動の影響を受けて自車両および周囲の他車両からなる車群に生じる未来の挙動を複数予測することによって、現在時刻から未来時刻までの一連の推奨操作を提示している。（特許文献１参照）
　走行車の自動走行化では人との共存が大きな課題である。例えば自動車の自動運転の場合には、周辺ドライバーの特性によって同じ運動制御を行った場合でも、結果が異なる状況が考えられる。一例をあげると、高速道路の走行中に車線変更のため方向指示ウィンカーを出した場合、変更先の車線の後方を走行する自動車の挙動はドライバーの個体差によって大きく異なる。フォークリフトとAGVが混在するような配送センターにおいても、同様の現象は発生する。このような人と自動台車が混在する環境下において、最適な自動運転を実現するためには、周辺の人が操作する物体・人自体の行動を予見するような機構が必要になる。先行文献１においては、ある時点からの複数の予測をおこなうものの、もっとも確からしい予測と異なると判別するまでにはタイムラグが存在することとなり、また、確からしい予測と異なる確率は小さくない。
特開２００３－２２８８００号公報
　本発明は上記の課題を解決するためになされたものであって、より確からしい予測をおこなうことを目的とする。
　この発明に係る処理装置は、自車の周辺の動画像を撮像するカメラの動画像を記憶するメモリと、記憶された動画像から自車の経路を決定するための処理を行う処理部とを備え、処理部は、動画像の一時点を用いて行動予測を決定するために一時点よりも過去の区間から周辺車両と人物のカテゴリを識別し、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定する。
　この発明によれば、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定することで、事前にカテゴライズされた周辺車両、人物に応じた行動ルールを用いて行動予測されるため、より確からしい予測をおこなうことができる。
実施の形態１における処理装置のハードウエア構成図。 実施の形態１の処理部のフローチャート。 図２のフローチャートの補足説明図。 実施の形態１における白線検知のためのテンプレートの一例。 実施の形態１における俯瞰図の一例。 実施の形態１におけるシミュレーション結果、車線変更を行った例。 実施の形態１におけるシミュレーション結果、車線変更を行わなかった例。 ＣＮＮを用いてシミュレーションを行う際の自車、周辺車両、人物の状態Stを画像で示す例。 実施の形態１におけるＣＮＮを用いてシミュレーションを行った出力図の例。 図９から所定のフレーム後の画像。
実施の形態１．
　自車（自動車、AGV、自走フォークリフト等）を制御する上で、人との共存は重要な要素である。本発明では、人、人の操作する自動車やフォークリフト、自転車などの人が操作する走行物体（周辺車両）と、制御対象である自車が共存する環境下において、人との親和性が高く効率のよい自車の制御を開発すること目標としている。その実現のため、周辺の人も含む移動体の動作特性を推定し、その動作特性と自車の方向指示表示や移動方向などの動作との相互作用をシミュレーションし、その結果予測される将来の状況を検討することにより、各時刻における最も適切な制御方法を実現する。
 以下、この発明の実施の形態について説明する。
　実施の形態１においては、自動車、AGV、自走フォークリフトのように動力を用いて自走する走行台車である自車に対して、センサを用いて周辺環境を認識し、周辺に共存する人が操作する走行台車である周辺車両(自動二輪、自転車も含)の操作、と人の動きの相互作用を考慮しながら、自車あるいはシステム全体の効率をあげるための自車の制御を実現することを目的とし、周辺車両を観測することで、各車両の動作カテゴリを推定し、そのカテゴリに基づいて最適な自車の車両制御を実現し、周辺車両に対して、走行カテゴリ分けを行い、そのカテゴリに基づいて予測を行う。その際に、自車の制御パターンを数種類用意し、それぞれの予測結果を比較し、将来にもっともよい状況になる制御パターンを選択することについて説明する。一例として自動車の例で説明する。
　図１は、実施の形態１における処理装置のハードウエア構成図である。
　構成を説明する。自車にはカメラ１を有している。カメラ１は、基本的には前方、側方、後方が撮像可能なように設置されている。そのため、カメラ１は自車に複数台設置されることで前方、側方、後方が撮像可能となるようにしてもよいし、一台で前方、側方、後方が撮像可能となる機能を有してもよい。
　距離センサ２は、周辺車両と自車との距離を計測できる装置を持つ。すなわち、前方、側方、後方について周辺車両と自車との距離を計測できる機能を有する。方式としては、レーザやミリ波等を用いたものが一般的である。尚、距離を算出する上では、ステレオタイプのカメラでも機能上は賄えるため、カメラ１の複数台の設置によって周辺移動体と自車との距離を計測が可能となれば、ハードウエアとしての距離センサ２は不要となる。
　車速センサ３は自車の車速を計測するセンサ３である。一般的には、自動車のエンジンやモータ、駆動軸の回転などから車速を計測する場合が多いが、これもカメラ１の機能及び設置方法によっては車速センサ３の機能を賄えるため、その場合は、ハードウエアとしての車速センサ３は不要となる。
　ヨーレートセンサ４は、自車の車両の鉛直軸回りの回転角速度(ヨーレート)、を検出するためのセンサである。これもカメラ１の機能（動画が撮影されフレームごとの動きベクトルの差分を計測すること）によってはヨーレートセンサ４の機能を賄えるため、その場合は、ハードウエアとしてのヨーレートセンサ４は不要となる。
　舵角センサ５は、自車のハンドルの回転角度を計測するためのセンサで、このセンサの値によって、自車の回転速度を算出することができる。
　アクセル／ブレーキセンサ６は、自車のアクセル開度及びブレーキ開度の情報を計測するためのものである。人が運転する場合はアクセルセンサとブレーキセンサが別々に搭載される場合が多い。ここでは将来的な自動運転を想定し、自動車の加速度、減速度を計測するという観点から説明する。また、ブレーキ開度がある場合は、自車のテールランプが発光する。
　ドライバスイッチ７は、自車が周辺車両や人に対して情報を与えるための機器（方向指示器、ハザードランプ、前方ライト）のスイッチに該当する。
　上記で説明したカメラ１、センサ２～６及びドライバスイッチ７の情報を処理装置１０の入力インターフェース１１がまずその情報を受信するとともに、メモリ１２に送出する。処理部１３は、メモリ１２の情報をもとに処理を行い、最終的には自車が今後走行するベース経路を選定し、出力インターフェース１４を経由して出力される。出力された情報に基づいて、自車は、自動運転のためにハンドル、アクセル、ブレーキ、ドライバスイッチ類を制御する、もしくは半自動運転等のためにドライバにそのベース経路を画像表示装置等(図示しない)を経由して提示する。
　尚、処理回路は、処理回路がハードウエアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。
　さらに、この処理回路は内部で処理することを目的に記載しているが、全てまたは一部を通信回線を経由したクラウド側で処理し、結果を通信回線を経由して受信するように構成してもよい。
　次に図１の処理部１３が行う処理について説明する。
　図２は実施の形態１の処理部のフローチャートである。図３は図２のフローチャートの補足説明図である。
　Ｓ２０１において、カメラ１を用いて自車周辺の所定のフレームレートをもつ動画を所定の時間（例えば数秒～数十秒程度）撮影する。その際にカメラ１以外の距離センサ２、車速センサ３、ヨーレートセンサ４、舵角センサ５、アクセル／ブレーキセンサ６、ドライバスイッチ７のデータを取得してもよい。このステップの動画の撮影の際に自車が何かしらのアクション、すなわち、ハンドル、アクセル、ブレーキ、ドライバスイッチ類をドライバが制御、または自動で制御した情報（以下、自車制御情報とする）と、その後数秒～数十秒程度のカメラ１、距離センサ２、車速センサ３、ヨーレートセンサ４、舵角センサ５、アクセル／ブレーキセンサ６、ドライバスイッチ７のデータを取得しておくとよい。理由は後述する。
　ステップＳ２０２において、障害物、車線、周辺車両、人物の特定を行う。
　障害物の検出は、例えば距離センサ２を用いて近接する障害物を検出する。例えば複数のレーザ光を自車の一部の方向または全周囲方向に照射することで得てもよいし、カメラ１の画像から計測できるベクトルの推移情報などから検出することができる。または、図示していないが、ナビゲーションシステム等に用いられているマップ画像などからもステップＳ２０１の入力信号処理情報として取得し用いることができる。また、道路脇の段差、ガードレールや信号等についてはカメラ画像に対するテンプレートマッチングを行うことでもよい。
　車線の検出は、カメラ１の画像から白線を検知することで検知できる。また、例えば、図４は実施の形態１における白線検知のためのテンプレートの一例を示しており、図３の（ａ）から（ｅ）に示すようなテンプレートとカメラ画像のマッチングを行うことで行われる。マッチングに際しては、カメラ画像をカメラ１の位置に基づいて上から見たテンプレートに合うよう変形してからマッチングするか、テンプレートをカメラ画像に合うよう変形しておこなうか、いずれかの処理を行う必要がある。テンプレートの代わりに上記で説明したマップ画像等をもちいてもよい。
　周辺車両の検出は、主にカメラ１または距離センサ２、またはその両方にて行われる。
　カメラの場合は、エッジ検出を行った後、比較的近距離の場合はオプティカルフロー（画像の一部についてのフレーム単位の動きベクトル）を用いて検出する方法などがある。　しかし、１００メートル以上前方の場合はオプティカルフローが有効ではない場合もあり、カメラがとらえる１００メートル以上先の道路上の領域は小さいため、画素の変化を抽出しやすいＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）フィルタ等をもちいてエッジを抽出し、１００メートル以上先の道路上の領域のみテンプレートマッチングを行うことで検出する方法を用いてもよい。上記は１００メートル以上と記載したが、オプティカルフローでとらえられる周辺車両の先方側の限界と連動してもよい。
　人物の特定については、カメラ１の画像から例えば道路上（道路脇の段差または白線、ガードレールの内側と認識されるエリア）と認識されるエリアについてテンプレートレートマッチングを行う手法等がある。
　次にステップＳ２０３において、検出された周辺車両、人物の属性の特定を行う。
周辺車両、人物の属性の特定とは、その周辺車両、人物の振る舞いをカテゴライズするもので、例えば、周辺車両の場合だと、カテゴリA：乱暴な車、カテゴリB：一般的な車、カテゴリC：穏やかな車などがあげられる。これらのカテゴリはあくまで命名ラベルであり、それぞれのカテゴリに対して、車両最高速度、車両の加速度、車間距離、車線変更頻度などの車の特性を特定できる数値パラメータが紐ついている。人物の場合、走っていると推定される速度の場合もしくは子供と推定される場合は道路への飛び出しや信号無視可能性が高いとしてカテゴリＡにカテゴライズされる。他の場合は道路への飛び出しや信号無視可能性が小さいとしてカテゴリＢにカテゴライズされる。
　さらに、周辺車両の検出後、俯瞰画像へ投影する前に、車両の画像情報、特徴量、及び直近の動作からも、車両の属性の特定することができる。画像情報以外に入力する特徴量として「車種」、「車体色」、「ナンバープレート」などがあげられるが、システムの構成によってはこれらを使用しなくても問題ない。
　この周辺車両の振る舞いをカテゴライズするために、直近の挙動情報（動画）を使用する。一つの求め方として、ＣＮＮ(Convolutional Neural Network)とＲＮＮ(Recurent Neural Network)を組合わせた手法が一般的にあげられる。ＣＮＮは主に、テンプレートマッチングなどの画像認識に向いており、まず周辺車両への特定に用いられる。次にＲＮＮは時系列データの扱う時系列分析を得意としている。したがって、ＣＮＮとＲＮＮを組み合わせることで、動画によって得られた各フレームごとの静止画を入力することでまずＳ２０２の周辺車両を認識し、動画（例えば5秒）を観測することで、より精度よく周辺車両の振る舞いをカテゴライズすることができる。例えば、周辺車両が自車よりも速度差が大きくまたは車線変更が多い場合はカテゴリA：乱暴な車にカテゴライズされやすくその逆はカテゴリC：穏やかな車とされる、などがある。
　上記と同様の方法で二輪車（周辺車両に属する）、自転車（周辺車両に属する）、人などもそれぞれのカテゴリを用意し、周辺に存在する移動体についてカテゴリ化することができる。これらでは、例えば、歩道での速度や蛇行の大小もカテゴリを左右する要素となりえる。
　次にＳ２０４において俯瞰図を生成する。
　図５は実施の形態１における俯瞰図の一例である。二車線の両側には壁があり、左後方に自車がある。自車からみて右側方及び前方に周辺車両があり、共に前方（図の上側方向）に向いて走行している。
　俯瞰図は、ステップＳ２０２及びステップＳ２０３で処理された情報に基づいて、カメラ画像をベースにカメラ１の位置に基づいて上から見た画像に合うよう変形することで作成されている。
　次にＳ２０５においてステップＳ２０４に基づいて作成された俯瞰図に基づいてシミュレーションを実施し、報酬量Ｑを算出する。
　シミュレーションは、特定された障害物、車線、周辺車両(位置、ベクトル、加速度ベクトル)、人物(位置、ベクトル、加速度ベクトル)と、自車の制御情報と、シミュレーションに用いるモデルに基づいて障害物、車線、周辺車両(位置、ベクトル、加速度ベクトル)、人物(位置、ベクトル、加速度ベクトル)の将来の位置がシミュレーションされる。ニューラルネットワークでシミュレーションする場合は、例えば、特定のフレームの障害物、車線、周辺車両(位置、ベクトル、加速度ベクトル)、人物(位置、ベクトル、加速度ベクトル)を入力層とし、次フレームの障害物、車線、周辺車両(位置、ベクトル、加速度ベクトル)、人物(位置、ベクトル、加速度ベクトル)が出力層となる。
　図３に示されるように、シミュレーションを開始するフレームの状態St（障害物、車線、周辺車両、人物、自車制御情報）に対し行動a（周辺車両、人物、自車制御情報）を与えることで次フレーム(所定のフレーム後のフレームも含)の俯瞰図を生成し、次フレームの状態St+1（障害物、車線、周辺車両、人物と、自車制御情報）とする。これを数秒から数十秒繰り返す。さらにこの繰り返しを行動ルールの数だけ行う。行動ルールには、自車制御情報のみ変化をあたえる場合もあれば、周辺車両や人物の行動が変化する（周辺車両であれば、加速、減速、車線変更、人物であれば横断歩道の飛び出し、すいている道路での横断等）場合、その両方の場合も含む。
　例えばシミュレーションされた二例について図６、図７に示す。図６は実施の形態１におけるシミュレーション結果、車線変更を行った例を示し、図７は実施の形態１におけるシミュレーション結果、車線変更を行わなかった例を示している。
　図６は、左から（ａ）～（ｄ）までしめされており、これは（ａ）を基準とした所定のフレーム数ごとの推移を示している。
　図７は、左から（ａ）～（ｄ）までしめされており、これは（ａ）を基準とした所定のフレーム数ごとの推移を示している。
　シミュレーションの行動ルールは可能な限り多く行う必要があるが、動画ベースで撮影された情報に基づく、すなわち自車に対する相対速度をもった状態Ｓｔであるため自車、周辺車両、人物の動きに制約が生まれ、行動ルールの数を少なくすることができる。
　また、状態Stのうち、周辺車両、人物については、その振る舞いをステップＳ２０３において事前にカテゴライズしている。したがって、ルールの条件についてはそのカテゴライズに沿った行動ルールに絞ることも可能である。あらかじめ、周辺車両（加速、減速、車線変更）がカテゴライズされることでよりよい行動ルールで予測することでき、予測精度を向上させることができる。
　さらに、シミュレーションを開始するフレームの状態St（障害物、車線、周辺車両、人物と、自車制御情報）のタイミングも、行動ルールを少なくし、後述する行動予測をするうえで重要な要素である。すなわち、もっとも予測が難しいのは、自車制御情報に変化があった、例えばウィンカーをだしたり、ブレーキを踏んだり、アクセルを踏んだり、車線変更を開始したりした（周辺車両や人に対して情報を発信した）際に、周辺車両、人物の行動がもっともらしい行動をとらないケースが少なくない。という点である。
　さらに、自車制御情報に変化があってから少なくとも１秒程度経過した時点をシミュレーションを開始するフレームの状態Stとすることで、周辺車両（加速、減速、車線変更）、人物（横断歩道の飛び出し、すいている道路での横断等）の初動を観測でき、その初動にそってカテゴライズされた行動ルールに絞る、といったことも可能である。
　また、上記のシミュレーションを行う上で、自車、周辺車両、人物の制御方法を決定する必要がある。この手法として、事前に用意したルールを用いる場合以外にも、ＣＮＮなどを用いて制御を決定することも考えられる。その実現方法として、例えば、すべての画像をＣＮＮの入力として与え、自車制御情報を出力とするやり方が考えられる。
　また、上記に記載したようにルールの決定の際だけではなく、上記のシミュレーション自体をＣＮＮを用いて行ってもよい。ＣＮＮの第一層目の入力チャネルとして、事前処理として図８に示すように明示的に画像を抽出し入力する手法も考えらえる。図８はＣＮＮを用いてシミュレーションを行う際の自車、周辺車両、人物の状態Stを画像で示す例である。
　左上側に、左矢印と右矢印の両方によって示されるハザードランプをつけて止まった周辺車両が示されている。周辺車両は、右側前方ドアが開閉しており、そのことを示す右側前方からの右斜め後方への線が描かれている。左上側周辺車両の右側に丸側で示された人物が検出されており、丸のなかの５は時速５キロで進んでいることを示している。また丸の下側に２本、車両後方への矢印がしめされており、例えば右側は方向、左側は加速度ベクトルを示している。すなわち、この丸と検出される人物は、時速５キロで車両後方側に加速しながら進んでいることを示している。
　また、下側に示される自車は同様に右矢印によって示される方向指示が示されるとともに、時速２０キロで右前方方向に進むともに、右後方への加速度ベクトルが示されている。すなわち、自車は右側にハンドルを切りつつ時速２０キロからさらに減速されることが示されている。さらに自車の左側に右矢印がついており、これが、レーンチェンジしていることを示している。
　右上側の周辺車両は、時速４０キロで下側を進行方向としてさらに進行方向側へ加速していることが示されている。
　このような入力処理を行うことにより、ＣＮＮの処理の見える化（運転支援化）が期待できる。計算コストとの兼ね合いを見ながら、二つの手法の組合せあるいは、片方の選択を行うことが可能である。
　ＣＮＮの入力層に入力された画像の出力層もまた入力層と同様の画像として出力することができる。図９は実施の形態１におけるＣＮＮを用いてシミュレーションを行った出力図の例である。図９に示している内容は図８のものと同じである。
　図９には、自車から見た対向車や壁の反対側に形成された死角が形成されている。明示的に入力することも可能である。これは、ＣＮＮへ入力画像に対するフィルタ画像として死角画像情報を入力することで出力画像として形成させることができ、後述する報酬量Ｑを計算する際に、死角画像情報を考慮した経路（距離が近い場合は速度が小さい）に対して高い報酬量を与える等を行うことができる。
　死角画像情報は自車、周辺車両、人物の位置に応じて変動する。図１０は、図９から所定のフレーム後の画像である。したがって、所定のフレーム後の画像に対応した死角画像情報を明示的に入れることもできる。
　決定された各ルールに対するシミュレーションについて各ルールごとの報酬量Ｑを算出する。
　この評価値の算出方法には様々な手法が考えられる。例えば、移動量を報酬量とする考え方や、他車との車間距離を基に安全性を報酬量とする考え方、またはその両方の合計値などが考えられる。上述したように死角画像情報を考慮した経路（距離が近い場合は速度が小さい）に対して高い報酬量を与えることも考えられる。また報酬量とは別に、シミュレーション完了時刻（今回の例では例えば5秒後の自車周辺状況）環境を評価し、それまでの報酬量と環境評価値との合計値を評価指数と考えることもできる。また、別の実現手法として、人の操作ログが正解であることを前提として報酬量を計算する手法なども考えられる（逆強化学習）。上記の手法のうち、動作パターンを評価できるのであれば、どのような方法を用いても構わない。
　 図２のステップＳ２０６において報酬量Ｑから行動予測を決定する。
　各ルールから最も高い報酬量Ｑとなるシミュレーション結果である行動予測を暫定的なベース経路として設定する。
　ステップＳ２０７において、暫定的なベース経路に対し、入力情報からダイレクトに別のCNN情報予測器に入れ、行動を生成する経路も持たせる。すなわち、カメラ１を用いて自車周辺の所定のフレームレートをもつ所定の時間（例えば数秒～数十秒程度）の動画、距離センサ２、車速センサ３、ヨーレートセンサ４、舵角センサ５、アクセル／ブレーキセンサ６、ドライバスイッチ７のデータを直接ＣＮＮを含むニューラルネットの入力層に入力し、出力層に自車制御情報を含んだ経路情報を出力する。
　今まで説明したステップＳ２０２～ステップＳ２０６から出力された暫定的なベース経路は、モデルを作り込んでいるため、想定されている環境ではか精度よく動作することが期待できるが、ごく限られた、設計者が想定していない状況では、システムを作り込んだがゆえに動作しない可能性もある。そこで、そのような状況では、これらの事前処理を一切行わず、ＣＮＮを含むニューラルネットに入力できるデータ形式で入力し、出力である自車制御情報を含んだ経路情報をそのまま用いることで、自動運転の制御に対する安全性の向上を図ることができる。ステップＳ２０２～ステップＳ２０６の各処理において、何らかのエラー、もしくは判定のための最低限度の閾値等をこえることが出来なかった場合には、ステップＳ２０７のみを用いて出力された経路情報をベース経路として出力する。また、何らかのエラー、もしくは判定のための最低限度の閾値等をこえることがなければ、ステップＳ２０２～ステップＳ２０６から出力された暫定的なベース経路をベース経路として決定する。
　本実施の形態の特徴は、シミュレーションする時点より前の時間の動画を用いて周辺車両、人物のカテゴライズを実施しシミュレーションを行うことである。特に自車から操作情報を提供した一秒後に周辺車両、人物の挙動を見てからシミュレーションを行うことで、より精度よくベース経路を選定できる。
　したがって、実施の形態１において、自車の周辺の動画像を撮像するカメラ１の動画像を記憶するメモリ１２と、記憶された動画像から自車の経路を決定するための処理を行う処理部１３とを備え、処理部は、動画像の一時点を用いて行動予測を決定するために一時点よりも過去の区間から周辺車両と人物のカテゴリを識別し、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定することで、事前にカテゴライズされた周辺車両、人物に応じた行動ルールを用いて行動予測されるため、より確からしい予測をおこなうことができる。
　さらに過去の区間終了より所定時間後に、前記過去の区間中に自車から周辺車両や人物に対して発信された情報と、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定することで、事前にカテゴライズされた周辺車両、人物と、その発信された情報に応じた初動と初動に応じた行動ルールを用いて行動予測されるため、より確からしい予測をおこなうことができる。
　また、動画像の区間から周辺車両と人物のカテゴリを分類する際に画像認識と時系列分析を用いてカテゴリを分類することで、より精度よく周辺車両の振る舞いをカテゴライズすることができる。さらに画像認識にはＣＮＮを、時系列分析にはＲＮＮを用いることができる。
　また、行動予測を行うための行動ルールについても事前にカテゴライズされた周辺車両、人物と、自車から発信された情報に応じた初動とに応じた行動ルールに限定することができ、行動予測されるまでの処理時間を短くすることができる。
　また、行動ルールごとの行動予測についてニューラルネットを用いて予測するために、入力層を自車、周辺車両、人物の動きについて状態の情報を付加した画像とし、出力層も予測された自車、周辺車両、人物の動きについて状態の情報を付加した画像とすることで、処理の見える化または運転支援化を図ることができる。
　また、行動ルールごとの行動予測についてニューラルネットを用いて入力層を自車、周辺車両、人物の動きについて状態の情報を付加した画像に自車からの死角情報を付加することで、より精度よく行動予測をすることができる。
　上記によって最も評価値の高い行動予測が選択されるが、その結果に基づいて制御を開始した際に、周辺車両の挙動が大きくことなる状況が考えられる。例えば、図６の制御を選択した場合、右ウィンカーを出した時点で、予測では周辺車両は速度を維持する状況であったが、実際には初動を観測した後に、図７のように右車線の車が加速をしはじめたとする。このような、予測と実際の挙動が周辺車両の挙動によって変化に対応するため、所定周期でステップＳ２０１～Ｓ２０７までを回し、周辺車両のカテゴリを変更させ、カテゴリに合わせた行動予測を行う必要がある。そのため、予測値と実際の挙動とを常にチェックするような機構を入れる。そして、特にＳ２０２においてリアルタイムに障害物、車線、周辺車両、人物、自車制御情報を認識する機能を有しておけば、ステップＳ２０３からの周辺車両、人物の属性の特定の変更も即時に変更することが可能である。
　何らかのエラー、もしくは判定のための最低限度の閾値等をこえることが出来なかった場合で、これらの事前処理を一切行わず、ＣＮＮを含むニューラルネットに入力できるデータ形式で入力し、出力である自車制御情報を含んだ経路情報をそのまま用いるケースというのは、以下のようなことが考えられる。本実施の形態の特徴は、シミュレーションする時点より前の時間の動画を用いて周辺車両、人物のカテゴライズを実施しシミュレーションを行うことである。特に自車から操作情報を提供した例えば約一秒後以降に周辺車両、人物の挙動を見てからシミュレーションを行うことで、より精度よくベース経路を選定できるというメリットがある一方で、周辺車両や人物の飛び出しでは例えば約一秒以上待っていては適切な制御が間に合わないというデメリットも想定される。したがって自車の前方に認識される障害物、周辺車両または人のいずれかであって、自車との速度差が大きいと認識される場合は、ステップＳ２０１から直接ステップＳ２０７を出力された経路情報をベース経路として出力する。
　したがって、自車の周辺の動画像を撮像するカメラ１の動画像を記憶する記憶部と、記憶された動画像から自車の経路を決定するための処理を行う処理部１３とを備え、処理部は、動画像の区間から周辺車両と人物のカテゴリを識別する区間を有し、識別された周辺車両と人物のカテゴリに応じて自車、周辺車両と人物の行動予測を決定するプロセスよりも早く行動予測を決定できるプロセスを持つことで、周辺車両や人物の飛び出しなどにも適切に行動予測を出力することができる。
　　１：カメラ
　　２：距離センサ
　　３：車速センサ、
　　４：ヨーレートセンサ、
　　５：舵角センサ
　　６：アクセル／ブレーキセンサ
　　７：ドライバスイッチ
　１０：処理装置
　１１：入力インターフェース
　１２：メモリ
　１３：処理部
　１４：出力インターフェース
３０１：入出力インターフェース

Claims (8)

  1. 　自車の周辺の動画像を撮像するカメラの動画像を記憶するメモリと、記憶された前記動画像から自車の経路を決定するための処理を行う処理部とを備え、処理部は、前記動画像の一時点を用いて行動予測を決定するために前記一時点よりも過去の区間から周辺車両と人物のカテゴリを識別し、識別された前記周辺車両と前記人物のカテゴリに応じて自車、前記周辺車両と前記人物の行動予測を決定する、処理装置。
  2. 　前記処理部は前記過去の区間の終了より所定時間後に、前記過去の区間中に前記自車から前記周辺車両や前記人物に対して発信された情報と、識別された前記周辺車両と前記人物のカテゴリに応じて前記自車、前記周辺車両と前記人物の行動予測を決定する、請求項１に記載の処理装置。
  3. 　前記処理部は、前記動画像の区間から前記周辺車両と前記人物のカテゴリを分類する際に画像認識と時系列分析を用いてカテゴリを分類する、請求項１または２に記載の処理装置。
  4. 　前記処理部は、行動予測を行うための行動ルールについても事前にカテゴライズされた前記周辺車両、前記人物と、前記自車から発信された情報に応じた初動と、に応じた行動ルールに限定する、請求項１乃至３のいずれかに記載の処理装置。
  5. 　前記処理部は、前記行動ルールごとの行動予測についてニューラルネットを用いて予測するために、入力層を前記自車、前記周辺車両、前記人物の動きについて状態の情報を付加した画像とし、出力層も予測された前記自車、前記周辺車両、前記人物の動きについて状態の情報を付加した画像とする、請求項４に記載の処理装置。
  6. 　前記処理部は、前記行動ルールごとの前記行動予測についてニューラルネットを用いて入力層を自車、周辺車両、人物の動きについて状態の情報を付加した画像に前記自車からの死角情報を付加する、請求項５に記載の処理装置。
  7. 　請求項１に記載の行動予測を決定するプロセスよりも早く行動予測を決定できるプロセスを持つ、請求項１乃至６のいずれかに記載の処理装置。
  8. 　自車の周辺の動画像を撮像するカメラの動画像を記憶し、
    　記憶された前記動画像から自車の経路を決定するための処理を行う処理方法であって、　前記動画像の一時点を用いて行動予測を決定するために前記一時点よりも過去の区間から周辺車両と人物のカテゴリを識別し、識別された前記周辺車両と前記人物のカテゴリに応じて自車、前記周辺車両と前記人物の行動予測を決定する、前記処理方法。
PCT/JP2017/043052 2017-11-30 2017-11-30 処理装置及び処理方法 WO2019106789A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/043052 WO2019106789A1 (ja) 2017-11-30 2017-11-30 処理装置及び処理方法
JP2018520211A JPWO2019106789A1 (ja) 2017-11-30 2017-11-30 処理装置及び処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/043052 WO2019106789A1 (ja) 2017-11-30 2017-11-30 処理装置及び処理方法

Publications (1)

Publication Number Publication Date
WO2019106789A1 true WO2019106789A1 (ja) 2019-06-06

Family

ID=66663873

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043052 WO2019106789A1 (ja) 2017-11-30 2017-11-30 処理装置及び処理方法

Country Status (2)

Country Link
JP (1) JPWO2019106789A1 (ja)
WO (1) WO2019106789A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021033403A (ja) * 2019-08-19 2021-03-01 矢崎エナジーシステム株式会社 車載器および作業車両の運転支援システム
JP2021046193A (ja) * 2019-09-18 2021-03-25 本田技研工業株式会社 混雑した道路における協働認識車線変更制御を提供するためのシステム及び方法
JP2021070471A (ja) * 2019-11-01 2021-05-06 本田技研工業株式会社 アクション事前分布を使用して将来予測するためのシステム及び方法
KR20210057649A (ko) * 2019-11-12 2021-05-21 건국대학교 산학협력단 이동체의 자율 주행 제어 방법 및 이를 수행하는 장치들
WO2021166448A1 (ja) * 2020-02-17 2021-08-26 株式会社デンソー 車両行動生成装置、車両行動生成方法、および車両行動生成プログラム
WO2021166449A1 (ja) * 2020-02-17 2021-08-26 株式会社デンソー 車両行動評価装置、車両行動評価方法、および車両行動評価プログラム
JP2021149863A (ja) * 2020-03-23 2021-09-27 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN114511978A (zh) * 2021-12-27 2022-05-17 浙江华锐捷技术有限公司 一种入侵预警方法、装置、车辆和计算机可读存储介质
JP7466407B2 (ja) 2019-10-18 2024-04-12 本田技研工業株式会社 将来行動推定装置、車両制御装置、将来行動推定方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007069806A (ja) * 2005-09-08 2007-03-22 Clarion Co Ltd 車両用障害物検出装置
JP2009053925A (ja) * 2007-08-27 2009-03-12 Toyota Motor Corp 行動予測装置
US9381916B1 (en) * 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
JP2017004106A (ja) * 2015-06-05 2017-01-05 トヨタ自動車株式会社 車両の衝突回避支援装置
JP2017162438A (ja) * 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009051430A (ja) * 2007-08-28 2009-03-12 Fuji Heavy Ind Ltd 走行支援システム
JP4623135B2 (ja) * 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置
CN105900160B (zh) * 2014-02-13 2017-12-01 三菱电机株式会社 通信装置、驾驶支援装置、以及驾驶支援***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007069806A (ja) * 2005-09-08 2007-03-22 Clarion Co Ltd 車両用障害物検出装置
JP2009053925A (ja) * 2007-08-27 2009-03-12 Toyota Motor Corp 行動予測装置
US9381916B1 (en) * 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
JP2017004106A (ja) * 2015-06-05 2017-01-05 トヨタ自動車株式会社 車両の衝突回避支援装置
JP2017162438A (ja) * 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021033403A (ja) * 2019-08-19 2021-03-01 矢崎エナジーシステム株式会社 車載器および作業車両の運転支援システム
JP2021046193A (ja) * 2019-09-18 2021-03-25 本田技研工業株式会社 混雑した道路における協働認識車線変更制御を提供するためのシステム及び方法
US11608083B2 (en) 2019-09-18 2023-03-21 Honda Motor Co., Ltd. System and method for providing cooperation-aware lane change control in dense traffic
JP7113048B2 (ja) 2019-09-18 2022-08-04 本田技研工業株式会社 混雑した道路における協働認識車線変更制御を提供するためのシステム及び方法
JP7466407B2 (ja) 2019-10-18 2024-04-12 本田技研工業株式会社 将来行動推定装置、車両制御装置、将来行動推定方法、およびプログラム
JP7072030B2 (ja) 2019-11-01 2022-05-19 本田技研工業株式会社 アクション事前分布を使用して将来予測するためのシステム及び方法
JP2021070471A (ja) * 2019-11-01 2021-05-06 本田技研工業株式会社 アクション事前分布を使用して将来予測するためのシステム及び方法
US11577757B2 (en) 2019-11-01 2023-02-14 Honda Motor Co., Ltd. System and method for future forecasting using action priors
KR20210057649A (ko) * 2019-11-12 2021-05-21 건국대학교 산학협력단 이동체의 자율 주행 제어 방법 및 이를 수행하는 장치들
KR102297578B1 (ko) * 2019-11-12 2021-09-03 건국대학교 산학협력단 이동체의 자율 주행 제어 방법 및 이를 수행하는 장치들
JP7234970B2 (ja) 2020-02-17 2023-03-08 株式会社デンソー 車両行動生成装置、車両行動生成方法、および車両行動生成プログラム
JP2021127095A (ja) * 2020-02-17 2021-09-02 株式会社デンソー 車両行動生成装置、車両行動生成方法、および車両行動生成プログラム
JP2021128716A (ja) * 2020-02-17 2021-09-02 株式会社デンソー 車両行動評価装置、車両行動評価方法、および車両行動評価プログラム
WO2021166449A1 (ja) * 2020-02-17 2021-08-26 株式会社デンソー 車両行動評価装置、車両行動評価方法、および車両行動評価プログラム
JP7347252B2 (ja) 2020-02-17 2023-09-20 株式会社デンソー 車両行動評価装置、車両行動評価方法、および車両行動評価プログラム
WO2021166448A1 (ja) * 2020-02-17 2021-08-26 株式会社デンソー 車両行動生成装置、車両行動生成方法、および車両行動生成プログラム
JP2021149863A (ja) * 2020-03-23 2021-09-27 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN114511978A (zh) * 2021-12-27 2022-05-17 浙江华锐捷技术有限公司 一种入侵预警方法、装置、车辆和计算机可读存储介质
CN114511978B (zh) * 2021-12-27 2024-02-20 浙江华锐捷技术有限公司 一种入侵预警方法、装置、车辆和计算机可读存储介质

Also Published As

Publication number Publication date
JPWO2019106789A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
WO2019106789A1 (ja) 処理装置及び処理方法
US11462022B2 (en) Traffic signal analysis system
CN110692094B (zh) 用于自动驾驶车的控制的车辆控制装置及方法
JP2019106049A (ja) 車両制御装置、リスクマップ生成装置、及びプログラム
CN113212454B (zh) 车辆行驶状态的调整方法、装置、计算机设备和存储介质
US11372417B2 (en) Method for predicting exiting intersection of moving obstacles for autonomous driving vehicles
CN109421712B (zh) 车辆控制装置、车辆、车辆控制方法以及存储介质
US11615702B2 (en) Determining vehicle path
CN111731296B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
CN111731295B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
US11718290B2 (en) Methods and systems for safe out-of-lane driving
CN110733496A (zh) 信息处理装置、信息处理方法以及记录介质
JP2020125027A (ja) 車両並びにその制御装置及び制御方法
CN110678914A (zh) 用于自动驾驶车的控制的车辆控制装置及方法
JP2019159611A (ja) 車両制御装置、車両制御方法、およびプログラム
CN115907250A (zh) 用于调整自主驾驶车辆的运动规划器的基于学习的评论器
CN116466697A (zh) 用于运载工具的方法、***以及存储介质
US11429843B2 (en) Vehicle operation labeling
CN113460083A (zh) 车辆控制装置、车辆控制方法及存储介质
US11663913B2 (en) Neural network with lane aggregation for lane selection prediction of moving objects during autonomous driving
US20240025445A1 (en) Safety enhanced planning system with anomaly detection for autonomous vehicles
EP4082856A2 (en) E2e learning-based evaluator for an autonomous driving vehicle
WO2023076343A1 (en) Autonomous vehicle trajectory determination based on state transition model
JP2019214320A (ja) 認識処理装置、車両制御装置、認識制御方法、およびプログラム
US20220057795A1 (en) Drive control device, drive control method, and computer program product

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018520211

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17933375

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17933375

Country of ref document: EP

Kind code of ref document: A1