JP2024062323A - Information processing device and program - Google Patents
Information processing device and program Download PDFInfo
- Publication number
- JP2024062323A JP2024062323A JP2023002663A JP2023002663A JP2024062323A JP 2024062323 A JP2024062323 A JP 2024062323A JP 2023002663 A JP2023002663 A JP 2023002663A JP 2023002663 A JP2023002663 A JP 2023002663A JP 2024062323 A JP2024062323 A JP 2024062323A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driving
- information
- unit
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 22
- 230000006399 behavior Effects 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000000491 multivariate analysis Methods 0.000 claims description 5
- 210000004556 brain Anatomy 0.000 description 97
- 238000012545 processing Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 29
- 230000033001 locomotion Effects 0.000 description 27
- 230000015654 memory Effects 0.000 description 20
- 239000000725 suspension Substances 0.000 description 18
- 238000013473 artificial intelligence Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 102200048773 rs2224391 Human genes 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 102220328583 rs111822347 Human genes 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】衝突の回避、または衝突時に車両に発生する損害を低減できる自動運転を可能とする。【解決手段】情報処理装置は、障害物を含む車両の周囲の状況を検出するセンサを含む検出部から車両に関連する複数の情報を取得する取得部と、取得された複数の情報を用いて、車両が障害物を回避するために過去に行った走行パターンであり、異なる複数の走行パターンを登録する登録部によって登録された複数の走行パターンから車両が障害物を回避するための走行パターンを選択的に設定する設定部を含み、取得された複数の情報、及び設定された走行パターンに基づいて、当該走行パターンに応じて車両が走行するように、車両の挙動を制御するための制御変数を算出する算出部と、算出した制御変数に基づいて、車両の挙動を制御する制御部と、を備える。【選択図】図３[Problem] To enable autonomous driving that can avoid collisions or reduce damage to a vehicle in the event of a collision. [Solution] An information processing device includes an acquisition unit that acquires a plurality of pieces of information related to the vehicle from a detection unit including a sensor that detects the situation around the vehicle including obstacles, and a setting unit that uses the acquired plurality of pieces of information to selectively set a driving pattern for the vehicle to avoid an obstacle from a plurality of driving patterns registered by a registration unit that registers a plurality of different driving patterns, which are driving patterns that the vehicle has performed in the past to avoid obstacles, a calculation unit that calculates a control variable for controlling the behavior of the vehicle based on the acquired plurality of pieces of information and the set driving pattern so that the vehicle runs in accordance with the driving pattern, and a control unit that controls the behavior of the vehicle based on the calculated control variable. [Selected Figure] Figure 3
Description
本発明は、情報処理装置及びプログラムに関する。 The present invention relates to an information processing device and a program.
特許文献１には、自動運転機能を有する車両について記載されている。 Patent document 1 describes a vehicle with an autonomous driving function.
本発明の一実施態様によれば、情報処理装置が提供される。前記情報処理装置は、車両が障害物を回避するために過去に行った走行パターンであり、異なる複数の走行パターンを登録する登録部と、前記障害物を含む前記車両の周囲の状況を検出するセンサを含む検出部から前記車両に関連する複数の情報を取得する取得部と、前記取得された複数の情報を用いて、前記登録された複数の走行パターンから前記車両が前記障害物を回避するための走行パターンを選択的に設定する設定部を含み、前記取得された複数の情報、及び設定された走行パターンに基づいて、当該走行パターンに応じて前記車両が走行するように、前記車両の挙動を制御するための制御変数を算出する算出部と、前記算出した前記制御変数に基づいて、前記車両の挙動を制御する制御部と、を備える。 According to one embodiment of the present invention, an information processing device is provided. The information processing device includes a registration unit that registers a plurality of different driving patterns that the vehicle has performed in the past to avoid an obstacle, an acquisition unit that acquires a plurality of pieces of information related to the vehicle from a detection unit including a sensor that detects the situation around the vehicle including the obstacle, and a setting unit that selectively sets a driving pattern for the vehicle to avoid the obstacle from the plurality of registered driving patterns using the plurality of pieces of information acquired, and a calculation unit that calculates a control variable for controlling the behavior of the vehicle based on the plurality of pieces of information acquired and the set driving pattern so that the vehicle runs according to the driving pattern, and a control unit that controls the behavior of the vehicle based on the calculated control variable.
本発明の一実施態様によれば、上記情報処理装置において、前記登録部は、前記走行パターンを、前記制御の対象とする車両毎に登録するか、又は前記車両の車種毎に登録する。 According to one embodiment of the present invention, in the information processing device, the registration unit registers the driving pattern for each vehicle to be controlled, or for each vehicle model of the vehicle.
本発明の一実施態様によれば、上記情報処理装置において、前記障害物は、前記車両以外の他車両である。 According to one embodiment of the present invention, in the information processing device, the obstacle is a vehicle other than the vehicle.
本発明の一実施態様によれば、上記情報処理装置において、前記制御変数は、前記車両の速度、及び前記車両の速度を変化させるタイミングである。 According to one embodiment of the present invention, in the information processing device, the control variables are the speed of the vehicle and the timing for changing the speed of the vehicle.
本発明の一実施態様によれば、上記情報処理装置において、前記算出部は、深層学習を用いた積分法による多変量解析によって前記制御変数を算出する。 According to one embodiment of the present invention, in the information processing device, the calculation unit calculates the control variables by multivariate analysis using an integral method that employs deep learning.
本発明の一実施態様によれば、上記情報処理装置において、前記取得部は、１０億分の１秒単位で前記複数の情報を取得し、前記算出部は、１０億分の１秒単位で取得された情報を用いて前記制御変数を算出し、前記制御部は、前記制御変数を用いて１０億分の１秒単位で前記車両の挙動の制御を実行する。 According to one embodiment of the present invention, in the information processing device, the acquisition unit acquires the plurality of pieces of information in units of one billionth of a second, the calculation unit calculates the control variable using the information acquired in units of one billionth of a second, and the control unit executes control of the behavior of the vehicle in units of one billionth of a second using the control variable.
本発明の一実施態様によれば、コンピュータを、前記情報処理装置として機能させるためのプログラムが提供される。 According to one embodiment of the present invention, a program is provided for causing a computer to function as the information processing device.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 Note that the above summary of the invention does not list all of the necessary features of the present invention. Also, subcombinations of these features may also be inventions.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 The present invention will be described below through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Furthermore, not all of the combinations of features described in the embodiments are necessarily essential to the solution of the invention.
［第１実施形態］
本開示の情報処理装置は、車両の制御に関連する多くの情報に基づいて、運転制御に必要なインデックス値を高精度に求めるものであってよい。したがって、本開示の情報処理装置は、少なくとも一部が車両に搭載されて、車両の制御を実現するものであってよい。
[First embodiment]
The information processing device of the present disclosure may be configured to accurately determine an index value required for driving control based on a large amount of information related to vehicle control. Therefore, at least a part of the information processing device of the present disclosure may be mounted on a vehicle to realize vehicle control.
また、本開示の情報処理装置は、Ａｕｔｏｎｏｍｏｕｓ ＤｒｉｖｉｎｇをＬｅｖｅｌ６によるＡＩ／多変量解析／ゴールシーク／戦略立案／最適確率解／最適スピード解／最適コースマネジメント／エッジにおける多種センサ入力により得られたデータを基にリアルタイムで実現でき、デルタ最適解に基づいて調整される走行システムを提供し得る。 The information processing device disclosed herein can also realize Autonomous Driving in real time based on data obtained from Level 6 AI/multivariate analysis/goal seek/strategy planning/optimal probability solution/optimal speed solution/optimal course management/multiple sensor inputs at the edge, and can provide a driving system that is adjusted based on the delta optimal solution.
「Ｌｅｖｅｌ６」とは、自動運転を表すレベルであり、完全自動運転を表すＬｅｖｅｌ５よりも更に上のレベルに相当する。Ｌｅｖｅｌ５は完全自動運転を表すものの、それは人が運転するのと同等のレベルであり、それでも未だ事故等が発生する確率はある。Ｌｅｖｅｌ６とは、Ｌｅｖｅｌ５よりも上のレベルを表すものであり、Ｌｅｖｅｌ５よりも事故が発生する確率が低いレベルに相当する。 "Level 6" is a level that represents autonomous driving, and is equivalent to a level higher than Level 5, which represents fully autonomous driving. Although Level 5 represents fully autonomous driving, it is at the same level as a human driving, and there is still a chance of accidents occurring. Level 6 represents a level higher than Level 5, and is equivalent to a level where the chance of accidents occurring is lower than at Level 5.
Ｌｅｖｅｌ６における計算力は、Ｌｅｖｅｌ５の計算力の１０００倍程度である。したがって、Ｌｅｖｅｌ５では実現できなかった高性能な運転制御が実現可能である。 The computing power at Level 6 is about 1000 times that of Level 5. Therefore, it is possible to achieve high-performance operation control that was not possible at Level 5.
図１は、本実施形態に係る超高性能自動運転のＡＩの危険予測の能力について概略的に示す。本実施形態においては、検出部としての複数種類のセンサによる複数種類のセンサ情報をＡＩデータ化してクラウドに蓄積する。ＡＩがナノセカンド（１０億分の１秒）ごとに状況のベストミックスを予測、判断し、車両１２の運行を最適化する。 Figure 1 shows an overview of the risk prediction capabilities of the AI of ultra-high performance autonomous driving according to this embodiment. In this embodiment, multiple types of sensor information from multiple types of sensors as detection units are converted into AI data and stored in the cloud. The AI predicts and determines the best mix of situations every nanosecond (one billionth of a second), optimizing the operation of the vehicle 12.
図２は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０を搭載した車両１２の一例を示す概略図である。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、本実施の形態に係る情報処理装置の一例であってよい。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、図２に示すように、複数のＧａｔｅ Ｗａｙが通信可能に接続されていてよい。本実施の形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎ１２０は、Ｇａｔｅ Ｗａｙを介して取得した複数の情報に基づいて、Ｌｅｖｅｌ６の自動運転を実現し得るものである。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、情報処理装置の一例である。 Figure 2 is a schematic diagram showing an example of a vehicle 12 equipped with a Central Brain 120. The Central Brain 120 may be an example of an information processing device according to this embodiment. As shown in Figure 2, the Central Brain 120 may be communicatively connected to multiple Gate Ways. The Central Brain 120 according to this embodiment can realize Level 6 autonomous driving based on multiple pieces of information acquired via the Gate Ways. The Central Brain 120 is an example of an information processing device.
図２に示されているように、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０には、複数のＧａｔｅ Ｗａｙが通信可能に接続されている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、Ｇａｔｅ Ｗａｙを介して外部のクラウドに接続されている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、Ｇａｔｅ Ｗａｙを介して外部のクラウドへアクセスすることができるように構成されている。その一方で、Ｇａｔｅ Ｗａｙの存在により、外部からＣｅｎｔｒａｌ Ｂｒａｉｎ１２０へ直接アクセスすることはできないように構成されている。 As shown in FIG. 2, multiple Gate Ways are communicatively connected to the Central Brain 120. The Central Brain 120 is connected to an external cloud via the Gate Ways. The Central Brain 120 is configured to be able to access an external cloud via the Gate Ways. On the other hand, due to the presence of the Gate Ways, the Central Brain 120 is configured not to be directly accessible from the outside.
Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、所定時間が経過する毎に、要求信号をサーバへ出力する。具体的には、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、１０億分の１秒毎に、問い合わせを表す要求信号をサーバへ出力する。 The Central Brain 120 outputs a request signal to the server every time a predetermined time has elapsed. Specifically, the Central Brain 120 outputs a request signal representing a query to the server every billionth of a second.
本実施形態において使用する車両１２に備えたセンサの例として、レーダー、ＬｉＤＡＲ、高画素・望遠・超広角・３６０度・高性能カメラ、ビジョン認識、微細音、超音波、振動、赤外線、紫外線、電磁波、温度、湿度、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、ロングテールインシデントＡＩ ｄａｔａ等が挙げられる。ロングテールインシデントＡＩ ｄａｔａとはレベル５の自動運転を実現し得る機能を実装した自動車のＴｒｉｐデータである。 Examples of sensors provided on the vehicle 12 used in this embodiment include radar, LiDAR, high-pixel, telephoto, ultra-wide-angle, 360-degree, high-performance cameras, vision recognition, fine sounds, ultrasound, vibration, infrared rays, ultraviolet rays, electromagnetic waves, temperature, humidity, spot AI weather forecasts, high-precision multi-channel GPS, low-altitude satellite information, long-tail incident AI data, etc. Long-tail incident AI data is trip data for a vehicle equipped with a function that can realize level 5 autonomous driving.
上記センサは車両周辺の状況を検出するセンサを含む。車両周辺の状況を検出するセンサは、車両の周囲の状況を検出する周期として、車両の周囲をカメラ等で撮影する第１周期より短い第２周期で車両周辺の状況を検出する。 The above sensors include a sensor that detects the situation around the vehicle. The sensor that detects the situation around the vehicle detects the situation around the vehicle at a second period that is shorter than a first period in which the surroundings of the vehicle are photographed by a camera or the like.
複数種類のセンサから取り入れるセンサ情報として、体重の重心移動、道路の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、道路の凍り方、水分量の検知、それぞれのタイヤの材質、摩耗状況、空気圧の検知、道路幅、追い越し禁止有無、対向車、前後車両の車種情報、それらの車のクルージング状態、周囲の状況（鳥、動物、サッカーボール、事故車、地震、火事、風、台風、大雨、小雨、吹雪、霧、など）等が挙げられ、本実施形態では、これらの検知を１０億分の１秒毎に実施する。 Sensor information collected from multiple types of sensors includes the shift in the center of gravity of body weight, detection of road material, detection of outside air temperature, detection of outside humidity, detection of the up, down, side, and diagonal inclination angle of a slope, detection of how frozen the road is, detection of the amount of moisture, detection of the material of each tire, wear condition, detection of air pressure, road width, whether or not overtaking is prohibited, oncoming vehicles, information on the vehicle types of vehicles in front and behind, the cruising state of those vehicles, and surrounding conditions (birds, animals, soccer balls, wrecked vehicles, earthquakes, fires, wind, typhoons, heavy rain, light rain, blizzards, fog, etc.), and in this embodiment, these detections are performed every billionth of a second.
本実施の形態に係る情報処理装置の一例として機能するＣｅｎｔｒａｌ Ｂｒａｉｎ１２０は、車両に関連する複数の情報を取得可能な取得部と、取得部が取得した複数の情報から制御変数を算出する算出部と、制御変数に基づいて車両の運転制御を実行する制御部と、のそれぞれの機能を少なくとも含む。 The Central Brain 120, which functions as an example of an information processing device according to this embodiment, includes at least the functions of an acquisition unit capable of acquiring multiple pieces of information related to the vehicle, a calculation unit that calculates control variables from the multiple pieces of information acquired by the acquisition unit, and a control unit that executes driving control of the vehicle based on the control variables.
例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、上記のセンサにより検知された１つ以上のセンサ情報を用いて、車両の４つの車輪それぞれの車輪速、傾き、及び車輪を支持するサスペンション毎の、車輪速、傾き、及びサスペンションを制御するための制御変数を算出する機能を有する。なお、車輪の傾きは、道路に対して水平な軸に対する車輪の傾き、及び道路に対して垂直な軸に対する車輪の傾きの双方を含む。 For example, the Central Brain 120 has a function of calculating control variables for controlling the wheel speed and inclination of each of the four wheels of the vehicle, and the wheel speed, inclination, and suspension for each suspension supporting the wheels, using one or more pieces of sensor information detected by the above sensors. The inclination of the wheels includes both the inclination of the wheels with respect to an axis horizontal to the road and the inclination of the wheels with respect to an axis perpendicular to the road.
ここで、１以上のセンサ情報は車両周辺の状況を検出するセンサからのセンサ情報を適用可能である。また、１つ以上のセンサ情報として複数のセンサ情報を用いる場合は、予め定められた数のセンサ情報を適用可能である。予め定められた数は、例えば３個である。３個のセンサ情報に基づいて、車輪速、傾き、及びサスペンションを制御するためのインデックス値を算出する。３個のセンサ情報の組み合わせから算出するインデックス値の数は、例えば３個である。車輪速、傾き、及びサスペンションを制御するためのインデックス値には、例えば、センサ情報のうち空気抵抗に関する情報から算出したインデックス値、センサ情報のうち道路抵抗に関する情報から算出したインデックス値、センサ情報のうち滑り係数に関する情報から算出したインデックス値などが含まれる。 Here, the one or more pieces of sensor information can be sensor information from a sensor that detects the situation around the vehicle. In addition, when multiple pieces of sensor information are used as the one or more pieces of sensor information, a predetermined number of pieces of sensor information can be applied. The predetermined number is, for example, three. Based on the three pieces of sensor information, index values for controlling the wheel speed, inclination, and suspension are calculated. The number of index values calculated from the combination of the three pieces of sensor information is, for example, three. The index values for controlling the wheel speed, inclination, and suspension include, for example, an index value calculated from information on air resistance among the sensor information, an index value calculated from information on road resistance among the sensor information, and an index value calculated from information on the slip coefficient among the sensor information.
また、１つのセンサ情報、またはセンサ情報の組み合わせが異なる複数のセンサ情報の組み合わせ毎に算出したインデックス値を集約して、車輪速、傾き、及びサスペンションを制御するための制御変数を算出する。例えば、車両の周囲の状況を検出するセンサのセンサ情報からインデックス値を算出して制御変数を算出する。また、複数のセンサ情報を用いる場合、例えば、センサ１、２及び３の組み合わせで複数のインデックス値を算出し、センサ４、５及び６の組み合わせで複数のインデックス値を算出し、センサ１、３及び７の組み合わせで複数のインデックス値を算出し、このインデックス値を集約して制御変数を算出する。このように、センサ情報の組み合わせを変えながら予め定められた数、例えば３００個のインデックス値を算出し、制御変数を算出する。具体的には、算出部は、機械学習、より詳しくは深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を用いて、センサ情報から制御変数を算出することが可能なものであってよい。換言すると、インデックス値及び制御変数を算出する算出部は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）で構成することができる。 In addition, the index values calculated for one sensor information or for each combination of multiple sensor information with different combinations of sensor information are aggregated to calculate the control variables for controlling the wheel speed, inclination, and suspension. For example, the index values are calculated from the sensor information of the sensor that detects the situation around the vehicle to calculate the control variables. In addition, when multiple sensor information is used, for example, multiple index values are calculated for the combination of sensors 1, 2, and 3, multiple index values are calculated for the combination of sensors 4, 5, and 6, and multiple index values are calculated for the combination of sensors 1, 3, and 7, and these index values are aggregated to calculate the control variables. In this way, a predetermined number of index values, for example, 300, are calculated while changing the combination of sensor information to calculate the control variables. Specifically, the calculation unit may be capable of calculating the control variables from the sensor information using machine learning, more specifically, deep learning. In other words, the calculation unit that calculates the index values and the control variables can be configured with AI (Artificial Intelligence).
算出部は、多くのセンサ群等で収集したナノ秒毎のデータを、Ｌｅｖｅｌ６の計算力を用い、下記式（１）に示すような積分法による多変量解析（例えば式（２）参照）を行うことで、正確な制御変数を求め得る。より詳しくは、Ｌｅｖｅｌ６の計算力で各種Ｕｌｔｒａ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎのデルタ値の積分値を求めながら、エッジレベルで且つリアルタイムで各変数のインデックス化された値を求め、次のナノ秒に発生する結果を最も高い確率論値を取得し得る。 The calculation unit can obtain accurate control variables by performing multivariate analysis (e.g., see formula (2)) using the calculation power of Level 6 on data collected every nanosecond from many sensor groups, etc., using the integral method shown in formula (1) below. More specifically, while calculating the integral value of the delta values of various Ultra High Resolutions using the calculation power of Level 6, it can obtain indexed values of each variable at the edge level and in real time, and obtain the most probabilistic value of the result that will occur in the next nanosecond.
なお、式中のＤＬは深層学習を示し、Ａ，Ｂ，Ｃ，Ｄ，…，Ｎは、センサ情報から算出したインデックス値であり、例えば空気抵抗から算出したインデックス値、道路抵抗から算出したインデックス値、道路要素から算出したインデックス値及び滑り係数から算出したインデックス値等を示す。予め定められた数のセンサ情報の組み合わせを変えながら算出されたインデックス値が３００個の場合は、式中のＡ～Ｎのインデックス値も３００個となり、３００個のインデックス値を集約する。 In the formula, DL indicates deep learning, and A, B, C, D, ..., N are index values calculated from sensor information, such as an index value calculated from air resistance, an index value calculated from road resistance, an index value calculated from road elements, and an index value calculated from the slip coefficient. If there are 300 index values calculated while changing the combination of a predetermined number of pieces of sensor information, the index values A to N in the formula will also be 300, and the 300 index values will be aggregated.
また、上記の式（２）では、車輪速（Ｖ）について算出しているが、傾き、及びサスペンションを制御するための制御変数についても同様に算出する。 In addition, in the above formula (2), the wheel speed (V) is calculated, but the tilt and control variables for controlling the suspension are also calculated in a similar manner.
具体的には、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、４つの車輪それぞれの車輪速、道路に対して水平な軸に対する４つの車輪それぞれの傾き、道路に対して垂直な軸に対する４つの車輪それぞれの傾き、及び４つの車輪それぞれを支持するサスペンションを制御するための計１６の制御変数を算出する。本実施形態では、上記１６の制御変数の算出を１０億分の１秒毎に実施する。なお、上記の４つの車輪それぞれの車輪速は「４つの車輪にそれぞれ搭載されたインホイールモータのスピン数（回転数）」と言うこともでき、上記の道路に対して水平な軸に対する４つの車輪それぞれの傾きは「４つの車輪それぞれの水平アングル」と言うこともできる。そして、上記の制御変数は、例えば、車両が山道を走行する場合には当該山道に合わせた最適なステアリングを行うための数値となり、車両を駐車場に駐車する場合には当該駐車場に合わせた最適なアングルで走行するための数値となる。 Specifically, the Central Brain 120 calculates a total of 16 control variables for controlling the wheel speed of each of the four wheels, the inclination of each of the four wheels with respect to an axis horizontal to the road, the inclination of each of the four wheels with respect to an axis perpendicular to the road, and the suspension supporting each of the four wheels. In this embodiment, the calculation of the 16 control variables is performed every 1 billionth of a second. The wheel speed of each of the four wheels can also be called the "spin number (revolutions) of the in-wheel motor mounted on each of the four wheels," and the inclination of each of the four wheels with respect to the axis horizontal to the road can also be called the "horizontal angle of each of the four wheels." The above control variables are, for example, values for optimal steering suited to the mountain road when the vehicle is traveling on a mountain road, and values for driving at an optimal angle suited to the parking lot when the vehicle is parked in a parking lot.
また、本実施形態においては、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、４つの車輪それぞれの車輪速、道路に対して水平な軸に対する４つの車輪それぞれの傾き、道路に対して垂直な軸に対する４つの車輪それぞれの傾き、及び４つの車輪それぞれを支持するサスペンションを制御するための計１６の制御変数を算出するが、この算出はＣｅｎｔｒａｌ Ｂｒａｉｎ１２０である必要は無く、上記の制御変数を算出する専用のアンカーチップを別途設けても良い。この場合にも式中（２）のＤＬは深層学習を示し、Ａ，Ｂ，Ｃ，Ｄ，…，Ｎは、センサ情報から算出したインデックス値を示す。集約するインデックスの数が上述したように３００個の場合は、かかる式中のインデックスの数も３００個となる。 In addition, in this embodiment, the Central Brain 120 calculates a total of 16 control variables for controlling the wheel speed of each of the four wheels, the inclination of each of the four wheels relative to an axis horizontal to the road, the inclination of each of the four wheels relative to an axis perpendicular to the road, and the suspension supporting each of the four wheels. However, this calculation does not have to be performed by the Central Brain 120, and a dedicated anchor chip for calculating the above control variables may be provided separately. In this case, too, DL in the formula (2) indicates deep learning, and A, B, C, D, ..., N indicate index values calculated from sensor information. If the number of indexes to be aggregated is 300 as described above, the number of indexes in this formula will also be 300.
また、本実施形態においては、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、上記で算出した制御変数に基づいて、１０億分の１秒単位で自動運転を制御する制御部として機能する。具体的には、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、上記１６の制御変数に基づいて、４つの車輪にそれぞれ搭載されたインホイールモータを制御することで、車両１２の４つの車輪それぞれの車輪速、傾き、及び４つの車輪それぞれを支持するサスペンションを制御して自動運転を行う。 In this embodiment, the Central Brain 120 functions as a control unit that controls autonomous driving in units of billionths of a second based on the control variables calculated above. Specifically, the Central Brain 120 controls the in-wheel motors mounted on each of the four wheels based on the 16 control variables described above, thereby controlling the wheel speed and inclination of each of the four wheels of the vehicle 12 and the suspensions supporting each of the four wheels to perform autonomous driving.
なお、センサ情報から算出するインデックス値は、１つのセンサ、例えば、車両の周囲の状況を検出するセンサのセンサ情報からインデックス値を算出して制御変数を算出してもよい。 The index value calculated from the sensor information may be calculated from the sensor information of a single sensor, for example, a sensor that detects the conditions around the vehicle, to calculate the control variable.
上述した算出部は、取得された複数の情報から車両の走行に関する走行戦略を設定する設定部を含む。車両の走行に関する走行戦略の一例には、車両の走行経路に障害物が存在する場合に、当該車両が障害物を回避するための走行パターン等の走行戦略を適用可能である。当該走行戦略では、障害物を回避した目的地に到達するまでの走行経路に関する走行パターンを含む情報を適用可能である。 The calculation unit described above includes a setting unit that sets a driving strategy for vehicle driving from the multiple pieces of acquired information. One example of a driving strategy for vehicle driving is a driving strategy such as a driving pattern for the vehicle to avoid an obstacle when an obstacle exists on the vehicle's driving path. In the driving strategy, information including a driving pattern regarding a driving path to reach the destination while avoiding the obstacle can be applied.
設定部は、車両が走行するにあたり現在の位置から予め定めた所定時間を経過した後に到達すべき位置を目的地として、当該現在の位置から目的地に到達するまでの走行に関する情報を走行戦略として設定するものであってよい。また、現在の位置から予め定めた位置を目的地として、当該現在の位置から目的地に到達するまでの走行に関する情報を走行戦略として設定するものであってよい。 The setting unit may set a destination to be reached after a predetermined time has elapsed from the current position when the vehicle is traveling, and set information regarding traveling from the current position to the destination as the traveling strategy. Also, the setting unit may set a destination to a predetermined position from the current position, and set information regarding traveling from the current position to the destination as the traveling strategy.
なお、設定部は、車両の乗員等が入力した目的地の情報や、現在地と目的地の間の交通情報等に基づいて、現在地から目的地に到達するまでの走行に関する情報を走行戦略として設定するものであってよい。その際に、戦略設定を計算するその時点の情報、つまり取得部が現在取得しているデータを加味しても良い。目的地までの単なるルート計算だけでなく、その瞬間の周辺状況を加味することで、より現実に則した理論値を計算するためである。走行戦略は、目的地までの最適ルート（戦略ルート）、走行速度、ｔｉｌｔ、ブレーキングの少なくとも１つの理論値を含んで構成されていてよい。好ましくは、走行戦略は上述した最適ルート、走行速度、ｔｉｌｔ、ブレーキングの全ての理論値で構成することができる。 The setting unit may set information about driving from the current location to the destination as a driving strategy based on destination information input by the vehicle occupants, traffic information between the current location and the destination, etc. At that time, information at the time when the strategy setting is calculated, that is, data currently acquired by the acquisition unit, may be taken into account. This is to calculate a theoretical value that is more in line with reality by taking into account not only a simple route calculation to the destination but also the surrounding conditions at that moment. The driving strategy may be configured to include at least one theoretical value of the optimal route to the destination (strategic route), driving speed, tilt, and braking. Preferably, the driving strategy can be configured with all theoretical values of the optimal route, driving speed, tilt, and braking described above.
設定部で設定された走行戦略を構成する複数の理論値は、制御部における自動運転制御に利用することが可能である。これに加えて、制御部は、算出部にて算出された複数のインデックス値と設定部で設定された各理論値との差分に基づいて走行戦略を更新する更新部を含んでもよい。 The multiple theoretical values constituting the driving strategy set by the setting unit can be used for automatic driving control in the control unit. In addition, the control unit may include an update unit that updates the driving strategy based on the difference between the multiple index values calculated by the calculation unit and each theoretical value set by the setting unit.
算出部にて算出されるインデックス値は、車両走行中に取得される情報、具体的には実際の走行時に検出される。例えば摩擦係数に基づいて推論されたものである。したがって、更新部にて走行戦略を更新するようにすることで、戦略ルート通行時における刻一刻と変わる変化へ対応することが可能となる。具体的には、更新部において、走行戦略に含まれる理論値とインデックス値からその差分（デルタ値）を算出することで、再度最適解を導き出し、戦略ルートを再策定することができる。これにより、スリップをしないぎりぎりの自動運転制御を実現できる。また、このような更新処理に際しても、上述Ｌｅｖｅｌ６の計算力を用いることができるため、１０億分の１秒単位で補正、微調整することが可能となり、より緻密な走行制御が実現できる。 The index value calculated by the calculation unit is detected from information acquired while the vehicle is traveling, specifically during actual traveling. For example, it is inferred based on the friction coefficient. Therefore, by updating the traveling strategy in the update unit, it becomes possible to respond to changes that occur from moment to moment when traveling along the strategic route. Specifically, the update unit calculates the difference (delta value) between the theoretical value and the index value included in the traveling strategy, thereby deriving the optimal solution again and re-planning the strategic route. This makes it possible to realize automatic driving control that does not cause slippage. In addition, since the computing power of the Level 6 described above can be used even in such updating processing, corrections and fine adjustments can be made in units of one billionth of a second, and more precise driving control can be realized.
また、取得部が上述した車両下部センサを有している場合には、この車両下部センサが地面の温度や材質なども検知するため、戦略ルート通行時における刻一刻と変わる変化へ対応することが可能となる。走行戦略に含まれる走行コースを計算する際、ｉｎｄｅｐｅｎｄｅｎｔ ｓｍａｒｔ ｔｉｌｔを実施することもできる。更に、別の情報を検知（飛んでくるタイヤ、破片、動物など）した場合においても、戦略ルート通行時における刻一刻と変わる変化へ対応することで、瞬間瞬間に最適な走行コースを再計算し、最適コースマネジメントを実施することができる。 In addition, if the acquisition unit has the under-vehicle sensor described above, the under-vehicle sensor can detect the temperature and material of the ground, making it possible to respond to changes that change from moment to moment when traveling the strategic route. When calculating the driving course included in the driving strategy, independent smart tilt can also be implemented. Furthermore, even if other information is detected (flying tires, debris, animals, etc.), it is possible to recalculate the optimal driving course at each moment and implement optimal course management by responding to changes that change from moment to moment when traveling the strategic route.
Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、図３に示されているフローチャートを繰り返し実行する。 The Central Brain 120 repeatedly executes the flowchart shown in FIG. 3.
ステップＳ１０において、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、センサにより検知された道路情報を含むセンサ情報を取得する。そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、ステップＳ１１に進む。ステップＳ１０の処理は取得部の機能の一例である。 In step S10, the Central Brain 120 acquires sensor information including road information detected by the sensor. The Central Brain 120 then proceeds to step S11. The processing of step S10 is an example of the function of the acquisition unit.
ステップＳ１１において、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、ステップＳ１０で取得したセンサ情報に基づいて、上記１６の制御変数を算出する。そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、ステップＳ１２に進む。ステップＳ１１の処理は設定部、および算出部の機能の一例である。 In step S11, the Central Brain 120 calculates the 16 control variables based on the sensor information acquired in step S10. Then, the Central Brain 120 proceeds to step S12. The processing of step S11 is an example of the function of the setting unit and the calculation unit.
ステップＳ１２において、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、ステップＳ１１で算出した制御変数に基づいて、自動運転を制御する。そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、当該フローチャートの処理を終了する。ステップＳ１２の処理は制御部の機能の一例である。 In step S12, the Central Brain 120 controls the autonomous driving based on the control variables calculated in step S11. Then, the Central Brain 120 ends the processing of the flowchart. The processing of step S12 is an example of the function of the control unit.
図４から図８は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０による自動運転の制御例を説明する説明図である。なお、図４から図６は、車両１２を前方から見た視点の説明図であり、図７及び図８は、車両１２を下方から見た視点の説明図である。 Figures 4 to 8 are explanatory diagrams explaining an example of autonomous driving control by the Central Brain 120. Note that Figures 4 to 6 are explanatory diagrams showing the vehicle 12 from a front perspective, and Figures 7 and 8 are explanatory diagrams showing the vehicle 12 from a bottom perspective.
図４は、車両１２が平坦な道路Ｒ１を走行中の場合を示している。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、道路Ｒ１に合わせて算出した上記１６の制御変数に基づいて、４つの車輪３０にそれぞれ搭載されたインホイールモータ３１を制御することで、４つの車輪３０それぞれの車輪速、傾き、及び４つの車輪３０それぞれを支持するサスペンション３２を制御して自動運転を行う。 Figure 4 shows the case where the vehicle 12 is traveling on a flat road R1. The Central Brain 120 controls the in-wheel motors 31 mounted on each of the four wheels 30 based on the above 16 control variables calculated for the road R1, thereby controlling the wheel speed and inclination of each of the four wheels 30, and the suspensions 32 supporting each of the four wheels 30, thereby performing automatic driving.
図５は、車両１２が山道Ｒ２を走行中の場合を示している。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、山道Ｒ２に合わせて算出した上記１６の制御変数に基づいて、４つの車輪３０にそれぞれ搭載されたインホイールモータ３１を制御することで、４つの車輪３０それぞれの車輪速、傾き、及び４つの車輪３０それぞれを支持するサスペンション３２を制御して自動運転を行う。 Figure 5 shows the case where the vehicle 12 is traveling on mountain road R2. The Central Brain 120 controls the in-wheel motors 31 mounted on each of the four wheels 30 based on the above 16 control variables calculated for mountain road R2, thereby controlling the wheel speed and inclination of each of the four wheels 30, and the suspensions 32 supporting each of the four wheels 30, thereby performing automatic driving.
図６は、車両１２が水たまりＲ３を走行中の場合を示している。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、水たまりＲ３に合わせて算出した上記１６の制御変数に基づいて、４つの車輪３０にそれぞれ搭載されたインホイールモータ３１を制御することで、４つの車輪３０それぞれの車輪速、傾き、及び４つの車輪３０それぞれを支持するサスペンション３２を制御して自動運転を行う。 Figure 6 shows the case where the vehicle 12 is driving through a puddle R3. The Central Brain 120 controls the in-wheel motors 31 mounted on each of the four wheels 30 based on the above 16 control variables calculated for the puddle R3, thereby controlling the wheel speed and inclination of each of the four wheels 30, and the suspensions 32 supporting each of the four wheels 30, thereby performing automatic driving.
図７は、車両１２が矢印Ａ１で示す方向にカーブする場合を示している。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、進入するカーブ路に合わせて算出した上記１６の制御変数に基づいて、４つの車輪３０にそれぞれ搭載されたインホイールモータ３１を制御することで、４つの車輪３０それぞれの車輪速、傾き、及び４つの車輪３０それぞれを支持するサスペンション３２（図示せず）を制御して自動運転を行う。 Figure 7 shows a case where the vehicle 12 curves in the direction indicated by the arrow A1. The Central Brain 120 controls the in-wheel motors 31 mounted on each of the four wheels 30 based on the above 16 control variables calculated according to the curved road to be approached, thereby controlling the wheel speed and inclination of each of the four wheels 30, and the suspensions 32 (not shown) that support each of the four wheels 30, thereby performing automatic driving.
図８は、車両１２が矢印Ａ２で示す方向に平行移動する場合を示している。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、矢印Ａ２で示す方向への平行移動に合わせて算出した上記１６の制御変数に基づいて、４つの車輪３０にそれぞれ搭載されたインホイールモータ３１を制御することで、４つの車輪３０それぞれの車輪速、傾き、及び４つの車輪３０それぞれを支持するサスペンション３２（図示せず）を制御して自動運転を行う。 Figure 8 shows a case where the vehicle 12 moves parallel in the direction indicated by the arrow A2. The Central Brain 120 controls the in-wheel motors 31 mounted on each of the four wheels 30 based on the above 16 control variables calculated in accordance with the parallel movement in the direction indicated by the arrow A2, thereby controlling the wheel speed and inclination of each of the four wheels 30, and the suspensions 32 (not shown) supporting each of the four wheels 30, thereby performing automatic driving.
なお、図４から図８で示す車輪３０及びサスペンション３２の状態（傾き）は、あくまで一例であり、各図で示す状態とは異なる車輪３０及びサスペンション３２の状態が生じうることは言うまでもない。 Note that the states (tilts) of the wheels 30 and suspensions 32 shown in Figures 4 to 8 are merely examples, and it goes without saying that the wheels 30 and suspensions 32 may be in states different from those shown in each figure.
ここで、従来の車両に搭載されたインホイールモータは、それぞれの駆動輪を独立して制御することができるが、当該車両では、道路状況等を分析してインホイールモータを制御することまではできなかった。そのため、当該車両では、例えば、山道又は水たまり等を走行する場合に道路状況等に基づく適切な自動運転が行えなかった。 Here, while the in-wheel motors installed in conventional vehicles can control each drive wheel independently, the vehicle in question was not able to analyze road conditions and control the in-wheel motors. As a result, the vehicle in question was unable to perform appropriate automatic driving based on road conditions, for example, when traveling on mountain roads or through puddles.
しかし、本実施形態に係る車両１２によれば、上記で説明した構成に基づいて、道路状況等の環境に適してスピード及びステアリング等が制御された自動運転を行うことができる。 However, the vehicle 12 according to this embodiment can perform automatic driving with speed, steering, etc. controlled according to the environment, such as road conditions, based on the configuration described above.
上述したように制御変数に基づいて、車両１２の挙動を制御して自動運転を実行することが可能である。 As described above, it is possible to control the behavior of the vehicle 12 and perform autonomous driving based on the control variables.
ところで、車両の走行中には、障害物が車両に接近する場合がある。この場合、車両は、障害物との接触または衝突を回避するために車両の挙動を変更して走行することが好ましい。障害物の一例には、走行中の自車両以外の他車両、壁面、ガードレール、縁石、及びその他の設置物が挙げられる。以降の説明では、障害物の一例として、車両１２に接近する他車両を適用した場合を説明する。なお、障害物は対象物の一例である。 However, while the vehicle is traveling, an obstacle may approach the vehicle. In this case, it is preferable for the vehicle to change its behavior while traveling in order to avoid contact or collision with the obstacle. Examples of obstacles include other vehicles other than the traveling vehicle itself, walls, guardrails, curbs, and other installed objects. In the following explanation, a case where another vehicle approaching the vehicle 12 is used as an example of an obstacle will be explained. Note that an obstacle is an example of a target object.
図９は、対面２車線の道路を走行する車両１２を自車両１２Ａとして、自車両１２Ａの周囲に他車両１２Ｂ、１２Ｃ、１２Ｄが走行している状態を模式的に示す図である。図の例では、自車両１２Ａに後続して他車両１２Ｂが走行し、対向車線を他車両１２Ｄが先行して走行し、後続して他車両１２Ｃが走行している状態である。 Figure 9 is a schematic diagram showing a state in which a vehicle 12 traveling on a two-lane road in both directions is designated as a host vehicle 12A, and other vehicles 12B, 12C, and 12D are traveling around the host vehicle 12A. In the example shown, the other vehicle 12B is traveling behind the host vehicle 12A, and the other vehicle 12D is traveling ahead of the other vehicle 12C in the oncoming lane.
自車両１２ＡのＣｅｎｔｒａｌ Ｂｒａｉｎ１２０は、時々刻々と変化する、走行路を走行する状態に合わせて算出した上述した制御変数に基づいて、４つの車輪３０にそれぞれ搭載されたインホイールモータ３１を制御することで、４つの車輪３０それぞれの車輪速、傾き、及び４つの車輪３０それぞれを支持するサスペンション３２を制御して自動運転を行う。また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、自車両１２Ａの周囲の他車両１２Ｂ、１２Ｃ、１２Ｄの挙動をセンサにより検出しセンサ情報として取得している。 The Central Brain 120 of the vehicle 12A controls the in-wheel motors 31 mounted on each of the four wheels 30 based on the above-mentioned control variables calculated according to the constantly changing conditions of the vehicle as it travels along the road, thereby controlling the wheel speed and inclination of each of the four wheels 30 and the suspensions 32 supporting each of the four wheels 30 to perform automatic driving. The Central Brain 120 also uses sensors to detect the behavior of the other vehicles 12B, 12C, and 12D around the vehicle 12A and acquires this information as sensor information.
図９に示すように、他車両１２Ｄが自車両１２Ａの走行経路に進入する場合、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、少なくとも障害物を回避して走行するために、上述した設定部は、センサ情報から得られる自車両１２Ａの周辺の状況に応じて、現在の位置から目的地に到達するまでの走行戦略を設定する。図９に示す例では、自車両１２Ａが現在の走行状態で走行している走行パターン１２Ａｘ１で、進入する他車両１２Ｄと衝突することを示している。そこで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、例えば、他車両１２Ｄとの衝突を回避する走行パターン１２Ａｘ２の走行パターンを設定する。 As shown in FIG. 9, when another vehicle 12D enters the driving path of the vehicle 12A, the Central Brain 120 at least avoids obstacles while driving, and the setting unit described above sets a driving strategy from the current position to the destination according to the situation around the vehicle 12A obtained from the sensor information. The example shown in FIG. 9 shows that the vehicle 12A will collide with the entering vehicle 12D in the driving pattern 12Ax1 in which the vehicle 12A is currently driving. Therefore, the Central Brain 120 sets, for example, a driving pattern 12Ax2 that avoids a collision with the other vehicle 12D.
走行パターンは、予め定めた複数の異なる走行パターンの中から他車両１２Ｄとの衝突を回避可能な走行パターンが選択されて設定される。具体的には、走行パターン上に他車両１２Ｄが存在しない走行パターンを選択すればよい。複数の走行パターンはメモリに予め記憶しておけばよい。走行パターンは、車両の軌跡を記録した経路を適用可能である。 The driving pattern is set by selecting a driving pattern that can avoid a collision with another vehicle 12D from a plurality of different predetermined driving patterns. Specifically, a driving pattern in which no other vehicle 12D exists on the driving pattern may be selected. The plurality of driving patterns may be stored in memory in advance. The driving pattern may be a route that records the trajectory of the vehicle.
図１０は、複数の異なる走行パターンの一例を示す図である。図１０に示す例は、Ｌ字カーブのように、１か所のカーブを有する走行パターンＰＬ、Ｍ字カーブのように、３か所のカーブを有する走行パターンＰＭ、Ｓ字カーブのように、４か所のカーブを有する走行パターンＰＳを示している。各パターンに対して１０種類の変形例を対応させ、合計の３０種類の中から他車両１２Ｄとの衝突を回避可能な１つの走行パターンを選択すればよい。 Figure 10 is a diagram showing an example of multiple different driving patterns. The example shown in Figure 10 shows a driving pattern PL with one curve, such as an L-shaped curve, a driving pattern PM with three curves, such as an M-shaped curve, and a driving pattern PS with four curves, such as an S-shaped curve. Ten types of modified examples are associated with each pattern, and one driving pattern that can avoid a collision with another vehicle 12D can be selected from a total of 30 types.
また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、少なくとも障害物を回避して走行するために、取得されたセンサ情報から自車両に対する障害物の接触を含む衝突の位置を予測する機能を有すればよい。よって、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、予測位置における他車両を回避可能な走行パターンを設定する。そして、当該走行パターンに応じた制御変数を算出する。当該制御変数は、自車両１２Ａの現在の速度に対応して、加減速及び操舵角の少なくとも一方を時系列に変更することで、他車両を回避可能な走行パターンに沿う走行状態に制御可能な制御変数を算出することが可能となる。 The Central Brain 120 may have a function of predicting the position of a collision, including contact of an obstacle with the vehicle, from the acquired sensor information in order to travel while avoiding at least the obstacle. Therefore, the Central Brain 120 sets a travel pattern capable of avoiding other vehicles at the predicted position. Then, it calculates a control variable corresponding to the travel pattern. The control variable can be calculated so that the vehicle can be controlled to a travel state that conforms to a travel pattern that can avoid other vehicles by changing at least one of the acceleration/deceleration and steering angle in a time series corresponding to the current speed of the vehicle 12A.
例えば、図１１に示すように、同じ走行パターンであっても、当該走行パターンの一部のゲイン（増幅度合い）を変更することで、走行パターンの形状を変更可能である。よって、制御変数は、算出された走行パターンに合致させるための制御変数の増幅度を算出することを含む。なお、制御変数は、車両の操舵角、及び車両の速度の少なくとも１つを適用可能である。 For example, as shown in FIG. 11, even if the driving pattern is the same, the shape of the driving pattern can be changed by changing the gain (degree of amplification) of a part of the driving pattern. Therefore, the control variable includes calculating the amplification degree of the control variable to match the calculated driving pattern. Note that at least one of the steering angle of the vehicle and the speed of the vehicle can be applied as the control variable.
上述した自動運転を実現し得るＣｅｎｔｒａｌ Ｂｒａｉｎ１２０についてさらに説明する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、図１２に示す情報処理装置１０として構成される。なお、上述したＣｅｎｔｒａｌ Ｂｒａｉｎ１２０は、ゲートウェイを含む情報処理装置として機能する広義の処理装置であり、後述するＣｅｎｔｒａｌ Ｂｒａｉｎ１２５は、プロセッサごとに機能を分類した場合の狭義の処理装置である。 The Central Brain 120 that can realize the above-mentioned autonomous driving will be further explained. The Central Brain 120 is configured as the information processing device 10 shown in FIG. 12. Note that the above-mentioned Central Brain 120 is a processing device in the broad sense that functions as an information processing device including a gateway, and the Central Brain 125 described later is a processing device in the narrow sense when functions are classified by processor.
図１２は、実施形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎを含む情報処理装置１０の構成の一例を示すブロック図である。情報処理装置１０は、ＩＰＵ（Image Processing Unit）１２１、ＭｏＰＵ（Motion Processing Unit）１２２、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５及びメモリ１２６を備えている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５は、ＧＮＰＵ（Graphics Neural network Processing Unit）１２３及びＣＰＵ（Central Processing Unit）１２４を含んで構成されている。 Fig. 12 is a block diagram showing an example of the configuration of an information processing device 10 including a Central Brain according to an embodiment. The information processing device 10 includes an IPU (Image Processing Unit) 121, an MoPU (Motion Processing Unit) 122, a Central Brain 125, and a memory 126. The Central Brain 125 includes a GNPU (Graphics Neural network Processing Unit) 123 and a CPU (Central Processing Unit) 124.
ＩＰＵ１２１は、車両に設置された超高解像度カメラ（図示せず）に内蔵され得る。ＩＰＵ１２１は、車両の周囲に存在する物体の画像について、ベイヤ―変換、デモザイク、ノイズ除去、シャープ化等の所定の画像処理を行い、処理された物体の画像を、例えば１０フレーム／秒のフレームレート且つ１２００万画素の解像度で出力する。ＩＰＵ１２１から出力された画像は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５及びメモリ１２６に供給される。 The IPU 121 may be built into an ultra-high resolution camera (not shown) installed in the vehicle. The IPU 121 performs predetermined image processing such as Bayer transformation, demosaicing, noise removal, and sharpening on images of objects present around the vehicle, and outputs the processed images of the objects at a frame rate of, for example, 10 frames per second and a resolution of 12 million pixels. The images output from the IPU 121 are supplied to the Central Brain 125 and the memory 126.
ＭｏＰＵ１２２は、車両に設置された超高解像度カメラとは別の低解像度カメラに内蔵され得る。ＭｏＰＵ１２２は、撮影された物体の動きを示す動き情報を、例えば１９２０フレーム／秒のフレームレートで出力する。すなわち、ＭｏＰＵ１２２の出力のフレームレートは、ＩＰＵ１２１の出力のフレームレートの１００倍である。ＭｏＰＵ１２２は、物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報を動き情報として出力する。すなわち、ＭｏＰＵ１２２から出力される動き情報には、撮影された物体が何であるか（例えば、人なのか、障害物なのか）を識別するために必要な情報は含まれておらず、当該物体の中心点（又は重心点）の座標軸（ｘ軸、ｙ軸、ｚ軸）上の動き（移動方向と移動速度）を示す情報のみが含まれている。ＭｏＰＵ１２２から出力された画像は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５及びメモリ１２６に供給される。動き情報が画像情報を含まないことで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５及びメモリ１２６に転送される情報量を抑制することできる。 MoPU122 may be built into a low-resolution camera separate from the ultra-high-resolution camera installed in the vehicle. MoPU122 outputs motion information indicating the motion of the photographed object at a frame rate of, for example, 1920 frames/second. That is, the frame rate of the output of MoPU122 is 100 times the frame rate of the output of IPU121. MoPU122 outputs motion information, which is vector information of the motion of a point indicating the location of the object along a predetermined coordinate axis. That is, the motion information output from MoPU122 does not include information necessary to identify what the photographed object is (e.g., whether it is a person or an obstacle), but only includes information indicating the motion (movement direction and movement speed) on the coordinate axes (x-axis, y-axis, z-axis) of the center point (or center of gravity) of the object. The image output from MoPU122 is supplied to Central Brain125 and memory126. Since the motion information does not include image information, the amount of information transferred to the Central Brain 125 and memory 126 can be reduced.
本開示は、撮影された物体の画像を、第１のフレームレートで出力する第１のプロセッサと、撮影された物体の動きを示す動き情報を、前記第１のフレームレートよりも高い第２のフレームレートで出力する第２のプロセッサを含む。すなわち、本開示の車両の周囲の状況を検出する周期として第１周期で車両の周囲を撮影する検出部は、上記「第１のプロセッサ」の一例であり、ＩＰＵ１２１は「第１のプロセッサ」の一例である。また、本開示の第１周期より短い第２周期で車両の周囲の状況を検出するセンサを含む検出部は、上記「第２のプロセッサ」の一例であり、ＭｏＰｕ１２２は、「第２のプロセッサ」の一例である。 The present disclosure includes a first processor that outputs an image of a photographed object at a first frame rate, and a second processor that outputs motion information indicating the motion of the photographed object at a second frame rate that is higher than the first frame rate. That is, the detection unit that photographs the surroundings of the vehicle at a first period as a period for detecting the surroundings of the vehicle of the present disclosure is an example of the above-mentioned "first processor", and IPU121 is an example of the "first processor". Also, the detection unit that includes a sensor that detects the surroundings of the vehicle at a second period that is shorter than the first period of the present disclosure is an example of the above-mentioned "second processor", and MoPu122 is an example of the "second processor".
Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５は、ＩＰＵ１２１から出力された画像及びＭｏＰＵ１２２から出力された動き情報に基づいて、車両の運転制御を実行する。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５は、ＩＰＵ１２１から出力された画像に基づいて、車両の周囲に存在する物体（人、動物、道路、信号、標識、横断歩道、障害物、建物など）を認識する。また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５は、ＭｏＰＵ１２２から出力された動き情報に基づいて、車両の周囲に存在する、何であるか認識された物体の動きを認識する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５は認識した情報に基づいて、例えば、車輪を駆動するモータの制御（速度制御）、ブレーキ制御、ハンドル制御を行う。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５において、ＧＮＰＵ１２３は画像認識に関する処理を担ってもよく、ＣＰＵ１２４は、車両制御に関する処理を担ってもよい。 The Central Brain 125 executes driving control of the vehicle based on the image output from the IPU 121 and the motion information output from the MoPU 122. For example, the Central Brain 125 recognizes objects (people, animals, roads, traffic lights, signs, crosswalks, obstacles, buildings, etc.) around the vehicle based on the image output from the IPU 121. The Central Brain 125 also recognizes the motion of recognized objects around the vehicle based on the motion information output from the MoPU 122. Based on the recognized information, the Central Brain 125 performs, for example, control of the motor that drives the wheels (speed control), brake control, and steering control. In the Central Brain 125, the GNPU 123 may be responsible for processing related to image recognition, and the CPU 124 may be responsible for processing related to vehicle control.
一般的に自動運転における画像認識を行うために超高解像度カメラが使用されている。高解像度カメラによって撮影された画像から、当該画像に含まれる物体が何であるかを認識することは可能である。しかしながら、Ｌｅｖｅｌ６時代の自動運転ではこれだけでは不十分である。Ｌｅｖｅｌ６時代では、物体の動きを認識することも必要である。物体の動きを認識することで、例えば、自動運転によって走行する車両が障害物を回避する回避動作を、より高精度で行うことが可能となる。しかしながら、高解像度カメラでは、１秒間に１０フレーム程度しか画像を取得することができず、物体の動きを解析することは困難である。一方、ＭｏＰＵ１２２を搭載したカメラでは、低解像度であるものの、例えば１９２０フレーム／秒の高フレームレートでの出力が可能である。 Ultra-high resolution cameras are generally used for image recognition in autonomous driving. It is possible to recognize what objects are contained in an image captured by a high resolution camera. However, this alone is not sufficient for autonomous driving in the Level 6 era. In the Level 6 era, it is also necessary to recognize the movement of objects. By recognizing the movement of objects, for example, a vehicle traveling autonomously can perform evasive actions to avoid obstacles with greater accuracy. However, a high resolution camera can only capture images at about 10 frames per second, making it difficult to analyze the movement of objects. On the other hand, a camera equipped with MoPU122 has low resolution, but is capable of outputting at a high frame rate of, for example, 1920 frames/second.
そこで、本開示の技術では、ＩＰＵ１２１及びＭｏＰＵ１２２の２つの独立したプロセッサを用いる。高解像度カメラ（ＩＰＵ１２１）には、捉えた物体が何なのかを認識するために必要な画像情報を取得する役割を与え、ＭｏＰＵ１２２には、物体の動きを検出する役割を与えている。ＭｏＰＵ１２２は、物体を点としてとらえ、その点の座標がｘ軸、ｙ軸、ｚ軸上のどの方向に、どの程度の速度で動くかを解析する。物体の全体の輪郭と、その物体が何なのかの検知は、高解像度カメラからの画像によって行うことが可能であることから、ＭｏＰＵ１２２によって、物体の中心点がどのように移動するかさえ分かれば、物体全体がどのような挙動をするかがわかる。 Therefore, the technology disclosed herein uses two independent processors, IPU 121 and MoPU 122. The high-resolution camera (IPU 121) is given the role of acquiring image information necessary to recognize what the captured object is, and MoPU 122 is given the role of detecting the movement of the object. MoPU 122 captures the object as a point and analyzes in which direction the coordinates of that point move on the x-axis, y-axis, and z-axis, and at what speed. Since it is possible to detect the overall contour of an object and what the object is using images from the high-resolution camera, it is possible to determine how the entire object will behave if only MoPU 122 can determine how the center point of the object moves.
物体の中心点の移動と速度のみを解析する手法によれば、物体の画像全体がどのように動くかを判断することに比べて、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５に転送する情報量を大幅に抑制し、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５における計算量を大幅に低減することが可能である。例えば、１０００ピクセル×１０００ピクセルの画像を、１９２０フレーム／秒のフレームレートでＣｅｎｔｒａｌ Ｂｒａｉｎ１２５に送信する場合、色情報を含めると、４０億ビット／秒のデータをＣｅｎｔｒａｌ Ｂｒａｉｎ１２５に送信することになる。ＭｏＰＵ１２２が、物体の中心点の動きを示す動き情報のみを送信することで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５に転送されるデータの量を２万ビット／秒に圧縮することができる。すなわち、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２５に転送されるデータの量が２０万分の１に圧縮される。 A method of analyzing only the movement and speed of the center point of an object can significantly reduce the amount of information transferred to the Central Brain 125 and the amount of calculations in the Central Brain 125, compared to determining how the entire image of the object moves. For example, when an image of 1000 pixels x 1000 pixels is transmitted to the Central Brain 125 at a frame rate of 1920 frames/second, including color information, 4 billion bits/second of data will be transmitted to the Central Brain 125. By having the MoPU 122 transmit only the motion information indicating the movement of the center point of the object, the amount of data transmitted to the Central Brain 125 can be compressed to 20,000 bits/second. In other words, the amount of data transmitted to the Central Brain 125 is compressed to 1/200,000.
このように、ＩＰＵ１２１から出力される低フレームレート且つ高解像度の画像と、ＭｏＰＵ１２２から出力される高フレームレート且つ軽量の動き情報を組み合わせて用いることで、物体の動きを含む物体認識を、少ないデータ量で実現することが可能となる。 In this way, by combining the low frame rate, high resolution images output from IPU 121 with the high frame rate, lightweight motion information output from MoPU 122, it is possible to realize object recognition, including object motion, with a small amount of data.
なお、１つのＭｏＰＵ１２２を用いた場合には、物体の存在位置を示す点の、三次元直交座標系における２つの座標軸（ｘ軸及びｙ軸）の各々に沿った動きのベクトル情報を取得することが可能である。ステレオカメラの原理を利用して、２つのＭｏＰＵ１２２を用いて、物体の存在位置を示す点の、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を出力してもよい。ｚ軸は、奥行方法（車両の走行）に沿った軸である。 When one MoPU 122 is used, it is possible to obtain vector information of the movement of a point indicating the location of an object along each of two coordinate axes (x-axis and y-axis) in a three-dimensional orthogonal coordinate system. Using the principle of a stereo camera, two MoPUs 122 may be used to output vector information of the movement of a point indicating the location of an object along each of three coordinate axes (x-axis, y-axis, z-axis) in a three-dimensional orthogonal coordinate system. The z-axis is the axis along the depth direction (vehicle travel).
本実施形態では、センサ情報として、車両１２の周囲の状況を検出する周期として、車両の周囲をカメラ等で撮影する第１周期より短い第２周期で車両周辺の状況を検出することが可能である。すなわち、上述したＬｅｖｅｌ５では、例えば、カメラ等によって０．３秒に２回の周囲の状況を検出できるが、本実施形態ではＬｅｖｅｌ６で、例えば５７６回の周囲の状況を検出できる。そして、５７６回の周囲の状況の検出毎にインデックス値及び制御変数を算出でき、Ｌｅｖｅｌ５で実行される自動運転より、高速かつ安全な走行を実行可能に、車両の挙動を制御可能である。 In this embodiment, the sensor information can detect the situation around the vehicle 12 at a second period that is shorter than the first period in which the surroundings of the vehicle are photographed by a camera or the like. That is, at the above-mentioned Level 5, for example, the surrounding situation can be detected twice every 0.3 seconds by a camera or the like, but at Level 6 in this embodiment, the surrounding situation can be detected, for example, 576 times. Then, the index value and the control variable can be calculated for each of the 576 detections of the surrounding situation, and the vehicle behavior can be controlled to enable faster and safer driving than the automated driving performed at Level 5.
なお、自車両１２Ａが少なくとも他車両１２Ｄを回避して走行するために、複数の走行パターンが存在する場合がある。そこで、本実施形態では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、複数の走行パターンの中から最適な走行パターンを決定して走行戦略として設定することが可能である。 Note that there may be multiple driving patterns for the vehicle 12A to travel while avoiding at least the other vehicle 12D. Therefore, in this embodiment, the Central Brain 120 can determine the optimal driving pattern from among the multiple driving patterns and set it as the driving strategy.
図１３は、図９に示す自車両１２Ａと、他車両１２Ｂ，１２Ｃ，１２Ｄとの関係の走行状態において、自車両１２Ａに適用可能な走行パターンを模式的に示す図である。 Figure 13 is a diagram that shows a schematic diagram of driving patterns that can be applied to the host vehicle 12A in the driving state of the host vehicle 12A and the other vehicles 12B, 12C, and 12D shown in Figure 9.
図１３に示す例では、自車両１２Ａの経路である走行パターン１２Ａｘ１で、自車両１２Ａが他車両１２Ｄと衝突する。一方、走行パターン１２Ａｘ２、及び１２Ａｘ３で、自車両１２Ａは他車両１２Ｄに対して接触を含む衝突を回避可能である。そこで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、走行パターン１２Ａｘ２、１２Ａｘ３のそれぞれを算出し、何れか１つを走行パターンとして設定する。当該走行パターンの設定は、自車両１２Ａと他車両１２Ｄとの間の相互関係についてリスクが最小となる関係の走行パターンを設定する。具体的には、図１４に示すように、自車両１２Ａと他車両１２Ｄとの間の距離が最大になる走行パターン１２Ａｘ２を設定する。すなわち、複数の異なる走行パターンのうちの車両と障害物である他車両との間の空間の大きさが予め定めた所定値を超える（例えば、最大値）走行パターン１２Ａｘ２を設定する。 In the example shown in FIG. 13, the vehicle 12A collides with the other vehicle 12D in the driving pattern 12Ax1, which is the route of the vehicle 12A. On the other hand, the vehicle 12A can avoid a collision, including contact, with the other vehicle 12D in the driving patterns 12Ax2 and 12Ax3. Therefore, the Central Brain 120 calculates each of the driving patterns 12Ax2 and 12Ax3, and sets one of them as the driving pattern. The driving pattern setting is a driving pattern that minimizes the risk of the relationship between the vehicle 12A and the other vehicle 12D. Specifically, as shown in FIG. 14, the driving pattern 12Ax2 is set so that the distance between the vehicle 12A and the other vehicle 12D is maximized. In other words, the driving pattern 12Ax2 is set so that the size of the space between the vehicle and the other vehicle, which is an obstacle, exceeds a predetermined value (for example, a maximum value) among a plurality of different driving patterns.
図１５は、上述した自車両１２Ａが他車両１２Ｄを回避して走行することが可能なＣｅｎｔｒａｌ Ｂｒａｉｎ１２０における処理の流れの一例を示すフローチャートである。図１５では、図３に示すステップＳ１１の処理を、ステップＳ１１Ａ，１１Ｂ，１１Ｃに代えて実行する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、図３に示す処理に代えて図１５に示す処理を繰り返し実行することが可能である。 Figure 15 is a flowchart showing an example of the processing flow in the Central Brain 120 that enables the above-mentioned host vehicle 12A to travel while avoiding the other vehicle 12D. In Figure 15, the processing of step S11 shown in Figure 3 is executed instead of steps S11A, 11B, and 11C. The Central Brain 120 can repeatedly execute the processing shown in Figure 15 instead of the processing shown in Figure 3.
ステップＳ１１Ａでは、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、センサ情報に基づいて、車両１２の走行戦略を導出する。そして、ステップＳ１１Ｂでは導出された走行戦略の中から最適な走行戦略（走行パターン）を設定する。そして、ステップＳ１１Ｃで、障害物（例えば、他車両１２Ｄ）を回避して走行可能に設定されている走行戦略（走行パターン）に応じた制御変数を算出する。ステップＳ１１Ａ～Ｓ１１Ｃの処理は算出部の機能の一例であり、ステップＳ１１Ａ、Ｓ１１Ｂの処理は設定部の機能の一例である。 In step S11A, the Central Brain 120 derives a driving strategy for the vehicle 12 based on the sensor information. Then, in step S11B, an optimal driving strategy (driving pattern) is set from among the derived driving strategies. Then, in step S11C, control variables are calculated according to the driving strategy (driving pattern) that is set to enable driving while avoiding obstacles (e.g., another vehicle 12D). The processing of steps S11A to S11C is an example of the function of the calculation unit, and the processing of steps S11A and S11B is an example of the function of the setting unit.
上述した走行戦略（走行パターン）は、時々刻々と変化する車両周辺の状況に応じて走行パターンを変更することも可能である。例えば、走行戦略（走行パターン）は、制御変数に影響する車両の速度等の車両の挙動を変化させるタイミングを含んでもよい。また、制御変数に上記タイミングを含んでもよい。 The driving strategy (driving pattern) described above may be changed in response to the ever-changing conditions around the vehicle. For example, the driving strategy (driving pattern) may include timing for changing the vehicle behavior, such as the vehicle speed, that affects the control variables. The control variables may also include the above timing.
なお、車両１２の速度に関する制御変数は、加速側を大中小（Ｌ、Ｍ、Ｓ）に各１０種類を設定して合計３０種類のパターンを適用し、減速側を大中小（Ｌ、Ｍ、Ｓ）に各１０種類を設定して合計３０種類のパターンを適用し、選択するようにしてもよい。この場合、自車両と他車両との間の関係は時々刻々と変化し、自車両と他車両とが接近する状態では距離が接近する方向に変化するので、パターンを選択する選択肢が時々刻々と小さくなり、選択のための処理時間は低減でき、さらにデルタの差の調整が少なくなる。 The control variables related to the speed of the vehicle 12 may be selected by setting 10 types each of large, medium, and small (L, M, S) on the acceleration side to apply a total of 30 types of patterns, and 10 types each of large, medium, and small (L, M, S) on the deceleration side to apply a total of 30 types of patterns. In this case, the relationship between the vehicle and the other vehicle changes from moment to moment, and when the vehicle and the other vehicle are approaching each other, the distance changes in the direction of approach, so the options for selecting a pattern become smaller from moment to moment, the processing time for selection can be reduced, and further adjustment of the delta difference is reduced.
また、上記では自車両１２Ａに対する他車両として、他車両１２Ｄを適用した場合を説明したが、上述した自車両１２Ａの周囲の他車両１２Ｂ，１２Ｃ，１２Ｄの少なくとも１つ、そして全ての他車両を対象とし、当該対象の他車両に対する衝突リスクを低減する制御変数を算出してもよい。 In addition, in the above, the case where the other vehicle 12D is applied as the other vehicle relative to the host vehicle 12A has been described, but the control variables may be calculated to reduce the risk of collision with at least one or all of the other vehicles 12B, 12C, and 12D surrounding the host vehicle 12A described above.
従って、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、接触を含む衝突の予測に合わせて算出した制御変数に基づいて、例えば４つの車輪３０にそれぞれ搭載されたインホイールモータ３１を制御することで、４つの車輪３０それぞれの車輪速、傾き、及び４つの車輪３０それぞれを支持するサスペンション３２を制御することで、衝突の回避、または衝突時に車両に発生する損害を低減して自動運転することが可能となる。 Therefore, the Central Brain 120 can control, for example, the in-wheel motors 31 mounted on each of the four wheels 30 based on control variables calculated in accordance with the prediction of a collision, including contact, thereby controlling the wheel speed and inclination of each of the four wheels 30, as well as the suspensions 32 supporting each of the four wheels 30, thereby making it possible to avoid a collision or reduce damage to the vehicle in the event of a collision and enable automatic driving.
［第２実施形態］
車両の走行中には、障害物が車両に接近する場合があり、この場合、車両は、障害物との接触または衝突を回避するために車両の挙動を変更して走行することが好ましいことは上述した通りである。障害物の例には、走行中の自車両以外の他車両、壁面、ガードレール、縁石、及びその他の設置物が挙げられることも上述した通りである。以降の説明では、障害物の一例として、車両１２に接近する他車両を適用した場合を説明する。
[Second embodiment]
As described above, an obstacle may approach the vehicle while the vehicle is traveling, and in this case, the vehicle preferably changes its behavior to avoid contact or collision with the obstacle. As described above, examples of the obstacle include other vehicles other than the vehicle itself while traveling, walls, guardrails, curbs, and other installations. In the following description, a case will be described in which another vehicle approaching the vehicle 12 is used as an example of an obstacle.
ところで、車両は、一般に、走行中の挙動に関わる部位の物理的な特性や、応答特性、走行特性等といった各種特性（以下、単に「車両特性」という。）に車種別の差が存在する。また、同一車種の車両についても、製造直後の車両特性は略同一であっても、走行距離が増えるに従って、使用環境や使用頻度、使用方法等の違いに起因して、車両特性の差が徐々に大きくなるのが一般的である。 Generally, vehicle models differ in various characteristics, such as the physical characteristics of parts that affect the vehicle's behavior while driving, response characteristics, driving characteristics, etc. (hereinafter, simply referred to as "vehicle characteristics"). Even if the vehicle characteristics of the same vehicle model are roughly the same immediately after manufacture, as the mileage increases, the differences in vehicle characteristics generally gradually increase due to differences in the usage environment, frequency of use, method of use, etc.
従って、図１０に例示したような各種の走行パターンについても、制御対象とする車両毎に好適な走行パターンが相違する。 Therefore, for the various driving patterns illustrated in FIG. 10, the optimal driving pattern differs for each vehicle to be controlled.
図１６は、障害物を避ける際の車両毎の好適な走行パターンの例を示す図である。なお、図１６に示す例では、上述した走行パターンＰＭ及び走行パターンＰＳの各々について、３台の異なる車両の各々毎の走行パターンの一例が示されている。図１６に示す、異なる車両毎の走行パターンを比較すると、障害物を避ける際における、車両の進行方向に対して左右方向へのぶれ幅が異なったり、車両の進行方向の変化のタイミングが異なったりしている。 Figure 16 is a diagram showing an example of a suitable driving pattern for each vehicle when avoiding an obstacle. Note that in the example shown in Figure 16, an example of a driving pattern for each of three different vehicles is shown for each of the driving patterns PM and PS described above. When comparing the driving patterns for the different vehicles shown in Figure 16, it is clear that when avoiding an obstacle, the amount of deviation to the left and right of the vehicle's traveling direction differs, and the timing of the change in the vehicle's traveling direction differs.
そこで、本実施の形態に係る情報処理装置の一例として機能するＣｅｎｔｒａｌ Ｂｒａｉｎ１２０は、車両（以下、「対象車両」という。）が障害物を回避するために過去に行った走行パターンであり、異なる複数の走行パターンをメモリに登録する登録部の機能を含む。また、本実施の形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎ１２０は、障害物を含む対象車両の周囲の状況を検出するセンサを含む検出部から当該対象車両に関連する複数の情報を取得する取得部の機能を含む。また、本実施の形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎ１２０は、取得部によって取得された複数の情報を用いて、登録された複数の走行パターンから、対象車両が障害物を回避するための走行パターンを選択的に設定する設定部を含み、取得部によって取得された複数の情報、及び設定された走行パターンに基づいて、当該走行パターンに応じて対象車両が走行するように、当該対象車両の挙動を制御するための制御変数を算出する算出部の機能を含む。そして、本実施の形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎ１２０は、算出した制御変数に基づいて、対象車両の挙動を制御する制御部の機能を含む。 The Central Brain 120, which functions as an example of an information processing device according to this embodiment, includes a function of a registration unit that registers in a memory a plurality of different driving patterns that a vehicle (hereinafter referred to as a "target vehicle") has performed in the past to avoid an obstacle. The Central Brain 120 according to this embodiment also includes a function of an acquisition unit that acquires a plurality of pieces of information related to the target vehicle from a detection unit that includes a sensor that detects the surrounding situation of the target vehicle, including obstacles. The Central Brain 120 according to this embodiment also includes a setting unit that selectively sets a driving pattern for the target vehicle to avoid an obstacle from a plurality of registered driving patterns using a plurality of pieces of information acquired by the acquisition unit, and includes a function of a calculation unit that calculates a control variable for controlling the behavior of the target vehicle so that the target vehicle runs according to the driving pattern based on the plurality of pieces of information acquired by the acquisition unit and the set driving pattern. The Central Brain 120 according to this embodiment also includes a function of a control unit that controls the behavior of the target vehicle based on the calculated control variable.
本実施形態では、登録部により、上記走行パターンを、制御の対象とする車両毎にメモリに登録している。特に、本実施形態では、対象車両が走行している際に障害物を回避するべく、設定部によって選択されて設定された走行パターンで走行した場合における実際の走行経路を、登録部により登録する走行パターンの候補とする。 In this embodiment, the registration unit registers the above driving patterns in memory for each vehicle to be controlled. In particular, in this embodiment, the actual driving route when the target vehicle travels in the driving pattern selected and set by the setting unit in order to avoid obstacles while traveling is set as a candidate driving pattern to be registered by the registration unit.
即ち、上述したように、車両毎に車両特性には差があり、設定した走行パターンに対する走行経路の追従性能は車両毎に異なる。このため、必ずしも、実際の走行経路が、設定した走行パターンに一致する訳ではなく、当該実際の走行経路は、車両毎の車両特性が少なからず反映されたものとなる。そこで、本実施形態に係る登録部では、障害物を回避した際の実際の走行経路を、車両特性に応じた自車両に専用の走行パターンとして登録している。 That is, as described above, vehicle characteristics differ from vehicle to vehicle, and the ability of the vehicle to follow the set driving pattern differs from vehicle to vehicle. For this reason, the actual driving route does not necessarily match the set driving pattern, and the actual driving route reflects the vehicle characteristics of each vehicle to some extent. Therefore, in the registration unit according to this embodiment, the actual driving route when the obstacle is avoided is registered as a driving pattern dedicated to the vehicle according to the vehicle characteristics.
但し、この形態に限るものではなく、例えば、対象車両において自動運転を行うことなく、手動で運転を行っている場合に、障害物を回避するべく、進行方向を変えた場合の実際の走行経路を登録部によって登録する形態としてもよい。 However, this is not the only possible form. For example, when the target vehicle is not driven automatically but is being driven manually, the registration unit may register the actual driving route when the direction of travel is changed to avoid an obstacle.
また、本実施形態に係る登録部は、それまでに登録されていた変形例を含む走行パターンの何れか１つを、新たに得られた走行パターンに更新する。 In addition, the registration unit according to this embodiment updates one of the driving patterns, including the modified version, that has been registered up to that point to the newly obtained driving pattern.
なお、上述したように、本実施形態では、登録部により、上記走行パターンを、制御の対象とする車両毎にメモリに登録しているが、これに限るものではない。例えば、登録部により、制御の対象とする車両の車種毎に上記走行パターンを登録する形態としてもよい。この形態によれば、車両毎に走行パターンを登録する場合に比較して、走行パターンの汎用性を向上させることができる。 As described above, in this embodiment, the registration unit registers the driving pattern in the memory for each vehicle to be controlled, but this is not limited to this. For example, the registration unit may register the driving pattern for each vehicle model to be controlled. This configuration can improve the versatility of the driving pattern compared to when a driving pattern is registered for each vehicle.
ここで、本実施形態に係る算出部が、設定部によって設定された走行パターンに応じて対象車両が走行するように制御変数を算出する点、制御変数が、対象車両の速度、及び対象車両の速度を変化させるタイミングを含む点、算出部が、深層学習を用いた積分法による多変量解析によって制御変数を算出する点等は、上述した第１実施形態と同様である。 Here, the calculation unit according to this embodiment calculates the control variables so that the target vehicle travels according to the travel pattern set by the setting unit, the control variables include the speed of the target vehicle and the timing for changing the speed of the target vehicle, and the calculation unit calculates the control variables by multivariate analysis using an integral method that employs deep learning, which are similar to the first embodiment described above.
図１７は、本実施形態に係る、上述した自車両１２Ａが他車両１２Ｄを回避して走行することが可能なＣｅｎｔｒａｌ Ｂｒａｉｎ１２０における処理の流れの一例を示すフローチャートである。図１７に示す処理では、図１５に示すステップＳ１１Ｂの処理を、ステップＳ１１Ｂ１に代えて実行する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、図１５に示す処理に代えて図１７に示す処理を繰り返し実行することが可能である。なお、第１実施形態と共通の処理を行うステップについては、第１実施形態と同一のステップ番号を付して、ここでの説明を省略する。 Figure 17 is a flowchart showing an example of the flow of processing in the Central Brain 120 according to this embodiment, which allows the above-mentioned host vehicle 12A to travel while avoiding the other vehicle 12D. In the processing shown in Figure 17, the processing of step S11B shown in Figure 15 is executed instead of step S11B1. The Central Brain 120 can repeatedly execute the processing shown in Figure 17 instead of the processing shown in Figure 15. Note that the steps that perform the processing common to the first embodiment are given the same step numbers as the first embodiment, and the explanation here is omitted.
ステップＳ１１Ｂ１では、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、登録された走行パターンの中から最適な走行パターンを設定する。本実施形態において、登録された走行パターンとは、登録部によって登録された自車両が過去に行った走行経路から得られたものである点は上述した通りである。ステップＳ１１Ａ～Ｓ１１Ｃの処理は算出部の機能の一例であり、ステップＳ１１Ａ、Ｓ１１Ｂ１の処理は設定部の機能の一例である。 In step S11B1, the Central Brain 120 sets an optimal driving pattern from among the registered driving patterns. As described above, in this embodiment, the registered driving pattern is obtained from the driving routes previously taken by the vehicle, which are registered by the registration unit. The processing of steps S11A to S11C is an example of the function of the calculation unit, and the processing of steps S11A and S11B1 is an example of the function of the setting unit.
図１８は、本実施形態に係る、上述した登録部により自車両に関する走行パターンを登録する場合のＣｅｎｔｒａｌ Ｂｒａｉｎ１２０における処理の流れの一例を示すフローチャートである。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、自車両が他車両を回避して走行した直後に図１８に示す処理を実行する。なお、以下では、錯綜を回避するために、走行パターンＰＬ、ＰＭ、ＰＳといった複数種類の基本的な走行パターン及び当該走行パターンの変形例がメモリに既に登録されている場合について説明する。 Figure 18 is a flowchart showing an example of the processing flow in the Central Brain 120 when the registration unit described above registers a driving pattern related to the vehicle according to this embodiment. The Central Brain 120 executes the processing shown in Figure 18 immediately after the vehicle has avoided another vehicle. In the following, in order to avoid confusion, a case will be described in which multiple types of basic driving patterns such as driving patterns PL, PM, and PS and modified versions of the driving patterns have already been registered in the memory.
ステップＳ２０において、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、直前の自車両が他車両を回避した走行（以下、「対象回避走行」という。）における走行経路を取得する。なお、本実施形態では、当該走行経路を示す情報をメモリに逐次記憶しておき、当該メモリから当該情報を読み出すことで当該走行経路を取得しているが、この形態に限るものでないことは言うまでもない。 In step S20, the Central Brain 120 acquires the driving route of the vehicle in the preceding driving in which the vehicle avoided another vehicle (hereinafter, referred to as "target avoidance driving"). Note that in this embodiment, information indicating the driving route is sequentially stored in a memory, and the driving route is acquired by reading the information from the memory, but it goes without saying that the present invention is not limited to this form.
ステップＳ２１において、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、取得した走行経路が示す走行パターン（以下、「取得走行パターン」という。）に対応する、既登録の走行パターン（以下、「対応走行パターン」という。）を特定する。なお、本実施形態では、対応走行パターンの特定を、取得走行パターンとの類似度が最も高い既登録の走行パターンを特定することで行っている。但し、この形態に限るものではなく、取得走行パターンとの非類似度が最も低い既登録の走行パターンを特定することで、対応走行パターンの特定を行う形態としてもよい。また、本実施形態では、上記類似度を従来既知のテンプレートマッチングを利用して導出しているが、これに限るものではなく、ＣＣＦ（Cross Correlation Function／相互相関関数）による方法、ＤＴＷ（Dynamic Time Warping／動的時間伸縮法）による方法等、他の類似度の導出手法を適用する形態としてもよい。 In step S21, the Central Brain 120 identifies a registered driving pattern (hereinafter referred to as a "corresponding driving pattern") that corresponds to the driving pattern indicated by the acquired driving route (hereinafter referred to as an "acquired driving pattern"). In this embodiment, the corresponding driving pattern is identified by identifying a registered driving pattern that has the highest similarity to the acquired driving pattern. However, this is not limited to this form, and the corresponding driving pattern may be identified by identifying a registered driving pattern that has the lowest dissimilarity to the acquired driving pattern. In this embodiment, the similarity is derived using a conventionally known template matching, but this is not limited to this, and other similarity derivation methods such as a CCF (Cross Correlation Function) method or a DTW (Dynamic Time Warping) method may be applied.
ステップＳ２２において、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、取得走行パターンと、対応走行パターンとが不一致であるか否かを判定し、否定判定となった場合は本処理を終了する一方、肯定判定となった場合はステップＳ２３に移行する。本実施形態では、当該判定を、対応走行パターンを特定した際の類似度が予め定められた閾値（例えば、類似度の最大値が１である場合の０．９）以下であったか否かを判定することで行っているが、これに限るものではない。例えば、対応走行パターンを特定する際に非類似度を適用する場合は、当該非類似度が予め定められた閾値（例えば、非類似度の最大値が１である場合の０．１）以上であったか否かを判定することで、上記判定を行う形態としてもよい。 In step S22, the Central Brain 120 determines whether the acquired driving pattern and the corresponding driving pattern are inconsistent. If the determination is negative, the process ends, whereas if the determination is positive, the process proceeds to step S23. In this embodiment, the determination is made by determining whether the similarity when the corresponding driving pattern is identified is equal to or less than a predetermined threshold (e.g., 0.9 when the maximum similarity is 1), but this is not limited thereto. For example, when applying dissimilarity when identifying the corresponding driving pattern, the above determination may be made by determining whether the dissimilarity is equal to or greater than a predetermined threshold (e.g., 0.1 when the maximum dissimilarity is 1).
ステップＳ２３において、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、対応走行パターンを取得走行パターンに置き換えることで、対応走行パターンを取得走行パターンに更新（取得走行パターンを登録）する。そして、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０は、当該フローチャートの処理を終了する。ステップＳ２０～Ｓ２３の処理は登録部の機能の一例である。 In step S23, the Central Brain 120 replaces the corresponding driving pattern with the acquired driving pattern, thereby updating the corresponding driving pattern to the acquired driving pattern (registering the acquired driving pattern). Then, the Central Brain 120 ends the processing of this flowchart. The processing of steps S20 to S23 is an example of the function of the registration unit.
なお、本第２実施形態に係る情報処理装置に対して、第１実施形態に係る情報処理装置の少なくとも一部の機能を組み合わせて、開示の技術における情報処理装置を構成する形態としてもよいことは言うまでもない。 It goes without saying that the information processing device according to the second embodiment may be configured in a form that combines at least some of the functions of the information processing device according to the first embodiment to configure an information processing device according to the disclosed technology.
図１９は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１２０として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。 19 shows an example of a hardware configuration of a computer 1200 functioning as the Central Brain 120. A program installed on the computer 1200 can cause the computer 1200 to function as one or more "parts" of an apparatus according to the present embodiment, or to execute operations or one or more "parts" associated with an apparatus according to the present embodiment, and/or to execute a process or a step of the process according to the present embodiment. Such a program can be executed by the CPU 1212 to cause the computer 1200 to execute specific operations associated with some or all of the blocks of the flowcharts and block diagrams described herein.
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。 The computer 1200 according to this embodiment includes a CPU 1212, a RAM 1214, and a graphics controller 1216, which are connected to each other by a host controller 1210. The computer 1200 also includes input/output units such as a communication interface 1222, a storage device 1224, a DVD drive, and an IC card drive, which are connected to the host controller 1210 via an input/output controller 1220. The DVD drive may be a DVD-ROM drive, a DVD-RAM drive, etc. The storage device 1224 may be a hard disk drive, a solid state drive, etc. The computer 1200 also includes a ROM 1230 and a legacy input/output unit such as a keyboard, which are connected to the input/output controller 1220 via an input/output chip 1240.
ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。 The CPU 1212 operates according to the programs stored in the ROM 1230 and the RAM 1214, thereby controlling each unit. The graphics controller 1216 acquires image data generated by the CPU 1212 into a frame buffer or the like provided in the RAM 1214 or into itself, and causes the image data to be displayed on the display device 1218.
通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。 The communication interface 1222 communicates with other electronic devices via a network. The storage device 1224 stores programs and data used by the CPU 1212 in the computer 1200. The DVD drive reads programs or data from a DVD-ROM or the like and provides them to the storage device 1224. The IC card drive reads programs and data from an IC card and/or writes programs and data to an IC card.
ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。 ROM 1230 stores therein a boot program or the like executed by computer 1200 upon activation, and/or a program that depends on the hardware of computer 1200. I/O chip 1240 may also connect various I/O units to I/O controller 1220 via USB ports, parallel ports, serial ports, keyboard ports, mouse ports, etc.
プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。 The programs are provided by a computer-readable storage medium such as a DVD-ROM or an IC card. The programs are read from the computer-readable storage medium, installed in storage device 1224, RAM 1214, or ROM 1230, which are also examples of computer-readable storage media, and executed by CPU 1212. The information processing described in these programs is read by computer 1200, and brings about cooperation between the programs and the various types of hardware resources described above. An apparatus or method may be constructed by realizing the operation or processing of information according to the use of computer 1200.
例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。 For example, when communication is performed between computer 1200 and an external device, CPU 1212 may execute a communication program loaded into RAM 1214 and instruct communication interface 1222 to perform communication processing based on the processing described in the communication program. Under the control of CPU 1212, communication interface 1222 reads transmission data stored in a transmission buffer area provided in RAM 1214, storage device 1224, a DVD-ROM, or a recording medium such as an IC card, and transmits the read transmission data to the network, or writes received data received from the network to a reception buffer area or the like provided on the recording medium.
また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。 The CPU 1212 may also cause all or a necessary portion of a file or database stored in an external recording medium such as the storage device 1224, a DVD drive (DVD-ROM), an IC card, etc. to be read into the RAM 1214, and perform various types of processing on the data on the RAM 1214. The CPU 1212 may then write back the processed data to the external recording medium.
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。 Various types of information, such as various types of programs, data, tables, and databases, may be stored on the recording medium and may undergo information processing. The CPU 1212 may perform various types of processing on the data read from the RAM 1214, including various types of operations, information processing, conditional judgment, conditional branching, unconditional branching, information search/replacement, etc., as described throughout this disclosure and specified by the instruction sequence of the program, and writes back the results to the RAM 1214. The CPU 1212 may also search for information in a file, database, etc. in the recording medium. For example, when multiple entries each having an attribute value of a first attribute associated with an attribute value of a second attribute are stored in the recording medium, the CPU 1212 may search for an entry whose attribute value of the first attribute matches a specified condition from among the multiple entries, read the attribute value of the second attribute stored in the entry, and thereby obtain the attribute value of the second attribute associated with the first attribute that satisfies a predetermined condition.
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。 The above-described programs or software modules may be stored in a computer-readable storage medium on or near the computer 1200. In addition, a recording medium such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable storage medium, thereby providing the programs to the computer 1200 via the network.
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。 The blocks in the flowcharts and block diagrams in this embodiment may represent stages of a process in which an operation is performed or "parts" of a device responsible for performing the operation. Particular stages and "parts" may be implemented by dedicated circuitry, programmable circuitry provided with computer-readable instructions stored on a computer-readable storage medium, and/or a processor provided with computer-readable instructions stored on a computer-readable storage medium. The dedicated circuitry may include digital and/or analog hardware circuits and may include integrated circuits (ICs) and/or discrete circuits. The programmable circuitry may include reconfigurable hardware circuits including AND, OR, XOR, NAND, NOR, and other logical operations, flip-flops, registers, and memory elements, such as, for example, field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), and the like.
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。 A computer-readable storage medium may include any tangible device capable of storing instructions that are executed by a suitable device, such that a computer-readable storage medium having instructions stored thereon comprises an article of manufacture that includes instructions that can be executed to create means for performing the operations specified in the flowchart or block diagram. Examples of computer-readable storage media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like. More specific examples of computer-readable storage media may include floppy disks, diskettes, hard disks, random access memories (RAMs), read-only memories (ROMs), erasable programmable read-only memories (EPROMs or flash memories), electrically erasable programmable read-only memories (EEPROMs), static random access memories (SRAMs), compact disk read-only memories (CD-ROMs), digital versatile disks (DVDs), Blu-ray disks, memory sticks, integrated circuit cards, and the like.
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。 The computer readable instructions may include either assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk (registered trademark), JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。 The computer-readable instructions may be provided to a processor of a general-purpose computer, special-purpose computer, or other programmable data processing apparatus, or a programmable circuit, either locally or over a local area network (LAN), a wide area network (WAN), such as the Internet, to cause the processor of the general-purpose computer, special-purpose computer, or other programmable data processing apparatus, or a programmable circuit, to execute the computer-readable instructions to generate means for performing the operations specified in the flowcharts or block diagrams. Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, etc.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 The present invention has been described above using an embodiment, but the technical scope of the present invention is not limited to the scope described in the above embodiment. It is clear to those skilled in the art that various modifications and improvements can be made to the above embodiment. It is clear from the claims that forms with such modifications or improvements can also be included in the technical scope of the present invention.
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process, such as operations, procedures, steps, and stages, in the devices, systems, programs, and methods shown in the claims, specifications, and drawings is not specifically stated as "before" or "prior to," and it should be noted that the processes may be performed in any order, unless the output of a previous process is used in a later process. Even if the operational flow in the claims, specifications, and drawings is explained using "first," "next," etc. for convenience, it does not mean that it is necessary to perform the processes in that order.
１２０ Ｃｅｎｔｒａｌ Ｂｒａｉｎ
１２１ ＩＰＵ
１２２ ＭｏＰＵ
１２３ ＧＮＰＵ
１２４ ＣＰＵ
１２５ Ｃｅｎｔｒａｌ Ｂｒａｉｎ
１２６ メモリ
１２００ コンピュータ
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２１６ グラフィックコントローラ
１２１８ ディスプレイデバイス
１２２０ 入出力コントローラ
１２２２ 通信インタフェース
１２２４ 記憶装置
１２３０ ＲＯＭ
１２４０ 入出力チップ
120 Central Brain
121 IPU
122 MoPU
123 GNPU
124 CPU
125 Central Brain
126 Memory 1200 Computer 1210 Host controller 1212 CPU
1214 RAM
1216 Graphic controller 1218 Display device 1220 Input/output controller 1222 Communication interface 1224 Storage device 1230 ROM
1240 Input/Output Chip
Claims (7)
前記障害物を含む前記車両の周囲の状況を検出するセンサを含む検出部から前記車両に関連する複数の情報を取得する取得部と、
前記取得された複数の情報を用いて、前記登録された複数の走行パターンから前記車両が前記障害物を回避するための走行パターンを選択的に設定する設定部を含み、前記取得された複数の情報、及び設定された走行パターンに基づいて、当該走行パターンに応じて前記車両が走行するように、前記車両の挙動を制御するための制御変数を算出する算出部と、
前記算出した前記制御変数に基づいて、前記車両の挙動を制御する制御部と、を備える
情報処理装置。 A registration unit that registers a plurality of different driving patterns that have been performed in the past by a vehicle to avoid obstacles;
an acquisition unit that acquires a plurality of pieces of information related to the vehicle from a detection unit including a sensor that detects a surrounding situation of the vehicle including the obstacle;
a setting unit that selectively sets a driving pattern for the vehicle to avoid the obstacle from the registered driving patterns using the acquired plurality of pieces of information, and a calculation unit that calculates a control variable for controlling a behavior of the vehicle based on the acquired plurality of pieces of information and the set driving pattern so that the vehicle drives in accordance with the driving pattern;
a control unit that controls a behavior of the vehicle based on the calculated control variable.
請求項１に記載の情報処理装置。 The registration unit registers the driving pattern for each vehicle to be controlled, or for each vehicle model of the vehicle.
The information processing device according to claim 1 .
請求項１に記載の情報処理装置。 The obstacle is a vehicle other than the vehicle.
The information processing device according to claim 1 .
請求項１に記載の情報処理装置。 The information processing device according to claim 1 , wherein the control variables are a speed of the vehicle and a timing for changing the speed of the vehicle.
請求項１に記載の情報処理装置。 The information processing device according to claim 1 , wherein the calculation unit calculates the control variables by multivariate analysis using an integral method that employs deep learning.
請求項１に記載の情報処理装置。 2. The information processing device according to claim 1, wherein the acquisition unit acquires the plurality of pieces of information in units of one billionth of a second, the calculation unit calculates the control variable using the information acquired in units of one billionth of a second, and the control unit executes control of the behavior of the vehicle in units of one billionth of a second using the control variable.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2023/038225 WO2024090388A1 (en) | 2022-10-24 | 2023-10-23 | Information processing device and program |
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022170165 | 2022-10-24 | ||
| JP2022170165 | 2022-10-24 | ||
| JP2022182131 | 2022-11-14 | ||
| JP2022182131 | 2022-11-14 | ||
| JP2022186645 | 2022-11-22 | ||
| JP2022186645 | 2022-11-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024062323A true JP2024062323A (en) | 2024-05-09 |
Family
ID=90970454
Family Applications (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023000629A Pending JP2024062320A (en) | 2022-10-24 | 2023-01-05 | Information processing device and program |
| JP2023000630A Pending JP2024062321A (en) | 2022-10-24 | 2023-01-05 | Information processing device and program |
| JP2023002663A Pending JP2024062323A (en) | 2022-10-24 | 2023-01-11 | Information processing device and program |
| JP2023004746A Pending JP2024062324A (en) | 2022-10-24 | 2023-01-16 | Information processing device and program |
| JP2023008290A Pending JP2024062326A (en) | 2022-10-24 | 2023-01-23 | Information processing device and program |
| JP2023008289A Pending JP2024062325A (en) | 2022-10-24 | 2023-01-23 | Information processing device and program |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023000629A Pending JP2024062320A (en) | 2022-10-24 | 2023-01-05 | Information processing device and program |
| JP2023000630A Pending JP2024062321A (en) | 2022-10-24 | 2023-01-05 | Information processing device and program |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023004746A Pending JP2024062324A (en) | 2022-10-24 | 2023-01-16 | Information processing device and program |
| JP2023008290A Pending JP2024062326A (en) | 2022-10-24 | 2023-01-23 | Information processing device and program |
| JP2023008289A Pending JP2024062325A (en) | 2022-10-24 | 2023-01-23 | Information processing device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (6) | JP2024062320A (en) |
-
2023
- 2023-01-05 JP JP2023000629A patent/JP2024062320A/en active Pending
- 2023-01-05 JP JP2023000630A patent/JP2024062321A/en active Pending
- 2023-01-11 JP JP2023002663A patent/JP2024062323A/en active Pending
- 2023-01-16 JP JP2023004746A patent/JP2024062324A/en active Pending
- 2023-01-23 JP JP2023008290A patent/JP2024062326A/en active Pending
- 2023-01-23 JP JP2023008289A patent/JP2024062325A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024062320A (en) | 2024-05-09 |
| JP2024062326A (en) | 2024-05-09 |
| JP2024062321A (en) | 2024-05-09 |
| JP2024062324A (en) | 2024-05-09 |
| JP2024062325A (en) | 2024-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109937343B (en) | Evaluation framework for prediction trajectories in automated driving vehicle traffic prediction | |
| US20220012916A1 (en) | Image-based depth data and localization | |
| KR102223346B1 (en) | Pedestrian probability prediction system for autonomous vehicles | |
| CN111476079B (en) | Comprehensive and efficient method of merging map features for object detection with LIDAR | |
| CN111986128A (en) | Off-center image fusion | |
| JP2019189213A (en) | Lane post processing in automatic driving vehicle | |
| JP2024062323A (en) | Information processing device and program | |
| WO2024090388A1 (en) | Information processing device and program | |
| US20230054626A1 (en) | Persisting Predicted Objects for Robustness to Perception Issues in Autonomous Driving | |
| JP2024062318A (en) | Information processing device and vehicle | |
| US20240020964A1 (en) | Method and device for improving object recognition rate of self-driving car | |
| JP2024062345A (en) | Information processing device, information processing method, and information processing program | |
| JP2024062336A (en) | Information processing device, information processing method, and information processing program |