JP6795379B2 - Operation control device, operation control method and operation control program - Google Patents
Operation control device, operation control method and operation control program Download PDFInfo
- Publication number
- JP6795379B2 JP6795379B2 JP2016217869A JP2016217869A JP6795379B2 JP 6795379 B2 JP6795379 B2 JP 6795379B2 JP 2016217869 A JP2016217869 A JP 2016217869A JP 2016217869 A JP2016217869 A JP 2016217869A JP 6795379 B2 JP6795379 B2 JP 6795379B2
- Authority
- JP
- Japan
- Prior art keywords
- appearance
- map
- vehicle
- driving
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
本開示は、車両を自動運転する自動運転モードと、車両を運転者により手動運転する手動運転モードとのいずれかにより車両の運転を制御する運転制御装置、運転制御方法及び運転制御プログラムに関するものである。 The present disclosure relates to a driving control device, a driving control method, and a driving control program that control the driving of a vehicle by either an automatic driving mode in which the vehicle is automatically driven or a manual driving mode in which the vehicle is manually driven by the driver. is there.
近年、車両を自動運転する技術の開発が進められている。自動運転可能な車両において、自動運転することが難しい環境下においては、車両を自動運転する自動運転モードで走行せずに、車両を運転者により手動運転する手動運転モードで走行することが好ましい。 In recent years, the development of technology for automatically driving a vehicle has been promoted. In an environment where it is difficult to drive a vehicle automatically, it is preferable to drive the vehicle in a manual driving mode in which the vehicle is manually driven by the driver, instead of driving in the automatic driving mode in which the vehicle is automatically driven.
例えば、特許文献1では、制御コンピュータが安全に制御することが可能であるか否かを判断し、制御コンピュータが安全に制御することが可能であると判断した場合に自動運転され、制御コンピュータが安全に制御することができないと判断した場合に手動運転される。 For example, in Patent Document 1, it is determined whether or not the control computer can be safely controlled, and when it is determined that the control computer can be safely controlled, the control computer is automatically operated and the control computer is operated. It is manually operated when it is determined that it cannot be controlled safely.
しかしながら、上記従来の技術では、更なる改善が必要とされていた。 However, in the above-mentioned conventional technique, further improvement is required.
本開示の一態様に係る運転制御装置は、車両を自動運転する自動運転モードと、前記車両を運転者により手動運転する手動運転モードとのいずれかにより前記車両の運転を制御する運転制御装置であって、物体が出現する可能性がある出現領域を規定する物体出現マップを記憶するマップ記憶部と、前記車両の進行方向を撮影した撮影画像に含まれる前記物体を検出する物体検出部と、前記物体の検出結果と前記物体出現マップとに基づいて、前記自動運転モードから前記手動運転モードに切り替える切替部と、切り替えられた前記手動運転モードにより前記車両の運転を制御する運転制御部と、を備える。 The driving control device according to one aspect of the present disclosure is a driving control device that controls the driving of the vehicle by either an automatic driving mode in which the vehicle is automatically driven or a manual driving mode in which the vehicle is manually driven by the driver. A map storage unit that stores an object appearance map that defines an appearance area in which an object may appear, and an object detection unit that detects the object included in a captured image of the traveling direction of the vehicle. A switching unit that switches from the automatic driving mode to the manual driving mode based on the detection result of the object and the object appearance map, and a driving control unit that controls the driving of the vehicle by the switched manual driving mode. To be equipped.
本開示によれば、物体の検出精度に応じて、車両を自動運転する自動運転モードから、車両を運転者により手動運転する手動運転モードに切り替えることができる。 According to the present disclosure, it is possible to switch from the automatic driving mode in which the vehicle is automatically driven to the manual driving mode in which the vehicle is manually driven by the driver, depending on the detection accuracy of the object.
(本開示の基礎となった知見)
上記のように、特許文献1では、制御コンピュータが安全に制御することが可能であるか否かを判断し、制御コンピュータが安全に制御することが可能であると判断した場合に自動運転され、制御コンピュータが安全に制御することができないと判断した場合に手動運転される。例えば、特許文献1の制御コンピュータは、過去に走行した履歴がない場所であれば、安全に制御できないと判断する。また、制御コンピュータは、車両に接近する複数の障害物が検出された場合に、安全に制御できないと判断する。
(Knowledge on which this disclosure was based)
As described above, in Patent Document 1, it is determined whether or not the control computer can be safely controlled, and when it is determined that the control computer can be safely controlled, the automatic operation is performed. It is manually operated when the control computer determines that it cannot be safely controlled. For example, the control computer of Patent Document 1 determines that it cannot be safely controlled if there is no history of traveling in the past. In addition, the control computer determines that it cannot be safely controlled when a plurality of obstacles approaching the vehicle are detected.
特許文献1では、外部環境の状態に対し、安全に制御することができないと判断する条件を人間の知見によって定義している。しかしながら、外部環境から障害物を認識する認識システムと人間とでは、判断基準が異なるため、人間にとって簡単に認識可能な外部環境であっても、認識システムにとっては認識が難しい外部環境が存在する。そのため、自動運転では、外部環境の状態に対する認識システムの挙動及び性能を考慮する必要がある。 In Patent Document 1, the condition for determining that the state of the external environment cannot be safely controlled is defined by human knowledge. However, since the judgment criteria differ between the recognition system that recognizes obstacles from the external environment and humans, there is an external environment that is difficult for the recognition system to recognize even if it is an external environment that can be easily recognized by humans. Therefore, in automatic operation, it is necessary to consider the behavior and performance of the recognition system with respect to the state of the external environment.
以上の課題を解決するために、本開示の一態様に係る運転制御装置は、車両を自動運転する自動運転モードと、前記車両を運転者により手動運転する手動運転モードとのいずれかにより前記車両の運転を制御する運転制御装置であって、物体が出現する可能性がある出現領域を規定する物体出現マップを記憶するマップ記憶部と、前記車両の進行方向を撮影した撮影画像に含まれる前記物体を検出する物体検出部と、前記物体の検出結果と前記物体出現マップとに基づいて、前記自動運転モードから前記手動運転モードに切り替える切替部と、切り替えられた前記手動運転モードにより前記車両の運転を制御する運転制御部と、を備える。 In order to solve the above problems, the driving control device according to one aspect of the present disclosure is the vehicle in either an automatic driving mode in which the vehicle is automatically driven or a manual driving mode in which the vehicle is manually driven by the driver. A driving control device that controls the driving of the vehicle, the map storage unit that stores an object appearance map that defines an appearance area in which an object may appear, and the photographed image that captures the traveling direction of the vehicle. An object detection unit that detects an object, a switching unit that switches from the automatic driving mode to the manual driving mode based on the detection result of the object and the object appearance map, and the switched manual driving mode of the vehicle. It is provided with an operation control unit that controls operation.
この構成によれば、物体が出現する可能性がある出現領域を規定する物体出現マップがマップ記憶部に記憶されている。車両の進行方向を撮影した撮影画像に含まれる物体が検出される。物体の検出結果と物体出現マップとに基づいて、自動運転モードから手動運転モードに切り替えられる。切り替えられた手動運転モードにより車両の運転が制御される。 According to this configuration, an object appearance map that defines an appearance area in which an object may appear is stored in the map storage unit. Objects included in the captured image of the traveling direction of the vehicle are detected. Based on the object detection result and the object appearance map, the automatic operation mode can be switched to the manual operation mode. The driving of the vehicle is controlled by the switched manual driving mode.
したがって、物体の検出結果と、物体が出現する可能性がある出現領域を規定する物体出現マップとに基づいて、自動運転モードから手動運転モードに切り替えるか否かが判断されるので、物体の検出精度に応じて、車両を自動運転する自動運転モードから、車両を運転者により手動運転する手動運転モードに切り替えることができる。 Therefore, based on the detection result of the object and the object appearance map that defines the appearance area where the object may appear, it is determined whether or not to switch from the automatic operation mode to the manual operation mode. Depending on the accuracy, it is possible to switch from the automatic driving mode in which the vehicle is automatically driven to the manual driving mode in which the vehicle is manually driven by the driver.
また、上記の運転制御装置において、前記物体出現マップは、地図情報に関連付けて管理されてもよい。 Further, in the above-mentioned operation control device, the object appearance map may be managed in association with the map information.
この構成によれば、物体出現マップは、地図情報に関連付けて管理されるので、地図上における物体が出現する可能性がある出現領域を規定することができる。 According to this configuration, since the object appearance map is managed in association with the map information, it is possible to define the appearance area where the object on the map may appear.
また、上記の運転制御装置において、前記車両の周囲の走行環境を取得する走行環境取得部と、前記走行環境取得部によって取得された前記走行環境に応じて、前記物体出現マップを前記撮影画像と同じ視点から見た視点変換後の物体出現マップを生成する生成部と、をさらに備え、前記切替部は、前記撮影画像上に前記視点変換後の物体出現マップを重畳し、前記撮影画像に含まれる前記物体が検出された位置が、前記視点変換後の物体出現マップに含まれる前記出現領域外である場合、前記自動運転モードから前記手動運転モードに切り替えてもよい。 Further, in the above-mentioned operation control device, the object appearance map is combined with the photographed image according to the traveling environment acquisition unit that acquires the traveling environment around the vehicle and the traveling environment acquired by the traveling environment acquisition unit. The switching unit further includes a generation unit that generates an object appearance map after the viewpoint conversion viewed from the same viewpoint, and the switching unit superimposes the object appearance map after the viewpoint conversion on the captured image and includes the captured image. When the position where the object is detected is outside the appearance area included in the object appearance map after the viewpoint conversion, the automatic operation mode may be switched to the manual operation mode.
この構成によれば、車両の周囲の走行環境が取得される。取得された走行環境に応じて、物体出現マップを撮影画像と同じ視点から見た視点変換後の物体出現マップが生成される。撮影画像上に視点変換後の物体出現マップが重畳され、撮影画像に含まれる物体が検出された位置が、視点変換後の物体出現マップに含まれる出現領域外である場合、自動運転モードから手動運転モードに切り替えられる。 According to this configuration, the traveling environment around the vehicle is acquired. According to the acquired driving environment, the object appearance map after the viewpoint conversion is generated when the object appearance map is viewed from the same viewpoint as the captured image. When the object appearance map after viewpoint conversion is superimposed on the captured image and the position where the object included in the captured image is detected is outside the appearance area included in the object appearance map after viewpoint conversion, manual operation is performed from the automatic operation mode. You can switch to the operation mode.
したがって、撮影画像に含まれる物体が検出された位置が、視点変換後の物体出現マップに含まれる出現領域外である場合、物体が正確に検出されていないと判断することができ、この場合、自動運転モードから手動運転モードに切り替えることにより、運転手に車両を運転させることができる。 Therefore, if the position where the object included in the captured image is detected is outside the appearance area included in the object appearance map after the viewpoint conversion, it can be determined that the object is not accurately detected. In this case, By switching from the automatic driving mode to the manual driving mode, the driver can drive the vehicle.
また、上記の運転制御装置において、前記地図は、3次元座標系で表される3次元地図を含み、前記出現領域は、前記3次元地図上における前記物体が出現する可能性がある出現空間を含み、前記生成部は、3次元座標系の前記物体出現マップを、前記撮影画像と同じ視点から見た2次元座標系の前記視点変換後の物体出現マップに変換してもよい。 Further, in the above-mentioned operation control device, the map includes a three-dimensional map represented by a three-dimensional coordinate system, and the appearance area is an appearance space in which the object may appear on the three-dimensional map. Including, the generation unit may convert the object appearance map in the three-dimensional coordinate system into an object appearance map after the viewpoint conversion in the two-dimensional coordinate system viewed from the same viewpoint as the captured image.
この構成によれば、地図は、3次元座標系で表される3次元地図を含み、出現領域は、3次元地図上における物体が出現する可能性がある出現空間を含む。3次元座標系の物体出現マップが、撮影画像と同じ視点から見た2次元座標系の視点変換後の物体出現マップに変換される。 According to this configuration, the map includes a three-dimensional map represented by a three-dimensional coordinate system, and the appearance area includes an appearance space in which an object on the three-dimensional map may appear. The object appearance map of the three-dimensional coordinate system is converted into the object appearance map after the viewpoint conversion of the two-dimensional coordinate system viewed from the same viewpoint as the captured image.
したがって、物体出現マップは、3次元の地図上における物体が出現する可能性がある出現空間を規定するので、より正確に物体が出現する可能性がある出現空間の範囲を規定することができ、自動運転モードから手動運転モードに切り替える精度を高めることができる。 Therefore, since the object appearance map defines the appearance space in which the object may appear on the three-dimensional map, the range of the appearance space in which the object may appear can be defined more accurately. The accuracy of switching from the automatic operation mode to the manual operation mode can be improved.
また、上記の運転制御装置において、前記マップ記憶部は、複数の道路の形状に応じて前記出現領域がそれぞれ規定された、前記撮影画像と同じ視点である2次元座標系でそれぞれ表される複数の物体出現マップを記憶しており、前記車両の進行方向を撮影した撮影画像に含まれる前記道路の形状を取得する走行環境取得部と、前記複数の物体出現マップの中から、取得された前記道路の形状に応じた1の物体出現マップを決定する決定部と、をさらに備えてもよい。 Further, in the above-mentioned operation control device, the map storage unit is represented by a plurality of two-dimensional coordinate systems having the same viewpoint as the captured image, in which the appearance areas are defined according to the shapes of the plurality of roads. The driving environment acquisition unit that stores the object appearance map of the vehicle and acquires the shape of the road included in the photographed image of the traveling direction of the vehicle, and the object acquisition map acquired from the plurality of object appearance maps. It may further include a determination unit that determines one object appearance map according to the shape of the road.
この構成によれば、マップ記憶部は、複数の道路の形状に応じて前記出現領域がそれぞれ規定された、前記撮影画像と同じ視点である2次元座標系でそれぞれ表される複数の物体出現マップを記憶している。車両の進行方向を撮影した撮影画像に含まれる道路の形状が取得される。複数の物体出現マップの中から、取得された道路の形状に応じた1の物体出現マップが決定される。 According to this configuration, the map storage unit is a plurality of object appearance maps represented by a two-dimensional coordinate system having the same viewpoint as the captured image, in which the appearance areas are defined according to the shapes of the plurality of roads. I remember. The shape of the road included in the photographed image of the traveling direction of the vehicle is acquired. From the plurality of object appearance maps, one object appearance map according to the acquired road shape is determined.
したがって、地図データではなく、複数の道路の形状に応じて出現領域がそれぞれ規定された、撮影画像と同じ視点である2次元座標系でそれぞれ表される複数の物体出現マップをメモリに記憶することにより、メモリに記憶するデータ量を削減することができる。 Therefore, instead of the map data, a plurality of object appearance maps represented by a two-dimensional coordinate system, which is the same viewpoint as the captured image and whose appearance areas are defined according to the shapes of a plurality of roads, are stored in the memory. Therefore, the amount of data stored in the memory can be reduced.
また、上記の運転制御装置において、前記地図は、3次元座標系で表される3次元地図を含み、前記出現領域は、前記3次元地図上における前記物体が出現する可能性がある出現空間を含み、前記マップ記憶部は、複数の道路の形状に応じて前記出現空間がそれぞれ規定された、3次元座標系でそれぞれ表される複数の物体出現マップを記憶しており、前記車両の進行方向を撮影した撮影画像に含まれる前記道路の形状を取得する走行環境取得部と、前記複数の物体出現マップの中から、取得された前記道路の形状に応じた1の物体出現マップを決定する決定部と、前記決定部によって前記1の物体出現マップが決定された場合、3次元座標系の前記1の物体出現マップを、前記撮影画像と同じ2次元座標系の物体出現マップに変換する座標系変換部と、をさらに備えてもよい。 Further, in the above-mentioned operation control device, the map includes a three-dimensional map represented by a three-dimensional coordinate system, and the appearance area is an appearance space in which the object may appear on the three-dimensional map. Including, the map storage unit stores a plurality of object appearance maps each represented by a three-dimensional coordinate system in which the appearance space is defined according to the shape of the plurality of roads, and the traveling direction of the vehicle. A determination to determine one object appearance map according to the acquired shape of the road from the traveling environment acquisition unit that acquires the shape of the road included in the photographed image and the plurality of object appearance maps. When the unit and the determination unit determine the object appearance map of 1, the coordinate system that converts the object appearance map of 1 in the 3D coordinate system into an object appearance map of the same 2D coordinate system as the captured image. A conversion unit may be further provided.
この構成によれば、地図は、3次元座標系で表される3次元地図を含み、出現領域は、3次元地図上における物体が出現する可能性がある出現空間を含む。マップ記憶部は、複数の道路の形状に応じて出現空間がそれぞれ規定された、3次元座標系でそれぞれ表される複数の物体出現マップを記憶している。車両の進行方向を撮影した撮影画像に含まれる道路の形状が取得される。複数の物体出現マップの中から、取得された道路の形状に応じた1の物体出現マップが決定される。1の物体出現マップが決定された場合、3次元座標系の1の物体出現マップが、撮影画像と同じ2次元座標系の物体出現マップに変換される。 According to this configuration, the map includes a three-dimensional map represented by a three-dimensional coordinate system, and the appearance area includes an appearance space in which an object on the three-dimensional map may appear. The map storage unit stores a plurality of object appearance maps represented by a three-dimensional coordinate system in which appearance spaces are defined according to the shapes of the plurality of roads. The shape of the road included in the photographed image of the traveling direction of the vehicle is acquired. From the plurality of object appearance maps, one object appearance map according to the acquired road shape is determined. When the object appearance map of 1 is determined, the object appearance map of 1 in the 3D coordinate system is converted into the object appearance map of the same 2D coordinate system as the captured image.
したがって、複数の物体出現マップは、3次元地図上における物体が出現する可能性がある出現空間をそれぞれ規定するので、より正確に物体が出現する可能性がある出現空間の範囲を規定することができ、自動運転モードから手動運転モードに切り替える精度を高めることができる。 Therefore, since each of the plurality of object appearance maps defines the appearance space in which the object may appear on the three-dimensional map, it is possible to more accurately define the range of the appearance space in which the object may appear. It is possible to improve the accuracy of switching from the automatic operation mode to the manual operation mode.
また、上記の運転制御装置において、前記マップ記憶部は、複数の道路の形状に応じて前記出現領域がそれぞれ規定された、前記撮影画像と同じ視点である2次元座標系でそれぞれ表される複数の物体出現マップを記憶しており、識別番号記憶部と、前記撮影画像に含まれる前記物体が検出された位置に応じて、前記複数の物体出現マップの中から1の物体出現マップを決定し、決定した前記1の物体出現マップに対応する識別番号を前記識別番号記憶部に記憶する決定部と、をさらに備え、前記切替部は、所定時間内に前記識別番号記憶部に記憶される前記識別番号が所定回数切り替わった場合、前記自動運転モードから前記手動運転モードに切り替えてもよい。 Further, in the above-mentioned operation control device, the map storage unit is represented by a plurality of two-dimensional coordinate systems having the same viewpoint as the captured image, in which the appearance areas are defined according to the shapes of the plurality of roads. The object appearance map of the above is stored, and one object appearance map is determined from the plurality of object appearance maps according to the identification number storage unit and the position where the object included in the captured image is detected. Further includes a determination unit for storing the determined identification number corresponding to the determined object appearance map in the identification number storage unit, and the switching unit stores the identification number in the identification number storage unit within a predetermined time. When the identification number is switched a predetermined number of times, the automatic operation mode may be switched to the manual operation mode.
この構成によれば、マップ記憶部は、複数の道路の形状に応じて出現領域がそれぞれ規定された、撮影画像と同じ視点である2次元座標系でそれぞれ表される複数の物体出現マップを記憶している。撮影画像に含まれる物体が検出された位置に応じて、複数の物体出現マップの中から1の物体出現マップが決定され、決定された1の物体出現マップに対応する識別番号が識別番号記憶部に記憶される。所定時間内に識別番号記憶部に記憶される識別番号が所定回数切り替わった場合、自動運転モードから手動運転モードに切り替えられる。 According to this configuration, the map storage unit stores a plurality of object appearance maps represented by a two-dimensional coordinate system having the same viewpoint as the captured image, in which appearance areas are defined according to the shapes of the plurality of roads. doing. One object appearance map is determined from a plurality of object appearance maps according to the position where the object included in the captured image is detected, and the identification number corresponding to the determined one object appearance map is the identification number storage unit. Is remembered in. When the identification number stored in the identification number storage unit is switched a predetermined number of times within a predetermined time, the automatic operation mode is switched to the manual operation mode.
したがって、物体出現マップが短時間に変化するということは、物体が正確に検出できていないと判断することができる。この場合、自動運転モードから手動運転モードに切り替えることにより、運転手に車両を運転させることができる。 Therefore, if the object appearance map changes in a short time, it can be determined that the object cannot be detected accurately. In this case, the driver can drive the vehicle by switching from the automatic driving mode to the manual driving mode.
また、上記の運転制御装置において、前記物体は、人物であり、前記出現領域は、前記人物が通行する領域であってもよい。 Further, in the above-mentioned operation control device, the object may be a person, and the appearance area may be an area through which the person passes.
この構成によれば、人物の検出精度に応じて、車両を自動運転する自動運転モードから、車両を運転者により手動運転する手動運転モードに切り替えることができる。 According to this configuration, it is possible to switch from the automatic driving mode in which the vehicle is automatically driven to the manual driving mode in which the vehicle is manually driven by the driver, depending on the detection accuracy of the person.
本開示の他の態様に係る運転制御方法は、車両を自動運転する自動運転モードと、前記車両を運転者により手動運転する手動運転モードとのいずれかにより前記車両の運転を制御する運転制御装置における運転制御方法であって、前記車両の進行方向を撮影した撮影画像に含まれる前記物体を検出し、前記物体の検出結果と、物体が出現する可能性がある出現領域を規定する物体出現マップとに基づいて、前記自動運転モードから前記手動運転モードに切り替え、切り替えた前記手動運転モードにより前記車両の運転を制御する。 The driving control method according to another aspect of the present disclosure is a driving control device that controls the driving of the vehicle by either an automatic driving mode in which the vehicle is automatically driven or a manual driving mode in which the vehicle is manually driven by the driver. The driving control method in the above, which detects the object included in the photographed image of the traveling direction of the vehicle, and defines the detection result of the object and the appearance area where the object may appear. Based on the above, the automatic driving mode is switched to the manual driving mode, and the driving of the vehicle is controlled by the switched manual driving mode.
この構成によれば、車両の進行方向を撮影した撮影画像に含まれる物体が検出される。物体の検出結果と、物体が出現する可能性がある出現領域を規定する物体出現マップとに基づいて、自動運転モードから手動運転モードに切り替えられる。切り替えられた手動運転モードにより車両の運転が制御される。 According to this configuration, an object included in a captured image of the traveling direction of the vehicle is detected. The automatic operation mode can be switched to the manual operation mode based on the detection result of the object and the object appearance map that defines the appearance area where the object may appear. The driving of the vehicle is controlled by the switched manual driving mode.
したがって、物体の検出結果と、物体が出現する可能性がある出現領域を規定する物体出現マップとに基づいて、自動運転モードから手動運転モードに切り替えるか否かが判断されるので、物体の検出精度に応じて、車両を自動運転する自動運転モードから、車両を運転者により手動運転する手動運転モードに切り替えることができる。 Therefore, based on the detection result of the object and the object appearance map that defines the appearance area where the object may appear, it is determined whether or not to switch from the automatic operation mode to the manual operation mode. Depending on the accuracy, it is possible to switch from the automatic driving mode in which the vehicle is automatically driven to the manual driving mode in which the vehicle is manually driven by the driver.
本開示の他の態様に係る運転制御プログラムは、車両を自動運転する自動運転モードと、前記車両を運転者により手動運転する手動運転モードとのいずれかにより前記車両の運転を制御する運転制御プログラムであって、物体が出現する可能性がある出現領域を規定する物体出現マップを記憶するマップ記憶部と、前記車両の進行方向を撮影した撮影画像に含まれる前記物体を検出する物体検出部と、前記物体の検出結果と前記物体出現マップとに基づいて、前記自動運転モードから前記手動運転モードに切り替える切替部と、切り替えられた前記手動運転モードにより前記車両の運転を制御する運転制御部としてコンピュータを機能させる。 The driving control program according to another aspect of the present disclosure is a driving control program that controls the driving of the vehicle by either an automatic driving mode in which the vehicle is automatically driven or a manual driving mode in which the vehicle is manually driven by the driver. A map storage unit that stores an object appearance map that defines an appearance area in which an object may appear, and an object detection unit that detects the object included in a captured image of the traveling direction of the vehicle. As a switching unit that switches from the automatic driving mode to the manual driving mode based on the detection result of the object and the object appearance map, and as a driving control unit that controls the driving of the vehicle by the switched manual driving mode. Make your computer work.
この構成によれば、物体が出現する可能性がある出現領域を規定する物体出現マップがマップ記憶部に記憶されている。車両の進行方向を撮影した撮影画像に含まれる物体が検出される。物体の検出結果と物体出現マップとに基づいて、自動運転モードから手動運転モードに切り替えられる。切り替えられた手動運転モードにより車両の運転が制御される。 According to this configuration, an object appearance map that defines an appearance area in which an object may appear is stored in the map storage unit. Objects included in the captured image of the traveling direction of the vehicle are detected. Based on the object detection result and the object appearance map, the automatic operation mode can be switched to the manual operation mode. The driving of the vehicle is controlled by the switched manual driving mode.
したがって、物体の検出結果と、物体が出現する可能性がある出現領域を規定する物体出現マップとに基づいて、自動運転モードから手動運転モードに切り替えるか否かが判断されるので、物体の検出精度に応じて、車両を自動運転する自動運転モードから、車両を運転者により手動運転する手動運転モードに切り替えることができる。 Therefore, based on the detection result of the object and the object appearance map that defines the appearance area where the object may appear, it is determined whether or not to switch from the automatic operation mode to the manual operation mode. Depending on the accuracy, it is possible to switch from the automatic driving mode in which the vehicle is automatically driven to the manual driving mode in which the vehicle is manually driven by the driver.
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。 Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings. The following embodiments are examples that embody the present disclosure, and do not limit the technical scope of the present disclosure.
(実施の形態1)
図1は、本実施の形態1に係る車両制御システムの構成を示すブロック図である。図1に示す車両制御システムは、運転制御装置1とカメラ2とを備える。運転制御装置1は、車両を自動運転する自動運転モードと、車両を運転者により手動運転する手動運転モードとのいずれかにより車両の運転を制御する。なお、車両は、自動車であるが、本開示は特にこれに限定されず、車両は、オートバイ、トラック、バス、電車及び飛行体などの種々の車両であってもよい。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of a vehicle control system according to the first embodiment. The vehicle control system shown in FIG. 1 includes a driving control device 1 and a camera 2. The driving control device 1 controls the driving of the vehicle by either an automatic driving mode in which the vehicle is automatically driven or a manual driving mode in which the vehicle is manually driven by the driver. The vehicle is an automobile, but the present disclosure is not particularly limited to this, and the vehicle may be various vehicles such as motorcycles, trucks, buses, trains, and flying objects.
カメラ2は、車両のバックミラーの近傍に配置され、車両の前方の画像を撮影する。なお、カメラ2は、車両の前方だけでなく、車両の後方などの車両の進行方向の画像を撮影してもよい。 The camera 2 is arranged near the rear-view mirror of the vehicle and takes an image of the front of the vehicle. The camera 2 may capture an image of the traveling direction of the vehicle such as the rear of the vehicle as well as the front of the vehicle.
運転制御装置1は、車両に配置される。運転制御装置1は、メモリ3及びプロセッサ4を備える。
The driving control device 1 is arranged in the vehicle. The operation control device 1 includes a
メモリ3は、コンピュータ読み取り可能な記録媒体であり、例えば、ハードディスクドライブ、ROM(Read Only Memory)、RAM(Random Access Memory)、光ディスク及び半導体メモリ等である。メモリ3は、プロセッサ4により実行される運転制御プログラムを記憶している。また、メモリ3は、出現尤度マップ記憶部13を備える。
The
出現尤度マップ記憶部13は、マップ記憶部の一例であり、物体が出現する可能性がある出現領域を規定する出現尤度マップ(物体出現マップ)を記憶する。出現尤度マップは、地図情報に関連付けて管理される。本実施の形態1における出現尤度マップは、2次元の地図上における物体が出現する可能性がある出現領域を規定している。なお、物体は、例えば、人物又は車両であり、出現尤度マップは、人物が通行する出現領域と、車両が通行する出現領域とを個別に示す。
The appearance likelihood
なお、出現尤度マップは、出現尤度マップ記憶部13に予め記憶されているが、本開示は特にこれに限定されず、不図示の通信部を介してサーバから取得され、出現尤度マップ記憶部13に記憶されてもよい。
The appearance likelihood map is stored in advance in the appearance likelihood
また、出現尤度マップの出現領域は、過去の人物又は車両の検出結果から統計的に算出してもよい。また、出現尤度マップの出現領域は、2次元の地図上にオペレータによって付与されてもよく、例えば道路交通法などの所定の規則に従って、人物又は車両が通行可能な領域に付与されてもよい。 In addition, the appearance area of the appearance likelihood map may be statistically calculated from the detection results of past persons or vehicles. Further, the appearance area of the appearance likelihood map may be assigned by the operator on the two-dimensional map, or may be assigned to the area where a person or a vehicle can pass according to a predetermined rule such as the Road Traffic Act. ..
プロセッサ4は、例えばCPU(中央演算処理装置)であり、メモリ3に記憶されている運転制御プログラムを実行する。プロセッサ4は、物体検出部11、走行環境取得部12、出現尤度マップ生成部14、運転モード切替部15及び車両制御部16を備える。
The
物体検出部11は、カメラ2によって車両の進行方向を撮影した撮影画像に含まれる物体を検出する。物体検出部11は、カメラ2によって車両の進行方向を撮影した撮影画像に含まれる人物又は車両を検出する。物体検出部11は、例えば、機械学習したニューラルネットワークに撮影画像を入力することにより、撮影画像に含まれる人物又は車両を検出する。なお、物体検出部11による検出対象は、人物又は車両に限定されない。
The
走行環境取得部12は、車両の周囲の走行環境を取得する。走行環境取得部12は、カメラ2によって車両の進行方向を撮影した撮影画像から、道路上に描かれた車線を認識し、走行している道路の形状を取得する。また、走行環境取得部12は、撮影画像から、標識及び信号機を認識し、標識情報及び信号機情報を取得する。また、走行環境取得部12は、車両の進行方向、車両の速度及び車両の現在位置を取得する。また、走行環境取得部12は、カメラ以外のセンサ(例えば、LIDAR(Laser Imaging Detection and Ranging))を利用し、3次元地図上の自車の位置及び姿勢を推定してもよい。なお、現在位置は、不図示のGPS(Global Positioning System)から取得することが可能である。また、進行方向は、GPSにより2つの地点の位置を取得することにより、算出することが可能である。
The traveling
出現尤度マップ生成部14は、生成部の一例であり、走行環境取得部12によって取得された走行環境に応じて、出現尤度マップを撮影画像と同じ視点から見た出現尤度マップ画像を生成する。なお、本実施の形態では、出現尤度マップ生成部14は、出現尤度マップ画像を生成しているが、本開示は特にこれに限定されず、視点に対応する2次元の行列で出現尤度マップを表してもよい。出現尤度マップ生成部14は、走行環境取得部12によって取得された車両の現在位置と車両の進行方向とから、出現尤度マップ上のどの位置をどの方向に向かって走行しているかを特定することができる。また、出現尤度マップ生成部14は、走行環境取得部12によって取得された車線の位置から、カメラ2の視点の位置及び撮影角度を特定する。なお、走行環境取得部12は、予め記憶されているカメラ2の視点の位置及び撮影角度を取得してもよい。そして、出現尤度マップ生成部14は、出現尤度マップ上の車両の現在位置から、進行方向に向かって撮影画像と同じ視点から見た出現尤度マップ画像を生成する。
The appearance likelihood
運転モード切替部15は、切替部の一例であり、物体の検出結果と出現尤度マップとに基づいて、自動運転モードから手動運転モードに切り替える。運転モード切替部15は、撮影画像上に出現尤度マップ画像を重畳し、撮影画像に含まれる物体が検出された位置が、出現尤度マップ画像に含まれる出現領域外である場合、自動運転モードから手動運転モードに切り替える。
The operation
車両制御部16は、車両を自動運転する自動運転モードと、車両を運転者により手動運転する手動運転モードとのいずれかにより車両の運転を制御する。車両制御部16は、運転モード切替部15によって切り替えられた手動運転モードにより車両の運転を制御する。
The
続いて、本実施の形態1における運転制御装置の動作について説明する。 Subsequently, the operation of the operation control device according to the first embodiment will be described.
図2は、本実施の形態1における運転制御装置の動作について説明するためのフローチャートである。 FIG. 2 is a flowchart for explaining the operation of the operation control device according to the first embodiment.
まず、ステップS1において、物体検出部11は、カメラ2によって車両の進行方向を撮影した撮影画像に含まれる人物を検出する。なお、以下の説明では、人物を検出する例について説明する。物体検出部11は、画像認識により撮影画像に含まれる人物を検出する。物体検出部11は、歩行者だけでなく、自転車に乗った人物も検出してもよい。
First, in step S1, the
次に、ステップS2において、走行環境取得部12は、車両の周囲の走行環境を取得する。上述したように、走行環境取得部12は、カメラ2によって撮影された撮影画像から、道路上に描かれた車線を認識し、走行している道路の形状を取得する。また、走行環境取得部12は、車両の進行方向及び車両の現在位置を取得する。
Next, in step S2, the traveling
次に、ステップS3において、出現尤度マップ生成部14は、走行環境取得部12によって取得された走行環境に応じて、出現尤度マップを撮影画像と同じ視点から見た出現尤度マップ画像を生成する。
Next, in step S3, the appearance likelihood
次に、ステップS4において、運転モード切替部15は、撮影画像上に出現尤度マップ画像を重畳し、撮影画像に含まれる人物が検出された位置が、出現尤度マップ画像に含まれる出現領域外であるか否かを判断する。ここで、人物が検出された位置が出現領域外であると判断された場合(ステップS4でYES)、ステップS5において、運転モード切替部15は、自動運転モードから手動運転モードに切り替える。
Next, in step S4, the operation
一方、人物が検出された位置が出現領域外ではないと判断された場合(ステップS4でNO)、ステップS6において、運転モード切替部15は、現在の自動運転モードを維持する。
On the other hand, when it is determined that the position where the person is detected is not outside the appearance area (NO in step S4), in step S6, the operation
なお、手動運転モード時において、人物が検出された位置が出現領域外ではないと判断された場合、運転モード切替部15は、手動運転モードから自動運転モードに切り替えてもよい。
In the manual operation mode, if it is determined that the position where the person is detected is not outside the appearance area, the operation
また、自動運転モードから手動運転モードに切り替える場合、運転モード切替部15は、自動運転モードから手動運転モードに切り替えることを運転者に通知してもよい。この場合、運転モード切替部15は、例えば音声又は画像により通知してもよい。さらに、運転モード切替部15は、自動運転モードから手動運転モードに切り替えることを運転者に通知した後、自動運転モードから手動運転モードに切り替えてもよい。
Further, when switching from the automatic operation mode to the manual operation mode, the operation
なお、図2では、1フレームごとに自動運転モードから手動運転モードに切り替えるか否かの判断を行う例について説明しているが、複数のフレームの判断結果に基づいて、自動運転モードから手動運転モードに切り替えるか否かの判断を行ってもよい。 In addition, although FIG. 2 describes an example of determining whether or not to switch from the automatic operation mode to the manual operation mode for each frame, the manual operation is performed from the automatic operation mode based on the determination results of a plurality of frames. It may be determined whether or not to switch to the mode.
図3は、本実施の形態1における自動運転モードから手動運転モードに切り替える処理について説明するための模式図である。 FIG. 3 is a schematic diagram for explaining the process of switching from the automatic operation mode to the manual operation mode in the first embodiment.
運転モード切替部15は、撮影画像101上に出現尤度マップ画像102を重畳する。出現尤度マップ画像102は、人物が出現する可能性が他の領域よりも高い出現領域103を含んでいる。図3に示す例では、出現領域103は、車道の外側の歩行者用の道路に形成されている。なお、図3では、出現領域103は、楕円形状で表されているが、本開示は特にこれに限定されず、どのような形状であってもよい。
The operation
図3において、物体検出部11は、人物を検出するとともに、電柱を人物として誤検出している。このとき、人物の検出位置111は、出現領域103内に存在しているが、電柱の検出位置112,113は、出現領域103外に存在している。そのため、運転モード切替部15は、撮影画像101に含まれる人物が検出された検出位置112,113が、出現尤度マップ画像102に含まれる出現領域103外であると判断し、自動運転モードから手動運転モードに切り替える。
In FIG. 3, the
なお、図3では、物体検出部11によって人物として検出された検出位置が、出現領域103外に2つ存在しているが、出現領域103外に少なくとも1つの検出位置が存在する場合に、自動運転モードから手動運転モードに切り替えられる。
In FIG. 3, two detection positions detected as a person by the
このように、人物が出現する可能性がある出現領域103外で人物が検出された場合に、物体検出部11が正しく人物を検出していない可能性が高いため、このまま自動運転モードで運転するのは困難であると判断し、自動運転モードから手動運転モードに切り替える。これにより、物体の検出精度に応じて、車両を自動運転する自動運転モードから、車両を運転者により手動運転する手動運転モードに切り替えることができ、物体の検出精度が低い自動運転モードに替わって、運転手に車両を運転させることができる。
In this way, when a person is detected outside the
なお、上記の出現尤度マップは、2次元の地図上における物体が出現する可能性がある出現領域を規定しているが、本開示は特にこれに限定されず、出現尤度マップは、3次元の地図上における物体が出現する可能性がある出現空間を規定してもよい。この場合、出現尤度マップ生成部14は、走行環境取得部12によって取得された走行環境に応じて、3次元座標系の出現尤度マップを、撮影画像と同じ視点から見た2次元座標系の出現尤度マップ画像に変換する。
The appearance probability map described above defines an appearance area in which an object may appear on a two-dimensional map, but the present disclosure is not particularly limited to this, and the appearance probability map is 3 You may define an appearance space in which an object may appear on a dimensional map. In this case, the appearance likelihood
このように、出現尤度マップは、3次元の地図上における物体が出現する可能性がある出現空間を規定するので、より正確に物体が出現する可能性がある出現空間の範囲を規定することができ、自動運転モードから手動運転モードに切り替える精度を高めることができる。 In this way, the appearance likelihood map defines the appearance space in which the object may appear on the three-dimensional map, so that the range of the appearance space in which the object may appear should be defined more accurately. It is possible to improve the accuracy of switching from the automatic operation mode to the manual operation mode.
図4は、本実施の形態1の変形例における撮影画像及び出現尤度マップ画像の一例を示す図である。 FIG. 4 is a diagram showing an example of a captured image and an appearance likelihood map image in the modified example of the first embodiment.
図4に示すように、出現尤度マップ記憶部13は、複数の道路の形状に応じて出現領域がそれぞれ規定された、撮影画像と同じ視点である2次元座標系でそれぞれ表される複数の出現尤度マップ画像を記憶してもよい。例えば、出現尤度マップ画像102aでは、車道の両側に出現領域103が設定されており、出現尤度マップ画像102bでは、車道の左側に出現領域103が設定されており、出現尤度マップ画像102cでは、T字路の突き当たり部分に出現領域103が設定されている。
As shown in FIG. 4, the appearance likelihood
本実施の形態1の変形例において、運転制御装置1は、出現尤度マップ生成部14に替えて出現尤度マップ決定部を備える。
In the modified example of the first embodiment, the operation control device 1 includes an appearance likelihood map determination unit instead of the appearance likelihood
走行環境取得部12は、カメラ2によって撮影された撮影画像から、道路上に描かれた車線を認識し、車両の進行方向を撮影した撮影画像に含まれる道路の形状を取得する。出現尤度マップ決定部は、出現尤度マップ記憶部13に記憶されている複数の出現尤度マップ画像の中から、走行環境取得部12によって取得された道路の形状に応じた1の出現尤度マップ画像を決定する。すなわち、図4では、撮影画像101aの道路形状に一致する出現尤度マップ画像102aが選択され、撮影画像101bの道路形状に一致する出現尤度マップ画像102bが選択され、撮影画像101cの道路形状に一致する出現尤度マップ画像102cが選択される。
The traveling
このように、地図データではなく、複数の道路の形状に応じて出現領域がそれぞれ規定された、撮影画像と同じ視点である2次元座標系でそれぞれ表される複数の出現尤度マップ画像をメモリ3に記憶することにより、メモリ3に記憶するデータ量を削減することができる。
In this way, instead of map data, a plurality of appearance likelihood map images represented by a two-dimensional coordinate system having the same viewpoint as the captured image, in which appearance areas are defined according to the shapes of a plurality of roads, are stored in memory. By storing in 3, the amount of data stored in
なお、本実施の形態1では、撮影画像101に含まれる人物が検出された位置が、出現尤度マップ画像102に含まれる出現領域103外であると判断された場合に、自動運転モードから手動運転モードに切り替えているが、本開示は特にこれに限定されず、同時に検出されることがない2つの同じ種類の物体が、出現領域内で検出された場合に、自動運転モードから手動運転モードに切り替えてもよい。
In the first embodiment, when it is determined that the position where the person included in the captured
図5は、本実施の形態1において、同時に検出されることがない2つの同じ種類の物体が、出現領域内で検出される例について説明するための模式図である。 FIG. 5 is a schematic diagram for explaining an example in which two objects of the same type that are not detected at the same time are detected in the appearance region in the first embodiment.
図5では、撮影画像101に出現尤度マップ画像102が重畳されており、物体検出部11は、車両を検出している。出現尤度マップ画像102は、車両の進行方向の車道131上に形成された出現領域104aと、車両の進行方向の車道131の交差点から左方に延びた車道132上に形成された出現領域104bと、車両の進行方向の車道131の交差点から右方に延びた車道133上に形成された出現領域104cとを含む。出現領域104a,104b,104cは、車両が出現する可能性がある領域である。
In FIG. 5, the appearance
物体検出部11による検出位置121,122は、それぞれ車両を正しく検出しており、検出位置123は、車両ではなく、車道132上の一部分を車両として誤検出している。
The detection positions 121 and 122 by the
ここで、走行環境取得部12は、カメラ2によって撮影された撮影画像101から、信号機135の色を認識する。その結果、走行環境取得部12は、信号機135の色が青色であるという信号機情報を取得する。本来であれば、物体検出部11による検出位置121,122,123は、全て出現領域104a,104b内であるので、運転モード切替部15は、自動運転モードから手動運転モードに切り替えずに、現在の自動運転モードを維持する。
Here, the traveling
しかしながら、走行環境取得部12によって取得された信号機情報が青色であるため、車道132から交差点に進入してくる車両は存在しないと考えられる。そのため、運転モード切替部15は、撮影画像101に含まれる車両の検出位置121,122,123が、出現尤度マップ画像102に含まれる2つの出現領域104a,104b内であると判断した場合、信号機情報が青であるか否かを判断し、信号機情報が青であると判断した場合、自動運転モードから手動運転モードに切り替える。
However, since the traffic light information acquired by the traveling
このように、同時に検出されることがない2つの同じ種類の車両が、出現領域内で検出された場合、自動運転モードから手動運転モードに切り替えることができる。 In this way, when two vehicles of the same type that are not detected at the same time are detected in the appearance area, the automatic driving mode can be switched to the manual driving mode.
また、本実施の形態1において、同時に検出されることがない2つの異なる種類の物体が、出現領域内で検出された場合に、自動運転モードから手動運転モードに切り替えてもよい。 Further, in the first embodiment, when two different types of objects that are not detected at the same time are detected in the appearance region, the automatic operation mode may be switched to the manual operation mode.
図6は、本実施の形態1において、同時に検出されることがない2つの異なる種類の物体が、出現領域内で検出される例について説明するための模式図である。 FIG. 6 is a schematic diagram for explaining an example in which two different types of objects that are not detected at the same time are detected in the appearance region in the first embodiment.
図6では、撮影画像101に出現尤度マップ画像102が重畳されており、物体検出部11は、2つの異なる種類の物体である人物及び車両を検出している。出現尤度マップ画像102は、車両の進行方向の車道131上に形成された出現領域104aと、車両の進行方向の車道131の交差点から左方に延びた車道132上に形成された出現領域104bと、車両の進行方向の車道131の交差点から右方に延びた車道133上に形成された出現領域104cとを含む。出現領域104a,104b,104cは、車両が出現する可能性がある領域である。
In FIG. 6, the appearance
また、出現尤度マップ画像102は、車道131,132,133の両側に形成された出現領域103を含む。出現領域103は、人物が出現する可能性がある領域である。
Further, the appearance
物体検出部11による検出位置121,122は、それぞれ車両を正しく検出しており、検出位置111は、人物ではなく、車道131上の一部分を人物として誤検出している。
The detection positions 121 and 122 by the
ここで、出現領域104aは、車両が出現する可能性がある領域であり、人物が出現する可能性がある領域ではない。そのため、出現領域104aでは、車両と人物とが同時に検出されることはない。そのため、運転モード切替部15は、撮影画像101に含まれる車両の検出位置121,122と、人物の検出位置111とが、出現尤度マップ画像102に含まれる車両の出現領域104a内であると判断した場合、自動運転モードから手動運転モードに切り替える。
Here, the
このように、同時に検出されることがない2つの異なる種類の車両が、出現領域内で検出された場合、自動運転モードから手動運転モードに切り替えることができる。 In this way, when two different types of vehicles that are not detected at the same time are detected in the appearance area, the automatic driving mode can be switched to the manual driving mode.
(実施の形態2)
上記の実施の形態1では、出現尤度マップ記憶部13は、2次元の地図上における物体が出現する可能性がある出現領域を規定する出現尤度マップを記憶しているが、本実施の形態2では、出現尤度マップ記憶部13は、3次元の地図上における物体が出現する可能性がある出現空間を規定する出現尤度マップを記憶している。
(Embodiment 2)
In the first embodiment described above, the appearance likelihood
図7は、本実施の形態1に係る車両制御システムの構成を示すブロック図である。図7に示す車両制御システムは、運転制御装置1とカメラ2とを備える。運転制御装置1は、メモリ3及びプロセッサ4を備える。メモリ3は、出現尤度マップ記憶部17を備える。
FIG. 7 is a block diagram showing a configuration of a vehicle control system according to the first embodiment. The vehicle control system shown in FIG. 7 includes a driving control device 1 and a camera 2. The operation control device 1 includes a
出現尤度マップ記憶部17は、マップ記憶部の一例であり、複数の道路の形状に応じて出現領域がそれぞれ規定された、3次元座標系でそれぞれ表される複数の出現尤度マップ(モデル)を記憶する。本実施の形態2における複数の出現尤度マップは、3次元の地図上における物体が出現する可能性がある出現空間を規定している。なお、物体は、例えば、人物又は車両であり、出現尤度マップは、人物が通行する出現領域と、車両が通行する出現領域とを個別に示す。また、出現空間は、2次元ではなく、3次元の空間で表される。
The appearance likelihood
なお、複数の出現尤度マップは、出現尤度マップ記憶部17に予め記憶されているが、本開示は特にこれに限定されず、不図示の通信部を介してサーバから取得され、出現尤度マップ記憶部17に記憶されてもよい。
Although a plurality of appearance likelihood maps are stored in advance in the appearance likelihood
また、複数の出現尤度マップの出現空間は、過去の人物又は車両の検出結果から統計的に算出してもよい。また、複数の出現尤度マップの出現空間は、3次元の地図上にオペレータによって付与されてもよく、例えば道路交通法などの所定の規則に従って、人物又は車両が通行可能な空間に付与されてもよい。 Further, the appearance space of the plurality of appearance likelihood maps may be statistically calculated from the detection results of past persons or vehicles. Further, the appearance space of the plurality of appearance likelihood maps may be assigned by the operator on the three-dimensional map, and is assigned to the space where a person or a vehicle can pass according to a predetermined rule such as the Road Traffic Act. May be good.
プロセッサ4は、例えばCPUであり、メモリ3に記憶されている運転制御プログラムを実行する。プロセッサ4は、物体検出部11、走行環境取得部12、出現尤度マップ決定部22、運転モード切替部15、車両制御部16及び座標系変換部18を備える。なお、実施の形態2において、実施の形態1と同じ構成については同じ符号を付し、説明を省略する。
The
出現尤度マップ決定部22は、出現尤度マップ記憶部17に記憶されている複数の出現尤度マップの中から、走行環境取得部12によって取得された道路の形状に応じた1の出現尤度マップを決定する。
The appearance likelihood
座標系変換部18は、出現尤度マップ決定部22によって1の出現尤度マップが決定された場合、3次元座標系の1の出現尤度マップを、撮影画像と同じ2次元座標系の出現尤度マップ画像に変換する。
When the appearance probability map of 1 is determined by the appearance probability
続いて、本実施の形態2における運転制御装置の動作について説明する。 Subsequently, the operation of the operation control device according to the second embodiment will be described.
図8は、本実施の形態2における運転制御装置の動作について説明するためのフローチャートである。 FIG. 8 is a flowchart for explaining the operation of the operation control device according to the second embodiment.
なお、ステップS11〜ステップS12の処理は、図2に示すステップS1〜ステップS2の処理と同じであるので、説明を省略する。 Since the processing of steps S11 to S12 is the same as the processing of steps S1 to S2 shown in FIG. 2, the description thereof will be omitted.
次に、ステップS13において、出現尤度マップ決定部22は、出現尤度マップ記憶部17に記憶されている複数の出現尤度マップの中から、走行環境取得部12によって取得された道路の形状に応じた1の出現尤度マップを決定する。
Next, in step S13, the appearance likelihood
次に、ステップS14において、座標系変換部18は、出現尤度マップ決定部22によって決定された3次元座標系の1の出現尤度マップを、撮影画像と同じ2次元座標系の出現尤度マップ画像に変換する。すなわち、出現尤度マップ決定部22によって決定された1の出現尤度マップは3次元座標系で表される。座標系変換部18は、3次元座標系で表される1の出現尤度マップを、カメラ2の視点を基準とする2次元の視点座標系で表される出現尤度マップ画像に座標変換する。
Next, in step S14, the coordinate
なお、ステップS15〜ステップS17の処理は、図2に示すステップS4〜ステップS6の処理と同じであるので、説明を省略する。 Since the processes of steps S15 to S17 are the same as the processes of steps S4 to S6 shown in FIG. 2, the description thereof will be omitted.
このように、物体が出現する可能性がある出現空間は、2次元ではなく、3次元の空間で表されるので、より正確に出現空間の範囲を規定することができ、自動運転モードから手動運転モードに切り替える精度を向上させることができる。 In this way, the appearance space in which an object may appear is represented by a three-dimensional space instead of a two-dimensional space, so that the range of the appearance space can be defined more accurately, and the range of the appearance space can be defined manually from the automatic operation mode. The accuracy of switching to the operation mode can be improved.
(実施の形態3)
上記の実施の形態2では、走行環境に応じて出現尤度マップ画像が決定されているが、実施の形態3では、物体が検出された位置に応じて出現尤度マップ画像が決定され、出現尤度マップ画像が所定時間内に所定回数切り替わった場合、自動運転モードから手動運転モードに切り替える。
(Embodiment 3)
In the second embodiment described above, the appearance likelihood map image is determined according to the driving environment, but in the third embodiment, the appearance likelihood map image is determined according to the position where the object is detected and appears. When the likelihood map image is switched a predetermined number of times within a predetermined time, the automatic operation mode is switched to the manual operation mode.
図9は、本実施の形態3に係る車両制御システムの構成を示すブロック図である。図9に示す車両制御システムは、運転制御装置1とカメラ2とを備える。運転制御装置1は、メモリ3及びプロセッサ4を備える。メモリ3は、出現尤度マップ記憶部13及び識別番号記憶部19を備える。なお、実施の形態3において、実施の形態1と同じ構成については同じ符号を付し、説明を省略する。
FIG. 9 is a block diagram showing the configuration of the vehicle control system according to the third embodiment. The vehicle control system shown in FIG. 9 includes a driving control device 1 and a camera 2. The operation control device 1 includes a
出現尤度マップ記憶部13は、複数の道路の形状に応じて出現領域が規定された、撮影画像と同じ視点である2次元座標系でそれぞれ表される複数の出現尤度マップ画像を記憶している。複数の出現尤度マップ画像には、それぞれ識別番号が付与されている。
The appearance likelihood
識別番号記憶部19は、最適出現尤度マップ決定部20によって決定された出現尤度マップ画像を識別する識別番号を記憶する。
The identification
プロセッサ4は、例えばCPUであり、メモリ3に記憶されている運転制御プログラムを実行する。プロセッサ4は、物体検出部11、走行環境取得部12、車両制御部16、最適出現尤度マップ決定部20及び運転モード切替部21を備える。
The
最適出現尤度マップ決定部20は、撮影画像に含まれる物体が検出された位置に応じて、複数の出現尤度マップ画像の中から1の出現尤度マップ画像を決定し、決定した1の出現尤度マップ画像に対応する識別番号を識別番号記憶部19に記憶する。
The optimum appearance likelihood
運転モード切替部21は、所定時間内に識別番号記憶部19に記憶される識別番号が所定回数切り替わった場合、自動運転モードから手動運転モードに切り替える。
When the identification number stored in the identification
続いて、本実施の形態3における運転制御装置の動作について説明する。 Subsequently, the operation of the operation control device according to the third embodiment will be described.
図10は、本実施の形態3における運転制御装置の動作について説明するためのフローチャートである。 FIG. 10 is a flowchart for explaining the operation of the operation control device according to the third embodiment.
なお、ステップS21〜ステップS22の処理は、図2に示すステップS1〜ステップS2の処理と同じであるので、説明を省略する。 Since the processing of steps S21 to S22 is the same as the processing of steps S1 to S2 shown in FIG. 2, the description thereof will be omitted.
次に、ステップS23において、最適出現尤度マップ決定部20は、撮影画像に含まれる物体が検出された位置に応じて、複数の出現尤度マップ画像の中から1の出現尤度マップ画像を決定する。最適出現尤度マップ決定部20は、複数の出現尤度マップ画像の中から、物体が検出された位置に一致する出現領域を有する最適出現尤度マップ画像を決定する。
Next, in step S23, the optimum appearance likelihood
次に、ステップS24において、最適出現尤度マップ決定部20は、決定した最適出現尤度マップ画像の識別番号を識別番号記憶部19に記憶する。
Next, in step S24, the optimum appearance likelihood
次に、ステップS25において、運転モード切替部21は、最適出現尤度マップ画像の識別番号を識別番号記憶部19に最初に記憶してからの時間を計時しているか否かを判断する。ここで、計時していないと判断された場合(ステップS25でNO)、ステップS26において、運転モード切替部21は、最適出現尤度マップ画像の識別番号を識別番号記憶部19に最初に記憶してからの時間の計時を開始する。計時を開始した後は、ステップS21の処理に戻る。
Next, in step S25, the operation
一方、計時していると判断された場合(ステップS25でYES)、ステップS27において、運転モード切替部21は、所定時間経過したか否かを判断する。ここで、所定時間経過していないと判断された場合(ステップS27でNO)、ステップS21の処理に戻る。
On the other hand, when it is determined that the time is being measured (YES in step S25), in step S27, the operation
一方、所定時間経過したと判断された場合(ステップS27でYES)、ステップS28において、運転モード切替部21は、識別番号記憶部19に記憶されている識別番号が所定時間の間に所定回数変化したか否かを判断する。識別番号記憶部19には、所定時間内に最適出現尤度マップ決定部20によって決定された最適出現尤度マップ画像の識別番号が累積して記憶される。そのため、所定時間が経過した際に、識別番号記憶部19に記憶されている識別番号の数を計数することにより、識別番号が何回変化したかを算出することができる。
On the other hand, when it is determined that the predetermined time has elapsed (YES in step S27), in step S28, the operation
ここで、識別番号が所定回数変化したと判断された場合(ステップS28でYES)、ステップS29において、運転モード切替部21は、自動運転モードから手動運転モードに切り替える。
Here, when it is determined that the identification number has changed a predetermined number of times (YES in step S28), in step S29, the operation
一方、識別番号が所定回数変化していないと判断された場合(ステップS28でNO)、ステップS30において、運転モード切替部21は、現在の自動運転モードを維持する。
On the other hand, when it is determined that the identification number has not changed a predetermined number of times (NO in step S28), in step S30, the operation
図11は、本実施の形態3における自動運転モードから手動運転モードに切り替える処理について説明するための模式図である。なお、図11において、横軸は、時間tを表している。 FIG. 11 is a schematic diagram for explaining the process of switching from the automatic operation mode to the manual operation mode in the third embodiment. In FIG. 11, the horizontal axis represents time t.
図11に示すように、時刻t0において、撮影画像に含まれる人物が検出され、撮影画像に含まれる物体が検出された位置に応じて出現尤度マップ画像が決定され、決定された最適出現尤度マップ画像の識別番号(ID:3)が識別番号記憶部19に記憶される。そして、時刻t0から時間の計時が開始される。
As shown in FIG. 11, at time t0, a person included in the captured image is detected, an appearance likelihood map image is determined according to the position where the object included in the captured image is detected, and the determined optimum appearance likelihood is determined. The identification number (ID: 3) of the degree map image is stored in the identification
次に、所定時間T経過したか否かが判断される。なお、所定時間Tは、例えば1秒である。ここで、所定時間T経過していないと判断された場合、再度、撮影画像に含まれる人物が検出される。一方、所定時間T経過したと判断された場合、識別番号が所定回数変化したか否かが判断される。所定回数は、例えば2回である。すなわち、1秒間に2回、出現尤度マップ画像が変化した場合、自動運転モードから手動運転モードに切り替えられる。 Next, it is determined whether or not the predetermined time T has elapsed. The predetermined time T is, for example, 1 second. Here, if it is determined that the predetermined time T has not elapsed, the person included in the captured image is detected again. On the other hand, when it is determined that the predetermined time T has elapsed, it is determined whether or not the identification number has changed a predetermined number of times. The predetermined number of times is, for example, two times. That is, when the appearance likelihood map image changes twice per second, the automatic operation mode is switched to the manual operation mode.
図11では、最初に識別番号(ID:3)が記憶された後、時刻t1で識別番号(ID:102)が記憶され、時刻t2において識別番号(ID:401)が記憶されている。そのため、所定時間Tが経過するまでに、2回出現尤度マップ画像が変化している。所定時間T経過するまでに識別番号が所定回数変化したと判断され、自動運転モードから手動運転モードに切り替えられることになる。 In FIG. 11, after the identification number (ID: 3) is first stored, the identification number (ID: 102) is stored at time t1, and the identification number (ID: 401) is stored at time t2. Therefore, the appearance likelihood map image is changed twice by the time T elapses. It is determined that the identification number has changed a predetermined number of times before the predetermined time T elapses, and the automatic operation mode is switched to the manual operation mode.
出現尤度マップ画像が短時間に変化するということは、物体が正確に検出できていないと判断することができる。この場合、自動運転モードから手動運転モードに切り替えることにより、物体の検出精度が低い自動運転モードに替わって、運転手に車両を運転させることができる。 If the appearance likelihood map image changes in a short time, it can be judged that the object cannot be detected accurately. In this case, by switching from the automatic driving mode to the manual driving mode, the driver can drive the vehicle instead of the automatic driving mode in which the detection accuracy of the object is low.
本開示において、ユニット、装置、部材又は部の全部又は一部、又は図に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(Large Scale Integration)を含む一つ又は複数の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIやICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(Very Large Scale Integration)、若しくはULSI(Ultra Large Scale Integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるReconfigurable Logic Deviceも同じ目的で使うことができる。 In the present disclosure, all or part of a unit, device, member or part, or all or part of a functional block in the block diagram shown in the figure, is a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (Large Scale Integration). ) May be executed by one or more electronic circuits including. The LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips. For example, functional blocks other than the storage element may be integrated on one chip. Here, they are called LSIs and ICs, but the names change depending on the degree of integration, and they may be called system LSIs, VLSIs (Very Large Scale Integration), or ULSIs (Ultra Large Scale Integration). A Field Programmable Gate Array (FPGA), which is programmed after the LSI is manufactured, or a Reconfigurable Logical Device that can reconfigure the junction relationship inside the LSI or set up the circuit partition inside the LSI can also be used for the same purpose.
さらに、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置(Processor)によって実行されたときに、そのソフトウエアで特定された機能が処理装置(Processor)および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置(Processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていてもよい。 Further, all or part of the function or operation of a unit, device, member or part can be performed by software processing. In this case, the software is recorded on a non-temporary recording medium such as one or more ROMs, optical discs, hard disk drives, and is identified by the software when it is executed by a processor. Functions are performed by the processor and peripherals. The system or device may include one or more non-temporary recording media on which the software is recorded, a processor, and the required hardware device, such as an interface.
本開示に係る運転制御装置、運転制御方法及び運転制御プログラムは、物体の検出精度に応じて、車両を自動運転する自動運転モードから、車両を運転者により手動運転する手動運転モードに切り替えることができ、自動運転モードと手動運転モードとのいずれかにより車両の運転を制御する運転制御装置、運転制御方法及び運転制御プログラムとして有用である。 The driving control device, the driving control method, and the driving control program according to the present disclosure can switch from the automatic driving mode in which the vehicle is automatically driven to the manual driving mode in which the driver manually drives the vehicle according to the detection accuracy of the object. It can be used as a driving control device, a driving control method, and a driving control program that control the driving of a vehicle by either an automatic driving mode or a manual driving mode.
1 運転制御装置
2 カメラ
3 メモリ
4 プロセッサ
11 物体検出部
12 走行環境取得部
13,17 出現尤度マップ記憶部
14 出現尤度マップ生成部
15,21 運転モード切替部
16 車両制御部
18 座標系変換部
19 識別番号記憶部
20 最適出現尤度マップ決定部
22 出現尤度マップ決定部
1 Operation control device 2
Claims (10)
物体が出現する可能性がある出現領域を規定する物体出現マップを記憶するマップ記憶部と、
前記車両の進行方向を撮影した撮影画像に含まれる前記物体を検出する物体検出部と、
前記物体検出部によって検出された前記物体の位置が、前記物体出現マップに含まれる前記出現領域外である場合、前記自動運転モードから前記手動運転モードに切り替える切替部と、
切り替えられた前記手動運転モードにより前記車両の運転を制御する運転制御部と、
を備える運転制御装置。 An operation control device that controls the operation of the vehicle by either an automatic driving mode in which the vehicle is automatically driven or a manual driving mode in which the vehicle is manually driven by the driver.
A map storage unit that stores an object appearance map that defines the appearance area where an object may appear,
An object detection unit that detects the object included in the captured image of the traveling direction of the vehicle, and
When the position of the object detected by the object detection unit is outside the appearance area included in the object appearance map , a switching unit for switching from the automatic operation mode to the manual operation mode, and
A driving control unit that controls the driving of the vehicle by the switched manual driving mode,
An operation control device equipped with.
請求項1記載の運転制御装置。 The object appearance map is managed in association with map information.
The operation control device according to claim 1.
前記走行環境取得部によって取得された前記走行環境に応じて、前記物体出現マップを前記撮影画像と同じ視点から見た視点変換後の物体出現マップを生成する生成部と、
をさらに備え、
前記切替部は、前記撮影画像上に前記視点変換後の物体出現マップを重畳し、前記撮影画像に含まれる前記物体が検出された位置が、前記視点変換後の物体出現マップに含まれる前記出現領域外である場合、前記自動運転モードから前記手動運転モードに切り替える、
請求項1記載の運転制御装置。 A driving environment acquisition unit that acquires the driving environment around the vehicle,
A generation unit that generates an object appearance map after viewpoint conversion when the object appearance map is viewed from the same viewpoint as the captured image according to the driving environment acquired by the driving environment acquisition unit.
With more
The switching unit superimposes the object appearance map after the viewpoint conversion on the captured image, and the position where the object included in the captured image is detected is included in the object appearance map after the viewpoint conversion. When it is out of the area, the automatic operation mode is switched to the manual operation mode.
The operation control device according to claim 1.
前記出現領域は、前記3次元地図上における前記物体が出現する可能性がある出現空間を含み、
前記生成部は、3次元座標系の前記物体出現マップを、前記撮影画像と同じ視点から見た2次元座標系の前記視点変換後の物体出現マップに変換する、
請求項3記載の運転制御装置。 The map includes a three-dimensional map represented by a three-dimensional coordinate system.
The appearance area includes an appearance space in which the object may appear on the three-dimensional map.
The generation unit converts the object appearance map in the three-dimensional coordinate system into an object appearance map after the viewpoint conversion in the two-dimensional coordinate system viewed from the same viewpoint as the captured image.
The operation control device according to claim 3.
前記車両の進行方向を撮影した撮影画像に含まれる前記道路の形状を取得する走行環境取得部と、
前記複数の物体出現マップの中から、取得された前記道路の形状に応じた1の物体出現マップを決定する決定部と、
をさらに備える、
請求項1記載の運転制御装置。 The map storage unit stores a plurality of object appearance maps represented by a two-dimensional coordinate system having the same viewpoint as the captured image, in which the appearance areas are defined according to the shapes of the plurality of roads. ,
A driving environment acquisition unit that acquires the shape of the road included in a photographed image of the traveling direction of the vehicle, and
A determination unit that determines one object appearance map according to the acquired shape of the road from the plurality of object appearance maps.
Further prepare
The operation control device according to claim 1.
前記出現領域は、前記3次元地図上における前記物体が出現する可能性がある出現空間を含み、
前記マップ記憶部は、複数の道路の形状に応じて前記出現空間がそれぞれ規定された、3次元座標系でそれぞれ表される複数の物体出現マップを記憶しており、
前記車両の進行方向を撮影した撮影画像に含まれる前記道路の形状を取得する走行環境取得部と、
前記複数の物体出現マップの中から、取得された前記道路の形状に応じた1の物体出現マップを決定する決定部と、
前記決定部によって前記1の物体出現マップが決定された場合、3次元座標系の前記1の物体出現マップを、前記撮影画像と同じ2次元座標系の物体出現マップに変換する座標系変換部と、
をさらに備える、
請求項1記載の運転制御装置。 The map includes a three-dimensional map represented by a three-dimensional coordinate system.
The appearance area includes an appearance space in which the object may appear on the three-dimensional map.
The map storage unit stores a plurality of object appearance maps represented by a three-dimensional coordinate system in which the appearance space is defined according to the shape of the plurality of roads.
A driving environment acquisition unit that acquires the shape of the road included in a photographed image of the traveling direction of the vehicle, and
A determination unit that determines one object appearance map according to the acquired shape of the road from the plurality of object appearance maps.
When the object appearance map of 1 is determined by the determination unit, a coordinate system conversion unit that converts the object appearance map of 1 in the 3D coordinate system into an object appearance map of the same 2D coordinate system as the captured image. ,
Further prepare
The operation control device according to claim 1.
識別番号記憶部と、
前記撮影画像に含まれる前記物体が検出された位置に応じて、前記複数の物体出現マップの中から1の物体出現マップを決定し、決定した前記1の物体出現マップに対応する識別番号を前記識別番号記憶部に記憶する決定部と、をさらに備え、
前記切替部は、所定時間内に前記識別番号記憶部に記憶される前記識別番号が所定回数切り替わった場合、前記自動運転モードから前記手動運転モードに切り替える、
請求項1記載の運転制御装置。 The map storage unit stores a plurality of object appearance maps represented by a two-dimensional coordinate system having the same viewpoint as the captured image, in which the appearance areas are defined according to the shapes of the plurality of roads. ,
Identification number storage unit and
One object appearance map is determined from the plurality of object appearance maps according to the position where the object included in the captured image is detected, and the identification number corresponding to the determined object appearance map is assigned. Further equipped with a determination unit to be stored in the identification number storage unit,
When the identification number stored in the identification number storage unit is switched a predetermined number of times within a predetermined time, the switching unit switches from the automatic operation mode to the manual operation mode.
The operation control device according to claim 1.
前記出現領域は、前記人物が通行する領域である、
請求項1〜7のいずれか1項に記載の運転制御装置。 The object is a person
The appearance area is an area through which the person passes.
The operation control device according to any one of claims 1 to 7.
前記車両の進行方向を撮影した撮影画像に含まれる前記物体を検出し、
前記検出した物体の位置が、物体出現マップが規定する物体が出現する可能性がある出現領域外である場合、前記自動運転モードから前記手動運転モードに切り替え、
切り替えた前記手動運転モードにより前記車両の運転を制御する、
運転制御方法。 A driving control method in a driving control device that controls the driving of the vehicle by either an automatic driving mode in which the vehicle is automatically driven or a manual driving mode in which the vehicle is manually driven by the driver.
The object included in the captured image obtained by photographing the traveling direction of the vehicle is detected.
When the position of the detected object is outside the appearance area where the object defined by the object appearance map may appear, the automatic operation mode is switched to the manual operation mode.
The driving of the vehicle is controlled by the switched manual driving mode.
Operation control method.
物体が出現する可能性がある出現領域を規定する物体出現マップを記憶するマップ記憶部と、
前記車両の進行方向を撮影した撮影画像に含まれる前記物体を検出する物体検出部と、
前記物体検出部によって検出された前記物体の位置が、前記物体出現マップに含まれる前記出現領域外である場合、前記自動運転モードから前記手動運転モードに切り替える切替部と、
切り替えられた前記手動運転モードにより前記車両の運転を制御する運転制御部としてコンピュータを機能させる、
運転制御プログラム。 A driving control program that controls the driving of the vehicle by either an automatic driving mode in which the vehicle is automatically driven or a manual driving mode in which the vehicle is manually driven by the driver.
A map storage unit that stores an object appearance map that defines the appearance area where an object may appear,
An object detection unit that detects the object included in the captured image of the traveling direction of the vehicle, and
When the position of the object detected by the object detection unit is outside the appearance area included in the object appearance map , a switching unit for switching from the automatic operation mode to the manual operation mode, and
The computer functions as a driving control unit that controls the driving of the vehicle by the switched manual driving mode.
Operation control program.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710075468.0A CN107179767B (en) | 2016-03-10 | 2017-02-13 | Driving control device, driving control method, and non-transitory recording medium |
US15/446,525 US10864906B2 (en) | 2016-03-10 | 2017-03-01 | Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object |
EP17159318.9A EP3217318B1 (en) | 2016-03-10 | 2017-03-06 | Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662306173P | 2016-03-10 | 2016-03-10 | |
US62/306,173 | 2016-03-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017159884A JP2017159884A (en) | 2017-09-14 |
JP6795379B2 true JP6795379B2 (en) | 2020-12-02 |
Family
ID=59853746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016217869A Active JP6795379B2 (en) | 2016-03-10 | 2016-11-08 | Operation control device, operation control method and operation control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6795379B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10987984B2 (en) * | 2017-09-25 | 2021-04-27 | Continental Automotive Systems, Inc. | Automated trailer hitching using image coordinates |
US11048927B2 (en) | 2017-10-24 | 2021-06-29 | Waymo Llc | Pedestrian behavior predictions for autonomous vehicles |
US10706308B2 (en) * | 2018-08-07 | 2020-07-07 | Accenture Global Solutions Limited | Image processing for automated object identification |
US11087175B2 (en) * | 2019-01-30 | 2021-08-10 | StradVision, Inc. | Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them |
US11473927B2 (en) * | 2020-02-05 | 2022-10-18 | Electronic Arts Inc. | Generating positions of map items for placement on a virtual map |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3982473B2 (en) * | 2003-09-19 | 2007-09-26 | 日産自動車株式会社 | Detectable region determination device and detectable region determination method |
JP5162103B2 (en) * | 2006-05-15 | 2013-03-13 | トヨタ自動車株式会社 | Support control device |
JP4623135B2 (en) * | 2008-05-08 | 2011-02-02 | 株式会社デンソー | Image recognition device |
US9062980B2 (en) * | 2011-11-22 | 2015-06-23 | Hitachi, Ltd. | Autonomous mobile system |
JP2014106685A (en) * | 2012-11-27 | 2014-06-09 | Osaka Univ | Vehicle periphery monitoring device |
BR112016010089B1 (en) * | 2013-11-13 | 2021-06-08 | Nissan Motor Co. Ltd. | moving body position estimating device and moving body position estimating method |
JP6318741B2 (en) * | 2014-03-18 | 2018-05-09 | アイシン・エィ・ダブリュ株式会社 | Automatic driving support system, automatic driving support method, and computer program |
JP2016033729A (en) * | 2014-07-31 | 2016-03-10 | クラリオン株式会社 | Surrounding environment recognition device |
-
2016
- 2016-11-08 JP JP2016217869A patent/JP6795379B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017159884A (en) | 2017-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107179767B (en) | Driving control device, driving control method, and non-transitory recording medium | |
JP6795379B2 (en) | Operation control device, operation control method and operation control program | |
JP2018081404A (en) | Discrimination method, discrimination device, discriminator generation method and discriminator generation device | |
CN108496178A (en) | System and method for estimating Future Path | |
JP2018081545A (en) | Image data extraction device and image data extraction method | |
WO2017042710A1 (en) | System and method for detecting objects in an automotive environment | |
JPWO2017056821A1 (en) | Information acquisition apparatus and information acquisition method | |
JP2007072665A (en) | Object discrimination device, object discrimination method and object discrimination program | |
JP2007249841A (en) | Image recognition device | |
CN112446283A (en) | Driving assistance system, electronic device, and method for operating the same | |
JP2020052647A (en) | Object detection device, object detection method, computer program for object detection, and vehicle control system | |
JP7077726B2 (en) | Vehicle system, space area estimation method and space area estimation device | |
JP2015225546A (en) | Object detection device, drive support apparatus, object detection method, and object detection program | |
JP6375633B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
JP2020052539A (en) | Learning image selection device | |
TW201927610A (en) | Safety confirmation evaluating device, on-vehicle device, safety confirmation evaluation system having the two, safety confirmation evaluation method, and safety confirmation evaluation program | |
JP2021163432A (en) | Signal light state identification apparatus, signal light state identification method, signal light state-identifying program, and control apparatus | |
JP2018073275A (en) | Image recognition device | |
US10789727B2 (en) | Information processing apparatus and non-transitory recording medium storing thereon a computer program | |
JP2020166409A (en) | In-vehicle device, in-vehicle system and surroundings monitoring method | |
CN111460852A (en) | Vehicle-mounted 3D target detection method, system and device | |
KR101340014B1 (en) | Apparatus and method for providing location information | |
CN115179863A (en) | Control device and control method for moving body, storage medium, and vehicle | |
JP6753915B2 (en) | Image processing equipment, image processing methods, image processing programs and image processing systems | |
JP2022140026A (en) | Image processing device, image processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6795379 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |