JP2022191917A - Behavior prediction system, behavior prediction device, behavior prediction method, and behavior prediction program - Google Patents

Behavior prediction system, behavior prediction device, behavior prediction method, and behavior prediction program Download PDF

Info

Publication number
JP2022191917A
JP2022191917A JP2021100436A JP2021100436A JP2022191917A JP 2022191917 A JP2022191917 A JP 2022191917A JP 2021100436 A JP2021100436 A JP 2021100436A JP 2021100436 A JP2021100436 A JP 2021100436A JP 2022191917 A JP2022191917 A JP 2022191917A
Authority
JP
Japan
Prior art keywords
road user
information
behavior
identification information
behavior prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021100436A
Other languages
Japanese (ja)
Other versions
JP2022191917A5 (en
Inventor
理宏 黒木
Michihiro Kuroki
弘幸 大澤
Hiroyuki Osawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2021100436A priority Critical patent/JP2022191917A/en
Priority to PCT/JP2022/023612 priority patent/WO2022264962A1/en
Publication of JP2022191917A publication Critical patent/JP2022191917A/en
Publication of JP2022191917A5 publication Critical patent/JP2022191917A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

To provide a behavior prediction system, etc., of which reliability is improved.SOLUTION: A behavior prediction system 100 comprises a processor 102 and predicts a behavior of a road user. The processor 102 executes acquisition of road user identification information identifying the road user. The processor 102 executes acquisition of structure identification information identifying a structure that the road user can enter and leave. The processor 102 executes preparation of correlation information of the road user and the structure as a destination of the road user. The processor 102 executes prediction of the behavior of the road user based on the road user identification information, the structure identification information, and the correlation information.SELECTED DRAWING: Figure 1

Description

本開示は、道路ユーザの挙動を予測する技術に、関する。 The present disclosure relates to technology for predicting behavior of road users.

特許文献１には、移動体の将来位置を予測する技術が開示されている。この技術では、走行環境に関する環境情報に基づいて、移動体の将来位置が予測される。特許文献１では、環境情報として、道路、走行レーン、駐車場、カーブの曲率半径などの地図情報、標高、道路勾配などの地形情報、水溜りや積雪、落下物などの路面状況、及び信号の状態などの交通情報が開示されている。 Patent Literature 1 discloses a technique for predicting the future position of a mobile object. This technology predicts the future position of a mobile object based on environmental information about the driving environment. In Patent Document 1, environmental information includes map information such as roads, driving lanes, parking lots, and radius of curvature of curves, terrain information such as altitude and road slope, road surface conditions such as puddles, snow cover, and fallen objects, and traffic lights. Traffic information such as status is disclosed.

特開２０１８‐５５１４１号公報JP 2018-55141 A

近年、道路ユーザの挙動をより確実に予測する必要性が増大している。特許文献１における移動体の挙動予測には、確実性向上の余地がある。 In recent years, there has been an increasing need to more reliably predict the behavior of road users. There is room for improving certainty in the behavior prediction of the moving object in Patent Document 1.

本開示の課題は、確実性が向上された挙動予測システムを、提供することにある。本開示の別の課題は、確実性が向上された挙動予測装置を、提供することにある。本開示のさらに別の課題は、確実性が向上された挙動予測方法を、提供することにある。本開示のさらに別の課題は、確実性が向上された挙動予測プログラムを、提供することにある。 An object of the present disclosure is to provide a behavior prediction system with improved certainty. Another object of the present disclosure is to provide a behavior prediction device with improved certainty. Yet another object of the present disclosure is to provide a behavior prediction method with improved certainty. Yet another object of the present disclosure is to provide a behavior prediction program with improved certainty.

以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。 Technical means of the present disclosure for solving the problems will be described below. It should be noted that the symbols in parentheses described in the claims and this column indicate the correspondence with specific means described in the embodiments described in detail later, and limit the technical scope of the present disclosure. not something to do.

本開示の第一態様は、プロセッサ（１０２）を有し、道路ユーザの挙動を予測する挙動予測システムであって、
プロセッサは、
道路ユーザを特定する道路ユーザ特定情報を取得することと
道路ユーザの出入可能な構造物を特定する構造物特定情報を取得することと、
道路ユーザと、道路ユーザの目的地としての構造物と、の相関関係情報を準備することと、
道路ユーザ特定情報、構造物特定情報、及び相関関係情報に基づいて道路ユーザの挙動を予測することと、
を実行するように構成される。 A first aspect of the present disclosure is a behavior prediction system having a processor (102) for predicting road user behavior, comprising:
The processor
Acquiring road user identification information that identifies a road user; obtaining structure identification information that identifies a structure accessible to the road user;
preparing correlation information between road users and structures as destinations for the road users;
predicting road user behavior based on road user identification information, structure identification information, and correlation information;
configured to run

本開示の第二態様は、プロセッサ（１０２）を有し、道路ユーザの挙動を予測する挙動予測装置であって、
プロセッサは、
道路ユーザを特定する道路ユーザ特定情報を取得することと
道路ユーザの出入可能な構造物を特定する構造物特定情報を取得することと、
道路ユーザと、道路ユーザの目的地としての構造物と、の相関関係情報を準備することと、
道路ユーザ特定情報、構造物特定情報、及び相関関係情報に基づいて道路ユーザの挙動を予測することと、
を実行するように構成される。 A second aspect of the present disclosure is a behavior prediction device having a processor (102) for predicting behavior of a road user, comprising:
The processor
Acquiring road user identification information that identifies a road user; obtaining structure identification information that identifies a structure accessible to the road user;
preparing correlation information between road users and structures as destinations for the road users;
predicting road user behavior based on road user identification information, structure identification information, and correlation information;
configured to run

本開示の第三態様は、道路ユーザの挙動を予測するために、プロセッサ（１０２）により実行される挙動予測方法であって、
道路ユーザを特定する道路ユーザ特定情報を取得することと
道路ユーザの出入可能な構造物を特定する構造物特定情報を取得することと、
道路ユーザと、道路ユーザの目的地としての構造物と、の相関関係情報を準備することと、
道路ユーザ特定情報、構造物特定情報、及び相関関係情報に基づいて道路ユーザの挙動を予測することと、
を含む。 A third aspect of the present disclosure is a behavior prediction method executed by a processor (102) for predicting road user behavior, comprising:
Acquiring road user identification information that identifies a road user; obtaining structure identification information that identifies a structure accessible to the road user;
preparing correlation information between road users and structures as destinations for the road users;
predicting road user behavior based on road user identification information, structure identification information, and correlation information;
including.

本開示の第四態様は、道路ユーザの挙動を予測するために記憶媒体（１０１）に記憶され、プロセッサ（１０２）に実行させる命令を含む挙動予測プログラムであって、
命令は、
道路ユーザを特定する道路ユーザ特定情報を取得させることと、
道路ユーザの出入可能な構造物を特定する構造物特定情報を取得させることと、
道路ユーザと、道路ユーザの目的地としての構造物と、の相関関係情報を準備させることと、
道路ユーザ特定情報、構造物特定情報、及び相関関係情報に基づいて道路ユーザの挙動を予測させることと、
を含む。
これら第一～第四態様によると、道路ユーザ特定情報、構造物特定情報、及び道路ユーザと構造物との相関関係情報に基づいて、道路ユーザの挙動が予測される。これによれば、道路ユーザの挙動予測において、道路ユーザと目的地としての構造物との相関関係が考慮される。故に、構造物を目的地とした道路ユーザの挙動が、予測結果に含まれ得る。したがって、挙動予測の確実性が向上可能となり得る。 A fourth aspect of the present disclosure is a behavior prediction program stored in a storage medium (101) for predicting behavior of a road user and comprising instructions to be executed by a processor (102),
the instruction is
Acquiring road user identification information that identifies a road user;
Acquiring structure identification information that identifies structures that can be accessed by a road user;
preparing correlation information between road users and structures as destinations for the road users;
Predicting the behavior of the road user based on the road user identification information, the structure identification information, and the correlation information;
including.
According to these first to fourth aspects, the behavior of the road user is predicted based on the road user identification information, the structure identification information, and the correlation information between the road user and the structure. According to this, the correlation between the road user and the structure as the destination is considered in the behavior prediction of the road user. Therefore, the behavior of road users whose destination is the structure can be included in the prediction results. Therefore, the certainty of behavior prediction can be improved.

第一実施形態の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of 1st embodiment. 第一実施形態の適用環境を模式的に示す図である。It is a figure which shows typically the application environment of 1st embodiment. 第一実施形態による挙動予測システムの機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the behavior prediction system by 1st embodiment. 第一実施形態における構造物マッピング情報の一例を示す図である。It is a figure which shows an example of the structure mapping information in 1st embodiment. 相関関係情報のデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of correlation information. 第一実施形態による挙動予測方法を示すフローチャートである。It is a flow chart which shows the behavior prediction method by a first embodiment. 第二実施形態における構造物マッピング情報の一例を示す図である。It is a figure which shows an example of the structure mapping information in 2nd embodiment.

以下、本開示の実施形態を図面に基づき複数説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。 A plurality of embodiments of the present disclosure will be described below based on the drawings. Note that redundant description may be omitted by assigning the same reference numerals to corresponding components in each embodiment. Moreover, when only a part of the configuration is described in each embodiment, the configurations of the other embodiments previously described can be applied to the other portions of the configuration. Furthermore, not only the combinations of the configurations explicitly specified in the description of each embodiment, but also the configurations of the multiple embodiments can be partially combined even if they are not explicitly specified unless there is a particular problem with the combination.

以下、本開示の一実施形態を図面に基づき説明する。 An embodiment of the present disclosure will be described below based on the drawings.

（第一実施形態）
図１に示す第一実施形態の挙動予測システム１００は、図２に示すホスト車両Ａの周辺に存在する道路ユーザについて、将来挙動を予測する。道路ユーザは、道路を使用する移動体である。ここでの道路は、車道、歩道及びその他の隣接するスペースを含んでいてよい。ここでの移動体は、ターゲット車両Ｂ及び歩行者を含む。ホスト車両Ａを中心とする視点において、ホスト車両Ａは自車両（ego-vehicle）であるともいえる。ホスト車両Ａを中心とする視点において、ターゲット車両Ｂは他車両であるともいえ、他の道路ユーザであるともいえる。ターゲット車両Ｂは、四輪自動車及び二輪車を含む。ターゲット車両Ｂは、運転手が搭乗していない無人運行車両であってもよい。ホスト車両Ａは、ターゲット車両Ｂ及びセンタＣと車外ネットワークＮＷを通じて通信可能である。 (First embodiment)
The behavior prediction system 100 of the first embodiment shown in FIG. 1 predicts the future behavior of road users present around the host vehicle A shown in FIG. A road user is a mobile object that uses a road. Roads, as used herein, may include roadways, sidewalks, and other adjacent spaces. The moving object here includes the target vehicle B and pedestrians. From a viewpoint centering on the host vehicle A, the host vehicle A can also be said to be an ego-vehicle. From the point of view centered on the host vehicle A, the target vehicle B can be said to be another vehicle or another road user. Target vehicles B include four-wheeled vehicles and two-wheeled vehicles. The target vehicle B may be an unmanned vehicle without a driver. A host vehicle A can communicate with a target vehicle B and a center C through an external network NW.

ホスト車両Ａにおいては、運転タスクにおける乗員の手動介入度に応じてレベル分けされる、自動運転モードが与えられる。自動運転モードは、条件付運転自動化、高度運転自動化、又は完全運転自動化といった、作動時のシステムが全ての運転タスクを実行する自律走行制御により、実現されてもよい。自動運転モードは、運転支援、又は部分運転自動化といった、乗員が一部若しくは全ての運転タスクを実行する高度運転支援制御により、実現されてもよい。自動運転モードは、それら自律走行制御と高度運転支援制御とのいずれか一方、組み合わせ、又は切り替えにより実現されてもよい。 The host vehicle A is given an automatic driving mode that is classified according to the degree of manual intervention of the driver in the driving task. Autonomous driving modes may be achieved by autonomous cruise control, such as conditional driving automation, advanced driving automation, or full driving automation, in which the system performs all driving tasks when activated. Autonomous driving modes may be provided by advanced driving assistance controls, such as driving assistance or partial driving automation, in which the occupant performs some or all driving tasks. The automatic driving mode may be realized by either one, combination, or switching of the autonomous driving control and advanced driving support control.

ホスト車両Ａには、図３に示すセンサ系１０、地図データベース（以下、「ＤＢ」）２０及び通信系３０が搭載される。センサ系１０は、挙動予測システム１００により利用可能なセンサ情報を、ホスト車両Ａの外界及び内界の検出により取得する。そのためにセンサ系１０は、外界センサ１１及び内界センサ１２を含んで構成されている。 The host vehicle A is equipped with a sensor system 10, a map database (hereinafter referred to as "DB") 20, and a communication system 30 shown in FIG. The sensor system 10 acquires sensor information that can be used by the behavior prediction system 100 by detecting the external and internal worlds of the host vehicle A. FIG. For this purpose, the sensor system 10 includes an external sensor 11 and an internal sensor 12 .

外界センサ１１は、ホスト車両Ａの周辺環境となる外界から、挙動予測システム１００により利用可能な外界情報を取得する。外界センサ１１は、ホスト車両Ａの外界に存在する物標を検知することで、外界情報を取得してもよい。物標検知タイプの外界センサ１１は、例えばカメラ、ＬｉＤＡＲ（Light Detection and Ranging / Laser Imaging Detection and Ranging）、レーダ、及びソナー等のうち、少なくとも一種類である。 The external world sensor 11 acquires external world information that can be used by the behavior prediction system 100 from the external world, which is the surrounding environment of the host vehicle A. FIG. The external world sensor 11 may acquire external world information by detecting a target existing in the external world of the host vehicle A. The target detection type external sensor 11 is, for example, at least one type of camera, LiDAR (Light Detection and Ranging/Laser Imaging Detection and Ranging), radar, sonar, and the like.

内界センサ１２は、ホスト車両Ａの内部環境となる内界から、挙動予測システム１００により利用可能な内界情報を取得する。内界センサ１２は、ホスト車両Ａの内界において特定の運動物理量を検知することで、内界情報を取得してもよい。物理量検知タイプの内界センサ１２は、例えば走行速度センサ、加速度センサ、及びジャイロセンサ等のうち、少なくとも一種類である。内界センサ１２は、ホスト車両Ａの内界において乗員の特定状態を検知することで、内界情報を取得してもよい。乗員検知タイプの内界センサ１２は、例えばドライバーステータスモニター（登録商標）、生体センサ、着座センサ、アクチュエータセンサ、及び車内機器センサ等のうち、少なくとも一種類である。 The internal world sensor 12 acquires internal world information that can be used by the behavior prediction system 100 from the internal world that is the internal environment of the host vehicle A. FIG. The inner world sensor 12 may acquire inner world information by detecting a specific kinematic physical quantity in the inner world of the host vehicle A. FIG. The physical quantity sensing type internal sensor 12 is at least one of, for example, a running speed sensor, an acceleration sensor, a gyro sensor, and the like. The inner world sensor 12 may acquire inner world information by detecting a specific state of the occupant in the inner world of the host vehicle A. The occupant detection type internal sensor 12 is, for example, at least one of a driver status monitor (registered trademark), a biosensor, a seating sensor, an actuator sensor, an in-vehicle device sensor, and the like.

地図ＤＢ２０は、挙動予測システム１００により利用可能な地図情報を、記憶する。地図ＤＢ２０は、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）を含んで構成される。地図ＤＢ２０は、ホスト車両Ａの自己位置を含む自己状態量を推定するロケータの、データベースであってもよい。地図ＤＢ２０は、ホスト車両Ａの走行経路をナビゲートするナビゲーションユニットの、データベースであってもよい。地図ＤＢ２０は、これらのデータベース等のうち複数種類の組み合わせにより、構成されていてもよい。 The map DB 20 stores map information that can be used by the behavior prediction system 100 . The map DB 20 includes at least one type of non-transitory tangible storage medium such as semiconductor memory, magnetic medium, and optical medium. The map DB 20 may be a database of locators for estimating self-state quantities including host vehicle A's self-position. The map DB 20 may be a database of a navigation unit that navigates the travel route of the host vehicle A. FIG. The map DB 20 may be configured by combining a plurality of types of these databases.

地図ＤＢ２０は、例えば外部センタとの通信等により、最新の地図情報を取得して記憶する。ここで地図情報は、ホスト車両Ａの走行環境を表す情報として、二次元又は三次元にデータ化されている。特に三次元の地図データとしては、高精度地図のデジタルデータが採用されるとよい。地図情報は、例えば道路自体の位置、形状、及び路面状態等のうち、少なくとも一種類を表した道路情報を含んでいてもよい。地図情報は、例えば道路に付属する標識及び区画線の位置並びに形状等のうち、少なくとも一種類を表した標示情報を含んでいてもよい。地図情報は、例えば信号機の位置及び形状等のうち、少なくとも一種類を表した信号機情報を含んでいてもよい。地図情報は、例えばユーザが出入り可能な構造物に関して、後述の構造物特定情報を含んでいてよい。 The map DB 20 acquires and stores the latest map information through communication with an external center, for example. Here, the map information is data representing the running environment of the host vehicle A in two or three dimensions. In particular, as the three-dimensional map data, digital data of a high-precision map should be adopted. The map information may include road information representing at least one of the position, shape, road surface condition, and the like of the road itself. The map information may include sign information representing at least one of the position and shape of signs attached to roads and lane markings, for example. The map information may include traffic signal information representing at least one type of traffic signal, such as the position and shape of the traffic signal. The map information may include, for example, structure identification information, which will be described later, regarding structures accessible to the user.

通信系３０は、挙動予測システム１００により利用可能な通信情報を、無線通信により取得する。通信系３０は、ホスト車両Ａの外界に存在するＧＮＳＳ（Global Navigation Satellite System）の人工衛星から、測位信号を受信してもよい。測位タイプの通信系３０は、例えばＧＮＳＳ受信機等である。通信系３０は、ホスト車両Ａの外界に存在するＶ２Ｘシステムとの間において、通信信号を送受信してもよい。Ｖ２Ｘタイプの通信系３０は、例えばＤＳＲＣ（Dedicated Short Range Communications）通信機、及びセルラＶ２Ｘ（C-V2X）通信機等のうち、少なくとも一種類である。通信系３０は、ホスト車両Ａの内界に存在する端末との間において、通信信号を送受信してもよい。端末通信タイプの通信系３０は、例えばブルートゥース（Bluetooth：登録商標）機器、Ｗｉ－Ｆｉ（登録商標）機器、及び赤外線通信機器等のうち、少なくとも一種類である。通信系３０によって、ホスト車両Ａは、車外ネットワークＮＷに接続可能となる。これにより、通信系３０を介して、ホスト車両Ａは、センタＣと通信可能となる。 The communication system 30 acquires communication information that can be used by the behavior prediction system 100 by wireless communication. The communication system 30 may receive positioning signals from artificial satellites of GNSS (Global Navigation Satellite System) existing outside the host vehicle A. The positioning type communication system 30 is, for example, a GNSS receiver or the like. The communication system 30 may transmit and receive communication signals to and from a V2X system existing outside the host vehicle A. The V2X type communication system 30 is, for example, at least one of a DSRC (Dedicated Short Range Communications) communication device, a cellular V2X (C-V2X) communication device, and the like. The communication system 30 may transmit and receive communication signals to and from terminals existing in the inner world of the host vehicle A. The terminal communication type communication system 30 is, for example, at least one of Bluetooth (registered trademark) equipment, Wi-Fi (registered trademark) equipment, infrared communication equipment, and the like. The communication system 30 enables the host vehicle A to connect to the external network NW. As a result, the host vehicle A can communicate with the center C via the communication system 30 .

センタＣには、図３に示す構造物ＤＢ４０が搭載される。構造物ＤＢ４０は、挙動予測システム１００により利用可能な構造物の特性情報を、記憶するデータベースである。構造物ＤＢ４０は、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）を含んで構成される。構造物ＤＢ４０は、ホスト車両Ａに搭載されたデータベースであってもよい。構造物ＤＢ４０は、ホスト車両Ａ及びセンタＣに搭載されたデータベースの組み合わせにより、構成されていてもよい。 The center C is equipped with a structure DB 40 shown in FIG. The structure DB 40 is a database that stores characteristic information of structures that can be used by the behavior prediction system 100 . The structure DB 40 includes at least one type of non-transitory tangible storage medium, such as semiconductor memory, magnetic medium, and optical medium. The structure DB 40 may be a database mounted on the host vehicle A. The structure DB 40 may be configured by a combination of databases mounted on the host vehicle A and the center C. FIG.

構造物ＤＢ４０の記憶する特性情報は、道路ユーザの挙動予測において利用可能な、構造物に関する情報である。特に、特性情報は、道路ユーザと当該道路ユーザの目的地として選択される構造物との相関関係を推定可能な、構造物の特性を含んでいる。例えば、特性情報は、個々の構造物又は構造物の種別ごとのユーザ（構造物ユーザ）に関する情報を含んでいる。具体例としては、特性情報の一つは、曜日や時刻等の時間帯別のユーザ数に関する情報である。別の具体例としては、特性情報の一つは、各構造物のユーザ属性に関する属性情報である。例えば、年齢層別、性別、同伴者の有無及び種類別の構造物ユーザの分布が、属性情報に含まれ得る。同伴者の種類は、例えば、家族連れ、カップル、友人等である。また、他の社会的属性別のユーザ分布も、属性情報に含まれ得る。他の社会的属性は、例えば、会社員、学生、主婦といった区分を含む。 The property information stored in the structure DB 40 is information about structures that can be used in predicting the behavior of road users. In particular, the property information includes properties of structures from which correlations between road users and structures selected as destinations for the road users can be estimated. For example, the property information includes information about individual structures or users (structure users) for each type of structure. As a specific example, one of the characteristic information is information regarding the number of users by time zone such as day of the week and time of day. As another specific example, one of the characteristic information is attribute information regarding user attributes of each structure. For example, the attribute information may include distribution of structure users by age group, gender, presence or absence of companions, and type. Types of companions are, for example, families, couples, friends, and the like. The attribute information may also include user distribution by other social attributes. Other social attributes include categories such as office worker, student, and housewife.

構造物ＤＢ４０は、特性情報を適宜最新の情報に更新してよい。構造物ＤＢ４０は、他の情報管理センタから配信された情報に基づき特性情報を更新してもよい。また、構造物ＤＢ４０は、ホスト車両Ａ及びターゲット車両Ｂ等、道路上の車両による構造物の検出情報（外界情報）に基づいて、特性情報を更新してもよい。 The structure DB 40 may appropriately update the characteristic information to the latest information. The structure DB 40 may update the property information based on information distributed from another information management center. Further, the structure DB 40 may update the property information based on detection information (external world information) of structures detected by vehicles on the road, such as the host vehicle A and the target vehicle B.

挙動予測システム１００は、例えばＬＡＮ（Local Area Network）回線、ワイヤハーネス、内部バス、及び無線通信回線等のうち、少なくとも一種類を介してセンサ系１０、通信系３０、地図ＤＢ２０、通信系３０、及び構造物ＤＢ４０に接続されている。挙動予測システム１００は、少なくとも一つの専用コンピュータを含んで構成されている。 The behavior prediction system 100 connects the sensor system 10, the communication system 30, the map DB 20, the communication system 30, and the structure DB 40 . The behavior prediction system 100 is configured including at least one dedicated computer.

挙動予測システム１００を構成する専用コンピュータは、ホスト車両Ａの運転制御を統合する、統合ＥＣＵ（Electronic Control Unit）であってもよい。挙動予測システム１００を構成する専用コンピュータは、ホスト車両Ａの運転制御における運転タスクを判断する、判断ＥＣＵであってもよい。挙動予測システム１００を構成する専用コンピュータは、ホスト車両Ａの運転制御を監視する、監視ＥＣＵであってもよい。挙動予測システム１００を構成する専用コンピュータは、ホスト車両Ａの運転制御を評価する、評価ＥＣＵであってもよい。 The dedicated computer that constitutes the behavior prediction system 100 may be an integrated ECU (Electronic Control Unit) that integrates the operation control of the host vehicle A. The dedicated computer that constitutes the behavior prediction system 100 may be a judgment ECU that judges the driving task in the driving control of the host vehicle A. A dedicated computer that constitutes the behavior prediction system 100 may be a monitoring ECU that monitors the operation control of the host vehicle A. FIG. The dedicated computer that constitutes the behavior prediction system 100 may be an evaluation ECU that evaluates the driving control of the host vehicle A.

挙動予測システム１００を構成する専用コンピュータは、ホスト車両Ａの走行経路をナビゲートする、ナビゲーションＥＣＵであってもよい。挙動予測システム１００を構成する専用コンピュータは、ホスト車両Ａの自己状態量を推定する、ロケータＥＣＵであってもよい。挙動予測システム１００を構成する専用コンピュータは、ホスト車両Ａの走行アクチュエータを制御する、アクチュエータＥＣＵであってもよい。挙動予測システム１００を構成する専用コンピュータは、ホスト車両Ａにおいて情報提示系による情報提示を制御する、ＨＣＵ（HMI(Human Machine Interface) Control Unit）であってもよい。挙動予測システム１００を構成する専用コンピュータは、例えばホスト車両Ａとの間で通信可能な外部センタ又はモバイル端末等を構成する、ホスト車両Ａ以外のコンピュータであってもよい。 A dedicated computer that configures the behavior prediction system 100 may be a navigation ECU that navigates the travel route of the host vehicle A. FIG. A dedicated computer that configures the behavior prediction system 100 may be a locator ECU that estimates the host vehicle A's self-state quantity. The dedicated computer that constitutes the behavior prediction system 100 may be an actuator ECU that controls the travel actuators of the host vehicle A. FIG. The dedicated computer that configures behavior prediction system 100 may be an HCU (Human Machine Interface) Control Unit (HMI) that controls information presentation by an information presentation system in host vehicle A. FIG. The dedicated computer constituting the behavior prediction system 100 may be a computer other than the host vehicle A, which constitutes an external center or a mobile terminal capable of communicating with the host vehicle A, for example.

挙動予測システム１００を構成する専用コンピュータは、メモリ１０１及びプロセッサ１０２を、少なくとも一つずつ有している。メモリ１０１は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ１０２は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ、ＤＦＰ（Data Flow Processor）、及びＧＳＰ（Graph Streaming Processor）等のうち、少なくとも一種類をコアとして含んでいる。 A dedicated computer that constitutes behavior prediction system 100 has at least one memory 101 and at least one processor 102 . The memory 101 stores computer-readable programs, data, etc., non-temporarily, and includes at least one type of non-transitory storage medium such as a semiconductor memory, a magnetic medium, and an optical medium. tangible storage medium). The processor 102 is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a RISC (Reduced Instruction Set Computer)-CPU, a DFP (Data Flow Processor), a GSP (Graph Streaming Processor), or the like. as a core.

挙動予測システム１００においてプロセッサ１０２は、道路ユーザについて挙動を予測するためにメモリ１０１に記憶された、挙動予測プログラムに含まれる複数の命令を実行する。これにより挙動予測システム１００は、道路ユーザについて挙動を予測ための機能ブロックを、複数構築する。挙動予測システム１００において構築される複数の機能ブロックには、図３に示すように道路ユーザ取得ブロック１１０、構造物取得ブロック１２０、入力情報準備ブロック１３０、挙動予測ブロック１４０、及び軌道生成ブロック１５０が含まれている。 In behavior prediction system 100 processor 102 executes a plurality of instructions contained in a behavior prediction program stored in memory 101 to predict behavior for road users. Thereby, the behavior prediction system 100 constructs a plurality of functional blocks for predicting the behavior of road users. The plurality of functional blocks constructed in the behavior prediction system 100 include a road user acquisition block 110, a structure acquisition block 120, an input information preparation block 130, a behavior prediction block 140, and a trajectory generation block 150, as shown in FIG. include.

道路ユーザ取得ブロック１１０は、道路ユーザを特定する道路ユーザ特定情報を取得する。道路ユーザ特定情報は、道路ユーザの種別、位置、速度及び加速度等のうち、少なくとも一種類を含んでいる。道路ユーザ取得ブロック１１０は、センサ系１０における外界センサ１１から道路ユーザ特定情報を取得してよい。又は、道路ユーザ取得ブロック１１０は、通信系３０から道路ユーザ特定情報を取得してもよい。 The road user acquisition block 110 acquires road user identification information that identifies a road user. The road user identification information includes at least one type of road user type, position, speed, acceleration, and the like. The road user acquisition block 110 may acquire road user identification information from the external sensor 11 in the sensor system 10 . Alternatively, the road user acquisition block 110 may acquire road user identification information from the communication system 30 .

構造物取得ブロック１２０は、道路ユーザの出入可能な構造物を特定する構造物特定情報を取得する。例えば、構造物特定情報は、構造物の種別に関する情報を含む。構造物の種別は、例えば、地図ＤＢ２０に記憶された地図情報が有する構造物の種別情報の粒度に合わせたものとされればよい。一例として、構造物の種別は、ショッピングモール、病院、会社、警察署、消防署、公園及び学校のうち少なくとも一種類以上を含んでいる。 The structure acquisition block 120 acquires structure identification information that identifies structures that can be accessed by the road user. For example, the structure identification information includes information regarding the type of structure. The type of the structure may be matched with the granularity of the type information of the structure included in the map information stored in the map DB 20, for example. As an example, the types of structures include at least one of shopping malls, hospitals, companies, police stations, fire stations, parks, and schools.

また、構造物特定情報は、構造物の位置に関する情報を含む。位置に関する情報は、構造物の座標を含む。また、位置に関する情報は、大きさ、方位等を含んでいてもよい。例えば、構造物の座標が当該構造物の代表位置（中心位置等）であった場合、大きさが取得される。さらに、構造物特定情報は、構造物の出入口に関する情報を含む。出入口に関する情報には、当該出入口にて出入可能な道路ユーザの種別に関する情報が含まれていてもよい。さらに、構造物特定情報は、特性情報を含む。 Further, the structure identification information includes information regarding the position of the structure. Information about the position includes the coordinates of the structure. Also, the information about the position may include size, orientation, and the like. For example, when the coordinates of the structure are the representative position (center position, etc.) of the structure, the size is acquired. Further, the structure identification information includes information on entrances and exits of the structure. The information on the entrance may include information on the types of road users who can enter and exit the entrance. Furthermore, the structure identification information includes property information.

構造物取得ブロック１２０は、以上の構造物特定情報を、例えばセンサ系１０における外界センサ１１の外界情報に基づく推定により取得すればよい。なお、構造物取得ブロック１２０は、構造物特定情報を含む外界情報自体を取得してもよい。又は、構造物取得ブロック１２０は、構造物特定情報を、地図ＤＢ２０に記憶された地図情報から、取得してもよい。なお、構造物取得ブロック１２０は、構造物特定情報を格納済みの地図情報自体を、取得してもよい。 The structure acquisition block 120 may acquire the above structure identification information by estimation based on the external world information of the external sensor 11 in the sensor system 10, for example. Note that the structure acquisition block 120 may acquire the external world information itself including the structure identification information. Alternatively, the structure acquisition block 120 may acquire the structure identification information from map information stored in the map DB 20 . Note that the structure acquisition block 120 may acquire the map information itself in which the structure identification information is already stored.

入力情報準備ブロック１３０は、挙動予測において利用される情報、すなわち挙動予測モデルに入力される入力情報の少なくとも一部を準備する。準備される入力情報は、例えば、構造物マッピング情報及び相関関係情報を含む。 The input information preparation block 130 prepares at least part of the information used in behavior prediction, that is, the input information input to the behavior prediction model. The prepared input information includes, for example, structure mapping information and correlation information.

構造物マッピング情報は、構造物特定情報が展開された地図情報である。構造物特定情報が展開された地図情報は、構造物特定情報が関連付けられた地図情報ということもできる。地図情報は、例えば、地図ＤＢ２０から取得される二次元地図データである。地図情報は、ホスト車両Ａを中心とした所定の領域等、ホスト車両Ａの周辺の特定領域に関するものとされる。図４に示す例では、入力情報準備ブロック１３０は、少なくとも構造物の種別及び位置を、地図情報に関連付ける。加えて、図４に示す例では、入力情報準備ブロック１３０は、構造物の出入口に関する情報を、地図情報に対して関連付ける。 The structure mapping information is map information in which the structure specifying information is expanded. The map information in which the structure specifying information is expanded can also be said to be the map information associated with the structure specifying information. The map information is, for example, two-dimensional map data acquired from the map DB 20 . The map information relates to a specific area around the host vehicle A, such as a predetermined area centered on the host vehicle A. FIG. In the example shown in FIG. 4, the input information preparation block 130 associates at least the type and position of the structure with the map information. Additionally, in the example shown in FIG. 4, the input information preparation block 130 associates the information regarding the entrances and exits of the structure with the map information.

なお、入力情報準備ブロック１３０は、構造物特定情報以外に、道路環境情報や交通情報等を、地図情報に関連付けてもよい。 The input information preparation block 130 may associate road environment information, traffic information, etc. with the map information in addition to the structure identification information.

入力情報準備ブロック１３０は、構造物特定情報を有さない地図情報に対して、構造物特定情報を関連付けることで、構造物マッピング情報を生成してよい。又は、入力情報準備ブロック１３０は、構造物特定情報のうち少なくとも一種類以上の情報が予め格納された地図情報に対して、他の構造物特定情報を関連付けることで、構造物マッピング情報を生成してよい。又は、入力情報準備ブロック１３０は、構造物取得ブロック１２０にて取得された、構造物特定情報を予め格納された地図情報自体を、構造物マッピング情報としてもよい。 The input information preparation block 130 may generate structure mapping information by associating structure identification information with map information that does not have structure identification information. Alternatively, the input information preparation block 130 generates structure mapping information by associating other structure specifying information with map information in which at least one type of structure specifying information is stored in advance. you can Alternatively, the input information preparation block 130 may use the map information obtained by the structure obtaining block 120, in which the structure specifying information is stored in advance, as the structure mapping information.

相関関係情報は、道路ユーザと、当該道路ユーザの目的地としての構造物と、の相関関係を示す情報である。例えば、相関関係情報は。図５に示すように、道路ユーザの種別を示すノード（道路ユーザノード）と、構造物の種別を示すノード（構造物ノード）と、道路ユーザノードと構造物ノードとの相関を示すエッジと、を含むデータ構造を備えている。図５に示す例では、道路ユーザとしてのターゲット車両Ｂの種別として、乗用車、救急車、トラック、パトカーが道路ユーザノードとされている。そして、ターゲット車両Ｂの目的地となり得る構造物の種別として、ショッピングモール、病院、会社、警察署が構造物ノードとされている。そして、各道路ユーザノードと、当該道路ユーザノードに対応する目的地として想定される構造物ノードとが、エッジによってリンクされている。 Correlation information is information indicating a correlation between a road user and a structure as a destination of the road user. For example, correlation information is As shown in FIG. 5, a node indicating the type of road user (road user node), a node indicating the type of structure (structure node), an edge indicating the correlation between the road user node and the structure node, It has a data structure containing In the example shown in FIG. 5, as the types of target vehicle B as a road user, a passenger car, an ambulance, a truck, and a police car are road user nodes. As types of structures that can be the destination of the target vehicle B, shopping malls, hospitals, companies, and police stations are used as structure nodes. Each road user node and a structure node assumed as a destination corresponding to the road user node are linked by edges.

なお、エッジは、重みが設定されていてもよい。例えば、乗用車及び警察署間のエッジよりも、パトカー及び警察署間のエッジの重みが大きくなるように設定されていてもよい。 A weight may be set for the edge. For example, the edge between the police car and the police station may be weighted higher than the edge between the passenger car and the police station.

入力情報準備ブロック１３０は、以上の相関関係情報が予め記憶されたメモリ１０１から当該情報を読み出すことで、相関関係情報を準備してもよい。又は、入力情報準備ブロック１３０は、予め記憶された相関関係情報を構造物ＤＢ４０から取得することで、相関関係情報を準備してもよい。又は、入力情報準備ブロック１３０は、相関関係情報の少なくとも一部を、外界情報、通信情報及び地図情報等に基づいて生成してもよい。 The input information preparation block 130 may prepare the correlation information by reading the information from the memory 101 in which the correlation information is stored in advance. Alternatively, the input information preparation block 130 may prepare correlation information by acquiring correlation information stored in advance from the structure DB 40 . Alternatively, the input information preparation block 130 may generate at least part of the correlation information based on external world information, communication information, map information, and the like.

挙動予測ブロック１４０は、道路ユーザ特定情報、構造物マッピング情報、及び相関関係情報に基づいて道路ユーザの挙動を予測する。具体的には、挙動予測ブロック１４０は、以上の情報の入力に対して道路ユーザの挙動の予測結果を出力するように学習された学習済みモデルに対して、各情報を入力することで、挙動を予測する。挙動予測ブロック１４０は、道路ユーザが複数存在している場合であっても、各道路ユーザの道路ユーザ特定情報と、共通の構造物マッピング情報及び相関関係情報を入力することで、道路ユーザごとの予測結果を取得すればよい。 The behavior prediction block 140 predicts road user behavior based on road user identification information, structure mapping information, and correlation information. Specifically, the behavior prediction block 140 inputs each information to a learned model that has been learned to output a prediction result of the behavior of the road user in response to the input of the above information. to predict. Even if there are a plurality of road users, the behavior prediction block 140 inputs the road user identification information of each road user, the common structure mapping information and the correlation information, and predicts the behavior of each road user. All you have to do is get the prediction result.

軌道生成ブロック１５０は、ホスト車両Ａの自動運転モードにおいて、ホスト車両Ａの走行する将来軌道を生成する。軌道生成ブロック１５０は、挙動予測ブロック１４０の予測結果に基づいて、ホスト車両Ａの辿る将来軌道を生成する。将来軌道は、将来行動に従う走行予定軌跡であり、ホスト車両Ａの進行に応じたホスト車両Ａの走行位置を規定する。加えて、将来軌道は、各走行位置におけるホスト車両Ａの速度を規定するものであってもよい。軌道生成ブロック１５０は、予測結果に基づいて、道路ユーザの接近を避けるように、将来軌道を生成すればよい。軌道生成ブロック１５０は、生成した軌道計画を、ホスト車両Ａの走行アクチュエータを制御するアクチュエータＥＣＵに出力する。アクチュエータＥＣＵによる将来軌道に沿った走行制御により、自動運転モードにおけるホスト車両Ａの走行が実現される。 The trajectory generation block 150 generates a future trajectory on which the host vehicle A travels in the host vehicle A's automatic driving mode. The trajectory generation block 150 generates a future trajectory that the host vehicle A will follow based on the prediction result of the behavior prediction block 140 . The future trajectory is a planned travel trajectory that follows the future behavior, and defines the traveling position of the host vehicle A according to the progress of the host vehicle A. Additionally, the future trajectory may define the speed of the host vehicle A at each travel position. The trajectory generation block 150 may generate a future trajectory based on the prediction result so as to avoid approaching road users. The trajectory generation block 150 outputs the generated trajectory plan to the actuator ECU that controls the travel actuators of the host vehicle A. FIG. The travel control along the future trajectory by the actuator ECU realizes travel of the host vehicle A in the automatic operation mode.

ここまで説明したブロック１１０，１２０，１３０，１４０，１５０の共同により、挙動予測システム１００が道路ユーザについて挙動を予測する挙動予測方法のフロー（以下、挙動予測フローという）を、図６に従って以下に説明する。本処理フローは、ホスト車両Ａの起動中に繰り返し実行される。尚、本処理フローにおける各「Ｓ」は、挙動予測プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味している。 The behavior prediction method flow (hereinafter referred to as behavior prediction flow) in which the behavior prediction system 100 predicts the behavior of the road user in cooperation with the blocks 110, 120, 130, 140, and 150 described so far will be described below according to FIG. explain. This processing flow is repeatedly executed while the host vehicle A is running. Each "S" in this processing flow means a plurality of steps executed by a plurality of instructions included in the behavior prediction program.

まず、Ｓ１０では、道路ユーザ取得ブロック１１０が、道路ユーザを特定する道路ユーザ特定情報を取得する。次に、Ｓ２０では、構造物取得ブロック１２０が、道路ユーザの出入可能な構造物を特定する構造物特定情報を取得する。 First, in S10, the road user acquisition block 110 acquires road user identification information that identifies a road user. Next, in S20, the structure acquisition block 120 acquires structure identification information that identifies structures that can be accessed by the road user.

続くＳ３０では、入力情報準備ブロック１３０が、入力情報の一部を準備する。具体的には、Ｓ３０では、構造物特定情報が関連付けられた地図情報である構造物マッピング情報が準備される。加えて、Ｓ３０では、道路ユーザと、道路ユーザの目的地としての構造物と、の相関関係についての相関関係情報が取得される。 In subsequent S30, the input information preparation block 130 prepares part of the input information. Specifically, in S30, structure mapping information, which is map information associated with structure specifying information, is prepared. In addition, in S30, correlation information about the correlation between the road user and the structure as the road user's destination is acquired.

そして、Ｓ４０では、挙動予測ブロック１４０が、道路ユーザ特定情報、構造物マッピング情報及び相関関係情報に基づいて、道路ユーザの挙動を予測する。具体的には、挙動予測モデルに以上の情報が入力されることで、挙動予測結果が出力される。Ｓ５０では、挙動予測結果に基づいて、ホスト車両Ａの将来軌道が生成される。 Then, in S40, the behavior prediction block 140 predicts the behavior of the road user based on the road user identification information, structure mapping information and correlation information. Specifically, the behavior prediction result is output by inputting the above information into the behavior prediction model. In S50, the future trajectory of the host vehicle A is generated based on the behavior prediction result.

以上の第一実施形態によれば、道路ユーザ特定情報、構造物特定情報、及び道路ユーザと構造物との相関関係情報に基づいて、道路ユーザの挙動が予測される。これによれば、道路ユーザの挙動予測において、道路ユーザと目的地としての構造物との相関関係が考慮される。故に、構造物を目的地とした道路ユーザの挙動が、予測結果に含まれ得る。したがって、挙動予測の確実性が向上可能となり得る。 According to the first embodiment described above, the behavior of the road user is predicted based on the road user identification information, the structure identification information, and the correlation information between the road user and the structure. According to this, the correlation between the road user and the structure as the destination is considered in the behavior prediction of the road user. Therefore, the behavior of road users whose destination is the structure can be included in the prediction result. Therefore, the certainty of behavior prediction can be improved.

また、第一実施形態によれば、構造物特定情報に、構造物の種別に関する情報が含まれる。故に、構造物の種別に応じて、対応する道路ユーザが当該構造物を目的地として起こす挙動を予測可能となり得る。したがって、より確実な挙動予測が可能となり得る。 Further, according to the first embodiment, the information regarding the type of structure is included in the structure identification information. Therefore, depending on the type of structure, it may be possible to predict the behavior of the corresponding road user with the structure as the destination. Therefore, more reliable behavior prediction may be possible.

さらに、第一実施形態によれば、構造物特定情報に、構造物の位置に関する情報が含まれる。故に、構造物の位置に応じて、対応する道路ユーザが当該構造物を目的地として起こす挙動を予測可能となり得る。したがって、より確実な挙動予測が可能となり得る。 Furthermore, according to the first embodiment, the structure identification information includes information regarding the position of the structure. Therefore, depending on the location of a structure, it may be possible to predict the behavior of the corresponding road user with that structure as their destination. Therefore, more reliable behavior prediction may be possible.

加えて、第一実施形態によれば、構造物特定情報に、構造物の出入口に関する情報が含まれる。故に、構造物の出入口に応じて、対応する道路ユーザが当該構造物を目的地として起こす挙動を予測可能となり得る。したがって、より確実な挙動予測が可能となり得る。 In addition, according to the first embodiment, the structure identification information includes information on the entrance/exit of the structure. Therefore, depending on the entrance/exit of a structure, it may be possible to predict the behavior of the corresponding road user with that structure as their destination. Therefore, more reliable behavior prediction may be possible.

また、第一実施形態によれば、構造物特定情報に、構造物を利用する構造物ユーザに関する情報が含まれる。故に、構造物ユーザの特性に応じて、対応する道路ユーザが当該構造物を目的地として起こす挙動を予測可能となり得る。したがって、より確実な挙動予測が可能となり得る。 Further, according to the first embodiment, the structure identification information includes information about the structure user who uses the structure. Therefore, depending on the characteristics of the structure user, it may be possible to predict the behavior of the corresponding road user with the structure as the destination. Therefore, more reliable behavior prediction may be possible.

さらに、道路ユーザの挙動を予測することは、構造物特定情報が関連付けられた地図情報に基づき道路ユーザの挙動を予測することを含む。これによれば、構造物特定情報が、地図情報の形態にて挙動予測に利用される。故に、学習済みモデル等の挙動予測モデルに対する入力情報として適した形態にて、構造物特定情報が利用され得る。さらに、地図情報には、構造物の種別が少なくとも関連付けられているので、構造物の種別に応じたより確実な挙動予測が可能となり得る。 Furthermore, predicting the behavior of the road user includes predicting the behavior of the road user based on the map information associated with the structure identification information. According to this, the structure identification information is used for behavior prediction in the form of map information. Therefore, the structure identification information can be used in a form suitable as input information for a behavior prediction model such as a learned model. Furthermore, since at least the type of structure is associated with the map information, it is possible to more reliably predict the behavior according to the type of structure.

（第二実施形態）
第二実施形態では、第一実施形態における挙動予測システム１００の変形例について説明する。 (Second embodiment)
A second embodiment describes a modification of the behavior prediction system 100 in the first embodiment.

第二実施形態において、入力情報準備ブロック１３０は、構造物マッピング情報として、構造物ごとに推定又は計測されたユーザ分布（構造物ユーザ分布）を関連付けられた地図情報を、準備する。構造物マッピング情報は、構造物ユーザ分布を関連付けられた地図情報を、道路ユーザの種別ごとに準備する。この場合、構造物ごとの構造物ユーザ分布は、道路ユーザの種別に対応したものとされる。すなわち、道路ユーザが人である場合には、その属性に応じた構造物ごとの構造物ユーザ分布が、地図情報に関連付けられる。そして、道路ユーザが車両である場合には、車両の種別ごとの乗員の属性に応じた、構造物ごとの構造物ユーザ分布が、地図情報に関連付けられる。したがって、この構造物マッピング情報は、道路ユーザと、道路ユーザの目的地としての構造物と、の相関関係情報を格納したデータとなる。 In the second embodiment, the input information preparation block 130 prepares map information associated with a user distribution (structure user distribution) estimated or measured for each structure as structure mapping information. For the structure mapping information, map information associated with structure user distribution is prepared for each road user type. In this case, the structure user distribution for each structure corresponds to the type of road user. That is, when the road users are people, the structure user distribution for each structure according to the attribute is associated with the map information. When the road users are vehicles, the structure user distribution for each structure according to the attributes of the occupants of each type of vehicle is associated with the map information. Therefore, this structure mapping information is data storing correlation information between the road user and the structure serving as the road user's destination.

図７に示す例では、構造物マッピング情報は、乗用車に対応するユーザ分布を関連付けられた二次元地図データ、子供に対応するユーザ分布を関連付けられた二次元地図データ、救急車に対応するユーザ分布を関連付けられた二次元地図データ等を含む。図７においては、構造物ユーザが多く分布する構造物ほど、ドットのハッチングの密度が高くなっている。 In the example shown in FIG. 7, the structure mapping information includes two-dimensional map data associated with the user distribution corresponding to passenger cars, two-dimensional map data associated with the user distribution corresponding to children, and user distribution corresponding to ambulances. Includes associated two-dimensional map data and the like. In FIG. 7, the density of hatching of dots is higher for a structure in which many structure users are distributed.

入力情報準備ブロック１３０は、特性情報等に基づき、構造物ユーザ分布を推定すればよい。又は、入力情報準備ブロック１３０は、構造物取得ブロック１２０にて構造物特定情報として取得された構造物ユーザ分布自体を、地図情報に関連付けてもよい。又は、入力情報準備ブロック１３０は、構造物特定情報として取得された、予め構造物ユーザ分布を関連付けられた地図情報自体を、構造物マッピング情報として準備してもよい。 The input information preparation block 130 may estimate the structure user distribution based on the characteristic information and the like. Alternatively, the input information preparation block 130 may associate the structure user distribution itself acquired as the structure identification information by the structure acquisition block 120 with the map information. Alternatively, the input information preparation block 130 may prepare, as the structure mapping information, the map information itself associated with the structure user distribution in advance, which is acquired as the structure identification information.

第二実施形態における挙動予測ブロック１４０は、道路ユーザ特定情報と、相関関係を格納した構造物マッピング情報とに基づいて道路ユーザの挙動を予測する。具体的には、挙動予測ブロック１４０は、以上の情報の入力に対して道路ユーザの挙動の予測結果を出力するように学習された学習済みモデルに対して、各情報を入力することで、挙動を予測する。すなわち、第二実施形態においては、挙動予測ブロック１４０は、構造物マッピング情報とは別の相関関係情報を、挙動予測モデルに入力しなくてよい。 The behavior prediction block 140 in the second embodiment predicts road user behavior based on road user identification information and structure mapping information storing correlations. Specifically, the behavior prediction block 140 inputs each information to a learned model that has been learned to output a prediction result of the behavior of the road user in response to the input of the above information. to predict. That is, in the second embodiment, the behavior prediction block 140 does not need to input correlation information other than structure mapping information to the behavior prediction model.

以上の第二実施形態においては、図６の挙動予測フローのＳ３０にて、入力情報準備ブロック１３０が、入力情報として、構造物ごとの構造物ユーザ分布を関連付けられた地図情報（構造物マッピング情報）を、準備する。そして、Ｓ４０では、挙動予測ブロック１４０が、道路ユーザ特定情報と、相関関係情報を含んだ構造物マッピング情報と、を挙動予測モデルに入力し、挙動予測結果の出力を取得することで、挙動予測を実行する。他のステップについては、第一実施形態と同様の処理である。 In the second embodiment described above, in S30 of the behavior prediction flow of FIG. 6, the input information preparation block 130 uses map information (structure mapping information ) is prepared. Then, in S40, the behavior prediction block 140 inputs the road user identification information and the structure mapping information including the correlation information to the behavior prediction model, and acquires the output of the behavior prediction result, thereby performing the behavior prediction. to run. Other steps are the same processing as in the first embodiment.

以上の第二実施形態によれば、構造物特定情報として構造物ユーザ分布が少なくとも関連付けられた地図情報に基づき、挙動が予測される。故に、相関関係情報を組み込まれた地図情報に基づいた挙動の予測が可能となる。すなわち、挙動予測において、地図情報とは別の相関関係情報を準備する必要がなくなる。したがって、地図情報生成後の挙動予測処理における計算量が抑制され得る。 According to the second embodiment described above, the behavior is predicted based on the map information associated with at least the structure user distribution as the structure specifying information. Therefore, it is possible to predict behavior based on map information incorporating correlation information. That is, in behavior prediction, there is no need to prepare correlation information separate from map information. Therefore, the amount of calculation in the behavior prediction process after map information generation can be suppressed.

（他の実施形態）
以上、一実施形態について説明したが、本開示は、当該説明の実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。 (Other embodiments)
Although one embodiment has been described above, the present disclosure is not to be construed as being limited to the described embodiment, and can be applied to various embodiments within the scope of the present disclosure. .

変形例において、入力情報準備ブロック１３０は、構造物の種別を関連付けられた地図情報と、道路ユーザの種別に応じた構造物ユーザ分布を関連付けられた地図情報との両方を、構造物マッピング情報として準備してもよい。この場合、挙動予測ブロック１４０は、挙動予測に利用する構造物マッピング情報を、条件に応じて選択してもよい。例えば、挙動予測ブロック１４０は、挙動予測の対象とする道路ユーザの数が設定範囲内の場合には、道路ユーザの種別に応じた構造物ユーザ分布を関連付けられた地図情報を、挙動予測に利用する構成であってもよい。この場合、挙動予測ブロック１４０は、挙動予測の対象とする道路ユーザの数が設定範囲外の場合に、構造物の種別を関連付けられた地図情報を、挙動予測に利用すればよい。ここでの設定範囲は、予め設定された閾値未満又は閾値以下となる数値範囲とされる。 In a modified example, the input information preparation block 130 uses both the map information associated with the type of structure and the map information associated with the structure user distribution according to the type of road user as structure mapping information. You can prepare. In this case, the behavior prediction block 140 may select structure mapping information to be used for behavior prediction according to conditions. For example, when the number of road users whose behavior is to be predicted is within a set range, the behavior prediction block 140 uses map information associated with the structure user distribution according to the type of road user for behavior prediction. It may be configured to In this case, the behavior prediction block 140 may use the map information associated with the structure type for behavior prediction when the number of road users whose behavior is to be predicted is outside the set range. The set range here is a numerical range that is less than or equal to or less than a preset threshold.

変形例において、構造物マッピング情報は、構造物特定情報が展開された三次元地図データであってもよい。 In a modified example, the structure mapping information may be 3D map data in which the structure specifying information is expanded.

変形例において、挙動予測システム１００は、ホスト車両Ａの将来軌道を生成しなくてもよい。換言すれば、挙動予測システム１００は、軌道生成ブロック１５０を構築しなくてもよい。例えば、挙動予測システム１００は、他の車載装置又は外部サーバに対して、挙動予測結果を出力する構成であってもよい。又は、挙動予測システム１００は、挙動予測結果を、乗員に対する情報提示等、将来軌道の生成以外の処理に利用してもよい。 In a variant, the behavior prediction system 100 may not generate the future trajectory of the host vehicle A. In other words, behavior prediction system 100 does not need to build trajectory generation block 150 . For example, the behavior prediction system 100 may be configured to output behavior prediction results to another in-vehicle device or an external server. Alternatively, the behavior prediction system 100 may use the behavior prediction result for processing other than generation of the future trajectory, such as presenting information to the crew.

変形例において、挙動予測システム１００は、ホスト車両Ａの周辺に存在する道路ユーザの挙動を予測するのではなく、特定範囲に存在する道路ユーザをターゲットとして挙動を予測してもよい。すなわち、挙動予測システム１００は、特定の車両をホスト車両Ａとして区別しないシステムにおいて、提供されてもよい。 In a modified example, the behavior prediction system 100 may predict the behavior of road users existing in a specific range instead of predicting the behavior of road users existing in the vicinity of the host vehicle A. That is, the behavior prediction system 100 may be provided in a system that does not distinguish a specific vehicle as the host vehicle A.

変形例において挙動予測システム１００を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして有していてもよい。ここでデジタル回路とは、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを記憶したメモリを、有していてもよい。 In a modification, the dedicated computer that constitutes behavior prediction system 100 may have at least one of a digital circuit and an analog circuit as a processor. Here, the digital circuit includes, for example, ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), SOC (System on a Chip), PGA (Programmable Gate Array), and CPLD (Complex Programmable Logic Device). , at least one Such digital circuits may also have a memory that stores the program.

ここまでの説明形態の他、上述の実施形態及び変化例による挙動予測システム１００は、ホスト車両Ａに搭載の挙動予測装置（例えば処理ＥＣＵ等の処理装置）として、実施されてもよい。また、上述の実施形態及び変化例は、挙動予測システム１００のプロセッサ１０２及びメモリ１０１を少なくとも一つずつ有した半導体装置（例えば半導体チップ等）として、実施されてもよい。 In addition to the forms described so far, the behavior prediction system 100 according to the above-described embodiments and modifications may be implemented as a behavior prediction device (for example, a processing device such as a processing ECU) mounted on the host vehicle A. Also, the above-described embodiments and variations may be implemented as a semiconductor device (for example, a semiconductor chip or the like) having at least one processor 102 and at least one memory 101 of the behavior prediction system 100 .

１００：挙動予測システム、１０１：メモリ（記憶媒体）、１０２：プロセッサ 100: behavior prediction system, 101: memory (storage medium), 102: processor

Claims (12)

プロセッサ（１０２）を有し、道路ユーザの挙動を予測する挙動予測システムであって、
前記プロセッサは、
前記道路ユーザを特定する道路ユーザ特定情報を取得することと
前記道路ユーザの出入可能な構造物を特定する構造物特定情報を取得することと、
前記道路ユーザと、前記道路ユーザの目的地としての前記構造物と、の相関関係情報を準備することと、
前記道路ユーザ特定情報、前記構造物特定情報、及び前記相関関係情報に基づいて前記道路ユーザの挙動を予測することと、
を実行するように構成される挙動予測システム。 A behavior prediction system having a processor (102) for predicting road user behavior, comprising:
The processor
obtaining road user identification information that identifies the road user; obtaining structure identification information that identifies a structure accessible to the road user;
preparing correlation information between the road user and the structure as the road user's destination;
predicting the behavior of the road user based on the road user identification information, the structure identification information, and the correlation information;
A behavior prediction system configured to perform 前記構造物特定情報は、前記構造物の種別に関する情報を含む請求項１に記載の挙動予測システム。 2. The behavior prediction system according to claim 1, wherein said structure identification information includes information on a type of said structure. 前記構造物特定情報は、前記構造物の位置に関する情報を含む請求項１又は請求項２に記載の挙動予測システム。 3. The behavior prediction system according to claim 1, wherein the structure identification information includes information regarding the position of the structure. 前記構造物特定情報は、前記構造物の出入口に関する情報を含む請求項１から請求項３のいずれか１項に記載の挙動予測システム。 4. The behavior prediction system according to any one of claims 1 to 3, wherein the structure identification information includes information on entrances and exits of the structure. 前記構造物特定情報は、前記構造物を利用する構造物ユーザに関する情報を含む請求項１から請求項４のいずれか１項に記載の挙動予測システム。 The behavior prediction system according to any one of claims 1 to 4, wherein the structure identification information includes information about a structure user who uses the structure. 前記道路ユーザの挙動を予測することは、前記構造物特定情報が関連付けられた地図情報に基づき前記道路ユーザの挙動を予測することを含む請求項１から請求項５のいずれか１項に記載の挙動予測システム。 Predicting the behavior of the road user includes predicting the behavior of the road user based on map information associated with the structure identification information. Behavior prediction system. 前記地図情報は、前記構造物の種別が少なくとも関連付けられている請求項６に記載の挙動予測システム。 7. The behavior prediction system according to claim 6, wherein said map information is associated with at least a type of said structure. 前記地図情報は、前記構造物ごとに推定される構造物ユーザ分布が少なくとも関連付けられている請求項６又は請求項７に記載の挙動予測システム。 8. The behavior prediction system according to claim 6, wherein the map information is associated with at least a structure user distribution estimated for each structure. 前記道路ユーザの挙動を予測することは、前記道路ユーザ特定情報、前記構造物特定情報、及び前記相関関係情報の入力に対して前記道路ユーザに予測される挙動を出力するように学習された学習済みモデルに、前記道路ユーザ特定情報、前記構造物特定情報、及び前記相関関係情報を入力することを含む請求項１から請求項８のいずれか１項に記載の挙動予測システム。 Predicting the behavior of the road user includes learning learned to output a predicted behavior of the road user in response to inputs of the road user identification information, the structure identification information, and the correlation information. 9. The behavior prediction system according to any one of claims 1 to 8, comprising inputting the road user identification information, the structure identification information, and the correlation information to a finished model. プロセッサ（１０２）を有し、道路ユーザの挙動を予測する挙動予測装置であって、
前記プロセッサは、
前記道路ユーザを特定する道路ユーザ特定情報を取得することと
前記道路ユーザの出入可能な構造物を特定する構造物特定情報を取得することと、
前記道路ユーザと、前記道路ユーザの目的地としての前記構造物と、の相関関係情報を準備することと、
前記道路ユーザ特定情報、前記構造物特定情報、及び前記相関関係情報に基づいて前記道路ユーザの挙動を予測することと、
を実行するように構成される挙動予測装置。 A behavior prediction device having a processor (102) for predicting behavior of a road user,
The processor
obtaining road user identification information that identifies the road user; obtaining structure identification information that identifies a structure accessible to the road user;
preparing correlation information between the road user and the structure as the road user's destination;
predicting the behavior of the road user based on the road user identification information, the structure identification information, and the correlation information;
A behavior predictor configured to perform 道路ユーザの挙動を予測するために、プロセッサ（１０２）により実行される挙動予測方法であって、
前記道路ユーザを特定する道路ユーザ特定情報を取得することと
前記道路ユーザの出入可能な構造物を特定する構造物特定情報を取得することと、
前記道路ユーザと、前記道路ユーザの目的地としての前記構造物と、の相関関係情報を準備することと、
前記道路ユーザ特定情報、前記構造物特定情報、及び前記相関関係情報に基づいて前記道路ユーザの挙動を予測することと、
を含む挙動予測方法。 A behavior prediction method executed by a processor (102) for predicting road user behavior, comprising:
obtaining road user identification information that identifies the road user; obtaining structure identification information that identifies a structure accessible to the road user;
preparing correlation information between the road user and the structure as the road user's destination;
predicting behavior of the road user based on the road user identification information, the structure identification information, and the correlation information;
Behavior prediction methods, including 道路ユーザの挙動を予測するために記憶媒体（１０１）に記憶され、プロセッサ（１０２）に実行させる命令を含む挙動予測プログラムであって、
前記命令は、
前記道路ユーザを特定する道路ユーザ特定情報を取得させることと、
前記道路ユーザの出入可能な構造物を特定する構造物特定情報を取得させることと、
前記道路ユーザと、前記道路ユーザの目的地としての前記構造物と、の相関関係情報を準備させることと、
前記道路ユーザ特定情報、前記構造物特定情報、及び前記相関関係情報に基づいて前記道路ユーザの挙動を予測させることと、
を含む挙動予測プログラム。 A behavior prediction program stored in a storage medium (101) and comprising instructions to be executed by a processor (102) for predicting road user behavior,
Said instruction
Acquiring road user identification information identifying the road user;
Acquiring structure identification information that identifies a structure accessible to the road user;
preparing correlation information between the road user and the structure as the road user's destination;
Predicting behavior of the road user based on the road user identification information, the structure identification information, and the correlation information;
Behavior prediction program including.
JP2021100436A 2021-06-16 2021-06-16 Behavior prediction system, behavior prediction device, behavior prediction method, and behavior prediction program Pending JP2022191917A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021100436A JP2022191917A (en) 2021-06-16 2021-06-16 Behavior prediction system, behavior prediction device, behavior prediction method, and behavior prediction program
PCT/JP2022/023612 WO2022264962A1 (en) 2021-06-16 2022-06-13 Behavior prediction system, behavior prediction device, behavior prediction method, and behavior prediction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021100436A JP2022191917A (en) 2021-06-16 2021-06-16 Behavior prediction system, behavior prediction device, behavior prediction method, and behavior prediction program

Publications (2)

Publication Number Publication Date
JP2022191917A true JP2022191917A (en) 2022-12-28
JP2022191917A5 JP2022191917A5 (en) 2023-07-20

Family

ID=84526461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021100436A Pending JP2022191917A (en) 2021-06-16 2021-06-16 Behavior prediction system, behavior prediction device, behavior prediction method, and behavior prediction program

Country Status (2)

Country Link
JP (1) JP2022191917A (en)
WO (1) WO2022264962A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6731819B2 (en) * 2016-09-26 2020-07-29 日立オートモティブシステムズ株式会社 Mobile body trajectory prediction system
CN110419070B (en) * 2017-02-08 2022-03-29 住友电气工业株式会社 Information providing system, server, mobile terminal, and computer program
JP2020042553A (en) * 2018-09-11 2020-03-19 本田技研工業株式会社 Mobile body support system and mobile body support method
JP7466407B2 (en) * 2019-10-18 2024-04-12 本田技研工業株式会社 FUTURE BEHAVIOR ESTIMATION DEVICE, VEHICLE CONTROL DEVICE, FUTURE BEHAVIOR ESTIMATION METHOD, AND PROGRAM

Also Published As

Publication number Publication date
WO2022264962A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
CN109949590B (en) Traffic signal light state assessment
US20180253095A1 (en) Systems and methods for vehicle dimension prediction
EP3704627A1 (en) Multiple stage image based object detection and recognition
CN113302621A (en) Using passenger attention data captured in a vehicle for positioning and location-based services
CN112236648A (en) Enhancing navigation experience using V2X supplemental information
US11803184B2 (en) Methods for generating maps using hyper-graph data structures
WO2020142548A1 (en) Autonomous routing system based on object ai and machine learning models
CN114255606A (en) Auxiliary driving reminding method and device, map auxiliary driving reminding method and device and map
CN112996703A (en) Operation of a vehicle using multiple motion constraints
CN114419331A (en) Method and system for a vehicle and vehicle
CN113195333A (en) Autonomous vehicle operation using linear time logic
US20230003545A1 (en) Method, apparatus and computer program product for tunnel detection from a point cloud
KR20220052846A (en) Identifying objects using lidar
KR20220136006A (en) Selecting testing scenarios for evaluating the performance of autonomous vehicles
CN111859180B (en) Get-on point recommendation method and system
CN115615445A (en) Method, system and storage medium for processing map data
CN114252066A (en) Vehicle, method for vehicle, and storage medium
CN112014859A (en) Estimating a velocity profile
CN115269371A (en) Platform for path planning system development of an autonomous driving system
CN116724214A (en) Method and system for generating a lane-level map of a region of interest for navigation of an autonomous vehicle
US20220309521A1 (en) Computing a vehicle interest index
WO2022264962A1 (en) Behavior prediction system, behavior prediction device, behavior prediction method, and behavior prediction program
EP4053761A1 (en) Providing access to an autonomous vehicle based on user's detected interest
CN116153127A (en) Providing information for navigating to a parking space preferred by a vehicle operator
CN113056715B (en) Method for operating a vehicle, vehicle and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231012