JP7505386B2 - Remote support device, remote support system, remote support method and program - Google Patents

Description

本発明は、遠隔支援装置、遠隔支援システム、遠隔支援方法及びプログラムに関する。 The present invention relates to a remote support device, a remote support system, a remote support method, and a program.

従来、自律的に走行する自動運転車両を制御する際に、運転者の判断や操作をシステムが学習する技術が開発されている。例えば、特許文献１に記載の自動制御装置では、運転者の操作特性を学習し、学習が完了している場合に操作特性を反映させた自動制御を実施して、運転者の違和感を低減している（特許文献１）。 Conventionally, technology has been developed in which a system learns the judgments and operations of a driver when controlling an autonomously driving vehicle. For example, the automatic control device described in Patent Document 1 learns the operating characteristics of the driver, and when learning is complete, performs automatic control that reflects the operating characteristics, thereby reducing the driver's sense of discomfort (Patent Document 1).

特開２０１９－１０９６７号公報JP 2019-10967 A

車両の操作には、認知、判断、操作というプロセスがあるが、認知と判断を完全に自動化することは難しい。このため、車両からの要求に応じてオペレータが遠隔判断を行う遠隔支援システムが提案されている。この遠隔支援システムにおいても、すべての遠隔判断をオペレータが行うのではなく、一部の遠隔判断を自動化することができれば、オペレータの負担を減らすことができる。 Vehicle operation involves the processes of recognition, judgment, and operation, but it is difficult to completely automate recognition and judgment. For this reason, remote support systems have been proposed in which an operator makes remote judgments in response to requests from the vehicle. Even in these remote support systems, if it were possible to automate some of the remote judgments rather than have the operator make all of them, the burden on the operator could be reduced.

しかしながら、自動判断が妥当か否かを検証することなく、オペレータの判断を自動判断に置き換えることはできない。例えば、特許文献１に記載の技術では、自動制御の実施・不実施を学習の進捗状況、即ち、運転者による判断の結果と自動判断の結果との一致度合いに応じて決めており、手順や根拠といった自動判断のプロセスの妥当性については評価していない。 However, an operator's judgment cannot be replaced by an automatic judgment without verifying whether the automatic judgment is appropriate. For example, in the technology described in Patent Document 1, the implementation or non-implementation of automatic control is determined according to the progress of learning, i.e., the degree of agreement between the results of the driver's judgment and the results of the automatic judgment, and the appropriateness of the automatic judgment process, such as the procedures and reasons, is not evaluated.

自動判断を妥当とするには、例えば検証用データに対するオペレータの判断結果と自動判断の結果とが一致するだけでは不十分であり、その判断結果に至った根拠や考慮した状況の範囲に不足が無いことが必要となる。例えば、図６に示すシーンを「バスの乗降待ち」のシーンとすると、オペレータであれば、以下の（１）～（４）の段階を経て判断結果２を導き出すであろう。 For an automatic judgment to be valid, it is not enough for the judgment made by an operator on the verification data to match the automatic judgment; there must be no deficiencies in the reasons for the judgment and the range of circumstances considered. For example, if the scene shown in Figure 6 is a "waiting to board or disembark from a bus" scene, an operator would reach judgment result 2 through the following steps (1) to (4).

（１）前方のバスは乗降待ちで停車中
→追い越し対象。（判断結果１）
（２）前方のバスが乗降待ちで停車中ならば追い越すか？
→ 歩行者が道路を横断しようとしていたら停車する。
（３）歩行者が横断歩道にいたら停車するか？
→ 信号がなければ停車する。信号がある場合は点灯状態による。
（４）横断歩道付近に歩行者がいるが歩行者信号が赤信号なので停車の必要はない。
→ 乗降待ちのバスを追い越す。（判断結果２） (1) The bus ahead is stopped to wait for passengers to board or disembark → it is an overtaking target. (Judgment result 1)
(2) If the bus in front of you is stopped to wait for passengers to board or disembark, should you overtake it?
→ Stop if a pedestrian is about to cross the road.
(3) Should you stop if there is a pedestrian on the crosswalk?
→ If there are no traffic lights, the train will stop. If there are traffic lights, the train will stop.
(4) There are pedestrians near the crosswalk, but there is no need to stop because the pedestrian signal is red.
→ Pass a bus waiting to board or disembark. (Judgment 2)

上記の例では、（１）から（４）にかけて判断のプロセスが深化している。（１）の判断結果１と（４）の判断結果２とは、「乗降待ちのバスを追い越す」という結果としては同一であるが、（１）の段階までの判断しか行わないシステムでは、自動判断には不十分である。追い越しの可否を判断する際に、歩行者や信号の存在を考慮した上で影響がないと判断する場合と、歩行者や信号の存在を考慮しない場合とでは、判断結果が同一であっても、判断結果に潜むリスクが異なるからである。 In the above example, the decision-making process deepens from (1) to (4). Decision result 1 in (1) and decision result 2 in (4) are the same in that they result in "overtaking a bus waiting to board or alight," but a system that only makes decisions up to the stage of (1) is insufficient for automatic decision-making. This is because, even if the decision result is the same, the risks inherent in the decision result are different when deciding whether or not to overtake after taking into account the presence of pedestrians and traffic lights and determining that there will be no impact, and when not taking into account the presence of pedestrians and traffic lights.

従って、オペレータによる判断を自動判断で置き換えるためには、システムによる判断プロセスが妥当か否かを判定するための手順が必要だと言える。また、システムによる判断プロセスが妥当ではない場合には、自動判断の結果を採用せずにオペレータに判断を行わせるべきである。 Therefore, to replace operator judgment with automatic judgment, a procedure is needed to determine whether the system's judgment process is valid or not. Furthermore, if the system's judgment process is not valid, the automatic judgment should not be adopted and the operator should make the judgment.

本開示の目的は、車両からの要求に応じてオペレータが遠隔判断を行うシステムにおいて一部の遠隔判断を自動化することができ、自動判断が妥当ではない場合にオペレータによる手動判断に切り替えることができる、遠隔支援装置、遠隔支援システム、遠隔支援方法及びプログラムを提供することにある。 The objective of the present disclosure is to provide a remote support device, a remote support system, a remote support method, and a program that can automate some remote judgments in a system in which an operator makes remote judgments in response to requests from a vehicle, and can switch to manual judgment by the operator when the automatic judgment is inappropriate.

上記目的を達成するために、本開示の例示的な態様は、対象車両（１０）からの要求に応じて遠隔判断を行う遠隔支援装置（２０）であって、前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成する説明生成部（５４）と、前記説明情報に応じて前記対象車両が取るべき第１の行動を判断する判断生成部（５６）と、前記説明情報に基づいて前記判断生成部による判断結果の採用の可否を判定する判定部（６０）と、前記判断生成部による判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断生成部による判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する出力部（８０）と、を備える。 In order to achieve the above object, an exemplary aspect of the present disclosure is a remote assistance device (20) that performs remote judgment in response to a request from a target vehicle (10), and includes an explanation generation unit (54) that generates explanation information describing the situation around the target vehicle from a forward image of the target vehicle, a judgment generation unit (56) that judges a first action to be taken by the target vehicle in response to the explanation information, a judgment unit (60) that judges whether or not to adopt the judgment result by the judgment generation unit based on the explanation information, and an output unit (80) that outputs the first action as a result of remote judgment when the judgment result by the judgment generation unit is adopted, and switches to manual judgment by an operator and outputs a second action to be taken by the target vehicle judged by the operator from the forward image of the target vehicle as a result of remote judgment.

本開示の例示的な態様は、対象車両からの要求に応じて遠隔判断を行う遠隔支援システムであって、本開示の遠隔支援装置と、オペレータによる手動判断を取得する取得部と、を備える。 An exemplary aspect of the present disclosure is a remote assistance system that performs remote judgments in response to requests from a target vehicle, and includes the remote assistance device of the present disclosure and an acquisition unit that acquires manual judgments made by an operator.

本開示の例示的な態様は、対象車両からの要求に応じて遠隔判断を行う遠隔支援方法であって、前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成し、前記説明情報に応じて前記対象車両が取るべき第１の行動を判断し、前記説明情報に基づいて判断結果の採用の可否を判定し、前記判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する。 An exemplary aspect of the present disclosure is a remote assistance method for making a remote judgment in response to a request from a target vehicle, which generates explanatory information describing the situation around the target vehicle from a forward image of the target vehicle, judges a first action to be taken by the target vehicle in response to the explanatory information, determines whether or not to adopt the judgment result based on the explanatory information, and if the judgment result is to be adopted, outputs the first action as a result of the remote judgment, and if the judgment result cannot be adopted, switches to manual judgment by an operator and outputs a second action to be taken by the target vehicle judged by the operator from the forward image of the target vehicle as a result of the remote judgment.

本開示の例示的な態様は、対象車両からの要求に応じて遠隔判断を行うためのプログラムであって、コンピュータを、前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成する説明生成部、前記説明情報に応じて前記対象車両が取るべき第１の行動を判断する判断生成部、前記説明情報に基づいて前記判断生成部による判断結果の採用の可否を判定する判定部、前記判断生成部による判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断生成部による判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する出力部、として機能させるプログラムである。 An exemplary aspect of the present disclosure is a program for making a remote judgment in response to a request from a target vehicle, the program causing a computer to function as an explanation generation unit that generates explanatory information describing the situation around the target vehicle from a forward image of the target vehicle, a judgment generation unit that judges a first action to be taken by the target vehicle in response to the explanatory information, a judgment unit that judges whether or not to adopt the judgment result by the judgment generation unit based on the explanatory information, and an output unit that outputs the first action as a result of remote judgment if the judgment result by the judgment generation unit is to be adopted, and switches to manual judgment by an operator if the judgment result by the judgment generation unit cannot be adopted, and outputs a second action to be taken by the target vehicle judged by the operator from the forward image of the target vehicle as a result of remote judgment.

本発明によれば、車両からの要求に応じてオペレータが遠隔判断を行うシステムにおいて一部の遠隔判断を自動化することができ、自動判断が妥当ではない場合にオペレータによる手動判断に切り替えることができる。 According to the present invention, in a system in which an operator makes remote decisions in response to requests from a vehicle, some remote decisions can be automated, and when the automatic decision is inappropriate, it is possible to switch to manual decisions by the operator.

遠隔支援システムの構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of a configuration of a remote support system. 車載装置のハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of a hardware configuration of an in-vehicle device. 遠隔支援装置のハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of a hardware configuration of a remote support device. 端末装置のハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of a hardware configuration of a terminal device. 遠隔支援装置の機能的な構成の一例を示す機能ブロック図である。FIG. 2 is a functional block diagram illustrating an example of a functional configuration of a remote support device. 入力画像の一例を示す図である。FIG. 4 is a diagram illustrating an example of an input image. 物体検出の結果の一例を示す図である。FIG. 11 is a diagram illustrating an example of a result of object detection. 説明情報の一例を示す図である。FIG. 11 is a diagram illustrating an example of explanation information. 遠隔支援処理の手順の一例を示すフローチャートである。13 is a flowchart illustrating an example of a procedure for a remote assistance process. 自動判断処理の手順の一例を示すフローチャートである。11 is a flowchart illustrating an example of a procedure for an automatic determination process. 更新処理の手順の一例を示すフローチャートである。13 is a flowchart illustrating an example of a procedure for an update process. 更新処理の手順の他の一例を示すフローチャートである。13 is a flowchart illustrating another example of a procedure of an update process. 行動判定処理の手順の一例を示すフローチャートである。13 is a flowchart illustrating an example of a procedure for a behavior determination process. 行動判定処理の手順の他の一例を示すフローチャートである。13 is a flowchart showing another example of a procedure of the behavior determination process. 自動判断可否判定処理の手順の一例を示すフローチャートである。13 is a flowchart illustrating an example of a procedure for an automatic determination feasibility determination process. 手動判断取得処理の手順の一例を示すフローチャートである。13 is a flowchart illustrating an example of a procedure for manual determination and acquisition processing. 説明情報の評価例を示す模式図である。FIG. 13 is a schematic diagram showing an example of evaluation of explanation information. 学習部によるデータの流れの一例を示す模式図である。FIG. 13 is a schematic diagram showing an example of a data flow by a learning unit. 学習処理の手順の一例を示すフローチャートである。13 is a flowchart illustrating an example of a learning process procedure. モデルに与えられるデータセットの一例を示す模式図である。FIG. 1 is a schematic diagram showing an example of a data set provided to a model. システム立ち上げから立ち上げ後までの学習の進行状況の一例を示す図表である。11 is a chart showing an example of the progress of learning from system launch to after launch.

以下、図面を参照して本発明の実施の形態を詳細に説明する。 The following describes in detail an embodiment of the present invention with reference to the drawings.

［第１の実施の形態］
本開示の遠隔支援システムは、自律的に走行する自動運転車両（以下、「車両」という。）からの支援要求に応じてオペレータ又はシステムが、前方車両の追い越しや車線変更など、支援対象の車両の周囲の状況に応じてその車両が取るべき行動を遠隔判断するシステムである。 [First embodiment]
The remote assistance system disclosed herein is a system in which, in response to an assistance request from an autonomously driving self-driving vehicle (hereinafter referred to as the "vehicle"), an operator or system remotely determines the action that the vehicle should take based on the situation around the vehicle to be assisted, such as overtaking a vehicle in front or changing lanes.

＜遠隔支援システム＞
図１に示すように、遠隔支援システム１００は、車両１０と、管理センタやクラウド上に設置された遠隔支援装置２０と、オペレータ３２により操作される端末装置３０とを備えている。端末装置３０は、管理センタの内部又は外部にある管制室に設置されている。なお、車両１０、遠隔支援装置２０、及び端末装置３０の個数は、図１に示す例に限定されない。また、設置場所も一例に過ぎない。 <Remote support system>
As shown in Fig. 1, the remote support system 100 includes a vehicle 10, a remote support device 20 installed in a management center or on a cloud, and a terminal device 30 operated by an operator 32. The terminal device 30 is installed in a control room inside or outside the management center. Note that the numbers of the vehicles 10, the remote support devices 20, and the terminal devices 30 are not limited to the example shown in Fig. 1. Furthermore, the installation locations are merely examples.

車両１０は、無線基地局（図示せず）を介してインターネット等の公衆網であるネットワーク４０に接続されている。車両１０は、ネットワーク４０に接続された遠隔支援装置２０と無線により通信を行う。また、遠隔支援装置２０と端末装置３０とは、ＬＡＮ等で接続されており、有線または無線により通信を行う。 The vehicle 10 is connected to a network 40, which is a public network such as the Internet, via a wireless base station (not shown). The vehicle 10 communicates wirelessly with a remote support device 20 connected to the network 40. The remote support device 20 and the terminal device 30 are also connected by a LAN or the like, and communicate with each other by wire or wirelessly.

車両１０は、自動運転の制御を行うための制御機能（図示せず）を備えている。制御機能は、指定された目的地までの経路を決定し、決定した経路に従って走行するように、車両１０の各機構を制御することにより、自動運転を実現する。車両１０は、オペレータ３２による支援が必要な場合に、遠隔支援装置２０に遠隔支援を要求する。また、車両１０は、車両の周囲の状況を表す画像を、遠隔支援装置２０に送信する。 The vehicle 10 is equipped with a control function (not shown) for controlling autonomous driving. The control function realizes autonomous driving by determining a route to a specified destination and controlling each mechanism of the vehicle 10 so that the vehicle travels along the determined route. When the vehicle 10 needs assistance from an operator 32, the vehicle 10 requests remote assistance from the remote assistance device 20. The vehicle 10 also transmits an image showing the situation around the vehicle to the remote assistance device 20.

遠隔支援装置２０は、車両１０に対して遠隔支援を行う装置である。遠隔支援装置２０は、車両１０から遠隔支援の要求を受け付けると、車両１０が取るべき行動をまずは自動で判断する。そして、自動判断の判断プロセスが妥当である場合には、自動判断の結果を車両１０に出力する。 The remote assistance device 20 is a device that provides remote assistance to the vehicle 10. When the remote assistance device 20 receives a request for remote assistance from the vehicle 10, it first automatically determines the action that the vehicle 10 should take. Then, if the automatic determination process is appropriate, it outputs the result of the automatic determination to the vehicle 10.

一方、自動判断の判断プロセスが妥当ではない場合には、遠隔支援装置２０は、オペレータ３２による手動判断に切り替え、オペレータ３２に遠隔判断を行わせる。オペレータ３２は、対応する端末装置３０を操作して遠隔判断を入力する。遠隔支援装置２０は、手動判断の結果を端末装置３０から取得し、車両１０に出力する。 On the other hand, if the automatic judgment process is not valid, the remote support device 20 switches to manual judgment by the operator 32 and has the operator 32 make a remote judgment. The operator 32 operates the corresponding terminal device 30 to input the remote judgment. The remote support device 20 obtains the result of the manual judgment from the terminal device 30 and outputs it to the vehicle 10.

（車両のハードウェア構成）
図２に示すように、車両１０は、ＣＰＵ（Central Processing Unit）１０Ａ、メモリ１０Ｂ、記憶装置１０Ｃ、入力装置１０Ｄ、出力装置１０Ｅ、通信インタフェース（Ｉ／Ｆ）１０Ｆ、及びセンサ群１０Ｇを備えている。各部は、バス１０Ｈを介して相互に通信可能に接続されている。 (Vehicle hardware configuration)
2, the vehicle 10 includes a CPU (Central Processing Unit) 10A, a memory 10B, a storage device 10C, an input device 10D, an output device 10E, a communication interface (I/F) 10F, and a sensor group 10G. Each part is connected to each other so as to be able to communicate with each other via a bus 10H.

ＣＰＵ１０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１０Ａは、記憶装置１０Ｃからプログラムを読み出し、メモリ１０Ｂを作業領域としてプログラムを実行する。ＣＰＵ１０Ａは、記憶装置１０Ｃに記憶されているプログラムに従って、上記各部の制御及び各種の演算処理を行う。 The CPU 10A is a central processing unit that executes various programs and controls each part. That is, the CPU 10A reads the programs from the storage device 10C and executes the programs using the memory 10B as a working area. The CPU 10A controls each of the above parts and performs various calculation processes according to the programs stored in the storage device 10C.

メモリ１０Ｂは、ＲＡＭ（Random Access Memory）により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置１０Ｃは、ＲＯＭ（Read Only Memory）、及びＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。 Memory 10B is made up of RAM (Random Access Memory) and serves as a working area to temporarily store programs and data. Storage device 10C is made up of ROM (Read Only Memory), HDD (Hard Disk Drive), SSD (Solid State Drive), etc., and stores various programs including the operating system, and various data.

入力装置１０Ｄは、例えば、キーボードやマウス等の、各種の情報の入力を行うための装置である。出力装置１０Ｅは、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置１０Ｅとしてタッチパネルディスプレイを採用することにより、出力装置１０Ｅを入力装置１０Ｄとしても機能させてもよい。 The input device 10D is a device for inputting various types of information, such as a keyboard or a mouse. The output device 10E is a device for outputting various types of information, such as a display or a printer. By employing a touch panel display as the output device 10E, the output device 10E may also function as the input device 10D.

通信Ｉ／Ｆ１０Ｆは、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。 The communication I/F 10F is an interface for communicating with other devices, and uses standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark).

センサ群１０Ｇは、車両の周囲を撮影する少なくとも１つのカメラを含む。センサ群１０Ｇは、カメラの外に、車両の周囲の障害物を検知するミリ波レーダやＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）、自車両の現在位置を取得するＧＰＳ（Global Positioning System）受信機を含んでいてもよい。 The sensor group 10G includes at least one camera that captures the surroundings of the vehicle. In addition to the camera, the sensor group 10G may also include a millimeter wave radar or LIDAR (Light Detection and Ranging/Laser Imaging Detection and Ranging) that detects obstacles around the vehicle, and a GPS (Global Positioning System) receiver that acquires the current position of the vehicle.

（遠隔支援装置のハードウェア構成）
遠隔支援装置２０は、パーソナルコンピュータやサーバ装置等の情報処理装置により実現される。図３に示すように、遠隔支援装置２０は、ＣＰＵ２０Ａ、メモリ２０Ｂ、記憶装置２０Ｃ、及び通信Ｉ／Ｆ２０Ｆを備えている。各部は、バス２０Ｈを介して相互に通信可能に接続されている。なお、各部の構成は、図２に示す車両１０の対応する部分と同様であるため、説明を省略する。 (Hardware configuration of remote support device)
The remote support device 20 is realized by an information processing device such as a personal computer or a server device. As shown in Fig. 3, the remote support device 20 includes a CPU 20A, a memory 20B, a storage device 20C, and a communication I/F 20F. Each part is connected to each other so as to be able to communicate with each other via a bus 20H. Note that the configuration of each part is similar to the corresponding part of the vehicle 10 shown in Fig. 2, and therefore the description thereof will be omitted.

（端末装置のハードウェア構成）
端末装置３０は、パーソナルコンピュータ等の情報処理装置により実現される。図４に示すように、端末装置３０は、ＣＰＵ３０Ａ、メモリ３０Ｂ、記憶装置３０Ｃ、入力装置３０Ｄ、出力装置３０Ｅ、及び通信Ｉ／Ｆ３０Ｆを備えている。各部は、バス３０Ｈを介して相互に通信可能に接続されている。記憶装置３０Ｃには、後述する「遠隔支援処理」や「学習処理」を実行するためのプログラムが記憶されている。なお、各部の構成は、図２に示す車両１０の対応する部分と同様であるため、説明を省略する。 (Hardware configuration of terminal device)
The terminal device 30 is realized by an information processing device such as a personal computer. As shown in Fig. 4, the terminal device 30 includes a CPU 30A, a memory 30B, a storage device 30C, an input device 30D, an output device 30E, and a communication I/F 30F. Each part is connected to each other so as to be able to communicate with each other via a bus 30H. The storage device 30C stores a program for executing a "remote support process" and a "learning process" to be described later. Note that the configuration of each part is similar to the corresponding part of the vehicle 10 shown in Fig. 2, and therefore a description thereof will be omitted.

（遠隔支援装置２０の機能構成）
次に、図５を参照して、遠隔支援装置２０の機能的な構成を説明する。
図５に示すように、遠隔支援装置２０は、車両が取るべき行動を自動判断する自動判断部５０、ルールデータベース（ＤＢ）５８、自動判断の結果を採用するか否かを判定する自動判断可否判定部６０、オペレータによる手動判断を受け付ける手動判断取得部７０、判断結果を車両に出力する出力部８０、及び自動判断部５０を学習させる学習部９０を備えている。 (Functional configuration of remote support device 20)
Next, the functional configuration of the remote support device 20 will be described with reference to FIG.
As shown in FIG. 5, the remote assistance device 20 includes an automatic judgment unit 50 that automatically judges the action that the vehicle should take, a rule database (DB) 58, an automatic judgment feasibility judgment unit 60 that judges whether or not to adopt the result of the automatic judgment, a manual judgment acquisition unit 70 that accepts a manual judgment by an operator, an output unit 80 that outputs the judgment result to the vehicle, and a learning unit 90 that trains the automatic judgment unit 50.

遠隔支援装置２０のＣＰＵ２０Ａが後述する「遠隔支援処理」や「学習処理」のプログラムを実行することにより、コンピュータがこれらの機能部として機能する。 The CPU 20A of the remote support device 20 executes the programs for the "remote support processing" and "learning processing" described below, causing the computer to function as these functional units.

自動判断部５０は、物体検出部５２、説明生成部５４、及び判断生成部５６を備えている。物体検出部５２は、入力画像上の運転に関連する物体を検出する。説明生成部５４は、物体検出部５２で検出された物体を、ルールＤＢ５８に記憶されたルールと照合して、車両の周囲の状況を説明する説明情報を生成する。 The automatic judgment unit 50 includes an object detection unit 52, an explanation generation unit 54, and a judgment generation unit 56. The object detection unit 52 detects driving-related objects in the input image. The explanation generation unit 54 compares the objects detected by the object detection unit 52 with the rules stored in the rule DB 58, and generates explanation information that explains the situation around the vehicle.

ここで「説明情報」とは、環境に存在する物体について、物体の状態、物体と車両との関係性、及び物体同士の関係性を表す情報である。説明情報は、物体をノード、関係性をエッジとするグラフで表すことができる。本実施の形態では、説明情報をグラフで表す例について説明するが、説明情報は、複数の物体間の関係性を表現した式の集合として表現されてもよい。 Here, "explanatory information" refers to information about objects in the environment that describes the state of the object, the relationship between the object and the vehicle, and the relationships between the objects themselves. The explanatory information can be represented as a graph with objects as nodes and relationships as edges. In this embodiment, an example of representing explanatory information as a graph will be described, but the explanatory information may also be represented as a set of equations that describe the relationships between multiple objects.

ルールとは、例えば、横断歩道の脇で停止している停止歩行者は渡る可能性がある、進行方向の信号が赤である停止歩行者は移動を開始しない、ハザードランプを点灯した車両は停車している等、予め定めた規則である。「説明情報」は、ルールＤＢ５８に記憶されたルール集合のうち、対象のシーンに適用されるルールの部分集合となる。 A rule is a predefined rule, for example, that a stopped pedestrian at the side of a crosswalk may cross, that a stopped pedestrian may not start moving when the traffic light in the direction of travel is red, and that a vehicle with its hazard lights on is stopped. The "explanatory information" is a subset of the rules stored in the rule DB 58 that are applied to the target scene.

例えば、図６に示す画像について物体検出を行うと、図７で境界ボックスを付して示すように、運転に関連する物体として、バス、対向車、歩行者、横断歩道、歩行者信号、及び交差車が検出される。説明情報は、例えば図８に示すグラフで表される。上記の通り、説明情報には、検出された物体の状態（例えば、歩行者は横断歩道の脇で停止中）、物体と車両との関係性（例えば、歩行者は車両の進行エリアに侵入しない）、及び物体同士の関係性（例えば、歩行者は赤信号で停止中）が含まれる。 For example, when object detection is performed on the image shown in FIG. 6, a bus, an oncoming vehicle, a pedestrian, a crosswalk, a pedestrian signal, and a crossing vehicle are detected as driving-related objects, as shown in FIG. 7 with bounding boxes. The explanatory information is represented, for example, by the graph shown in FIG. 8. As described above, the explanatory information includes the state of the detected object (e.g., a pedestrian is stopped at the side of a crosswalk), the relationship between the object and the vehicle (e.g., a pedestrian does not enter the vehicle's travel area), and the relationship between the objects (e.g., a pedestrian is stopped at a red light).

判断生成部５６は、説明生成部５４で生成された説明情報から車両が取るべき行動を判断する。そして、自動判断部５０は、説明情報と自動判断の結果を、自動判断可否判定部６０に渡す。 The judgment generation unit 56 judges the action that the vehicle should take from the explanatory information generated by the explanation generation unit 54. The automatic judgment unit 50 then passes the explanatory information and the result of the automatic judgment to the automatic judgment feasibility determination unit 60.

自動判断可否判定部６０は、説明情報と自動判断の結果とから自動判断の結果を採用するか否かを判定する。自動判断可否判定部６０は、除外対象判定部６２及び妥当性判定部６４を備えている。除外対象判定部６２は、説明情報とは無関係に自動判断の結果が除外対象に該当するか否かを判定する。例えば、自動判断の結果が、法律的、道義的に自動判断が適切ではない行動である場合、除外対象に該当する。妥当性判定部６４は、説明情報に基づいて自動判断の妥当性を判定する。後述する通り、妥当性判定部６４は、説明情報中に関係性の見落としや矛盾等があれば自動判断は妥当ではないと判定する。なお、除外対象判定部６２は省略してもよい。 The automatic judgment feasibility determination unit 60 determines whether or not to adopt the result of the automatic judgment based on the explanatory information and the result of the automatic judgment. The automatic judgment feasibility determination unit 60 includes an excluded target determination unit 62 and a validity determination unit 64. The excluded target determination unit 62 determines whether or not the result of the automatic judgment corresponds to an excluded target regardless of the explanatory information. For example, if the result of the automatic judgment is an action for which automatic judgment is legally or morally inappropriate, it corresponds to an excluded target. The validity determination unit 64 determines the validity of the automatic judgment based on the explanatory information. As will be described later, the validity determination unit 64 determines that the automatic judgment is invalid if there is an oversight of a relationship or a contradiction in the explanatory information. The excluded target determination unit 62 may be omitted.

自動判断可否判定部６０は、判断結果が除外対象に該当せず且つ自動判断が妥当である場合には、自動判断可能と判定し、自動判断の結果を出力部８０に渡す。一方、自動判断可否判定部６０は、判断結果が除外対象に該当する場合及び自動判断が妥当でない場合のいずれかに該当する場合には、自動判断不可能と判定し、手動判断取得部７０に、オペレータによる手動判断の結果を取得させる。 If the judgment result does not correspond to an object to be excluded and the automatic judgment is appropriate, the automatic judgment feasibility determination unit 60 determines that automatic judgment is possible and passes the result of the automatic judgment to the output unit 80. On the other hand, if the judgment result corresponds to either an object to be excluded or an automatic judgment is not appropriate, the automatic judgment feasibility determination unit 60 determines that automatic judgment is not possible and causes the manual judgment acquisition unit 70 to acquire the result of the manual judgment made by the operator.

手動判断取得部７０は、オペレータが操作する端末装置に入力画像を表示させ、オペレータによる手動判断を受け付ける。手動判断取得部７０は、端末装置を介してオペレータによる手動判断の結果を取得する。手動判断取得部７０は、手動判断の結果を、出力部８０に渡す。また、後述する通り、手動判断取得部７０は、オペレータによる説明情報の評価を取得してもよい。 The manual judgment acquisition unit 70 displays the input image on a terminal device operated by the operator and accepts a manual judgment by the operator. The manual judgment acquisition unit 70 acquires the result of the manual judgment by the operator via the terminal device. The manual judgment acquisition unit 70 passes the result of the manual judgment to the output unit 80. In addition, as described below, the manual judgment acquisition unit 70 may acquire an evaluation of the explanatory information by the operator.

出力部８０は、取得した自動判断の結果又は手動判断の結果を、支援要求への応答出力として車両に出力する。 The output unit 80 outputs the acquired automatic or manual judgment results to the vehicle as a response output to the assistance request.

学習部９０には、入力画像、自動判断部５０で生成された説明情報と自動判断の結果、及び手動判断取得部７０で取得された説明情報の評価と手動判断の結果のデータセットが、学習データとして蓄積される。学習部９０は、蓄積された学習データを用いて、自動判断部５０とルールＤＢ５８とを学習させる。 The learning unit 90 accumulates, as learning data, a data set of the input image, the explanatory information and the results of the automatic judgment generated by the automatic judgment unit 50, and the evaluation of the explanatory information and the results of the manual judgment acquired by the manual judgment acquisition unit 70. The learning unit 90 trains the automatic judgment unit 50 and the rule DB 58 using the accumulated learning data.

説明生成部５４が、特許請求の範囲の「説明生成部」に対応する。判断生成部５６が、特許請求の範囲の「判断生成部」に対応する。自動判断可否判定部６０が、特許請求の範囲の「判定部」に対応する。出力部８０が、特許請求の範囲の「出力部」に対応する。手動判断取得部７０が、特許請求の範囲の「取得部」に対応する。学習部９０の説明生成部５４及びルールＤＢ５８を学習させる機能が、特許請求の範囲の「第１の学習部」に対応する。学習部９０の判断生成部５６及びルールＤＢ５８を学習させる機能が、特許請求の範囲の「第２の学習部」に対応する。 The explanation generation unit 54 corresponds to the "explanation generation unit" in the claims. The judgment generation unit 56 corresponds to the "judgment generation unit" in the claims. The automatic judgment feasibility determination unit 60 corresponds to the "judgment unit" in the claims. The output unit 80 corresponds to the "output unit" in the claims. The manual judgment acquisition unit 70 corresponds to the "acquisition unit" in the claims. The explanation generation unit 54 and the function of training the rule DB 58 of the learning unit 90 correspond to the "first learning unit" in the claims. The judgment generation unit 56 and the function of training the rule DB 58 of the learning unit 90 correspond to the "second learning unit" in the claims.

＜遠隔支援処理＞
次に、図９を参照して「遠隔支援処理」の流れを説明する。
車両より遠隔支援の要求を受け付けると、遠隔支援装置２０のＣＰＵ２０Ａにより「遠隔支援処理」のプログラムが実行される。以下では、支援対象の車両を「対象車両」という。 <Remote Assisted Processing>
Next, the flow of the "remote support process" will be described with reference to FIG.
When a request for remote assistance is received from a vehicle, a program for "remote assistance processing" is executed by the CPU 20A of the remote assistance device 20. In the following, the vehicle to be supported is referred to as a "target vehicle".

まず、ステップ１００で、ＣＰＵ２０Ａは、対象車両のカメラで撮影された、対象車両周囲の画像を入力画像として取得する。次に、ステップ１０２で、ＣＰＵ２０Ａは、対象車両が取るべき行動を自動判断する「自動判断処理」を実行する。 First, in step 100, the CPU 20A acquires an image of the surroundings of the target vehicle captured by the camera of the target vehicle as an input image. Next, in step 102, the CPU 20A executes an "automatic determination process" that automatically determines the action that the target vehicle should take.

次に、ステップ１０４で、ＣＰＵ２０Ａは、自動判断の結果を採用するか否かを判定する「自動判断可否判定処理」を実行する。次に、ステップ１０６で、ＣＰＵ２０Ａは、自動判断が可能か否かを判定する。自動判断が不可能である場合は、ステップ１０８に進み、自動判断が可能である場合は、ステップ１１２に進む。 Next, in step 104, CPU 20A executes an "automatic judgment feasibility determination process" to determine whether or not to adopt the result of the automatic judgment. Next, in step 106, CPU 20A determines whether or not automatic judgment is possible. If automatic judgment is not possible, the process proceeds to step 108, and if automatic judgment is possible, the process proceeds to step 112.

自動判断が不可能である場合は、次にステップ１０８で、ＣＰＵ２０Ａは、「手動判断取得処理」を行う。続くステップ１１０で、ＣＰＵ２０Ａは、取得した手動判断の結果を出力してルーチンを終了する。自動判断が可能である場合は、次にステップ１１２で、自動判断の結果を出力してルーチンを終了する。 If automatic judgment is not possible, then in step 108, CPU 20A performs a "manual judgment acquisition process." In the following step 110, CPU 20A outputs the acquired manual judgment result and ends the routine. If automatic judgment is possible, then in step 112, CPU 20A outputs the automatic judgment result and ends the routine.

以下では、「自動判断処理」、「自動判断可否判定処理」、及び「手動判断取得処理」の各サブルーチンの詳細を説明する。 The following describes in detail each of the subroutines: "automatic judgment process," "automatic judgment feasibility determination process," and "manual judgment acquisition process."

（自動判断処理）
ここで、図１０を参照して「自動判断処理」の流れを詳細に説明する。
まず、ステップ２００で、ＣＰＵ２０Ａは、入力画像から物体を検出する。物体検出には、R-CNN (Region-based CNN)、YOLO(You only Look Once)、SSD(Single Shot Detector)等、既存の手法を用いることができる。また、物体検出では、移動速度、ブレーキランプの点灯状態など、物体の属性情報の認識も行う。 (Automatic decision-making process)
Now, the flow of the "automatic determination process" will be described in detail with reference to FIG.
First, in step 200, the CPU 20A detects an object from an input image. For object detection, existing methods such as R-CNN (Region-based CNN), YOLO (You only Look Once), SSD (Single Shot Detector), etc. In addition, object detection also recognizes attribute information of the object, such as the moving speed and the lighting state of the brake lights.

なお、一般的な物体検出器を用いて入力画像から物体を検出する以外に、他の方法で物体に関する情報を取得してもよい。例えば、地図を参照して現在位置に存在する横断歩道や信号などの情報を取得してもよい。また、別の車両やインフラセンサから取得した物体の情報を使用することもできる。 In addition to detecting objects from an input image using a general object detector, information about objects may be obtained by other methods. For example, information about crosswalks and traffic lights present at the current location may be obtained by referring to a map. Information about objects obtained from another vehicle or infrastructure sensor may also be used.

次に、ステップ２０２で、ＣＰＵ２０Ａは、検出された物体の状態や物体同士の関係性を更新する「更新処理」を実行する。具体的には、予め与えられたルール集合を参照し、物体の状態や物体同士の関係性をルールと照合して、物体の状態や関係性を更新する。更新処理については後述する。次に、ステップ２０４で、ＣＰＵ２０Ａは、更新後の状態や関係性を表す説明情報を生成する。 Next, in step 202, CPU 20A executes an "update process" that updates the states of the detected objects and the relationships between the objects. Specifically, it refers to a pre-given rule set, compares the states of the objects and the relationships between the objects with the rules, and updates the states and relationships of the objects. The update process will be described later. Next, in step 204, CPU 20A generates explanatory information that represents the updated states and relationships.

次に、ステップ２０６で、ＣＰＵ２０Ａは、説明情報から車両が取るべき行動を判断する「行動判断処理」を実行する。次に、ステップ２０８で、ＣＰＵ２０Ａは、判断結果を出力して、ルーチンを終了する。なお、ステップ２０２及びステップ２０４が、図５の説明生成部５４の機能であり、ステップ２０６及びステップ２０８が、図５の判断生成部５６の機能である。 Next, in step 206, CPU 20A executes an "action judgment process" that judges the action that the vehicle should take from the explanation information. Next, in step 208, CPU 20A outputs the judgment result and ends the routine. Note that steps 202 and 204 are functions of explanation generation unit 54 in FIG. 5, and steps 206 and 208 are functions of judgment generation unit 56 in FIG. 5.

－更新処理－
本実施の形態では、ルールと照合して物体の状態や物体同士の関係性を更新するルールベースの更新処理を行う。図１１を参照して「更新処理」について詳細に説明する。 - Update process -
In this embodiment, a rule-based update process is performed to update the states of objects and the relationships between objects by checking against rules. The "update process" will be described in detail with reference to FIG.

まず、ステップ３００で、ＣＰＵ２０Ａは、検出されたすべての物体について、現在の状態及び関係性を保存する。例えば、最初は、物体検出の結果として得られた範囲で、状態及び関係性を保存する。 First, in step 300, CPU 20A saves the current states and relationships for all detected objects. For example, initially, the states and relationships are saved within the scope obtained as a result of object detection.

次に、ステップ３０２で、ＣＰＵ２０Ａは、１つの物体を選択する。続くステップ３０４で、ＣＰＵ２０Ａは、選択された物体に対してルール集合からルールを照合して、物体の状態を更新する。物体や、物体とその状態との組合せをルール内に持つルールを抽出し、抽出されたルールの中で選択された物体に最もマッチするルールを適用して、物体の状態を推定する。例えば、移動している歩行者は「そのまま進行方向に移動し続ける」、ハザードランプの点灯している車両は「停車している」等である。ルールからカッコ内の状態が推定される。 Next, in step 302, CPU 20A selects one object. In the following step 304, CPU 20A checks the selected object against rules from the rule set to update the state of the object. Rules that contain the object or a combination of the object and its state are extracted, and the rule that best matches the selected object among the extracted rules is applied to estimate the state of the object. For example, a moving pedestrian "continues to move in the same direction," a vehicle with its hazard lights on "is stopped," etc. The state in parentheses is estimated from the rule.

続くステップ３０６で、ＣＰＵ２０Ａは、すべての物体について状態を更新したか否かを判断する。状態を更新していない物体がある場合は、ステップ３０２に戻り次の物体を選択して、次の物体の状態を更新する。すべての物体について状態を更新した場合は、ステップ３０８に進む。こうして、すべての物体のそれぞれに対して、ルール集合からマッチするルールを適用して、物体の状態を更新する。 In the next step 306, CPU 20A determines whether the state of all objects has been updated. If there is an object whose state has not been updated, CPU 20A returns to step 302, selects the next object, and updates the state of the next object. If the state of all objects has been updated, CPU 20A proceeds to step 308. In this way, a matching rule from the rule set is applied to each of all objects, and the state of the object is updated.

次に、ステップ３０８で、ＣＰＵ２０Ａは、２つの物体の組合せを１つ選択する。ここでは、対象車両も物体に含まれる。続くステップ３１０で、ＣＰＵ２０Ａは、選択された組合せに対してルール集合からルールを照合して、物体同士の関係性を更新する。２つの物体の組合せをルール内に持つルールを抽出し、抽出されたルールの中で選択された物体の組合せに最もマッチするルールを適用して、物体同士の関係性を推定する。例えば、横断歩道の脇で停止している「歩行者は横断歩道を渡る」、「赤信号前の停止歩行者は移動しない」等である。ルールからカッコ内の関係性が推定される。また、物体同士が相互に影響しないことも関係性として推定する。例えば、「移動しない歩行者は自車両に影響しない」等である。 Next, in step 308, CPU 20A selects one combination of two objects. Here, the target vehicle is also included in the objects. In the following step 310, CPU 20A checks the selected combination against rules from the rule set to update the relationship between the objects. Rules that include the combination of two objects in their rules are extracted, and the rule that best matches the selected combination of objects among the extracted rules is applied to estimate the relationship between the objects. For example, "pedestrians stopped beside a crosswalk cross the road," "pedestrians stopped before a red light do not move," etc. The relationship in parentheses is estimated from the rule. In addition, the fact that objects do not affect each other is also estimated as a relationship. For example, "pedestrians that do not move do not affect the vehicle."

続くステップ３１２で、ＣＰＵ２０Ａは、すべての物体の組合せについて関係性を更新したか否かを判断する。関係性を更新していない組合せがある場合は、ステップ３０８に戻り次の組合せを選択して、次の組合せに係る物体同士の関係性を更新する。すべての物体の組合せについて関係性を更新した場合は、ステップ３１４に進む。 In the next step 312, CPU 20A determines whether the relationships have been updated for all object combinations. If there are any combinations for which the relationships have not been updated, the process returns to step 308 to select the next combination and update the relationships between the objects in the next combination. If the relationships have been updated for all object combinations, the process proceeds to step 314.

次に、ステップ３１４で、ＣＰＵ２０Ａは、物体の状態及び物体同士の関係性に変化が無いか否かを判断する。変化がない場合は、ルーチンを終了し、変化がある場合は、ステップ３００に戻って、状態及び関係性を更新する。ステップ３００～３１２の手順を踏むと、物体の状態や物体同士の関係性が更新される。 Next, in step 314, CPU 20A determines whether there are any changes in the state of the objects and the relationships between the objects. If there are no changes, the routine ends, and if there are changes, the routine returns to step 300 and updates the state and relationships. By following the procedure of steps 300 to 312, the state of the objects and the relationships between the objects are updated.

更新された状態や関係性に従って、さらに新しいルールを適用することができるため、状態及び関係性に変化がなくなるまで更新を繰り返す。なお、処理を短縮するため、あるいは、更新により収束しない場合に対処するために、繰り返しの上限を設定してもよい。上述した通り、更新後の物体の状態及び物体同士の関係性に基づいて説明情報を生成する（図１０のステップ２０４）。 Since new rules can be applied according to the updated states and relationships, the updates are repeated until there are no changes in the states and relationships. Note that an upper limit on the number of iterations may be set to shorten the process or to deal with cases where the updates do not result in convergence. As described above, explanatory information is generated based on the updated states of the objects and the relationships between the objects (step 204 in FIG. 10).

また、図５の説明生成部５４を、入力画像（例えば、検出物体にフラグが付いた画像）から説明情報を出力する学習済みモデルで構成することもできる。この場合、入力画像と対応する説明情報の正解値との組からなる学習データを用いて、機械学習の手法によりモデルを事前に訓練しておく。説明情報を生成するモデルとしては、入力画像からその画像に含まれる物体とそれらの間の関係を記述したシーングラフを生成するニューラルネットワーク等が挙げられる。 The explanation generation unit 54 in FIG. 5 can also be configured with a trained model that outputs explanatory information from an input image (e.g., an image in which a detected object is flagged). In this case, the model is trained in advance by a machine learning technique using learning data consisting of pairs of input images and correct values of corresponding explanatory information. An example of a model that generates explanatory information is a neural network that generates a scene graph from an input image that describes the objects contained in the image and the relationships between them.

説明生成部５４を学習済みモデルで構成した場合は、図１２に示すように、ステップ３２０で、検出物体にフラグが付いた入力画像をモデルに入力し、続くステップ３２２で、学習済みモデルが説明情報を生成して出力し、ルーチンを終了する。モデルの学習については後述する。 If the explanation generation unit 54 is configured with a trained model, as shown in FIG. 12, in step 320, an input image in which a detected object is flagged is input to the model, and in the following step 322, the trained model generates and outputs explanation information, and the routine ends. Model training will be described later.

－行動判断処理－
本実施の形態では、図５の判断生成部５６を、説明情報から車両が取るべき行動（以下、「選択行動」という。）を出力する学習済みモデルで構成する。この場合、説明情報と対応する手動判断の結果（即ち、選択行動の正解値)の組からなる学習データを用いて、機械学習の手法によりモデルを事前に訓練しておく。説明情報から選択行動を出力するのに適した判断モデルとしては、グラフ情報を入力として扱うことが可能なグラフニューラルネットワーク(GNN; graph neural network)や、グラフ情報から抽出した特徴量を用いた決定木などが挙げられる。 - Behavioral decision processing -
In this embodiment, the judgment generation unit 56 in Fig. 5 is configured with a learned model that outputs an action to be taken by the vehicle from the explanatory information (hereinafter referred to as a "selected action"). In this case, the model is trained in advance by a machine learning technique using learning data consisting of a set of explanatory information and the corresponding manual judgment result (i.e., the correct answer value of the selected action). Examples of judgment models suitable for outputting the selected action from the explanatory information include a graph neural network (GNN) that can handle graph information as input, and a decision tree that uses features extracted from graph information.

図１３を参照して「行動判断処理」について詳細に説明する。まずステップ４００で、説明情報をモデルに入力する。次に、ステップ４０２で、学習済みモデルが選択行動を出力して、ルーチンを終了する。歩行者や車両などの移動体の自発変化やオクルージョンなどにより、移動体の変化に不確実性がある場合でも、学習済みモデルによれば、手動判断の結果に近い結果を推定することができる。 The "behavior judgment process" will be described in detail with reference to FIG. 13. First, in step 400, explanatory information is input to the model. Next, in step 402, the trained model outputs the selected behavior and ends the routine. Even when there is uncertainty in the changes of moving objects such as pedestrians and vehicles due to spontaneous changes or occlusion, the trained model can estimate results that are close to the results of manual judgment.

また、学習済みモデルを用いずに、予め設計した具体的な手順に従うルールベースの「行動判断処理」を行うこともできる。具体的な手順の要点は以下の２点である。（１）歩行者、他の車両などの移動体が対象車両の進行エリアに進入する可能性がなく、検知範囲外からの移動体が発生する可能性がない場合は、優先度の高い行動を選択する。（２）対象車両の進行エリアに移動体が存在する場合や、移動体が進入する場合は、その行動は選択しない。 It is also possible to perform rule-based "action decision processing" that follows specific procedures designed in advance, without using a trained model. The specific procedures have the following two key points: (1) If there is no possibility of a moving object such as a pedestrian or another vehicle entering the target vehicle's travel area, and no possibility of a moving object occurring from outside the detection range, select an action with a high priority. (2) If there is a moving object in the target vehicle's travel area, or if a moving object is entering, do not select that action.

図１４を参照して、ルールベースの「行動判断処理」について詳細に説明する。まず、ステップ４０４で、ＣＰＵ２０Ａは、優先度の高い行動を行動リストから選択する。取るべき行動は、予め優先度を付けてリスト化されている。例えば、「直進する」が最も優先度が高く、「直進する」→「隣接車線に車線変更」→「車線内での回避」→「車線を逸脱した回避」→「停車」の順に優先度が低下する。 The rule-based "action decision processing" will be described in detail with reference to FIG. 14. First, in step 404, CPU 20A selects a high-priority action from the action list. Actions to be taken are listed in advance with priorities assigned. For example, "go straight" has the highest priority, and the priority decreases in the order of "go straight" → "change lane to adjacent lane" → "avoid within lane" → "avoid by leaving lane" → "stop."

説明生成のためのルールとは別に、干渉の可能性を判断するためのルール集合が用意されている。次に、ステップ４０６で、ＣＰＵ２０Ａは、選択した行動に対して干渉の可能性を判定するためのルール集合と、説明情報から得られる状態及び関係性とを照合する。次に、ステップ４０８で、ＣＰＵ２０Ａは、ルールと、説明情報から得られる状態及び関係性との照合結果に基づいて、干渉する可能性があるか否かを判定する。 In addition to the rules for generating explanations, a set of rules is prepared for determining the possibility of interference. Next, in step 406, CPU 20A compares the set of rules for determining the possibility of interference with the selected action with the state and relationships obtained from the explanation information. Next, in step 408, CPU 20A determines whether or not there is a possibility of interference based on the result of comparing the rules with the state and relationships obtained from the explanation information.

例えば「直進する」という行動の場合、横断歩道を渡る可能性のある歩行者と干渉するというルールと、説明情報から得られる状態及び関係性とを照合し、説明情報から、横断歩道を渡る可能性のある歩行者が存在する状態及び関係性が得られていれば、干渉する可能性があると判定する。また、「隣接車線に車線変更」という行動の場合、隣接車線を走行する車両と干渉するというルールと、説明情報から得られる状態及び関係性とを照合する。また、「車線を逸脱した回避」という行動の場合、対向車線を走行する対向車と干渉するというルールと、説明情報から得られる状態及び関係性とを照合する。 For example, in the case of the action "go straight", the system checks the rule that there will be interference with pedestrians who may be crossing the crosswalk against the state and relationship obtained from the explanatory information, and if the explanatory information indicates a state and relationship that there is a pedestrian who may be crossing the crosswalk, it determines that there is a possibility of interference. In addition, in the case of the action "change lanes to an adjacent lane", the system checks the rule that there will be interference with a vehicle traveling in the adjacent lane against the state and relationship obtained from the explanatory information. In addition, in the case of the action "vary from lane to avoid", the system checks the rule that there will be interference with an oncoming vehicle traveling in the oncoming lane against the state and relationship obtained from the explanatory information.

干渉する可能性がない場合は、ステップ４１０に進む。そして、ステップ４１０で、ＣＰＵ２０Ａは、選択した行動を出力して、ルーチンを終了する。一方、干渉する可能性がある場合は、ステップ４１２に進む。そして、ステップ４１２で、ＣＰＵ２０Ａは、行動リストから選択した行動を除外して、ステップ４０４に戻る。こうして、干渉する可能性がない行動が選択されるまで、ステップ４０４～ステップ４０８及びステップ４１２を繰り返し行う。 If there is no possibility of interference, the process proceeds to step 410. Then, in step 410, CPU 20A outputs the selected action and ends the routine. On the other hand, if there is a possibility of interference, the process proceeds to step 412. Then, in step 412, CPU 20A removes the selected action from the action list and returns to step 404. In this way, steps 404 to 408 and step 412 are repeated until an action that is not likely to interfere is selected.

（自動判断可否判定処理）
次に、図１５を参照して「自動判断可否判定処理」の流れを説明する。
まず、ステップ５００で、ＣＰＵ２０Ａは、蓄積された学習データに基づいて、説明生成部及び判断生成部の各々の精度を検証する。各部の「精度」は、オペレータによる手動判断の結果やオペレータにより作成された説明情報（又はその評価）を正解値としたときの正答率である。このステップ５００での処理は遠隔支援処理ごとに毎回する必要はなく、正答率に変化が生じ得る場合にのみ行えばよい。すなわち、学習により更新処理または行動判断処理が更新された場合、あるいは蓄積された学習データが変更された場合のいずれかにおいて処理が行われればよい。学習処理に関連して後述するが、学習が不十分である場合は各部の精度が低くなる。以下の手順は、正答率が高かったとしても自動判断すべきでない場合を抽出するものである。 (Automatic Judgment Possibility Judgment Process)
Next, the flow of the "automatic determination feasibility determination process" will be described with reference to FIG.
First, in step 500, the CPU 20A verifies the accuracy of each of the explanation generating unit and the judgment generating unit based on the accumulated learning data. The "accuracy" of each unit is the accuracy rate when the result of the manual judgment by the operator or the explanation information (or its evaluation) created by the operator is taken as the correct answer value. The process in step 500 does not need to be performed every time for each remote support process, and only needs to be performed when the accuracy rate may change. In other words, the process may be performed either when the update process or the behavior judgment process is updated by learning, or when the accumulated learning data is changed. As will be described later in relation to the learning process, the accuracy of each unit is low when learning is insufficient. The following procedure is for extracting cases where automatic judgment should not be made even if the accuracy rate is high.

続くステップ５０２で、ＣＰＵ２０Ａは、検証結果が予め定めた基準値以下か否かを判断する。検証結果が予め定めた基準値より大きい場合は、ステップ５０４に進む。一方、検証結果が予め定めた基準値以下の場合は、自動判断の結果を採用せずにステップ５１８に進む。ステップ５１８で、ＣＰＵ２０Ａは、手動判断に切り替えて、ルーチンを終了する。 In the following step 502, CPU 20A judges whether the verification result is equal to or less than a predetermined reference value. If the verification result is greater than the predetermined reference value, the process proceeds to step 504. On the other hand, if the verification result is equal to or less than the predetermined reference value, the process proceeds to step 518 without adopting the result of the automatic judgment. In step 518, CPU 20A switches to manual judgment and ends the routine.

次に、ステップ５０４で、ＣＰＵ２０Ａは、判断結果に基づき、選択行動と予め設定された除外リストとを照合する。除外リストは、手動判断結果と同一の選択行動だったとしても、システムの自動判断による応答を行わない行動を予めリストアップしたものである。例えば、「車線をはみ出す回避」は、法律的、道義的な観点から、自動判断を行うことは不適切であるため、除外リストに含める。 Next, in step 504, CPU 20A compares the selected action with a preset exclusion list based on the judgment result. The exclusion list is a list of actions for which the system will not respond automatically, even if the selected action is the same as the manual judgment result. For example, "avoiding lane deviation" is included in the exclusion list because it is inappropriate to make an automatic judgment on it from a legal and moral standpoint.

続くステップ５０６で、ＣＰＵ２０Ａは、選択行動が除外リストに含まれるか否かを判断する。選択行動が除外リストに含まれていない場合は、ステップ５０８に進む。一方、選択行動が除外リストに含まれている場合は、自動判断の結果を採用せずにステップ５１８に進む。ステップ５１８で、ＣＰＵ２０Ａは、手動判断に切り替えて、ルーチンを終了する。 In the following step 506, CPU 20A determines whether or not the selected behavior is included in the exclusion list. If the selected behavior is not included in the exclusion list, the process proceeds to step 508. On the other hand, if the selected behavior is included in the exclusion list, the process proceeds to step 518 without adopting the result of the automatic determination. In step 518, CPU 20A switches to manual determination and ends the routine.

次に、ステップ５０８で、ＣＰＵ２０Ａは、説明情報の各物体について、車両や他の物体との関係性の有無を確認する。続くステップ５１０で、ＣＰＵ２０Ａは、関係性が未確認の物体が存在するか否かを判断する。関係性が未確認の物体は、例えば、物体としては認識されたが、その物体が周辺にもたらす影響が考慮されていない状態にある。説明情報は予め定めた規則に従って作成されたグラフで表されているので、関係性の有無の確認が容易であり、コンピュータによる処理が行いやすい。 Next, in step 508, CPU 20A checks for each object in the explanatory information whether it has a relationship with a vehicle or another object. In the following step 510, CPU 20A determines whether there is an object with an unconfirmed relationship. An object with an unconfirmed relationship is, for example, recognized as an object, but the impact that the object has on its surroundings has not been taken into consideration. Because the explanatory information is represented as a graph created according to predetermined rules, it is easy to check whether there is a relationship, and processing by a computer is easy.

関係性が未確認の物体が存在しない場合は、ステップ５１２に進む。一方、関係性が未確認の物体が存在する場合は、判断プロセスに問題があるので、自動判断の結果を採用せずにステップ５１８に進む。ステップ５１８で、ＣＰＵ２０Ａは、手動判断に切り替えて、ルーチンを終了する。 If there are no objects whose relationships have not been confirmed, proceed to step 512. On the other hand, if there are objects whose relationships have not been confirmed, there is a problem with the judgment process, so proceed to step 518 without adopting the results of the automatic judgment. In step 518, CPU 20A switches to manual judgment and ends the routine.

次に、ステップ５１２で、ＣＰＵ２０Ａは、説明情報中の矛盾、衝突、及び不確実性の高い要素を抽出する。続くステップ５１４で、ＣＰＵ２０Ａは、矛盾、衝突、及び不確実性の高い要素のいずれかが、説明情報中に存在するか否かを判断する。例えば、「歩行者が道路方向に移動している」 と 「歩行者信号が赤信号で停止している」という２つの関係性が存在している状態は、矛盾又は衝突していると同時に、将来の行動が不明な状態であるため不確実性の高い要素ということもできる。 Next, in step 512, CPU 20A extracts elements of inconsistency, conflict, and high uncertainty in the explanatory information. In the following step 514, CPU 20A determines whether any of the elements of inconsistency, conflict, and high uncertainty are present in the explanatory information. For example, a state in which two relationships exist, "A pedestrian is moving toward the road" and "The pedestrian signal is stopped at a red light," is a state in which there is a contradiction or conflict, and at the same time, future actions are unknown, so it can also be said to be an element of high uncertainty.

矛盾、衝突、及び不確実性の高い要素のいずれも存在しない場合は、ステップ５１６に進む。次に、ステップ５１６で、ＣＰＵ２０Ａは、自動判断の結果を採用して、ルーチンを終了する。一方、矛盾や衝突や不確実性の高い要素が存在する場合は、判断プロセスに問題があるので、自動判断の結果を採用せずにステップ５１８に進む。ステップ５１８で、ＣＰＵ２０Ａは、手動判断に切り替えて、ルーチンを終了する。 If there are no contradictions, conflicts, or elements with high uncertainty, proceed to step 516. Next, in step 516, CPU 20A adopts the result of the automatic judgment and ends the routine. On the other hand, if there are contradictions, conflicts, or elements with high uncertainty, there is a problem with the judgment process, so proceed to step 518 without adopting the result of the automatic judgment. In step 518, CPU 20A switches to manual judgment and ends the routine.

（手動判断取得処理）
次に、図１６を参照して「手動判断取得処理」の流れを説明する。
まず、ステップ６００で、ＣＰＵ２０Ａは、オペレータが操作する端末装置に「入力映像」を表示させて、オペレータから車両が取るべき行動の選択を受け付ける。オペレータは、選択した行動（即ち、手動判断の結果）を入力する。 (Manual decision acquisition process)
Next, the flow of the "manual determination and acquisition process" will be described with reference to FIG.
First, in step 600, the CPU 20A displays an "input image" on a terminal device operated by an operator and receives a selection of an action to be taken by the vehicle from the operator. The operator inputs the selected action (i.e., the result of manual judgment).

次に、ステップ６０２で、ＣＰＵ２０Ａは、端末装置を介してオペレータによる手動判断の結果を取得したか否かを判断する。ＣＰＵ２０Ａは、手動判断の結果を取得するまで、ステップ６０２の判断を繰り返し行う。ＣＰＵ２０Ａは、手動判断の結果を取得すると、ステップ６０４に進む。続くステップ６０４で、ＣＰＵ２０Ａは、手動判断の結果を出力部に渡す。 Next, in step 602, CPU 20A judges whether the result of the manual judgment by the operator has been acquired via the terminal device. CPU 20A repeats the judgment in step 602 until the result of the manual judgment is acquired. When CPU 20A acquires the result of the manual judgment, it proceeds to step 604. In the following step 604, CPU 20A passes the result of the manual judgment to the output section.

次に、ステップ６０６で、ＣＰＵ２０Ａは、オペレータが操作する端末装置に、自動判断部で生成された「説明情報」を表示させて、オペレータによる評価を受け付ける。オペレータは、説明情報の評価を入力する。説明情報はグラフ化されているので、オペレータは関係性の抜け等を発見しやすい。 Next, in step 606, CPU 20A displays the "explanatory information" generated by the automatic judgment unit on a terminal device operated by the operator, and accepts an evaluation by the operator. The operator inputs an evaluation of the explanatory information. Because the explanatory information is graphed, the operator can easily find missing relationships, etc.

次に、ステップ６０８で、ＣＰＵ２０Ａは、端末装置を介してオペレータによる評価を取得したか否かを判断する。ＣＰＵ２０Ａは、評価を取得するまで、ステップ６０８の判断を繰り返し行う。ＣＰＵ２０Ａは、評価を取得すると、ステップ６１０に進む。続くステップ６１０で、ＣＰＵ２０Ａは、評価を出力部に渡して、ルーチンを終了する。 Next, in step 608, CPU 20A determines whether an evaluation by an operator has been obtained via the terminal device. CPU 20A repeats the determination in step 608 until an evaluation is obtained. When CPU 20A obtains an evaluation, it proceeds to step 610. In the following step 610, CPU 20A passes the evaluation to the output section and ends the routine.

ルールベースで更新処理を行う場合（図１１参照）、説明情報に対する評価は、オペレータによるルールの修正や新たなルールの追加である。例えば、ルールが作成されていない未知の物体を検出した場合には、その物体に関するルールを追加する。また、ルールの適用が間違っている場合は、正しいルールを適用する。或いは、適切なルールが無い場合は、既存ルールを変更して新しいルールを作成する。一方、学習済みモデルで更新処理を行う場合（図１２参照）は、説明情報に対する評価は、最終的な結果としての新たな説明情報である。なお、ルールベースで更新処理を行う場合でも、新たな説明情報が取得される。 When performing rule-based update processing (see FIG. 11), the evaluation of the explanatory information is the modification of rules by the operator or the addition of new rules. For example, when an unknown object for which no rule has been created is detected, a rule related to that object is added. Also, if a rule has been applied incorrectly, the correct rule is applied. Alternatively, if there is no appropriate rule, the existing rule is modified and a new rule is created. On the other hand, when performing update processing using a trained model (see FIG. 12), the evaluation of the explanatory information is new explanatory information as the final result. Note that even when performing rule-based update processing, new explanatory information is obtained.

ここで、図１７を参照して、ルールベースで更新処理を行う場合の、説明情報の評価について説明する。図１７に示すように、自動判断部が出力した説明情報では、自車両とバスとの関係性Ａは「停車または渋滞」であるが、説明の正解は「停車を継続する」である。この場合、説明情報の評価では、オペレータは、例えば「ハザードランプが点灯している停車中のバスは停車を継続する」という新しいルールを追加する。 Now, referring to FIG. 17, the evaluation of the explanatory information when performing rule-based update processing will be described. As shown in FIG. 17, in the explanatory information output by the automatic judgment unit, the relationship A between the vehicle and the bus is "stopped or in a traffic jam", but the correct explanation is "remain stopped". In this case, in evaluating the explanatory information, the operator adds a new rule, for example, "A stopped bus with its hazard lights on will remain stopped".

また、自動判断部が出力した説明情報では、対向車の状態Ｂは「車線走行中」であるが、説明の正解は「路肩停車中」である。この場合、説明情報の評価では、オペレータは、例えば「対向車が〇ｍ以上路肩にはみ出していたら、対向車は路肩停車中である」というように、既存ルールの適用条件を変更する。 In addition, in the explanation information output by the automatic judgment unit, the oncoming vehicle's state B is "driving in the lane," but the correct explanation is "parked on the shoulder." In this case, when evaluating the explanation information, the operator modifies the application conditions of the existing rule, for example, to "If the oncoming vehicle extends beyond the shoulder of the road by more than XX meters, it is parked on the shoulder."

手動判断の結果は、自動判断の結果に対する評価であり、選択行動の正解値である。また、説明情報の評価は、説明情報の正解値である。入力画像、自動判断部で生成された説明情報、説明情報の評価（即ち、説明情報の正解値）、自動判断の結果、及び手動判断の結果（即ち、選択行動の正解値）の各々は、学習部のデータベース（図示せず）に蓄積される。蓄積データは、自動判断部やルールＤＢの学習に用いられる。なお、「学習処理」については、次の第２の実施の形態で説明する。 The result of the manual judgment is an evaluation of the result of the automatic judgment, and is the correct value of the selection behavior. The evaluation of the explanatory information is the correct value of the explanatory information. The input image, the explanatory information generated by the automatic judgment unit, the evaluation of the explanatory information (i.e., the correct value of the explanatory information), the result of the automatic judgment, and the result of the manual judgment (i.e., the correct value of the selection behavior) are each stored in the database (not shown) of the learning unit. The stored data is used for learning the automatic judgment unit and the rule DB. The "learning process" will be explained in the second embodiment below.

第１の実施の形態によれば、すべての遠隔判断をオペレータが行うのではなく、自動判断の判断プロセスが適切な場合に、自動判断の結果を採用することができる。これにより、オペレータの負担を減らすことができる。また、自動判断が妥当ではない場合には、オペレータによる手動判断に戻すことができる。 According to the first embodiment, instead of having the operator make all remote judgments, the results of the automatic judgment can be adopted when the judgment process of the automatic judgment is appropriate. This reduces the burden on the operator. Also, when the automatic judgment is inappropriate, it is possible to revert to manual judgment by the operator.

[第２の実施の形態]
第２の実施の形態では、遠隔支援システムで実行される「学習処理」について説明する。遠隔支援システムは、図５の自動判断部５０及びルールＤＢ５８を学習させる学習部９０を備えている。図１８に示すように、学習部９０は、これまでに蓄積された蓄積データに、図５の手動判断取得部７０から新たに得られたデータを加えて、図５の説明生成部５４、判断生成部５６、及びルールＤＢ５８の各部を学習させる。 [Second embodiment]
In the second embodiment, a "learning process" executed by the remote assistance system will be described. The remote assistance system includes a learning unit 90 that trains the automatic judgment unit 50 and the rule DB 58 shown in Fig. 5. As shown in Fig. 18, the learning unit 90 trains the explanation generation unit 54, judgment generation unit 56, and rule DB 58 shown in Fig. 5 by adding newly acquired data from the manual judgment acquisition unit 70 shown in Fig. 5 to the accumulated data accumulated so far.

説明生成部５４及びルールＤＢ５８の学習には、入力画像、自動判断部で生成された説明情報、及び説明情報の評価（即ち、説明情報の正解値や新たなルール、適用条件）のデータセットを用いる。判断生成部５６の学習には、説明情報の評価（即ち、説明情報の正解値）及び手動判断の結果（即ち、選択行動の正解値）のデータセットを用いる。 The explanation generation unit 54 and the rule DB 58 are trained using a data set of the input image, the explanation information generated by the automatic judgment unit, and the evaluation of the explanation information (i.e., the correct value of the explanation information, new rules, and application conditions). The judgment generation unit 56 is trained using a data set of the evaluation of the explanation information (i.e., the correct value of the explanation information) and the result of the manual judgment (i.e., the correct value of the selection behavior).

＜学習処理＞
図１９を参照して「学習処理」の流れを説明する。
図５の自動判断部５０は、初期段階では予め設計したルールのみを適用したり、常に自明な出力のみを出力するなどの判断を行う。システムの立ち上げ後は、必要に応じて離散的に（例えば、遠隔支援システムの起動時や、予め定めたタイミングで）、遠隔支援装置２０のＣＰＵ２０Ａにより「学習処理」のプログラムが実行される。 <Learning process>
The flow of the "learning process" will be described with reference to FIG.
5 performs judgment such as applying only pre-designed rules at an initial stage and always outputting only obvious outputs. After the system is started up, the CPU 20A of the remote support device 20 executes a "learning process" program discretely as necessary (for example, when the remote support system is started up or at a predetermined timing).

なお、後述する通り、システム立ち上げの初期段階においては、事前に蓄積した検証データあるいは学習時に蓄積された検証データに基づいて精度を検証する。検証結果が一定の基準以下の場合は、図１５を参照して説明した通り、自動判断可否判定部によって自動判断はなされず、手動判断での車両応答及び追加の学習データの蓄積を行う。検証結果が一定の基準を超えた場合に、初期段階の学習が完了したと判断される。 As described below, in the initial stage of system startup, accuracy is verified based on verification data accumulated in advance or verification data accumulated during learning. If the verification result is below a certain standard, as explained with reference to FIG. 15, the automatic judgment feasibility determination unit does not make an automatic judgment, and the vehicle response is manually judged and additional learning data is accumulated. If the verification result exceeds a certain standard, it is determined that the initial stage of learning is complete.

まず、ステップ７００で、ＣＰＵ２０Ａは、説明生成部に学習が必要か否かを判断する。例えば、新たに得られたデータの説明情報に対する評価において、自動判断部で生成された説明情報に対してオペレータが修正した箇所が存在するか否かを確認し、修正箇所があれば説明生成部に学習が必要と判定して、ステップ７０２に進む。一方、修正箇所が無ければ説明生成部に学習が不要と判定して、ステップ７０６に進む。 First, in step 700, CPU 20A determines whether learning is required for the explanation generation unit. For example, in evaluating the explanation information of newly obtained data, it checks whether there are any parts that have been corrected by the operator in the explanation information generated by the automatic judgment unit, and if there are any parts, it determines that learning is required for the explanation generation unit and proceeds to step 702. On the other hand, if there are no parts that have been corrected, it determines that learning is not required for the explanation generation unit and proceeds to step 706.

次に、ステップ７０２で、ＣＰＵ２０Ａは、説明生成部の学習処理を実行する。説明生成部の学習処理の詳細は後述する。 Next, in step 702, CPU 20A executes learning processing for the explanation generation unit. Details of the learning processing for the explanation generation unit will be described later.

次に、ステップ７０４で、ＣＰＵ２０Ａは、説明生成部の学習処理を行った場合、蓄積データに対して自動判断部で生成された既存の説明情報を、学習後の自動判断部が生成した新規の説明情報に更新する。 Next, in step 704, when the CPU 20A has performed a learning process for the explanation generation unit, it updates the existing explanation information generated by the automatic judgment unit for the accumulated data with new explanation information generated by the automatic judgment unit after learning.

次に、ステップ７０６で、ＣＰＵ２０Ａは、判断生成部に学習が必要か否かを判断する。例えば、自動判断により選択された選択行動が、手動判断の結果（即ち、選択行動の正解値）と異なるか否かを確認し、両者が異なる場合は判断生成部に学習が必要と判定して、ステップ７０８に進む。一方、両者が同じ場合は判断生成部に学習が不要と判定して、ルーチンを終了する。 Next, in step 706, CPU 20A determines whether learning is required for the judgment generation unit. For example, it checks whether the selection action selected by the automatic judgment is different from the result of the manual judgment (i.e., the correct value of the selection action), and if they are different, it determines that learning is required for the judgment generation unit and proceeds to step 708. On the other hand, if they are the same, it determines that learning is not required for the judgment generation unit and ends the routine.

ここで、自動判断の根拠とした説明情報が、新しい説明情報に更新された場合には、新しい説明情報に対する判断生成部の出力（即ち、選択行動）を取得し、取得した選択行動が、手動判断の結果（即ち、選択行動の正解値）と異なるか否かを確認する。 Here, when the explanatory information used as the basis for the automatic judgment is updated to new explanatory information, the output of the judgment generation unit for the new explanatory information (i.e., the selection behavior) is obtained, and it is confirmed whether the obtained selection behavior differs from the result of the manual judgment (i.e., the correct value of the selection behavior).

次に、ステップ７０８で、ＣＰＵ２０Ａは、判断生成部の学習処理を実行して、ルーチンを終了する。判断生成部の学習処理の詳細は後述する。 Next, in step 708, CPU 20A executes learning processing of the judgment generation unit and ends the routine. Details of the learning processing of the judgment generation unit will be described later.

（説明生成部の学習処理）
ここで、説明生成部がルールベースの更新処理を行う場合と、説明生成部を学習済みモデルで構成した場合とに分けて学習処理の方法を説明する。 (Learning process of explanation generation unit)
Here, the learning process will be described separately for a case where the explanation generation unit performs rule-based update processing and a case where the explanation generation unit is configured with a trained model.

ルールベースの場合、説明情報に対する評価は、新たに追加すべきルールまたは適用されたルールの適用条件の修正として与えられる。従って、与えられた評価に基づき、ルール集合への新ルールの追加、既存ルールの修正を行うことでルールＤＢの学習を行う。ルールＤＢを学習させることで、説明生成の精度も向上する。 In the case of a rule base, an evaluation of the explanatory information is given as a new rule to be added or a modification of the application conditions of an applied rule. Therefore, based on the given evaluation, the rule DB is trained by adding new rules to the rule set and modifying existing rules. Training the rule DB also improves the accuracy of explanation generation.

説明生成部を学習済みモデルで構成する場合、説明情報に対する評価は、説明情報の正解値（例えば、図１７の例では、「停車継続」という関係性や、「路肩停車中」という状態）として与えられる。従って、入力画像から説明情報の正解値を出力するようにモデルを修正する。モデルを修正したら検証を行い、正答率が高くなれば、修正後のモデルで置き換える。具体的には、例えばニューラルネットワークをモデルとして採用し、誤差逆伝播法によりモデルを更新する。この際、蓄積された学習データも使ってモデルを更新する。 When the explanation generation unit is configured with a trained model, the evaluation of the explanation information is given as the correct value of the explanation information (for example, in the example of Figure 17, the relationship "continues to be stopped" or the state "parked on the shoulder of the road"). Therefore, the model is modified so that it outputs the correct value of the explanation information from the input image. After the model is modified, it is verified, and if the accuracy rate is high, it is replaced with the modified model. Specifically, for example, a neural network is adopted as the model, and the model is updated using the backpropagation method. At this time, the accumulated learning data is also used to update the model.

なお、モデルの事前学習には、多様な環境条件で取得された大量の学習データを準備する必要がある。モデルの学習の際にルール集合と学習データの双方を用いて学習を行うと、学習データ準備の負荷を軽減することができる。 In addition, pre-training a model requires the preparation of a large amount of training data acquired under a variety of environmental conditions. If the model is trained using both the rule set and the training data, the burden of preparing the training data can be reduced.

（判断生成部の学習処理）
判断生成部がルールベースで行動を選択する場合と、判断生成部を学習済みモデルで構成した場合とに分けて学習処理の方法を説明する。 (Learning process of the decision generating unit)
The learning process will be described separately for a case where the decision generation unit selects an action based on rules and a case where the decision generation unit is configured using a trained model.

ルールベースの場合、判断結果に対する評価は、説明情報の学習と同様に、新たに追加すべきルールまたは適用されたルールの適用条件の修正として与えられる。従って、与えられた評価に基づき、ルール集合への新ルールの追加、既存ルールの修正を行うことでルールＤＢの学習を行う。ルールＤＢを学習させることで、判断生成の精度も向上する。 In the case of a rule base, an evaluation of the judgment result is given as a new rule to be added or a modification of the application conditions of an applied rule, similar to the learning of explanatory information. Therefore, based on the given evaluation, the rule DB is trained by adding new rules to the rule set and modifying existing rules. Training the rule DB also improves the accuracy of judgment generation.

判断生成部を学習済みモデルで構成する場合、判断結果に対する評価は、選択行動の正解値（例えば、図２０の例では、説明情報（入力）に対する「バス追い越し」という選択行動）が与えられる。従って、説明情報から選択行動の正解値を出力するようにモデルを修正する。モデルを修正したら検証を行い、正答率が高くなれば、修正後のモデルで置き換える。具体的には、例えばグラフ畳込みネットワークをモデルとして採用し、誤差逆伝播法によりモデルを更新する。この際、蓄積された学習データも使ってモデルの更新を行う。 When the decision generation unit is configured with a trained model, the evaluation of the decision result is given the correct answer value of the selected action (for example, in the example of Figure 20, the selected action of "overtake a bus" in response to the explanatory information (input)). Therefore, the model is modified so that it outputs the correct answer value of the selected action from the explanatory information. After the model is modified, it is verified, and if the accuracy rate is high, it is replaced with the modified model. Specifically, for example, a graph convolutional network is adopted as the model, and the model is updated using the backpropagation method. At this time, the model is also updated using accumulated training data.

＜システムの立ち上げ＞
次に、図２１を参照して、システム立ち上げから立ち上げ完了後までの学習の進行状況について説明する。 <System startup>
Next, the progress of learning from system startup to after startup is completed will be described with reference to FIG.

システム立ち上げの初期段階では、説明生成部が十分な説明情報を出力できず、それに伴い判断生成部も判断結果を出力できないという状況である。従って、すべてのケースでオペレータが手動判断を行うと共に、オペレータが説明情報を生成する。オペレータは、ルールの追加も行う。 In the initial stages of system launch, the explanation generation unit is unable to output sufficient explanatory information, and as a result the judgment generation unit is unable to output judgment results. Therefore, in all cases, the operator makes manual judgments and generates explanatory information. The operator also adds rules.

オペレータによる手動判断が続くと、入力画像、オペレータが生成した説明情報（即ち、説明情報の正解値）、及び手動判断の結果（即ち、選択行動の正解値）のデータセットが学習データとして蓄積される。 As the operator continues to make manual judgments, a data set of the input image, the explanatory information generated by the operator (i.e., the correct value of the explanatory information), and the results of the manual judgments (i.e., the correct value of the selection behavior) is accumulated as training data.

説明生成部の学習中は、学習部は、蓄積された学習データに基づき説明生成部を学習させる。 While the explanation generation unit is training, the training unit trains the explanation generation unit based on the accumulated training data.

説明生成部の学習が概ね完了すると、説明生成部の精度の検証結果が基準値を超えるようになり、判断生成部が判断結果の生成を開始する。また、ルールが充実することで、説明情報が拡充される。但し、説明生成の精度が悪いため、すべてのケースでオペレータが手動判断によるダブルチェックを行うと共に、説明情報と判断結果の評価を生成する。オペレータによる説明情報の評価が生成されることで、説明生成部の学習が進む。 When the learning of the explanation generation unit is mostly complete, the verification results of the explanation generation unit's accuracy exceed the reference value, and the judgment generation unit begins generating judgment results. In addition, as the rules are improved, the explanation information is expanded. However, because the accuracy of explanation generation is poor, the operator manually double-checks in all cases and generates explanation information and an evaluation of the judgment results. The learning of the explanation generation unit progresses as the operator generates an evaluation of the explanation information.

説明生成部の学習が進み、説明情報への評価が十分高くなると、学習部は、判断生成部の学習を開始する。判断生成部の学習中は、蓄積された学習データに基づき判断生成部を学習させる。説明情報から判断結果を出力する判断生成部の学習が進む。 As the explanation generation unit's learning progresses and the evaluation of the explanation information becomes sufficiently high, the learning unit starts training the judgment generation unit. While the judgment generation unit is training, it is trained based on accumulated training data. The judgment generation unit, which outputs judgment results from the explanation information, continues to learn.

判断生成部の学習が進むと、オペレータによる手動判断の結果と判断生成部による自動判断の結果とを比較して判断生成部の精度を検証する。判断生成部の学習が概ね完了すると、判断生成部の精度の検証結果が基準値を超えるようになり、自動判断部が稼働を開始する。即ち、自動判断の精度が十分高くなった段階でシステムが完成し、入力画像に基づき自動判断が行われるようになる。 As the learning of the judgment generation unit progresses, the accuracy of the judgment generation unit is verified by comparing the results of manual judgments by the operator with the results of automatic judgments by the judgment generation unit. When the learning of the judgment generation unit is mostly complete, the verification results of the accuracy of the judgment generation unit exceed the reference value, and the automatic judgment unit begins operating. In other words, the system is completed when the accuracy of automatic judgment becomes high enough, and automatic judgments can be made based on input images.

システムの立ち上げ完了後は、自動判断部が説明情報及び判断結果を生成し、自動判断可否判定部の判断結果に基づき、必要に応じてオペレータが手動判断を行う。手動判断により新しいデータセットが収集される。そして、学習部は、新しいデータセットを含む学習データを用いて、必要に応じて説明生成部及び判断生成部を学習させる。 After the system has been launched, the automatic judgment unit generates explanation information and judgment results, and an operator makes a manual judgment as necessary based on the judgment results of the automatic judgment feasibility determination unit. A new data set is collected through the manual judgment. Then, the learning unit uses the learning data including the new data set to train the explanation generation unit and judgment generation unit as necessary.

第２の実施の形態によれば、オペレータによる手動判断の結果や説明情報に対する評価から、自動判断部を学習させることができる。これにより、自動判断の判断プロセスも適切なものとなり、自動判断の結果を採用する割合が増加する。よって、第１の実施の形態と同様に、オペレータの負担を軽減することができる。 According to the second embodiment, the automatic judgment unit can learn from the results of manual judgment by the operator and the evaluation of the explanatory information. This makes the judgment process of the automatic judgment more appropriate, and increases the rate at which the results of the automatic judgment are adopted. Therefore, as in the first embodiment, the burden on the operator can be reduced.

[変形例]
以上、遠隔支援装置、遠隔支援システム、遠隔支援方法及びプログラムの例示的な実施の形態について説明したが、本発明は、実施の形態に記載の範囲には限定されない。本発明の主旨を逸脱しない範囲で実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。 [Variations]
Although exemplary embodiments of a remote support device, a remote support system, a remote support method, and a program have been described above, the present invention is not limited to the scope of the embodiments. Various modifications or improvements can be made to the embodiments without departing from the spirit of the present invention, and the modifications or improvements are also included in the technical scope of the present invention.

例えば、上記各実施形態は、適宜組み合わせて実行することも可能である。 For example, the above embodiments can be implemented in any suitable combination.

また、例えば、上記実施の形態で説明したプログラムの処理の流れも一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。また、上記実施の形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって処理を実現してもよい。 For example, the processing flow of the program described in the above embodiment is also one example, and unnecessary steps may be deleted, new steps may be added, or the processing order may be rearranged, without departing from the spirit of the invention. Also, in the above embodiment, a case has been described in which the processing according to the embodiment is realized by a software configuration using a computer by executing a program, but this is not limited to this. For example, the processing may be realized by a hardware configuration or a combination of a hardware configuration and a software configuration.

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したプログラムを、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。 In addition, the software (program) that the CPU reads and executes in the above embodiment may be executed by various processors other than the CPU. Examples of processors in this case include PLDs (Programmable Logic Devices) such as FPGAs (Field-Programmable Gate Arrays) whose circuit configuration can be changed after manufacture, and dedicated electrical circuits such as ASICs (Application Specific Integrated Circuits) that are processors with a circuit configuration designed specifically to execute specific processes.

また、上記各プログラムを、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。 The above programs may be executed by one of these various processors, or by a combination of two or more processors of the same or different types (e.g., multiple FPGAs, a combination of a CPU and an FPGA, etc.). More specifically, the hardware structure of these various processors is an electric circuit that combines circuit elements such as semiconductor elements.

また、上記各実施形態では、プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ、半導体メモリ等の非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、上記各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。 In addition, in each of the above embodiments, the program is described as being pre-stored (installed) in the storage unit, but this is not limiting. The program may be provided in a form stored in a non-transitory storage medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), a USB (Universal Serial Bus) memory, or a semiconductor memory. In addition, each of the above programs may be downloaded from an external device via a network.

１０ 車両
２０ 遠隔支援装置
３０ 端末装置
３２ オペレータ
４０ ネットワーク
５０ 自動判断部
５２ 物体検出部
５４ 説明生成部
５６ 判断生成部
５８ ルールＤＢ
６０ 自動判断可否判定部
６２ 除外対象判定部
６４ 妥当性判定部
７０ 手動判断取得部
８０ 出力部
９０ 学習部
１００ 遠隔支援システム 10 Vehicle 20 Remote support device 30 Terminal device 32 Operator 40 Network 50 Automatic judgment unit 52 Object detection unit 54 Explanation generation unit 56 Judgment generation unit 58 Rule DB
60 Automatic judgment feasibility judgment unit 62 Exclusion target judgment unit 64 Validity judgment unit 70 Manual judgment acquisition unit 80 Output unit 90 Learning unit 100 Remote support system

Claims (13)

対象車両（１０）からの要求に応じて遠隔判断を行う遠隔支援装置（２０）であって、
前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成する説明生成部（５４）と、
前記説明情報に応じて前記対象車両が取るべき第１の行動を判断する判断生成部（５６）と、
前記説明情報が関係性の記述がない物体を含む場合、前記説明情報に含まれる複数の事象が矛盾または衝突する場合、及び前記説明情報に不確実性の高い要素が含まれる場合のいずれの場合も該当しない場合は、前記判断生成部による判断結果を採用すると判定し、いずれかの場合に該当する場合は、前記判断生成部による判断結果を採用できないと判定する判定部（６０）と、
前記判断生成部による判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断生成部による判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する出力部（８０）と、
を備えた遠隔支援装置。 A remote assistance device (20) that performs remote judgment in response to a request from a target vehicle (10),
an explanation generating unit (54) that generates explanation information describing a surrounding situation of the target vehicle from a forward image of the target vehicle;
a judgment generating unit (56) that judges a first action to be taken by the target vehicle in response to the explanatory information;
a determination unit (60) that determines to adopt the judgment result by the judgment generation unit when none of the following cases apply: when the explanatory information includes an object with no description of a relationship, when multiple events included in the explanatory information are contradictory or conflicting, and when the explanatory information includes an element with high uncertainty, and that determines that the judgment result by the judgment generation unit cannot be adopted when any of the following cases apply;
an output unit (80) that outputs the first action as a result of remote judgment when the judgment result by the judgment generation unit is adopted, and switches to manual judgment by an operator when the judgment result by the judgment generation unit cannot be adopted, and outputs a second action to be taken by the target vehicle, which is judged by the operator from a forward image of the target vehicle, as a result of remote judgment;
A remote support device equipped with the above. 前記説明生成部は、
前記対象車両の前方画像から前記対象車両の前方に存在する物体を検出し、
検出された前記物体の各々について、前記物体の状態、前記物体と前記対象車両との関係性、及び前記物体同士の関係性を記述した説明情報を生成する、
請求項１に記載の遠隔支援装置。 The explanation generation unit is
Detecting an object present in front of the target vehicle from a forward image of the target vehicle;
generating explanatory information for each of the detected objects that describes a state of the object, a relationship between the object and the target vehicle, and a relationship between the objects.
The remote assistance device of claim 1 . 前記説明生成部は、
前記物体の状態、前記物体と前記対象車両との関係性、及び前記物体同士の関係性の各々を、データベースに記憶された予め定めたルールに照らして、前記説明情報を生成する、
請求項２に記載の遠隔支援装置。 The explanation generation unit is
generating the explanatory information in accordance with predetermined rules stored in a database, the state of the object, the relationship between the object and the target vehicle, and the relationship between the objects;
The remote assistance device according to claim 2 . 前記説明情報は、
前記物体をノード、前記関係性をエッジとするグラフで表される、
請求項２または請求項３に記載の遠隔支援装置。 The explanatory information is
The objects are represented as nodes and the relationships are represented as edges in a graph.
The remote assistance device according to claim 2 or 3 . 前記判断生成部は、
機械学習を用いて学習された学習済みモデルを用いて、前記説明情報から前記対象車両が取るべき前記第１の行動を判断する、
請求項１から請求項４までのいずれか１項に記載の遠隔支援装置。 The judgment generating unit is
determining the first action to be taken by the target vehicle from the explanation information using a trained model trained using machine learning;
The remote assistance device according to any one of claims 1 to 4 . 対象車両からの要求に応じて遠隔判断を行う遠隔支援システムであって、
請求項１から請求項５までのいずれか１項に記載の遠隔支援装置と、
オペレータによる手動判断を取得する取得部（７０）と、
を備えた遠隔支援システム。 A remote assistance system that performs remote judgment in response to a request from a target vehicle,
A remote support device according to any one of claims 1 to 5 ,
An acquisition unit (70) for acquiring a manual decision by an operator;
A remote support system equipped with 前記取得部は、
前記対象車両の前方画像を前記オペレータに表示して、前記オペレータによる手動判断を取得すると共に、
前記対象車両の前方画像から得られた説明情報を前記オペレータに表示して、前記オペレータによる前記説明情報の評価を取得する、
請求項６に記載の遠隔支援システム。 The acquisition unit is
displaying a forward image of the target vehicle to the operator to obtain a manual decision by the operator;
displaying explanatory information obtained from the forward image of the target vehicle to the operator, and obtaining an evaluation of the explanatory information by the operator;
The remote assistance system according to claim 6 . 予め定めた学習データを用いて前記説明生成部及びルールを記憶するデータベースの少なくとも一方を学習させる第１の学習部（９０）をさらに備える、
請求項７に記載の遠隔支援システム。 The system further includes a first learning unit (90) that learns at least one of the explanation generating unit and a database that stores rules using predetermined learning data.
The remote assistance system according to claim 7 . 前記説明生成部が、車両の前方画像から説明情報を生成する第１の学習済みモデルで構成されており、
前記第１の学習済みモデルが、前記対象車両の前方画像と、前記説明情報の評価から得られた前記説明情報の正解値とを学習データとして学習される、
請求項８に記載の遠隔支援システム。 The explanation generation unit is configured with a first trained model that generates explanation information from a front image of a vehicle,
The first trained model is trained using a front image of the target vehicle and a correct answer value of the explanation information obtained from an evaluation of the explanation information as training data.
The remote assistance system according to claim 8 . 予め定めた学習データを用いて前記判断生成部及びルールを記憶するデータベースの少なくとも一方を学習させる第２の学習部（９０）をさらに備える、
請求項７から請求項９までのいずれか１項に記載の遠隔支援システム。 The system further includes a second learning unit (90) that learns at least one of the judgment generating unit and a database that stores rules using predetermined learning data.
The remote assistance system according to any one of claims 7 to 9 . 前記判断生成部が、説明情報から車両が取るべき行動を判断する第２の学習済みモデルで構成されており、
前記第２の学習済みモデルが、前記説明情報の評価から得られた前記説明情報の正解値と、前記オペレータにより判断された前記対象車両が取るべき第２の行動とを学習データとして学習される、
請求項１０に記載の遠隔支援システム。 the judgment generation unit is configured with a second trained model that judges an action to be taken by a vehicle from explanatory information,
The second trained model is trained using a correct answer value of the explanation information obtained from an evaluation of the explanation information and a second action to be taken by the target vehicle determined by the operator as training data.
The remote assistance system according to claim 10 . 対象車両からの要求に応じて遠隔判断を行う遠隔支援方法であって、
コンピュータが、
前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成し、
前記説明情報に応じて前記対象車両が取るべき第１の行動を判断し、
前記説明情報が関係性の記述がない物体を含む場合、前記説明情報に含まれる複数の事象が矛盾または衝突する場合、及び前記説明情報に不確実性の高い要素が含まれる場合のいずれの場合も該当しない場合は、判断結果を採用すると判定し、いずれかの場合に該当する場合は、前記判断結果を採用できないと判定し、
前記判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する、
ことを含む処理を実行する、
遠隔支援方法。 A remote assistance method for performing a remote judgment in response to a request from a target vehicle, comprising:
The computer
generating explanatory information describing a situation around the target vehicle from a forward image of the target vehicle;
determining a first action to be taken by the target vehicle in response to the instruction information;
If none of the following cases apply: when the explanatory information includes an object with no description of a relationship, when multiple events included in the explanatory information are contradictory or conflicting, or when the explanatory information includes an element with high uncertainty, the judgment result is determined to be adopted ; if any of the following cases apply, the judgment result is determined to be unacceptable;
When the judgment result is adopted, the first action is output as a result of remote judgment, and when the judgment result cannot be adopted, switching to manual judgment by an operator, and outputting a second action to be taken by the target vehicle, which is judged by the operator from a forward image of the target vehicle, as a result of remote judgment.
performing a process including
Remote assistance methods. 対象車両からの要求に応じて遠隔判断を行うためのプログラムであって、
コンピュータを、
前記対象車両の前方画像から前記対象車両の周囲の状況を記述した説明情報を生成する説明生成部、
前記説明情報に応じて前記対象車両が取るべき第１の行動を判断する判断生成部、
前記説明情報が関係性の記述がない物体を含む場合、前記説明情報に含まれる複数の事象が矛盾または衝突する場合、及び前記説明情報に不確実性の高い要素が含まれる場合のいずれの場合も該当しない場合は、前記判断生成部による判断結果を採用すると判定し、いずれかの場合に該当する場合は、前記判断生成部による判断結果を採用できないと判定する判定部、
前記判断生成部による判断結果を採用する場合には、前記第１の行動を遠隔判断の結果として出力し、前記判断生成部による判断結果を採用できない場合には、オペレータによる手動判断に切り替え、前記対象車両の前方画像から前記オペレータにより判断された前記対象車両が取るべき第２の行動を遠隔判断の結果として出力する出力部、
として機能させるプログラム。 A program for making a remote judgment in response to a request from a target vehicle,
Computer,
an explanation generating unit that generates explanation information describing a surrounding situation of the target vehicle from a forward image of the target vehicle;
a judgment generating unit that judges a first action to be taken by the target vehicle in response to the explanatory information;
a determination unit that determines to adopt the judgment result by the judgment generation unit when none of the following cases apply: when the explanatory information includes an object with no description of a relationship, when multiple events included in the explanatory information are contradictory or conflicting, and when the explanatory information includes an element with high uncertainty, and that determines that the judgment result by the judgment generation unit cannot be adopted when any of the following cases apply;
an output unit which outputs the first action as a result of remote judgment when the judgment result by the judgment generation unit is to be adopted, and switches to a manual judgment by an operator when the judgment result by the judgment generation unit cannot be adopted, and outputs a second action to be taken by the target vehicle judged by the operator from a forward image of the target vehicle as a result of remote judgment;
A program that functions as a