JP2021135705A - Information processing device, information processing method and information processing program - Google Patents

Information processing device, information processing method and information processing program Download PDF

Info

Publication number
JP2021135705A
JP2021135705A JP2020030886A JP2020030886A JP2021135705A JP 2021135705 A JP2021135705 A JP 2021135705A JP 2020030886 A JP2020030886 A JP 2020030886A JP 2020030886 A JP2020030886 A JP 2020030886A JP 2021135705 A JP2021135705 A JP 2021135705A
Authority
JP
Japan
Prior art keywords
pedestrian
unit
information processing
route
travel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020030886A
Other languages
Japanese (ja)
Other versions
JP7314080B2 (en
Inventor
龍 脇坂
Ryu Wakisaka
龍 脇坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Technical Development Corp
Original Assignee
Toyota Technical Development Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Technical Development Corp filed Critical Toyota Technical Development Corp
Priority to JP2020030886A priority Critical patent/JP7314080B2/en
Publication of JP2021135705A publication Critical patent/JP2021135705A/en
Application granted granted Critical
Publication of JP7314080B2 publication Critical patent/JP7314080B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

To provide an information processing device, an information processing method, and an information processing program that enable an actual movement of a pedestrian to be reproduced more than the prior art.SOLUTION: An information processing device comprises: a generation unit that generates a plurality of candidates for travel routes for a first pedestrian to go to a destination: a prediction unit that predicts a movement route when a second pedestrian, who is different from the first pedestrian, moves; a calculation unit that calculates a cost related to a distance and an angle for each of the plurality of travel route candidates based on the plurality of travel route candidates generated by the generation unit and the movement route predicted by the prediction unit; a selection unit that selects a travel route candidate which minimizes the costs calculated by the calculation unit; and an output unit that outputs the travel route candidate selected by the selection unit.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.

従来から、歩行者の動きを推定する技術が存在する。例えば、特許文献1に記載された技術は、カメラ部によって歩行者を撮像した画像データを生成し、その画像データに基づいて歩行者の現在位置及び速度ベクトルを求める。特許文献1に記載された技術は、現在位置及び速度ベクトルに基づいて、t秒後の歩行者の位置及び速度ベクトルを求める。さらに、特許文献1に記載された技術は、歩行者(特定歩行者)と周囲に存在する他の歩行者との距離、歩行速度及び目的地を関数のエネルギ項として、エネルギ関数を求める。特許文献1に記載され技術は、エネルギ関数に基づいて、特定歩行者の進路を予測する。 Conventionally, there is a technique for estimating the movement of a pedestrian. For example, the technique described in Patent Document 1 generates image data obtained by capturing an image of a pedestrian by a camera unit, and obtains a pedestrian's current position and speed vector based on the image data. The technique described in Patent Document 1 obtains the position and speed vector of a pedestrian after t seconds based on the current position and speed vector. Further, the technique described in Patent Document 1 obtains an energy function with the distance between a pedestrian (specific pedestrian) and other pedestrians existing in the vicinity, walking speed, and destination as the energy terms of the function. The technique described in Patent Document 1 predicts the course of a specific pedestrian based on an energy function.

特開2011−070384号公報Japanese Unexamined Patent Publication No. 2011-070384

特許文献1に記載された技術は、歩行者の進行方向については目的地のみを考慮しているため、特定歩行者が他の歩行者を回避する等の経路変化が考慮されていない。また、特許文献1に記載された技術は、表現できる歩行者の経路パターン(予測される進路のパターン)が少ない。
本発明は、歩行者の実際の動きを従来よりも再現できるようにした情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
Since the technique described in Patent Document 1 considers only the destination as the traveling direction of the pedestrian, the route change such as the specific pedestrian avoiding other pedestrians is not considered. Further, the technique described in Patent Document 1 has few pedestrian route patterns (predicted route patterns) that can be expressed.
An object of the present invention is to provide an information processing device, an information processing method, and an information processing program capable of reproducing an actual movement of a pedestrian more than before.

一態様の情報処理装置は、第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成部と、第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測部と、生成部によって生成される複数の進行経路候補と、予測部によって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出部と、算出部によって算出されたコストが最小になる進行経路候補を選択する選択部と、選択部によって選択された進行経路候補を出力する出力部と、を備える。 In one aspect of the information processing device, a generation unit that generates a plurality of candidates for a traveling route toward a destination by a first pedestrian and a moving route when a second pedestrian different from the first pedestrian moves. Calculation unit that calculates the cost related to the distance and angle for each of the plurality of travel route candidates based on the prediction unit that predicts, the plurality of travel route candidates generated by the generation unit, and the movement route predicted by the prediction unit. It also includes a selection unit that selects a travel route candidate that minimizes the cost calculated by the calculation unit, and an output unit that outputs the travel route candidate selected by the selection unit.

一態様の情報処理装置では、生成部は、第1の歩行者が進行可能な角度範囲を所定角度ずつ区分し、所定角度ずつ区分された方向それぞれにおいて第1の歩行者の進行方向を直線的に定義することにより進行経路の候補を生成することとしてもよい。 In one aspect of the information processing apparatus, the generation unit divides the angle range in which the first pedestrian can travel by a predetermined angle, and linearly divides the traveling direction of the first pedestrian in each of the directions divided by the predetermined angle. It may be possible to generate a candidate for a traveling route by defining in.

一態様の情報処理装置では、予測部は、第2の歩行者の現在の進行方向又は第2の歩行者の現在の身体の向きに対して直線的に動くと仮定することにより、移動経路を予測することとしてもよい。 In one aspect of the information processing apparatus, the predictor determines the movement path by assuming that it moves linearly with respect to the current direction of travel of the second pedestrian or the current direction of the body of the second pedestrian. It may be predicted.

一態様の情報処理装置では、第2の歩行者が複数いる場合、予測部は、複数の第2の歩行者それぞれについて移動経路を予測することとしてもよい。 In the information processing device of one aspect, when there are a plurality of second pedestrians, the prediction unit may predict the movement route for each of the plurality of second pedestrians.

一態様の情報処理装置では、算出部は、第1の歩行者と第2の歩行者との間の平均距離に関する第1項、第1の歩行者と第2の歩行者との間の最小距離に関する第2項、生成部によって生成される進行経路の方向と第1の歩行者の現在の進行方向との角度の誤差に関する第3項、及び、第1の歩行者の進行経路の方向と目的地の方向との角度の誤差に関する第4項とに基づいて、距離及び角度に応じたコストを算出することとしてもよい。 In one aspect of the information processing apparatus, the calculation unit is a first term regarding the average distance between the first pedestrian and the second pedestrian, and the minimum between the first pedestrian and the second pedestrian. The second term regarding the distance, the third term regarding the difference in angle between the direction of the traveling path generated by the generation unit and the current traveling direction of the first pedestrian, and the direction of the traveling path of the first pedestrian. The cost according to the distance and the angle may be calculated based on the fourth term regarding the error of the angle with the direction of the destination.

一態様の情報処理装置では、算出部は、第1項及び第2項については予め設定される第1の歩行者に関して許容される距離で正規化し、第3項及び第4項については予め設定される第1歩行者の進行方向成分及び目的地方向への成分が無くなる角度で正規化することとしてもよい。 In one aspect of the information processing apparatus, the calculation unit normalizes the first and second terms with a preset allowable distance for the first pedestrian, and presets the third and fourth terms. It may be normalized by an angle at which the traveling direction component and the destination direction component of the first pedestrian are eliminated.

一態様の情報処理装置では、算出部は、第1項について平均距離に関する重み付けを、第2項について最小距離に関する重みを、第3項について角度の誤差に関する重みを、第4項について角度の誤差に関する重みをそれぞれ設定することとしてもよい。 In one aspect of the information processing apparatus, the calculation unit performs a weighting on the average distance for the first term, a weight for the minimum distance for the second term, a weight for the angle error for the third term, and an angle error for the fourth term. The weights related to each may be set.

一態様の情報処理方法では、コンピュータが、第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成ステップと、第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測ステップと、生成ステップによって生成される複数の進行経路候補と、予測ステップによって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出ステップと、算出ステップによって算出されたコストが最小になる進行経路候補を選択する選択ステップと、選択ステップによって選択された進行経路候補を出力する出力ステップと、を実行する。 In one aspect of the information processing method, when the computer generates a plurality of candidates for a traveling route toward the destination by the first pedestrian, and when a second pedestrian different from the first pedestrian moves. The cost related to the distance and the angle is calculated for each of the plurality of travel route candidates based on the prediction step for predicting the travel route of the vehicle, the plurality of travel route candidates generated by the generation step, and the travel route predicted by the prediction step. A calculation step to be performed, a selection step for selecting a travel route candidate that minimizes the cost calculated by the calculation step, and an output step for outputting the travel route candidate selected by the selection step are executed.

一態様の情報処理プログラムは、コンピュータに、第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成機能と、第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測機能と、生成機能によって生成される複数の進行経路候補と、予測機能によって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出機能と、算出機能によって算出されたコストが最小になる進行経路候補を選択する選択機能と、選択機能によって選択された進行経路候補を出力する出力機能と、を実現させる。 One aspect of the information processing program has a generation function in which the first pedestrian generates a plurality of candidates for a traveling route toward the destination, and when a second pedestrian different from the first pedestrian moves. The cost related to the distance and the angle is calculated for each of the plurality of travel route candidates based on the prediction function for predicting the travel route of the vehicle, the plurality of travel route candidates generated by the generation function, and the travel route predicted by the prediction function. A calculation function for selecting a travel route candidate that minimizes the cost calculated by the calculation function, and an output function for outputting the travel route candidate selected by the selection function are realized.

一態様の情報処理装置は、第1の歩行者が目的地へ向かう複数の進行経路候補と、第2の歩行者が移動する際の移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出部と、算出部によって算出されたコストが最小になる進行経路候補を選択する選択部と、選択部によって選択された進行経路候補を出力する出力部と、を備えるので、歩行者の実際の動きを従来よりも適切に再現することができる。
一態様の情報処理方法及び情報処理プログラムは、一態様の情報処理装置と同様の効果を奏することができる。
The information processing device of one aspect is a distance for each of the plurality of travel route candidates based on a plurality of travel route candidates for the first pedestrian to the destination and a travel route when the second pedestrian moves. A calculation unit that calculates the cost related to the angle, a selection unit that selects the travel route candidate that minimizes the cost calculated by the calculation unit, and an output unit that outputs the travel route candidate selected by the selection unit. Therefore, the actual movement of the pedestrian can be reproduced more appropriately than before.
The information processing method and the information processing program of one aspect can exert the same effect as the information processing apparatus of one aspect.

一実施形態に係る情報処理装置について説明するためのブロック図である。It is a block diagram for demonstrating the information processing apparatus which concerns on one Embodiment. 第1の歩行者の進行経路の候補について説明するための図である。It is a figure for demonstrating the candidate of the traveling route of the 1st pedestrian. 第1の歩行者の進行経路について説明するための図である。It is a figure for demonstrating the traveling path of the 1st pedestrian. 第2の歩行者の移動経路について説明するための図である。It is a figure for demonstrating the movement path of the 2nd pedestrian. 算出部によって距離に関するコストを算出する際の第1の歩行者及び第2の歩行者について説明するための図である。It is a figure for demonstrating the 1st pedestrian and the 2nd pedestrian when the cost about a distance is calculated by a calculation part. 算出部によって角度に関するコストを算出する際の第1の歩行者について説明するための図である。It is a figure for demonstrating the 1st pedestrian when the cost about an angle is calculated by a calculation part. 選択部によって進行経路の候補を選択する場合について説明するための図である。It is a figure for demonstrating the case where the candidate of a traveling route is selected by the selection part. 一実施形態に係る情報処理方法について説明するためのフローチャートである。It is a flowchart for demonstrating the information processing method which concerns on one Embodiment.

以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
図1は、一実施形態に係る情報処理装置1について説明するためのブロック図である。
Hereinafter, an embodiment of the present invention will be described.
Although the wording of "information" is used in this specification, the wording of "information" can be paraphrased as "data", and the wording of "data" can be paraphrased as "information".
FIG. 1 is a block diagram for explaining the information processing device 1 according to the embodiment.

情報処理装置1は、歩行者の歩行経路を決定(選択)する装置である。後述するように情報処理装置1によって選択される歩行者の歩行経路は、自動運転車両の自動運転に関する機能評価シミュレーションに利用可能である。また、情報処理装置1は、上述した一例に限定されることはなく、例えば、都市開発等の歩行者のシミュレーション等にも利用可能である。
情報処理装置1は、歩行者の歩行経路を決定することとして、第1の歩行者101が目的地DP(図6,7参照)へ向かう歩行経路(進行経路R1(図2等参照))を選択する際に、第1の歩行者101とは異なる第2の歩行者102の移動経路R2を予測し、第1の歩行者101が第2の歩行者102を回避しながら目的地DPへ向かう最小のコストとなる歩行経路(進行経路R1)を選択する。コストは、例えば、第1の歩行者101の移動距離及び移動時間等の移動コストであってもよく、他のコストが加味されてもよい。
The information processing device 1 is a device that determines (selects) a walking route of a pedestrian. As will be described later, the walking route of the pedestrian selected by the information processing device 1 can be used for the function evaluation simulation related to the automatic driving of the autonomous driving vehicle. Further, the information processing device 1 is not limited to the above-mentioned example, and can be used, for example, for pedestrian simulation in urban development and the like.
The information processing device 1 determines the walking route of the pedestrian, and determines the walking route (travel route R1 (see FIG. 2 and the like)) in which the first pedestrian 101 heads for the destination DP (see FIGS. 6 and 7). When selecting, the movement path R2 of the second pedestrian 102 different from the first pedestrian 101 is predicted, and the first pedestrian 101 heads for the destination DP while avoiding the second pedestrian 102. Select the walking route (travel route R1) that has the lowest cost. The cost may be, for example, a moving cost such as a moving distance and a moving time of the first pedestrian 101, or other costs may be added.

次に、情報処理装置1について詳細に説明する。
情報処理装置1は、生成部12、予測部13、算出部14、選択部15、出力制御部16及び出力部を備える。生成部12、予測部13、算出部14、選択部15及び出力制御部16は、情報処理装置1の制御部11(例えば、演算処理装置)の一機能として実現されてもよい。出力部は、例えば、表示部17、記憶部18及び通信部19であってもよい。
Next, the information processing device 1 will be described in detail.
The information processing device 1 includes a generation unit 12, a prediction unit 13, a calculation unit 14, a selection unit 15, an output control unit 16, and an output unit. The generation unit 12, the prediction unit 13, the calculation unit 14, the selection unit 15, and the output control unit 16 may be realized as one function of the control unit 11 (for example, the arithmetic processing unit) of the information processing device 1. The output unit may be, for example, a display unit 17, a storage unit 18, and a communication unit 19.

生成部12は、第1の歩行者101が目的地へ向かう進行経路R1の候補を複数生成する。すなわち、生成部12は、第1の歩行者101が目的地へ向かうモデル(進行経路モデル)を複数生成する。生成部12は、第1の歩行者101の進行経路を種々の方法により生成することができる。すなわち、生成部12は、例えば、一般的な経路決定方法を利用して、第1の歩行者101の進行経路R1を生成することとしてもよい。すなわち、生成部12は、上述した一般的な経路決定方法として、第1の歩行者101の過去の進行経路R1に基づいて、現在の位置から目的地へ向かう進行経路R1を推定して、進行経路R1の候補としてもよい。 The generation unit 12 generates a plurality of candidates for the traveling route R1 in which the first pedestrian 101 heads for the destination. That is, the generation unit 12 generates a plurality of models (travel path models) in which the first pedestrian 101 heads for the destination. The generation unit 12 can generate the traveling path of the first pedestrian 101 by various methods. That is, the generation unit 12 may generate the traveling path R1 of the first pedestrian 101 by using, for example, a general route determination method. That is, as the general route determination method described above, the generation unit 12 estimates the travel path R1 from the current position to the destination based on the past travel path R1 of the first pedestrian 101, and proceeds. It may be a candidate for the route R1.

図2は、第1の歩行者101の進行経路R1の候補について説明するための図である。
図2に示すように、生成部12は、第1の歩行者101が進行可能な角度範囲を所定角度ずつ区分し、所定角度ずつ区分された方向それぞれにおいて第1の歩行者101の進行方向を直線的に定義することにより進行経路R1の候補を生成することとしてもよい。すなわち、生成部12は、第1の歩行者101の現在位置NP1からの歩行可能範囲φ(所定の角度範囲)を設定し、その歩行可能範囲を一定の角度毎に分割した各方向を進行経路R1の候補としてもよい。この場合、生成部12は、各方向に目標の歩行速度で直進すると仮定した場合の進行経路R1を生成してもよい。なお、生成部12は、上述したように各方向の進行経路R1を直線として生成してもよく、直線とせずに(例えば、適宜屈曲させて)生成してもよい。
FIG. 2 is a diagram for explaining a candidate for the traveling path R1 of the first pedestrian 101.
As shown in FIG. 2, the generation unit 12 divides the angle range in which the first pedestrian 101 can travel by a predetermined angle, and sets the traveling direction of the first pedestrian 101 in each of the directions divided by the predetermined angle. By defining it linearly, a candidate for the traveling path R1 may be generated. That is, the generation unit 12 sets the pedestrian range φ (predetermined angle range) from the current position NP1 of the first pedestrian 101, and divides the pedestrian range into fixed angles to travel in each direction. It may be a candidate for R1. In this case, the generation unit 12 may generate a traveling path R1 assuming that the vehicle travels straight in each direction at a target walking speed. As described above, the generation unit 12 may generate the traveling path R1 in each direction as a straight line, or may generate the traveling path R1 without forming a straight line (for example, by appropriately bending it).

図3は、第1の歩行者101の進行経路R1について説明するための図である。
生成部12は、例えば、第1の歩行者101が移動する際の所定時間間隔(予測ステップP)毎に一定時間後までの進行経路R1の候補を生成することとしてもよい。具体的には、図3に一例を示すように、生成部12は、第1の歩行者101が移動する際の0.5秒間隔(予測ステップP)毎に現在から2秒先までの進行経路R1の候補を生成することとしてもよい。なお、上記の数値はあくまで一例であり、生成部12は、上述した時間間隔及び一定時間の数値を適宜設定することが可能である。
FIG. 3 is a diagram for explaining the traveling path R1 of the first pedestrian 101.
For example, the generation unit 12 may generate candidates for the traveling path R1 up to a certain time after each predetermined time interval (prediction step P) when the first pedestrian 101 moves. Specifically, as shown in FIG. 3, the generation unit 12 advances from the present to 2 seconds ahead at every 0.5 second interval (prediction step P) when the first pedestrian 101 moves. A candidate for the route R1 may be generated. The above numerical values are merely examples, and the generation unit 12 can appropriately set the above-mentioned time intervals and constant time numerical values.

生成部12は、進行経路R1の候補ID(Identification)1〜Nをn(Nは進行経路R1の候補数)、進行経路R1の軌跡のプロット数(予測ステップPの数)をIとすると、以下の式(1)により進行経路R1の候補Tnを表すことが可能である。

Figure 2021135705
・・・(1) Assuming that the candidate IDs (Identification) 1 to N of the traveling path R1 are n (N is the number of candidates for the traveling path R1) and the number of plots of the locus of the traveling path R1 (the number of prediction steps P) is I, the generation unit 12 It is possible to represent the candidate Tn of the traveling path R1 by the following equation (1).
Figure 2021135705
... (1)

予測部13は、第1の歩行者101とは異なる第2の歩行者102が移動する際の移動経路R2を予測する。第2の歩行者102は、第1の歩行者101の周囲(例えば、第1の歩行者101から所定距離内)にいる歩行者であり、1人又は複数人であってもよい。第2の歩行者102が複数いる場合、予測部13は、複数の第2の歩行者102それぞれについて移動経路R2を予測することとしてもよい。予測部13は、第2の歩行者102が現在位置からどこに移動するのか予測する。その際、予測部13は、第2の歩行者102の移動の軌跡(移動経路R2)を予測する。予測部13は、例えば、一般的な経路決定方法を利用して、第2の歩行者102の過去の移動経路R2に基づいて、将来の移動経路R2を予測することとしてもよい。 The prediction unit 13 predicts the movement path R2 when the second pedestrian 102, which is different from the first pedestrian 101, moves. The second pedestrian 102 is a pedestrian who is around the first pedestrian 101 (for example, within a predetermined distance from the first pedestrian 101), and may be one or more people. When there are a plurality of second pedestrians 102, the prediction unit 13 may predict the movement route R2 for each of the plurality of second pedestrians 102. The prediction unit 13 predicts where the second pedestrian 102 will move from the current position. At that time, the prediction unit 13 predicts the movement locus (movement path R2) of the second pedestrian 102. For example, the prediction unit 13 may predict the future movement route R2 based on the past movement route R2 of the second pedestrian 102 by using a general route determination method.

図4は、第2の歩行者102の移動経路R2について説明するための図である。
図4に一例を示すように、予測部13は、第2の歩行者102の現在の進行方向(現在位置NP2までの進行方向)又は第2の歩行者102の現在(現在位置NP2)の身体の向きに対して直線的に動くと仮定することにより、移動経路R2を予測することとしてもよい。
FIG. 4 is a diagram for explaining the movement path R2 of the second pedestrian 102.
As shown in FIG. 4, the prediction unit 13 is the body of the second pedestrian 102 in the current traveling direction (traveling direction to the current position NP2) or the second pedestrian 102 in the current direction (current position NP2). The movement path R2 may be predicted by assuming that it moves linearly with respect to the direction of.

予測部13は、例えば、上述した生成部12と同様に、所定時間間隔(予測ステップP)毎に一定時間後までの第2の歩行者102の移動経路R2を予測してもよい。予測部13によって移動経路R2を予測する際の上述した時間間隔及び一定時間の数値は、生成部12によって進行経路R1の候補を生成する際の時間間隔及び一定時間の数値と同一(略同一)であってもよいし、異なっていてもよい。すなわち、具体的な一例として、生成部12によって第1の歩行者101が移動する際の0.5秒間隔(予測ステップP)毎に現在から2秒先までの進行経路R1の候補を生成する場合、予測部13は、1人又は複数人の第2の歩行者102が移動する際の0.5秒間隔(予測ステップP)毎に現在から2秒先までの移動経路R2をそれぞれ予測することとしてもよい。
また、異なる場合、例えば、移動経路R2との時間間隔は、進行経路R1の時間間隔の1/2倍であってもよく、2倍であってもよく、他の数値の差があってもよい。さらに、異なる場合、例えば、移動経路R2の一定時間は、進行経路R1の一定時間よりも長くてもよく、短くてもよい。
For example, the prediction unit 13 may predict the movement route R2 of the second pedestrian 102 up to a certain time after each predetermined time interval (prediction step P), similarly to the generation unit 12 described above. The above-mentioned numerical values of the time interval and the fixed time when the prediction unit 13 predicts the movement path R2 are the same as the numerical values of the time interval and the fixed time when the generation unit 12 generates the candidate of the traveling path R1 (substantially the same). It may be, or it may be different. That is, as a specific example, the generation unit 12 generates a candidate for the traveling path R1 from the present to 2 seconds ahead every 0.5 second interval (prediction step P) when the first pedestrian 101 moves. In the case, the prediction unit 13 predicts the movement path R2 from the present to 2 seconds ahead at every 0.5 second interval (prediction step P) when one or a plurality of second pedestrians 102 move. It may be that.
If they are different, for example, the time interval with the moving path R2 may be 1/2 times or twice the time interval of the traveling path R1, even if there is a difference in other numerical values. good. Further, when different, for example, the fixed time of the moving path R2 may be longer or shorter than the fixed time of the traveling path R1.

予測部13は、第2の歩行者ID(1〜M)をm、第2の歩行者102の数をMとすると、式(2)により予測される移動経路Umを表すことができる。

Figure 2021135705
・・・(2) Assuming that the second pedestrian ID (1 to M) is m and the number of the second pedestrians 102 is M, the prediction unit 13 can represent the movement route Um predicted by the equation (2).
Figure 2021135705
... (2)

算出部14は、生成部12によって生成される複数の進行経路R1の候補と、予測部13によって予測される移動経路R2とに基づいて、複数の進行経路R1の候補毎に距離及び角度に関するコストを算出する。例えば、算出部14は、生成部12によって生成される複数の進行経路R1の候補うちの1つを第1の歩行者101が進行した場合に、予測部13によって予測される第2の歩行者102との距離が相対的に短くならないようにすると共に、進行経路R1の候補のうちの1つを第1歩行者が進行した場合に、第1の歩行者101の進行方向が目的地DP(図6,7参照)から相対的に大きく外れる角度にならないようにするために、第1の歩行者101の進行経路R1のコストを算出する。 The calculation unit 14 costs about the distance and the angle for each of the candidates of the plurality of travel paths R1 based on the candidates of the plurality of travel paths R1 generated by the generation unit 12 and the movement path R2 predicted by the prediction unit 13. Is calculated. For example, the calculation unit 14 is a second pedestrian predicted by the prediction unit 13 when the first pedestrian 101 advances one of the candidates of the plurality of travel paths R1 generated by the generation unit 12. When the first pedestrian travels on one of the candidates for the traveling route R1 while keeping the distance from the 102 relatively short, the traveling direction of the first pedestrian 101 is the destination DP ( The cost of the traveling path R1 of the first pedestrian 101 is calculated so as not to deviate from the angle relatively large (see FIGS. 6 and 7).

具体的には、算出部14は、第1の歩行者101の進行経路R1と、第2の歩行者102の移動経路R2との間の距離に関する計算する。この際、進行経路R1及び移動経路R2それぞれを所定時間間隔毎に求めているため、算出部14は、所定時間間隔毎に第1の歩行者101と1人又は複数人の第2の歩行者102それぞれとの距離に応じたコストを算出する。この際、一定時間の進行経路R1及び移動経路R2を求めているため、算出部14は、第2の歩行者102それぞれについて、一定時間における、第1の歩行者101と第2の歩行者102との平均距離に応じたコストを算出する。 Specifically, the calculation unit 14 calculates the distance between the traveling path R1 of the first pedestrian 101 and the moving path R2 of the second pedestrian 102. At this time, since each of the traveling route R1 and the moving route R2 is obtained at predetermined time intervals, the calculation unit 14 includes the first pedestrian 101 and one or a plurality of second pedestrians at predetermined time intervals. 102 Calculate the cost according to the distance to each. At this time, since the traveling path R1 and the moving path R2 for a certain period of time are obtained, the calculation unit 14 calculates the first pedestrian 101 and the second pedestrian 102 for a certain period of time for each of the second pedestrians 102. Calculate the cost according to the average distance with.

図5は、算出部14によって距離に関するコストを算出する際の第1の歩行者101及び第2の歩行者102について説明するための図である。
生成部12は、第1の歩行者101の進行経路R1の候補を予測ステップP(例えば、(xtn1,ytn1)、(xtn2,ytn2)、…(xtnI,ytnI))毎に求める。また、予測部13は、第2の歩行者102の移動経路R2を予測ステップP(例えば、(xum1,yum1)、(xum2,yum2)、…(xumI,yumI)毎に求める。算出部14は、対応する予測ステップP毎に第1の歩行者101(例えば、(xtn1,ytn1))と第2の歩行者102(例えば(xum1,yum1)との距離を求め、移動経路R2の予測ステップP全体の平均距離Dnを求める。また、算出部14は、対応する予測ステップP毎の第1の歩行者101と第2の歩行者102との間の距離を求め、最小の距離Dminを求める。
FIG. 5 is a diagram for explaining the first pedestrian 101 and the second pedestrian 102 when the calculation unit 14 calculates the cost related to the distance.
The generation unit 12 predicts a candidate for the traveling path R1 of the first pedestrian 101 for each prediction step P (for example, (xt n1 , yt n1 ), (xt n2 , yt n2 ), ... ( Xt nI , yt nI )). Ask for. Further, the prediction unit 13 determines the movement path R2 of the second pedestrian 102 for each prediction step P (for example, (xu m1 , yu m1 ), (xu m2 , yu m2 ), ... (Xu mI , yu mI )). The calculation unit 14 calculates the distance between the first pedestrian 101 (for example, (xt n1 , yt n1 )) and the second pedestrian 102 (for example, (xu m1 , yu m1)) for each corresponding prediction step P. Is obtained, and the average distance Dn of the entire prediction step P of the movement route R2 is obtained. Further, the calculation unit 14 calculates the distance between the first pedestrian 101 and the second pedestrian 102 for each corresponding prediction step P. To find the minimum distance Dmin n.

ここで、算出部14は、第1の歩行者101の進行経路R1の候補と、第2の歩行者102の移動経路R2の予測結果との平均距離に関するコストを式(3)によって算出する。(第2の歩行者102の人数をM人)×(予測ステップ数l点)の平均をDnとすると、

Figure 2021135705
・・・(3) Here, the calculation unit 14 calculates the cost related to the average distance between the candidate of the traveling route R1 of the first pedestrian 101 and the prediction result of the traveling route R2 of the second pedestrian 102 by the equation (3). Assuming that the average of (the number of second pedestrians 102 is M) × (the number of predicted steps l points) is Dn,
Figure 2021135705
... (3)

また、算出部14は、距離に関するコストの最小値を式(4)によって算出する。(第2の歩行者102の人数をM人)×(予測ステップ数l点)の最小値をDminとすると、

Figure 2021135705
・・・(4) Further, the calculation unit 14 calculates the minimum value of the cost related to the distance by the equation (4). Assuming that the minimum value of (the number of second pedestrians 102 is M) × (predicted step number l points) is Dmin n
Figure 2021135705
... (4)

図6は、算出部14によって角度に関するコストを算出する際の第1の歩行者101について説明するための図である。
また、算出部14は、第1の歩行者101が進行する進行経路R1の候補の方向(現在位置NP1から次の予測ステップPの位置に進む方向)と、第1の歩行者101が現在の進行方向を維持する方向との変化量(誤差)(進行方向の変化量)dθnを算出する。また、算出部14は、第1の歩行者101が進行する進行経路R1の候補の方向(現在位置NP1から次の予測ステップPの位置に進む方向)と、第1の歩行者101の現在位置NP1から目的地DPへの方向との誤差θerrを算出する。
FIG. 6 is a diagram for explaining the first pedestrian 101 when the calculation unit 14 calculates the cost related to the angle.
Further, in the calculation unit 14, the direction of the candidate of the traveling path R1 on which the first pedestrian 101 travels (the direction from the current position NP1 to the position of the next prediction step P) and the current direction of the first pedestrian 101 are present. The amount of change (error) (amount of change in the traveling direction) dθn with respect to the direction in which the traveling direction is maintained is calculated. In addition, the calculation unit 14 determines the direction of the candidate for the traveling path R1 on which the first pedestrian 101 travels (the direction from the current position NP1 to the position of the next prediction step P) and the current position of the first pedestrian 101. to calculate the error θerr n of the direction to the destination DP from NP1.

ここで、算出部14は、目的地方向への角度をθtarget、進行経路R1の候補nの進行方向をθnとすると、進行経路R1の候補の進行方向と目的地方向との誤差θerrは、式(5)により算出することができる。

Figure 2021135705
・・・(5) Here, assuming that the angle to the destination direction is θtaget and the traveling direction of the candidate n of the traveling path R1 is θn, the calculation unit 14 determines that the error θerr n between the traveling direction of the candidate traveling path R1 and the destination direction is It can be calculated by the formula (5).
Figure 2021135705
... (5)

また、算出部14は、第1の歩行者101の進行方向の変化量をdθn、第1の歩行者101の現在の進行方向をθnowとすると、式(6)により算出することができる。

Figure 2021135705
・・・(6) Further, the calculation unit 14 can calculate by the equation (6), assuming that the amount of change in the traveling direction of the first pedestrian 101 is dθn and the current traveling direction of the first pedestrian 101 is θnow.
Figure 2021135705
... (6)

算出部14は、第1の歩行者101と第2の歩行者102との間の平均距離Dnに関する第1項、第1の歩行者101と第2の歩行者102との間の最小距離Dminに関する第2項、第1の歩行者101の現在の進行方向から次の予測ステップPへの進行方向への角度の変化量dθnに関する第3項、及び、第1の歩行者101の次の予測ステップPへの進行方向(進行経路R1の方向)と目的地DPへの方向との角度の誤差θerrに関する第4項を関数として、距離及び角度に応じたコストを算出することとしてもよい。 The calculation unit 14 has a first term regarding the average distance Dn between the first pedestrian 101 and the second pedestrian 102, and the minimum distance Dmin between the first pedestrian 101 and the second pedestrian 102. The second term regarding n, the third term regarding the amount of change in the angle dθn from the current traveling direction of the first pedestrian 101 to the next prediction step P, and the next of the first pedestrian 101. as a function of the fourth term about errors err n the angle of the traveling and the direction (direction of the travel path R1) to the direction to the destination DP to prediction step P, the cost may be calculated according to the distance and angle ..

算出部14は、第1項及び第2項については予め設定される第1の歩行者101に関して許容される距離で正規化することとしてもよい。算出部14は、第3項及び第4項については予め設定される第1歩行者の進行方向成分及び目的地方向への成分が無くなる角度で正規化することとしてもよい。
許容される距離は、いわゆるパーソナルスペースである。許容される距離の最小値は、一例として、人物の肩幅くらいの距離である。許容される距離の最大値は、一例として、約1〜2m程度である。許容される距離の最小値及び最大値は、上記の一例に限定されることはなく、適宜設定されてもよい。
第1歩行者の進行方向を維持する成分及び目的地方向へ向かう成分が無くなる角度は、例えば、π/2であってもよい。
The calculation unit 14 may normalize the first and second terms at an allowable distance with respect to the preset first pedestrian 101. The calculation unit 14 may normalize the third and fourth terms at an angle at which the preset heading direction component and the destination direction component of the first pedestrian disappear.
The permissible distance is the so-called personal space. The minimum allowable distance is, for example, a distance about the shoulder width of a person. The maximum value of the allowable distance is, for example, about 1 to 2 m. The minimum and maximum values of the allowable distance are not limited to the above example, and may be set as appropriate.
The angle at which the component that maintains the traveling direction of the first pedestrian and the component that moves toward the destination disappears may be, for example, π / 2.

算出部14は、各項について重み付けを設定する。重み付けは、どの項を強調するかを示す値であってもよく、数値が大きいほど強調される。 The calculation unit 14 sets the weighting for each term. The weighting may be a value indicating which term should be emphasized, and the larger the value, the more emphasized.

すなわち、算出部14は、パーソナルスペースをPSとすると、以下の式(7)により第1の歩行者101の進行経路R1の候補TnのコストCnを算出することが可能である。

Figure 2021135705
・・・(7) That is, assuming that the personal space is PS, the calculation unit 14 can calculate the cost Cn of the candidate Tn of the travel path R1 of the first pedestrian 101 by the following equation (7).
Figure 2021135705
... (7)

ここで、w1は、第1の歩行者101と第2の歩行者102との平均距離に関するコストの重みである。算出部14は、第1の歩行者101と第2の歩行者102との一時的なパーソナルスペースまでの接近を許容するような経路選択を行いたい場合に数値を大きく設定する。
w2は、第1の歩行者101と第2の歩行者102との最小距離に関する重みである。算出部14は、第1の歩行者101と第2の歩行者102との距離を取ることを優先したい場合に数値を大きく設定する。
w3は、第1の歩行者101の進行方向の変化量(角度の誤差)に関するコストの重みである。
算出部14は、第1の歩行者101の急な進行方向の変化を抑えたい場合に数値を大きく設定する。
w4は、第1の歩行者101の目的地方向への誤差(角度の誤差)に関する重みである。算出部14は、第1の歩行者101自らは第2の歩行者102に対する回避を行わないようにしたい場合(又は、第1の歩行者101の回避動作を最小限に抑えたい場合)に数値を大きく設定する。
Here, w1 is a weight of cost related to the average distance between the first pedestrian 101 and the second pedestrian 102. The calculation unit 14 sets a large value when it is desired to select a route that allows the first pedestrian 101 and the second pedestrian 102 to approach the temporary personal space.
w2 is a weight regarding the minimum distance between the first pedestrian 101 and the second pedestrian 102. The calculation unit 14 sets a large numerical value when it is desired to give priority to keeping a distance between the first pedestrian 101 and the second pedestrian 102.
w3 is a cost weight related to the amount of change (angle error) in the traveling direction of the first pedestrian 101.
The calculation unit 14 sets a large value when it is desired to suppress a sudden change in the traveling direction of the first pedestrian 101.
w4 is a weight regarding an error (angle error) of the first pedestrian 101 in the direction of the destination. The calculation unit 14 is a numerical value when the first pedestrian 101 itself wants to avoid avoiding the second pedestrian 102 (or when he wants to minimize the avoidance operation of the first pedestrian 101). Is set to a large value.

算出部14は、第1の歩行者101が進行する傾向に合わせて重み(コスト重み)w1〜w4を設定することが可能である。例えば、算出部14は、第1の歩行者101と第2の歩行者102との距離に関する重みw1,w2に対して、第1の歩行者101の進行方向(角度)に関する重みw3,w4を大きくとることで、第1の歩行者101の第2の歩行者102に対する回避行動をあまり取らない歩行(進行経路R1)を再現することが可能である。一方、算出部14は、角度に関する重みw3,w4に対して距離に関する重みw1,w2を大きくとることで、第1の歩行者101が積極的に第2の歩行者102を回避する歩行(進行経路R1)を再現することが可能である。また、算出部14は、距離に関する重みw1,w2に加えて角度に関する重みw3も大きくすることで、緩やかな経路変化によって第2の歩行者102を回避する歩行(進行経路R1)を再現することが可能である。さらに、算出部14は、パーソナルスペースPSの値を変化させることで、第1の歩行者101が第2の歩行者102を回避する際の第1の歩行者101と第2の歩行者102との距離を調整することが可能である。 The calculation unit 14 can set weights (cost weights) w1 to w4 according to the tendency of the first pedestrian 101 to proceed. For example, the calculation unit 14 assigns weights w3 and w4 regarding the traveling direction (angle) of the first pedestrian 101 to weights w1 and w2 regarding the distance between the first pedestrian 101 and the second pedestrian 102. By making it larger, it is possible to reproduce walking (travel path R1) in which the first pedestrian 101 does not take much avoidance action with respect to the second pedestrian 102. On the other hand, the calculation unit 14 increases the weights w1 and w2 related to the distance with respect to the weights w3 and w4 related to the angle, so that the first pedestrian 101 positively avoids the second pedestrian 102 (progress). It is possible to reproduce the route R1). In addition, the calculation unit 14 increases the weights w3 regarding the angle in addition to the weights w1 and w2 regarding the distance to reproduce walking (traveling path R1) that avoids the second pedestrian 102 by a gentle route change. Is possible. Further, the calculation unit 14 changes the value of the personal space PS so that the first pedestrian 101 and the second pedestrian 102 when the first pedestrian 101 avoids the second pedestrian 102 It is possible to adjust the distance of.

選択部15は、算出部14によって算出されたコストが最小になる進行経路R1の候補を選択する。選択部15は、コストが最小になる候補をTnextとすると、式(8)により算出が可能である。

Figure 2021135705
・・・(8) The selection unit 15 selects a candidate for the traveling path R1 that minimizes the cost calculated by the calculation unit 14. The selection unit 15 can be calculated by the equation (8), assuming that the candidate whose cost is the minimum is Tnext.
Figure 2021135705
... (8)

図7は、選択部15によって進行経路R1の候補を選択する場合について説明するための図である。
選択部15は、第1の歩行者101と第2の歩行者102とがパーソナルスペース以内に近づくのを回避しつつ、第1の歩行者101が目的地DPへ向かう際の最小コストとなる進行経路R1aを選択する。
FIG. 7 is a diagram for explaining a case where a candidate for the traveling path R1 is selected by the selection unit 15.
The selection unit 15 makes progress that is the minimum cost when the first pedestrian 101 heads for the destination DP while avoiding the first pedestrian 101 and the second pedestrian 102 approaching within the personal space. The route R1a is selected.

出力部は、選択部15によって選択された進行経路R1候補を出力する。出力部は、例えば、表示部17、記憶部18及び通信部19等であってもよい。出力部は、出力制御部16によって制御される。
表示部17は、文字及び画像等を表示する装置である。
記憶部18は、種々の情報及びプログラムを記憶する装置である。
通信部19は、通信ネットワークを介して外部の装置(外部装置(図示せず))との間で情報の送受信が可能である。
出力制御部16は、選択部15で選択された最小となるコストの進行経路R1を表示部17に表示することとしてもよい。出力制御部16は、選択部15で選択された最小となるコストの進行経路R1を記憶部18に記憶することとしてもよい。出力制御部16は、選択部15で選択された最小となるコストの進行経路R1を外部装置(図示せず)に送信するよう通信部19を制御してもよい。
The output unit outputs the travel path R1 candidate selected by the selection unit 15. The output unit may be, for example, a display unit 17, a storage unit 18, a communication unit 19, or the like. The output unit is controlled by the output control unit 16.
The display unit 17 is a device for displaying characters, images, and the like.
The storage unit 18 is a device that stores various information and programs.
The communication unit 19 can send and receive information to and from an external device (external device (not shown)) via a communication network.
The output control unit 16 may display the travel path R1 of the minimum cost selected by the selection unit 15 on the display unit 17. The output control unit 16 may store the travel path R1 of the minimum cost selected by the selection unit 15 in the storage unit 18. The output control unit 16 may control the communication unit 19 so as to transmit the travel path R1 of the minimum cost selected by the selection unit 15 to an external device (not shown).

次に、一実施形態に係る情報処理方法について説明する。
図8は、一実施形態に係る情報処理方法について説明するためのフローチャートである。
Next, the information processing method according to the embodiment will be described.
FIG. 8 is a flowchart for explaining the information processing method according to the embodiment.

ステップST101において、生成部12は、第1の歩行者101が目的地DPへ向かう進行経路R1の候補を複数生成する。この場合、生成部12は、種々の方法により進行経路R1の候補を生成することが可能である。一例として、図2に示すように、生成部12は、第1の歩行者101が進行可能な角度範囲φを所定角度ずつ区分し、所定角度ずつ区分された方向それぞれにおいて第1の歩行者101の進行方向を直線的に定義することにより進行経路R1の候補を生成することとしてもよい。生成部12は、進行経路R1の候補を生成する場合、所定時間間隔(予測ステップP)毎に一定時間後までの進行経路R1の候補を生成することとしてもよい。 In step ST101, the generation unit 12 generates a plurality of candidates for the traveling route R1 in which the first pedestrian 101 heads for the destination DP. In this case, the generation unit 12 can generate a candidate for the traveling path R1 by various methods. As an example, as shown in FIG. 2, the generation unit 12 divides the angle range φ in which the first pedestrian 101 can travel by a predetermined angle, and the first pedestrian 101 in each of the directions divided by the predetermined angle. A candidate for the traveling path R1 may be generated by linearly defining the traveling direction of. When generating a candidate for the traveling path R1, the generation unit 12 may generate a candidate for the traveling path R1 up to a certain time after each predetermined time interval (prediction step P).

ステップST102において、予測部13は、第1の歩行者101の周囲にいる第2の歩行者102(1人又は複数人)が移動する際の移動経路R2を予測する。一例として、予測部13は、第2の歩行者102の現在の進行方向又は第2の歩行者102の現在の身体の向きに対して直線的に動くと仮定することにより、移動経路R2を予測することとしてもよい。予測部13は、ステップST101と同様に、所定時間間隔(予測ステップP)毎に一定時間後までの第2の歩行者102の移動経路R2を予測してもよい。 In step ST102, the prediction unit 13 predicts the movement path R2 when the second pedestrian 102 (one or more people) around the first pedestrian 101 moves. As an example, the prediction unit 13 predicts the movement path R2 by assuming that the second pedestrian 102 moves linearly with respect to the current traveling direction of the second pedestrian 102 or the current body orientation of the second pedestrian 102. You may do it. Similar to step ST101, the prediction unit 13 may predict the movement path R2 of the second pedestrian 102 up to a certain time after each predetermined time interval (prediction step P).

ステップST103において、算出部14は、ステップST101で生成される複数の進行経路R1の候補と、ステップST102で予測される移動経路R2とに基づいて、複数の進行経路R1の候補毎に距離及び角度に関するコストを算出する。
算出部14は、対応する予測ステップP毎に第1の歩行者101と第2の歩行者102との距離を求め、移動経路R2の予測ステップP全体の平均距離Dnを求める。また、算出部14は、対応する予測ステップP毎の第1の歩行者101と第2の歩行者102との距離を求め、最小の距離Dminを求める。
算出部14は、第1の歩行者101が進行する進行経路R1の候補の方向と、第1の歩行者101が現在の進行方向を維持する方向との変化量(進行方向の変化量)dθnを算出する。また、算出部14は、第1の歩行者101が進行する進行経路R1の候補の方向と、第1の歩行者101の現在位置NP1から目的地DPへの方向との誤差θerrを算出する。
算出部14は、平均距離Dn、最小の距離Dmin、進行方向の変化量dθn及び誤差θerrに基づいてコストを算出する
In step ST103, the calculation unit 14 determines the distance and angle for each of the candidates for the plurality of travel paths R1 based on the candidates for the plurality of travel paths R1 generated in step ST101 and the movement path R2 predicted in step ST102. Calculate the cost for.
The calculation unit 14 obtains the distance between the first pedestrian 101 and the second pedestrian 102 for each corresponding prediction step P, and obtains the average distance Dn of the entire prediction step P of the movement route R2. Further, the calculation unit 14 obtains the distance between the first pedestrian 101 and the second pedestrian 102 for each corresponding prediction step P, and obtains the minimum distance Dmin n.
The calculation unit 14 determines the amount of change (change amount in the traveling direction) dθn between the direction of the candidate of the traveling path R1 in which the first pedestrian 101 travels and the direction in which the first pedestrian 101 maintains the current traveling direction. Is calculated. Further, the calculation unit 14 calculates the direction of the candidate traveling route R1 to the first pedestrian 101 progresses, the error err n the direction to the destination DP from the current position NP1 of the first pedestrian 101 ..
Calculating unit 14 calculates the cost on the basis of the average distance Dn, the minimum distance Dmin n, the movement direction change amount dθn and error err n

ステップST104において、選択部15は、ステップST103で算出された第1の歩行者101の複数の進行経路R1候補のコストのうち、最小となるコストの進行経路R1を選択する。 In step ST104, the selection unit 15 selects the travel path R1 having the lowest cost among the costs of the plurality of travel path R1 candidates of the first pedestrian 101 calculated in step ST103.

ステップST105において、出力制御部16は、ステップST104で選択された進行経路R1を出力する。例えば、出力制御部16は、ステップST104で選択された最小となるコストの進行経路R1を表示部17(出力部)に表示することとしてもよい。例えば、出力制御部16は、ステップST104で選択された最小となるコストの進行経路R1を記憶部18(出力部)に記憶することとしてもよい。例えば、出力制御部16は、ステップST104で選択された最小となるコストの進行経路R1を外部装置(図示せず)に送信するよう通信部19(出力部)を制御してもよい。 In step ST105, the output control unit 16 outputs the traveling path R1 selected in step ST104. For example, the output control unit 16 may display the travel path R1 of the minimum cost selected in step ST104 on the display unit 17 (output unit). For example, the output control unit 16 may store the travel path R1 of the minimum cost selected in step ST104 in the storage unit 18 (output unit). For example, the output control unit 16 may control the communication unit 19 (output unit) so as to transmit the travel path R1 of the minimum cost selected in step ST104 to an external device (not shown).

次に、本実施形態の効果について説明する。
情報処理装置1は、第1の歩行者101が目的地DPへ向かう複数の進行経路R1の候補と、第2の歩行者102が移動する際の移動経路R2とに基づいて、複数の進行経路R1の候補毎に距離及び角度に関するコストを算出する算出部14と、算出部14によって算出されたコストが最小になる進行経路R1の候補を選択する選択部15と、選択部15によって選択された進行経路R1の候補を出力する出力部と、を備える。
これにより、情報処理装置1は、第1の歩行者101が目的地DPへ移動する際の進行経路R1を再現することができる。この場合、情報処理装置1は、複数の進行経路R1の候補のうち、第1の歩行者101と第2の歩行者102との距離、及び、第1の歩行者101の進行方向に関する角度に基づいたコストが最小になるものを選択することができる。
Next, the effect of this embodiment will be described.
The information processing device 1 has a plurality of traveling paths based on the candidates of the plurality of traveling paths R1 for the first pedestrian 101 toward the destination DP and the moving paths R2 when the second pedestrian 102 moves. Selected by the calculation unit 14 that calculates the cost related to the distance and the angle for each candidate of R1, the selection unit 15 that selects the candidate of the traveling path R1 that minimizes the cost calculated by the calculation unit 14, and the selection unit 15. An output unit for outputting a candidate for the traveling path R1 is provided.
As a result, the information processing device 1 can reproduce the traveling path R1 when the first pedestrian 101 moves to the destination DP. In this case, the information processing device 1 determines the distance between the first pedestrian 101 and the second pedestrian 102 and the angle with respect to the traveling direction of the first pedestrian 101 among the candidates of the plurality of traveling paths R1. You can choose the one that minimizes the based cost.

情報処理装置1では、生成部12は、第1の歩行者101が進行可能な角度範囲φを所定角度ずつ区分し、所定角度ずつ区分された方向それぞれにおいて第1の歩行者101の進行方向を直線的に定義することにより進行経路R1の候補を生成することとしてもよい。
これにより、情報処理装置1は、第1の歩行者101の進行経路R1の候補を設定することができる。
In the information processing device 1, the generation unit 12 divides the angle range φ in which the first pedestrian 101 can travel by a predetermined angle, and sets the traveling direction of the first pedestrian 101 in each of the directions divided by the predetermined angle. By defining it linearly, a candidate for the traveling path R1 may be generated.
As a result, the information processing device 1 can set a candidate for the traveling path R1 of the first pedestrian 101.

情報処理装置1では、予測部13は、第2の歩行者102の現在の進行方向又は第2の歩行者102の現在の身体の向きに対して直線的に動くと仮定することにより、移動経路R2を予測することとしてもよい。
これにより、情報処理装置1は、第2の歩行者102の進行方向を予測することができる。
In the information processing device 1, the prediction unit 13 moves in a movement path by assuming that the prediction unit 13 moves linearly with respect to the current traveling direction of the second pedestrian 102 or the current body orientation of the second pedestrian 102. R2 may be predicted.
As a result, the information processing device 1 can predict the traveling direction of the second pedestrian 102.

情報処理装置1では、第2の歩行者102が複数いる場合、予測部13は、複数の第2の歩行者102それぞれについて移動経路R2を予測することとしてもよい。
これにより、情報処理装置1は、第1の歩行者101と、複数の第2の歩行者102それぞれとの距離に関するコストを算出することができる。また、情報処理装置1は、複数の第2の歩行者102を考慮することにより、より実際的な第1の歩行者101の進行経路R1を選択することができる。
In the information processing device 1, when there are a plurality of second pedestrians 102, the prediction unit 13 may predict the movement route R2 for each of the plurality of second pedestrians 102.
As a result, the information processing device 1 can calculate the cost related to the distance between the first pedestrian 101 and each of the plurality of second pedestrians 102. Further, the information processing device 1 can select a more practical traveling path R1 of the first pedestrian 101 by considering the plurality of second pedestrians 102.

情報処理装置1では、算出部14は、第1の歩行者101と第2の歩行者102との間の平均距離Dnに関する第1項、第1の歩行者101と第2の歩行者102との間の最小距離Dminに関する第2項、生成部12によって生成される進行経路R1の方向と第1の歩行者101の現在の進行方向と角度の誤差dθnに関する第3項、及び、第1の歩行者101の進行経路R1の方向と目的地DPの方向との角度の誤差θerrに関する第4項とに基づいて、距離及び角度に応じたコストを算出することとしてもよい。 In the information processing device 1, the calculation unit 14 includes the first term regarding the average distance Dn between the first pedestrian 101 and the second pedestrian 102, the first pedestrian 101 and the second pedestrian 102. The second term regarding the minimum distance Dmin n between, the third term regarding the error dθn between the direction of the traveling path R1 generated by the generation unit 12 and the current traveling direction and angle of the first pedestrian 101, and the first. based on the Section 4 regarding the error err n the path of travel R1 pedestrian 101 direction and angle between the direction of the destination DP, it is also possible to calculate the distance and cost depending on the angle.

情報処理装置1では、算出部14は、第1項及び第2項については予め設定される第1の歩行者101に関して許容される距離で正規化し、第3項及び第4項については予め設定される第1歩行者の進行方向成分及び目的地方向への成分が無くなる角度で正規化することとしてもよい。
情報処理装置1は、複数の進行経路R1候補毎に距離及び角度に関するコストを算出するが、距離及び角度それぞれを正規化することにより各項を同一の次元で扱うことができ、進行経路R1の候補のうちコストが最小となるものを算出することができる。
In the information processing device 1, the calculation unit 14 normalizes the first and second terms with an allowable distance with respect to the preset first pedestrian 101, and presets the third and fourth terms. It may be normalized by an angle at which the traveling direction component and the destination direction component of the first pedestrian are eliminated.
The information processing device 1 calculates the cost related to the distance and the angle for each of the plurality of travel path R1 candidates, but by normalizing each of the distance and the angle, each term can be handled in the same dimension, and the travel path R1 can be handled. Among the candidates, the one with the lowest cost can be calculated.

情報処理方法では、コンピュータが、第1の歩行者101が目的地へ向かう複数の進行経路R1候補と、第2の歩行者102が移動する際の移動経路R2とに基づいて、複数の進行経路R1候補毎に距離及び角度に関するコストを算出する算出部14と、算出ステップによって算出されたコストが最小になる進行経路R1候補を選択する選択ステップと、選択ステップによって選択された進行経路R1候補を出力する出力ステップと、を実行する。
これにより、情報処理方法は、第1の歩行者101が目的地DPへ移動する際の進行経路R1を再現することができる。この場合、情報処理方法は、複数の進行経路R1の候補のうち、第1の歩行者101と第2の歩行者102との距離、及び、第1の歩行者101の進行方向に関する角度に基づいたコストが最小になるものを選択することができる。
In the information processing method, the computer uses a plurality of travel paths R1 candidates for the first pedestrian 101 toward the destination and a plurality of travel paths R2 when the second pedestrian 102 moves. The calculation unit 14 that calculates the cost related to the distance and the angle for each R1 candidate, the selection step that selects the travel path R1 candidate that minimizes the cost calculated by the calculation step, and the travel path R1 candidate selected by the selection step. Execute the output step to output.
As a result, the information processing method can reproduce the traveling path R1 when the first pedestrian 101 moves to the destination DP. In this case, the information processing method is based on the distance between the first pedestrian 101 and the second pedestrian 102 and the angle with respect to the traveling direction of the first pedestrian 101 among the candidates of the plurality of traveling paths R1. You can choose the one that minimizes the cost.

情報処理プログラムは、コンピュータに、第1の歩行者101が目的地へ向かう複数の進行経路R1候補と、第2の歩行者102が移動する際の移動経路R2とに基づいて、複数の進行経路R1の候補毎に距離及び角度に関するコストを算出する算出機能と、算出機能によって算出されたコストが最小になる進行経路R1の候補を選択する選択機能と、選択機能によって選択された進行経路R1の候補を出力する出力機能と、を実現させる。
これにより、情報処理プログラムは、第1の歩行者101が目的地DPへ移動する際の進行経路R1を再現することができる。この場合、情報処理プログラムは、複数の進行経路R1の候補のうち、第1の歩行者101と第2の歩行者102との距離、及び、第1の歩行者101の進行方向に関する角度に基づいたコストが最小になるものを選択することができる。
The information processing program tells the computer a plurality of travel paths R1 candidates for the first pedestrian 101 toward the destination and a plurality of travel paths R2 when the second pedestrian 102 moves. A calculation function that calculates the cost related to the distance and angle for each candidate of R1, a selection function that selects a candidate for the travel path R1 that minimizes the cost calculated by the calculation function, and a travel path R1 selected by the selection function. Realize an output function that outputs candidates.
As a result, the information processing program can reproduce the traveling path R1 when the first pedestrian 101 moves to the destination DP. In this case, the information processing program is based on the distance between the first pedestrian 101 and the second pedestrian 102 and the angle with respect to the traveling direction of the first pedestrian 101 among the candidates of the plurality of traveling paths R1. You can choose the one that minimizes the cost.

上述した情報処理装置1の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置1の生成部12、予測部13、算出部14、選択部15及び出力制御部16は、コンピュータの演算処理装置等による生成機能、予測機能、算出機能、選択機能及び出力制御機能としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置1の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置1の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置1の生成部12、予測部13、算出部14、選択部15及び出力制御部16は、コンピュータの演算処理装置等を構成する生成回路、予測回路、算出回路、選択回路及び出力制御回路として実現されてもよい。
また、情報処理装置1の出力部(例えば、表示部17、記憶部18及び通信部19等)は、例えば、演算処理装置等の機能を含む、出力機能(表示機能、記憶機能及び通信機能)として実現されもよい。また、情報処理装置1の出力部(例えば、表示部17、記憶部18及び通信部19等)は、例えば、集積回路等によって構成されることにより、出力回路(表示回路、記憶回路及び通信回路)として実現されてもよい。また、情報処理装置1の出力部(例えば、表示部17、記憶部18及び通信部19等)は、例えば、複数のデバイスによって構成されることにより、出力装置(表示装置、記憶装置及び通信装置)として構成されてもよい。
Each part of the information processing device 1 described above may be realized as a function of a computer arithmetic processing unit or the like. That is, the generation unit 12, the prediction unit 13, the calculation unit 14, the selection unit 15, and the output control unit 16 of the information processing device 1 have a generation function, a prediction function, a calculation function, a selection function, and an output control by a computer arithmetic processing unit or the like. Each may be realized as a function.
The information processing program can realize each of the above-mentioned functions in a computer. The information processing program may be recorded on a non-temporary recording medium that can be read by a computer, such as an external memory or an optical disk.
Further, as described above, each part of the information processing device 1 may be realized by a computer arithmetic processing unit or the like. The arithmetic processing unit and the like are configured by, for example, an integrated circuit and the like. Therefore, each part of the information processing device 1 may be realized as a circuit constituting an arithmetic processing unit or the like. That is, the generation unit 12, the prediction unit 13, the calculation unit 14, the selection unit 15, and the output control unit 16 of the information processing device 1 include the generation circuit, the prediction circuit, the calculation circuit, the selection circuit, and the output control unit 16 that constitute the arithmetic processing unit of the computer. It may be realized as an output control circuit.
Further, the output unit (for example, display unit 17, storage unit 18, communication unit 19, etc.) of the information processing device 1 has an output function (display function, storage function, communication function, etc.) including functions such as an arithmetic processing unit. It may be realized as. Further, the output unit (for example, display unit 17, storage unit 18, communication unit 19, etc.) of the information processing device 1 is composed of, for example, an integrated circuit or the like, so that the output circuit (display circuit, storage circuit, communication circuit, etc.) ) May be realized. Further, the output unit (for example, display unit 17, storage unit 18, communication unit 19, etc.) of the information processing device 1 is composed of, for example, a plurality of devices, so that the output device (display device, storage device, communication device, etc.) is configured. ) May be configured.

なお、上述した情報処理装置1は、歩行者の動きのシミュレーション結果を表示部17に表示するばかりでなく、仮想空間中において第1の歩行者101及び第2の歩行者102の動きをシミュレーション(第1の歩行者101及び第2の歩行者102の動き配置)してもよい。 The above-mentioned information processing device 1 not only displays the simulation result of the movement of the pedestrian on the display unit 17, but also simulates the movement of the first pedestrian 101 and the second pedestrian 102 in the virtual space ( The movement arrangement of the first pedestrian 101 and the second pedestrian 102) may be performed.

1 情報処理装置
12 生成部
13 予測部
14 算出部
15 選択部
16 出力制御部
17 表示部
18 記憶部
19 通信部
1 Information processing device 12 Generation unit 13 Prediction unit 14 Calculation unit 15 Selection unit 16 Output control unit 17 Display unit 18 Storage unit 19 Communication unit

Claims (9)

第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成部と、
第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測部と、
前記生成部によって生成される複数の進行経路候補と、前記予測部によって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出部と、
前記算出部によって算出されたコストが最小になる進行経路候補を選択する選択部と、
前記選択部によって選択された進行経路候補を出力する出力部と、
を備える情報処理装置。
A generator that generates multiple candidates for the route for the first pedestrian to go to the destination,
A prediction unit that predicts the movement route when a second pedestrian, which is different from the first pedestrian, moves,
A calculation unit that calculates the cost related to the distance and the angle for each of the plurality of travel route candidates based on the plurality of travel route candidates generated by the generation unit and the movement route predicted by the prediction unit.
A selection unit that selects a travel route candidate that minimizes the cost calculated by the calculation unit, and a selection unit.
An output unit that outputs a travel path candidate selected by the selection unit, and an output unit.
Information processing device equipped with.
前記生成部は、第1の歩行者が進行可能な角度範囲を所定角度ずつ区分し、前記所定角度ずつ区分された方向それぞれにおいて第1の歩行者の進行方向を直線的に定義することにより進行経路の候補を生成する
請求項1に記載の情報処理装置。
The generation unit advances by dividing the angle range in which the first pedestrian can travel by a predetermined angle and linearly defining the traveling direction of the first pedestrian in each of the directions divided by the predetermined angle. The information processing apparatus according to claim 1, wherein a route candidate is generated.
前記予測部は、第2の歩行者の現在の進行方向又は第2の歩行者の現在の身体の向きに対して直線的に動くと仮定することにより、移動経路を予測する
請求項1又は2に記載の情報処理装置。
Claim 1 or 2 that predicts the movement path by assuming that the prediction unit moves linearly with respect to the current direction of travel of the second pedestrian or the current direction of the body of the second pedestrian. The information processing device described in.
前記第2の歩行者が複数いる場合、前記予測部は、複数の第2の歩行者それぞれについて移動経路を予測する
請求項1〜3のいずれか1項に記載の情報処理装置。
The information processing device according to any one of claims 1 to 3, wherein when there are a plurality of the second pedestrians, the prediction unit predicts a movement route for each of the plurality of second pedestrians.
前記算出部は、第1の歩行者と第2の歩行者との間の平均距離に関する第1項、第1の歩行者と第2の歩行者との間の最小距離に関する第2項、前記生成部によって生成される進行経路の方向と第1の歩行者の現在の進行方向との角度の誤差に関する第3項、及び、第1の歩行者の進行経路の方向と目的地の方向との角度の誤差に関する第4項とに基づいて、距離及び角度に応じたコストを算出する
請求項1〜4のいずれか1項に記載の情報処理装置。
The calculation unit includes a first term regarding the average distance between the first pedestrian and the second pedestrian, and a second term regarding the minimum distance between the first pedestrian and the second pedestrian. The third term regarding the difference in angle between the direction of the traveling path generated by the generation unit and the current traveling direction of the first pedestrian, and the direction of the traveling path of the first pedestrian and the direction of the destination. The information processing apparatus according to any one of claims 1 to 4, wherein the cost according to the distance and the angle is calculated based on the fourth item regarding the angle error.
前記算出部は、第1項及び第2項については予め設定される第1の歩行者に関して許容される距離で正規化し、第3項及び第4項については予め設定される第1歩行者の進行方向成分及び目的地方向への成分が無くなる角度で正規化する
請求項5に記載の情報処理装置。
The calculation unit normalizes the first and second terms with the allowable distance for the preset first pedestrian, and the third and fourth terms are for the preset first pedestrian. The information processing apparatus according to claim 5, wherein the component in the traveling direction and the component in the direction of the destination are normalized at an angle at which the component disappears.
前記算出部は、第1項について平均距離に関する重み付けを、第2項について最小距離に関する重みを、第3項について角度の誤差に関する重みを、第4項について角度の誤差に関する重みをそれぞれ設定する
請求項5又は6に記載の情報処理装置。
The calculation unit sets a weight for the average distance for the first term, a weight for the minimum distance for the second term, a weight for the angle error for the third term, and a weight for the angle error for the fourth term. Item 5. The information processing apparatus according to item 5 or 6.
コンピュータが、
第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成ステップと、
第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測ステップと、
前記生成ステップによって生成される複数の進行経路候補と、前記予測ステップによって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出ステップと、
前記算出ステップによって算出されたコストが最小になる進行経路候補を選択する選択ステップと、
前記選択ステップによって選択された進行経路候補を出力する出力ステップと、
を実行する情報処理方法。
The computer
A generation step in which the first pedestrian generates multiple candidates for the route to the destination,
A prediction step that predicts the movement route when a second pedestrian, which is different from the first pedestrian, moves,
A calculation step of calculating the cost related to the distance and the angle for each of the plurality of travel path candidates based on the plurality of travel path candidates generated by the generation step and the movement path predicted by the prediction step.
A selection step for selecting a travel route candidate that minimizes the cost calculated by the calculation step, and a selection step.
An output step that outputs the travel path candidate selected by the selection step, and
Information processing method to execute.
コンピュータに、
第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成機能と、
第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測機能と、
前記生成機能によって生成される複数の進行経路候補と、前記予測機能によって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出機能と、
前記算出機能によって算出されたコストが最小になる進行経路候補を選択する選択機能と、
前記選択機能によって選択された進行経路候補を出力する出力機能と、
を実現させる情報処理プログラム。
On the computer
A generation function that generates multiple candidates for the route for the first pedestrian to go to the destination,
A prediction function that predicts the movement route when a second pedestrian, which is different from the first pedestrian, moves,
A calculation function for calculating the cost related to the distance and the angle for each of the plurality of travel route candidates based on the plurality of travel route candidates generated by the generation function and the movement route predicted by the prediction function.
A selection function that selects a travel route candidate that minimizes the cost calculated by the calculation function, and
An output function that outputs the travel route candidates selected by the selection function, and
Information processing program that realizes.
JP2020030886A 2020-02-26 2020-02-26 Information processing device, information processing method and information processing program Active JP7314080B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020030886A JP7314080B2 (en) 2020-02-26 2020-02-26 Information processing device, information processing method and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020030886A JP7314080B2 (en) 2020-02-26 2020-02-26 Information processing device, information processing method and information processing program

Publications (2)

Publication Number Publication Date
JP2021135705A true JP2021135705A (en) 2021-09-13
JP7314080B2 JP7314080B2 (en) 2023-07-25

Family

ID=77661257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020030886A Active JP7314080B2 (en) 2020-02-26 2020-02-26 Information processing device, information processing method and information processing program

Country Status (1)

Country Link
JP (1) JP7314080B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024105877A1 (en) * 2022-11-18 2024-05-23 株式会社日立製作所 Simulation device and simulation method
WO2024105878A1 (en) * 2022-11-18 2024-05-23 株式会社日立製作所 Simulation device and simulation method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070384A (en) * 2009-09-25 2011-04-07 Toyota Motor Corp Pedestrian movement estimation device and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011070384A (en) * 2009-09-25 2011-04-07 Toyota Motor Corp Pedestrian movement estimation device and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024105877A1 (en) * 2022-11-18 2024-05-23 株式会社日立製作所 Simulation device and simulation method
WO2024105878A1 (en) * 2022-11-18 2024-05-23 株式会社日立製作所 Simulation device and simulation method

Also Published As

Publication number Publication date
JP7314080B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
KR102296507B1 (en) Method for tracking object by using convolutional neural network including tracking network and computing device using the same
US9851211B2 (en) Information processing apparatus, computer-readable recording medium, and information processing system
JP2021135705A (en) Information processing device, information processing method and information processing program
JP4495703B2 (en) Operation control method, apparatus and program for underwater robot
JP2018534205A (en) Method for controlling vehicle motion and vehicle control system
EP3896655B1 (en) Augmented reality (ar) device and method of predicting pose therein
KR20180065498A (en) Method for deep learning and method for generating next prediction image using the same
CN108255170A (en) The method for dynamically adjusting the speed control rate of automatic driving vehicle
KR102241584B1 (en) Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
US20130173054A1 (en) Method of controlling balance of walking robot
JP6038423B1 (en) Accident probability calculation device, accident probability calculation method, and accident probability calculation program
JPWO2014142057A1 (en) Server apparatus, traffic jam sign information display system, traffic jam sign information distribution method, traffic jam sign information display method, and program
JP7345577B2 (en) Dynamic model evaluation package for autonomous vehicles
JP6571904B1 (en) In-vehicle device, information processing method, and information processing program
CN113033280A (en) System and method for trailer attitude estimation
JP2019114005A (en) Intersection inside travel track data generation device, intersection inside travel track data generation program and storage medium
WO2019054230A1 (en) Action plan generation when the own position is unknown
TWI550256B (en) Bim-based indoor navigation method, indoor navigation information generation method, computer readable recording medium, and indoor navigation apparatus
Yang et al. Who are my neighbors? a perception model for selecting neighbors of pedestrians in crowds
KR20180086951A (en) Region selection method and device for generating precise map
JP5686048B2 (en) Position / orientation output device, position / orientation output program, and position / orientation output method
JP7347644B2 (en) Object ranging device, method, and program
JP5396311B2 (en) Behavior prediction apparatus, method, and program
CN114347024A (en) Robot speed adjusting method and device, robot and storage medium
KR20180079880A (en) Apparatus and method for tracking object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230712

R150 Certificate of patent or registration of utility model

Ref document number: 7314080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150