JP2021135705A - Information processing device, information processing method and information processing program - Google Patents
Information processing device, information processing method and information processing program Download PDFInfo
- Publication number
- JP2021135705A JP2021135705A JP2020030886A JP2020030886A JP2021135705A JP 2021135705 A JP2021135705 A JP 2021135705A JP 2020030886 A JP2020030886 A JP 2020030886A JP 2020030886 A JP2020030886 A JP 2020030886A JP 2021135705 A JP2021135705 A JP 2021135705A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- unit
- information processing
- route
- travel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 78
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 74
- 230000006870 function Effects 0.000 description 31
- 238000004891 communication Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.
従来から、歩行者の動きを推定する技術が存在する。例えば、特許文献1に記載された技術は、カメラ部によって歩行者を撮像した画像データを生成し、その画像データに基づいて歩行者の現在位置及び速度ベクトルを求める。特許文献1に記載された技術は、現在位置及び速度ベクトルに基づいて、t秒後の歩行者の位置及び速度ベクトルを求める。さらに、特許文献1に記載された技術は、歩行者(特定歩行者)と周囲に存在する他の歩行者との距離、歩行速度及び目的地を関数のエネルギ項として、エネルギ関数を求める。特許文献1に記載され技術は、エネルギ関数に基づいて、特定歩行者の進路を予測する。 Conventionally, there is a technique for estimating the movement of a pedestrian. For example, the technique described in Patent Document 1 generates image data obtained by capturing an image of a pedestrian by a camera unit, and obtains a pedestrian's current position and speed vector based on the image data. The technique described in Patent Document 1 obtains the position and speed vector of a pedestrian after t seconds based on the current position and speed vector. Further, the technique described in Patent Document 1 obtains an energy function with the distance between a pedestrian (specific pedestrian) and other pedestrians existing in the vicinity, walking speed, and destination as the energy terms of the function. The technique described in Patent Document 1 predicts the course of a specific pedestrian based on an energy function.
特許文献1に記載された技術は、歩行者の進行方向については目的地のみを考慮しているため、特定歩行者が他の歩行者を回避する等の経路変化が考慮されていない。また、特許文献1に記載された技術は、表現できる歩行者の経路パターン(予測される進路のパターン)が少ない。
本発明は、歩行者の実際の動きを従来よりも再現できるようにした情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
Since the technique described in Patent Document 1 considers only the destination as the traveling direction of the pedestrian, the route change such as the specific pedestrian avoiding other pedestrians is not considered. Further, the technique described in Patent Document 1 has few pedestrian route patterns (predicted route patterns) that can be expressed.
An object of the present invention is to provide an information processing device, an information processing method, and an information processing program capable of reproducing an actual movement of a pedestrian more than before.
一態様の情報処理装置は、第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成部と、第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測部と、生成部によって生成される複数の進行経路候補と、予測部によって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出部と、算出部によって算出されたコストが最小になる進行経路候補を選択する選択部と、選択部によって選択された進行経路候補を出力する出力部と、を備える。 In one aspect of the information processing device, a generation unit that generates a plurality of candidates for a traveling route toward a destination by a first pedestrian and a moving route when a second pedestrian different from the first pedestrian moves. Calculation unit that calculates the cost related to the distance and angle for each of the plurality of travel route candidates based on the prediction unit that predicts, the plurality of travel route candidates generated by the generation unit, and the movement route predicted by the prediction unit. It also includes a selection unit that selects a travel route candidate that minimizes the cost calculated by the calculation unit, and an output unit that outputs the travel route candidate selected by the selection unit.
一態様の情報処理装置では、生成部は、第1の歩行者が進行可能な角度範囲を所定角度ずつ区分し、所定角度ずつ区分された方向それぞれにおいて第1の歩行者の進行方向を直線的に定義することにより進行経路の候補を生成することとしてもよい。 In one aspect of the information processing apparatus, the generation unit divides the angle range in which the first pedestrian can travel by a predetermined angle, and linearly divides the traveling direction of the first pedestrian in each of the directions divided by the predetermined angle. It may be possible to generate a candidate for a traveling route by defining in.
一態様の情報処理装置では、予測部は、第2の歩行者の現在の進行方向又は第2の歩行者の現在の身体の向きに対して直線的に動くと仮定することにより、移動経路を予測することとしてもよい。 In one aspect of the information processing apparatus, the predictor determines the movement path by assuming that it moves linearly with respect to the current direction of travel of the second pedestrian or the current direction of the body of the second pedestrian. It may be predicted.
一態様の情報処理装置では、第2の歩行者が複数いる場合、予測部は、複数の第2の歩行者それぞれについて移動経路を予測することとしてもよい。 In the information processing device of one aspect, when there are a plurality of second pedestrians, the prediction unit may predict the movement route for each of the plurality of second pedestrians.
一態様の情報処理装置では、算出部は、第1の歩行者と第2の歩行者との間の平均距離に関する第1項、第1の歩行者と第2の歩行者との間の最小距離に関する第2項、生成部によって生成される進行経路の方向と第1の歩行者の現在の進行方向との角度の誤差に関する第3項、及び、第1の歩行者の進行経路の方向と目的地の方向との角度の誤差に関する第4項とに基づいて、距離及び角度に応じたコストを算出することとしてもよい。 In one aspect of the information processing apparatus, the calculation unit is a first term regarding the average distance between the first pedestrian and the second pedestrian, and the minimum between the first pedestrian and the second pedestrian. The second term regarding the distance, the third term regarding the difference in angle between the direction of the traveling path generated by the generation unit and the current traveling direction of the first pedestrian, and the direction of the traveling path of the first pedestrian. The cost according to the distance and the angle may be calculated based on the fourth term regarding the error of the angle with the direction of the destination.
一態様の情報処理装置では、算出部は、第1項及び第2項については予め設定される第1の歩行者に関して許容される距離で正規化し、第3項及び第4項については予め設定される第1歩行者の進行方向成分及び目的地方向への成分が無くなる角度で正規化することとしてもよい。 In one aspect of the information processing apparatus, the calculation unit normalizes the first and second terms with a preset allowable distance for the first pedestrian, and presets the third and fourth terms. It may be normalized by an angle at which the traveling direction component and the destination direction component of the first pedestrian are eliminated.
一態様の情報処理装置では、算出部は、第1項について平均距離に関する重み付けを、第2項について最小距離に関する重みを、第3項について角度の誤差に関する重みを、第4項について角度の誤差に関する重みをそれぞれ設定することとしてもよい。 In one aspect of the information processing apparatus, the calculation unit performs a weighting on the average distance for the first term, a weight for the minimum distance for the second term, a weight for the angle error for the third term, and an angle error for the fourth term. The weights related to each may be set.
一態様の情報処理方法では、コンピュータが、第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成ステップと、第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測ステップと、生成ステップによって生成される複数の進行経路候補と、予測ステップによって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出ステップと、算出ステップによって算出されたコストが最小になる進行経路候補を選択する選択ステップと、選択ステップによって選択された進行経路候補を出力する出力ステップと、を実行する。 In one aspect of the information processing method, when the computer generates a plurality of candidates for a traveling route toward the destination by the first pedestrian, and when a second pedestrian different from the first pedestrian moves. The cost related to the distance and the angle is calculated for each of the plurality of travel route candidates based on the prediction step for predicting the travel route of the vehicle, the plurality of travel route candidates generated by the generation step, and the travel route predicted by the prediction step. A calculation step to be performed, a selection step for selecting a travel route candidate that minimizes the cost calculated by the calculation step, and an output step for outputting the travel route candidate selected by the selection step are executed.
一態様の情報処理プログラムは、コンピュータに、第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成機能と、第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測機能と、生成機能によって生成される複数の進行経路候補と、予測機能によって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出機能と、算出機能によって算出されたコストが最小になる進行経路候補を選択する選択機能と、選択機能によって選択された進行経路候補を出力する出力機能と、を実現させる。 One aspect of the information processing program has a generation function in which the first pedestrian generates a plurality of candidates for a traveling route toward the destination, and when a second pedestrian different from the first pedestrian moves. The cost related to the distance and the angle is calculated for each of the plurality of travel route candidates based on the prediction function for predicting the travel route of the vehicle, the plurality of travel route candidates generated by the generation function, and the travel route predicted by the prediction function. A calculation function for selecting a travel route candidate that minimizes the cost calculated by the calculation function, and an output function for outputting the travel route candidate selected by the selection function are realized.
一態様の情報処理装置は、第1の歩行者が目的地へ向かう複数の進行経路候補と、第2の歩行者が移動する際の移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出部と、算出部によって算出されたコストが最小になる進行経路候補を選択する選択部と、選択部によって選択された進行経路候補を出力する出力部と、を備えるので、歩行者の実際の動きを従来よりも適切に再現することができる。
一態様の情報処理方法及び情報処理プログラムは、一態様の情報処理装置と同様の効果を奏することができる。
The information processing device of one aspect is a distance for each of the plurality of travel route candidates based on a plurality of travel route candidates for the first pedestrian to the destination and a travel route when the second pedestrian moves. A calculation unit that calculates the cost related to the angle, a selection unit that selects the travel route candidate that minimizes the cost calculated by the calculation unit, and an output unit that outputs the travel route candidate selected by the selection unit. Therefore, the actual movement of the pedestrian can be reproduced more appropriately than before.
The information processing method and the information processing program of one aspect can exert the same effect as the information processing apparatus of one aspect.
以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
図1は、一実施形態に係る情報処理装置1について説明するためのブロック図である。
Hereinafter, an embodiment of the present invention will be described.
Although the wording of "information" is used in this specification, the wording of "information" can be paraphrased as "data", and the wording of "data" can be paraphrased as "information".
FIG. 1 is a block diagram for explaining the information processing device 1 according to the embodiment.
情報処理装置1は、歩行者の歩行経路を決定(選択)する装置である。後述するように情報処理装置1によって選択される歩行者の歩行経路は、自動運転車両の自動運転に関する機能評価シミュレーションに利用可能である。また、情報処理装置1は、上述した一例に限定されることはなく、例えば、都市開発等の歩行者のシミュレーション等にも利用可能である。
情報処理装置1は、歩行者の歩行経路を決定することとして、第1の歩行者101が目的地DP(図6,7参照)へ向かう歩行経路(進行経路R1(図2等参照))を選択する際に、第1の歩行者101とは異なる第2の歩行者102の移動経路R2を予測し、第1の歩行者101が第2の歩行者102を回避しながら目的地DPへ向かう最小のコストとなる歩行経路(進行経路R1)を選択する。コストは、例えば、第1の歩行者101の移動距離及び移動時間等の移動コストであってもよく、他のコストが加味されてもよい。
The information processing device 1 is a device that determines (selects) a walking route of a pedestrian. As will be described later, the walking route of the pedestrian selected by the information processing device 1 can be used for the function evaluation simulation related to the automatic driving of the autonomous driving vehicle. Further, the information processing device 1 is not limited to the above-mentioned example, and can be used, for example, for pedestrian simulation in urban development and the like.
The information processing device 1 determines the walking route of the pedestrian, and determines the walking route (travel route R1 (see FIG. 2 and the like)) in which the
次に、情報処理装置1について詳細に説明する。
情報処理装置1は、生成部12、予測部13、算出部14、選択部15、出力制御部16及び出力部を備える。生成部12、予測部13、算出部14、選択部15及び出力制御部16は、情報処理装置1の制御部11(例えば、演算処理装置)の一機能として実現されてもよい。出力部は、例えば、表示部17、記憶部18及び通信部19であってもよい。
Next, the information processing device 1 will be described in detail.
The information processing device 1 includes a
生成部12は、第1の歩行者101が目的地へ向かう進行経路R1の候補を複数生成する。すなわち、生成部12は、第1の歩行者101が目的地へ向かうモデル(進行経路モデル)を複数生成する。生成部12は、第1の歩行者101の進行経路を種々の方法により生成することができる。すなわち、生成部12は、例えば、一般的な経路決定方法を利用して、第1の歩行者101の進行経路R1を生成することとしてもよい。すなわち、生成部12は、上述した一般的な経路決定方法として、第1の歩行者101の過去の進行経路R1に基づいて、現在の位置から目的地へ向かう進行経路R1を推定して、進行経路R1の候補としてもよい。
The
図2は、第1の歩行者101の進行経路R1の候補について説明するための図である。
図2に示すように、生成部12は、第1の歩行者101が進行可能な角度範囲を所定角度ずつ区分し、所定角度ずつ区分された方向それぞれにおいて第1の歩行者101の進行方向を直線的に定義することにより進行経路R1の候補を生成することとしてもよい。すなわち、生成部12は、第1の歩行者101の現在位置NP1からの歩行可能範囲φ(所定の角度範囲)を設定し、その歩行可能範囲を一定の角度毎に分割した各方向を進行経路R1の候補としてもよい。この場合、生成部12は、各方向に目標の歩行速度で直進すると仮定した場合の進行経路R1を生成してもよい。なお、生成部12は、上述したように各方向の進行経路R1を直線として生成してもよく、直線とせずに(例えば、適宜屈曲させて)生成してもよい。
FIG. 2 is a diagram for explaining a candidate for the traveling path R1 of the
As shown in FIG. 2, the
図3は、第1の歩行者101の進行経路R1について説明するための図である。
生成部12は、例えば、第1の歩行者101が移動する際の所定時間間隔(予測ステップP)毎に一定時間後までの進行経路R1の候補を生成することとしてもよい。具体的には、図3に一例を示すように、生成部12は、第1の歩行者101が移動する際の0.5秒間隔(予測ステップP)毎に現在から2秒先までの進行経路R1の候補を生成することとしてもよい。なお、上記の数値はあくまで一例であり、生成部12は、上述した時間間隔及び一定時間の数値を適宜設定することが可能である。
FIG. 3 is a diagram for explaining the traveling path R1 of the
For example, the
生成部12は、進行経路R1の候補ID(Identification)1〜Nをn(Nは進行経路R1の候補数)、進行経路R1の軌跡のプロット数(予測ステップPの数)をIとすると、以下の式(1)により進行経路R1の候補Tnを表すことが可能である。
予測部13は、第1の歩行者101とは異なる第2の歩行者102が移動する際の移動経路R2を予測する。第2の歩行者102は、第1の歩行者101の周囲(例えば、第1の歩行者101から所定距離内)にいる歩行者であり、1人又は複数人であってもよい。第2の歩行者102が複数いる場合、予測部13は、複数の第2の歩行者102それぞれについて移動経路R2を予測することとしてもよい。予測部13は、第2の歩行者102が現在位置からどこに移動するのか予測する。その際、予測部13は、第2の歩行者102の移動の軌跡(移動経路R2)を予測する。予測部13は、例えば、一般的な経路決定方法を利用して、第2の歩行者102の過去の移動経路R2に基づいて、将来の移動経路R2を予測することとしてもよい。
The
図4は、第2の歩行者102の移動経路R2について説明するための図である。
図4に一例を示すように、予測部13は、第2の歩行者102の現在の進行方向(現在位置NP2までの進行方向)又は第2の歩行者102の現在(現在位置NP2)の身体の向きに対して直線的に動くと仮定することにより、移動経路R2を予測することとしてもよい。
FIG. 4 is a diagram for explaining the movement path R2 of the
As shown in FIG. 4, the
予測部13は、例えば、上述した生成部12と同様に、所定時間間隔(予測ステップP)毎に一定時間後までの第2の歩行者102の移動経路R2を予測してもよい。予測部13によって移動経路R2を予測する際の上述した時間間隔及び一定時間の数値は、生成部12によって進行経路R1の候補を生成する際の時間間隔及び一定時間の数値と同一(略同一)であってもよいし、異なっていてもよい。すなわち、具体的な一例として、生成部12によって第1の歩行者101が移動する際の0.5秒間隔(予測ステップP)毎に現在から2秒先までの進行経路R1の候補を生成する場合、予測部13は、1人又は複数人の第2の歩行者102が移動する際の0.5秒間隔(予測ステップP)毎に現在から2秒先までの移動経路R2をそれぞれ予測することとしてもよい。
また、異なる場合、例えば、移動経路R2との時間間隔は、進行経路R1の時間間隔の1/2倍であってもよく、2倍であってもよく、他の数値の差があってもよい。さらに、異なる場合、例えば、移動経路R2の一定時間は、進行経路R1の一定時間よりも長くてもよく、短くてもよい。
For example, the
If they are different, for example, the time interval with the moving path R2 may be 1/2 times or twice the time interval of the traveling path R1, even if there is a difference in other numerical values. good. Further, when different, for example, the fixed time of the moving path R2 may be longer or shorter than the fixed time of the traveling path R1.
予測部13は、第2の歩行者ID(1〜M)をm、第2の歩行者102の数をMとすると、式(2)により予測される移動経路Umを表すことができる。
算出部14は、生成部12によって生成される複数の進行経路R1の候補と、予測部13によって予測される移動経路R2とに基づいて、複数の進行経路R1の候補毎に距離及び角度に関するコストを算出する。例えば、算出部14は、生成部12によって生成される複数の進行経路R1の候補うちの1つを第1の歩行者101が進行した場合に、予測部13によって予測される第2の歩行者102との距離が相対的に短くならないようにすると共に、進行経路R1の候補のうちの1つを第1歩行者が進行した場合に、第1の歩行者101の進行方向が目的地DP(図6,7参照)から相対的に大きく外れる角度にならないようにするために、第1の歩行者101の進行経路R1のコストを算出する。
The
具体的には、算出部14は、第1の歩行者101の進行経路R1と、第2の歩行者102の移動経路R2との間の距離に関する計算する。この際、進行経路R1及び移動経路R2それぞれを所定時間間隔毎に求めているため、算出部14は、所定時間間隔毎に第1の歩行者101と1人又は複数人の第2の歩行者102それぞれとの距離に応じたコストを算出する。この際、一定時間の進行経路R1及び移動経路R2を求めているため、算出部14は、第2の歩行者102それぞれについて、一定時間における、第1の歩行者101と第2の歩行者102との平均距離に応じたコストを算出する。
Specifically, the
図5は、算出部14によって距離に関するコストを算出する際の第1の歩行者101及び第2の歩行者102について説明するための図である。
生成部12は、第1の歩行者101の進行経路R1の候補を予測ステップP(例えば、(xtn1,ytn1)、(xtn2,ytn2)、…(xtnI,ytnI))毎に求める。また、予測部13は、第2の歩行者102の移動経路R2を予測ステップP(例えば、(xum1,yum1)、(xum2,yum2)、…(xumI,yumI)毎に求める。算出部14は、対応する予測ステップP毎に第1の歩行者101(例えば、(xtn1,ytn1))と第2の歩行者102(例えば(xum1,yum1)との距離を求め、移動経路R2の予測ステップP全体の平均距離Dnを求める。また、算出部14は、対応する予測ステップP毎の第1の歩行者101と第2の歩行者102との間の距離を求め、最小の距離Dminnを求める。
FIG. 5 is a diagram for explaining the
The
ここで、算出部14は、第1の歩行者101の進行経路R1の候補と、第2の歩行者102の移動経路R2の予測結果との平均距離に関するコストを式(3)によって算出する。(第2の歩行者102の人数をM人)×(予測ステップ数l点)の平均をDnとすると、
また、算出部14は、距離に関するコストの最小値を式(4)によって算出する。(第2の歩行者102の人数をM人)×(予測ステップ数l点)の最小値をDminnとすると、
図6は、算出部14によって角度に関するコストを算出する際の第1の歩行者101について説明するための図である。
また、算出部14は、第1の歩行者101が進行する進行経路R1の候補の方向(現在位置NP1から次の予測ステップPの位置に進む方向)と、第1の歩行者101が現在の進行方向を維持する方向との変化量(誤差)(進行方向の変化量)dθnを算出する。また、算出部14は、第1の歩行者101が進行する進行経路R1の候補の方向(現在位置NP1から次の予測ステップPの位置に進む方向)と、第1の歩行者101の現在位置NP1から目的地DPへの方向との誤差θerrnを算出する。
FIG. 6 is a diagram for explaining the
Further, in the
ここで、算出部14は、目的地方向への角度をθtarget、進行経路R1の候補nの進行方向をθnとすると、進行経路R1の候補の進行方向と目的地方向との誤差θerrnは、式(5)により算出することができる。
また、算出部14は、第1の歩行者101の進行方向の変化量をdθn、第1の歩行者101の現在の進行方向をθnowとすると、式(6)により算出することができる。
算出部14は、第1の歩行者101と第2の歩行者102との間の平均距離Dnに関する第1項、第1の歩行者101と第2の歩行者102との間の最小距離Dminnに関する第2項、第1の歩行者101の現在の進行方向から次の予測ステップPへの進行方向への角度の変化量dθnに関する第3項、及び、第1の歩行者101の次の予測ステップPへの進行方向(進行経路R1の方向)と目的地DPへの方向との角度の誤差θerrnに関する第4項を関数として、距離及び角度に応じたコストを算出することとしてもよい。
The
算出部14は、第1項及び第2項については予め設定される第1の歩行者101に関して許容される距離で正規化することとしてもよい。算出部14は、第3項及び第4項については予め設定される第1歩行者の進行方向成分及び目的地方向への成分が無くなる角度で正規化することとしてもよい。
許容される距離は、いわゆるパーソナルスペースである。許容される距離の最小値は、一例として、人物の肩幅くらいの距離である。許容される距離の最大値は、一例として、約1〜2m程度である。許容される距離の最小値及び最大値は、上記の一例に限定されることはなく、適宜設定されてもよい。
第1歩行者の進行方向を維持する成分及び目的地方向へ向かう成分が無くなる角度は、例えば、π/2であってもよい。
The
The permissible distance is the so-called personal space. The minimum allowable distance is, for example, a distance about the shoulder width of a person. The maximum value of the allowable distance is, for example, about 1 to 2 m. The minimum and maximum values of the allowable distance are not limited to the above example, and may be set as appropriate.
The angle at which the component that maintains the traveling direction of the first pedestrian and the component that moves toward the destination disappears may be, for example, π / 2.
算出部14は、各項について重み付けを設定する。重み付けは、どの項を強調するかを示す値であってもよく、数値が大きいほど強調される。
The
すなわち、算出部14は、パーソナルスペースをPSとすると、以下の式(7)により第1の歩行者101の進行経路R1の候補TnのコストCnを算出することが可能である。
ここで、w1は、第1の歩行者101と第2の歩行者102との平均距離に関するコストの重みである。算出部14は、第1の歩行者101と第2の歩行者102との一時的なパーソナルスペースまでの接近を許容するような経路選択を行いたい場合に数値を大きく設定する。
w2は、第1の歩行者101と第2の歩行者102との最小距離に関する重みである。算出部14は、第1の歩行者101と第2の歩行者102との距離を取ることを優先したい場合に数値を大きく設定する。
w3は、第1の歩行者101の進行方向の変化量(角度の誤差)に関するコストの重みである。
算出部14は、第1の歩行者101の急な進行方向の変化を抑えたい場合に数値を大きく設定する。
w4は、第1の歩行者101の目的地方向への誤差(角度の誤差)に関する重みである。算出部14は、第1の歩行者101自らは第2の歩行者102に対する回避を行わないようにしたい場合(又は、第1の歩行者101の回避動作を最小限に抑えたい場合)に数値を大きく設定する。
Here, w1 is a weight of cost related to the average distance between the
w2 is a weight regarding the minimum distance between the
w3 is a cost weight related to the amount of change (angle error) in the traveling direction of the
The
w4 is a weight regarding an error (angle error) of the
算出部14は、第1の歩行者101が進行する傾向に合わせて重み(コスト重み)w1〜w4を設定することが可能である。例えば、算出部14は、第1の歩行者101と第2の歩行者102との距離に関する重みw1,w2に対して、第1の歩行者101の進行方向(角度)に関する重みw3,w4を大きくとることで、第1の歩行者101の第2の歩行者102に対する回避行動をあまり取らない歩行(進行経路R1)を再現することが可能である。一方、算出部14は、角度に関する重みw3,w4に対して距離に関する重みw1,w2を大きくとることで、第1の歩行者101が積極的に第2の歩行者102を回避する歩行(進行経路R1)を再現することが可能である。また、算出部14は、距離に関する重みw1,w2に加えて角度に関する重みw3も大きくすることで、緩やかな経路変化によって第2の歩行者102を回避する歩行(進行経路R1)を再現することが可能である。さらに、算出部14は、パーソナルスペースPSの値を変化させることで、第1の歩行者101が第2の歩行者102を回避する際の第1の歩行者101と第2の歩行者102との距離を調整することが可能である。
The
選択部15は、算出部14によって算出されたコストが最小になる進行経路R1の候補を選択する。選択部15は、コストが最小になる候補をTnextとすると、式(8)により算出が可能である。
図7は、選択部15によって進行経路R1の候補を選択する場合について説明するための図である。
選択部15は、第1の歩行者101と第2の歩行者102とがパーソナルスペース以内に近づくのを回避しつつ、第1の歩行者101が目的地DPへ向かう際の最小コストとなる進行経路R1aを選択する。
FIG. 7 is a diagram for explaining a case where a candidate for the traveling path R1 is selected by the
The
出力部は、選択部15によって選択された進行経路R1候補を出力する。出力部は、例えば、表示部17、記憶部18及び通信部19等であってもよい。出力部は、出力制御部16によって制御される。
表示部17は、文字及び画像等を表示する装置である。
記憶部18は、種々の情報及びプログラムを記憶する装置である。
通信部19は、通信ネットワークを介して外部の装置(外部装置(図示せず))との間で情報の送受信が可能である。
出力制御部16は、選択部15で選択された最小となるコストの進行経路R1を表示部17に表示することとしてもよい。出力制御部16は、選択部15で選択された最小となるコストの進行経路R1を記憶部18に記憶することとしてもよい。出力制御部16は、選択部15で選択された最小となるコストの進行経路R1を外部装置(図示せず)に送信するよう通信部19を制御してもよい。
The output unit outputs the travel path R1 candidate selected by the
The
The
The
The
次に、一実施形態に係る情報処理方法について説明する。
図8は、一実施形態に係る情報処理方法について説明するためのフローチャートである。
Next, the information processing method according to the embodiment will be described.
FIG. 8 is a flowchart for explaining the information processing method according to the embodiment.
ステップST101において、生成部12は、第1の歩行者101が目的地DPへ向かう進行経路R1の候補を複数生成する。この場合、生成部12は、種々の方法により進行経路R1の候補を生成することが可能である。一例として、図2に示すように、生成部12は、第1の歩行者101が進行可能な角度範囲φを所定角度ずつ区分し、所定角度ずつ区分された方向それぞれにおいて第1の歩行者101の進行方向を直線的に定義することにより進行経路R1の候補を生成することとしてもよい。生成部12は、進行経路R1の候補を生成する場合、所定時間間隔(予測ステップP)毎に一定時間後までの進行経路R1の候補を生成することとしてもよい。
In step ST101, the
ステップST102において、予測部13は、第1の歩行者101の周囲にいる第2の歩行者102(1人又は複数人)が移動する際の移動経路R2を予測する。一例として、予測部13は、第2の歩行者102の現在の進行方向又は第2の歩行者102の現在の身体の向きに対して直線的に動くと仮定することにより、移動経路R2を予測することとしてもよい。予測部13は、ステップST101と同様に、所定時間間隔(予測ステップP)毎に一定時間後までの第2の歩行者102の移動経路R2を予測してもよい。
In step ST102, the
ステップST103において、算出部14は、ステップST101で生成される複数の進行経路R1の候補と、ステップST102で予測される移動経路R2とに基づいて、複数の進行経路R1の候補毎に距離及び角度に関するコストを算出する。
算出部14は、対応する予測ステップP毎に第1の歩行者101と第2の歩行者102との距離を求め、移動経路R2の予測ステップP全体の平均距離Dnを求める。また、算出部14は、対応する予測ステップP毎の第1の歩行者101と第2の歩行者102との距離を求め、最小の距離Dminnを求める。
算出部14は、第1の歩行者101が進行する進行経路R1の候補の方向と、第1の歩行者101が現在の進行方向を維持する方向との変化量(進行方向の変化量)dθnを算出する。また、算出部14は、第1の歩行者101が進行する進行経路R1の候補の方向と、第1の歩行者101の現在位置NP1から目的地DPへの方向との誤差θerrnを算出する。
算出部14は、平均距離Dn、最小の距離Dminn、進行方向の変化量dθn及び誤差θerrnに基づいてコストを算出する
In step ST103, the
The
The
Calculating
ステップST104において、選択部15は、ステップST103で算出された第1の歩行者101の複数の進行経路R1候補のコストのうち、最小となるコストの進行経路R1を選択する。
In step ST104, the
ステップST105において、出力制御部16は、ステップST104で選択された進行経路R1を出力する。例えば、出力制御部16は、ステップST104で選択された最小となるコストの進行経路R1を表示部17(出力部)に表示することとしてもよい。例えば、出力制御部16は、ステップST104で選択された最小となるコストの進行経路R1を記憶部18(出力部)に記憶することとしてもよい。例えば、出力制御部16は、ステップST104で選択された最小となるコストの進行経路R1を外部装置(図示せず)に送信するよう通信部19(出力部)を制御してもよい。
In step ST105, the
次に、本実施形態の効果について説明する。
情報処理装置1は、第1の歩行者101が目的地DPへ向かう複数の進行経路R1の候補と、第2の歩行者102が移動する際の移動経路R2とに基づいて、複数の進行経路R1の候補毎に距離及び角度に関するコストを算出する算出部14と、算出部14によって算出されたコストが最小になる進行経路R1の候補を選択する選択部15と、選択部15によって選択された進行経路R1の候補を出力する出力部と、を備える。
これにより、情報処理装置1は、第1の歩行者101が目的地DPへ移動する際の進行経路R1を再現することができる。この場合、情報処理装置1は、複数の進行経路R1の候補のうち、第1の歩行者101と第2の歩行者102との距離、及び、第1の歩行者101の進行方向に関する角度に基づいたコストが最小になるものを選択することができる。
Next, the effect of this embodiment will be described.
The information processing device 1 has a plurality of traveling paths based on the candidates of the plurality of traveling paths R1 for the
As a result, the information processing device 1 can reproduce the traveling path R1 when the
情報処理装置1では、生成部12は、第1の歩行者101が進行可能な角度範囲φを所定角度ずつ区分し、所定角度ずつ区分された方向それぞれにおいて第1の歩行者101の進行方向を直線的に定義することにより進行経路R1の候補を生成することとしてもよい。
これにより、情報処理装置1は、第1の歩行者101の進行経路R1の候補を設定することができる。
In the information processing device 1, the
As a result, the information processing device 1 can set a candidate for the traveling path R1 of the
情報処理装置1では、予測部13は、第2の歩行者102の現在の進行方向又は第2の歩行者102の現在の身体の向きに対して直線的に動くと仮定することにより、移動経路R2を予測することとしてもよい。
これにより、情報処理装置1は、第2の歩行者102の進行方向を予測することができる。
In the information processing device 1, the
As a result, the information processing device 1 can predict the traveling direction of the
情報処理装置1では、第2の歩行者102が複数いる場合、予測部13は、複数の第2の歩行者102それぞれについて移動経路R2を予測することとしてもよい。
これにより、情報処理装置1は、第1の歩行者101と、複数の第2の歩行者102それぞれとの距離に関するコストを算出することができる。また、情報処理装置1は、複数の第2の歩行者102を考慮することにより、より実際的な第1の歩行者101の進行経路R1を選択することができる。
In the information processing device 1, when there are a plurality of
As a result, the information processing device 1 can calculate the cost related to the distance between the
情報処理装置1では、算出部14は、第1の歩行者101と第2の歩行者102との間の平均距離Dnに関する第1項、第1の歩行者101と第2の歩行者102との間の最小距離Dminnに関する第2項、生成部12によって生成される進行経路R1の方向と第1の歩行者101の現在の進行方向と角度の誤差dθnに関する第3項、及び、第1の歩行者101の進行経路R1の方向と目的地DPの方向との角度の誤差θerrnに関する第4項とに基づいて、距離及び角度に応じたコストを算出することとしてもよい。
In the information processing device 1, the
情報処理装置1では、算出部14は、第1項及び第2項については予め設定される第1の歩行者101に関して許容される距離で正規化し、第3項及び第4項については予め設定される第1歩行者の進行方向成分及び目的地方向への成分が無くなる角度で正規化することとしてもよい。
情報処理装置1は、複数の進行経路R1候補毎に距離及び角度に関するコストを算出するが、距離及び角度それぞれを正規化することにより各項を同一の次元で扱うことができ、進行経路R1の候補のうちコストが最小となるものを算出することができる。
In the information processing device 1, the
The information processing device 1 calculates the cost related to the distance and the angle for each of the plurality of travel path R1 candidates, but by normalizing each of the distance and the angle, each term can be handled in the same dimension, and the travel path R1 can be handled. Among the candidates, the one with the lowest cost can be calculated.
情報処理方法では、コンピュータが、第1の歩行者101が目的地へ向かう複数の進行経路R1候補と、第2の歩行者102が移動する際の移動経路R2とに基づいて、複数の進行経路R1候補毎に距離及び角度に関するコストを算出する算出部14と、算出ステップによって算出されたコストが最小になる進行経路R1候補を選択する選択ステップと、選択ステップによって選択された進行経路R1候補を出力する出力ステップと、を実行する。
これにより、情報処理方法は、第1の歩行者101が目的地DPへ移動する際の進行経路R1を再現することができる。この場合、情報処理方法は、複数の進行経路R1の候補のうち、第1の歩行者101と第2の歩行者102との距離、及び、第1の歩行者101の進行方向に関する角度に基づいたコストが最小になるものを選択することができる。
In the information processing method, the computer uses a plurality of travel paths R1 candidates for the
As a result, the information processing method can reproduce the traveling path R1 when the
情報処理プログラムは、コンピュータに、第1の歩行者101が目的地へ向かう複数の進行経路R1候補と、第2の歩行者102が移動する際の移動経路R2とに基づいて、複数の進行経路R1の候補毎に距離及び角度に関するコストを算出する算出機能と、算出機能によって算出されたコストが最小になる進行経路R1の候補を選択する選択機能と、選択機能によって選択された進行経路R1の候補を出力する出力機能と、を実現させる。
これにより、情報処理プログラムは、第1の歩行者101が目的地DPへ移動する際の進行経路R1を再現することができる。この場合、情報処理プログラムは、複数の進行経路R1の候補のうち、第1の歩行者101と第2の歩行者102との距離、及び、第1の歩行者101の進行方向に関する角度に基づいたコストが最小になるものを選択することができる。
The information processing program tells the computer a plurality of travel paths R1 candidates for the
As a result, the information processing program can reproduce the traveling path R1 when the
上述した情報処理装置1の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置1の生成部12、予測部13、算出部14、選択部15及び出力制御部16は、コンピュータの演算処理装置等による生成機能、予測機能、算出機能、選択機能及び出力制御機能としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置1の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置1の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置1の生成部12、予測部13、算出部14、選択部15及び出力制御部16は、コンピュータの演算処理装置等を構成する生成回路、予測回路、算出回路、選択回路及び出力制御回路として実現されてもよい。
また、情報処理装置1の出力部(例えば、表示部17、記憶部18及び通信部19等)は、例えば、演算処理装置等の機能を含む、出力機能(表示機能、記憶機能及び通信機能)として実現されもよい。また、情報処理装置1の出力部(例えば、表示部17、記憶部18及び通信部19等)は、例えば、集積回路等によって構成されることにより、出力回路(表示回路、記憶回路及び通信回路)として実現されてもよい。また、情報処理装置1の出力部(例えば、表示部17、記憶部18及び通信部19等)は、例えば、複数のデバイスによって構成されることにより、出力装置(表示装置、記憶装置及び通信装置)として構成されてもよい。
Each part of the information processing device 1 described above may be realized as a function of a computer arithmetic processing unit or the like. That is, the
The information processing program can realize each of the above-mentioned functions in a computer. The information processing program may be recorded on a non-temporary recording medium that can be read by a computer, such as an external memory or an optical disk.
Further, as described above, each part of the information processing device 1 may be realized by a computer arithmetic processing unit or the like. The arithmetic processing unit and the like are configured by, for example, an integrated circuit and the like. Therefore, each part of the information processing device 1 may be realized as a circuit constituting an arithmetic processing unit or the like. That is, the
Further, the output unit (for example,
なお、上述した情報処理装置1は、歩行者の動きのシミュレーション結果を表示部17に表示するばかりでなく、仮想空間中において第1の歩行者101及び第2の歩行者102の動きをシミュレーション(第1の歩行者101及び第2の歩行者102の動き配置)してもよい。
The above-mentioned information processing device 1 not only displays the simulation result of the movement of the pedestrian on the
1 情報処理装置
12 生成部
13 予測部
14 算出部
15 選択部
16 出力制御部
17 表示部
18 記憶部
19 通信部
1
Claims (9)
第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測部と、
前記生成部によって生成される複数の進行経路候補と、前記予測部によって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出部と、
前記算出部によって算出されたコストが最小になる進行経路候補を選択する選択部と、
前記選択部によって選択された進行経路候補を出力する出力部と、
を備える情報処理装置。 A generator that generates multiple candidates for the route for the first pedestrian to go to the destination,
A prediction unit that predicts the movement route when a second pedestrian, which is different from the first pedestrian, moves,
A calculation unit that calculates the cost related to the distance and the angle for each of the plurality of travel route candidates based on the plurality of travel route candidates generated by the generation unit and the movement route predicted by the prediction unit.
A selection unit that selects a travel route candidate that minimizes the cost calculated by the calculation unit, and a selection unit.
An output unit that outputs a travel path candidate selected by the selection unit, and an output unit.
Information processing device equipped with.
請求項1に記載の情報処理装置。 The generation unit advances by dividing the angle range in which the first pedestrian can travel by a predetermined angle and linearly defining the traveling direction of the first pedestrian in each of the directions divided by the predetermined angle. The information processing apparatus according to claim 1, wherein a route candidate is generated.
請求項1又は2に記載の情報処理装置。 Claim 1 or 2 that predicts the movement path by assuming that the prediction unit moves linearly with respect to the current direction of travel of the second pedestrian or the current direction of the body of the second pedestrian. The information processing device described in.
請求項1〜3のいずれか1項に記載の情報処理装置。 The information processing device according to any one of claims 1 to 3, wherein when there are a plurality of the second pedestrians, the prediction unit predicts a movement route for each of the plurality of second pedestrians.
請求項1〜4のいずれか1項に記載の情報処理装置。 The calculation unit includes a first term regarding the average distance between the first pedestrian and the second pedestrian, and a second term regarding the minimum distance between the first pedestrian and the second pedestrian. The third term regarding the difference in angle between the direction of the traveling path generated by the generation unit and the current traveling direction of the first pedestrian, and the direction of the traveling path of the first pedestrian and the direction of the destination. The information processing apparatus according to any one of claims 1 to 4, wherein the cost according to the distance and the angle is calculated based on the fourth item regarding the angle error.
請求項5に記載の情報処理装置。 The calculation unit normalizes the first and second terms with the allowable distance for the preset first pedestrian, and the third and fourth terms are for the preset first pedestrian. The information processing apparatus according to claim 5, wherein the component in the traveling direction and the component in the direction of the destination are normalized at an angle at which the component disappears.
請求項5又は6に記載の情報処理装置。 The calculation unit sets a weight for the average distance for the first term, a weight for the minimum distance for the second term, a weight for the angle error for the third term, and a weight for the angle error for the fourth term. Item 5. The information processing apparatus according to item 5 or 6.
第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成ステップと、
第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測ステップと、
前記生成ステップによって生成される複数の進行経路候補と、前記予測ステップによって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出ステップと、
前記算出ステップによって算出されたコストが最小になる進行経路候補を選択する選択ステップと、
前記選択ステップによって選択された進行経路候補を出力する出力ステップと、
を実行する情報処理方法。 The computer
A generation step in which the first pedestrian generates multiple candidates for the route to the destination,
A prediction step that predicts the movement route when a second pedestrian, which is different from the first pedestrian, moves,
A calculation step of calculating the cost related to the distance and the angle for each of the plurality of travel path candidates based on the plurality of travel path candidates generated by the generation step and the movement path predicted by the prediction step.
A selection step for selecting a travel route candidate that minimizes the cost calculated by the calculation step, and a selection step.
An output step that outputs the travel path candidate selected by the selection step, and
Information processing method to execute.
第1の歩行者が目的地へ向かう進行経路の候補を複数生成する生成機能と、
第1の歩行者とは異なる第2の歩行者が移動する際の移動経路を予測する予測機能と、
前記生成機能によって生成される複数の進行経路候補と、前記予測機能によって予測される移動経路とに基づいて、複数の進行経路候補毎に距離及び角度に関するコストを算出する算出機能と、
前記算出機能によって算出されたコストが最小になる進行経路候補を選択する選択機能と、
前記選択機能によって選択された進行経路候補を出力する出力機能と、
を実現させる情報処理プログラム。 On the computer
A generation function that generates multiple candidates for the route for the first pedestrian to go to the destination,
A prediction function that predicts the movement route when a second pedestrian, which is different from the first pedestrian, moves,
A calculation function for calculating the cost related to the distance and the angle for each of the plurality of travel route candidates based on the plurality of travel route candidates generated by the generation function and the movement route predicted by the prediction function.
A selection function that selects a travel route candidate that minimizes the cost calculated by the calculation function, and
An output function that outputs the travel route candidates selected by the selection function, and
Information processing program that realizes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020030886A JP7314080B2 (en) | 2020-02-26 | 2020-02-26 | Information processing device, information processing method and information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020030886A JP7314080B2 (en) | 2020-02-26 | 2020-02-26 | Information processing device, information processing method and information processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021135705A true JP2021135705A (en) | 2021-09-13 |
JP7314080B2 JP7314080B2 (en) | 2023-07-25 |
Family
ID=77661257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020030886A Active JP7314080B2 (en) | 2020-02-26 | 2020-02-26 | Information processing device, information processing method and information processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7314080B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024105877A1 (en) * | 2022-11-18 | 2024-05-23 | 株式会社日立製作所 | Simulation device and simulation method |
WO2024105878A1 (en) * | 2022-11-18 | 2024-05-23 | 株式会社日立製作所 | Simulation device and simulation method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011070384A (en) * | 2009-09-25 | 2011-04-07 | Toyota Motor Corp | Pedestrian movement estimation device and method |
-
2020
- 2020-02-26 JP JP2020030886A patent/JP7314080B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011070384A (en) * | 2009-09-25 | 2011-04-07 | Toyota Motor Corp | Pedestrian movement estimation device and method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024105877A1 (en) * | 2022-11-18 | 2024-05-23 | 株式会社日立製作所 | Simulation device and simulation method |
WO2024105878A1 (en) * | 2022-11-18 | 2024-05-23 | 株式会社日立製作所 | Simulation device and simulation method |
Also Published As
Publication number | Publication date |
---|---|
JP7314080B2 (en) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102296507B1 (en) | Method for tracking object by using convolutional neural network including tracking network and computing device using the same | |
US9851211B2 (en) | Information processing apparatus, computer-readable recording medium, and information processing system | |
JP2021135705A (en) | Information processing device, information processing method and information processing program | |
JP4495703B2 (en) | Operation control method, apparatus and program for underwater robot | |
JP2018534205A (en) | Method for controlling vehicle motion and vehicle control system | |
EP3896655B1 (en) | Augmented reality (ar) device and method of predicting pose therein | |
KR20180065498A (en) | Method for deep learning and method for generating next prediction image using the same | |
CN108255170A (en) | The method for dynamically adjusting the speed control rate of automatic driving vehicle | |
KR102241584B1 (en) | Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles | |
US20130173054A1 (en) | Method of controlling balance of walking robot | |
JP6038423B1 (en) | Accident probability calculation device, accident probability calculation method, and accident probability calculation program | |
JPWO2014142057A1 (en) | Server apparatus, traffic jam sign information display system, traffic jam sign information distribution method, traffic jam sign information display method, and program | |
JP7345577B2 (en) | Dynamic model evaluation package for autonomous vehicles | |
JP6571904B1 (en) | In-vehicle device, information processing method, and information processing program | |
CN113033280A (en) | System and method for trailer attitude estimation | |
JP2019114005A (en) | Intersection inside travel track data generation device, intersection inside travel track data generation program and storage medium | |
WO2019054230A1 (en) | Action plan generation when the own position is unknown | |
TWI550256B (en) | Bim-based indoor navigation method, indoor navigation information generation method, computer readable recording medium, and indoor navigation apparatus | |
Yang et al. | Who are my neighbors? a perception model for selecting neighbors of pedestrians in crowds | |
KR20180086951A (en) | Region selection method and device for generating precise map | |
JP5686048B2 (en) | Position / orientation output device, position / orientation output program, and position / orientation output method | |
JP7347644B2 (en) | Object ranging device, method, and program | |
JP5396311B2 (en) | Behavior prediction apparatus, method, and program | |
CN114347024A (en) | Robot speed adjusting method and device, robot and storage medium | |
KR20180079880A (en) | Apparatus and method for tracking object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7314080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |