JP2021070404A - Information processing system, on-vehicle information processor, external information processor and information processing method - Google Patents
Information processing system, on-vehicle information processor, external information processor and information processing method Download PDFInfo
- Publication number
- JP2021070404A JP2021070404A JP2019198300A JP2019198300A JP2021070404A JP 2021070404 A JP2021070404 A JP 2021070404A JP 2019198300 A JP2019198300 A JP 2019198300A JP 2019198300 A JP2019198300 A JP 2019198300A JP 2021070404 A JP2021070404 A JP 2021070404A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- information processing
- processing device
- end portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 149
- 238000003672 processing method Methods 0.000 title claims description 3
- 230000002093 peripheral effect Effects 0.000 claims abstract description 97
- 238000003384 imaging method Methods 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 37
- 238000005259 measurement Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006266 hibernation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Train Traffic Observation, Control, And Security (AREA)
Abstract
Description
本発明の実施形態は、情報処理システム、車載情報処理装置、外部情報処理装置、および情報処理方法に関する。 Embodiments of the present invention relate to an information processing system, an in-vehicle information processing device, an external information processing device, and an information processing method.
従来、トラム等の車両(以下、車両という)に設けられた撮像部が撮像した周囲状況を示す撮像画像から、道路の混雑状況や障害物等の存在確認等行い車両の運行に反映させる技術が知られている。トラム等の車両は、車両前後に運転席があり、Uターン等を行うことなく前進方向を変えることができる。そのため、車両前後の運転席等には、それぞれ、撮像部が設けられ、いずれの方向に前進する場合でも撮像画像が取得できるように構成されている場合がある。そして、車両の前後に撮像部を備える場合、車両の進行方向に応じて前後の撮像部の動作を切り替える技術が種々提案されている。 Conventionally, there is a technology that confirms the congestion status of roads and the existence of obstacles, etc. from the captured image showing the surrounding conditions captured by the imaging unit provided in a vehicle such as a tram (hereinafter referred to as a vehicle) and reflects it in the operation of the vehicle. Are known. Vehicles such as trams have driver's seats in front of and behind the vehicle, and can change the forward direction without making a U-turn or the like. Therefore, the driver's seats and the like in the front and rear of the vehicle may each be provided with an image pickup unit so that the captured image can be acquired regardless of the direction in which the vehicle moves forward. When the image pickup units are provided in the front and rear of the vehicle, various techniques for switching the operation of the front and rear image pickup units according to the traveling direction of the vehicle have been proposed.
しかしながら、上述の従来技術は、車両の設計段階から切替システムが組み込まれた構成であり、システムの煩雑化やコストアップの原因となる場合があった。また、車両の対応年数は数十年にも及ぶ場合があるが、この場合、既存の車両に容易に切替システムを適用することができないという問題もある。また、撮像部の切り替えを手動で行うことができるものもあるが、切り替え忘れ等の人為的ミスを招き易く、対策が必要であった。 However, the above-mentioned conventional technology has a configuration in which a switching system is incorporated from the vehicle design stage, which may cause the system to become complicated and costly to increase. In addition, the vehicle may last for several decades, but in this case, there is a problem that the switching system cannot be easily applied to the existing vehicle. In addition, although there are some that can manually switch the imaging unit, human error such as forgetting to switch is likely to occur, and countermeasures are required.
そこで、本発明が解決しようとする課題は、車両の前後に撮像部を備える場合に、既存の構成を用いて車両の進行方向を判定可能とし、撮像した撮像画像のいずれが前進時の撮像画像であるかを認識させやすくすることができる技術を提供することである。 Therefore, the problem to be solved by the present invention is that when the image pickup units are provided in front of and behind the vehicle, the traveling direction of the vehicle can be determined by using the existing configuration, and which of the captured images is captured when moving forward. It is to provide a technology that can make it easier to recognize whether or not it is.
実施形態にかかる情報処理システムは、例えば、車載情報処理装置と、外部情報処理装置と、を含む。車載情報処理装置は、車両前後方向の一方を第1方向として前進走行可能であるとともに、他方を第2方向として前進走行可能な車両に搭載されている。また、車載情報処理装置は、画像情報取得部と、位置情報取得部と、車載情報制御部と、を備える。画像情報取得部は、車両が第1方向に前進走行する場合の端部である第1端部に設けられた第1撮像部が撮像する第1方向を含む第1の周辺画像情報と、第2方向に前進走行する場合の端部である第2端部に設けられた第2撮像部が撮像する第2方向を含む第2の周辺画像情報とを取得可能である。位置情報取得部は、第1端部の位置を示す第1の位置情報と、第2端部の位置を示す第2の位置情報とを取得可能である。車載情報制御部は、周辺画像情報と位置情報とを車両取得情報として、外部情報処理装置に送信する。外部情報処理装置は、車載情報処理装置との間で情報の送受を行い情報の処理を行う。また、外部情報処理装置は、外部情報制御部と、記憶処理部と、を備える。外部情報制御部は、車載情報処理装置から送信される車両取得情報を受信し、当該車両取得情報に所定処理を実行する。記憶処理部は、所定処理の実行後の車両取得情報を記憶装置に記憶させる。そして、車載情報制御部と外部情報制御部との少なくとも一方は、周辺画像情報と位置情報の少なくとも一方に基づいて、車両の進行方向を判定する。 The information processing system according to the embodiment includes, for example, an in-vehicle information processing device and an external information processing device. The in-vehicle information processing device is mounted on a vehicle capable of traveling forward with one of the front-rear directions of the vehicle as the first direction and traveling forward with the other as the second direction. Further, the in-vehicle information processing device includes an image information acquisition unit, a position information acquisition unit, and an in-vehicle information control unit. The image information acquisition unit includes first peripheral image information including a first direction imaged by a first image pickup unit provided at the first end portion, which is an end portion when the vehicle travels forward in the first direction, and a first peripheral image information. It is possible to acquire the second peripheral image information including the second direction imaged by the second imaging unit provided at the second end portion, which is the end portion when traveling forward in two directions. The position information acquisition unit can acquire the first position information indicating the position of the first end portion and the second position information indicating the position of the second end portion. The in-vehicle information control unit transmits peripheral image information and position information as vehicle acquisition information to an external information processing device. The external information processing device sends and receives information to and from the in-vehicle information processing device and processes the information. Further, the external information processing device includes an external information control unit and a storage processing unit. The external information control unit receives the vehicle acquisition information transmitted from the in-vehicle information processing device, and executes a predetermined process on the vehicle acquisition information. The storage processing unit stores the vehicle acquisition information after the execution of the predetermined processing in the storage device. Then, at least one of the in-vehicle information control unit and the external information control unit determines the traveling direction of the vehicle based on at least one of the peripheral image information and the position information.
以下、本発明の実施形態について、図面を参照して説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果(効果)は、あくまで一例であって、以下の記載内容に限られるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The configurations of the embodiments described below, and the actions and results (effects) brought about by the configurations are merely examples, and are not limited to the contents described below.
図1は、本実施形態にかかる情報処理システム100の全体構成を示す例示的かつ模式的な図である。図1に示すように、本実施形態にかかる情報処理システム100は、一例として専用レーン(不図示)を走行する車両、例えば、トラム10に搭載された車載情報処理装置12と、トラム10の運行を管理する運行管理センター等に設置された外部情報処理装置14と、で構成される。トラム10に搭載された車載情報処理装置12と外部情報処理装置14とは、無線基地局16を介して、無線通信可能である。外部情報処理装置14は、例えば、車載情報処理装置12が取得した各種情報を処理、管理するサーバであってもよい。
FIG. 1 is an exemplary and schematic diagram showing the overall configuration of the
外部情報処理装置14は、車載情報処理装置12で取得された情報に対して画像解析や演算を実行することで、トラム10や当該トラム10の軌道の周囲状況(周囲の自動車や自転車等による渋滞や歩行者等に混雑)を示す状況データ、天候や時間帯による遅延データ、障害物の存在データ、周辺監視データ等を取得して、トラム10の運行に反映させることができる。この場合、取得された周辺画像情報が、トラム10の端部車両Aと端部車両Bのいずれを先頭として走行したときに撮像されたか不明な場合、正しい解析、判定ができない場合がある。そこで、本実施形態の場合、車載情報処理装置12側(後述する車載情報制御部26)または外部情報処理装置14側(後述する外部情報制御部28)の少なくともいずれか一方で、トラム10の進行方向を判定する処理を実行する。そして、取得した周辺画像情報が、トラム10の端部車両Aと端部車両Bのいずれを先頭として走行したときに撮像されたかを特定することで、取得した周辺画像情報の精度及び周辺画像情報に基づく情報の精度を向上するようにしている。
The external
トラム10は、車両前後に運転席があり、Uターン等を行うことなく前進方向を変えることができる。図1の場合、トラム10は、中間車両Cを挟み、前後に端部車両A,Bが配置されて構成される3両編成の車両である。別の実施形態では、端部車両A,Bのみの2両編成としてもよいし、中間車両Cを増やして4両以上の編成としてもよい。
The
端部車両A,Bには、走行中にトラム10の進行方向の周辺状況や障害物の検出等を実行するために利用する周辺画像を撮像するための撮像部18が配置されている。すなわち、図1に示すように、端部車両Aには、撮像部18a(第1撮像部)が配置されている。そして、端部車両Aを先頭車両として、トラム10の前後方向の一方である第1方向AFに走行させる場合には、第1方向AFの周辺画像(第1の周辺画像情報)が撮像可能となっている。同様に、端部車両Bには、撮像部18b(第2撮像部)が配置されている。そして、端部車両Bを先頭車両として、トラム10の前後方向の他方、すなわち第1方向AFの逆方向である第2方向BFに走行させる場合には、第2方向BFの周辺画像(第2の周辺画像情報)が撮像可能となっている。撮像部18は、例えば、CCD(Charge Coupled Device)やCIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタルカメラとすることができる。撮像部18は、所定のフレームレートで動画データを出力することができる。撮像部18は、それぞれ、広角レンズまたは魚眼レンズを有し、トラム10の進行方向について、広範囲の画像情報を逐次撮像することができる。撮像部18で撮像された撮像画像データは、周辺画像情報として、逐次、車載情報処理装置12に提供される。なお,本実施形態の場合、車載情報処理装置12は、主として進行方向(前方)の周辺画像情報が取得できればよいが、進行方向とは逆方向(後方)の周辺画像情報も同時に取得してもよい。したがって、外部情報処理装置14においては、進行方向(前方)の周辺画像情報と、進行方向とは逆方向(後方)の周辺画像情報とを保存することができる。
The end vehicles A and B are provided with an
図2には、トラム10の端部車両Aの運転席10aにおける構成が例示的かつ模式的に示されている。なお、トラム10の端部車両Bの運転席の構成は、端部車両Aの運転席10aは実質的に同じであるため、端部車両Aの運転席10aの説明を行い、端部車両Bの運転席の説明は省略する。本実施形態の情報処理システム100では、後述するが、撮像部18で撮像した撮像データに基づき、距離測定(測距)を行うため、撮像部18aは、例えば、運転席10aのフロントウインドウ10bにおいて、車幅方向に離間して配置された2つの撮像部18a1、撮像部18a2でステレオ視が可能なステレオカメラを構成している。端部車両Bの運転席における位置情報受信部20bも同様にステレオカメラで構成されている。なお、撮像部18とは別に、レーザー計測装置やミリ波レーダー装置等のように比較的長距離の測距が可能な測距センサを備えてもよい。この場合、撮像部18は、周囲状況の確認が可能な単眼カメラで構成することができる。また、単眼カメラで撮像した周辺画像情報に基づいて、対象物までの距離を策定するようにしてもよい。
FIG. 2 schematically and schematically shows the configuration of the end vehicle A of the
また、端部車両A,Bには、端部車両Aの位置及び端部車両Bの位置を示す位置情報を取得する位置情報受信部20として、位置情報受信部20a及び位置情報受信部20bが配置されている。位置情報受信部20は、例えば、GPS(Global Positioning System)衛星からのGPS信号を受信可能なGPSアンテナであり、位置や、その位置を通過した通過時刻等の情報を取得可能である。本実施形態の場合、位置情報受信部20aは、端部車両Aの先端部の位置を検出できるように、図2に示されるように、運転席10aの撮像部18の近傍に配置されている。位置情報受信部20bも同様であり、端部車両Bの先端部の位置を検出できるように、端部車両Bの運転席に配置される撮像部18bの近傍に配置される。したがって、車載情報処理装置12においては、端部車両Aの端部位置と、当該端部位置から数m〜十数m離間した位置の端部車両Bの端部位置と、を個別の位置情報として認識することができる。位置情報受信部20で取得された位置情報は、逐次、車載情報処理装置12に提供される。
Further, in the end vehicles A and B, the position
上述したように、撮像部18で撮像された周辺画像情報や位置情報受信部20が取得した位置情報は、車載情報処理装置12に提供されて処理される。なお、図1、図2に示される例の場合、車載情報処理装置12が端部車両Aに配置され、端部車両B側の撮像部18bが撮像した周辺画像情報や位置情報受信部20bが取得した位置情報等は、車載情報処理装置12に提供される例が示されている。別の実施形態では、車載情報処理装置12が端部車両B側に配置されてもよいし、中間車両Cに配置されてもよい。
As described above, the peripheral image information captured by the
図3は、情報処理システム100を構成する車載情報処理装置12と外部情報処理装置14の構成を示す例示的かつ模式的なブロック図である。
FIG. 3 is an exemplary and schematic block diagram showing the configurations of the in-vehicle
車載情報処理装置12は、PC(Personal Computer)などといった一般的な情報処理装置と同様のコンピュータ資源を有している。車載情報処理装置12は、CPU(Central Processing Unit)と、ROM(Read Only Memory)と、RAM(Random Access Memory)と、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶部と、時計機能、通信インターフェースと、入出力インターフェース等で構成されている。CPUは、車載情報処理装置12の動作を統括的に制御する。ROMは、各種プログラムやデータを記憶する記憶媒体である。RAMは、各種プログラムを一時的に記憶したり、各種データを書き換えたりするための記憶媒体である。CPUは、RAMをワークエリア(作業領域)としてROM、記憶部等に格納されたプログラムを実行することで、画像情報取得部22、位置情報取得部24、車載情報制御部26等のモジュールを含む車載情報処理装置12を実現する。なお、別の実施形態では、画像情報取得部22、位置情報取得部24、車載情報制御部26の全て、または一部を専用のハードウエアで構成してもよい。
The in-vehicle
画像情報取得部22は、撮像部18が撮像した撮像画像データを逐次取得する。すなわち、トラム10の端部車両Aが第1方向AFに前進走行する場合の端部である第1端部に設けられた撮像部18a(第1撮像部)が撮像する第1方向AFを含む第1の周辺画像情報Aを逐次取得する。また、画像情報取得部22は、トラム10端部車両Bが第2方向BFに前進走行する場合の端部である第2端部に設けられた撮像部18b(第2撮像部)が撮像する第2方向BFを含む第2の周辺画像情報Bを逐次取得する。なお、前述したように、本実施形態においては、トラム10の進行方向に拘わらず、画像情報取得部22は、撮像部18a及び撮像部18bで撮像した撮像画像データを、逐次取得し、周辺状況の確認や障害物の検出等に利用することができる。また、別の実施形態では、画像情報取得部22は、トラム10の進行方向のみの撮像画像データを取得するようにしてもよい。
The image
位置情報取得部24は、トラム10の端部車両Aが第1方向AFに前進走行する場合の端部である第1端部の位置を示す第1の位置情報Aを位置情報受信部20aから逐次取得する。また、トラム10端部車両Bが第2方向BFに前進走行する場合の端部である第2端部の位置を示す第2の位置情報Bを位置情報受信部20bから逐次取得する。なお、トラム10の長さ(第1端部から第2端部までの長さ)は、既知なので、位置情報受信部20aと位置情報受信部20bのいずれか一方の位置情報で他方の端部位置を算出してもよい。つまり、位置情報受信部20aと位置情報受信部20bのいずれか一方を省略してもよい。
The position information acquisition unit 24 receives the first position information A indicating the position of the first end portion, which is the end portion when the end vehicle A of the
車載情報制御部26は、周辺画像情報(第1の周辺画像情報Aと第2の周辺画像情報B)と、位置情報(第1の位置情報Aと第2の位置情報B)と、を車両取得情報として、外部情報処理装置14に送信する。外部情報処理装置14では、画像情報取得部22が取得した周辺画像情報及び位置情報取得部24が取得した位置情報を、周辺状況の確認や障害物の存在有無の確認を行うために、各種の画像処理や演算が実行される。また、後述するが、車載情報処理装置12側でトラム10の進行方向の判定を行う場合、車載情報制御部26において周辺画像情報や位置情報を用いて、進行方向の判定処理が実行され、その判定結果が車両取得情報として外部情報処理装置14に送信される。車載情報制御部26におけるトラム10の進行方向の判定の詳細は後述する。逆に、車載情報処理装置12側でトラム10の進行方向の判定を行わない場合、または、判定ができなかった場合、車載情報制御部26は、周辺画像情報および位置情報を外部情報処理装置14側に提供する情報提供制御部として動作することになる。
The vehicle-mounted information control unit 26 provides vehicle peripheral image information (first peripheral image information A and second peripheral image information B) and position information (first position information A and second position information B). The acquired information is transmitted to the external
外部情報処理装置14もまた、PC(Personal Computer)などといった一般的な情報処理装置と同様のコンピュータ資源を有している。外部情報処理装置14は、CPUと、ROMと、RAMと、HDDやSSD等の記憶部と、時計機能、通信インターフェースと、入出力インターフェース等で構成されている。CPUは、外部情報処理装置14の動作を統括的に制御する。ROMは、各種プログラムやデータを記憶する記憶媒体である。RAMは、各種プログラムを一時的に記憶したり、各種データを書き換えたりするための記憶媒体である。CPUは、RAMをワークエリア(作業領域)としてROM、記憶部等に格納されたプログラムを実行することで、外部情報制御部28、記憶処理部30等のモジュールを含む外部情報処理装置14を実現する。なお、別の実施形態では、外部情報制御部28、記憶処理部30の両方、または一方を専用のハードウエアで構成してもよい。
The external
外部情報制御部28は、車載情報処理装置12から送信される車両取得情報(周辺画像情報や位置情報等)を受信し、当該車両取得情報に所定処理を実行する。例えば、周辺画像情報に画像解析や演算を施すことにより、トラム10の周辺状況、例えば、軌道上や交差点、停車場等における安全確認処理や障害物等の存在確認処理、走行地区の監視処理等を実行する。また、車載情報処理装置12側でトラム10の進行方向の判定が行われない場合や、判定できなかった場合等は、車載情報処理装置12側から提供された車両取得情報(周辺画像情報や位置情報等)を用いて、トラム10の進行方向の判定処理が実行される。したがって、車載情報処理装置12側でトラム10の進行方向の判定を行わない場合、または、判定ができなかった場合、外部情報制御部28は、周辺画像情報や位置情報を用いた進行方向判定部としても動作することになる。
The external
外部情報制御部28は、トラム10の進行方向に判定を行う場合、記憶装置32に保持されたマップデータ32aを用いて、現在のトラム10のマップ上の位置の特定を行ったり、トラム10の進行方向を判定する場合に利用するランドマークの位置を抽出したり、当該ランドマークとトラム10の位置関係の算出等を行う。また、外部情報制御部28は、トラム10の進行方向の判定を行う場合、記憶装置32に保持されたルートデータ32bを用いて、トラム10の軌道上の特定領域、例えば始点ゾーンや終点ゾーンの位置とトラム10の位置との比較を行う。外部情報制御部28におけるトラム10の進行方向の判定の詳細は後述する。
When determining the traveling direction of the
記憶処理部30は、外部情報制御部28において所定処理の実行後の車両取得情報を記憶装置32の運行管理データ32cに記憶させる。例えば、トラム10の運行中に取得した、周辺画像情報として、周囲の歩行者の混雑状況や周囲の車両(自動車や自転車等)の渋滞時の状況データ、天候や時間帯による遅延データ、障害物の存在データ、周辺監視データ等を逐次、運行管理データ32cに記憶し、トラム10の運行時に参照可能なデータベースを構築する。この場合、車載情報制御部26または外部情報制御部28の少なくともいずれか一方で、トラム10の進行方向を判定して、周辺画像情報に進行方向を示す情報を付加することで、周辺画像情報の精度、及び周辺画像情報に基づいて生成された各種情報の精度を向上が可能になる。
The
なお、外部情報処理装置14には、周辺画像情報や周辺画像情報に基づいて生成された各種情報を表示可能な表示装置14aや各種解析や演算を実行する際の指示や情報検索を行う際に利用する入力装置14b等が接続されている。
It should be noted that the external
続いて、図4〜図9を参照して、トラム10の進行方向を判定する方法について説明する。まず、位置情報取得部24が取得する位置情報、すなわち、位置情報受信部20aが取得する第1の位置情報及び位置情報受信部20bが取得する第2の位置情報を用いた判定方法を説明する。
Subsequently, a method of determining the traveling direction of the
上述したように、トラム10の進行方向の判定は、車載情報処理装置12側の車載情報制御部26で実行してもよいし、外部情報処理装置14側の外部情報制御部28で実行してもよい。以下の説明では、一例として、車載情報処理装置12側の車載情報制御部26で判定処理を実行する例を説明する。
As described above, the determination of the traveling direction of the
車載情報制御部26は、位置情報受信部20a及び位置情報受信部20bが位置計測(GPS信号の受信)を行う第1の計測時刻における第1の位置情報と第1の計測時刻から所定期間経過した第2の計測時刻における第2の位置情報とで定まる第1距離を算出する。同様に、車載情報制御部26は、第1の計測時刻における第2の位置情報と第2の計測時刻における第1の位置情報とで定まる第2距離を算出する。そして、第1距離と第2距離の比較に基づき、トラム10の進行方向を判定する。以下、図4、図5を用いて、具体的な例を説明する。
The in-vehicle information control unit 26 has elapsed a predetermined period from the first position information and the first measurement time at the first measurement time in which the position
まず、第1の計測時刻T0におけるトラム10の端部車両Aに搭載された位置情報受信部20aで受信されたGPS座標を座標A0とする。また、第1の計測時刻T0におけるトラム10の端部車両Bに搭載された位置情報受信部20bで受信されたGPS座標を座標B0とする。同様に、第2の計測時刻T1におけるトラム10の端部車両Aに搭載された位置情報受信部20aで受信されたGPS座標を座標A1とする。また、第2の計測時刻T1におけるトラム10の端部車両Bに搭載された位置情報受信部20bで受信されたGPS座標を座標B1とする。GPS座標は、緯度経度の極座標で表されるが、地球の赤道方向の半径、及び、南北極方向の半径からGPS座標間の距離を計算することができる。座標A0と座標B1の距離L1をA0B1、座標B0と座標A1の距離L2をB0A1とした場合に、端部車両A(位置情報受信部20a)が前方として進行した場合には、図4に示されるように、「A0B1の距離L1<B0A1の距離L2」の関係が成り立つ。一方、端部車両B(位置情報受信部20b)が前方として進行した場合には、図5に示されるように、「A0B1の距離L1>B0A1の距離L2」の関係が成り立つ。したがって、距離L1と距離L2の関係に基づき、トラム10の進行方向が判定できる。
First, the GPS coordinates received by the position
なお、GPS座標には誤差が含まれるため、「A0B0間の距離=A1B1間の距離=真値(トラム10の長さ)」であることを条件に進行方向判定を行う等、誤差を意識したフィルタリング処理や、条件成立が連続して一定回数以上続いた場合(例えば、連続して5回以上)、最終判定を行うようにすることで、判定の信頼性を向上することができる。 Since the GPS coordinates include an error, the error is taken into consideration, such as determining the traveling direction on the condition that "distance between A0B0 = distance between A1B1 = true value (length of tram 10)". The reliability of the determination can be improved by performing the filtering process or the final determination when the condition is continuously satisfied a certain number of times or more (for example, five times or more continuously).
このように、位置情報受信部20aから提供される第1の位置情報及び位置情報受信部20bから提供される第2の位置情報を用いた判定方法の場合、トラム10が移動している場合であれば、新たなハードウエアの追加を行うことなく、位置座標のみを用いた演算により、トラム10の進行方向を判定可能である。その結果、撮像部18a及び撮像部18bで撮像している周辺画像情報について、トラム10がいずれの方向に移動している場合に撮像されたものであるかを識別し、管理することができる。この場合、トラム10の進行方向に判定には、周辺画像情報を用いないため、判定時の周囲環境、例えば、明るさや天候等に影響されることなく、トラム10の進行方向の判定を行うことができるというメリットを有する。また、既存の車両(トラム)についても、後付けで、進行方向の判定機能を持たせることができる。また、新規に車両(トラム)を設計する場合でもシステムや構成のシンプル化が可能となり、コストダウンに寄与することができる。
As described above, in the case of the determination method using the first position information provided by the position
続いて、画像情報取得部22が取得する撮像部18aまたは撮像部18bから提供される周辺画像情報(第1の周辺画像情報または第2の周辺画像情報)に基づいて、特定物体までの距離を測定(測距)して得られる距離情報を用いた判定方法を説明する。
Subsequently, the distance to the specific object is determined based on the peripheral image information (first peripheral image information or second peripheral image information) provided by the
この場合も一例として、車載情報処理装置12側の車載情報制御部26で判定処理を実行する例を説明する。図2で説明したように、本実施形態の撮像部18は、ステレオカメラである。撮像部18a1および撮像部18a2は、トラム10の車幅方向に隔てられて配置されている。そして、撮像部18a1および撮像部18a2は、実質的に同じ撮像範囲を撮像するように設定されるとともに、同期信号により同じタイミングで同じ特定物体の撮像を実行するように構成されている。その結果、画像情報取得部22は、撮像部18a1および撮像部18a2により同じシーンのステレオ画像が取得可能である。そして、車載情報制御部26は、周知のステレオマッチング技術や三角測量技術を用いて、取得したステレオ画像の視差に基づき、撮像領域に含まれる、特定物体までの距離を算出することができる。
Also in this case, as an example, an example in which the vehicle-mounted information control unit 26 on the vehicle-mounted
この判定処理の場合、車載情報制御部26は、第1の撮像時刻に、例えば、端部車両A側に搭載された撮像部18aで撮像した周辺画像情報に含まれる特定物体、例えば路側に設置されている道路標識や看板、または、建造物等のランドマークまでの第1物体距離を算出する。同様に、車載情報制御部26は、第1の撮像時刻から所定期間経過した第2の撮像時刻に、第1物体距離を算出するときに用いた第1の周辺画像情報を撮像した撮像部18aが撮像した第1の周辺画像情報に含まれる同じ特定対象物までの第2物体距離を算出する。そして、第1物体距離と第2物体距離の変化(比較による差分)に基づき、トラム10の進行方向を判定する。以下、図6、図7を用いて、具体的な例を説明する。
In the case of this determination process, the vehicle-mounted information control unit 26 is installed at the first imaging time, for example, on a specific object included in the peripheral image information captured by the
例えば、図6の上段に示されるように、第1の撮像時刻T0に、端部車両Aに搭載された撮像部18aで撮像した第1の周辺画像情報を、車載情報制御部26において、周知の画像処理やパターンマッチング等に基づき、予め車載情報処理装置12のROMやSSD等に辞書登録された認識対象物である特定物体40(例えば、道路標識)が検出された場合を考える。この場合、車載情報制御部26は、特定物体40と撮像部18a(端部車両Aの端部部分)との間の第1物体距離D0(特定物体40の中心等に対する基準距離)をステレオ画像の視差に基づき算出する。
For example, as shown in the upper part of FIG. 6, at the first imaging time T0, the vehicle-mounted information control unit 26 disseminates the first peripheral image information imaged by the
次に、図6の下段に示されるように、第2の撮像時刻T1に、端部車両Aに搭載された撮像部18aで撮像した第1の周辺画像情報に、第1の撮像時刻T0に撮像したときと同じ特定物体40が検出された場合を考える。この場合も、車載情報制御部26は、特定物体40と撮像部18a(端部車両Aの端部部分)との間の第2物体距離D1(特定物体40の中心等に対する基準距離)をステレオ画像の視差に基づき算出する。
Next, as shown in the lower part of FIG. 6, at the second imaging time T1, the first peripheral image information captured by the
このとき、特定物体40が移動しない前提の場合、図6の上段と下段を比較し、「第2物体距離D1<第1物体距離D0」の関係が成り立つ場合には、撮像部18a、すなわち端部車両Aが特定物体40に近づいている(特定物体40に向かって走行している)ことになる。したがって、車載情報制御部26は、端部車両A側が前方であると判定することができる。
At this time, if it is assumed that the
一方、図7の上段と下段に示されるように、「第2物体距離D1>第1物体距離D0」の関係が成り立つ場合には、撮像部18a、すなわち端部車両Aが特定物体40から遠ざかっている(特定物体40から離れるように走行している)ことになる。したがって、車載情報制御部26は、端部車両B側が前方であると判定することができる。
On the other hand, as shown in the upper and lower rows of FIG. 7, when the relationship of "second object distance D1> first object distance D0" is established, the
端部車両B側の撮像部18bで、別の特定物体40までの距離を測距する場合も同様に、トラム10の進行方向の判定を行うことができる。このように、特定物体40に対する距離を測定する場合、端部車両A側の撮像部18aまたは端部車両B側の撮像部18bのいずれか一方を用いて判定することができる。他の実施形態では、端部車両A側の撮像部18aで撮像した第1の周辺画像情報に基づき、ある特定物体40までの測距を行う。また同時に、端部車両B側の撮像部18bで撮像した第2の周辺画像情報に基づき、他の特定物体40までの測距を行う。そして、それぞれの測距結果に基づきトラム10の進行方向の仮判定を行い、判定結果が一致した場合に、本判定を行うことで、判定精度の向上を図ることができる。
Similarly, when the
なお、特定物体40として、標識、看板、建造物等の他、信号機、横断歩道、路面の進行方向矢印等、移動しない物体やマーク(指標)等であれば、ランドマークとして利用することができる。つまり、トラム10が走行中であれば、ほとんどの場合、トラム10の進行方向の判定を行うことができる。また、位置情報取得部24が取得する端部車両Aや端部車両Bの位置情報に基づき、現在のトラム10の位置の近傍に存在する特定物体40を予め探索しておくことが可能である。この場合、位置情報に基づき探索しておいた特定物体40に接近した時に、第1の撮像時刻T0及び第2の撮像時刻T1を設定する。その結果、確実かつ効率的に特定物体40までの第1物体距離D0及び第2物体距離D1を測距することが可能になり、第1の撮像時刻T0及び第2物体距離D1の算出精度を向上することができる。また、トラム10が所定の軌道上を走行しているため、トラム10の現在の位置が分かれば、その位置で撮像した周辺画像情報において、特定物体40の存在する位置が概ね推定できる。したがって、車載情報制御部26において、測距処理を実行する場合に、周辺画像情報上で処理対象とする領域の限定が可能で、車載情報制御部26の処理負荷を軽減することが可能となる。
As the
このように、撮像部18から提供される周辺画像情報を用いた判定方法の場合、トラム10が移動している場合であれば、撮像部18aと撮像部18bの少なくとも一方の周辺画像情報に基づく処理により、新たなハードウエアの追加を行うことなく、トラム10の進行方向を判定可能である。その結果、撮像部18a及び撮像部18bで撮像している周辺画像情報について、トラム10がいずれの方向に移動している場合に撮像されたものであるかを識別し、管理することができる。また、この場合、トラム10の進行方向の判定自体には、位置情報を用いないため、例えば、トラム10がトンネルや建物の中に進入した場合、ビル群の中を走行している場合等、GPS信号の受信が困難な場所を走行している場合でも、トラム10の進行方向の判定を行うことができるというメリットを有する。また、既存の車両(トラム)についても、後付けで、進行方向の判定機能を持たせることができる。また、新規に車両(トラム)を設計する場合でもシステムや構成のシンプル化が可能となり、コストダウンに寄与することができる。
As described above, in the case of the determination method using the peripheral image information provided by the
続いて、さらに別の判定処理として、位置情報取得部24が取得する位置情報、すなわち、位置情報受信部20aまたは位置情報受信部20bが取得する位置像情報(第1の位置情報または第2の位置情報)に基づいて、特定領域への進入状況によって、折り返し走行を行う場合の、トラム10の進行方向の判定方法を説明する。
Subsequently, as yet another determination process, the position information acquired by the position information acquisition unit 24, that is, the position image information (first position information or second position information) acquired by the position
この場合も一例として、車載情報処理装置12側の車載情報制御部26で判定処理を実行する例を説明する。この判定処理の場合、車載情報制御部26は、トラム10が走行軌道上で折り返す走行するために進入する特定領域に対する、第1の位置情報または第2の位置情報の位置に基づき、折り返し走行を行う場合の、トラム10の進行方向を判定する。以下、図8、図9を用いて、具体的な例を説明する。
Also in this case, as an example, an example in which the vehicle-mounted information control unit 26 on the vehicle-mounted
走行軌道上で折り返す走行するために進入する特定領域として、例えば、始点ゾーンS、終点ゾーンEがある。ある時刻T0におけるトラム10の端部車両Aに搭載された位置情報受信部20aで受信されたGPS座標を座標A0とする。また、時刻T0におけるトラム10の端部車両Bに搭載された位置情報受信部20bで受信されたGPS座標を座標B0とする。同様に、時刻T0より後の時刻T1におけるトラム10の端部車両Aに搭載された位置情報受信部20aで受信されたGPS座標を座標A1とする。また、時刻T1におけるトラム10の端部車両Bに搭載された位置情報受信部20bで受信されたGPS座標を座標B1とする。ここで、始点ゾーンSは、2次元の平面の範囲で定義する場合や、道路やレール上にマップマッチングした場合には、例えば、キロポストによる1次元での範囲を定義することができるが、本実施形態では、他の例として、車載情報制御部26が備える位置変換機能を用いて位置補正を行い、道路上へマップマッチングする例を用いる。始点ゾーンSをルート上のキロポストでのゾーンとした場合、図8に示されるように、始点ゾーンSは、S0キロポストとS1キロポストの範囲とすることができる。
For example, there are a start point zone S and an end point zone E as specific areas to enter in order to turn around on the traveling track. Let the GPS coordinates received by the position
時刻T0において、端部車両Aに搭載された位置情報受信部20aで受信されたGPS座標(座標A0)をマップマッチングした結果(補正した結果)をマップマッチング座標A0’として、キロポスト換算した値をA0Kキロポストとする。ここで、S0<A0K<S1となれば、マップマッチング座標A0’が始点ゾーンSに侵入したといえる。図8の上段の場合、マップマッチング座標A0’は、まだ始点ゾーンSに侵入していない状態である。一方、図8の下段は、時刻T1の状態であり、端部車両Aに搭載された位置情報受信部20aで受信されたGPS座標(座標A1)をマップマッチングした結果をマップマッチング座標A1’として、キロポスト換算した値をA1Kキロポストとする。ここで、S0<A1K<S1となれば、マップマッチング座標A1’が始点ゾーンSに侵入したといえる。つまり、マップマッチング座標A1’が先に始点ゾーンS入ったため、折り返し運転により次にトラム10が発車する際の先頭は端部車両B側となる。
At time T0, the result of map matching (correction result) of the GPS coordinates (coordinates A0) received by the position
また、始点ゾーンSに端部車両Bが先に入る場合、ある時刻T1において、端部車両Bに搭載された位置情報受信部20bで受信されたGPS座標(座標B1)をマップマッチングした結果をマップマッチング座標B1’として、キロポスト換算した値をB1Kキロポストとする。ここで、S0<B1K<S1となれば、マップマッチング座標B1’が始点ゾーンSに侵入ことになる。つまり、マップマッチング座標B1’が先に始点ゾーンS入ったため、折り返し運転により次にトラム10が発車する際の先頭は端部車両A側となる。
Further, when the end vehicle B enters the start point zone S first, the result of map matching the GPS coordinates (coordinates B1) received by the position
なお、例えば、トラム10の始点ゾーンSへの進入速度が高い場合等は、マップマッチング座標A1’とマップマッチング座標B1’が同時に始点ゾーンSに入るような場合がある。この場合は、この方法を用いた判定は不可とする。
For example, when the entry speed of the
図9には、終点ゾーンEとトラム10の関係が示されている。図9に示されるように、終点ゾーンEは、E0キロポストとE1キロポストの範囲とすることができる。時刻T0において、端部車両Bに搭載された位置情報受信部20bで受信されたGPS座標(座標B0)をマップマッチングした結果をマップマッチング座標B0’として、キロポスト換算した値をB0Kキロポストとする。ここで、E0<B0K<E1となれば、マップマッチング座標E0’が終点ゾーンEに侵入したといえる。図9の上段の場合、マップマッチング座標B0’は、まだ終点ゾーンEに侵入していない状態である。一方、図9の下段は、時刻T1の状態であり、端部車両Bに搭載された位置情報受信部20bで受信されたGPS座標(座標B1)をマップマッチングした結果をマップマッチング座標B1’として、キロポスト換算した値をB1Kキロポストとする。ここで、S0<B1K<S1となれば、マップマッチング座標B1’が終点ゾーンEに侵入したといえる。つまり、マップマッチング座標B1’が先に終点ゾーンE入ったため、折り返し運転により次にトラム10が発車する際の先頭は端部車両A側となる。
FIG. 9 shows the relationship between the end point zone E and the
また、終点ゾーンEに端部車両Aが先に入る場合、ある時刻T1において、端部車両Aに搭載された位置情報受信部20aで受信されたGPS座標(座標A1)をマップマッチングした結果をマップマッチング座標A1’として、キロポスト換算した値をA1Kキロポストとする。ここで、E0<A1K<E1となれば、マップマッチング座標A1’が終点ゾーンEに侵入ことになる。つまり、マップマッチング座標A1’が先に終点ゾーンE入ったため、折り返し運転により次にトラム10が発車する際の先頭は端部車両B側となる。
Further, when the end vehicle A enters the end point zone E first, the result of map matching of the GPS coordinates (coordinates A1) received by the position
このように、特定領域とトラム10の位置関係に基づいた判定方法の場合、トラム10が特定領域に進入する場合であれば、新たなハードウエアの追加を行うことなく、トラム10が折り返し運転を行うときに次に出発す際の進行方向を判定可能である。その結果、トラム10が折り返し運転したり、折り返し運転時に運転者が代わったりした場合でも、撮像部18a及び撮像部18bで撮像している周辺画像情報が、いずれの方向に移動している場合に撮像されたものであるかを識別し、管理することができる。また、既存の車両(トラム)についても、後付けで、進行方向の判定機能を持たせることができる。また、新規に車両(トラム)を設計する場合でもシステムや構成のシンプル化が可能となり、コストダウンに寄与することができる。
In this way, in the case of the determination method based on the positional relationship between the specific area and the
なお、上述した各例では、トラム10の進行方向の判定を車載情報処理装置12側(車載情報制御部26側)で実行する例を示したが、画像情報取得部22で取得する周辺画像情報及び位置情報取得部24で取得する位置情報等を外部情報処理装置14側(外部情報制御部28側)に送信して、外部情報処理装置14側(外部情報制御部28側)で同様な判定処理を実行するようにしてもよい。この場合、車載情報処理装置12側の負荷、特に車載情報制御部26の負荷を軽減することが可能で、車載情報処理装置12のコストダウンに寄与することができる。また、判定処理ごとに、車載情報処理装置12と外部情報処理装置14で分担して行ってもよい。
In each of the above examples, the determination of the traveling direction of the
また、上述した例では、車載情報処理装置12から周辺画像情報を逐次外部情報処理装置14に送信する例を示したが、例えば、車載情報処理装置12の記憶装置に周辺画像情報を一次保存し、所定のタイミング、例えば、折り返し運転時や乗員の交代時、業務終了時等に、送信または、可搬型の媒体を用いて、外部情報処理装置14に提供するようにしてもよい。
Further, in the above-described example, the peripheral image information is sequentially transmitted from the in-vehicle
以上にように構成される情報処理システム100によるトラム10の進行方向の判定処理の手順の一例を図10及び図11のフローチャートを用いて説明する。まず、図10に示すフローチャートでは、車載情報処理装置12側(車載情報制御部26側)で始めに図6、図7で説明した特定物体40を用いた判定を行う。そして、図11に示すフローチャートにおいて、外部情報処理装置14側(外部情報制御部28側)で、必要に応じて他の判定を行う例を説明する。なお、画像情報取得部22及び位置情報取得部24は、トラム10の運行中(一時停止中も含む)、常時、撮像部18a,18bから周辺画像情報を取得するとともに(画像情報取得ステップ)、位置情報受信部20a,20bから位置情報を取得するものとする(位置情報取得ステップ)。なお、図10、図11のフローチャートに示す処理は、所定の処理周期で繰り返し実行されるものとする。
An example of the procedure for determining the traveling direction of the
まず、車載情報処理装置12の車載情報制御部26では、トラム10の進行方向の判定タイミングであるかを確認する(S100)。判定タイミングは、予め定められたタイミング、例えば、休止状態からトラム10が走行を開始する場合(始発時)や、走行開始後の所定時間ごと(例えば、数分ごと、数時間ごと、半日ごと等)、所定位置を通過するごと、等で設定することができる。進行方向の判定タイミングではない場合(S100のNo)、このフローを一旦終了し、次の処理周期で再度判定タイミングかの判定を行う。
First, the vehicle-mounted information control unit 26 of the vehicle-mounted
一方、S100において、進行方向の判定タイミングである場合(S100のYes)、車載情報制御部26は、画像情報取得部22が取得した周辺画像情報を用いた測距処理を実行する(S102)。測距の結果、計測対象物、つまり所定の特定物体40が検出された場合(S104のYes)、1周期前の対象物(特定物体40)との距離と比較して今回の距離が小さいか否か判定する(S106)。今回の距離(第2の撮像時刻T1のときの距離)が前回の距離(第1の撮像時刻T0のときの距離)より小さい場合(S106のYes)、測距処理を行った周辺画像情報を撮像した撮像部が存在する端部車両側が前方であると判定する(S108:判定ステップ)。例えば、図6に示すように、測距処理に端部車両Aの撮像部18aが撮像した第1の周辺画像情報が利用されている場合で、第2物体距離D1<第1物体距離D0となった場合、端部車両Aが進行方向(前側)であると判定する。
On the other hand, in S100, when it is the determination timing of the traveling direction (Yes in S100), the vehicle-mounted information control unit 26 executes the distance measurement process using the peripheral image information acquired by the image information acquisition unit 22 (S102). When a measurement object, that is, a predetermined
トラム10の進行方向の判定が完了した場合、車載情報制御部26は、判定を行ったときの位置情報(撮像部18aの第1の周辺画像情報で判定を行った場合は、位置情報受信部20aの第1の位置情報)を取得する(S110)。そして、車載情報制御部26は、位置情報と判定結果を外部情報処理装置14側に送信して(S112:車載情報制御ステップ)、車載情報処理装置12側における判定処理を一旦終了する。
When the determination of the traveling direction of the
S106において、今回の距離が前回の距離より小さくない場合(S106のNo)、1周期前の対象物(特定物体40)との距離と比較して今回の距離が大きいか否か判定する(S114)。今回の距離が前回の距離より大きい場合(S114のYes)、測距処理を行った周辺画像情報を撮像した撮像部が存在する端部車両側が後方であると判定する(S116:判定ステップ)。例えば、図7に示すように、測距処理に端部車両Aの撮像部18aが撮像した第1の周辺画像情報が利用されている場合で、第2物体距離D1>第1物体距離D0となった場合、端部車両Bが進行方向前側であると判定する。そして、S110に移行して、S110以降の処理を実行し、一旦このフローを終了する。
In S106, when the current distance is not smaller than the previous distance (No in S106), it is determined whether or not the current distance is larger than the distance to the object (specific object 40) one cycle before (S114). ). When the current distance is larger than the previous distance (Yes in S114), it is determined that the end vehicle side where the image pickup unit that has captured the peripheral image information subjected to the distance measurement process is located is behind (S116: determination step). For example, as shown in FIG. 7, when the first peripheral image information captured by the
S114において、今回の距離が前回の距離より大きくない場合(S114のNo)、つまり、トラム10が停車していたり、低速移動していたりする場合で、第1の撮像時刻T0のときの第1物体距離D0と第2の撮像時刻T1のときの第2物体距離D1とで明確に差がない場合である。この場合、車載情報制御部26は、周辺画像情報を用いたトラム10の進行方向の判定は不能と判定して(S118:判定ステップ)、S110に移行して、以降の処理を実行し、一旦このフローを終了する。すなわち、車載情報処理装置12側では、トラム10の進行方向の判定ができないことを外部情報処理装置14に報告する。また、S104において、測定対象物(特定物体40)が抽出できない場合(S104のNo)、例えば、周囲が暗い場合や、トラム10の速度が早すぎて、第1の撮像時刻T0と第2の撮像時刻T1とで、同じ測定対象物(特定物体40)を抽出できなかった場合等である。この場合は、S118に移行して、車載情報制御部26は、周辺画像情報を用いたトラム10の進行方向の判定は不能と判定する。そして、S110に移行して、以降の処理を実行し、一旦このフローを終了する。すなわち、車載情報処理装置12側では、トラム10の進行方向の判定ができないことを外部情報処理装置14に報告する。
In S114, when the current distance is not larger than the previous distance (No in S114), that is, when the
続いて、図11のフローチャートを用いて、外部情報処理装置14側(外部情報制御部28側)で実行されるトラム10の進行方向の判定処理について説明する。
Subsequently, the determination process of the traveling direction of the
まず、外部情報制御部28は、車載情報処理装置12側(車載情報制御部26側)から位置情報と判定結果を受信したか否か判定し(S200)、受信している場合で(S200のYes)、トラム10の進行方向が確定済みの場合(S202のYes)、このフローを一旦終了する。この場合、記憶処理部30は、現在のトラム10の進行方向と、車載情報処理装置12から逐次送信される周辺画像情報とを関連付けて、運行管理データ32cに逐次記憶させる(記憶ステップ)。その結果、周辺画像情報の解析や周辺画像情報を用いた新たな情報の生成の際の精度を向上することができる。なお、S200において、車載情報処理装置12側(車載情報制御部26側)から位置情報と判定結果を受信していない場合(S200のNo)、一旦このフローを終了し、次の処理周期で、S200の確認処理を再度実行する。
First, the external
S202において、車載情報処理装置12側から受信した判定結果で、トラム10の進行方向が確定されていない場合(S202のNo)、車載情報処理装置12側から送信された周辺画像情報および位置情報に基づき、第1の計測時刻T0及び第2の計測時刻T1においける端部車両Aと端部車両Bの端部間距離(距離L1,L2)を取得(算出)する(S204)。そして、図4で説明したように、A0B1の距離L1<B0A1の距離L2の場合(S206のYes)、外部情報制御部28は、端部車両A側が前方であると判定し(S208:判定ステップ)、一旦このフローを終了する。
In S202, when the traveling direction of the
一方、S206において、A0B1の距離L1<B0A1の距離L2ではない場合で(S206のNo)、A0B1の距離L1>B0A1の距離L2の場合(S210のYes)、外部情報制御部28は、端部車両B側が前方であると判定し(S212:判定ステップ)、一旦このフローを終了する。
On the other hand, in S206, when the distance L1 of A0B1 is not <the distance L2 of B0A1 (No of S206) and the distance L1 of A0B1> the distance L2 of B0A1 (Yes of S210), the external
S210において、A0B1の距離L1>B0A1の距離L2でもない場合(S210のNo)、つまり、第1の計測時刻T0と第2の計測時刻T1との間で、トラム10が停止している場合や距離の差が極僅かな場合である。この場合、外部情報制御部28は、特定領域(始点ゾーンや終点ゾーン)を用いた移動方向の判定を行う。すなわち、外部情報制御部28は、図8、図9で説明した場合と同様に、外部情報制御部28が備える位置変換機能により、マップデータ32a(デジタルマップ)を用いて、車載情報処理装置12側から受信したトラム10の端部車両Aの位置及び端部車両Bの位置にマップマッチング処理を実行して、マップマッチング座標を取得する(S214)。続いて、外部情報制御部28は、ルートデータ32bを参照し、特定領域(始点ゾーンや終点ゾーン)の位置を取得する(S216)。そして、端部車両A側のマップマッチング座標が特定領域内にある場合(S218のYes)、すなわち、特定領域(始点ゾーンや終点ゾーン)に端部車両A側から進入した場合、外部情報制御部28は、次に特定領域を出発する場合は、端部車両B側が前方になると判定し(S220:判定ステップ)、一旦このフローを終了する。
In S210, when the distance L1 of A0B1 is not equal to the distance L2 of B0A1 (No of S210), that is, when the
一方、S218で、端部車両A側のマップマッチング座標が特定領域内にない場合で(S218のNo)、端部車両B側のマップマッチング座標が特定領域内にある場合(S222のYes)、すなわち、特定領域(始点ゾーンや終点ゾーン)に端部車両B側から進入した場合、外部情報制御部28は、次に特定領域を出発する場合は、端部車両A側が前方になると判定し(S224:判定ステップ)、一旦このフローを終了する。なお、S222において、端部車両B側のマップマッチング座標が特定領域内にない場合(S222のNo)、外部情報制御部28は、トラム10は、特定領域(始点ゾーンや終点ゾーン)以外の位置に存在し、特定領域を用いた進行方向の判定は不能であると判定し(S226:判定ステップ)、一旦このフローを終了する。S226において、進行方向の判定が不能であると判定された場合でも、次の処理周期において、図10及び図11のフローチャートに示す処理が実行されることで、トラム10の進行方向の再判定は可能である。
On the other hand, in S218, when the map matching coordinates on the end vehicle A side are not in the specific area (No in S218) and the map matching coordinates on the end vehicle B side are in the specific area (Yes in S222). That is, when entering the specific area (start point zone or end point zone) from the end vehicle B side, the external
なお、上述した図10、図11のフローチャートにおけるトラム10の進行方向の判定の順番は一例であり、判定順番を特定するものではない。また、判定処理の全てを車載情報処理装置12の車載情報制御部26側で行ってもよいし、外部情報処理装置14の外部情報制御部28側で行ってもよい。また、車載情報処理装置12の車載情報制御部26では、図10のフローチャートで示す処理とは異なる、図11のフローチャートで行った判定処理を行うようにしてもよい。
The order of determination of the traveling direction of the
また、上述した例では、いずれか一つの判定方法で、トラム10の進行方向が判定した場合、処理を終了させたが、いずれか2種類の判定結果が一致した場合最終判定をするようにしてもよいし、全ての判定結果が出て一致した場合に、最終判定を行うようにしてもよい。つまり、自動運転システムなどで進行方向の判定を行う場合に、信頼度を重視する判定を行うことができる。
Further, in the above-mentioned example, when the traveling direction of the
また、図3では、車載情報処理装置12側の機能と外部情報処理装置14側の機能を分離している例を示したが、例えば、車載情報処理装置12側の外部情報処理装置14の機能を持たせ、トラム10側のみで進行方向の判定や取得した周辺画像情報の管理や解析、データ構築を行うようにしてもよい。
Further, FIG. 3 shows an example in which the function on the vehicle-mounted
また、本実施形態では、車両の一例としてトラム10を示したが、これに限定されず、
Uターンすることなく進行方向を変えることができる車両、例えば、自動運転車両、建設機械車両、農耕機等に適用可能であり、同様の効果をえることができる。
Further, in the present embodiment, the
It can be applied to vehicles that can change the direction of travel without making a U-turn, for example, an autonomous driving vehicle, a construction machine vehicle, an agricultural machine, and the like, and the same effect can be obtained.
また、車載情報処理装置12の構成は、可搬型携帯端末、例えば、スマートフォン本体を活用した構成(スマートフォン内部のカメラやGPS機能、時計機能等)を利用したアプリとして実装されて構成としてもよく、同様の効果を得ることができる。
Further, the configuration of the in-vehicle
また、上述した例では、道路上の位置変換機能やデジタルマップの活用は一例であり、スマートフォンアプリでのマップマッチング方法やカーナビゲーションシステムから取得する方法、その他既存技術を活用した方法としてもよい。 Further, in the above-mentioned example, the utilization of the position conversion function on the road and the digital map is an example, and a map matching method using a smartphone application, a method of acquiring from a car navigation system, or a method utilizing other existing technologies may be used.
以上、本発明のいくつかの実施形態を説明したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described above, the above-described embodiments and modifications are merely examples, and the scope of the invention is not intended to be limited. The above-described embodiment can be implemented in various forms, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiment and its modifications are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and the equivalent scope thereof.
10 トラム
12 車載情報処理装置
14 外部情報処理装置
18,18a,18a1,18a2,18b 撮像部
20 位置情報受信部
20a,20b 位置情報受信部
22 画像情報取得部
24 位置情報取得部
26 車載情報制御部
28 外部情報制御部
30 記憶処理部
32 記憶装置
32a マップデータ
32b ルートデータ
32c 運行管理データ
40 特定物体
100 情報処理システム
10
Claims (7)
前記車載情報処理装置は、
前記車両が前記第1方向に前進走行する場合の端部である第1端部に設けられた第1撮像部が撮像する前記第1方向を含む第1の周辺画像情報と、前記第2方向に前進走行する場合の端部である第2端部に設けられた第2撮像部が撮像する前記第2方向を含む第2の周辺画像情報とを取得可能な画像情報取得部と、
前記第1端部の位置を示す第1の位置情報と、前記第2端部の位置を示す第2の位置情報とを取得可能な位置情報取得部と、
前記周辺画像情報と前記位置情報とを車両取得情報として、前記外部情報処理装置に送信する車載情報制御部と、
を備え、
前記外部情報処理装置は、
前記車載情報処理装置から送信される前記車両取得情報を受信し、当該車両取得情報に所定処理を実行する外部情報制御部と、
前記所定処理の実行後の前記車両取得情報を記憶装置に記憶させる記憶処理部と、
を備え、
前記車載情報制御部と前記外部情報制御部との少なくとも一方は、前記周辺画像情報と前記位置情報の少なくとも一方に基づいて、前記車両の進行方向を判定する、情報処理システム。 Information is transmitted and received between the in-vehicle information processing device mounted on the vehicle, which can travel forward with one of the vehicle front-rear directions as the first direction and forward with the other as the second direction. An information processing system including an external information processing device that performs the above-mentioned information processing.
The in-vehicle information processing device is
The first peripheral image information including the first direction imaged by the first imaging unit provided at the first end portion, which is the end portion when the vehicle travels forward in the first direction, and the second direction. An image information acquisition unit capable of acquiring second peripheral image information including the second direction imaged by a second image pickup unit provided at the second end portion, which is an end portion when traveling forward.
A position information acquisition unit capable of acquiring a first position information indicating the position of the first end portion and a second position information indicating the position of the second end portion.
An in-vehicle information control unit that transmits the peripheral image information and the position information as vehicle acquisition information to the external information processing device.
With
The external information processing device
An external information control unit that receives the vehicle acquisition information transmitted from the in-vehicle information processing device and executes a predetermined process on the vehicle acquisition information.
A storage processing unit that stores the vehicle acquisition information after the execution of the predetermined processing in the storage device, and
With
An information processing system in which at least one of the in-vehicle information control unit and the external information control unit determines the traveling direction of the vehicle based on at least one of the peripheral image information and the position information.
前記車両が前記第1方向に前進走行する場合の端部である第1端部に設けられた第1撮像部が撮像する前記第1方向を含む第1の周辺画像情報と、前記第2方向に前進走行する場合の端部である第2端部に設けられた第2撮像部が撮像する前記第2方向を含む第2の周辺画像情報とを取得可能な画像情報取得部と、
前記第1端部の位置を示す第1の位置情報と、前記第2端部の位置を示す第2の位置情報とを取得可能な位置情報取得部と、
前記周辺画像情報と前記位置情報の少なくとも一方に基づいて、前記車両の進行方向を判定する車載情報制御部と、
を備える、車載情報処理装置。 An in-vehicle information processing device mounted on a vehicle capable of traveling forward with one of the front-rear directions of the vehicle as the first direction and traveling forward with the other as the second direction.
The first peripheral image information including the first direction imaged by the first imaging unit provided at the first end portion, which is the end portion when the vehicle travels forward in the first direction, and the second direction. An image information acquisition unit capable of acquiring second peripheral image information including the second direction imaged by a second image pickup unit provided at the second end portion, which is an end portion when traveling forward.
A position information acquisition unit capable of acquiring a first position information indicating the position of the first end portion and a second position information indicating the position of the second end portion.
An in-vehicle information control unit that determines the traveling direction of the vehicle based on at least one of the peripheral image information and the position information.
In-vehicle information processing device.
前記車両が前記第1方向に前進走行する場合の端部である第1端部に設けられた第1撮像部が撮像する前記第1方向を含む第1の周辺画像情報と、前記第2方向に前進走行する場合の端部である第2端部に設けられた第2撮像部が撮像する前記第2方向を含む第2の周辺画像情報と、前記第1端部の位置を示す第1の位置情報と、前記第2端部の位置を示す第2の位置情報と、を車両取得情報として前記車載情報処理装置から取得するとともに、取得した前記車両取得情報に所定処理を実行する外部情報制御部と、
前記所定処理実行後の前記車両取得情報を記憶装置に記憶させる記憶処理部と、
を備え、
前記外部情報制御部は、前記周辺画像情報と前記位置情報の少なくとも一方に基づいて、前記車両の進行方向を判定する、外部情報処理装置。 Information is sent and received to and from an in-vehicle information processing device mounted on a vehicle capable of traveling forward with one of the vehicle front-rear directions as the first direction and forward traveling with the other as the second direction to process the information. It is an external information processing device that performs
The first peripheral image information including the first direction imaged by the first imaging unit provided at the first end portion, which is the end portion when the vehicle travels forward in the first direction, and the second direction. The second peripheral image information including the second direction imaged by the second imaging unit provided at the second end portion, which is the end portion when traveling forward, and the first indicating the position of the first end portion. And the second position information indicating the position of the second end portion are acquired from the in-vehicle information processing device as vehicle acquisition information, and external information for executing a predetermined process on the acquired vehicle acquisition information. Control unit and
A storage processing unit that stores the vehicle acquisition information after executing the predetermined processing in the storage device,
With
The external information control unit is an external information processing device that determines the traveling direction of the vehicle based on at least one of the peripheral image information and the position information.
前記第1端部の位置を示す第1の位置情報と、前記第2端部の位置を示す第2の位置情報とを取得する位置情報取得ステップと、
前記周辺画像情報と前記位置情報とを車両取得情報として、外部情報処理装置に送信する車載情報制御ステップと、
前記車両側から送信される前記車両取得情報を受信し、当該車両取得情報に所定処理を実行する外部情報制御ステップと、
前記所定処理実行後の前記車両取得情報を記憶装置に記憶させる記憶ステップと、
を備え、
前記車載情報制御ステップと前記外部情報制御ステップとの少なくとも一方は、前記周辺画像情報と前記位置情報の少なくとも一方に基づいて、前記車両の進行方向を判定する処理を実行する、情報処理理方法。 A vehicle capable of traveling forward with one of the vehicle front-rear directions as the first direction and traveling forward with the other as the second direction is provided at the first end, which is an end when traveling forward in the first direction. The first peripheral image information including the first direction imaged by the first image pickup unit and the second image pickup section provided at the second end portion which is an end portion when traveling forward in the second direction. An image information acquisition step for acquiring a second peripheral image information including the second direction to be imaged, and an image information acquisition step.
A position information acquisition step for acquiring the first position information indicating the position of the first end portion and the second position information indicating the position of the second end portion.
An in-vehicle information control step that transmits the peripheral image information and the position information as vehicle acquisition information to an external information processing device.
An external information control step that receives the vehicle acquisition information transmitted from the vehicle side and executes a predetermined process on the vehicle acquisition information.
A storage step of storing the vehicle acquisition information after executing the predetermined process in the storage device, and
With
An information processing method in which at least one of the in-vehicle information control step and the external information control step executes a process of determining the traveling direction of the vehicle based on at least one of the peripheral image information and the position information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019198300A JP7358199B2 (en) | 2019-10-31 | 2019-10-31 | Information processing system, in-vehicle information processing device, external information processing device, and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019198300A JP7358199B2 (en) | 2019-10-31 | 2019-10-31 | Information processing system, in-vehicle information processing device, external information processing device, and information processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021070404A true JP2021070404A (en) | 2021-05-06 |
JP7358199B2 JP7358199B2 (en) | 2023-10-10 |
Family
ID=75712291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019198300A Active JP7358199B2 (en) | 2019-10-31 | 2019-10-31 | Information processing system, in-vehicle information processing device, external information processing device, and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7358199B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016049907A (en) * | 2014-09-01 | 2016-04-11 | 公益財団法人鉄道総合技術研究所 | Method and apparatus for determining train passing direction, and method and apparatus for determining train stop position |
JP2019078700A (en) * | 2017-10-27 | 2019-05-23 | 株式会社東芝 | Information processor and information processing system |
-
2019
- 2019-10-31 JP JP2019198300A patent/JP7358199B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016049907A (en) * | 2014-09-01 | 2016-04-11 | 公益財団法人鉄道総合技術研究所 | Method and apparatus for determining train passing direction, and method and apparatus for determining train stop position |
JP2019078700A (en) * | 2017-10-27 | 2019-05-23 | 株式会社東芝 | Information processor and information processing system |
Also Published As
Publication number | Publication date |
---|---|
JP7358199B2 (en) | 2023-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109920246B (en) | Collaborative local path planning method based on V2X communication and binocular vision | |
US10403138B2 (en) | Traffic accident warning method and traffic accident warning apparatus | |
US10620317B1 (en) | Lidar-based high definition map generation | |
US10369995B2 (en) | Information processing device, information processing method, control device for vehicle, and control method for vehicle | |
WO2021155685A1 (en) | Map updating method, apparatus and device | |
US20200086764A1 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
US11959999B2 (en) | Information processing device, information processing method, computer program, and mobile device | |
JP2008139320A (en) | Notification apparatus and notification program of road environmental information | |
US20240017719A1 (en) | Mapping method and apparatus, vehicle, readable storage medium, and chip | |
JP2020074030A (en) | Map update device, map update system, map update method, and program | |
CN114026436B (en) | Image processing device, image processing method, and program | |
CN110462338B (en) | Vehicle control system, server device, vehicle control method, and storage medium | |
CN110794821B (en) | Vehicle-mounted control device, field end positioning device, vehicle control system and vehicle | |
CN116572995A (en) | Automatic driving method and device of vehicle and vehicle | |
JP7358199B2 (en) | Information processing system, in-vehicle information processing device, external information processing device, and information processing method | |
US11548521B2 (en) | Systems, methods and vehicles for determining wrong direction driving | |
US20220165151A1 (en) | Traffic jam information providing device, traffic jam information processing method, and recording medium | |
JP2019070895A (en) | Runway recognizer | |
CN110775054B (en) | Vehicle-mounted control device, field end positioning device, vehicle control system and vehicle | |
WO2021056185A1 (en) | Systems and methods for partially updating high-definition map based on sensor data matching | |
JP2023122597A (en) | Information processor, information processing method and program | |
CN114216469B (en) | Method for updating high-precision map, intelligent base station and storage medium | |
CN112567427A (en) | Image processing apparatus, image processing method, and program | |
US20240233390A9 (en) | Identification of unknown traffic objects | |
CN110794822A (en) | Vehicle-mounted control device, field end positioning device, vehicle control system and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7358199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |