JP2021070404A - Information processing system, on-vehicle information processor, external information processor and information processing method - Google Patents

Information processing system, on-vehicle information processor, external information processor and information processing method Download PDF

Info

Publication number
JP2021070404A
JP2021070404A JP2019198300A JP2019198300A JP2021070404A JP 2021070404 A JP2021070404 A JP 2021070404A JP 2019198300 A JP2019198300 A JP 2019198300A JP 2019198300 A JP2019198300 A JP 2019198300A JP 2021070404 A JP2021070404 A JP 2021070404A
Authority
JP
Japan
Prior art keywords
vehicle
information
information processing
processing device
end portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019198300A
Other languages
Japanese (ja)
Other versions
JP7358199B2 (en
Inventor
浩 堺
Hiroshi Sakai
浩 堺
鈴木　美彦
Yoshihiko Suzuki
美彦 鈴木
佐藤　俊雄
Toshio Sato
俊雄 佐藤
大場　義和
Yoshikazu Oba
義和 大場
上野　秀樹
Hideki Ueno
秀樹 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2019198300A priority Critical patent/JP7358199B2/en
Publication of JP2021070404A publication Critical patent/JP2021070404A/en
Application granted granted Critical
Publication of JP7358199B2 publication Critical patent/JP7358199B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Train Traffic Observation, Control, And Security (AREA)

Abstract

To provide an information processing system which uses an existing constitution and can determine a travel direction of a vehicle in a condition where the vehicle has imaging parts in front and rear of the vehicle.SOLUTION: An information processing system comprises an on-vehicle information processing device and an outside information processing device. The on-vehicle information processing device has an image information acquisition part, a position information acquisition part and an on-vehicle information control part. The outside information processing device has an outside information control part and a storage processing part. And, at least one of the on-vehicle information control part and the outside information control part determines a travel direction of a vehicle, based on a peripheral image information taken from an end part of the vehicle by the image information acquisition part when the vehicle travels forward in the first or second direction and at least one of positions information of the first or second end part acquired by the position information acquisition part.SELECTED DRAWING: Figure 3

Description

本発明の実施形態は、情報処理システム、車載情報処理装置、外部情報処理装置、および情報処理方法に関する。 Embodiments of the present invention relate to an information processing system, an in-vehicle information processing device, an external information processing device, and an information processing method.

従来、トラム等の車両（以下、車両という）に設けられた撮像部が撮像した周囲状況を示す撮像画像から、道路の混雑状況や障害物等の存在確認等行い車両の運行に反映させる技術が知られている。トラム等の車両は、車両前後に運転席があり、Ｕターン等を行うことなく前進方向を変えることができる。そのため、車両前後の運転席等には、それぞれ、撮像部が設けられ、いずれの方向に前進する場合でも撮像画像が取得できるように構成されている場合がある。そして、車両の前後に撮像部を備える場合、車両の進行方向に応じて前後の撮像部の動作を切り替える技術が種々提案されている。 Conventionally, there is a technology that confirms the congestion status of roads and the existence of obstacles, etc. from the captured image showing the surrounding conditions captured by the imaging unit provided in a vehicle such as a tram (hereinafter referred to as a vehicle) and reflects it in the operation of the vehicle. Are known. Vehicles such as trams have driver's seats in front of and behind the vehicle, and can change the forward direction without making a U-turn or the like. Therefore, the driver's seats and the like in the front and rear of the vehicle may each be provided with an image pickup unit so that the captured image can be acquired regardless of the direction in which the vehicle moves forward. When the image pickup units are provided in the front and rear of the vehicle, various techniques for switching the operation of the front and rear image pickup units according to the traveling direction of the vehicle have been proposed.

特開２０１８−４２２０５号公報Japanese Unexamined Patent Publication No. 2018-42205 特開２０１６−１７０７０８号公報Japanese Unexamined Patent Publication No. 2016-170708 特開２００５−１９３６９９号公報Japanese Unexamined Patent Publication No. 2005-193699 特開２０１６−６６８５５号公報Japanese Unexamined Patent Publication No. 2016-6855 特開２０１１−２３８１５１号公報Japanese Unexamined Patent Publication No. 2011-238151

しかしながら、上述の従来技術は、車両の設計段階から切替システムが組み込まれた構成であり、システムの煩雑化やコストアップの原因となる場合があった。また、車両の対応年数は数十年にも及ぶ場合があるが、この場合、既存の車両に容易に切替システムを適用することができないという問題もある。また、撮像部の切り替えを手動で行うことができるものもあるが、切り替え忘れ等の人為的ミスを招き易く、対策が必要であった。 However, the above-mentioned conventional technology has a configuration in which a switching system is incorporated from the vehicle design stage, which may cause the system to become complicated and costly to increase. In addition, the vehicle may last for several decades, but in this case, there is a problem that the switching system cannot be easily applied to the existing vehicle. In addition, although there are some that can manually switch the imaging unit, human error such as forgetting to switch is likely to occur, and countermeasures are required.

そこで、本発明が解決しようとする課題は、車両の前後に撮像部を備える場合に、既存の構成を用いて車両の進行方向を判定可能とし、撮像した撮像画像のいずれが前進時の撮像画像であるかを認識させやすくすることができる技術を提供することである。 Therefore, the problem to be solved by the present invention is that when the image pickup units are provided in front of and behind the vehicle, the traveling direction of the vehicle can be determined by using the existing configuration, and which of the captured images is captured when moving forward. It is to provide a technology that can make it easier to recognize whether or not it is.

実施形態にかかる情報処理システムは、例えば、車載情報処理装置と、外部情報処理装置と、を含む。車載情報処理装置は、車両前後方向の一方を第１方向として前進走行可能であるとともに、他方を第２方向として前進走行可能な車両に搭載されている。また、車載情報処理装置は、画像情報取得部と、位置情報取得部と、車載情報制御部と、を備える。画像情報取得部は、車両が第１方向に前進走行する場合の端部である第１端部に設けられた第１撮像部が撮像する第１方向を含む第１の周辺画像情報と、第２方向に前進走行する場合の端部である第２端部に設けられた第２撮像部が撮像する第２方向を含む第２の周辺画像情報とを取得可能である。位置情報取得部は、第１端部の位置を示す第１の位置情報と、第２端部の位置を示す第２の位置情報とを取得可能である。車載情報制御部は、周辺画像情報と位置情報とを車両取得情報として、外部情報処理装置に送信する。外部情報処理装置は、車載情報処理装置との間で情報の送受を行い情報の処理を行う。また、外部情報処理装置は、外部情報制御部と、記憶処理部と、を備える。外部情報制御部は、車載情報処理装置から送信される車両取得情報を受信し、当該車両取得情報に所定処理を実行する。記憶処理部は、所定処理の実行後の車両取得情報を記憶装置に記憶させる。そして、車載情報制御部と外部情報制御部との少なくとも一方は、周辺画像情報と位置情報の少なくとも一方に基づいて、車両の進行方向を判定する。 The information processing system according to the embodiment includes, for example, an in-vehicle information processing device and an external information processing device. The in-vehicle information processing device is mounted on a vehicle capable of traveling forward with one of the front-rear directions of the vehicle as the first direction and traveling forward with the other as the second direction. Further, the in-vehicle information processing device includes an image information acquisition unit, a position information acquisition unit, and an in-vehicle information control unit. The image information acquisition unit includes first peripheral image information including a first direction imaged by a first image pickup unit provided at the first end portion, which is an end portion when the vehicle travels forward in the first direction, and a first peripheral image information. It is possible to acquire the second peripheral image information including the second direction imaged by the second imaging unit provided at the second end portion, which is the end portion when traveling forward in two directions. The position information acquisition unit can acquire the first position information indicating the position of the first end portion and the second position information indicating the position of the second end portion. The in-vehicle information control unit transmits peripheral image information and position information as vehicle acquisition information to an external information processing device. The external information processing device sends and receives information to and from the in-vehicle information processing device and processes the information. Further, the external information processing device includes an external information control unit and a storage processing unit. The external information control unit receives the vehicle acquisition information transmitted from the in-vehicle information processing device, and executes a predetermined process on the vehicle acquisition information. The storage processing unit stores the vehicle acquisition information after the execution of the predetermined processing in the storage device. Then, at least one of the in-vehicle information control unit and the external information control unit determines the traveling direction of the vehicle based on at least one of the peripheral image information and the position information.

図１は、実施形態にかかる情報処理システムの構成を示す例示的かつ模式的な図である。FIG. 1 is an exemplary and schematic diagram showing a configuration of an information processing system according to an embodiment. 図２は、実施形態にかかる情報処理システムを適用可能な車両の端部車両の運転席における構成を示す例示的かつ模式的な図である。FIG. 2 is an exemplary and schematic diagram showing a configuration in the driver's seat of a vehicle at the end of a vehicle to which the information processing system according to the embodiment can be applied. 図３は、実施形態にかかる情報処理システムを構成する車載情報処理装置と外部情報処理装置の構成を示す例示的かつ模式的なブロック図である。FIG. 3 is an exemplary and schematic block diagram showing the configurations of an in-vehicle information processing device and an external information processing device constituting the information processing system according to the embodiment. 図４は、実施形態にかかる情報処理システムにおいて、車両進行方向を車両の端部間の距離に基づいて判定することを示す例示的かつ模式的な図である。FIG. 4 is an exemplary and schematic diagram showing that in the information processing system according to the embodiment, the vehicle traveling direction is determined based on the distance between the ends of the vehicle. 図５は、実施形態にかかる情報処理システムにおいて、車両進行方向が図４の場合と異なる場合に、車両の端部間の距離に基づいて車両進行方向を判定することを示す例示的かつ模式的な図である。FIG. 5 is an exemplary and schematic showing that in the information processing system according to the embodiment, when the vehicle traveling direction is different from the case of FIG. 4, the vehicle traveling direction is determined based on the distance between the ends of the vehicle. It is a figure. 図６は、実施形態にかかる情報処理システムにおいて、車両進行方向を、周辺画像情報を用いた測距により判定することを示す例示的かつ模式的な図である。FIG. 6 is an exemplary and schematic diagram showing that in the information processing system according to the embodiment, the vehicle traveling direction is determined by distance measurement using peripheral image information. 図７は、実施形態にかかる情報処理システムにおいて、車両進行方向が図６の場合と異なる場合に、周辺画像情報を用いた測距により車両進行方向を判定することを示す例示的かつ模式的な図である。FIG. 7 is an exemplary and schematic diagram showing that in the information processing system according to the embodiment, when the vehicle traveling direction is different from the case of FIG. 6, the vehicle traveling direction is determined by distance measurement using peripheral image information. It is a figure. 図８は、実施形態にかかる情報処理システムにおいて、車両進行方向を、車両が特定領域に進入する際の状況に基づいて判定することを示す例示的かつ模式的な図である。FIG. 8 is an exemplary and schematic diagram showing that in the information processing system according to the embodiment, the vehicle traveling direction is determined based on the situation when the vehicle enters a specific area. 図９は、実施形態にかかる情報処理システムにおいて、車両進行方向が図８の場合と異なる場合に、車両が特定領域に進入する際の状況に基づいて車両進行方向を判定することを示す例示的かつ模式的な図である。FIG. 9 is an example showing that in the information processing system according to the embodiment, when the vehicle traveling direction is different from the case of FIG. 8, the vehicle traveling direction is determined based on the situation when the vehicle enters a specific area. And it is a schematic diagram. 図１０は、実施形態にかかる情報処理システムにおいて、車載情報処理装置における処理の流れを示す例示的かつ模式的なフローチャートである。FIG. 10 is an exemplary and schematic flowchart showing a processing flow in the in-vehicle information processing apparatus in the information processing system according to the embodiment. 図１１は、実施形態にかかる情報処理システムにおいて、外部情報処理装置における処理の流れを示す例示的かつ模式的なフローチャートである。FIG. 11 is an exemplary and schematic flowchart showing the flow of processing in the external information processing apparatus in the information processing system according to the embodiment.

以下、本発明の実施形態について、図面を参照して説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に限られるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The configurations of the embodiments described below, and the actions and results (effects) brought about by the configurations are merely examples, and are not limited to the contents described below.

図１は、本実施形態にかかる情報処理システム１００の全体構成を示す例示的かつ模式的な図である。図１に示すように、本実施形態にかかる情報処理システム１００は、一例として専用レーン（不図示）を走行する車両、例えば、トラム１０に搭載された車載情報処理装置１２と、トラム１０の運行を管理する運行管理センター等に設置された外部情報処理装置１４と、で構成される。トラム１０に搭載された車載情報処理装置１２と外部情報処理装置１４とは、無線基地局１６を介して、無線通信可能である。外部情報処理装置１４は、例えば、車載情報処理装置１２が取得した各種情報を処理、管理するサーバであってもよい。 FIG. 1 is an exemplary and schematic diagram showing the overall configuration of the information processing system 100 according to the present embodiment. As shown in FIG. 1, the information processing system 100 according to the present embodiment operates, for example, a vehicle traveling in a dedicated lane (not shown), for example, an in-vehicle information processing device 12 mounted on a tram 10 and an operation of the tram 10. It is composed of an external information processing device 14 installed in an operation control center or the like that manages the above. The in-vehicle information processing device 12 and the external information processing device 14 mounted on the tram 10 can wirelessly communicate with each other via the radio base station 16. The external information processing device 14 may be, for example, a server that processes and manages various information acquired by the in-vehicle information processing device 12.

外部情報処理装置１４は、車載情報処理装置１２で取得された情報に対して画像解析や演算を実行することで、トラム１０や当該トラム１０の軌道の周囲状況（周囲の自動車や自転車等による渋滞や歩行者等に混雑)を示す状況データ、天候や時間帯による遅延データ、障害物の存在データ、周辺監視データ等を取得して、トラム１０の運行に反映させることができる。この場合、取得された周辺画像情報が、トラム１０の端部車両Ａと端部車両Ｂのいずれを先頭として走行したときに撮像されたか不明な場合、正しい解析、判定ができない場合がある。そこで、本実施形態の場合、車載情報処理装置１２側（後述する車載情報制御部２６）または外部情報処理装置１４側（後述する外部情報制御部２８）の少なくともいずれか一方で、トラム１０の進行方向を判定する処理を実行する。そして、取得した周辺画像情報が、トラム１０の端部車両Ａと端部車両Ｂのいずれを先頭として走行したときに撮像されたかを特定することで、取得した周辺画像情報の精度及び周辺画像情報に基づく情報の精度を向上するようにしている。 The external information processing device 14 executes image analysis and calculation on the information acquired by the in-vehicle information processing device 12, and thereby performs the surrounding conditions of the tram 10 and the track of the tram 10 (congestion due to surrounding automobiles, bicycles, etc.). It is possible to acquire status data indicating (congestion to pedestrians and the like), delay data due to weather and time zone, existence data of obstacles, peripheral monitoring data, etc., and reflect them in the operation of the tram 10. In this case, if it is unclear which of the end vehicle A and the end vehicle B of the tram 10 is taken as the head of the acquired peripheral image information, correct analysis and determination may not be possible. Therefore, in the case of the present embodiment, the tram 10 progresses on at least one of the vehicle-mounted information processing device 12 side (vehicle-mounted information control unit 26 described later) and the external information processing device 14 side (external information control unit 28 described later). Execute the process of determining the direction. Then, by specifying which of the end vehicle A and the end vehicle B of the tram 10 is taken as the head of the acquired peripheral image information, the accuracy of the acquired peripheral image information and the peripheral image information are specified. We are trying to improve the accuracy of information based on.

トラム１０は、車両前後に運転席があり、Ｕターン等を行うことなく前進方向を変えることができる。図１の場合、トラム１０は、中間車両Ｃを挟み、前後に端部車両Ａ，Ｂが配置されて構成される３両編成の車両である。別の実施形態では、端部車両Ａ，Ｂのみの２両編成としてもよいし、中間車両Ｃを増やして４両以上の編成としてもよい。 The tram 10 has driver's seats in front of and behind the vehicle, and can change the forward direction without making a U-turn or the like. In the case of FIG. 1, the tram 10 is a three-car train formed by sandwiching the intermediate vehicle C and arranging the end vehicles A and B in the front and rear. In another embodiment, a two-car train consisting of only the end cars A and B may be formed, or an intermediate car C may be increased to form a train consisting of four or more cars.

端部車両Ａ，Ｂには、走行中にトラム１０の進行方向の周辺状況や障害物の検出等を実行するために利用する周辺画像を撮像するための撮像部１８が配置されている。すなわち、図１に示すように、端部車両Ａには、撮像部１８ａ(第１撮像部)が配置されている。そして、端部車両Ａを先頭車両として、トラム１０の前後方向の一方である第１方向ＡＦに走行させる場合には、第１方向ＡＦの周辺画像(第１の周辺画像情報)が撮像可能となっている。同様に、端部車両Ｂには、撮像部１８ｂ(第２撮像部)が配置されている。そして、端部車両Ｂを先頭車両として、トラム１０の前後方向の他方、すなわち第１方向ＡＦの逆方向である第２方向ＢＦに走行させる場合には、第２方向ＢＦの周辺画像(第２の周辺画像情報)が撮像可能となっている。撮像部１８は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラとすることができる。撮像部１８は、所定のフレームレートで動画データを出力することができる。撮像部１８は、それぞれ、広角レンズまたは魚眼レンズを有し、トラム１０の進行方向について、広範囲の画像情報を逐次撮像することができる。撮像部１８で撮像された撮像画像データは、周辺画像情報として、逐次、車載情報処理装置１２に提供される。なお，本実施形態の場合、車載情報処理装置１２は、主として進行方向(前方)の周辺画像情報が取得できればよいが、進行方向とは逆方向（後方）の周辺画像情報も同時に取得してもよい。したがって、外部情報処理装置１４においては、進行方向(前方)の周辺画像情報と、進行方向とは逆方向（後方）の周辺画像情報とを保存することができる。 The end vehicles A and B are provided with an imaging unit 18 for capturing a peripheral image used for detecting the peripheral condition of the tram 10 in the traveling direction, obstacles, and the like while traveling. That is, as shown in FIG. 1, an imaging unit 18a (first imaging unit) is arranged on the end vehicle A. Then, when the end vehicle A is used as the leading vehicle and the tram 10 is driven in the first direction AF, which is one of the front and rear directions, the peripheral image (first peripheral image information) of the first direction AF can be captured. It has become. Similarly, an imaging unit 18b (second imaging unit) is arranged on the end vehicle B. Then, when the end vehicle B is used as the leading vehicle and the tram 10 is driven in the other direction of the tram 10 in the front-rear direction, that is, in the second direction BF which is the opposite direction of the first direction AF, the peripheral image of the second direction BF (second). (Peripheral image information) can be imaged. The image pickup unit 18 can be, for example, a digital camera incorporating an image pickup element such as a CCD (Charge Coupled Device) or a CIS (CMOS Image Sensor). The imaging unit 18 can output moving image data at a predetermined frame rate. The imaging unit 18 has a wide-angle lens or a fisheye lens, respectively, and can sequentially capture a wide range of image information in the traveling direction of the tram 10. The captured image data captured by the imaging unit 18 is sequentially provided to the in-vehicle information processing device 12 as peripheral image information. In the case of the present embodiment, the in-vehicle information processing apparatus 12 mainly needs to be able to acquire peripheral image information in the traveling direction (front), but it may also acquire peripheral image information in the direction opposite to the traveling direction (rear) at the same time. Good. Therefore, in the external information processing device 14, the peripheral image information in the traveling direction (forward) and the peripheral image information in the direction opposite to the traveling direction (rear) can be stored.

図２には、トラム１０の端部車両Ａの運転席１０ａにおける構成が例示的かつ模式的に示されている。なお、トラム１０の端部車両Ｂの運転席の構成は、端部車両Ａの運転席１０ａは実質的に同じであるため、端部車両Ａの運転席１０ａの説明を行い、端部車両Ｂの運転席の説明は省略する。本実施形態の情報処理システム１００では、後述するが、撮像部１８で撮像した撮像データに基づき、距離測定(測距)を行うため、撮像部１８ａは、例えば、運転席１０ａのフロントウインドウ１０ｂにおいて、車幅方向に離間して配置された２つの撮像部１８ａ１、撮像部１８ａ２でステレオ視が可能なステレオカメラを構成している。端部車両Ｂの運転席における位置情報受信部２０ｂも同様にステレオカメラで構成されている。なお、撮像部１８とは別に、レーザー計測装置やミリ波レーダー装置等のように比較的長距離の測距が可能な測距センサを備えてもよい。この場合、撮像部１８は、周囲状況の確認が可能な単眼カメラで構成することができる。また、単眼カメラで撮像した周辺画像情報に基づいて、対象物までの距離を策定するようにしてもよい。 FIG. 2 schematically and schematically shows the configuration of the end vehicle A of the tram 10 in the driver's seat 10a. Since the configuration of the driver's seat of the end vehicle B of the tram 10 is substantially the same as that of the driver's seat 10a of the end vehicle A, the driver's seat 10a of the end vehicle A will be described, and the end vehicle B will be described. The explanation of the driver's seat is omitted. In the information processing system 100 of the present embodiment, as will be described later, in order to measure the distance (distance measurement) based on the image pickup data captured by the image pickup unit 18, the image pickup unit 18a is, for example, in the front window 10b of the driver's seat 10a. The two imaging units 18a1 and the imaging unit 18a2 arranged apart from each other in the vehicle width direction constitute a stereo camera capable of stereo viewing. Similarly, the position information receiving unit 20b in the driver's seat of the end vehicle B is also composed of a stereo camera. In addition to the imaging unit 18, a distance measuring sensor capable of measuring a relatively long distance, such as a laser measuring device or a millimeter wave radar device, may be provided. In this case, the imaging unit 18 can be configured with a monocular camera capable of confirming the surrounding conditions. Further, the distance to the object may be determined based on the peripheral image information captured by the monocular camera.

また、端部車両Ａ，Ｂには、端部車両Ａの位置及び端部車両Ｂの位置を示す位置情報を取得する位置情報受信部２０として、位置情報受信部２０ａ及び位置情報受信部２０ｂが配置されている。位置情報受信部２０は、例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を受信可能なＧＰＳアンテナであり、位置や、その位置を通過した通過時刻等の情報を取得可能である。本実施形態の場合、位置情報受信部２０ａは、端部車両Ａの先端部の位置を検出できるように、図２に示されるように、運転席１０ａの撮像部１８の近傍に配置されている。位置情報受信部２０ｂも同様であり、端部車両Ｂの先端部の位置を検出できるように、端部車両Ｂの運転席に配置される撮像部１８ｂの近傍に配置される。したがって、車載情報処理装置１２においては、端部車両Ａの端部位置と、当該端部位置から数ｍ〜十数ｍ離間した位置の端部車両Ｂの端部位置と、を個別の位置情報として認識することができる。位置情報受信部２０で取得された位置情報は、逐次、車載情報処理装置１２に提供される。 Further, in the end vehicles A and B, the position information receiving unit 20a and the position information receiving unit 20b are used as the position information receiving unit 20 for acquiring the position of the end vehicle A and the position information indicating the position of the end vehicle B. Have been placed. The position information receiving unit 20 is, for example, a GPS antenna capable of receiving GPS signals from a GPS (Global Positioning System) satellite, and can acquire information such as a position and a passing time passing through the position. In the case of the present embodiment, the position information receiving unit 20a is arranged in the vicinity of the imaging unit 18 of the driver's seat 10a as shown in FIG. 2 so that the position of the tip end portion of the end vehicle A can be detected. .. The same applies to the position information receiving unit 20b, which is arranged in the vicinity of the imaging unit 18b arranged in the driver's seat of the end vehicle B so that the position of the tip end portion of the end vehicle B can be detected. Therefore, in the in-vehicle information processing device 12, individual position information is provided for the end position of the end vehicle A and the end position of the end vehicle B at a position separated from the end position by several meters to a dozen meters. Can be recognized as. The position information acquired by the position information receiving unit 20 is sequentially provided to the in-vehicle information processing device 12.

上述したように、撮像部１８で撮像された周辺画像情報や位置情報受信部２０が取得した位置情報は、車載情報処理装置１２に提供されて処理される。なお、図１、図２に示される例の場合、車載情報処理装置１２が端部車両Ａに配置され、端部車両Ｂ側の撮像部１８ｂが撮像した周辺画像情報や位置情報受信部２０ｂが取得した位置情報等は、車載情報処理装置１２に提供される例が示されている。別の実施形態では、車載情報処理装置１２が端部車両Ｂ側に配置されてもよいし、中間車両Ｃに配置されてもよい。 As described above, the peripheral image information captured by the imaging unit 18 and the position information acquired by the position information receiving unit 20 are provided to the in-vehicle information processing device 12 for processing. In the case of the example shown in FIGS. 1 and 2, the in-vehicle information processing device 12 is arranged in the end vehicle A, and the peripheral image information and the position information receiving unit 20b imaged by the imaging unit 18b on the end vehicle B side are provided. An example is shown in which the acquired position information and the like are provided to the in-vehicle information processing apparatus 12. In another embodiment, the vehicle-mounted information processing device 12 may be arranged on the end vehicle B side or the intermediate vehicle C.

図３は、情報処理システム１００を構成する車載情報処理装置１２と外部情報処理装置１４の構成を示す例示的かつ模式的なブロック図である。 FIG. 3 is an exemplary and schematic block diagram showing the configurations of the in-vehicle information processing device 12 and the external information processing device 14 constituting the information processing system 100.

車載情報処理装置１２は、ＰＣ（Personal Computer）などといった一般的な情報処理装置と同様のコンピュータ資源を有している。車載情報処理装置１２は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶部と、時計機能、通信インターフェースと、入出力インターフェース等で構成されている。ＣＰＵは、車載情報処理装置１２の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムを一時的に記憶したり、各種データを書き換えたりするための記憶媒体である。ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ、記憶部等に格納されたプログラムを実行することで、画像情報取得部２２、位置情報取得部２４、車載情報制御部２６等のモジュールを含む車載情報処理装置１２を実現する。なお、別の実施形態では、画像情報取得部２２、位置情報取得部２４、車載情報制御部２６の全て、または一部を専用のハードウエアで構成してもよい。 The in-vehicle information processing device 12 has the same computer resources as a general information processing device such as a PC (Personal Computer). The in-vehicle information processing device 12 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a storage unit such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive), and the like. It consists of a clock function, a communication interface, an input / output interface, and the like. The CPU comprehensively controls the operation of the in-vehicle information processing device 12. The ROM is a storage medium for storing various programs and data. RAM is a storage medium for temporarily storing various programs and rewriting various data. The CPU includes modules such as an image information acquisition unit 22, a position information acquisition unit 24, and an in-vehicle information control unit 26 by executing a program stored in a ROM, a storage unit, or the like using the RAM as a work area (work area). The in-vehicle information processing device 12 is realized. In another embodiment, all or part of the image information acquisition unit 22, the position information acquisition unit 24, and the vehicle-mounted information control unit 26 may be configured by dedicated hardware.

画像情報取得部２２は、撮像部１８が撮像した撮像画像データを逐次取得する。すなわち、トラム１０の端部車両Ａが第１方向ＡＦに前進走行する場合の端部である第１端部に設けられた撮像部１８ａ（第１撮像部）が撮像する第１方向ＡＦを含む第１の周辺画像情報Ａを逐次取得する。また、画像情報取得部２２は、トラム１０端部車両Ｂが第２方向ＢＦに前進走行する場合の端部である第２端部に設けられた撮像部１８ｂ（第２撮像部）が撮像する第２方向ＢＦを含む第２の周辺画像情報Ｂを逐次取得する。なお、前述したように、本実施形態においては、トラム１０の進行方向に拘わらず、画像情報取得部２２は、撮像部１８ａ及び撮像部１８ｂで撮像した撮像画像データを、逐次取得し、周辺状況の確認や障害物の検出等に利用することができる。また、別の実施形態では、画像情報取得部２２は、トラム１０の進行方向のみの撮像画像データを取得するようにしてもよい。 The image information acquisition unit 22 sequentially acquires the captured image data captured by the imaging unit 18. That is, the end vehicle A of the tram 10 includes the first-direction AF imaged by the imaging unit 18a (first imaging unit) provided at the first end, which is the end when the vehicle A travels forward in the first-direction AF. The first peripheral image information A is sequentially acquired. Further, the image information acquisition unit 22 is imaged by an image pickup unit 18b (second image pickup unit) provided at the second end portion, which is an end portion when the tram 10 end vehicle B travels forward in the second direction BF. The second peripheral image information B including the second direction BF is sequentially acquired. As described above, in the present embodiment, regardless of the traveling direction of the tram 10, the image information acquisition unit 22 sequentially acquires the captured image data captured by the imaging unit 18a and the imaging unit 18b, and the surrounding situation. It can be used for confirmation of and detection of obstacles. Further, in another embodiment, the image information acquisition unit 22 may acquire the captured image data only in the traveling direction of the tram 10.

位置情報取得部２４は、トラム１０の端部車両Ａが第１方向ＡＦに前進走行する場合の端部である第１端部の位置を示す第１の位置情報Ａを位置情報受信部２０ａから逐次取得する。また、トラム１０端部車両Ｂが第２方向ＢＦに前進走行する場合の端部である第２端部の位置を示す第２の位置情報Ｂを位置情報受信部２０ｂから逐次取得する。なお、トラム１０の長さ（第１端部から第２端部までの長さ）は、既知なので、位置情報受信部２０ａと位置情報受信部２０ｂのいずれか一方の位置情報で他方の端部位置を算出してもよい。つまり、位置情報受信部２０ａと位置情報受信部２０ｂのいずれか一方を省略してもよい。 The position information acquisition unit 24 receives the first position information A indicating the position of the first end portion, which is the end portion when the end vehicle A of the tram 10 travels forward in the first direction AF, from the position information receiving unit 20a. Acquire sequentially. Further, the second position information B indicating the position of the second end portion, which is the end portion when the tram 10 end vehicle B travels forward in the second direction BF, is sequentially acquired from the position information receiving unit 20b. Since the length of the tram 10 (the length from the first end to the second end) is known, the position information of either the position information receiving unit 20a or the position information receiving unit 20b is used as the other end. The position may be calculated. That is, either one of the position information receiving unit 20a and the position information receiving unit 20b may be omitted.

車載情報制御部２６は、周辺画像情報(第１の周辺画像情報Ａと第２の周辺画像情報Ｂ)と、位置情報(第１の位置情報Ａと第２の位置情報Ｂ)と、を車両取得情報として、外部情報処理装置１４に送信する。外部情報処理装置１４では、画像情報取得部２２が取得した周辺画像情報及び位置情報取得部２４が取得した位置情報を、周辺状況の確認や障害物の存在有無の確認を行うために、各種の画像処理や演算が実行される。また、後述するが、車載情報処理装置１２側でトラム１０の進行方向の判定を行う場合、車載情報制御部２６において周辺画像情報や位置情報を用いて、進行方向の判定処理が実行され、その判定結果が車両取得情報として外部情報処理装置１４に送信される。車載情報制御部２６におけるトラム１０の進行方向の判定の詳細は後述する。逆に、車載情報処理装置１２側でトラム１０の進行方向の判定を行わない場合、または、判定ができなかった場合、車載情報制御部２６は、周辺画像情報および位置情報を外部情報処理装置１４側に提供する情報提供制御部として動作することになる。 The vehicle-mounted information control unit 26 provides vehicle peripheral image information (first peripheral image information A and second peripheral image information B) and position information (first position information A and second position information B). The acquired information is transmitted to the external information processing device 14. In the external information processing device 14, various types of peripheral image information acquired by the image information acquisition unit 22 and position information acquired by the position information acquisition unit 24 are used to confirm the surrounding situation and the presence or absence of obstacles. Image processing and calculations are performed. Further, as will be described later, when the vehicle-mounted information processing device 12 determines the traveling direction of the tram 10, the vehicle-mounted information control unit 26 executes a traveling direction determination process using peripheral image information and position information. The determination result is transmitted to the external information processing device 14 as vehicle acquisition information. Details of the determination of the traveling direction of the tram 10 by the in-vehicle information control unit 26 will be described later. On the contrary, when the vehicle-mounted information processing device 12 does not determine the traveling direction of the tram 10, or when the determination cannot be made, the vehicle-mounted information control unit 26 converts the peripheral image information and the position information into the external information processing device 14. It operates as an information provision control unit provided to the side.

外部情報処理装置１４もまた、ＰＣ（Personal Computer）などといった一般的な情報処理装置と同様のコンピュータ資源を有している。外部情報処理装置１４は、ＣＰＵと、ＲＯＭと、ＲＡＭと、ＨＤＤやＳＳＤ等の記憶部と、時計機能、通信インターフェースと、入出力インターフェース等で構成されている。ＣＰＵは、外部情報処理装置１４の動作を統括的に制御する。ＲＯＭは、各種プログラムやデータを記憶する記憶媒体である。ＲＡＭは、各種プログラムを一時的に記憶したり、各種データを書き換えたりするための記憶媒体である。ＣＰＵは、ＲＡＭをワークエリア（作業領域）としてＲＯＭ、記憶部等に格納されたプログラムを実行することで、外部情報制御部２８、記憶処理部３０等のモジュールを含む外部情報処理装置１４を実現する。なお、別の実施形態では、外部情報制御部２８、記憶処理部３０の両方、または一方を専用のハードウエアで構成してもよい。 The external information processing device 14 also has the same computer resources as a general information processing device such as a PC (Personal Computer). The external information processing device 14 is composed of a CPU, a ROM, a RAM, a storage unit such as an HDD or an SSD, a clock function, a communication interface, an input / output interface, and the like. The CPU comprehensively controls the operation of the external information processing device 14. The ROM is a storage medium for storing various programs and data. RAM is a storage medium for temporarily storing various programs and rewriting various data. The CPU realizes an external information processing device 14 including modules such as an external information control unit 28 and a storage processing unit 30 by executing a program stored in a ROM, a storage unit, or the like using the RAM as a work area (work area). To do. In another embodiment, the external information control unit 28, the storage processing unit 30, or one of them may be configured by dedicated hardware.

外部情報制御部２８は、車載情報処理装置１２から送信される車両取得情報（周辺画像情報や位置情報等）を受信し、当該車両取得情報に所定処理を実行する。例えば、周辺画像情報に画像解析や演算を施すことにより、トラム１０の周辺状況、例えば、軌道上や交差点、停車場等における安全確認処理や障害物等の存在確認処理、走行地区の監視処理等を実行する。また、車載情報処理装置１２側でトラム１０の進行方向の判定が行われない場合や、判定できなかった場合等は、車載情報処理装置１２側から提供された車両取得情報（周辺画像情報や位置情報等）を用いて、トラム１０の進行方向の判定処理が実行される。したがって、車載情報処理装置１２側でトラム１０の進行方向の判定を行わない場合、または、判定ができなかった場合、外部情報制御部２８は、周辺画像情報や位置情報を用いた進行方向判定部としても動作することになる。 The external information control unit 28 receives the vehicle acquisition information (peripheral image information, position information, etc.) transmitted from the vehicle-mounted information processing device 12, and executes a predetermined process on the vehicle acquisition information. For example, by performing image analysis and calculation on the surrounding image information, the surrounding conditions of the tram 10, for example, safety confirmation processing on the track, intersection, stop, etc., existence confirmation processing of obstacles, monitoring processing of the traveling area, etc. Execute. In addition, when the traveling direction of the tram 10 is not determined on the in-vehicle information processing device 12 side, or when the determination cannot be made, the vehicle acquisition information (peripheral image information and position) provided by the in-vehicle information processing device 12 side. Information and the like) are used to execute the determination process of the traveling direction of the tram 10. Therefore, if the vehicle-mounted information processing device 12 does not determine the traveling direction of the tram 10, or if the determination cannot be made, the external information control unit 28 uses the peripheral image information and the position information to determine the traveling direction. Will also work.

外部情報制御部２８は、トラム１０の進行方向に判定を行う場合、記憶装置３２に保持されたマップデータ３２ａを用いて、現在のトラム１０のマップ上の位置の特定を行ったり、トラム１０の進行方向を判定する場合に利用するランドマークの位置を抽出したり、当該ランドマークとトラム１０の位置関係の算出等を行う。また、外部情報制御部２８は、トラム１０の進行方向の判定を行う場合、記憶装置３２に保持されたルートデータ３２ｂを用いて、トラム１０の軌道上の特定領域、例えば始点ゾーンや終点ゾーンの位置とトラム１０の位置との比較を行う。外部情報制御部２８におけるトラム１０の進行方向の判定の詳細は後述する。 When determining the traveling direction of the tram 10, the external information control unit 28 uses the map data 32a held in the storage device 32 to specify the position of the current tram 10 on the map, or the tram 10 The position of the landmark used when determining the traveling direction is extracted, and the positional relationship between the landmark and the tram 10 is calculated. Further, when the external information control unit 28 determines the traveling direction of the tram 10, the route data 32b held in the storage device 32 is used to determine a specific region on the tram 10's orbit, for example, a start point zone or an end point zone. A comparison is made between the position and the position of the tram 10. Details of the determination of the traveling direction of the tram 10 by the external information control unit 28 will be described later.

記憶処理部３０は、外部情報制御部２８において所定処理の実行後の車両取得情報を記憶装置３２の運行管理データ３２ｃに記憶させる。例えば、トラム１０の運行中に取得した、周辺画像情報として、周囲の歩行者の混雑状況や周囲の車両(自動車や自転車等)の渋滞時の状況データ、天候や時間帯による遅延データ、障害物の存在データ、周辺監視データ等を逐次、運行管理データ３２ｃに記憶し、トラム１０の運行時に参照可能なデータベースを構築する。この場合、車載情報制御部２６または外部情報制御部２８の少なくともいずれか一方で、トラム１０の進行方向を判定して、周辺画像情報に進行方向を示す情報を付加することで、周辺画像情報の精度、及び周辺画像情報に基づいて生成された各種情報の精度を向上が可能になる。 The storage processing unit 30 stores the vehicle acquisition information after the execution of the predetermined processing in the external information control unit 28 in the operation management data 32c of the storage device 32. For example, as peripheral image information acquired during the operation of tram 10, the congestion status of surrounding pedestrians, the status data at the time of congestion of surrounding vehicles (cars, bicycles, etc.), delay data due to weather and time zone, obstacles, etc. The existence data, peripheral monitoring data, etc. of the vehicle are sequentially stored in the operation management data 32c, and a database that can be referred to when the tram 10 is operated is constructed. In this case, the traveling direction of the tram 10 is determined by at least one of the in-vehicle information control unit 26 and the external information control unit 28, and information indicating the traveling direction is added to the peripheral image information to obtain the peripheral image information. It is possible to improve the accuracy and the accuracy of various information generated based on the peripheral image information.

なお、外部情報処理装置１４には、周辺画像情報や周辺画像情報に基づいて生成された各種情報を表示可能な表示装置１４ａや各種解析や演算を実行する際の指示や情報検索を行う際に利用する入力装置１４ｂ等が接続されている。 It should be noted that the external information processing device 14 has a display device 14a capable of displaying peripheral image information and various information generated based on the peripheral image information, and when performing instructions and information retrieval when executing various analyzes and calculations. The input device 14b or the like to be used is connected.

続いて、図４〜図９を参照して、トラム１０の進行方向を判定する方法について説明する。まず、位置情報取得部２４が取得する位置情報、すなわち、位置情報受信部２０ａが取得する第１の位置情報及び位置情報受信部２０ｂが取得する第２の位置情報を用いた判定方法を説明する。 Subsequently, a method of determining the traveling direction of the tram 10 will be described with reference to FIGS. 4 to 9. First, a determination method using the position information acquired by the position information acquisition unit 24, that is, the first position information acquired by the position information receiving unit 20a and the second position information acquired by the position information receiving unit 20b will be described. ..

上述したように、トラム１０の進行方向の判定は、車載情報処理装置１２側の車載情報制御部２６で実行してもよいし、外部情報処理装置１４側の外部情報制御部２８で実行してもよい。以下の説明では、一例として、車載情報処理装置１２側の車載情報制御部２６で判定処理を実行する例を説明する。 As described above, the determination of the traveling direction of the tram 10 may be executed by the vehicle-mounted information control unit 26 on the vehicle-mounted information processing device 12 side, or executed by the external information control unit 28 on the external information processing device 14 side. May be good. In the following description, as an example, an example in which the vehicle-mounted information control unit 26 on the vehicle-mounted information processing device 12 side executes the determination process will be described.

車載情報制御部２６は、位置情報受信部２０ａ及び位置情報受信部２０ｂが位置計測（ＧＰＳ信号の受信）を行う第１の計測時刻における第１の位置情報と第１の計測時刻から所定期間経過した第２の計測時刻における第２の位置情報とで定まる第１距離を算出する。同様に、車載情報制御部２６は、第１の計測時刻における第２の位置情報と第２の計測時刻における第１の位置情報とで定まる第２距離を算出する。そして、第１距離と第２距離の比較に基づき、トラム１０の進行方向を判定する。以下、図４、図５を用いて、具体的な例を説明する。 The in-vehicle information control unit 26 has elapsed a predetermined period from the first position information and the first measurement time at the first measurement time in which the position information receiving unit 20a and the position information receiving unit 20b perform position measurement (reception of GPS signals). The first distance determined by the second position information at the second measurement time is calculated. Similarly, the vehicle-mounted information control unit 26 calculates a second distance determined by the second position information at the first measurement time and the first position information at the second measurement time. Then, the traveling direction of the tram 10 is determined based on the comparison between the first distance and the second distance. Hereinafter, a specific example will be described with reference to FIGS. 4 and 5.

まず、第１の計測時刻Ｔ０におけるトラム１０の端部車両Ａに搭載された位置情報受信部２０ａで受信されたＧＰＳ座標を座標Ａ０とする。また、第１の計測時刻Ｔ０におけるトラム１０の端部車両Ｂに搭載された位置情報受信部２０ｂで受信されたＧＰＳ座標を座標Ｂ０とする。同様に、第２の計測時刻Ｔ１におけるトラム１０の端部車両Ａに搭載された位置情報受信部２０ａで受信されたＧＰＳ座標を座標Ａ１とする。また、第２の計測時刻Ｔ１におけるトラム１０の端部車両Ｂに搭載された位置情報受信部２０ｂで受信されたＧＰＳ座標を座標Ｂ１とする。ＧＰＳ座標は、緯度経度の極座標で表されるが、地球の赤道方向の半径、及び、南北極方向の半径からＧＰＳ座標間の距離を計算することができる。座標Ａ０と座標Ｂ１の距離Ｌ１をＡ０Ｂ１、座標Ｂ０と座標Ａ１の距離Ｌ２をＢ０Ａ１とした場合に、端部車両Ａ（位置情報受信部２０ａ）が前方として進行した場合には、図４に示されるように、「Ａ０Ｂ１の距離Ｌ１＜Ｂ０Ａ１の距離Ｌ２」の関係が成り立つ。一方、端部車両Ｂ（位置情報受信部２０ｂ）が前方として進行した場合には、図５に示されるように、「Ａ０Ｂ１の距離Ｌ１＞Ｂ０Ａ１の距離Ｌ２」の関係が成り立つ。したがって、距離Ｌ１と距離Ｌ２の関係に基づき、トラム１０の進行方向が判定できる。 First, the GPS coordinates received by the position information receiving unit 20a mounted on the end vehicle A of the tram 10 at the first measurement time T0 are set as the coordinates A0. Further, the GPS coordinates received by the position information receiving unit 20b mounted on the end vehicle B of the tram 10 at the first measurement time T0 are set as the coordinates B0. Similarly, the GPS coordinates received by the position information receiving unit 20a mounted on the end vehicle A of the tram 10 at the second measurement time T1 are set as the coordinates A1. Further, the GPS coordinates received by the position information receiving unit 20b mounted on the end vehicle B of the tram 10 at the second measurement time T1 are set as the coordinates B1. GPS coordinates are represented by polar coordinates of latitude and longitude, but the distance between GPS coordinates can be calculated from the radius in the equatorial direction of the earth and the radius in the north-south pole direction. When the distance L1 between the coordinates A0 and the coordinates B1 is A0B1 and the distance L2 between the coordinates B0 and the coordinates A1 is B0A1, when the end vehicle A (position information receiving unit 20a) moves forward, it is shown in FIG. Therefore, the relationship of "distance L1 of A0B1 <distance L2 of B0A1" is established. On the other hand, when the end vehicle B (position information receiving unit 20b) travels forward, the relationship of "distance L1 of A0B1> distance L2 of B0A1" is established as shown in FIG. Therefore, the traveling direction of the tram 10 can be determined based on the relationship between the distance L1 and the distance L2.

なお、ＧＰＳ座標には誤差が含まれるため、「Ａ０Ｂ０間の距離＝Ａ１Ｂ１間の距離＝真値（トラム１０の長さ）」であることを条件に進行方向判定を行う等、誤差を意識したフィルタリング処理や、条件成立が連続して一定回数以上続いた場合(例えば、連続して５回以上)、最終判定を行うようにすることで、判定の信頼性を向上することができる。 Since the GPS coordinates include an error, the error is taken into consideration, such as determining the traveling direction on the condition that "distance between A0B0 = distance between A1B1 = true value (length of tram 10)". The reliability of the determination can be improved by performing the filtering process or the final determination when the condition is continuously satisfied a certain number of times or more (for example, five times or more continuously).

このように、位置情報受信部２０ａから提供される第１の位置情報及び位置情報受信部２０ｂから提供される第２の位置情報を用いた判定方法の場合、トラム１０が移動している場合であれば、新たなハードウエアの追加を行うことなく、位置座標のみを用いた演算により、トラム１０の進行方向を判定可能である。その結果、撮像部１８ａ及び撮像部１８ｂで撮像している周辺画像情報について、トラム１０がいずれの方向に移動している場合に撮像されたものであるかを識別し、管理することができる。この場合、トラム１０の進行方向に判定には、周辺画像情報を用いないため、判定時の周囲環境、例えば、明るさや天候等に影響されることなく、トラム１０の進行方向の判定を行うことができるというメリットを有する。また、既存の車両（トラム）についても、後付けで、進行方向の判定機能を持たせることができる。また、新規に車両（トラム）を設計する場合でもシステムや構成のシンプル化が可能となり、コストダウンに寄与することができる。 As described above, in the case of the determination method using the first position information provided by the position information receiving unit 20a and the second position information provided by the position information receiving unit 20b, the tram 10 is moving. If there is, it is possible to determine the traveling direction of the tram 10 by calculation using only the position coordinates without adding new hardware. As a result, it is possible to identify and manage the peripheral image information captured by the imaging unit 18a and the imaging unit 18b in which direction the tram 10 is moving. In this case, since the peripheral image information is not used for determining the traveling direction of the tram 10, the traveling direction of the tram 10 is determined without being affected by the surrounding environment at the time of determination, for example, brightness or weather. It has the merit of being able to do it. In addition, existing vehicles (trams) can also be retrofitted with a function for determining the direction of travel. In addition, even when designing a new vehicle (tram), the system and configuration can be simplified, which can contribute to cost reduction.

続いて、画像情報取得部２２が取得する撮像部１８ａまたは撮像部１８ｂから提供される周辺画像情報(第１の周辺画像情報または第２の周辺画像情報)に基づいて、特定物体までの距離を測定（測距）して得られる距離情報を用いた判定方法を説明する。 Subsequently, the distance to the specific object is determined based on the peripheral image information (first peripheral image information or second peripheral image information) provided by the imaging unit 18a or the imaging unit 18b acquired by the image information acquisition unit 22. A determination method using the distance information obtained by measurement (distance measurement) will be described.

この場合も一例として、車載情報処理装置１２側の車載情報制御部２６で判定処理を実行する例を説明する。図２で説明したように、本実施形態の撮像部１８は、ステレオカメラである。撮像部１８ａ１および撮像部１８ａ２は、トラム１０の車幅方向に隔てられて配置されている。そして、撮像部１８ａ１および撮像部１８ａ２は、実質的に同じ撮像範囲を撮像するように設定されるとともに、同期信号により同じタイミングで同じ特定物体の撮像を実行するように構成されている。その結果、画像情報取得部２２は、撮像部１８ａ１および撮像部１８ａ２により同じシーンのステレオ画像が取得可能である。そして、車載情報制御部２６は、周知のステレオマッチング技術や三角測量技術を用いて、取得したステレオ画像の視差に基づき、撮像領域に含まれる、特定物体までの距離を算出することができる。 Also in this case, as an example, an example in which the vehicle-mounted information control unit 26 on the vehicle-mounted information processing device 12 side executes the determination process will be described. As described with reference to FIG. 2, the imaging unit 18 of the present embodiment is a stereo camera. The imaging unit 18a1 and the imaging unit 18a2 are arranged so as to be separated from each other in the vehicle width direction of the tram 10. The imaging unit 18a1 and the imaging unit 18a2 are set to image substantially the same imaging range, and are configured to perform imaging of the same specific object at the same timing by a synchronization signal. As a result, the image information acquisition unit 22 can acquire a stereo image of the same scene by the imaging unit 18a1 and the imaging unit 18a2. Then, the in-vehicle information control unit 26 can calculate the distance to a specific object included in the imaging region based on the parallax of the acquired stereo image by using a well-known stereo matching technique or triangulation technique.

この判定処理の場合、車載情報制御部２６は、第１の撮像時刻に、例えば、端部車両Ａ側に搭載された撮像部１８ａで撮像した周辺画像情報に含まれる特定物体、例えば路側に設置されている道路標識や看板、または、建造物等のランドマークまでの第１物体距離を算出する。同様に、車載情報制御部２６は、第１の撮像時刻から所定期間経過した第２の撮像時刻に、第１物体距離を算出するときに用いた第１の周辺画像情報を撮像した撮像部１８ａが撮像した第１の周辺画像情報に含まれる同じ特定対象物までの第２物体距離を算出する。そして、第１物体距離と第２物体距離の変化(比較による差分)に基づき、トラム１０の進行方向を判定する。以下、図６、図７を用いて、具体的な例を説明する。 In the case of this determination process, the vehicle-mounted information control unit 26 is installed at the first imaging time, for example, on a specific object included in the peripheral image information captured by the imaging unit 18a mounted on the end vehicle A side, for example, on the roadside. Calculate the distance of the first object to a landmark such as a road sign or signboard or a building. Similarly, the in-vehicle information control unit 26 captures the first peripheral image information used when calculating the first object distance at the second imaging time when a predetermined period has elapsed from the first imaging time, the imaging unit 18a. Calculates the second object distance to the same specific object included in the first peripheral image information captured by. Then, the traveling direction of the tram 10 is determined based on the change (difference by comparison) between the first object distance and the second object distance. Hereinafter, a specific example will be described with reference to FIGS. 6 and 7.

例えば、図６の上段に示されるように、第１の撮像時刻Ｔ０に、端部車両Ａに搭載された撮像部１８ａで撮像した第１の周辺画像情報を、車載情報制御部２６において、周知の画像処理やパターンマッチング等に基づき、予め車載情報処理装置１２のＲＯＭやＳＳＤ等に辞書登録された認識対象物である特定物体４０(例えば、道路標識)が検出された場合を考える。この場合、車載情報制御部２６は、特定物体４０と撮像部１８ａ（端部車両Ａの端部部分）との間の第１物体距離Ｄ０（特定物体４０の中心等に対する基準距離）をステレオ画像の視差に基づき算出する。 For example, as shown in the upper part of FIG. 6, at the first imaging time T0, the vehicle-mounted information control unit 26 disseminates the first peripheral image information imaged by the imaging unit 18a mounted on the end vehicle A. Consider a case where a specific object 40 (for example, a road sign), which is a recognition target object registered in a dictionary in advance in the ROM, SSD, or the like of the in-vehicle information processing apparatus 12, is detected based on the image processing, pattern matching, or the like. In this case, the vehicle-mounted information control unit 26 sets a stereo image of the first object distance D0 (reference distance with respect to the center of the specific object 40) between the specific object 40 and the imaging unit 18a (the end portion of the end vehicle A). Calculated based on the parallax of.

次に、図６の下段に示されるように、第２の撮像時刻Ｔ１に、端部車両Ａに搭載された撮像部１８ａで撮像した第１の周辺画像情報に、第１の撮像時刻Ｔ０に撮像したときと同じ特定物体４０が検出された場合を考える。この場合も、車載情報制御部２６は、特定物体４０と撮像部１８ａ（端部車両Ａの端部部分）との間の第２物体距離Ｄ１（特定物体４０の中心等に対する基準距離）をステレオ画像の視差に基づき算出する。 Next, as shown in the lower part of FIG. 6, at the second imaging time T1, the first peripheral image information captured by the imaging unit 18a mounted on the end vehicle A is added to the first peripheral image information at the first imaging time T0. Consider the case where the same specific object 40 as when the image was taken is detected. In this case as well, the vehicle-mounted information control unit 26 sets the second object distance D1 (reference distance with respect to the center of the specific object 40) between the specific object 40 and the image pickup unit 18a (the end portion of the end vehicle A) in stereo. Calculated based on the parallax of the image.

このとき、特定物体４０が移動しない前提の場合、図６の上段と下段を比較し、「第２物体距離Ｄ１＜第１物体距離Ｄ０」の関係が成り立つ場合には、撮像部１８ａ、すなわち端部車両Ａが特定物体４０に近づいている（特定物体４０に向かって走行している）ことになる。したがって、車載情報制御部２６は、端部車両Ａ側が前方であると判定することができる。 At this time, if it is assumed that the specific object 40 does not move, the upper and lower stages of FIG. 6 are compared, and if the relationship of "second object distance D1 <first object distance D0" is established, the imaging unit 18a, that is, the end The vehicle A is approaching the specific object 40 (running toward the specific object 40). Therefore, the vehicle-mounted information control unit 26 can determine that the end vehicle A side is in front.

一方、図７の上段と下段に示されるように、「第２物体距離Ｄ１＞第１物体距離Ｄ０」の関係が成り立つ場合には、撮像部１８ａ、すなわち端部車両Ａが特定物体４０から遠ざかっている（特定物体４０から離れるように走行している）ことになる。したがって、車載情報制御部２６は、端部車両Ｂ側が前方であると判定することができる。 On the other hand, as shown in the upper and lower rows of FIG. 7, when the relationship of "second object distance D1> first object distance D0" is established, the imaging unit 18a, that is, the end vehicle A moves away from the specific object 40. (Running away from the specific object 40). Therefore, the vehicle-mounted information control unit 26 can determine that the end vehicle B side is in front.

端部車両Ｂ側の撮像部１８ｂで、別の特定物体４０までの距離を測距する場合も同様に、トラム１０の進行方向の判定を行うことができる。このように、特定物体４０に対する距離を測定する場合、端部車両Ａ側の撮像部１８ａまたは端部車両Ｂ側の撮像部１８ｂのいずれか一方を用いて判定することができる。他の実施形態では、端部車両Ａ側の撮像部１８ａで撮像した第１の周辺画像情報に基づき、ある特定物体４０までの測距を行う。また同時に、端部車両Ｂ側の撮像部１８ｂで撮像した第２の周辺画像情報に基づき、他の特定物体４０までの測距を行う。そして、それぞれの測距結果に基づきトラム１０の進行方向の仮判定を行い、判定結果が一致した場合に、本判定を行うことで、判定精度の向上を図ることができる。 Similarly, when the imaging unit 18b on the end vehicle B side measures the distance to another specific object 40, the traveling direction of the tram 10 can be determined. In this way, when measuring the distance to the specific object 40, it can be determined by using either the image pickup unit 18a on the end vehicle A side or the image pickup unit 18b on the end vehicle B side. In another embodiment, distance measurement is performed up to a specific object 40 based on the first peripheral image information captured by the image pickup unit 18a on the end vehicle A side. At the same time, distance measurement is performed up to another specific object 40 based on the second peripheral image information captured by the imaging unit 18b on the end vehicle B side. Then, a provisional determination of the traveling direction of the tram 10 is performed based on each distance measurement result, and when the determination results match, this determination is performed to improve the determination accuracy.

なお、特定物体４０として、標識、看板、建造物等の他、信号機、横断歩道、路面の進行方向矢印等、移動しない物体やマーク（指標）等であれば、ランドマークとして利用することができる。つまり、トラム１０が走行中であれば、ほとんどの場合、トラム１０の進行方向の判定を行うことができる。また、位置情報取得部２４が取得する端部車両Ａや端部車両Ｂの位置情報に基づき、現在のトラム１０の位置の近傍に存在する特定物体４０を予め探索しておくことが可能である。この場合、位置情報に基づき探索しておいた特定物体４０に接近した時に、第１の撮像時刻Ｔ０及び第２の撮像時刻Ｔ１を設定する。その結果、確実かつ効率的に特定物体４０までの第１物体距離Ｄ０及び第２物体距離Ｄ１を測距することが可能になり、第１の撮像時刻Ｔ０及び第２物体距離Ｄ１の算出精度を向上することができる。また、トラム１０が所定の軌道上を走行しているため、トラム１０の現在の位置が分かれば、その位置で撮像した周辺画像情報において、特定物体４０の存在する位置が概ね推定できる。したがって、車載情報制御部２６において、測距処理を実行する場合に、周辺画像情報上で処理対象とする領域の限定が可能で、車載情報制御部２６の処理負荷を軽減することが可能となる。 As the specific object 40, in addition to signs, signboards, buildings, etc., non-moving objects such as traffic lights, pedestrian crossings, road surface direction arrows, marks (indicators), etc. can be used as landmarks. .. That is, if the tram 10 is traveling, the traveling direction of the tram 10 can be determined in most cases. Further, it is possible to search in advance the specific object 40 existing in the vicinity of the current position of the tram 10 based on the position information of the end vehicle A and the end vehicle B acquired by the position information acquisition unit 24. .. In this case, the first imaging time T0 and the second imaging time T1 are set when the specific object 40 searched based on the position information is approached. As a result, it becomes possible to reliably and efficiently measure the first object distance D0 and the second object distance D1 to the specific object 40, and the calculation accuracy of the first imaging time T0 and the second object distance D1 can be obtained. Can be improved. Further, since the tram 10 is traveling on a predetermined orbit, if the current position of the tram 10 is known, the position where the specific object 40 exists can be roughly estimated from the peripheral image information captured at that position. Therefore, when the in-vehicle information control unit 26 executes the distance measurement process, it is possible to limit the area to be processed on the peripheral image information, and it is possible to reduce the processing load of the in-vehicle information control unit 26. ..

このように、撮像部１８から提供される周辺画像情報を用いた判定方法の場合、トラム１０が移動している場合であれば、撮像部１８ａと撮像部１８ｂの少なくとも一方の周辺画像情報に基づく処理により、新たなハードウエアの追加を行うことなく、トラム１０の進行方向を判定可能である。その結果、撮像部１８ａ及び撮像部１８ｂで撮像している周辺画像情報について、トラム１０がいずれの方向に移動している場合に撮像されたものであるかを識別し、管理することができる。また、この場合、トラム１０の進行方向の判定自体には、位置情報を用いないため、例えば、トラム１０がトンネルや建物の中に進入した場合、ビル群の中を走行している場合等、ＧＰＳ信号の受信が困難な場所を走行している場合でも、トラム１０の進行方向の判定を行うことができるというメリットを有する。また、既存の車両（トラム）についても、後付けで、進行方向の判定機能を持たせることができる。また、新規に車両（トラム）を設計する場合でもシステムや構成のシンプル化が可能となり、コストダウンに寄与することができる。 As described above, in the case of the determination method using the peripheral image information provided by the imaging unit 18, if the tram 10 is moving, it is based on the peripheral image information of at least one of the imaging unit 18a and the imaging unit 18b. By the processing, the traveling direction of the tram 10 can be determined without adding new hardware. As a result, it is possible to identify and manage the peripheral image information captured by the imaging unit 18a and the imaging unit 18b in which direction the tram 10 is moving. Further, in this case, since the position information is not used for determining the traveling direction of the tram 10, for example, when the tram 10 enters a tunnel or a building, or when the tram 10 is traveling in a group of buildings, etc. Even when traveling in a place where it is difficult to receive GPS signals, there is an advantage that the traveling direction of the tram 10 can be determined. In addition, existing vehicles (trams) can also be retrofitted with a function for determining the direction of travel. In addition, even when designing a new vehicle (tram), the system and configuration can be simplified, which can contribute to cost reduction.

続いて、さらに別の判定処理として、位置情報取得部２４が取得する位置情報、すなわち、位置情報受信部２０ａまたは位置情報受信部２０ｂが取得する位置像情報(第１の位置情報または第２の位置情報)に基づいて、特定領域への進入状況によって、折り返し走行を行う場合の、トラム１０の進行方向の判定方法を説明する。 Subsequently, as yet another determination process, the position information acquired by the position information acquisition unit 24, that is, the position image information (first position information or second position information) acquired by the position information receiving unit 20a or the position information receiving unit 20b. A method of determining the traveling direction of the tram 10 when the tram 10 is to be turned back according to the approaching situation to the specific area based on the position information) will be described.

この場合も一例として、車載情報処理装置１２側の車載情報制御部２６で判定処理を実行する例を説明する。この判定処理の場合、車載情報制御部２６は、トラム１０が走行軌道上で折り返す走行するために進入する特定領域に対する、第１の位置情報または第２の位置情報の位置に基づき、折り返し走行を行う場合の、トラム１０の進行方向を判定する。以下、図８、図９を用いて、具体的な例を説明する。 Also in this case, as an example, an example in which the vehicle-mounted information control unit 26 on the vehicle-mounted information processing device 12 side executes the determination process will be described. In the case of this determination process, the vehicle-mounted information control unit 26 performs the turn-back running based on the position of the first position information or the second position information with respect to the specific area to which the tram 10 enters to turn back on the running track. When this is done, the traveling direction of the tram 10 is determined. Hereinafter, a specific example will be described with reference to FIGS. 8 and 9.

走行軌道上で折り返す走行するために進入する特定領域として、例えば、始点ゾーンＳ、終点ゾーンＥがある。ある時刻Ｔ０におけるトラム１０の端部車両Ａに搭載された位置情報受信部２０ａで受信されたＧＰＳ座標を座標Ａ０とする。また、時刻Ｔ０におけるトラム１０の端部車両Ｂに搭載された位置情報受信部２０ｂで受信されたＧＰＳ座標を座標Ｂ０とする。同様に、時刻Ｔ０より後の時刻Ｔ１におけるトラム１０の端部車両Ａに搭載された位置情報受信部２０ａで受信されたＧＰＳ座標を座標Ａ１とする。また、時刻Ｔ１におけるトラム１０の端部車両Ｂに搭載された位置情報受信部２０ｂで受信されたＧＰＳ座標を座標Ｂ１とする。ここで、始点ゾーンＳは、２次元の平面の範囲で定義する場合や、道路やレール上にマップマッチングした場合には、例えば、キロポストによる１次元での範囲を定義することができるが、本実施形態では、他の例として、車載情報制御部２６が備える位置変換機能を用いて位置補正を行い、道路上へマップマッチングする例を用いる。始点ゾーンＳをルート上のキロポストでのゾーンとした場合、図８に示されるように、始点ゾーンＳは、Ｓ０キロポストとＳ１キロポストの範囲とすることができる。 For example, there are a start point zone S and an end point zone E as specific areas to enter in order to turn around on the traveling track. Let the GPS coordinates received by the position information receiving unit 20a mounted on the end vehicle A of the tram 10 at a certain time T0 be the coordinates A0. Further, the GPS coordinates received by the position information receiving unit 20b mounted on the end vehicle B of the tram 10 at time T0 are set as the coordinates B0. Similarly, the GPS coordinates received by the position information receiving unit 20a mounted on the end vehicle A of the tram 10 at the time T1 after the time T0 are set as the coordinates A1. Further, the GPS coordinates received by the position information receiving unit 20b mounted on the end vehicle B of the tram 10 at time T1 are set as the coordinates B1. Here, when the start point zone S is defined in the range of a two-dimensional plane, or when map matching is performed on a road or rail, for example, the range in one dimension by a kilometer post can be defined. In the embodiment, as another example, an example is used in which position correction is performed using the position conversion function provided in the vehicle-mounted information control unit 26 and map matching is performed on the road. When the starting point zone S is a zone at a kilometer post on the route, the starting point zone S can be in the range of S0 kilometer post and S1 kilometer post, as shown in FIG.

時刻Ｔ０において、端部車両Ａに搭載された位置情報受信部２０ａで受信されたＧＰＳ座標（座標Ａ０）をマップマッチングした結果(補正した結果)をマップマッチング座標Ａ０’として、キロポスト換算した値をＡ０Ｋキロポストとする。ここで、Ｓ０＜Ａ０Ｋ＜Ｓ１となれば、マップマッチング座標Ａ０’が始点ゾーンＳに侵入したといえる。図８の上段の場合、マップマッチング座標Ａ０’は、まだ始点ゾーンＳに侵入していない状態である。一方、図８の下段は、時刻Ｔ１の状態であり、端部車両Ａに搭載された位置情報受信部２０ａで受信されたＧＰＳ座標（座標Ａ１）をマップマッチングした結果をマップマッチング座標Ａ１’として、キロポスト換算した値をＡ１Ｋキロポストとする。ここで、Ｓ０＜Ａ１Ｋ＜Ｓ１となれば、マップマッチング座標Ａ１’が始点ゾーンＳに侵入したといえる。つまり、マップマッチング座標Ａ１’が先に始点ゾーンＳ入ったため、折り返し運転により次にトラム１０が発車する際の先頭は端部車両Ｂ側となる。 At time T0, the result of map matching (correction result) of the GPS coordinates (coordinates A0) received by the position information receiving unit 20a mounted on the end vehicle A is set as the map matching coordinates A0', and the value converted into kilometer posts is used. A0K kilometer post. Here, if S0 <A0K <S1, it can be said that the map matching coordinate A0'has entered the start point zone S. In the case of the upper part of FIG. 8, the map matching coordinate A0'is in a state where it has not yet entered the start point zone S. On the other hand, the lower part of FIG. 8 shows the state at time T1, and the result of map matching the GPS coordinates (coordinates A1) received by the position information receiving unit 20a mounted on the end vehicle A is used as the map matching coordinates A1'. , The value converted to the kilometer post is defined as A1K kilometer post. Here, if S0 <A1K <S1, it can be said that the map matching coordinate A1'has entered the start point zone S. That is, since the map matching coordinate A1'enters the start point zone S first, the head of the next tram 10 to depart due to the turn-back operation is the end vehicle B side.

また、始点ゾーンＳに端部車両Ｂが先に入る場合、ある時刻Ｔ１において、端部車両Ｂに搭載された位置情報受信部２０ｂで受信されたＧＰＳ座標（座標Ｂ１）をマップマッチングした結果をマップマッチング座標Ｂ１’として、キロポスト換算した値をＢ１Ｋキロポストとする。ここで、Ｓ０＜Ｂ１Ｋ＜Ｓ１となれば、マップマッチング座標Ｂ１’が始点ゾーンＳに侵入ことになる。つまり、マップマッチング座標Ｂ１’が先に始点ゾーンＳ入ったため、折り返し運転により次にトラム１０が発車する際の先頭は端部車両Ａ側となる。 Further, when the end vehicle B enters the start point zone S first, the result of map matching the GPS coordinates (coordinates B1) received by the position information receiving unit 20b mounted on the end vehicle B at a certain time T1 is obtained. As the map matching coordinate B1', the value converted to the kilometer post is defined as the B1K kilometer post. Here, if S0 <B1K <S1, the map matching coordinate B1'invades the start point zone S. That is, since the map matching coordinate B1'enters the start point zone S first, the head of the next tram 10 to depart due to the turn-back operation is the end vehicle A side.

なお、例えば、トラム１０の始点ゾーンＳへの進入速度が高い場合等は、マップマッチング座標Ａ１’とマップマッチング座標Ｂ１’が同時に始点ゾーンＳに入るような場合がある。この場合は、この方法を用いた判定は不可とする。 For example, when the entry speed of the tram 10 into the start point zone S is high, the map matching coordinate A1'and the map matching coordinate B1'may enter the start point zone S at the same time. In this case, the determination using this method is not possible.

図９には、終点ゾーンＥとトラム１０の関係が示されている。図９に示されるように、終点ゾーンＥは、Ｅ０キロポストとＥ１キロポストの範囲とすることができる。時刻Ｔ０において、端部車両Ｂに搭載された位置情報受信部２０ｂで受信されたＧＰＳ座標（座標Ｂ０）をマップマッチングした結果をマップマッチング座標Ｂ０’として、キロポスト換算した値をＢ０Ｋキロポストとする。ここで、Ｅ０＜Ｂ０Ｋ＜Ｅ１となれば、マップマッチング座標Ｅ０’が終点ゾーンＥに侵入したといえる。図９の上段の場合、マップマッチング座標Ｂ０’は、まだ終点ゾーンＥに侵入していない状態である。一方、図９の下段は、時刻Ｔ１の状態であり、端部車両Ｂに搭載された位置情報受信部２０ｂで受信されたＧＰＳ座標（座標Ｂ１）をマップマッチングした結果をマップマッチング座標Ｂ１’として、キロポスト換算した値をＢ１Ｋキロポストとする。ここで、Ｓ０＜Ｂ１Ｋ＜Ｓ１となれば、マップマッチング座標Ｂ１’が終点ゾーンＥに侵入したといえる。つまり、マップマッチング座標Ｂ１’が先に終点ゾーンＥ入ったため、折り返し運転により次にトラム１０が発車する際の先頭は端部車両Ａ側となる。 FIG. 9 shows the relationship between the end point zone E and the tram 10. As shown in FIG. 9, the end point zone E can be in the range of E0 kilometer post and E1 kilometer post. At time T0, the result of map matching the GPS coordinates (coordinates B0) received by the position information receiving unit 20b mounted on the end vehicle B is defined as the map matching coordinates B0', and the value converted into kilometer posts is defined as B0K kilometer post. Here, if E0 <B0K <E1, it can be said that the map matching coordinate E0'has entered the end point zone E. In the case of the upper part of FIG. 9, the map matching coordinate B0'is in a state where it has not yet entered the end point zone E. On the other hand, the lower part of FIG. 9 shows the state at time T1, and the result of map matching the GPS coordinates (coordinates B1) received by the position information receiving unit 20b mounted on the end vehicle B is used as the map matching coordinates B1'. , The value converted to kilometer post is defined as B1K kilometer post. Here, if S0 <B1K <S1, it can be said that the map matching coordinate B1'has entered the end point zone E. That is, since the map matching coordinate B1'enters the end point zone E first, the head of the next tram 10 to depart due to the turn-back operation is the end vehicle A side.

また、終点ゾーンＥに端部車両Ａが先に入る場合、ある時刻Ｔ１において、端部車両Ａに搭載された位置情報受信部２０ａで受信されたＧＰＳ座標（座標Ａ１）をマップマッチングした結果をマップマッチング座標Ａ１’として、キロポスト換算した値をＡ１Ｋキロポストとする。ここで、Ｅ０＜Ａ１Ｋ＜Ｅ１となれば、マップマッチング座標Ａ１’が終点ゾーンＥに侵入ことになる。つまり、マップマッチング座標Ａ１’が先に終点ゾーンＥ入ったため、折り返し運転により次にトラム１０が発車する際の先頭は端部車両Ｂ側となる。 Further, when the end vehicle A enters the end point zone E first, the result of map matching of the GPS coordinates (coordinates A1) received by the position information receiving unit 20a mounted on the end vehicle A at a certain time T1 is obtained. As the map matching coordinate A1', the value converted to the kilometer post is defined as A1K kilometer post. Here, if E0 <A1K <E1, the map matching coordinate A1'invades the end point zone E. That is, since the map matching coordinate A1'enters the end point zone E first, the head of the next tram 10 to depart due to the turn-back operation is the end vehicle B side.

このように、特定領域とトラム１０の位置関係に基づいた判定方法の場合、トラム１０が特定領域に進入する場合であれば、新たなハードウエアの追加を行うことなく、トラム１０が折り返し運転を行うときに次に出発す際の進行方向を判定可能である。その結果、トラム１０が折り返し運転したり、折り返し運転時に運転者が代わったりした場合でも、撮像部１８ａ及び撮像部１８ｂで撮像している周辺画像情報が、いずれの方向に移動している場合に撮像されたものであるかを識別し、管理することができる。また、既存の車両（トラム）についても、後付けで、進行方向の判定機能を持たせることができる。また、新規に車両（トラム）を設計する場合でもシステムや構成のシンプル化が可能となり、コストダウンに寄与することができる。 In this way, in the case of the determination method based on the positional relationship between the specific area and the tram 10, if the tram 10 enters the specific area, the tram 10 performs a turn-back operation without adding new hardware. It is possible to determine the direction of travel when departing next time. As a result, even if the tram 10 is turned back or the driver is replaced during the turn-back operation, the peripheral image information captured by the imaging unit 18a and the imaging unit 18b is moving in either direction. It is possible to identify and manage whether it is an imaged image. In addition, existing vehicles (trams) can also be retrofitted with a function for determining the direction of travel. In addition, even when designing a new vehicle (tram), the system and configuration can be simplified, which can contribute to cost reduction.

なお、上述した各例では、トラム１０の進行方向の判定を車載情報処理装置１２側（車載情報制御部２６側）で実行する例を示したが、画像情報取得部２２で取得する周辺画像情報及び位置情報取得部２４で取得する位置情報等を外部情報処理装置１４側（外部情報制御部２８側）に送信して、外部情報処理装置１４側（外部情報制御部２８側）で同様な判定処理を実行するようにしてもよい。この場合、車載情報処理装置１２側の負荷、特に車載情報制御部２６の負荷を軽減することが可能で、車載情報処理装置１２のコストダウンに寄与することができる。また、判定処理ごとに、車載情報処理装置１２と外部情報処理装置１４で分担して行ってもよい。 In each of the above examples, the determination of the traveling direction of the tram 10 is executed on the vehicle-mounted information processing device 12 side (vehicle-mounted information control unit 26 side), but the peripheral image information acquired by the image information acquisition unit 22 is shown. And the position information acquired by the position information acquisition unit 24 is transmitted to the external information processing device 14 side (external information control unit 28 side), and the same determination is made on the external information processing device 14 side (external information control unit 28 side). The process may be executed. In this case, the load on the vehicle-mounted information processing device 12 side, particularly the load on the vehicle-mounted information control unit 26 can be reduced, which can contribute to the cost reduction of the vehicle-mounted information processing device 12. Further, each determination process may be shared between the in-vehicle information processing device 12 and the external information processing device 14.

また、上述した例では、車載情報処理装置１２から周辺画像情報を逐次外部情報処理装置１４に送信する例を示したが、例えば、車載情報処理装置１２の記憶装置に周辺画像情報を一次保存し、所定のタイミング、例えば、折り返し運転時や乗員の交代時、業務終了時等に、送信または、可搬型の媒体を用いて、外部情報処理装置１４に提供するようにしてもよい。 Further, in the above-described example, the peripheral image information is sequentially transmitted from the in-vehicle information processing device 12 to the external information processing device 14, but for example, the peripheral image information is temporarily stored in the storage device of the in-vehicle information processing device 12. , At a predetermined timing, for example, at the time of turn-back operation, change of occupants, end of business, etc., the information may be provided to the external information processing apparatus 14 by transmission or by using a portable medium.

以上にように構成される情報処理システム１００によるトラム１０の進行方向の判定処理の手順の一例を図１０及び図１１のフローチャートを用いて説明する。まず、図１０に示すフローチャートでは、車載情報処理装置１２側（車載情報制御部２６側）で始めに図６、図７で説明した特定物体４０を用いた判定を行う。そして、図１１に示すフローチャートにおいて、外部情報処理装置１４側（外部情報制御部２８側）で、必要に応じて他の判定を行う例を説明する。なお、画像情報取得部２２及び位置情報取得部２４は、トラム１０の運行中（一時停止中も含む）、常時、撮像部１８ａ，１８ｂから周辺画像情報を取得するとともに(画像情報取得ステップ)、位置情報受信部２０ａ，２０ｂから位置情報を取得するものとする(位置情報取得ステップ)。なお、図１０、図１１のフローチャートに示す処理は、所定の処理周期で繰り返し実行されるものとする。 An example of the procedure for determining the traveling direction of the tram 10 by the information processing system 100 configured as described above will be described with reference to the flowcharts of FIGS. 10 and 11. First, in the flowchart shown in FIG. 10, the vehicle-mounted information processing device 12 side (vehicle-mounted information control unit 26 side) first makes a determination using the specific object 40 described with reference to FIGS. 6 and 7. Then, in the flowchart shown in FIG. 11, an example in which another determination is performed on the external information processing device 14 side (external information control unit 28 side) as necessary will be described. The image information acquisition unit 22 and the position information acquisition unit 24 constantly acquire peripheral image information from the image pickup units 18a and 18b while the tram 10 is in operation (including during temporary stop) (image information acquisition step). It is assumed that the position information is acquired from the position information receiving units 20a and 20b (position information acquisition step). The processes shown in the flowcharts of FIGS. 10 and 11 are assumed to be repeatedly executed at a predetermined processing cycle.

まず、車載情報処理装置１２の車載情報制御部２６では、トラム１０の進行方向の判定タイミングであるかを確認する（Ｓ１００）。判定タイミングは、予め定められたタイミング、例えば、休止状態からトラム１０が走行を開始する場合（始発時）や、走行開始後の所定時間ごと（例えば、数分ごと、数時間ごと、半日ごと等）、所定位置を通過するごと、等で設定することができる。進行方向の判定タイミングではない場合（Ｓ１００のＮｏ）、このフローを一旦終了し、次の処理周期で再度判定タイミングかの判定を行う。 First, the vehicle-mounted information control unit 26 of the vehicle-mounted information processing device 12 confirms whether it is the determination timing of the traveling direction of the tram 10 (S100). The determination timing is a predetermined timing, for example, when the tram 10 starts running from a hibernation state (at the time of the first train), or every predetermined time after the start of running (for example, every few minutes, every few hours, every half day, etc.) ), Every time it passes a predetermined position, etc., it can be set. If it is not the determination timing in the traveling direction (No in S100), this flow is temporarily terminated, and the determination timing is determined again in the next processing cycle.

一方、Ｓ１００において、進行方向の判定タイミングである場合（Ｓ１００のＹｅｓ）、車載情報制御部２６は、画像情報取得部２２が取得した周辺画像情報を用いた測距処理を実行する（Ｓ１０２）。測距の結果、計測対象物、つまり所定の特定物体４０が検出された場合（Ｓ１０４のＹｅｓ）、１周期前の対象物（特定物体４０）との距離と比較して今回の距離が小さいか否か判定する（Ｓ１０６）。今回の距離(第２の撮像時刻Ｔ１のときの距離)が前回の距離(第１の撮像時刻Ｔ０のときの距離)より小さい場合（Ｓ１０６のＹｅｓ）、測距処理を行った周辺画像情報を撮像した撮像部が存在する端部車両側が前方であると判定する（Ｓ１０８：判定ステップ）。例えば、図６に示すように、測距処理に端部車両Ａの撮像部１８ａが撮像した第１の周辺画像情報が利用されている場合で、第２物体距離Ｄ１＜第１物体距離Ｄ０となった場合、端部車両Ａが進行方向（前側）であると判定する。 On the other hand, in S100, when it is the determination timing of the traveling direction (Yes in S100), the vehicle-mounted information control unit 26 executes the distance measurement process using the peripheral image information acquired by the image information acquisition unit 22 (S102). When a measurement object, that is, a predetermined specific object 40 is detected as a result of distance measurement (Yes in S104), is the distance this time smaller than the distance to the object (specific object 40) one cycle before? Whether or not it is determined (S106). When the current distance (distance at the second imaging time T1) is smaller than the previous distance (distance at the first imaging time T0) (Yes in S106), the peripheral image information subjected to the distance measuring process is displayed. It is determined that the vehicle side at the end where the imaged image pickup unit is present is in front (S108: determination step). For example, as shown in FIG. 6, when the first peripheral image information captured by the imaging unit 18a of the end vehicle A is used for the distance measuring process, the second object distance D1 <first object distance D0. If this is the case, it is determined that the end vehicle A is in the traveling direction (front side).

トラム１０の進行方向の判定が完了した場合、車載情報制御部２６は、判定を行ったときの位置情報（撮像部１８ａの第１の周辺画像情報で判定を行った場合は、位置情報受信部２０ａの第１の位置情報）を取得する（Ｓ１１０）。そして、車載情報制御部２６は、位置情報と判定結果を外部情報処理装置１４側に送信して（Ｓ１１２：車載情報制御ステップ）、車載情報処理装置１２側における判定処理を一旦終了する。 When the determination of the traveling direction of the tram 10 is completed, the vehicle-mounted information control unit 26 receives the position information at the time of the determination (when the determination is made based on the first peripheral image information of the imaging unit 18a, the position information receiving unit). The first position information of 20a) is acquired (S110). Then, the vehicle-mounted information control unit 26 transmits the position information and the determination result to the external information processing device 14 side (S112: vehicle-mounted information control step), and temporarily ends the determination process on the vehicle-mounted information processing device 12 side.

Ｓ１０６において、今回の距離が前回の距離より小さくない場合（Ｓ１０６のＮｏ）、１周期前の対象物（特定物体４０）との距離と比較して今回の距離が大きいか否か判定する（Ｓ１１４）。今回の距離が前回の距離より大きい場合（Ｓ１１４のＹｅｓ）、測距処理を行った周辺画像情報を撮像した撮像部が存在する端部車両側が後方であると判定する（Ｓ１１６：判定ステップ）。例えば、図７に示すように、測距処理に端部車両Ａの撮像部１８ａが撮像した第１の周辺画像情報が利用されている場合で、第２物体距離Ｄ１＞第１物体距離Ｄ０となった場合、端部車両Ｂが進行方向前側であると判定する。そして、Ｓ１１０に移行して、Ｓ１１０以降の処理を実行し、一旦このフローを終了する。 In S106, when the current distance is not smaller than the previous distance (No in S106), it is determined whether or not the current distance is larger than the distance to the object (specific object 40) one cycle before (S114). ). When the current distance is larger than the previous distance (Yes in S114), it is determined that the end vehicle side where the image pickup unit that has captured the peripheral image information subjected to the distance measurement process is located is behind (S116: determination step). For example, as shown in FIG. 7, when the first peripheral image information captured by the imaging unit 18a of the end vehicle A is used for the distance measuring process, the second object distance D1> the first object distance D0. If this is the case, it is determined that the end vehicle B is on the front side in the traveling direction. Then, the process shifts to S110, the processing after S110 is executed, and this flow is temporarily terminated.

Ｓ１１４において、今回の距離が前回の距離より大きくない場合（Ｓ１１４のＮｏ）、つまり、トラム１０が停車していたり、低速移動していたりする場合で、第１の撮像時刻Ｔ０のときの第１物体距離Ｄ０と第２の撮像時刻Ｔ１のときの第２物体距離Ｄ１とで明確に差がない場合である。この場合、車載情報制御部２６は、周辺画像情報を用いたトラム１０の進行方向の判定は不能と判定して（Ｓ１１８：判定ステップ）、Ｓ１１０に移行して、以降の処理を実行し、一旦このフローを終了する。すなわち、車載情報処理装置１２側では、トラム１０の進行方向の判定ができないことを外部情報処理装置１４に報告する。また、Ｓ１０４において、測定対象物（特定物体４０）が抽出できない場合（Ｓ１０４のＮｏ）、例えば、周囲が暗い場合や、トラム１０の速度が早すぎて、第１の撮像時刻Ｔ０と第２の撮像時刻Ｔ１とで、同じ測定対象物（特定物体４０）を抽出できなかった場合等である。この場合は、Ｓ１１８に移行して、車載情報制御部２６は、周辺画像情報を用いたトラム１０の進行方向の判定は不能と判定する。そして、Ｓ１１０に移行して、以降の処理を実行し、一旦このフローを終了する。すなわち、車載情報処理装置１２側では、トラム１０の進行方向の判定ができないことを外部情報処理装置１４に報告する。 In S114, when the current distance is not larger than the previous distance (No in S114), that is, when the tram 10 is stopped or moving at a low speed, the first image at the first imaging time T0. This is a case where there is no clear difference between the object distance D0 and the second object distance D1 at the second imaging time T1. In this case, the vehicle-mounted information control unit 26 determines that it is impossible to determine the traveling direction of the tram 10 using the peripheral image information (S118: determination step), shifts to S110, executes the subsequent processing, and once. End this flow. That is, the in-vehicle information processing device 12 reports to the external information processing device 14 that the traveling direction of the tram 10 cannot be determined. Further, in S104, when the measurement object (specific object 40) cannot be extracted (No in S104), for example, when the surroundings are dark or the tram 10 is too fast, the first imaging time T0 and the second imaging time T0 This is a case where the same measurement object (specific object 40) cannot be extracted at the imaging time T1. In this case, moving to S118, the vehicle-mounted information control unit 26 determines that it is impossible to determine the traveling direction of the tram 10 using the peripheral image information. Then, the process proceeds to S110, the subsequent processing is executed, and this flow is temporarily terminated. That is, the in-vehicle information processing device 12 reports to the external information processing device 14 that the traveling direction of the tram 10 cannot be determined.

続いて、図１１のフローチャートを用いて、外部情報処理装置１４側（外部情報制御部２８側）で実行されるトラム１０の進行方向の判定処理について説明する。 Subsequently, the determination process of the traveling direction of the tram 10 executed on the external information processing apparatus 14 side (external information control unit 28 side) will be described with reference to the flowchart of FIG.

まず、外部情報制御部２８は、車載情報処理装置１２側（車載情報制御部２６側）から位置情報と判定結果を受信したか否か判定し（Ｓ２００）、受信している場合で（Ｓ２００のＹｅｓ）、トラム１０の進行方向が確定済みの場合（Ｓ２０２のＹｅｓ）、このフローを一旦終了する。この場合、記憶処理部３０は、現在のトラム１０の進行方向と、車載情報処理装置１２から逐次送信される周辺画像情報とを関連付けて、運行管理データ３２ｃに逐次記憶させる(記憶ステップ)。その結果、周辺画像情報の解析や周辺画像情報を用いた新たな情報の生成の際の精度を向上することができる。なお、Ｓ２００において、車載情報処理装置１２側（車載情報制御部２６側）から位置情報と判定結果を受信していない場合（Ｓ２００のＮｏ）、一旦このフローを終了し、次の処理周期で、Ｓ２００の確認処理を再度実行する。 First, the external information control unit 28 determines whether or not the position information and the determination result have been received from the vehicle-mounted information processing device 12 side (vehicle-mounted information control unit 26 side) (S200), and when the reception is received (S200). Yes), if the traveling direction of the tram 10 has been determined (Yes in S202), this flow is temporarily terminated. In this case, the storage processing unit 30 associates the current traveling direction of the tram 10 with the peripheral image information sequentially transmitted from the in-vehicle information processing device 12, and sequentially stores the peripheral image information in the operation management data 32c (storage step). As a result, it is possible to improve the accuracy when analyzing the peripheral image information and generating new information using the peripheral image information. If the position information and the determination result are not received from the vehicle-mounted information processing device 12 side (vehicle-mounted information control unit 26 side) in S200 (No in S200), this flow is temporarily terminated, and in the next processing cycle, The confirmation process of S200 is executed again.

Ｓ２０２において、車載情報処理装置１２側から受信した判定結果で、トラム１０の進行方向が確定されていない場合（Ｓ２０２のＮｏ）、車載情報処理装置１２側から送信された周辺画像情報および位置情報に基づき、第１の計測時刻Ｔ０及び第２の計測時刻Ｔ１においける端部車両Ａと端部車両Ｂの端部間距離(距離Ｌ１，Ｌ２)を取得（算出）する（Ｓ２０４）。そして、図４で説明したように、Ａ０Ｂ１の距離Ｌ１＜Ｂ０Ａ１の距離Ｌ２の場合（Ｓ２０６のＹｅｓ）、外部情報制御部２８は、端部車両Ａ側が前方であると判定し（Ｓ２０８：判定ステップ）、一旦このフローを終了する。 In S202, when the traveling direction of the tram 10 is not determined in the determination result received from the vehicle-mounted information processing device 12 side (No in S202), the peripheral image information and the position information transmitted from the vehicle-mounted information processing device 12 side are used. Based on this, the distances (distances L1 and L2) between the ends of the end vehicle A and the end vehicle B at the first measurement time T0 and the second measurement time T1 are acquired (calculated) (S204). Then, as described with reference to FIG. 4, when the distance L1 of A0B1 <the distance L2 of B0A1 (Yes in S206), the external information control unit 28 determines that the end vehicle A side is in front (S208: determination step). ), End this flow once.

一方、Ｓ２０６において、Ａ０Ｂ１の距離Ｌ１＜Ｂ０Ａ１の距離Ｌ２ではない場合で（Ｓ２０６のＮｏ）、Ａ０Ｂ１の距離Ｌ１＞Ｂ０Ａ１の距離Ｌ２の場合（Ｓ２１０のＹｅｓ）、外部情報制御部２８は、端部車両Ｂ側が前方であると判定し（Ｓ２１２：判定ステップ）、一旦このフローを終了する。 On the other hand, in S206, when the distance L1 of A0B1 is not <the distance L2 of B0A1 (No of S206) and the distance L1 of A0B1> the distance L2 of B0A1 (Yes of S210), the external information control unit 28 is at the end. It is determined that the vehicle B side is in front (S212: determination step), and this flow is temporarily terminated.

Ｓ２１０において、Ａ０Ｂ１の距離Ｌ１＞Ｂ０Ａ１の距離Ｌ２でもない場合（Ｓ２１０のＮｏ）、つまり、第１の計測時刻Ｔ０と第２の計測時刻Ｔ１との間で、トラム１０が停止している場合や距離の差が極僅かな場合である。この場合、外部情報制御部２８は、特定領域（始点ゾーンや終点ゾーン）を用いた移動方向の判定を行う。すなわち、外部情報制御部２８は、図８、図９で説明した場合と同様に、外部情報制御部２８が備える位置変換機能により、マップデータ３２ａ（デジタルマップ）を用いて、車載情報処理装置１２側から受信したトラム１０の端部車両Ａの位置及び端部車両Ｂの位置にマップマッチング処理を実行して、マップマッチング座標を取得する（Ｓ２１４）。続いて、外部情報制御部２８は、ルートデータ３２ｂを参照し、特定領域（始点ゾーンや終点ゾーン）の位置を取得する（Ｓ２１６）。そして、端部車両Ａ側のマップマッチング座標が特定領域内にある場合（Ｓ２１８のＹｅｓ）、すなわち、特定領域(始点ゾーンや終点ゾーン)に端部車両Ａ側から進入した場合、外部情報制御部２８は、次に特定領域を出発する場合は、端部車両Ｂ側が前方になると判定し（Ｓ２２０：判定ステップ）、一旦このフローを終了する。 In S210, when the distance L1 of A0B1 is not equal to the distance L2 of B0A1 (No of S210), that is, when the tram 10 is stopped between the first measurement time T0 and the second measurement time T1. This is the case when the difference in distance is extremely small. In this case, the external information control unit 28 determines the moving direction using the specific area (start point zone or end point zone). That is, the external information control unit 28 uses the map data 32a (digital map) by the position conversion function provided in the external information control unit 28, as in the case described with reference to FIGS. 8 and 9, the in-vehicle information processing device 12 Map matching processing is executed on the position of the end vehicle A and the position of the end vehicle B of the tram 10 received from the side, and the map matching coordinates are acquired (S214). Subsequently, the external information control unit 28 refers to the route data 32b and acquires the position of the specific area (start point zone or end point zone) (S216). Then, when the map matching coordinates on the end vehicle A side are within the specific area (Yes in S218), that is, when the end vehicle A side enters the specific area (start point zone or end point zone), the external information control unit. When the vehicle departs from the specific area next time, 28 determines that the end vehicle B side is in front (S220: determination step), and temporarily ends this flow.

一方、Ｓ２１８で、端部車両Ａ側のマップマッチング座標が特定領域内にない場合で（Ｓ２１８のＮｏ）、端部車両Ｂ側のマップマッチング座標が特定領域内にある場合（Ｓ２２２のＹｅｓ）、すなわち、特定領域(始点ゾーンや終点ゾーン)に端部車両Ｂ側から進入した場合、外部情報制御部２８は、次に特定領域を出発する場合は、端部車両Ａ側が前方になると判定し（Ｓ２２４：判定ステップ）、一旦このフローを終了する。なお、Ｓ２２２において、端部車両Ｂ側のマップマッチング座標が特定領域内にない場合（Ｓ２２２のＮｏ）、外部情報制御部２８は、トラム１０は、特定領域(始点ゾーンや終点ゾーン)以外の位置に存在し、特定領域を用いた進行方向の判定は不能であると判定し（Ｓ２２６：判定ステップ）、一旦このフローを終了する。Ｓ２２６において、進行方向の判定が不能であると判定された場合でも、次の処理周期において、図１０及び図１１のフローチャートに示す処理が実行されることで、トラム１０の進行方向の再判定は可能である。 On the other hand, in S218, when the map matching coordinates on the end vehicle A side are not in the specific area (No in S218) and the map matching coordinates on the end vehicle B side are in the specific area (Yes in S222). That is, when entering the specific area (start point zone or end point zone) from the end vehicle B side, the external information control unit 28 determines that the end vehicle A side is in front when departing from the specific area next time ( S224: determination step), this flow is temporarily terminated. In S222, when the map matching coordinates on the end vehicle B side are not within the specific area (No in S222), the external information control unit 28 has the tram 10 at a position other than the specific area (start point zone or end point zone). It is determined that it is impossible to determine the traveling direction using the specific region (S226: determination step), and this flow is temporarily terminated. Even if it is determined in S226 that the traveling direction cannot be determined, the tram 10 can be redetermined in the traveling direction by executing the processes shown in the flowcharts of FIGS. 10 and 11 in the next processing cycle. It is possible.

なお、上述した図１０、図１１のフローチャートにおけるトラム１０の進行方向の判定の順番は一例であり、判定順番を特定するものではない。また、判定処理の全てを車載情報処理装置１２の車載情報制御部２６側で行ってもよいし、外部情報処理装置１４の外部情報制御部２８側で行ってもよい。また、車載情報処理装置１２の車載情報制御部２６では、図１０のフローチャートで示す処理とは異なる、図１１のフローチャートで行った判定処理を行うようにしてもよい。 The order of determination of the traveling direction of the tram 10 in the flowcharts of FIGS. 10 and 11 described above is an example, and does not specify the determination order. Further, all of the determination processing may be performed on the vehicle-mounted information control unit 26 side of the vehicle-mounted information processing device 12, or may be performed on the external information control unit 28 side of the external information processing device 14. Further, the in-vehicle information control unit 26 of the in-vehicle information processing device 12 may perform the determination process performed in the flowchart of FIG. 11, which is different from the process shown in the flowchart of FIG.

また、上述した例では、いずれか一つの判定方法で、トラム１０の進行方向が判定した場合、処理を終了させたが、いずれか２種類の判定結果が一致した場合最終判定をするようにしてもよいし、全ての判定結果が出て一致した場合に、最終判定を行うようにしてもよい。つまり、自動運転システムなどで進行方向の判定を行う場合に、信頼度を重視する判定を行うことができる。 Further, in the above-mentioned example, when the traveling direction of the tram 10 is determined by any one of the determination methods, the processing is terminated, but when any two of the determination results match, the final determination is made. Alternatively, the final determination may be made when all the determination results are obtained and match. That is, when the direction of travel is determined by an automatic driving system or the like, it is possible to make a determination that emphasizes reliability.

また、図３では、車載情報処理装置１２側の機能と外部情報処理装置１４側の機能を分離している例を示したが、例えば、車載情報処理装置１２側の外部情報処理装置１４の機能を持たせ、トラム１０側のみで進行方向の判定や取得した周辺画像情報の管理や解析、データ構築を行うようにしてもよい。 Further, FIG. 3 shows an example in which the function on the vehicle-mounted information processing device 12 side and the function on the external information processing device 14 side are separated. For example, the function of the external information processing device 14 on the vehicle-mounted information processing device 12 side is shown. It is also possible to determine the traveling direction, manage and analyze the acquired peripheral image information, and construct the data only on the tram 10 side.

また、本実施形態では、車両の一例としてトラム１０を示したが、これに限定されず、
Ｕターンすることなく進行方向を変えることができる車両、例えば、自動運転車両、建設機械車両、農耕機等に適用可能であり、同様の効果をえることができる。 Further, in the present embodiment, the tram 10 is shown as an example of the vehicle, but the present invention is not limited to this.
It can be applied to vehicles that can change the direction of travel without making a U-turn, for example, an autonomous driving vehicle, a construction machine vehicle, an agricultural machine, and the like, and the same effect can be obtained.

また、車載情報処理装置１２の構成は、可搬型携帯端末、例えば、スマートフォン本体を活用した構成（スマートフォン内部のカメラやＧＰＳ機能、時計機能等）を利用したアプリとして実装されて構成としてもよく、同様の効果を得ることができる。 Further, the configuration of the in-vehicle information processing device 12 may be implemented as an application using a portable mobile terminal, for example, a configuration utilizing the smartphone body (camera, GPS function, clock function, etc. inside the smartphone). A similar effect can be obtained.

また、上述した例では、道路上の位置変換機能やデジタルマップの活用は一例であり、スマートフォンアプリでのマップマッチング方法やカーナビゲーションシステムから取得する方法、その他既存技術を活用した方法としてもよい。 Further, in the above-mentioned example, the utilization of the position conversion function on the road and the digital map is an example, and a map matching method using a smartphone application, a method of acquiring from a car navigation system, or a method utilizing other existing technologies may be used.

以上、本発明のいくつかの実施形態を説明したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described above, the above-described embodiments and modifications are merely examples, and the scope of the invention is not intended to be limited. The above-described embodiment can be implemented in various forms, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiment and its modifications are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and the equivalent scope thereof.

１０ トラム
１２ 車載情報処理装置
１４ 外部情報処理装置
１８，１８ａ，１８ａ１，１８ａ２，１８ｂ 撮像部
２０ 位置情報受信部
２０ａ，２０ｂ 位置情報受信部
２２ 画像情報取得部
２４ 位置情報取得部
２６ 車載情報制御部
２８ 外部情報制御部
３０ 記憶処理部
３２ 記憶装置
３２ａ マップデータ
３２ｂ ルートデータ
３２ｃ 運行管理データ
４０ 特定物体
１００ 情報処理システム 10 Tram 12 In-vehicle information processing device 14 External information processing device 18, 18a, 18a 1, 18a 2, 18b Imaging unit 20 Position information receiving unit 20a, 20b Position information receiving unit 22 Image information acquisition unit 24 Position information acquisition unit 26 In-vehicle information control unit 28 External information control unit 30 Storage processing unit 32 Storage device 32a Map data 32b Route data 32c Operation management data 40 Specific object 100 Information processing system

Claims (7)

車両前後方向の一方を第１方向として前進走行可能であるとともに、他方を第２方向として前進走行可能な車両に搭載された車載情報処理装置と、前記車載情報処理装置との間で情報の送受を行い前記情報の処理を行う外部情報処理装置と、を含む情報処理システムであって、
前記車載情報処理装置は、
前記車両が前記第１方向に前進走行する場合の端部である第１端部に設けられた第１撮像部が撮像する前記第１方向を含む第１の周辺画像情報と、前記第２方向に前進走行する場合の端部である第２端部に設けられた第２撮像部が撮像する前記第２方向を含む第２の周辺画像情報とを取得可能な画像情報取得部と、
前記第１端部の位置を示す第１の位置情報と、前記第２端部の位置を示す第２の位置情報とを取得可能な位置情報取得部と、
前記周辺画像情報と前記位置情報とを車両取得情報として、前記外部情報処理装置に送信する車載情報制御部と、
を備え、
前記外部情報処理装置は、
前記車載情報処理装置から送信される前記車両取得情報を受信し、当該車両取得情報に所定処理を実行する外部情報制御部と、
前記所定処理の実行後の前記車両取得情報を記憶装置に記憶させる記憶処理部と、
を備え、
前記車載情報制御部と前記外部情報制御部との少なくとも一方は、前記周辺画像情報と前記位置情報の少なくとも一方に基づいて、前記車両の進行方向を判定する、情報処理システム。 Information is transmitted and received between the in-vehicle information processing device mounted on the vehicle, which can travel forward with one of the vehicle front-rear directions as the first direction and forward with the other as the second direction. An information processing system including an external information processing device that performs the above-mentioned information processing.
The in-vehicle information processing device is
The first peripheral image information including the first direction imaged by the first imaging unit provided at the first end portion, which is the end portion when the vehicle travels forward in the first direction, and the second direction. An image information acquisition unit capable of acquiring second peripheral image information including the second direction imaged by a second image pickup unit provided at the second end portion, which is an end portion when traveling forward.
A position information acquisition unit capable of acquiring a first position information indicating the position of the first end portion and a second position information indicating the position of the second end portion.
An in-vehicle information control unit that transmits the peripheral image information and the position information as vehicle acquisition information to the external information processing device.
With
The external information processing device
An external information control unit that receives the vehicle acquisition information transmitted from the in-vehicle information processing device and executes a predetermined process on the vehicle acquisition information.
A storage processing unit that stores the vehicle acquisition information after the execution of the predetermined processing in the storage device, and
With
An information processing system in which at least one of the in-vehicle information control unit and the external information control unit determines the traveling direction of the vehicle based on at least one of the peripheral image information and the position information. 前記車載情報制御部と前記外部情報制御部との少なくとも一方は、第１の計測時刻における前記第１の位置情報と前記第１の計測時刻から所定期間経過した第２の計測時刻における前記第２の位置情報とで定まる第１距離と、前記第１の計測時刻における前記第２の位置情報と前記第２の計測時刻における前記第１の位置情報とで定まる第２距離とに基づき、前記車両の進行方向を判定する、請求項１に記載の情報処理システム。 At least one of the in-vehicle information control unit and the external information control unit has the first position information at the first measurement time and the second at the second measurement time when a predetermined period has elapsed from the first measurement time. Based on the first distance determined by the position information of the vehicle and the second distance determined by the second position information at the first measurement time and the first position information at the second measurement time, the vehicle. The information processing system according to claim 1, wherein the information processing system for determining the traveling direction of 前記車載情報制御部と前記外部情報制御部との少なくとも一方は、第１の撮像時刻に撮像した前記周辺画像情報に含まれる特定物体までの第１物体距離と、前記第１の撮像時刻から所定期間経過した第２の撮像時刻に撮像した前記画像情報に含まれる前記特定物体までの第２物体距離の変化に基づき、前記車両の進行方向を判定する、請求項１または請求項２に記載の情報処理システム。 At least one of the in-vehicle information control unit and the external information control unit is predetermined from the first object distance to a specific object included in the peripheral image information captured at the first imaging time and the first imaging time. The first or second aspect of the present invention, wherein the traveling direction of the vehicle is determined based on a change in the distance of the second object to the specific object included in the image information captured at the second imaging time after a period of time has elapsed. Information processing system. 前記車載情報制御部と前記外部情報制御部との少なくとも一方は、前記車両が走行軌道上で折り返す走行するために進入する特定領域に対する、前記第１の位置情報または前記第２の位置情報の位置に基づき、折り返し走行時の前記車両の進行方向を判定する、請求項１から請求項３のいずれか１項に記載の情報処理システム。 At least one of the in-vehicle information control unit and the external information control unit is the position of the first position information or the second position information with respect to a specific area to which the vehicle enters to turn around on the traveling track. The information processing system according to any one of claims 1 to 3, wherein the traveling direction of the vehicle at the time of turning back is determined based on the above. 車両前後方向の一方を第１方向として前進走行可能であるとともに、他方を第２方向として前進走行可能な車両に搭載される車載情報処理装置であって、
前記車両が前記第１方向に前進走行する場合の端部である第１端部に設けられた第１撮像部が撮像する前記第１方向を含む第１の周辺画像情報と、前記第２方向に前進走行する場合の端部である第２端部に設けられた第２撮像部が撮像する前記第２方向を含む第２の周辺画像情報とを取得可能な画像情報取得部と、
前記第１端部の位置を示す第１の位置情報と、前記第２端部の位置を示す第２の位置情報とを取得可能な位置情報取得部と、
前記周辺画像情報と前記位置情報の少なくとも一方に基づいて、前記車両の進行方向を判定する車載情報制御部と、
を備える、車載情報処理装置。 An in-vehicle information processing device mounted on a vehicle capable of traveling forward with one of the front-rear directions of the vehicle as the first direction and traveling forward with the other as the second direction.
The first peripheral image information including the first direction imaged by the first imaging unit provided at the first end portion, which is the end portion when the vehicle travels forward in the first direction, and the second direction. An image information acquisition unit capable of acquiring second peripheral image information including the second direction imaged by a second image pickup unit provided at the second end portion, which is an end portion when traveling forward.
A position information acquisition unit capable of acquiring a first position information indicating the position of the first end portion and a second position information indicating the position of the second end portion.
An in-vehicle information control unit that determines the traveling direction of the vehicle based on at least one of the peripheral image information and the position information.
In-vehicle information processing device. 車両前後方向の一方を第１方向として前進走行可能であるとともに、他方を第２方向として前進走行可能な車両に搭載された車載情報処理装置との間で情報の送受を行い前記情報の処理を行う外部情報処理装置であって、
前記車両が前記第１方向に前進走行する場合の端部である第１端部に設けられた第１撮像部が撮像する前記第１方向を含む第１の周辺画像情報と、前記第２方向に前進走行する場合の端部である第２端部に設けられた第２撮像部が撮像する前記第２方向を含む第２の周辺画像情報と、前記第１端部の位置を示す第１の位置情報と、前記第２端部の位置を示す第２の位置情報と、を車両取得情報として前記車載情報処理装置から取得するとともに、取得した前記車両取得情報に所定処理を実行する外部情報制御部と、
前記所定処理実行後の前記車両取得情報を記憶装置に記憶させる記憶処理部と、
を備え、
前記外部情報制御部は、前記周辺画像情報と前記位置情報の少なくとも一方に基づいて、前記車両の進行方向を判定する、外部情報処理装置。 Information is sent and received to and from an in-vehicle information processing device mounted on a vehicle capable of traveling forward with one of the vehicle front-rear directions as the first direction and forward traveling with the other as the second direction to process the information. It is an external information processing device that performs
The first peripheral image information including the first direction imaged by the first imaging unit provided at the first end portion, which is the end portion when the vehicle travels forward in the first direction, and the second direction. The second peripheral image information including the second direction imaged by the second imaging unit provided at the second end portion, which is the end portion when traveling forward, and the first indicating the position of the first end portion. And the second position information indicating the position of the second end portion are acquired from the in-vehicle information processing device as vehicle acquisition information, and external information for executing a predetermined process on the acquired vehicle acquisition information. Control unit and
A storage processing unit that stores the vehicle acquisition information after executing the predetermined processing in the storage device,
With
The external information control unit is an external information processing device that determines the traveling direction of the vehicle based on at least one of the peripheral image information and the position information. 車両前後方向の一方を第１方向として前進走行可能であるとともに、他方を第２方向として前進走行可能な車両が、前記第１方向に前進走行する場合の端部である第１端部に設けられた第１撮像部が撮像する前記第１方向を含む第１の周辺画像情報と、前記第２方向に前進走行する場合の端部である第２端部に設けられた第２撮像部が撮像する前記第２方向を含む第２の周辺画像情報とを取得する画像情報取得ステップと、
前記第１端部の位置を示す第１の位置情報と、前記第２端部の位置を示す第２の位置情報とを取得する位置情報取得ステップと、
前記周辺画像情報と前記位置情報とを車両取得情報として、外部情報処理装置に送信する車載情報制御ステップと、
前記車両側から送信される前記車両取得情報を受信し、当該車両取得情報に所定処理を実行する外部情報制御ステップと、
前記所定処理実行後の前記車両取得情報を記憶装置に記憶させる記憶ステップと、
を備え、
前記車載情報制御ステップと前記外部情報制御ステップとの少なくとも一方は、前記周辺画像情報と前記位置情報の少なくとも一方に基づいて、前記車両の進行方向を判定する処理を実行する、情報処理理方法。 A vehicle capable of traveling forward with one of the vehicle front-rear directions as the first direction and traveling forward with the other as the second direction is provided at the first end, which is an end when traveling forward in the first direction. The first peripheral image information including the first direction imaged by the first image pickup unit and the second image pickup section provided at the second end portion which is an end portion when traveling forward in the second direction. An image information acquisition step for acquiring a second peripheral image information including the second direction to be imaged, and an image information acquisition step.
A position information acquisition step for acquiring the first position information indicating the position of the first end portion and the second position information indicating the position of the second end portion.
An in-vehicle information control step that transmits the peripheral image information and the position information as vehicle acquisition information to an external information processing device.
An external information control step that receives the vehicle acquisition information transmitted from the vehicle side and executes a predetermined process on the vehicle acquisition information.
A storage step of storing the vehicle acquisition information after executing the predetermined process in the storage device, and
With
An information processing method in which at least one of the in-vehicle information control step and the external information control step executes a process of determining the traveling direction of the vehicle based on at least one of the peripheral image information and the position information.
JP2019198300A 2019-10-31 2019-10-31 Information processing system, in-vehicle information processing device, external information processing device, and information processing method Active JP7358199B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019198300A JP7358199B2 (en) 2019-10-31 2019-10-31 Information processing system, in-vehicle information processing device, external information processing device, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019198300A JP7358199B2 (en) 2019-10-31 2019-10-31 Information processing system, in-vehicle information processing device, external information processing device, and information processing method

Publications (2)

Publication Number Publication Date
JP2021070404A true JP2021070404A (en) 2021-05-06
JP7358199B2 JP7358199B2 (en) 2023-10-10

Family

ID=75712291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019198300A Active JP7358199B2 (en) 2019-10-31 2019-10-31 Information processing system, in-vehicle information processing device, external information processing device, and information processing method

Country Status (1)

Country Link
JP (1) JP7358199B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016049907A (en) * 2014-09-01 2016-04-11 公益財団法人鉄道総合技術研究所 Method and apparatus for determining train passing direction, and method and apparatus for determining train stop position
JP2019078700A (en) * 2017-10-27 2019-05-23 株式会社東芝 Information processor and information processing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016049907A (en) * 2014-09-01 2016-04-11 公益財団法人鉄道総合技術研究所 Method and apparatus for determining train passing direction, and method and apparatus for determining train stop position
JP2019078700A (en) * 2017-10-27 2019-05-23 株式会社東芝 Information processor and information processing system

Also Published As

Publication number Publication date
JP7358199B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
CN109920246B (en) Collaborative local path planning method based on V2X communication and binocular vision
US10403138B2 (en) Traffic accident warning method and traffic accident warning apparatus
US10620317B1 (en) Lidar-based high definition map generation
US10369995B2 (en) Information processing device, information processing method, control device for vehicle, and control method for vehicle
WO2021155685A1 (en) Map updating method, apparatus and device
US20200086764A1 (en) Vehicle control system, vehicle control method, and vehicle control program
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
JP2008139320A (en) Notification apparatus and notification program of road environmental information
US20240017719A1 (en) Mapping method and apparatus, vehicle, readable storage medium, and chip
JP2020074030A (en) Map update device, map update system, map update method, and program
CN114026436B (en) Image processing device, image processing method, and program
CN110462338B (en) Vehicle control system, server device, vehicle control method, and storage medium
CN110794821B (en) Vehicle-mounted control device, field end positioning device, vehicle control system and vehicle
CN116572995A (en) Automatic driving method and device of vehicle and vehicle
JP7358199B2 (en) Information processing system, in-vehicle information processing device, external information processing device, and information processing method
US11548521B2 (en) Systems, methods and vehicles for determining wrong direction driving
US20220165151A1 (en) Traffic jam information providing device, traffic jam information processing method, and recording medium
JP2019070895A (en) Runway recognizer
CN110775054B (en) Vehicle-mounted control device, field end positioning device, vehicle control system and vehicle
WO2021056185A1 (en) Systems and methods for partially updating high-definition map based on sensor data matching
JP2023122597A (en) Information processor, information processing method and program
CN114216469B (en) Method for updating high-precision map, intelligent base station and storage medium
CN112567427A (en) Image processing apparatus, image processing method, and program
US20240233390A9 (en) Identification of unknown traffic objects
CN110794822A (en) Vehicle-mounted control device, field end positioning device, vehicle control system and vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230927

R150 Certificate of patent or registration of utility model

Ref document number: 7358199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150