JP2020021400A - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP2020021400A JP2020021400A JP2018146717A JP2018146717A JP2020021400A JP 2020021400 A JP2020021400 A JP 2020021400A JP 2018146717 A JP2018146717 A JP 2018146717A JP 2018146717 A JP2018146717 A JP 2018146717A JP 2020021400 A JP2020021400 A JP 2020021400A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information processing
- traffic light
- unit
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、信号機の点灯状態を推定する情報処理装置に関する。 The present invention relates to an information processing device for estimating a lighting state of a traffic light.
例えば特許文献1に記載されている信号情報作成方法のように、車両に搭載されたカメラで撮像された画像に基づいて車両の進行方向に対応した信号機の点灯色等の情報を作成することは既に知られている。 For example, it is not possible to generate information such as a lighting color of a traffic light corresponding to a traveling direction of a vehicle based on an image captured by a camera mounted on the vehicle, as in a signal information generating method described in Patent Document 1. Already known.
特許文献1に記載された信号情報作成方法は、あくまで車両の進行方向に対応した信号機に関する情報を作成することしかできない。そのため、例えば交差点において、進行方向の信号機の情報だけでなく、他の信号機の情報を得ようとすると、同じタイミングで他の方向から計測車両等を交差点に進入させたり、交差点付近から目視で信号の動きを観察したり、といった手間のかかる作業が必要となる。つまり、従来の方法では、交差点における他の信号機の情報を得るために多くの手間と情報が必要となるという問題があった。 The signal information creating method described in Patent Document 1 can only create information on a traffic signal corresponding to the traveling direction of a vehicle. Therefore, for example, at an intersection, when trying to obtain not only the information of the traffic signal in the traveling direction but also the information of another traffic signal, the measurement vehicle or the like enters the intersection from another direction at the same timing, or the signal is visually observed from near the intersection. It is necessary to perform time-consuming operations such as observing the movement of the robot. In other words, the conventional method has a problem that much trouble and information are required to obtain information of another traffic signal at an intersection.
本発明が解決しようとする課題としては、より少ない情報でより多くの信号機の情報を得ることが一例として挙げられる。 An example of the problem to be solved by the present invention is to obtain more traffic signal information with less information.
上記課題を解決するために、請求項1に記載の発明は、車両に搭載された撮像部が撮像した画像を取得する第1取得部と、前記第1取得部が取得した前記画像に含まれる他車両の状態に基づいて前記車両が走行する道路と交差している道路の信号機の点灯状態を推定する推定部と、を備えることを特徴としている。 In order to solve the above problem, the invention according to claim 1 is included in a first acquisition unit that acquires an image captured by an imaging unit mounted on a vehicle, and the image acquired by the first acquisition unit. An estimating unit for estimating a lighting state of a traffic signal on a road intersecting with a road on which the vehicle travels based on a state of another vehicle.
請求項6に記載の発明は、信号機の点灯状態を推定する情報処理装置で実行される情報処理方法であって、車両に搭載された撮像部が撮像した画像を取得する第1取得工程と、前記第1取得工程で取得された前記画像に含まれる他車両の状態に基づいて前記車両が走行する道路と交差している道路の信号機の点灯状態を推定する推定工程と、を含むことを特徴としている。 The invention according to claim 6 is an information processing method executed by an information processing device for estimating a lighting state of a traffic light, wherein a first acquisition step of acquiring an image captured by an imaging unit mounted on a vehicle; An estimating step of estimating a lighting state of a traffic light on a road intersecting with a road on which the vehicle travels based on a state of another vehicle included in the image acquired in the first acquiring step. And
請求項7に記載の発明は、請求項6に記載の情報処理方法を、コンピュータにより実行させることを特徴としている。 According to a seventh aspect of the present invention, a computer executes the information processing method according to the sixth aspect.
請求項8に記載の発明は、請求項7に記載の情報処理プログラムを格納したことを特徴としている。 An eighth aspect of the present invention is characterized by storing the information processing program according to the seventh aspect.
以下、本発明の一実施形態にかかる情報処理装置を説明する。本発明の一実施形態にかかる情報処理装置は、第1取得部で車両に搭載された撮像部が撮像した画像を取得し、推定部で第1取得部が取得した画像に含まれる他車両の状態に基づいて車両が走行する道路と交差している道路の信号機の点灯状態を推定する。このようにすることにより、特定の車両で撮像された画像から当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。したがって、より少ない情報でより進行方向以外の信号機の情報を得ることができる。 Hereinafter, an information processing apparatus according to an embodiment of the present invention will be described. An information processing apparatus according to an embodiment of the present invention acquires an image captured by an imaging unit mounted on a vehicle in a first acquisition unit, and obtains an image of another vehicle included in the image acquired by the first acquisition unit in the estimation unit. Based on the state, the lighting state of the traffic light on the road intersecting with the road on which the vehicle travels is estimated. In this way, it is possible to estimate the lighting state of the traffic light on the road intersecting the road on which the vehicle travels from the image captured by the specific vehicle. Therefore, it is possible to obtain information on traffic signals other than the traveling direction with less information.
また、推定部が状態を推定する信号機は、第1取得部が取得する画像には点灯状態が映っていなくてもよい。このようにすることにより、画像からは点灯状態が不明な信号機について、他車両の状態に基づいて点灯状態を推定することができる。 Further, the traffic light for which the estimating unit estimates the state does not have to include the lighting state in the image acquired by the first acquiring unit. In this way, for a traffic light whose lighting state is unknown from the image, the lighting state can be estimated based on the state of another vehicle.
また、画像が撮像された時刻と、当該画像から推定部が推定した信号機の点灯状態と、を出力する出力部を更に備えていてもよい。このようにすることにより、例えば推定部が推定した信号機の点灯状態を外部サーバ等にアップロードさせることができ、様々な車両からの推定結果に基づいて信号機のサイクル情報を生成させることが可能となる。 The image processing apparatus may further include an output unit that outputs a time at which the image is captured and a lighting state of the traffic signal estimated by the estimation unit from the image. By doing so, for example, the lighting state of the traffic signal estimated by the estimating unit can be uploaded to an external server or the like, and the cycle information of the traffic signal can be generated based on the estimation results from various vehicles. .
また、画像の撮像位置に関する情報及び撮像部が撮像した向きに関する情報を取得する第2取得部を更に備え、推定部は、第1取得部が取得した画像と、第2取得部が取得した画像の撮像位置に関する情報及び画像の向きに関する情報と、に基づいて信号機の点灯状態を推定してもよい。このようにすることにより、撮像部が撮像した画像がどこからどのような向きで撮像されたかが分かり、より精度良く当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。 The image processing apparatus further includes a second acquisition unit that acquires information about an imaging position of the image and information about a direction in which the imaging unit has taken an image, wherein the estimation unit includes an image acquired by the first acquisition unit and an image acquired by the second acquisition unit. The lighting state of the traffic light may be estimated based on the information on the imaging position and the information on the orientation of the image. By doing so, it is possible to know where and in what direction the image captured by the image capturing unit was captured, and to more accurately estimate the lighting state of the traffic light on the road that intersects the road on which the vehicle travels. it can.
また、第1取得部は、複数の画像を取得し、推定部は、第1取得部が取得した複数の画像に基づいて信号機の点灯状態を推定してもよい。このようにすることにより、例えば、複数フレームの画像に基づいて信号機の点灯状態を推定することができる。また、別の日の同じ時刻の画像も参照して信号機の点灯状態を推定することができる。あるいは、同じ時刻に撮像された他の車両の画像も参照して信号機の点灯状態を推定することができる。 Further, the first acquisition unit may acquire a plurality of images, and the estimation unit may estimate a lighting state of the traffic light based on the plurality of images acquired by the first acquisition unit. In this manner, for example, the lighting state of the traffic light can be estimated based on a plurality of frames of images. Further, the lighting state of the traffic light can be estimated with reference to the image at the same time on another day. Alternatively, the lighting state of the traffic light can be estimated with reference to an image of another vehicle captured at the same time.
また、本発明の一実施形態にかかる情報処理方法は、第1取得工程が車両に搭載された撮像部が撮像した画像を取得し、推定工程が第1取得工程において取得した画像に含まれる他車両の状態に基づいて車両が走行する道路と交差している道路の信号機の点灯状態を推定する。このようにすることにより、特定の車両で撮像された画像から当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。したがって、より少ない情報でより進行方向以外の信号機の情報を得ることができる。 Further, in the information processing method according to an embodiment of the present invention, the first obtaining step obtains an image captured by the imaging unit mounted on the vehicle, and the estimating step is included in the image obtained in the first obtaining step. A lighting state of a traffic light on a road intersecting with a road on which the vehicle travels is estimated based on the state of the vehicle. In this way, it is possible to estimate the lighting state of the traffic light on the road intersecting the road on which the vehicle travels from the image captured by the specific vehicle. Therefore, it is possible to obtain information on traffic signals other than the traveling direction with less information.
また、上述した情報処理方法をコンピュータにより実行させる情報処理プログラムとしてもよい。このようにすることにより、コンピュータを用いて、特定の車両で撮像された画像から当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。したがって、より少ない情報でより進行方向以外の信号機の情報を得ることができる。 Further, the information processing method described above may be an information processing program that is executed by a computer. In this manner, the lighting state of the traffic light on the road intersecting with the road on which the vehicle travels can be estimated from the image captured by the specific vehicle using the computer. Therefore, it is possible to obtain information on traffic signals other than the traveling direction with less information.
また、上述した情報処理プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。 Further, the above-described information processing program may be stored in a computer-readable recording medium. By doing so, the program can be distributed as a single unit in addition to being incorporated into the device, and the version can be easily upgraded.
本発明の一実施例にかかる情報処理装置1を図1〜図10を参照して説明する。本実施例にかかる情報処理装置1は、図1に示したように車両Cに搭載されている。そして、情報処理装置1は、インターネット等のネットワークNを介してサーバ装置2と通信可能となっている。 An information processing apparatus 1 according to an embodiment of the present invention will be described with reference to FIGS. The information processing apparatus 1 according to the present embodiment is mounted on a vehicle C as shown in FIG. The information processing device 1 is capable of communicating with the server device 2 via a network N such as the Internet.
図2に情報処理装置1の機能的構成を示す。情報処理装置1は、制御部11と、通信部12と、記憶部13と、を備えている。また、情報処理装置1は、図2に示したように、車両Cに搭載されているカメラ3と、GPS受信機や速度センサ等を含むセンサ4と、それぞれ接続されている。
FIG. 2 shows a functional configuration of the information processing apparatus 1. The information processing device 1 includes a
制御部11は、例えばCPU(Central Processing Unit)やメモリ等を有するマイクロコンピュータで構成され、情報処理装置1の全体制御を司る。制御部11は、カメラ3で撮像された画像及び、センサ4の検出結果等に基づいて、信号機の点灯状態(赤、黄、青の点灯色、矢印信号の表示方向、等)を推定する。
The
通信部12は、制御部11で推定された信号機の点灯状態等をサーバ装置2に送信する。
The
記憶部13は、制御部11で動作するプログラムや各種データ等が格納されている。また、記憶部13には、後述する交差点への接近を判断するため地図データが格納されている。
The
撮像部としてのカメラ3は、上述したように車両Cに設置されている。また、カメラ3は例えば車両Cの前方(進行方向)を撮像している。カメラ3は、撮像した画像を情報処理装置1へ出力する。このカメラ3はドライブレコーダ用やADAS(Advanced Driver Assistance System)用等の他の用途のものと兼ねていてもよい。なお、カメラ3が撮像する画像は、静止画でも動画でもよい。
The
センサ4は、上述したように、GPS受信機や速度センサ等の車両に設けられているセンサである。なお、センサ4に含まれるセンサ、例えばGPS受信機等は、他の車載機器(ナビゲーション装置等)が有するものと共用してもよい。 The sensor 4 is a sensor provided in the vehicle, such as a GPS receiver and a speed sensor, as described above. Note that a sensor included in the sensor 4, for example, a GPS receiver or the like may be shared with another vehicle-mounted device (such as a navigation device).
サーバ装置2は、図3に示したように、制御部21と、通信部22と、記憶部23と、を備えている。制御部21は、サーバ装置2のCPUが機能し、サーバ装置2の全体制御を司る。また、制御部21は、情報処理装置1から送信された信号機の点灯状態に基づいて、信号機のサイクル情報を生成する。
The server device 2 includes a
通信部22は、サーバ装置2のネットワークインターフェース等が機能し、情報処理装置1が送信した信号機の点灯状態を受信する。
The
記憶部23は、サーバ装置2のハードディスク等の記憶装置が機能し、制御部21で生成されたサイクル情報等を記憶する。また、サーバ装置2は、必要に応じて記憶部23に記憶したサイクル情報を車両に配信する。
The
次に、上述した構成にかかる情報処理装置1の動作(情報処理方法)を図4のフローチャートを参照して説明する。図4に示したフローチャートは、制御部11で実行される。図4に示したフローチャートは制御部11のCPUで動作するコンピュータプログラム(情報処理プログラム)として構成されている。また、このプログラムは、制御部11が有するメモリ等に格納されているに限らず、メモリーカードや光ディスク等の記憶媒体に格納されていてもよい。
Next, an operation (information processing method) of the information processing apparatus 1 according to the above configuration will be described with reference to a flowchart of FIG. The flowchart illustrated in FIG. 4 is executed by the
まず、ステップS11において、制御部11は、情報処理装置1を搭載した車両Cが交差点に接近したか否か判断し、交差点に接近したと判断された場合はステップS12に進み、そうでない場合は本ステップを繰り返し実行する。
First, in step S11, the
交差点に接近したか否かは、例えばセンサ4に含まれるGPS受信機から取得する現在位置と記憶部13に記憶されている地図データとに基づいて判断すればよい。また、接近とは、例えばカメラ3が交差点の範囲を網羅して撮像できる程度の距離等の予め定めた距離まで近づくことである。ここで、交差点とは、本実施例では2以上の道路が交わる場合における当該2以上の道路の交わる部分とする。例えば図5に示したような道路R1と道路R2が交差する十字路の場合であれば、破線Bで囲まれた範囲を交差点とする。
Whether the vehicle has approached the intersection may be determined based on, for example, the current position acquired from the GPS receiver included in the sensor 4 and the map data stored in the
次に、ステップS12において、制御部11は、カメラ3が撮像した画像を取得する。即ち、制御部11は、車両に搭載された撮像部が撮像した画像を取得する第1取得部として機能する。
Next, in step S12, the
次に、ステップS13において、制御部11は、センサ4に含まれるGPS受信機から現在位置情報を取得する。この現在位置情報が示す現在位置が撮像位置となる。また、制御部11は、カメラ3が撮像した向きの情報(前方、後方等、特定向きからの角度でもよい)をカメラ3から取得する。なお、この向きの情報はステップS12で画像とともに取得してもよい。また、カメラ3の撮像方向が固定である場合は、予め制御部11に設定してもよい。即ち、制御部11が、画像の撮像位置に関する情報及びカメラ3(撮像部)が撮像した向きに関する情報を取得する第2取得部として機能する。
Next, in step S13, the
次に、ステップS14において、制御部11は、ステップS12で取得した画像、ステップS13で取得した撮像位置、撮像方向に基づいて交差点の信号機の点灯状態を推定する。推定の方法について図6を参照して説明する。
Next, in step S14, the
図6は、車両Cが矢印の方向へ走行して交差点を通過する場合の図である。図6において、信号機aは道路R3の車両Cの進行方向の車線に対応する信号機、信号機bは道路R3の車両Cが走行する車線の対向車線に対応する信号機、信号機cは車両Cの進行方向と交差する道路R4の一方の方向へ向かう車線に対応する信号機、信号機dは道路R4の他方の方向へ向かう車線に対応する信号機となっている。 FIG. 6 is a diagram when the vehicle C travels in the direction of the arrow and passes through an intersection. In FIG. 6, a traffic light a is a traffic light corresponding to the lane in the traveling direction of the vehicle C on the road R3, a traffic light b is a traffic light corresponding to the opposite lane of the lane on which the vehicle C is traveling on the road R3, and a traffic light c is the traveling direction of the vehicle C. A traffic light corresponding to a lane heading in one direction of the road R4 crossing the road R4, and a traffic light d corresponding to a lane heading in the other direction of the road R4.
図6に示した交差点において、車両Cから撮像した画像等に基づいて信号機の点灯状態を推定する。信号機aについては、例えば画像から信号機aを認識して点灯色等を推定する周知の方法で推定すればよい。本実施例によれば、更に信号機b、c、dについても点灯状態を推定できる。例えば信号機c、dについては、道路R4を走行して交差点を通過する車両の有無で赤信号か否かを推定することができる。これは、動画であれば、複数フレームの画像に交差点を通過する車両が周知の画像認識技術により検出できれば信号機c、dは青と推定することができる。 At the intersection shown in FIG. 6, the lighting state of the traffic light is estimated based on an image captured from the vehicle C and the like. The traffic light a may be estimated by a well-known method of recognizing the traffic light a from an image and estimating a lighting color or the like. According to the present embodiment, the lighting state can be further estimated for the traffic lights b, c, and d. For example, for the traffic lights c and d, it can be estimated whether or not there is a vehicle traveling on the road R4 and passing through the intersection to determine whether or not the traffic light is a red light. In the case of a moving image, the traffic lights c and d can be estimated to be blue if a vehicle passing through an intersection with images of a plurality of frames can be detected by a known image recognition technique.
また、静止画であっても、当該画像に道路R4を直進して交差点内を通過中の車両(図7の符号D)が検出できれば信号機c、dは青と推定することができる。即ち、制御部11は、取得した画像に含まれる車両D(他車両)の状態に基づいて車両Cが走行する道路R3と交差している道路R4の信号機の点灯状態を推定する推定部として機能する。
Further, even in the case of a still image, the traffic lights c and d can be estimated to be blue if a vehicle (symbol D in FIG. 7) that passes through the intersection by traveling straight on the road R4 on the image can be detected. That is, the
また、信号機bについては、対向車線に車両が停止しているか否かによって点灯状態を推定することができる。例えば交差点内を直進して通過する車両が画像から検出されれば信号機bは青と推定できる。なお、信号機b、c、dの全てについて推定できなくてもよい。他車両の状態から推定可能な信号機のみ推定すればよい。 The lighting state of the traffic light b can be estimated based on whether the vehicle is stopped in the oncoming lane. For example, if a vehicle that travels straight through an intersection is detected from the image, the traffic light b can be estimated to be blue. Note that it is not necessary to estimate all of the traffic signals b, c, and d. Only the traffic light that can be estimated from the state of the other vehicle needs to be estimated.
また、画像だけでなく、記憶部13に記憶されている地図データを取得して推定に利用してもよい。例えば、信号機の設置位置及び向きの情報が付与されている地図データを取得し、撮像画像中の信号機が地図データ中のどの信号機に該当するかを照合することで、対応する信号機を特定する処理の精度が向上する。また、車線の位置が含まれる地図データを取得し、地図データに含まれる車線の位置と画像中の車両の位置とを照合することで、より精度よく車両の位置を推定することができる。したがって、信号機の点灯状態の推定精度を向上させることができる。また、地図データは記憶部23に記憶し、必要に応じて情報処理装置1にダウンロードするようにしてもよい。
Further, not only images but also map data stored in the
このように、他車両の状態に基づいて信号機の点灯状態を推定することにより、画像に点灯状態が映っていない信号機であっても、点灯状態の推定が可能である。 In this way, by estimating the lighting state of the traffic light based on the state of the other vehicle, it is possible to estimate the lighting state even for a traffic light whose lighting state is not reflected in the image.
図4の説明に戻り、ステップS15において、ステップS14で推定した結果と、推定に用いた画像の撮像時刻や撮像位置、撮像した向き等とを関連付けて、信号機点灯状態推定情報として通信部12を介してサーバ装置2へ送信(出力)する。ここで、信号機点灯状態推定情報の例を図8に示す。即ち、通信部12は、画像が撮像された時刻と、当該画像から制御部11(推定部)が推定した信号機の点灯状態と、を出力する出力部として機能する。
Returning to the description of FIG. 4, in step S15, the
図8は、撮像時刻と、各信号機の点灯状態の推定結果を示している。各信号機の推定結果において、「正面」とは、例えば図6等における車両Cの進行方向の車線に対応する信号機aの点灯状態であり、「対向」とは、例えば道路R3の車両Cが走行する車線の対向車線に対応する信号機bである。また、「交差1」とは、例えば車両Cの進行方向と交差する道路R4の一方の方向の車線に対応する信号機c、「交差2」とは、例えば道路R4の他方の方向の車線に対応する信号機dである。「交差1」と「交差2」はそれぞれが示す信号機が逆であってもよい。 FIG. 8 shows the imaging time and the estimation result of the lighting state of each traffic light. In the estimation result of each traffic light, "front" means, for example, the lighting state of the traffic light a corresponding to the lane in the traveling direction of the vehicle C in FIG. 6 and the like, and "opposite" means that the vehicle C on the road R3 travels, for example. Traffic light b corresponding to the opposite lane of the traffic lane. Also, "intersection 1" corresponds to, for example, a traffic signal c corresponding to a lane in one direction of a road R4 intersecting with the traveling direction of the vehicle C, and "intersection 2" corresponds to, for example, a lane in the other direction of the road R4. Traffic light d. “Intersection 1” and “intersection 2” may have the traffic signals indicated by the respective intersections reversed.
そして、図8の情報に撮像位置や撮像した向きの情報を加えることで、サーバ装置2では、どこの交差点における情報か、「正面」や「対向」がどの信号機を示すのか、等を認識することができる。 Then, by adding information of the image capturing position and the image capturing direction to the information of FIG. 8, the server device 2 recognizes information at which intersection, which traffic light indicates "front" or "opposite", and the like. be able to.
なお、地図データに信号機の位置情報が含まれている場合は、上記「正面」等に代えて各信号機の位置情報としてもよい。 When the position information of the traffic signal is included in the map data, the position information of each traffic signal may be used instead of the above “front”.
以上の説明から明らかなように、ステップS12が第1取得工程、ステップS14が推定工程として機能する。 As is clear from the above description, step S12 functions as a first acquisition step, and step S14 functions as an estimation step.
次に、サーバ装置2の動作を図9のフローチャートを参照して説明する。図9に示したフローチャートは制御部21で動作する。 Next, the operation of the server device 2 will be described with reference to the flowchart of FIG. The flowchart shown in FIG.
まず、ステップS21において、制御部21は、情報処理装置1から送信された信号機点灯状態推定情報を通信部22を介して取得する。
First, in step S <b> 21, the
次に、ステップS22において、制御部21は、信号機のサイクル情報を生成する。信号機のサイクル情報の例を図10に示す。図10は図6等に示した交差点の信号機のサイクル情報である。図10に示した項目は基本的には図8に示したものと同じであるが、信号機は、例えば設置位置等に基づいて識別がされている。また、時刻は特定の時刻のみの点灯状態でなく、例えば1日や数時間等において所定時間間隔ごとの点灯状態が蓄積されている。なお、図10では、10秒間隔であるが、等間隔でなくてもよく、信号機点灯状態推定情報が取得できた時刻について蓄積すればよい。また、既にサイクル情報が生成されている場合は、新たに情報処理装置1から取得した信号機点灯状態推定情報に基づいて更新すればよい。
Next, in step S22, the
次に、ステップS23において、制御部21は、ステップS22で生成した信号機のサイクル情報を記憶部23に記憶する。
Next, in step S23, the
本実施例によれば、情報処理装置1は、制御部11が、車両に搭載されたカメラ3が撮像した画像を取得し、そして、取得した画像に含まれる他車両の状態に基づいて車両が走行する道路と交差している道路の信号機の点灯状態を推定する。このようにすることにより、特定の車両で撮像された画像から当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。したがって、より少ない情報でより進行方向以外の信号機の情報を得ることができる。
According to the present embodiment, the information processing apparatus 1 causes the
また、制御部11が状態を推定する信号機は、取得した画像に点灯状態が映っていなくてもよい。このようにすることにより、画像からは点灯状態が不明な信号機について、他車両の状態に基づいて点灯状態を推定することができる。
Further, the traffic light for which the
また、情報処理装置1は、画像が撮像された時刻と、当該画像から制御部11が推定した信号機の点灯状態と、を出力する通信部12を備えている。このようにすることにより、例えば制御部11が推定した信号機の点灯状態をサーバ装置2にアップロードさせることができ、様々な車両からの推定結果に基づいて信号機の点灯状態を含むサイクル情報を生成させることが可能となる。
In addition, the information processing apparatus 1 includes a
また、制御部11は、画像の撮像位置に関する情報及びカメラ3が撮像した向きに関する情報を取得し、画像と、画像の撮像位置に関する情報及び画像の向きに関する情報と、に基づいて信号機の点灯状態を推定している。このようにすることにより、カメラ3が撮像した画像がどこからどのような向きで撮像されたかが分かり、より精度良く当該車両が走行する道路と交差している道路の信号機の点灯状態を推定することができる。
In addition, the
なお、上述した実施例では、特定の日時において撮像された画像から信号機の点灯状態を推定していたが、その画像と、別の日における同じ時刻の画像と、の複数の画像から信号機の点灯状態を推定してもよい。このようにすることにより、特定の日時では推定が困難な場合であっても他の日に撮像された画像も利用して推定することが可能となる。 In the above-described embodiment, the lighting state of the traffic light is estimated from an image captured at a specific date and time. However, the lighting of the traffic light is determined from a plurality of images of the image and an image at the same time on another day. The state may be estimated. By doing so, even when estimation is difficult at a specific date and time, estimation can be performed using an image captured on another day.
また、上述した実施例では、情報処理装置1で信号機の点灯状態の推定まで行っていたが、情報処理装置1からカメラ3で撮像された画像及び、撮像位置、撮像方向等をサーバ装置2へ送信して、サーバ装置2で信号機の点灯状態を推定してもよい。このようにすることにより、点灯状態を推定した結果を直接サイクル情報として反映させることができる。また、情報処理装置1の処理負荷を低減させることや、他の車両等からの情報と組み合わせることで信頼性を向上することができる。 In the above-described embodiment, the information processing apparatus 1 performs the estimation of the lighting state of the traffic light. By transmitting the signal, the server device 2 may estimate the lighting state of the traffic light. By doing so, the result of estimating the lighting state can be directly reflected as cycle information. Further, the reliability can be improved by reducing the processing load of the information processing device 1 or by combining the information with information from another vehicle or the like.
また、サーバ装置2で信号機の点灯状態を推定することにより、例えば車両Cで撮像された画像のみでなく、同時刻に車両Cの前方や後方を走行していた車両や、対向車等で撮像された画像を利用して、統計的に推定することが可能となる。したがって、より信号機の点灯状態の推定精度を向上させることができる。 Further, by estimating the lighting state of the traffic light by the server device 2, for example, not only an image captured by the vehicle C but also an image of a vehicle traveling ahead or behind the vehicle C at the same time, an oncoming vehicle, or the like. It is possible to statistically estimate using the obtained image. Therefore, it is possible to further improve the estimation accuracy of the lighting state of the traffic light.
なお、カメラ3は、常時画像を撮影する必要はない。例えば地図データ等に基づいて交差点等の信号機に接近した場合に撮影を開始すればよい。また、信号機の色が変化した場合や、停止車両が動き始めたことを検知した場合、逆に走行していた車両が停止した場合、車両のブレーキランプの点灯または消灯を検知した場合等のタイミングで撮影を行ってもよい。
Note that the
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の情報処理装置を具備する限り、勿論、本発明の範疇に含まれるものである。 Further, the present invention is not limited to the above embodiment. That is, those skilled in the art can make various modifications in accordance with conventionally known knowledge without departing from the gist of the present invention. As long as the information processing apparatus of the present invention is still provided by such a modification, the modification is, of course, included in the scope of the present invention.
1 情報処理装置
2 サーバ装置
3 カメラ(撮像部)
4 センサ
11 制御部(第1取得部、推定部、第2取得部)
12 通信部(出力部)
13 記憶部
Reference Signs List 1 information processing device 2
4
12 Communication unit (output unit)
13 Storage unit
Claims (8)
前記第1取得部が取得した前記画像に含まれる他車両の状態に基づいて前記車両が走行する道路と交差している道路の信号機の点灯状態を推定する推定部と、
を備えることを特徴とする情報処理装置。 A first acquisition unit that acquires an image captured by an imaging unit mounted on a vehicle,
An estimating unit that estimates a lighting state of a traffic light on a road intersecting with a road on which the vehicle travels, based on a state of another vehicle included in the image acquired by the first acquisition unit;
An information processing apparatus comprising:
前記推定部は、前記第1取得部が取得した前記画像と、前記第2取得部が取得した前記画像の撮像位置に関する情報及び前記画像の向きに関する情報と、に基づいて前記信号機の点灯状態を推定する、
ことを特徴とする請求項1から3のうちいずれか一項に記載の情報処理装置。 A second acquisition unit configured to acquire information on an imaging position of the image and information on a direction in which the imaging unit captures the image,
The estimating unit sets a lighting state of the traffic light based on the image acquired by the first acquiring unit, information on an imaging position of the image acquired by the second acquiring unit, and information on an orientation of the image. presume,
The information processing apparatus according to claim 1, wherein:
前記推定部は、前記第1取得部が取得した複数の前記画像に基づいて前記信号機の点灯状態を推定することを特徴とする請求項1から4のうちいずれか一項に記載の情報処理装置。 The first acquisition unit acquires a plurality of the images,
The information processing apparatus according to claim 1, wherein the estimating unit estimates a lighting state of the traffic light based on the plurality of images acquired by the first acquiring unit. .
車両に搭載された撮像部が撮像した画像を取得する第1取得工程と、
前記第1取得工程で取得された前記画像に含まれる他車両の状態に基づいて前記車両が走行する道路と交差している道路の信号機の点灯状態を推定する推定工程と、
を含むことを特徴とする情報処理方法。 An information processing method executed by an information processing device that estimates a lighting state of a traffic light,
A first acquisition step of acquiring an image captured by an imaging unit mounted on the vehicle;
An estimation step of estimating a lighting state of a traffic light on a road intersecting with a road on which the vehicle travels, based on a state of another vehicle included in the image acquired in the first acquisition step;
An information processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018146717A JP2020021400A (en) | 2018-08-03 | 2018-08-03 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018146717A JP2020021400A (en) | 2018-08-03 | 2018-08-03 | Information processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020021400A true JP2020021400A (en) | 2020-02-06 |
Family
ID=69588589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018146717A Pending JP2020021400A (en) | 2018-08-03 | 2018-08-03 | Information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020021400A (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006048624A (en) * | 2004-07-09 | 2006-02-16 | Aisin Aw Co Ltd | Method of producing traffic signal information, method of providing traffic signal guidance information and navigation apparatus |
WO2008038376A1 (en) * | 2006-09-28 | 2008-04-03 | Pioneer Corporation | Signal recognition device, signal recognition method, signal recognition program, and recording medium |
JP2016038757A (en) * | 2014-08-08 | 2016-03-22 | 日産自動車株式会社 | Traffic light recognition apparatus and traffic light recognition method |
WO2018105061A1 (en) * | 2016-12-07 | 2018-06-14 | 本田技研工業株式会社 | Control device and control method |
-
2018
- 2018-08-03 JP JP2018146717A patent/JP2020021400A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006048624A (en) * | 2004-07-09 | 2006-02-16 | Aisin Aw Co Ltd | Method of producing traffic signal information, method of providing traffic signal guidance information and navigation apparatus |
WO2008038376A1 (en) * | 2006-09-28 | 2008-04-03 | Pioneer Corporation | Signal recognition device, signal recognition method, signal recognition program, and recording medium |
JP2016038757A (en) * | 2014-08-08 | 2016-03-22 | 日産自動車株式会社 | Traffic light recognition apparatus and traffic light recognition method |
WO2018105061A1 (en) * | 2016-12-07 | 2018-06-14 | 本田技研工業株式会社 | Control device and control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11630998B2 (en) | Systems and methods for automatically training neural networks | |
JP6567602B2 (en) | Information processing apparatus, information processing system, and information processing method | |
JP4506790B2 (en) | Road information generation apparatus, road information generation method, and road information generation program | |
JP5734521B2 (en) | In-vehicle device and center device | |
JP7367031B2 (en) | System used for sensor synchronization data analysis in autonomous vehicles | |
JP4677981B2 (en) | Own vehicle position identification method and own vehicle position identification device | |
JP2009217729A (en) | Travel support device | |
JP2012155516A (en) | Vehicle behavior recording system | |
US20200364470A1 (en) | Traveling lane recognition apparatus and traveling lane recognition method | |
KR20200043252A (en) | Overlooking image generation system of vehicle and method thereof | |
US9715634B2 (en) | Method and device for determining a distance of a vehicle from a traffic-regulating object | |
CN111189464B (en) | Automatic driving device and navigation device | |
JP2014215205A (en) | Information processing device, server device, information processing method, information processing system and information processing program | |
KR20140064424A (en) | Apparatus and method for recognizing position of car | |
JP6419011B2 (en) | Feature image recognition system, feature image recognition method, and computer program | |
CN109300313B (en) | Illegal behavior detection method, camera and server | |
US20080310679A1 (en) | Vehicle and Lane Mark Recognizer | |
JP4687381B2 (en) | Vehicle recognition method and in-vehicle device | |
JP7192541B2 (en) | Information processing device, information processing method and program | |
JP2007164566A (en) | System and device of vehicle sensing for traffic-actuated control | |
JP2022006844A (en) | Object detection method and object detection device | |
JP2021532455A (en) | Methods and devices for determining the position of the vehicle | |
JP2020021400A (en) | Information processing device | |
JP2019074862A (en) | Recommendable driving output device, recommendable driving output system, and recommendable driving output method | |
JP7255706B2 (en) | Traffic light recognition method and traffic light recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221129 |