JP2024047487A - On-vehicle device, on-vehicle device operation method, and program - Google Patents
On-vehicle device, on-vehicle device operation method, and program Download PDFInfo
- Publication number
- JP2024047487A JP2024047487A JP2022153135A JP2022153135A JP2024047487A JP 2024047487 A JP2024047487 A JP 2024047487A JP 2022153135 A JP2022153135 A JP 2022153135A JP 2022153135 A JP2022153135 A JP 2022153135A JP 2024047487 A JP2024047487 A JP 2024047487A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- traffic light
- signal
- aspect ratio
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims abstract description 20
- 230000001133 acceleration Effects 0.000 claims description 41
- 238000005286 illumination Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 abstract description 30
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
開示の実施形態は、車載装置、車載装置の制御方法、およびプログラムに関する。 The disclosed embodiments relate to an in-vehicle device, a control method for an in-vehicle device, and a program.
従来、たとえば光ビーコンによる受信情報やカメラの撮像画像から検知される信号機の青や、黄、赤などの発光状態と、ブレーキなどの車両の操作状況とに基づいて、自車両が信号無視をしたか否かを判定する技術が提案されている（たとえば、特許文献１参照）。
Conventionally, technology has been proposed to determine whether a vehicle has run a red light based on the light status (green, yellow, red, etc.) of a traffic light detected from information received by an optical beacon or an image captured by a camera, and on the vehicle's operating status (e.g., brakes, etc.) (see
しかし、従来の技術は、自車両が遵守する必要がない信号機、たとえば、自車両の進行方向に交差する方向の進行許可、および、停止指示を示す信号機を信号無視の対象となる信号機として認識するおそれがある。すなわち、従来の技術は、信号無視を誤検出するおそれがある。 However, conventional technology may recognize traffic lights that the vehicle does not need to obey, such as traffic lights that indicate permission to proceed in a direction that intersects with the vehicle's direction of travel, or traffic lights that indicate a stop, as traffic lights that are subject to signal violation. In other words, conventional technology may erroneously detect signal violation.
本発明は、上記に鑑みてなされたものであって、信号無視の誤検出を抑制する車載装置、車載装置の制御方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and aims to provide an in-vehicle device, a control method for an in-vehicle device, and a program that suppress erroneous detection of red light ignoring.
実施形態の一態様に係る車載装置は、制御部を備える。制御部は、画像に基づいて車両の信号無視を検出する。制御部は、画像から信号機を検出し、画像から、車両に対する信号機の相対位置の変化を算出し、相対位置の変化の算出結果と、信号機の発光状態とに基づいて信号機に対する車両の信号無視の確度を判定する。 The in-vehicle device according to one aspect of the embodiment includes a control unit. The control unit detects whether the vehicle has run a red light based on an image. The control unit detects a traffic light from the image, calculates a change in the relative position of the traffic light with respect to the vehicle from the image, and determines the likelihood of the vehicle running a red light with respect to the traffic light based on the calculation result of the change in the relative position and the illumination state of the traffic light.
実施形態の一態様によれば、信号無視の誤検出を抑制することができる。 According to one aspect of the embodiment, it is possible to suppress false detection of red light violations.
以下、添付図面を参照して、実施形態に係る車載装置、車載装置の制御方法、およびプログラムについて詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。 Below, an in-vehicle device, a control method for an in-vehicle device, and a program according to an embodiment will be described in detail with reference to the attached drawings. Note that the present invention is not limited to the present embodiment.
図１を参照し、実施形態に係る車載装置１の制御方法について説明する。図１は、実施形態に係る車載装置１の制御方法を説明する図である。
A control method for the in-
車載装置１は、車両Ｃに搭載されて車両Ｃの信号無視を判定し、信号無視を検出する装置である。車載装置１は、たとえば、ドライブレコーダである。以下では、ドライブレコーダ１が車載装置１の一例として説明される。なお、信号無視を検出する車載装置１は、ドライブレコーダ１に限られるものではない。信号無視を検出する車載装置１は、ドライブレコーダ１とは別の装置であってもよい。
The in-
ドライブレコーダ１は、カメラ２（図２参照）によって撮影した画像から車両Ｃ（以下、「自車両Ｃ」と称する場合がある。）の信号無視を検出する。
The
カメラ２によって撮影される信号機は、車両Ｃの信号無視の対象となる信号機（以下、「対象信号機」と称する。）と、車両Ｃの信号無視の対象とはならない信号機（以下、「非対象信号機」と称する。）とを含む。 The traffic lights photographed by camera 2 include traffic lights that are subject to vehicle C's ignoring of their signals (hereinafter referred to as "target traffic lights") and traffic lights that are not subject to vehicle C's ignoring of their signals (hereinafter referred to as "non-target traffic lights").
対象信号機は、自車両Ｃが遵守すべき信号機であり、自車両Ｃの進行方向の進行許可、および、停止指示を示す信号機である。非対象信号機は、自車両Ｃが遵守しなくてもよい信号機であり、自車両Ｃの進行方向の進行許可、および、停止指示を示さない信号機である。 The target traffic light is a traffic light that the host vehicle C must obey, and indicates permission to proceed in the direction of travel of the host vehicle C, and a stop instruction. The non-target traffic light is a traffic light that the host vehicle C does not have to obey, and does not indicate permission to proceed in the direction of travel of the host vehicle C, and does not indicate a stop instruction.
たとえば、対象信号機は、車両Ｃの正面側を向いた信号機であり、車両Ｃが直進している場合に自車両Ｃが通過する信号機である。対象信号機は、交差点を自車両Ｃが直進する場合に、自車両Ｃの正面側に設けられた信号機である。なお、自車両Ｃが信号機を通過するとは、自車両Ｃが信号機の下方を通過することを意味し、自車両Ｃが信号機の前方を通過することを含まない。 For example, the target traffic light is a traffic light facing the front of vehicle C, and is a traffic light that vehicle C passes when vehicle C is traveling straight. The target traffic light is a traffic light that is located in front of vehicle C when vehicle C is traveling straight through an intersection. Note that vehicle C passing a traffic light means that vehicle C passes under the traffic light, and does not include vehicle C passing in front of the traffic light.
たとえば、非対象信号機は、車両Ｃの側方側を向いた信号機であり、自車両Ｃが直進している場合に自車両Ｃが通過しない信号機を含む。非対象信号機は、交差点を自車両Ｃが直進する場合、自車両Ｃの側方側、すなわち、自車両Ｃの左右方向（幅方向）側に設けられた信号機である。非対象信号機は、自車両Ｃの進行方向に交差する方向に進行する他車両の進行許可、および、停止指示を示す信号機である。また、非対象信号機は、自車両Ｃが右折、または、左折する場合に自車両Ｃが通過する信号機を含む。すなわち、非対象信号機は、車両Ｃが右折、または、左折する場合に、右折、または、左折直後に、車両Ｃの正面側に位置する信号機を含む。以下において、右折、または、左折することを、「右左折」と称することがある。 For example, non-target traffic lights are traffic lights facing the side of vehicle C, and include traffic lights that vehicle C does not pass through when vehicle C is traveling straight. Non-target traffic lights are traffic lights that are located on the side of vehicle C, i.e., on the left-right (width) side of vehicle C, when vehicle C travels straight through an intersection. Non-target traffic lights are traffic lights that indicate permission to proceed and a stop instruction for other vehicles traveling in a direction that intersects with the traveling direction of vehicle C. Non-target traffic lights also include traffic lights that vehicle C passes through when vehicle C turns right or left. In other words, non-target traffic lights include traffic lights that are located in front of vehicle C immediately after turning right or left when vehicle C turns right or left. In the following, turning right or left may be referred to as "turning right or left".
ドライブレコーダ１は、カメラ２によって撮影された画像から信号機を検出する（Ｓ１）。ドライブレコーダ１は、カメラ２によって撮影された画像から、車両Ｃに対する信号機の相対位置の変化（以下、これを「軌跡」という。）を算出する（Ｓ２）。
The
信号機の軌跡は、車両Ｃに対し、信号機の相対的な位置の変化を示す軌跡である。信号機の軌跡は、同じ高さの仮想的な平面（以下、仮想平面）上における信号機の軌跡である。信号機の軌跡の算出方法は、後述する。 The traffic light trajectory is a trajectory that indicates the change in the position of the traffic light relative to vehicle C. The traffic light trajectory is the trajectory of the traffic light on a virtual plane (hereinafter, virtual plane) at the same height. The method of calculating the traffic light trajectory will be described later.
ドライブレコーダ１は、信号機の軌跡の算出結果と、信号機の発光状態とに基づいて信号機に対する信号無視の確度（信頼度）を判定する（Ｓ３）。信号無視の確度は、信号無視の可能性が高い「高」と、信号無視の可能性が低い「低」とを含む。なお、信号無視の確度は、これらに限られることはなく、数値（たとえば、０～１００％）などで判定されてもよい。
The
たとえば、車両Ｃが交差点を直進する場合（図１中、実線）、対象信号機は、車両Ｃの正面に位置する。そのため、信号機の軌跡が車両Ｃの正面側から車両Ｃに近づくような軌跡であり、かつ、赤信号の信号機を通過した場合、ドライブレコーダ１は、車両Ｃの正面側から車両Ｃに近づく信号機に対する信号無視の確度を「高」と判定する。
For example, when vehicle C goes straight through an intersection (solid line in FIG. 1), the target traffic light is located in front of vehicle C. Therefore, if the trajectory of the traffic light is such that vehicle C approaches vehicle C from the front and the vehicle passes a red traffic light, the
車両Ｃが交差点を直進する場合（図１中、実線）、車両Ｃの側方側に位置する信号機は、非対象信号機である。そのため、信号機の軌跡が車両Ｃの側方側から車両Ｃに近づくような軌跡である場合、ドライブレコーダ１は、車両Ｃの側方側から車両Ｃに近づく信号機に対する信号無視の確度を「低」と判定する。
When vehicle C goes straight through an intersection (solid line in Figure 1), the traffic light located to the side of vehicle C is a non-target traffic light. Therefore, when the trajectory of the traffic light is such that it approaches vehicle C from the side of vehicle C, the
車両Ｃが交差点を右左折する場合（図１中、破線）、車両Ｃの側方側から正面側に変化する信号機は、非対象信号機である。そのため、信号機の軌跡が、車両Ｃの側方側から正面側に変化する軌跡である場合、ドライブレコーダ１は、信号無視ではないと判定する。
When vehicle C turns right or left at an intersection (dashed line in Figure 1), a traffic light that changes from the side of vehicle C to the front is a non-target traffic light. Therefore, if the trajectory of the traffic light changes from the side of vehicle C to the front, the
ドライブレコーダ１は、信号機の軌跡の算出結果と、信号機の発光状態とに基づいて信号機に対する信号無視の確度を判定することで、信号機が対象信号機であるか、非対象信号機であるかを加味して信号無視を検出することができる。そのため、ドライブレコーダ１は、信号無視の誤検出を抑制することができる。
The
実施形態に係るドライブレコーダ１は、図２を参照し説明される。図２は、実施形態に係るドライブレコーダ１の構成例を示すブロック図である。
The
ドライブレコーダ１は、カメラ２と、通信部３と、入力部４と、出力部５と、記憶部６と、制御部７とを備える。
The
カメラ２は、車両Ｃの周囲を撮影する。カメラ２は、車両Ｃの前方を撮影する。カメラ２は、主撮像素子と、魚眼レンズなどのレンズを含む。 Camera 2 captures the surroundings of vehicle C. Camera 2 captures the front of vehicle C. Camera 2 includes a main imaging element and a lens such as a fisheye lens.
通信部３は、ネットワークを介して、他の装置との間でデータ通信を行う。たとえば、通信部３はＮＩＣ（Network Interface Card）である。通信部３は、たとえば、データセンターとの間でデータ通信を行う。 The communication unit 3 performs data communication with other devices via a network. For example, the communication unit 3 is a NIC (Network Interface Card). The communication unit 3 performs data communication with, for example, a data center.
入力部４は、データの入力を受け付けるためのインタフェースである。たとえば、入力部４はボタン及びタッチパネル等の入力装置と接続される。 The input unit 4 is an interface for receiving data input. For example, the input unit 4 is connected to an input device such as a button and a touch panel.
また、入力部４はカメラ２と接続される。入力部４は、カメラ２によって撮影された画像（静止画像及び動画像）の入力を受け付ける。入力部４は、Ｇセンサ２０と接続される。入力部４は、Ｇセンサ２０から車両Ｃにかかる加速度のデータを受け付ける。
The input unit 4 is also connected to the camera 2. The input unit 4 accepts input of images (still images and moving images) captured by the camera 2. The input unit 4 is connected to the
加速度は、鉛直方向の軸を含む互いに直交する３つの軸で表される座標系における加速度を含む。Ｇセンサ２０は、車両Ｃが水平面に置かれた場合に、鉛直方向とＺ軸方向とが一致するように設けられる。座標系において、Ｙ軸は、車両Ｃの前後方向に一致する。Ｘ軸は、車両Ｃの左右方向（幅方向）に一致する。
The acceleration includes acceleration in a coordinate system represented by three mutually orthogonal axes, including a vertical axis. The
また、入力部４は、車両Ｃの車速のデータを受け付ける。入力部４は、たとえば、車速センサ２１から車速のデータを受け付ける。なお、車速は、ＧＰＳ（Global Positioning System）からの信号に基づいて算出されてもよい。
The input unit 4 also receives data on the speed of the vehicle C. The input unit 4 receives the data on the speed of the vehicle C, for example, from a
出力部５は、データを出力するためのインタフェースである。出力部５は、たとえば、ディスプレイ及びスピーカ等の出力装置と接続される。
The
記憶部６は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子などの記憶媒体によって実現される。記憶部６は、制御部７によって実行される各種のプログラムを記憶する。記憶部６は、カメラ２によって取得された画像のデータを記憶する。記憶部６は、画像認識ＡＩと、カメラパラメータとを記憶する。 The storage unit 6 is realized by a storage medium such as a semiconductor memory element such as a random access memory (RAM) or a flash memory. The storage unit 6 stores various programs executed by the control unit 7. The storage unit 6 stores image data acquired by the camera 2. The storage unit 6 stores an image recognition AI and camera parameters.
画像認識ＡＩは、画像認識用のＡＩ（Artificial Intelligence）モデルである。具体的には、画像認識ＡＩは、機械学習のアルゴリズムを用いて学習されたＤＮＮ（Deep Neural Network）モデル等である。画像認識ＡＩは、後述する画像認識部１０にＤＮＮモデルとして読み込まれた後、画像認識部１０にカメラ２の撮像画像が入力された場合に、入力された画像に含まれる信号機を判別可能に設けられる。また、画像認識ＡＩはさらに、信号機の発光状態を判別可能に設けられる。カメラパラメータの詳細については、後述する。 The image recognition AI is an AI (Artificial Intelligence) model for image recognition. Specifically, the image recognition AI is a DNN (Deep Neural Network) model trained using a machine learning algorithm. The image recognition AI is loaded as a DNN model into the image recognition unit 10 described below, and is then configured to be able to distinguish traffic lights included in an image captured by the camera 2 when the image is input to the image recognition unit 10. The image recognition AI is also configured to be able to distinguish the light emission state of the traffic lights. Details of the camera parameters will be described later.
制御部７は、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部６に記憶されている実施形態に係るプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部７は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。 The control unit 7 is a controller, and is realized by a CPU (Central Processing Unit), MPU (Micro Processing Unit), or the like, executing a program according to the embodiment stored in the storage unit 6 using the RAM as a working area. The control unit 7 can also be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
制御部７は、画像認識部１０と、軌跡算出部１１と、アスペクト比算出部１２と、信号無視判定部１３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、画像認識部１０、軌跡算出部１１、アスペクト比算出部１２、および、信号無視判定部１３の少なくとも２つは、統合されてもよい。画像認識部１０、軌跡算出部１１、アスペクト比算出部１２、および、信号無視判定部１３は、分割されてもよい。
The control unit 7 has an image recognition unit 10, a
画像認識部１０は、カメラ２によって撮像された画像を取得する。画像認識部１０は、取得した画像を読み込んだ画像認識ＡＩへ入力する。画像認識部１０は、画像認識ＡＩによって、信号機を検出する。また、画像認識部１０は、画像認識ＡＩによって、バウンディングボックス（以下、「Ｂｂｏｘ」と称する。）を抽出する。Ｂｂｏｘは、信号機を含む矩形領域である。Ｂｂｏｘは、画像中の信号機の座標、および、信号機であることを示す確信度の情報を含む。 The image recognition unit 10 acquires the image captured by the camera 2. The image recognition unit 10 inputs the acquired image to the image recognition AI that has read it. The image recognition unit 10 detects traffic lights using the image recognition AI. The image recognition unit 10 also extracts a bounding box (hereinafter referred to as "Bbox") using the image recognition AI. Bbox is a rectangular area that includes the traffic light. Bbox contains information on the coordinates of the traffic light in the image and the degree of certainty that it is a traffic light.
なお、カメラ２は、動画像を撮像する。これに応じ、画像認識部１０は、動画像の各フレームからＢｂｏｘを抽出する。 The camera 2 captures moving images. In response, the image recognition unit 10 extracts Bboxes from each frame of the moving images.
画像認識部１０は、抽出されたＢｂｏｘにＩＤを付与する。ＩＤは、Ｂｂｏｘを区別するための識別子である。画像認識部１０は、新たにＢｂｏｘが抽出された場合、新たに抽出されたＢｂｏｘにＩＤを付与する。画像認識部１０は、前回フレームから抽出された信号機の座標から、予め設定された所定範囲内の座標の信号機のＢｂｏｘに、前回フレームから抽出された信号機のＢｂｏｘと同じＩＤを付与する。 The image recognition unit 10 assigns an ID to the extracted Bbox. The ID is an identifier for distinguishing Bboxes. When a new Bbox is extracted, the image recognition unit 10 assigns an ID to the newly extracted Bbox. The image recognition unit 10 assigns the same ID as the Bbox of the traffic light extracted from the previous frame to the Bbox of the traffic light whose coordinates are within a predetermined range set in advance from the coordinates of the traffic light extracted from the previous frame.
画像認識部１０は、抽出されたＢｂｏｘの画像における位置を補正する。また、画像認識部１０は、確信度が予め設定された所定値よりも低いＢｂｏｘを、信号無視の判定を行う信号機に関するＢｂｏｘから除外する。 The image recognition unit 10 corrects the position of the extracted Bbox in the image. In addition, the image recognition unit 10 excludes Bboxes whose confidence level is lower than a predetermined value set in advance from Bboxes related to traffic lights that judge whether a traffic light has been ignored.
画像認識部１０は、Ｂｂｏｘのフレーム補間を行う。前回フレームによって抽出されたＢｂｏｘが、今回フレームにおいて抽出されない場合、画像認識部１０は、前々回フレームにおける信号機の座標、および、前回フレームにおける信号機の座標に基づいて、今回フレームにおける信号機の座標を補間する。 The image recognition unit 10 performs frame interpolation of Bbox. If the Bbox extracted in the previous frame is not extracted in the current frame, the image recognition unit 10 interpolates the coordinates of the traffic light in the current frame based on the coordinates of the traffic light in the frame before last and the coordinates of the traffic light in the previous frame.
画像認識部１０は、信号機の発光状態を検出する。画像認識部１０は、信号機の発光状態として、「青」、「黄」、「矢印」、または、「赤」を検出する。 The image recognition unit 10 detects the light emission state of the traffic light. The image recognition unit 10 detects the light emission state of the traffic light as "green," "yellow," "arrow," or "red."
軌跡算出部１１は、空間における高さが一定の仮想的な平面における信号機の軌跡を算出する。信号機の軌跡は、車両Ｃに対する相対的な位置の変化の軌跡である。
The
軌跡算出部１１による軌跡算出方法について、図３を参照し説明する。図３は、相対位置の変化（軌跡）の算出方法を説明する図である。
The trajectory calculation method by the
軌跡算出部１１は、車両Ｃから撮影した画像における信号機の位置を示す矩形領域２１１を基に、空間における高さが一定の仮想平面に車両Ｃの位置を投影した位置を示す仮想車両位置を算出する。軌跡算出部１１は、仮想車両位置に対する、仮想平面における信号機の位置を算出し、信号機の位置の変化を、車両Ｃに対する信号機の軌跡情報として算出する。
The
軌跡算出部１１は、鉛直方向の軸を含む互いに直交する３つの軸で表される座標系において、鉛直方向の軸の座標値を固定することで得られる仮想平面における信号機の座標を、ワールド座標として算出する。
The
図３に示すように、空間における位置は、ｘ軸、ｙ軸、ｚ軸の座標値によって表される。ｘ軸、ｙ軸、ｚ軸は互いに直交する。ｚ軸は、鉛直方向の軸である。ｙ軸は、図３における車両Ｃの進行方向と平行である。ｘ軸は、ｚ軸及びｙ軸と直交する。 As shown in FIG. 3, a position in space is represented by coordinate values of the x-axis, y-axis, and z-axis. The x-axis, y-axis, and z-axis are mutually perpendicular. The z-axis is a vertical axis. The y-axis is parallel to the traveling direction of vehicle C in FIG. 3. The x-axis is perpendicular to the z-axis and y-axis.
ここで、矩形領域の中心を距離算出点２２１とする。軌跡算出部１１は、カメラパラメータを用いて画像２０１における距離算出点２２１の２次元の座標（カメラ座標）を、３次元のワールド座標に変換する。
Here, the center of the rectangular area is set as the
カメラパラメータは、カメラ内部パラメータ、および、カメラ外部パラメータを含む。カメラ内部パラメータは、ドットピッチ、焦点距離、ディストーション（仰角像高ＴＢＬ）等を含む。カメラ外部パラメータは、カメラ２の撮影位置のｘ軸、ｙ軸、ｚ軸の座標値、および、カメラ２の姿勢を表す値（ＰＡＮ，ＲＯＬＬ，ＴＩＬＴ）を含む。 The camera parameters include internal camera parameters and external camera parameters. The internal camera parameters include dot pitch, focal length, distortion (elevation image height TBL), etc. The external camera parameters include the x-axis, y-axis, and z-axis coordinate values of the shooting position of the camera 2, and values (PAN, ROLL, TILT) that represent the attitude of the camera 2.
また、カメラパラメータとは別のパラメータとして、軌跡算出部１１は、あらかじめ指定された信号機の路面からの高さを参照する。信号機の高さは、たとえば５ｍから５．５ｍの範囲において指定される。
In addition to the camera parameters, the
ここで、あらかじめ指定された信号機の高さが５ｍであるものとする。この場合、仮想平面は、ｚ軸の座標値を５ｍに固定した場合のｘｙ平面である。 Here, assume that the height of the traffic light specified in advance is 5 m. In this case, the virtual plane is the xy plane with the z-axis coordinate value fixed at 5 m.
これより、仮想平面は、鉛直方向の軸を含む互いに直交する３つの軸で表される座標系において、鉛直方向の軸の座標値を固定することで得られる仮想的な平面ということができる。 Therefore, a virtual plane can be said to be an imaginary plane obtained by fixing the coordinate value of the vertical axis in a coordinate system represented by three mutually perpendicular axes, including the vertical axis.
軌跡算出部１１は、仮想車両位置に対する信号機の位置を、時刻と対応付けて軌跡情報として記憶部６に格納する。仮想車両位置に対する信号機の位置は、ｘｙ平面上の座標、又はｘｙｚ空間上の座標（ただしｚ軸の座標値は固定値）によって表される。
The
図２に戻り、アスペクト比算出部１２は、信号機のアスペクト比を算出する。具体的には、アスペクト比算出部１２は、画像認識部１０によって抽出されたＢｂｏｘのアスペクト比を算出する。アスペクト比は、Ｂｂｏｘの縦横の長さの比率である。アスペクト比は、Ｂｂｏｘの横方向（左右方向）の長さを、Ｂｂｏｘの縦方向（上下方向）の長さを除算することで算出される。アスペクト比算出部１２は、同一ＩＤのＢｂｏｘのアスペクト比の平均値を算出する。アスペクト比算出部１２は、同一ＩＤのＢｂｏｘの最大アスペクト比、および、最小アスペクト比を算出してもよい。 Returning to FIG. 2, the aspect ratio calculation unit 12 calculates the aspect ratio of the traffic light. Specifically, the aspect ratio calculation unit 12 calculates the aspect ratio of the Bbox extracted by the image recognition unit 10. The aspect ratio is the ratio of the length of the Bbox in the horizontal direction to the length of the Bbox in the vertical direction (up and down direction). The aspect ratio calculation unit 12 calculates the average aspect ratio of the Bboxes with the same ID. The aspect ratio calculation unit 12 may calculate the maximum aspect ratio and the minimum aspect ratio of the Bboxes with the same ID.
信号無視判定部１３は、軌跡情報と、信号機の発光状態とに基づいて信号機に対する信号無視の確度を判定する。信号無視判定部１３は、軌跡情報と、信号機の発光状態と、アスペクト比とに基づいて信号機に対する信号無視の確度を判定する。
The signal
信号無視判定部１３は、軌跡情報に基づいて、車両Ｃに対して信号機が、直進で近づいているか否かを判定する。信号無視判定部１３は、車両Ｃが、予め設定された一定距離を移動する毎に軌跡情報に基づいて、車両Ｃの進行方向に対する信号機の角度を算出する。角度は、仮想平面においてｚ軸の正の方向から見たｙ軸に対する正負方向への角度である。
The signal ignore
そして、角度が、－１０°以上、かつ、＋１０°以下である場合、信号無視判定部１３は、信号機が車両Ｃに対して直進して近づいていると判定する。すなわち、信号無視判定部１３は、車両Ｃが直進していると判定する。たとえば、角度が、－１０°以上、かつ＋１０°以下である場合、信号無視判定部１３は、直進接近に関する判定結果を示す変数の値を、直進を示す値（たとえば、「１」）に更新する。
If the angle is -10° or more and +10° or less, the signal ignore
角度が、－１００°以上、かつ、－１０°未満である場合、または、角度が、＋１０°よりも大きく、かつ、＋１００°以下である場合、信号無視判定部１３は、車両Ｃが右左折していると判定する。たとえば、角度が、－１００°以上、かつ、－１０°未満である場合、または、角度が、＋１０°よりも大きく、かつ、＋１００°以下である場合、信号無視判定部１３は、変数の値を、右左折を示す値（たとえば、「０」）に更新する。
If the angle is -100° or more and less than -10°, or if the angle is greater than +10° and less than +100°, the signal ignore
角度が－１００°未満、または、＋１００°よりも大きい場合、信号無視判定部１３は、直進、および、右左折の判定を行わない。
If the angle is less than -100° or greater than +100°, the signal
信号無視判定部１３は、一定回数連続して同じ判定が続いた場合に変数を更新するようにしてもよい。たとえば、信号無視判定部１３は、２回連続直進と判定した場合に変数の値を「１」に更新する。
The traffic light
信号無視判定部１３は、信号機の発光状態を判定する。信号無視判定部１３は、車両Ｃの前方に設けられる検知範囲内の信号機について、発光状態を判定する。検知範囲は、予め設定される範囲である。検知範囲は、仮想平面上において、たとえば、矩形状に設定される。検知範囲は、ｙ軸方向において、車両Ｃの前方の第１所定距離（たとえば、２０ｍ）以下の範囲を含む。検知範囲は、ｘ軸方向において、車両Ｃの中心から正負方向にそれぞれ第２所定距離（たとえば、５．２５ｍ）以下までの範囲を含む。
The signal
信号無視判定部１３は、検知範囲内の信号機と、車両Ｃとの距離が、第３所定距離（たとえば、５ｍ）未満となったか否かを判定する。信号機と車両Ｃとの距離は、仮想平面上における距離である。信号無視判定部１３は、信号機の発光状態が「赤」であるか否かを判定する。
The signal
信号無視判定部１３は、検知範囲内の信号機と、車両Ｃとの距離が、第３所定距離となった場合の信号機の発光状態を、信号機の判定色として確定させる。たとえば、信号機と車両Ｃとの距離が第３所定距離未満となった時の信号機の色が「赤」である場合、信号無視判定部１３は、信号機の判定色を「赤」として確定させる。信号機と車両Ｃとの距離が第３所定距離未満となった時の信号機の色が「青」である場合、信号無視判定部１３は、信号機の判定色を「青」として確定させる。
The signal
信号無視判定部１３は、一定回数連続して、信号機の発光状態が同じ色である場合に最終的な信号機の発光状態の判定を確定させてもよい。たとえば、信号無視判定部１３は、信号機と車両Ｃとの距離が第３所定距離未満となり、かつ、３回連続して「赤」と判定した場合に、信号機の判定色を「赤」に確定させる。
The signal
信号無視判定部１３は、Ｂｂｏｘのアスペクト比に基づいて車両Ｃに対する信号機の向きを判定する。Ｂｂｏｘのアスペクト比は、車両Ｃに対する信号機の向きに応じた傾向がある。
The signal
たとえば、図４に示すように、横型の信号機のＢｂｏｘは、横方向に長いＢｂｏｘとして抽出される。そのため、アスペクト比は大きくなる。図４は、横型の信号機のＢｂｏｘの一例を示す図である。図４において、車両Ｃの正面側を向いている横型の信号機のＢｂｏｘ（図４中、Ｂ１）を破線で示す。また、車両Ｃの側方側を向いている横型の信号機のＢｂｏｘ（図４中、Ｂ２）を一点鎖線で示す。 For example, as shown in FIG. 4, the Bbox of a horizontal traffic light is extracted as a Bbox that is long in the horizontal direction. Therefore, the aspect ratio becomes large. FIG. 4 is a diagram showing an example of a Bbox of a horizontal traffic light. In FIG. 4, the Bbox of the horizontal traffic light (B1 in FIG. 4) that faces the front side of the vehicle C is shown by a dashed line. In addition, the Bbox of the horizontal traffic light (B2 in FIG. 4) that faces the side of the vehicle C is shown by a dashed line.
横型の信号機が車両Ｃの正面側を向いている場合、横型の信号機のＢｂｏｘは、横方向に長いＢｂｏｘＢ１として抽出される。しかしながら、車両Ｃの側方側を向いている横型の信号機のＢｂｏｘＢ２のアスペクト比は、車両Ｃの正面側を向いている横型の信号機のＢｂｏｘＢ１のアスペクト比よりも小さい。 When a horizontal traffic light faces the front of vehicle C, the Bbox of the horizontal traffic light is extracted as BboxB1, which is long in the horizontal direction. However, the aspect ratio of BboxB2 of the horizontal traffic light facing the side of vehicle C is smaller than the aspect ratio of BboxB1 of the horizontal traffic light facing the front of vehicle C.
たとえば、横型の信号機が車両Ｃの正面側を向いている場合、Ｂｂｏｘのアスペクト比は、第１所定アスペクト比以上となる。横型の信号機が車両Ｃの側方側を向いている場合、Ｂｂｏｘのアスペクト比は、第１所定アスペクト比未満となる。第１所定アスペクト比は、たとえば、シミュレーションなどによって算出される。 For example, if a horizontal traffic light faces the front of vehicle C, the aspect ratio of Bbox is equal to or greater than the first predetermined aspect ratio. If a horizontal traffic light faces the side of vehicle C, the aspect ratio of Bbox is less than the first predetermined aspect ratio. The first predetermined aspect ratio is calculated, for example, by simulation.
シミュレーションなどでは、横型の信号機と車両Ｃとの前後方向の距離、および、横型の信号機と車両Ｃとの左右方向の距離が変更されて、横型の信号機のＢｂｏｘのアスペクト比が算出される。そして、距離に対するＢｂｏｘのアスペクト比の平均値が算出され、アスペクト比の平均値に基づいて第１所定アスペクト比が設定される。 In a simulation, the longitudinal distance between the horizontal traffic light and vehicle C and the lateral distance between the horizontal traffic light and vehicle C are changed to calculate the aspect ratio of the Bbox of the horizontal traffic light. Then, the average value of the aspect ratio of the Bbox with respect to the distance is calculated, and the first predetermined aspect ratio is set based on the average aspect ratio.
そのため、アスペクト比が第１所定アスペクト比以上であるＢｂｏｘの信号機は、車両Ｃの正面側を向いた信号機であると判定することができる。 Therefore, a traffic light in Bbox whose aspect ratio is equal to or greater than the first predetermined aspect ratio can be determined to be facing the front of vehicle C.
また、図５に示すように、縦型の信号機のＢｂｏｘは、縦方向に長いＢｂｏｘとして抽出される。そのため、アスペクト比は小さくなる。図５は、縦型の信号機のＢｂｏｘの一例を示す図である。図５において、車両Ｃの正面側を向いている縦型の信号機のＢｂｏｘ（図５中、Ｂ３）を破線で示す。また、車両Ｃの側方側を向いている縦型の信号機のＢｂｏｘ（図５中、Ｂ４）を一点鎖線で示す。 As shown in FIG. 5, the Bbox of a vertical traffic light is extracted as a Bbox that is long in the vertical direction. Therefore, the aspect ratio is small. FIG. 5 is a diagram showing an example of a Bbox of a vertical traffic light. In FIG. 5, the Bbox of a vertical traffic light (B3 in FIG. 5) that faces the front side of the vehicle C is shown by a dashed line. Also, the Bbox of a vertical traffic light (B4 in FIG. 5) that faces the side of the vehicle C is shown by a dashed line.
縦型の信号機が車両Ｃの正面側を向いている場合、縦型の信号機のＢｂｏｘは、縦方向に長いＢｂｏｘＢ３として抽出される。しかしながら、車両Ｃの側方側を向いている縦型の信号機のＢｂｏｘＢ４のアスペクト比は、車両Ｃの正面側を向いている縦型の信号機のＢｂｏｘＢ３のアスペクト比よりも大きい。 When a vertical traffic light faces the front of vehicle C, the Bbox of the vertical traffic light is extracted as BboxB3, which is long in the vertical direction. However, the aspect ratio of BboxB4 of the vertical traffic light facing the side of vehicle C is larger than the aspect ratio of BboxB3 of the vertical traffic light facing the front of vehicle C.
たとえば、縦型の信号機が車両Ｃの正面側を向いている場合、Ｂｂｏｘのアスペクト比は、第２所定アスペクト比以下となる。縦型の信号機が車両Ｃの側方側を向いている場合、Ｂｂｏｘのアスペクト比は、第２所定アスペクト比よりも大きくなる。第２所定アスペクト比は、たとえば、シミュレーションなどによって算出される。 For example, if a vertical traffic light faces the front of vehicle C, the aspect ratio of Bbox is equal to or smaller than the second predetermined aspect ratio. If a vertical traffic light faces the side of vehicle C, the aspect ratio of Bbox is greater than the second predetermined aspect ratio. The second predetermined aspect ratio is calculated, for example, by simulation.
シミュレーションなどでは、縦型の信号機と車両Ｃとの前後方向の距離、および、縦型の信号機と車両Ｃとの左右方向の距離が変更されて、縦型の信号機のＢｂｏｘのアスペクト比が算出される。そして、距離に対するＢｂｏｘのアスペクト比の平均値が算出され、アスペクト比の平均値に基づいて第２所定アスペクト比が設定される。 In a simulation, the longitudinal distance between the vertical traffic light and vehicle C and the lateral distance between the vertical traffic light and vehicle C are changed to calculate the aspect ratio of the Bbox of the vertical traffic light. Then, the average value of the aspect ratio of the Bbox with respect to the distance is calculated, and the second predetermined aspect ratio is set based on the average aspect ratio.
そのため、アスペクト比が第２所定アスペクト比以下であるＢｂｏｘの信号機は、車両Ｃの正面側を向いた信号機であると判定することができる。 Therefore, a traffic light in Bbox whose aspect ratio is equal to or less than the second predetermined aspect ratio can be determined to be facing the front of vehicle C.
信号無視判定部１３は、Ｂｂｏｘのアスペクト比と、第１所定アスペクト比、および、第２所定アスペクト比とを比較する。なお、比較に用いられるＢｂｏｘのアスペクト比は、アスペクト比算出部１２によって算出された同一ＩＤのＢｂｏｘのアスペクト比の平均値である。信号無視判定部１３は、Ｂｂｏｘのアスペクト比が第１所定アスペクト比以上であるか否かを判定する。信号無視判定部１３は、Ｂｂｏｘのアスペクト比が第２所定アスペクト比以下であるか否かを判定する。
The signal ignore
信号無視判定部１３は、Ｂｂｏｘのアスペクト比が第１所定アスペクト比以上である信号機を、車両Ｃの正面側を向いた信号機である可能性が高いと判定する。信号無視判定部１３は、Ｂｂｏｘのアスペクト比が第２所定アスペクト比以下である信号機を、車両Ｃの正面側を向いた信号機である可能性が高いと判定する。すなわち、信号無視判定部１３は、Ｂｂｏｘのアスペクト比が第１所定アスペクト比以上である信号機、または、Ｂｂｏｘのアスペクト比が第２所定アスペクト比以下である信号機を、対象信号機であると判定する。
The signal
信号無視判定部１３は、Ｂｂｏｘのアスペクト比が第１所定アスペクト未満であり、かつ、第２所定アスペクト比よりも大きい信号機を、車両Ｃの側方側を向いた信号機である可能性が高いと判定する。すなわち、信号無視判定部１３は、Ｂｂｏｘのアスペクト比が第１所定アスペクト未満であり、かつ、第２所定アスペクト比よりも大きい信号機を、対象信号機ではなない可能性があり、非対象信号機の可能性があると判定する。
The signal
信号無視判定部１３は、車両Ｃに対して信号機が直進で近づいており、仮想平面上において第３所定距離未満となった時の信号機の色が「赤」であり、かつ、車両Ｃの正面側を向いた信号機である可能性が高い場合、信号無視を検出する。信号無視判定部１３は、信号無視フラグを「１」とし、信号無視の確度を「高」と判定する。すなわち、信号無視判定部１３は、車両Ｃに直進で近づき、車両Ｃの正面側を向いている信号機を対象信号機と判定する。そして、信号無視判定部１３は、「赤」の状態の対象信号機を車両Ｃが通過したと判定し、信号無視である角度が高いと判定する。
The signal
信号無視判定部１３は、車両Ｃに対して信号機が直進で近づいており、仮想平面上において第３所定距離未満となった時の信号機の色が「赤」であり、かつ、車両Ｃの側方側を向いた信号機である可能性が高い場合、信号無視を検出する。信号無視判定部１３は、信号無視フラグを「１」とし、信号無視の確度を「低」と判定する。すなわち、信号無視判定部１３は、信号機を、車両Ｃに直進で近づき、対象信号機ではない可能性がある信号機であると判定する。信号無視判定部１３は、「赤」の状態の信号機を車両Ｃが通過したと判定するが、信号無視の確度が低いと判定する。
The signal
信号無視判定部１３は、車両Ｃに対して信号機が直進で近づいており、仮想平面上において第３所定距離未満となった時の信号機の色が「赤」以外である場合、信号無視を検出しない。信号無視判定部１３は、信号無視フラグを「０」とする。なお、信号機の発光状態は、車両Ｃの進行を許可する矢印の発光状態を含む。車両Ｃの進行を許可する矢印に車両Ｃが進む場合、信号無視判定部１３は、信号無視を検出しない。
When a traffic light is approaching vehicle C in a straight line and the color of the traffic light is other than "red" when the distance is less than the third predetermined distance on the virtual plane, the signal disregarding
信号無視判定部１３は、車両Ｃに対して信号機が直進で近づいていない場合、たとえば、車両Ｃが右左折している場合、信号無視を検出しない。すなわち、信号無視判定部１３は、信号機を、右左折の直後にある非対象信号機として、信号無視の対象から除外する。
When the traffic light is not approaching vehicle C in a straight line, for example when vehicle C is turning right or left, the signal
また、信号無視判定部１３は、Ｇセンサ２０から入力された加速度に基づいて、車両Ｃが右左折しているか否かを判定する。以下における加速度は、車両Ｃの幅方向（左右方向）における加速度である。加速度の絶対値が予め設定された第１所定加速度以上となる回数が、予め設定された第１所定時間内において所定回数以上である場合、信号無視判定部１３は、車両Ｃが右左折していると判定する。すなわち、信号無視判定部１３は、車両Ｃが右左折中であると判定する。第１所定加速度、第１所定時間、および、所定回数は、車両Ｃの右左折を判定可能な値であり、シミュレーション、および、実験結果などによって設定される。
The signal ignore
信号無視判定部１３は、Ｇセンサ２０から入力される加速度に基づいて、車両Ｃが右左折していると判定した場合、信号無視の判定をキャンセルする。信号無視判定部１３は、Ｇセンサ２０から入力される加速度に基づいて、車両Ｃが右左折中であると判定した場合、信号無視を検出しない。信号無視フラグが「１」である場合、信号無視判定部１３は、信号無視フラグを「０」にする。
When the signal ignore
また、信号無視判定部１３は、Ｇセンサ２０から入力された加速度に基づいて、車両Ｃの右左折が終了したか否かを判定する。信号無視判定部１３は、加速度の絶対値が予め設定された第２所定加速度以下になると、車両Ｃの右左折が終了したと判定する。信号無視判定部１３は、加速度の絶対値が、第２所定加速度よりも大きい状態から第２所定加速度以下に変化した場合に、車両Ｃの右左折が終了したと判定する。第２所定加速度は、車両Ｃの右左折が終了したと判定可能な値であり、シミュレーション、および、実験結果などによって設定される。第２所定加速度は、第１所定加速度と異なる値であってもよく、同じ値であってもよい。
The signal ignore
信号無視判定部１３は、車両Ｃの右左折が終了したと判定した場合、第１経過時間を計測する。信号無視判定部１３は、第１経過時間が、第１マスク時間を経過するまで、信号無視を検出しない。第１マスク時間は、予め設定された時間である。第１マスク時間は、車両Ｃが右左折した後に、右左折の直後にある非対象信号機を通過するまでの時間である。第１マスク時間は、たとえば、３秒である。信号無視判定部１３は、車両Ｃの右左折が終了した後、第１マスク時間の間に判定された信号無視の判定をキャンセルする。
When the signal disregarding
たとえば、図６に示すように、加速度が変化し、時間ｔ１において、加速度の絶対値が、第１所定加速度以上となる回数が、第１所定時間内において所定回数以上になると、信号無視判定部１３は、車両Ｃが右左折していると判定する。そのため、信号無視判定部１３は、信号無視の判定をキャンセルする。図６は、車両Ｃが右折した場合の加速度の変化と、信号無視の判定のキャンセル期間との関係を示す図である。
For example, as shown in FIG. 6, when the acceleration changes and the number of times at time t1 when the absolute value of the acceleration is equal to or greater than the first predetermined acceleration is equal to or greater than a predetermined number within the first predetermined time, the signal ignore
また、時間ｔ２において、加速度の絶対値が第２所定加速度以下になると、信号無視判定部１３は、右折が終了したと判定する。そして、第１経過時間が第１マスク時間となる時間ｔ３まで、信号無視判定部１３は、信号無視の判定をキャンセルする。従って、信号無視判定部１３は、時間ｔ１～時間ｔ３までの間、信号無視の判定をキャンセルする。
Furthermore, at time t2, when the absolute value of the acceleration becomes equal to or less than the second predetermined acceleration, the signal ignore
信号無視判定部１３は、車速に基づいて、信号無視の判定をキャンセルする。信号無視判定部１３は、車速が、予め設定された所定車速（たとえば、３０ｋｍ／ｈ）以下である場合、信号無視の判定をキャンセルする。
The signal-ignoring
また、信号無視判定部１３は、車両Ｃの右左折が終了した後に、車速が所定車速以上となったか否かを判定する。信号無視判定部１３は、車速が所定車速以上になると、第２経過時間を計測する。第２経過時間が、第２マスク時間を経過するまで、信号無視を検出しない。すなわち、信号無視判定部１３は、車速が所定車速以上になると、第２マスク時間の間、信号無視を検出しない。具体的には、信号無視判定部１３は、信号無視の判定をキャンセルする。第２マスク時間は、予め設定された時間である。第２マスク時間は、車両Ｃの右左折した後に、非対象信号機を通過するまでの時間である。第２マスク時間は、第１マスク時間と同じ時間であってもよく、異なる時間であってもよい。
The signal ignore
車両Ｃの右左折の終了は、加速度に基づいて判定される。そのため、たとえば、車両Ｃが右折する場合に、対向車の通過待ち、および、歩行者の通過待ちを行うために、車両Ｃが停止すると、加速度が第２所定加速度以下になり、車両Ｃの右折が終了したと判定される。この場合、車両Ｃが動き出して、実際に右折が終了した直後にある非対象信号が、対象信号と判定されて、信号無視が誤判定されるおそれがある。 The completion of a right/left turn by vehicle C is determined based on acceleration. Therefore, for example, when vehicle C is making a right turn and stops to wait for oncoming vehicles and pedestrians to pass, the acceleration becomes equal to or lower than the second predetermined acceleration, and it is determined that vehicle C has completed its right turn. In this case, when vehicle C starts moving, a non-target signal that appears immediately after the vehicle C has actually completed its right turn may be determined to be a target signal, which may result in an erroneous determination that the vehicle has ignored the signal.
また、たとえば、車両Ｃの右折に対する非対象信号が、交差点から離れた位置に設けられている場合、加速度が第２所定加速度以下になり、車両Ｃの右折が終了したと判定されて第１マスク時間の経過後に、車両Ｃが非対象信号を通過することがある。この場合、右折が終了した直後にある非対象信号が、対象信号と判定されて、信号無視が誤判定されるおそれがある。 For example, if a non-target signal for vehicle C making a right turn is provided at a location away from the intersection, vehicle C may pass the non-target signal after the acceleration falls below the second predetermined acceleration, it is determined that vehicle C has completed its right turn, and the first mask time has elapsed. In this case, the non-target signal immediately after the right turn is completed may be determined to be a target signal, and a false determination may be made that the vehicle has ignored the signal.
そこで、信号無視判定部１３は、車両Ｃの右左折が終了した後に車両Ｃが加速し、車速が所定車速以上になると、第２経過時間を計測し、第２経過時間が第２マスク時間を経過するまで、信号無視の判定をキャンセルする。これにより、信号無視判定部１３は、信号無視の誤判定を抑制することができる。
Therefore, when vehicle C accelerates after completing a right/left turn and the vehicle speed reaches or exceeds a predetermined vehicle speed, the signal
信号無視フラグが「１」であり、かつ、信号無視の確度が「高」である場合、信号無視判定部１３は、車両Ｃのドライバーに信号無視を行った可能性が高いことを、報知する。たとえば、信号無視判定部１３は、出力部５に信号無視の可能性が高いことを報知するための信号を出力する。これによって、信号無視を行った可能性が高いことが、ドライバーに報知される。たとえば、スピーカによる音声出力、および、ディスプレイによる表示によって、信号無視を行った可能性が高いことが、ドライバーに報知される。
When the signal ignore flag is "1" and the probability of signal ignore is "high", the signal ignore
また、信号無視判定部１３は、通信部３を介して外部のデータセンターに、信号無視が行われた可能性が高いデータを送信する。たとえば、信号無視判定部１３は、信号無視が行われた可能性が高い画像を送信する。
The signal ignore
信号無視フラグが「１」であり、かつ、信号無視の確度が「低」である場合、信号無視判定部１３は、通信部３を介して外部のデータセンターに、信号無視が行われた可能性があるデータを送信する。信号無視フラグが「１」であり、かつ、信号無視の確度が「低」である場合、信号無視判定部１３は、ドライバーへの報知を行わない。
When the signal ignore flag is "1" and the probability of signal ignore is "low", the signal ignore
信号無視フラグが「０」である場合、信号無視判定部１３は、データセンターへの送信、および、ドライバーへの報知を行わない。
If the signal violation flag is "0", the signal
次に、実施形態に係る信号無視検知処理における処理手順について図７を参照し説明する。図７は、実施形態に係る信号無視検知処理の手順を示す図である。 Next, the processing procedure of the signal violation detection process according to the embodiment will be described with reference to FIG. 7. FIG. 7 is a diagram showing the procedure of the signal violation detection process according to the embodiment.
まず、ステップＳ１０において、前処理が行われる。前処理では、抽出されたＢｂｏｘに対し、画像における位置補正が行われる。前処理では、確信度が低いＢｂｏｘが除外される。 First, in step S10, preprocessing is performed. In the preprocessing, position correction is performed on the extracted Bbox in the image. In the preprocessing, Bboxes with low confidence are excluded.
前処理が行われると、ステップＳ１１において、フレーム補間処理が行われる。フレーム補間処理が行われると、ステップＳ１２において、信号機の軌跡算出処理が行われる。また、ステップＳ１３において、信号機の発光状態の判定処理が行われる。 After pre-processing, frame interpolation processing is performed in step S11. After frame interpolation processing is performed, traffic light trajectory calculation processing is performed in step S12. In addition, traffic light illumination state determination processing is performed in step S13.
そして、ステップＳ１４において、信号無視判定処理が行われる。信号無視判定処理によって、信号無視フラグ、および、信号無視の確度が出力される。なお、信号無視フラグは、上記するように、加速度、および、車速に基づいて、キャンセルされることがある。 Then, in step S14, a signal ignore determination process is performed. The signal ignore determination process outputs a signal ignore flag and the probability of signal ignore. Note that the signal ignore flag may be canceled based on the acceleration and vehicle speed, as described above.
次に、実施形態に係る信号無視判定処理について、図８のフローチャートを参照し説明する。図８は、実施形態に係る信号無視判定処理を説明するフローチャートである。 Next, the traffic light neglect determination process according to the embodiment will be described with reference to the flowchart in FIG. 8. FIG. 8 is a flowchart illustrating the traffic light neglect determination process according to the embodiment.
信号無視判定部１３は、車両Ｃの進行方向に対する信号機の角度を算出する（Ｓ１００）。信号無視判定部１３は、仮想平面上において、車両Ｃの進行方向に対する信号機の角度を算出する。
The signal
信号無視判定部１３は、車両Ｃに対して信号機が直進で近づいているか否か判定する（Ｓ１０１）。信号無視判定部１３は、角度が－１０°以上、かつ、＋１０°以下であるか否かを判定する。角度が－１０°以上、かつ、＋１０°以下である場合、信号無視判定部１３は、車両Ｃに対して信号機が直進で近づいていると判定する。
The signal
車両Ｃに対して信号機が直進で近づいている場合（Ｓ１０１：Ｙｅｓ）、信号無視判定部１３は、信号機と車両Ｃとの距離が、第３所定距離未満になったか否かを判定する（Ｓ１０２）。信号機と車両Ｃとの距離が、第３所定距離未満ではない場合（Ｓ１０２：Ｎｏ）、信号無視判定部１３は、今回の処理を終了する。
If the traffic light is approaching vehicle C in a straight line (S101: Yes), the signal disregarding
信号機と車両Ｃとの距離が、第３所定距離未満になった場合（Ｓ１０２：Ｙｅｓ）、信号無視判定部１３は、信号機の発光状態が「赤」であるか否かを判定する（Ｓ１０３）。
If the distance between the traffic light and vehicle C becomes less than the third predetermined distance (S102: Yes), the signal
信号機の発光状態が「赤」である場合（Ｓ１０３：Ｙｅｓ）、信号無視判定部１３は、Ｂｂｏｘのアスペクト比が第１所定アスペクト比以上であるか否かを判定する（Ｓ１０４）。
If the light status of the traffic light is "red" (S103: Yes), the signal ignore
信号無視判定部１３は、Ｂｂｏｘのアスペクト比が第１所定アスペクト比未満である場合（Ｓ１０４：Ｎｏ）、Ｂｂｏｘのアスペクト比が第２所定アスペクト比以下であるか否かを判定する（Ｓ１０５）。
If the aspect ratio of Bbox is less than the first predetermined aspect ratio (S104: No), the signal ignore
Ｂｂｏｘのアスペクト比が第１所定アスペクト比以上である場合（Ｓ１０４：Ｙｅｓ）、または、第２所定アスペクト比以下である場合（Ｓ１０５：Ｙｅｓ）、信号無視判定部１３は、信号無視フラグを「１」にし、信号無視の確度が「高」であると判定する（Ｓ１０６）。
If the aspect ratio of Bbox is equal to or greater than the first predetermined aspect ratio (S104: Yes), or equal to or less than the second predetermined aspect ratio (S105: Yes), the signal ignore
Ｂｂｏｘのアスペクト比が第１所定アスペクト比未満であり（Ｓ１０４：Ｎｏ）、かつ、第２所定アスペクト比よりも大きい場合（Ｓ１０５：Ｎｏ）、信号無視判定部１３は、信号無視フラグを「１」とし、信号無視の確度が「低」であると判定する（Ｓ１０７）。
If the aspect ratio of Bbox is less than the first predetermined aspect ratio (S104: No) and is greater than the second predetermined aspect ratio (S105: No), the signal ignore
車両Ｃに対して信号機が直進で近づいていない場合（Ｓ１０１：Ｎｏ）、信号無視判定部１３は、車両Ｃが右左折しているか否かを判定する（Ｓ１０８）。信号無視判定部１３は、角度が－１００°以上、かつ、－１０°未満であるか、または、＋１０°よりも大きく、かつ、＋１００°以下であるか否かを判定する。角度が－１００°以上、かつ、－１０°未満である場合、または、＋１０°よりも大きく、かつ、＋１００°以下である場合、信号無視判定部１３は、車両Ｃが右左折していると判定する。
If vehicle C is not approaching a traffic light going straight ahead (S101: No), the signal ignore
車両Ｃが右左折していない場合（Ｓ１０８：Ｎｏ）、信号無視判定部１３は、今回の処理を終了する。
If vehicle C is not turning right or left (S108: No), the signal
信号機の発光状態が「赤」ではない場合（Ｓ１０３：Ｎｏ）、または、車両Ｃが右左折している場合（Ｓ１０８：Ｙｅｓ）、信号無視判定部１３は、信号無視フラグを「０」にする（Ｓ１０９）。
If the light status of the traffic light is not "red" (S103: No), or if vehicle C is turning right or left (S108: Yes), the signal
次に、実施形態に係る信号無視フラグの第１キャンセル処理について、図９のフローチャートを参照し説明する。図９は、実施形態に係る信号無視フラグの第１キャンセル処理を説明するフローチャートである。 Next, the first cancellation process of the signal ignore flag according to the embodiment will be described with reference to the flowchart in FIG. 9. FIG. 9 is a flowchart illustrating the first cancellation process of the signal ignore flag according to the embodiment.
信号無視判定部１３は、加速度に基づいて車両Ｃが右左折しているか否かを判定する（Ｓ２００）。加速度の絶対値が予め設定された第１所定加速度以上となる回数が、第１所定時間内において所定回数以上である場合、信号無視判定部１３は、車両Ｃが右左折していると判定する。
The signal-ignoring
車両Ｃが右左折している場合（Ｓ２００：Ｙｅｓ）、信号無視判定部１３は、信号無視の判定をキャンセルする（Ｓ２０１）。信号無視フラグが「１」の場合、信号無視判定部１３は、信号無視フラグを「０」にする。
If vehicle C is turning right or left (S200: Yes), the signal ignore
車両Ｃが右左折していない場合（Ｓ２００：Ｎｏ）、信号無視判定部１３は、車両Ｃの右左折が終了したか否かを判定する（Ｓ２０２）。信号無視判定部１３は、加速度の絶対値が第２所定加速度以下になったか否かを判定する。
If vehicle C is not turning right or left (S200: No), the signal ignore
信号無視判定部１３は、車両Ｃの右左折が終了したと判定しない場合（Ｓ２０２：Ｎｏ）、すなわち、車両Ｃが直進している場合、今回の処理を終了する。
If the signal
信号無視判定部１３は、車両Ｃの右左折が終了したと判定した場合（Ｓ２０２：Ｙｅｓ）、第１経過時間を計測する（Ｓ２０３）。信号無視判定部１３は、信号無視の判定をキャンセルする（Ｓ２０４）。
When the signal
信号無視判定部１３は、第１経過時間が第１マスク時間を経過したか否かを判定する（Ｓ２０５）。第１経過時間が第１マスク時間を経過していない場合（Ｓ２０５：Ｎｏ）、信号無視判定部１３は、第１経過時間の計測を継続し（Ｓ２０３）、信号無視の判定をキャンセルする（Ｓ２０４）。すなわち、右左折の終了後、第１経過時間が経過するまで、信号無視フラグは「０」となり、信号無視は検出されない。
The signal ignore
第１経過時間が第１マスク時間を経過した場合（Ｓ２０５：Ｙｅｓ）、信号無視判定部１３は、今回の処理を終了する。
If the first elapsed time has elapsed the first mask time (S205: Yes), the signal ignore
次に、実施形態に係る信号無視フラグの第２キャンセル処理について図１０のフローチャートを参照し説明する。図１０は、実施形態に係る信号無視フラグの第２キャンセル処理を説明するフローチャートである。 Next, the second cancellation process of the signal ignore flag according to the embodiment will be described with reference to the flowchart in FIG. 10. FIG. 10 is a flowchart illustrating the second cancellation process of the signal ignore flag according to the embodiment.
信号無視判定部１３は、車速が所定車速以下であるか否かを判定する（Ｓ３００）。車速が所定車速以下である場合（Ｓ３００：Ｙｅｓ）、信号無視判定部１３は、信号無視の判定をキャンセルする（Ｓ３０１）。信号無視フラグが「１」の場合、信号無視判定部１３は、信号無視フラグを「０」にする。
The signal ignore
車速が所定車速よりも大きい場合（Ｓ３００：Ｎｏ）、信号無視判定部１３は、今回の処理を終了する。
If the vehicle speed is greater than the predetermined vehicle speed (S300: No), the signal ignore
次に、実施形態に係る信号無視フラグの第３キャンセル処理について図１１のフローチャートを参照し説明する。図１１は、実施形態に係る信号無視フラグの第３キャンセル処理を説明するフローチャートである。 Next, the third cancellation process of the signal ignore flag according to the embodiment will be described with reference to the flowchart in FIG. 11. FIG. 11 is a flowchart illustrating the third cancellation process of the signal ignore flag according to the embodiment.
信号無視判定部１３は、車両Ｃの右左折が終了したか否かを判定する（Ｓ４００）。信号無視判定部１３は、加速度に基づいて車両Ｃの右左折が終了したか否かを判定する。信号無視判定部１３は、車両Ｃの右左折が終了していないと判定した場合（Ｓ４００：Ｎｏ）、すなわち、車両Ｃが直進している場合、または、車両Ｃ右左折している場合、今回の処理を終了する。
The signal ignore
信号無視判定部１３は、車両Ｃの右左折が終了したと判定した場合（Ｓ４００：Ｙｅｓ）、車速が所定車速以上になったか否かを判定する（Ｓ４０１）。車速が所定車速未満である場合（Ｓ４０１：Ｎｏ）、信号無視判定部１３は、車速が所定車速以上となるまで、ステップＳ４０１の処理を繰り返す。
When the signal ignore
車速が所定車速以上になった場合（Ｓ４０１：Ｙｅｓ）、信号無視判定部１３は、第２経過時間を計測する（Ｓ４０２）。信号無視判定部１３は、信号無視の判定をキャンセルする（Ｓ４０３）。
When the vehicle speed becomes equal to or greater than the predetermined vehicle speed (S401: Yes), the signal ignore
信号無視判定部１３は、第２経過時間が第２マスク時間を経過したか否かを判定する（Ｓ４０４）。第２経過時間が第２マスク時間を経過していない場合（Ｓ４０４：Ｎｏ）、信号無視判定部１３は、第２経過時間の計測を継続し（Ｓ４０２）、信号無視の判定をキャンセルする（Ｓ４０３）。
The signal
第２経過時間が第２マスク時間を経過した場合（Ｓ４０４：Ｙｅｓ）、信号無視判定部１３は、今回の処理を終了する。
If the second elapsed time has elapsed the second mask time (S404: Yes), the signal ignore
ドライブレコーダ１は、制御部７を備える。制御部７は、画像に基づいて車両Ｃの信号無視を検出する。制御部７は、画像から信号機を検出し、画像から、車両Ｃに対する信号機の軌跡を算出し、信号機の軌跡の算出結果と、信号機の発光状態とに基づいて信号機に対する車両の信号無視の確度を判定する。
The
これにより、ドライブレコーダ１は、車両Ｃに対する信号機の軌跡を用いて、信号無視の確度を判定することによって、信号無視の誤検出を抑制することができる。たとえば、ドライブレコーダ１は、対象信号機ではない可能性がある信号機に対する信号無視の確度を低く判定することによって、信号無視の誤検出を抑制することができる。
Thereby, the
制御部７は、同じ高さの仮想平面上における信号機の軌跡を算出する。これにより、ドライブレコーダ１は、車両Ｃに対する信号機の位置の検出精度を向上させることができる。そのため、ドライブレコーダ１は、信号無視の検出精度を向上させることができる。
The control unit 7 calculates the trajectory of the traffic light on a virtual plane at the same height. This allows the
制御部７は、信号機のＢｂｏｘのアスペクト比を算出し、信号機の軌跡の算出結果と、信号機の発光状態と、アスペクト比とに基づいて信号無視の確度を判定する。 The control unit 7 calculates the aspect ratio of the traffic light's Bbox and determines the likelihood of ignoring the traffic light based on the calculation result of the traffic light's trajectory, the traffic light's illumination state, and the aspect ratio.
これにより、ドライブレコーダ１は、信号機の向きに応じて変化するＢｂｏｘのアスペクト比に基づいて、信号無視の確度を判定することによって、対象信号機ではない可能性が高い信号機に対する信号無視の誤検出を抑制することができる。
As a result, the
制御部７は、車両Ｃの幅方向における加速度に基づいて車両Ｃの右左折を判定し、車両Ｃの右左折中、信号無視を検出しない。 The control unit 7 determines whether the vehicle C is turning right or left based on the acceleration of the vehicle C in the width direction, and does not detect a violation of a traffic signal while the vehicle C is turning right or left.
これにより、ドライブレコーダ１は、車両Ｃの右左折中に検出される非対象信号機に対する信号無視の誤検出を抑制することができる。ドライブレコーダ１は、カメラ２によって撮影される画像以外のデータに基づいて車両Ｃの右左折を判定することによって、信号無視の誤検出を抑制することができる。
This allows the
制御部７は、車両Ｃの右左折が終了した後、第１マスク時間の間、信号無視を検出しない。 The control unit 7 does not detect red light violation for the first mask time after vehicle C has completed turning right or left.
これにより、ドライブレコーダ１は、車両Ｃが右左折した直後に通過する非対象信号機に対する信号無視の誤検出を抑制することができる。たとえば、ドライブレコーダ１は、車両Ｃが右左折する際の非対象信号機が、車両Ｃが右左折する交差点から離れた位置に設置されている場合に、非対象信号機に対する信号無視の誤検出を抑制することができる。
This allows the
制御部７は、車両Ｃの速度に応じて、信号無視を検出しない。たとえば、制御部７は、車両Ｃの速度が所定車速（３０ｋｍ／ｈ）以下であり、かつ、信号無視フラグが「１」として判定された場合、信号無視フラグをキャンセルし、「０」にする。 The control unit 7 does not detect red light ignoring depending on the speed of the vehicle C. For example, if the speed of the vehicle C is equal to or lower than a predetermined vehicle speed (30 km/h) and the red light ignoring flag is determined to be "1", the control unit 7 cancels the red light ignoring flag and sets it to "0".
これにより、ドライブレコーダ１は、カメラ２によって撮影される画像以外のデータに基づいて信号無視を判定し、たとえば、信号無視フラグをキャンセルすることができる。
This allows the
制御部７は、車両Ｃの右左折の終了し、かつ、車両Ｃの速度が所定速度以上となった後、第２マスク時間の間、信号無視を検出しない。 The control unit 7 does not detect red light violation for the second mask time after vehicle C has completed turning right or left and the speed of vehicle C has reached or exceeded a predetermined speed.
これにより、ドライブレコーダ１は、車両Ｃが右左折した直後に通過する非対象信号機に対する信号無視の誤検出を抑制することができる。たとえば、ドライブレコーダ１は、車両Ｃが右左折する際の非対象信号機が、車両Ｃが右左折する交差点から離れた位置に設置されている場合に、非対象信号機に対する信号無視の誤検出を抑制することができる。また、たとえば、車両Ｃが右左折時に、対向車の通過などによって停止した場合であっても、ドライブレコーダ１は、車両Ｃが右左折した直後に通過する非対象信号機に対する信号無視の誤検出を抑制することができる。
This allows the
変形例に係るドライブレコーダ１は、Ｂｂｏｘの最大アスペクト比、およびＢｂｏｘの最小アスペクト比を用いて、信号機の向きを判定してもよい。Ｂｂｏｘの最大アスペクト比、およびＢｂｏｘの最小アスペクト比を用いて、信号機の向きを判定することで、信号機の向きをより正確に判定することができる。たとえば、縦型の信号機では、Ｂｂｏｘの平均アスペクト比のみを用いて、信号機の向きが判定される場合、信号機の向きを正確に判定できない場合がある。
The
縦型の信号機が車両Ｃの正面側を向いている場合、たとえば、縦型の信号機のＢｂｏｘのアスペクト比は、所定最大アスペクト比以下である。また、縦型の信号機が車両Ｃの側方側を向いている場合、たとえば、縦型の信号機のＢｂｏｘの最大アスペクト比は、所定最大アスペクト比よりも大きい。 When a vertical traffic light faces the front of vehicle C, for example, the aspect ratio of the Bbox of the vertical traffic light is equal to or smaller than a predetermined maximum aspect ratio. Also, when a vertical traffic light faces the side of vehicle C, for example, the maximum aspect ratio of the Bbox of the vertical traffic light is greater than the predetermined maximum aspect ratio.
さらに、縦型の信号機が車両Ｃの正面側を向いている場合、たとえば、縦型の信号機のＢｂｏｘの最小アスペクト比は、所定最小アスペクト比以下である。また、縦型の信号機が車両Ｃの側方側を向いている場合、縦型の信号機のＢｂｏｘの最小アスペクト比は、所定最小アスペクト比よりも大きい。 Furthermore, when a vertical traffic light faces the front of vehicle C, for example, the minimum aspect ratio of the Bbox of the vertical traffic light is equal to or smaller than a predetermined minimum aspect ratio. Also, when a vertical traffic light faces the side of vehicle C, the minimum aspect ratio of the Bbox of the vertical traffic light is greater than the predetermined minimum aspect ratio.
そのため、ドライブレコーダ１の信号無視判定部１３は、Ｂｂｏｘのアスペクト比が第２所定アスペクト比以下であり、最大アスペクト比が所定最大アスペクト比以下であり、かつ、最小アスペクト比が所定最小アスペクト比以下である信号機を、車両Ｃの正面側を向いた信号機である可能性が高いと判定してもよい。
Therefore, the signal
信号無視の確度を判定する際に用いられるＢｂｏｘのアスペクト比は、Ｂｂｏｘの平均アスペクト比、Ｂｂｏｘの最大アスペクト比、および、Ｂｂｏｘの最小アスペクト比を含む。 The aspect ratios of the Bbox used to determine the likelihood of a traffic light violation include the average aspect ratio of the Bbox, the maximum aspect ratio of the Bbox, and the minimum aspect ratio of the Bbox.
これにより、変形例に係るドライブレコーダ１は、縦型の信号機の向きを正確に判定することができる。そのため、変形例に係るドライブレコーダ１は、信号無視の確度を正確に判定することができ、信号無視の誤検出を抑制することができる。
This allows the
なお、信号無視判定部１３は、最大アスペクト比、および、最小アスペクト比のいずれか一方と、アスペクト比の平均値とを用いて、信号機の向きを判定してもよい。
The traffic light ignore
変形例に係るドライブレコーダ１は、発光状態が「青」の信号機を通過した後、予め設定された第２所定時間内に通過した発光状態が「赤」の信号機に対する信号無視の確度を「低」と判定する。これにより、発光状態が「青」の信号機を通過した後、第２所定時間内に通過した発光状態が「赤」の信号機に対する信号無視について、変形例に係るドライブレコーダ１は、ドライバーに報知せず、データセンターに送信する。
The
上記信号無視の検出は、たとえば、サーバ装置などによって行われてもよい。たとえば、ドライブレコーダ１によって取得された画像が、通信部３を介してサーバ装置に送信されて、サーバ装置によって、上記信号無視の検出が行われてもよい。サーバ装置は、たとえば、信号無視などの検出を行うセンターに設けられる。
The detection of red light ignoring may be performed, for example, by a server device. For example, an image acquired by the
ドライブレコーダ１に実行させるプログラムは、インストール可能な形式、または、実行可能なファイルデータによってＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、ドライブレコーダ１に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
The program executed by the
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further advantages and modifications may readily occur to those skilled in the art. Therefore, the invention in its broader aspects is not limited to the specific details and representative embodiments shown and described above. Accordingly, various modifications may be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and equivalents thereof.
１ ドライブレコーダ（車載装置）
２ カメラ
６ 記憶部
７ 制御部
１０ 画像認識部
１１ 軌跡算出部
１２ アスペクト比算出部
１３ 信号無視判定部
２０ Ｇセンサ
２１ 車速センサ
1. Drive recorder (on-board device)
2 Camera 6 Storage unit 7 Control unit 10
開示の実施形態は、車載装置、車載装置の動作方法、およびプログラムに関する。 The disclosed embodiments relate to an in-vehicle device, an operation method for an in-vehicle device, and a program.
本発明は、上記に鑑みてなされたものであって、信号無視の誤検出を抑制する車載装置、車載装置の動作方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and has an object to provide an in-vehicle device, an operating method for an in-vehicle device, and a program that suppress erroneous detection of red light ignoring.
図２に戻り、アスペクト比算出部１２は、信号機のアスペクト比を算出する。具体的には、アスペクト比算出部１２は、画像認識部１０によって抽出されたＢｂｏｘのアスペクト比を算出する。アスペクト比は、Ｂｂｏｘの縦横の長さの比率である。アスペクト比は、Ｂｂｏｘの横方向（左右方向）の長さを、Ｂｂｏｘの縦方向（上下方向）の長さで除算することで算出される。アスペクト比算出部１２は、同一ＩＤのＢｂｏｘのアスペクト比の平均値を算出する。アスペクト比算出部１２は、同一ＩＤのＢｂｏｘの最大アスペクト比、および、最小アスペクト比を算出してもよい。 Returning to FIG. 2 , the aspect ratio calculation unit 12 calculates the aspect ratio of the traffic light. Specifically, the aspect ratio calculation unit 12 calculates the aspect ratio of the Bbox extracted by the image recognition unit 10. The aspect ratio is the ratio of the length of the Bbox in the horizontal direction to the length of the Bbox in the vertical direction (up and down direction). The aspect ratio calculation unit 12 calculates the average aspect ratio of the Bboxes with the same ID. The aspect ratio calculation unit 12 may calculate the maximum aspect ratio and the minimum aspect ratio of the Bboxes with the same ID.
Claims (10)
前記制御部は、
前記画像から信号機を検出し、
前記画像から、前記車両に対する前記信号機の相対位置の変化を算出し、
前記相対位置の変化の算出結果と、前記信号機の発光状態とに基づいて前記信号機に対する前記車両の信号無視の確度を判定する、車載装置。 A control unit is provided to detect a vehicle ignoring a traffic signal based on an image,
The control unit is
Detecting a traffic light from the image;
Calculating a change in a relative position of the traffic light with respect to the vehicle from the image;
An in-vehicle device that determines the likelihood of the vehicle ignoring a traffic light based on the calculation result of the change in relative position and the illumination state of the traffic light.
検出される前記信号機のアスペクト比を算出し、
前記相対位置の変化の算出結果と、前記信号機の発光状態と、前記アスペクト比とに基づいて前記確度を判定する、請求項１に記載の車載装置。 The control unit is
Calculating an aspect ratio of the detected traffic light;
The in-vehicle device according to claim 1 , wherein the accuracy is determined based on a calculation result of the change in the relative position, a light emission state of the traffic signal, and the aspect ratio.
前記車両の幅方向における加速度に基づいて前記車両の右左折を判定し、
前記車両の右左折中、前記信号無視を検出しない、請求項１に記載の車載装置。 The control unit is
determining whether the vehicle is turning right or left based on an acceleration in a width direction of the vehicle;
The in-vehicle device according to claim 1 , wherein the in-vehicle device is configured to not detect the red light violation while the vehicle is turning right or left.
前記画像から信号機を検出する工程と、
前記画像から、前記車両に対する前記信号機の相対位置の変化を算出する工程と、
前記相対位置の変化の算出結果と、前記信号機の発光状態とに基づいて前記信号機に対する前記車両の信号無視の確度を算出する工程と
を有する車載装置の制御方法。 A method for controlling an in-vehicle device that detects a vehicle running a red light based on an image, comprising:
detecting a traffic light from the image;
calculating a change in a relative position of the traffic light with respect to the vehicle from the images;
and calculating a probability of the vehicle ignoring a traffic light based on a result of the calculation of the change in relative position and a light emission state of the traffic light.
前記画像から信号機を検出する手順と、
前記画像から、前記車両に対する前記信号機の相対位置の変化を算出する手順と、
前記相対位置の変化の算出結果と、前記信号機の発光状態とに基づいて前記信号機に対する前記車両の信号無視の確度を算出する手順と
をコンピュータに実行させるプログラム。 A program for detecting a vehicle running a red light based on an image,
detecting a traffic light from the image;
calculating a change in a relative position of the traffic light with respect to the vehicle from the image;
and calculating a probability of the vehicle ignoring a traffic light based on a result of the calculation of the change in relative position and an illumination state of the traffic light.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022153135A JP7358593B1 (en) | 2022-09-26 | 2022-09-26 | In-vehicle device, operation method of in-vehicle device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022153135A JP7358593B1 (en) | 2022-09-26 | 2022-09-26 | In-vehicle device, operation method of in-vehicle device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7358593B1 JP7358593B1 (en) | 2023-10-10 |
| JP2024047487A true JP2024047487A (en) | 2024-04-05 |
Family
ID=88242028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022153135A Active JP7358593B1 (en) | 2022-09-26 | 2022-09-26 | In-vehicle device, operation method of in-vehicle device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7358593B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012069051A (en) * | 2010-09-27 | 2012-04-05 | Yazaki Corp | In-vehicle operation recording device |
| JP2015014988A (en) * | 2013-07-08 | 2015-01-22 | アサヒリサーチ株式会社 | Operation management device for vehicle and computer program |
| JP2016146162A (en) * | 2014-12-04 | 2016-08-12 | 株式会社リコー | Driving determination device, driving determination program, calculation system, detection device, detection system, and detection method and program |
| JP2020194528A (en) * | 2020-03-16 | 2020-12-03 | 東京海上日動火災保険株式会社 | Accident analysis device, accident analysis method, and program |
| JP2022029606A (en) * | 2020-08-05 | 2022-02-18 | 株式会社デンソーテン | Information processing device, video recording device, and information processing method |
-
2022
- 2022-09-26 JP JP2022153135A patent/JP7358593B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012069051A (en) * | 2010-09-27 | 2012-04-05 | Yazaki Corp | In-vehicle operation recording device |
| JP2015014988A (en) * | 2013-07-08 | 2015-01-22 | アサヒリサーチ株式会社 | Operation management device for vehicle and computer program |
| JP2016146162A (en) * | 2014-12-04 | 2016-08-12 | 株式会社リコー | Driving determination device, driving determination program, calculation system, detection device, detection system, and detection method and program |
| JP2020194528A (en) * | 2020-03-16 | 2020-12-03 | 東京海上日動火災保険株式会社 | Accident analysis device, accident analysis method, and program |
| JP2022029606A (en) * | 2020-08-05 | 2022-02-18 | 株式会社デンソーテン | Information processing device, video recording device, and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7358593B1 (en) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108496178B (en) | System and method for estimating future path | |
| JP5089545B2 (en) | Road boundary detection and judgment device | |
| JP2022172153A (en) | Vehicle navigation system, vehicle and program | |
| US10339805B2 (en) | Traffic light recognition device and traffic light recognition method | |
| JP4790454B2 (en) | Image recognition device, vehicle control device, image recognition method, and vehicle control method | |
| WO2013011952A1 (en) | Traffic lane recognition apparatus | |
| JP2008123462A (en) | Object detector | |
| JP6520740B2 (en) | Object detection method, object detection device, and program | |
| JP7077910B2 (en) | Bound line detection device and lane marking method | |
| JP2018092483A (en) | Object recognition device | |
| WO2016125377A1 (en) | Image-processing device and vehicle system | |
| JP6911312B2 (en) | Object identification device | |
| JP2011053809A (en) | White line recognition device for vehicle | |
| WO2019044625A1 (en) | Collision prediction device, collision prediction method, and program | |
| JP2008310440A (en) | Pedestrian detection device | |
| JP7195200B2 (en) | In-vehicle device, in-vehicle system, and surrounding monitoring method | |
| JP2004355139A (en) | Vehicle recognition system | |
| JP7261588B2 (en) | Traffic light recognition method and traffic light recognition device | |
| JP6115429B2 (en) | Own vehicle position recognition device | |
| CN114746915B (en) | Signal machine identification method and signal machine identification device | |
| CN114973644B (en) | Road information generating device | |
| JP3304905B2 (en) | Object tracking recognition device | |
| JP7358593B1 (en) | In-vehicle device, operation method of in-vehicle device, and program | |
| JP7255707B2 (en) | Traffic light recognition method and traffic light recognition device | |
| JP7226583B2 (en) | Traffic light recognition method and traffic light recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230822 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230927 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7358593 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |