JP2024047487A - On-vehicle device, on-vehicle device operation method, and program - Google Patents
On-vehicle device, on-vehicle device operation method, and program Download PDFInfo
- Publication number
- JP2024047487A JP2024047487A JP2022153135A JP2022153135A JP2024047487A JP 2024047487 A JP2024047487 A JP 2024047487A JP 2022153135 A JP2022153135 A JP 2022153135A JP 2022153135 A JP2022153135 A JP 2022153135A JP 2024047487 A JP2024047487 A JP 2024047487A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- traffic light
- signal
- aspect ratio
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims abstract description 20
- 230000001133 acceleration Effects 0.000 claims description 41
- 238000005286 illumination Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 abstract description 30
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
開示の実施形態は、車載装置、車載装置の制御方法、およびプログラムに関する。 The disclosed embodiments relate to an in-vehicle device, a control method for an in-vehicle device, and a program.
従来、たとえば光ビーコンによる受信情報やカメラの撮像画像から検知される信号機の青や、黄、赤などの発光状態と、ブレーキなどの車両の操作状況とに基づいて、自車両が信号無視をしたか否かを判定する技術が提案されている(たとえば、特許文献1参照)。
Conventionally, technology has been proposed to determine whether a vehicle has run a red light based on the light status (green, yellow, red, etc.) of a traffic light detected from information received by an optical beacon or an image captured by a camera, and on the vehicle's operating status (e.g., brakes, etc.) (see
しかし、従来の技術は、自車両が遵守する必要がない信号機、たとえば、自車両の進行方向に交差する方向の進行許可、および、停止指示を示す信号機を信号無視の対象となる信号機として認識するおそれがある。すなわち、従来の技術は、信号無視を誤検出するおそれがある。 However, conventional technology may recognize traffic lights that the vehicle does not need to obey, such as traffic lights that indicate permission to proceed in a direction that intersects with the vehicle's direction of travel, or traffic lights that indicate a stop, as traffic lights that are subject to signal violation. In other words, conventional technology may erroneously detect signal violation.
本発明は、上記に鑑みてなされたものであって、信号無視の誤検出を抑制する車載装置、車載装置の制御方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and aims to provide an in-vehicle device, a control method for an in-vehicle device, and a program that suppress erroneous detection of red light ignoring.
実施形態の一態様に係る車載装置は、制御部を備える。制御部は、画像に基づいて車両の信号無視を検出する。制御部は、画像から信号機を検出し、画像から、車両に対する信号機の相対位置の変化を算出し、相対位置の変化の算出結果と、信号機の発光状態とに基づいて信号機に対する車両の信号無視の確度を判定する。 The in-vehicle device according to one aspect of the embodiment includes a control unit. The control unit detects whether the vehicle has run a red light based on an image. The control unit detects a traffic light from the image, calculates a change in the relative position of the traffic light with respect to the vehicle from the image, and determines the likelihood of the vehicle running a red light with respect to the traffic light based on the calculation result of the change in the relative position and the illumination state of the traffic light.
実施形態の一態様によれば、信号無視の誤検出を抑制することができる。 According to one aspect of the embodiment, it is possible to suppress false detection of red light violations.
以下、添付図面を参照して、実施形態に係る車載装置、車載装置の制御方法、およびプログラムについて詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。 Below, an in-vehicle device, a control method for an in-vehicle device, and a program according to an embodiment will be described in detail with reference to the attached drawings. Note that the present invention is not limited to the present embodiment.
図1を参照し、実施形態に係る車載装置1の制御方法について説明する。図1は、実施形態に係る車載装置1の制御方法を説明する図である。
A control method for the in-
車載装置1は、車両Cに搭載されて車両Cの信号無視を判定し、信号無視を検出する装置である。車載装置1は、たとえば、ドライブレコーダである。以下では、ドライブレコーダ1が車載装置1の一例として説明される。なお、信号無視を検出する車載装置1は、ドライブレコーダ1に限られるものではない。信号無視を検出する車載装置1は、ドライブレコーダ1とは別の装置であってもよい。
The in-
ドライブレコーダ1は、カメラ2(図2参照)によって撮影した画像から車両C(以下、「自車両C」と称する場合がある。)の信号無視を検出する。
The
カメラ2によって撮影される信号機は、車両Cの信号無視の対象となる信号機(以下、「対象信号機」と称する。)と、車両Cの信号無視の対象とはならない信号機(以下、「非対象信号機」と称する。)とを含む。 The traffic lights photographed by camera 2 include traffic lights that are subject to vehicle C's ignoring of their signals (hereinafter referred to as "target traffic lights") and traffic lights that are not subject to vehicle C's ignoring of their signals (hereinafter referred to as "non-target traffic lights").
対象信号機は、自車両Cが遵守すべき信号機であり、自車両Cの進行方向の進行許可、および、停止指示を示す信号機である。非対象信号機は、自車両Cが遵守しなくてもよい信号機であり、自車両Cの進行方向の進行許可、および、停止指示を示さない信号機である。 The target traffic light is a traffic light that the host vehicle C must obey, and indicates permission to proceed in the direction of travel of the host vehicle C, and a stop instruction. The non-target traffic light is a traffic light that the host vehicle C does not have to obey, and does not indicate permission to proceed in the direction of travel of the host vehicle C, and does not indicate a stop instruction.
たとえば、対象信号機は、車両Cの正面側を向いた信号機であり、車両Cが直進している場合に自車両Cが通過する信号機である。対象信号機は、交差点を自車両Cが直進する場合に、自車両Cの正面側に設けられた信号機である。なお、自車両Cが信号機を通過するとは、自車両Cが信号機の下方を通過することを意味し、自車両Cが信号機の前方を通過することを含まない。 For example, the target traffic light is a traffic light facing the front of vehicle C, and is a traffic light that vehicle C passes when vehicle C is traveling straight. The target traffic light is a traffic light that is located in front of vehicle C when vehicle C is traveling straight through an intersection. Note that vehicle C passing a traffic light means that vehicle C passes under the traffic light, and does not include vehicle C passing in front of the traffic light.
たとえば、非対象信号機は、車両Cの側方側を向いた信号機であり、自車両Cが直進している場合に自車両Cが通過しない信号機を含む。非対象信号機は、交差点を自車両Cが直進する場合、自車両Cの側方側、すなわち、自車両Cの左右方向(幅方向)側に設けられた信号機である。非対象信号機は、自車両Cの進行方向に交差する方向に進行する他車両の進行許可、および、停止指示を示す信号機である。また、非対象信号機は、自車両Cが右折、または、左折する場合に自車両Cが通過する信号機を含む。すなわち、非対象信号機は、車両Cが右折、または、左折する場合に、右折、または、左折直後に、車両Cの正面側に位置する信号機を含む。以下において、右折、または、左折することを、「右左折」と称することがある。 For example, non-target traffic lights are traffic lights facing the side of vehicle C, and include traffic lights that vehicle C does not pass through when vehicle C is traveling straight. Non-target traffic lights are traffic lights that are located on the side of vehicle C, i.e., on the left-right (width) side of vehicle C, when vehicle C travels straight through an intersection. Non-target traffic lights are traffic lights that indicate permission to proceed and a stop instruction for other vehicles traveling in a direction that intersects with the traveling direction of vehicle C. Non-target traffic lights also include traffic lights that vehicle C passes through when vehicle C turns right or left. In other words, non-target traffic lights include traffic lights that are located in front of vehicle C immediately after turning right or left when vehicle C turns right or left. In the following, turning right or left may be referred to as "turning right or left".
ドライブレコーダ1は、カメラ2によって撮影された画像から信号機を検出する(S1)。ドライブレコーダ1は、カメラ2によって撮影された画像から、車両Cに対する信号機の相対位置の変化(以下、これを「軌跡」という。)を算出する(S2)。
The
信号機の軌跡は、車両Cに対し、信号機の相対的な位置の変化を示す軌跡である。信号機の軌跡は、同じ高さの仮想的な平面(以下、仮想平面)上における信号機の軌跡である。信号機の軌跡の算出方法は、後述する。 The traffic light trajectory is a trajectory that indicates the change in the position of the traffic light relative to vehicle C. The traffic light trajectory is the trajectory of the traffic light on a virtual plane (hereinafter, virtual plane) at the same height. The method of calculating the traffic light trajectory will be described later.
ドライブレコーダ1は、信号機の軌跡の算出結果と、信号機の発光状態とに基づいて信号機に対する信号無視の確度(信頼度)を判定する(S3)。信号無視の確度は、信号無視の可能性が高い「高」と、信号無視の可能性が低い「低」とを含む。なお、信号無視の確度は、これらに限られることはなく、数値(たとえば、0~100%)などで判定されてもよい。
The
たとえば、車両Cが交差点を直進する場合(図1中、実線)、対象信号機は、車両Cの正面に位置する。そのため、信号機の軌跡が車両Cの正面側から車両Cに近づくような軌跡であり、かつ、赤信号の信号機を通過した場合、ドライブレコーダ1は、車両Cの正面側から車両Cに近づく信号機に対する信号無視の確度を「高」と判定する。
For example, when vehicle C goes straight through an intersection (solid line in FIG. 1), the target traffic light is located in front of vehicle C. Therefore, if the trajectory of the traffic light is such that vehicle C approaches vehicle C from the front and the vehicle passes a red traffic light, the
車両Cが交差点を直進する場合(図1中、実線)、車両Cの側方側に位置する信号機は、非対象信号機である。そのため、信号機の軌跡が車両Cの側方側から車両Cに近づくような軌跡である場合、ドライブレコーダ1は、車両Cの側方側から車両Cに近づく信号機に対する信号無視の確度を「低」と判定する。
When vehicle C goes straight through an intersection (solid line in Figure 1), the traffic light located to the side of vehicle C is a non-target traffic light. Therefore, when the trajectory of the traffic light is such that it approaches vehicle C from the side of vehicle C, the
車両Cが交差点を右左折する場合(図1中、破線)、車両Cの側方側から正面側に変化する信号機は、非対象信号機である。そのため、信号機の軌跡が、車両Cの側方側から正面側に変化する軌跡である場合、ドライブレコーダ1は、信号無視ではないと判定する。
When vehicle C turns right or left at an intersection (dashed line in Figure 1), a traffic light that changes from the side of vehicle C to the front is a non-target traffic light. Therefore, if the trajectory of the traffic light changes from the side of vehicle C to the front, the
ドライブレコーダ1は、信号機の軌跡の算出結果と、信号機の発光状態とに基づいて信号機に対する信号無視の確度を判定することで、信号機が対象信号機であるか、非対象信号機であるかを加味して信号無視を検出することができる。そのため、ドライブレコーダ1は、信号無視の誤検出を抑制することができる。
The
実施形態に係るドライブレコーダ1は、図2を参照し説明される。図2は、実施形態に係るドライブレコーダ1の構成例を示すブロック図である。
The
ドライブレコーダ1は、カメラ2と、通信部3と、入力部4と、出力部5と、記憶部6と、制御部7とを備える。
The
カメラ2は、車両Cの周囲を撮影する。カメラ2は、車両Cの前方を撮影する。カメラ2は、主撮像素子と、魚眼レンズなどのレンズを含む。 Camera 2 captures the surroundings of vehicle C. Camera 2 captures the front of vehicle C. Camera 2 includes a main imaging element and a lens such as a fisheye lens.
通信部3は、ネットワークを介して、他の装置との間でデータ通信を行う。たとえば、通信部3はNIC(Network Interface Card)である。通信部3は、たとえば、データセンターとの間でデータ通信を行う。 The communication unit 3 performs data communication with other devices via a network. For example, the communication unit 3 is a NIC (Network Interface Card). The communication unit 3 performs data communication with, for example, a data center.
入力部4は、データの入力を受け付けるためのインタフェースである。たとえば、入力部4はボタン及びタッチパネル等の入力装置と接続される。 The input unit 4 is an interface for receiving data input. For example, the input unit 4 is connected to an input device such as a button and a touch panel.
また、入力部4はカメラ2と接続される。入力部4は、カメラ2によって撮影された画像(静止画像及び動画像)の入力を受け付ける。入力部4は、Gセンサ20と接続される。入力部4は、Gセンサ20から車両Cにかかる加速度のデータを受け付ける。
The input unit 4 is also connected to the camera 2. The input unit 4 accepts input of images (still images and moving images) captured by the camera 2. The input unit 4 is connected to the
加速度は、鉛直方向の軸を含む互いに直交する3つの軸で表される座標系における加速度を含む。Gセンサ20は、車両Cが水平面に置かれた場合に、鉛直方向とZ軸方向とが一致するように設けられる。座標系において、Y軸は、車両Cの前後方向に一致する。X軸は、車両Cの左右方向(幅方向)に一致する。
The acceleration includes acceleration in a coordinate system represented by three mutually orthogonal axes, including a vertical axis. The
また、入力部4は、車両Cの車速のデータを受け付ける。入力部4は、たとえば、車速センサ21から車速のデータを受け付ける。なお、車速は、GPS(Global Positioning System)からの信号に基づいて算出されてもよい。
The input unit 4 also receives data on the speed of the vehicle C. The input unit 4 receives the data on the speed of the vehicle C, for example, from a
出力部5は、データを出力するためのインタフェースである。出力部5は、たとえば、ディスプレイ及びスピーカ等の出力装置と接続される。
The
記憶部6は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子などの記憶媒体によって実現される。記憶部6は、制御部7によって実行される各種のプログラムを記憶する。記憶部6は、カメラ2によって取得された画像のデータを記憶する。記憶部6は、画像認識AIと、カメラパラメータとを記憶する。 The storage unit 6 is realized by a storage medium such as a semiconductor memory element such as a random access memory (RAM) or a flash memory. The storage unit 6 stores various programs executed by the control unit 7. The storage unit 6 stores image data acquired by the camera 2. The storage unit 6 stores an image recognition AI and camera parameters.
画像認識AIは、画像認識用のAI(Artificial Intelligence)モデルである。具体的には、画像認識AIは、機械学習のアルゴリズムを用いて学習されたDNN(Deep Neural Network)モデル等である。画像認識AIは、後述する画像認識部10にDNNモデルとして読み込まれた後、画像認識部10にカメラ2の撮像画像が入力された場合に、入力された画像に含まれる信号機を判別可能に設けられる。また、画像認識AIはさらに、信号機の発光状態を判別可能に設けられる。カメラパラメータの詳細については、後述する。 The image recognition AI is an AI (Artificial Intelligence) model for image recognition. Specifically, the image recognition AI is a DNN (Deep Neural Network) model trained using a machine learning algorithm. The image recognition AI is loaded as a DNN model into the image recognition unit 10 described below, and is then configured to be able to distinguish traffic lights included in an image captured by the camera 2 when the image is input to the image recognition unit 10. The image recognition AI is also configured to be able to distinguish the light emission state of the traffic lights. Details of the camera parameters will be described later.
制御部7は、コントローラ(controller)であり、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶部6に記憶されている実施形態に係るプログラムがRAMを作業領域として実行されることにより実現される。また、制御部7は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。 The control unit 7 is a controller, and is realized by a CPU (Central Processing Unit), MPU (Micro Processing Unit), or the like, executing a program according to the embodiment stored in the storage unit 6 using the RAM as a working area. The control unit 7 can also be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
制御部7は、画像認識部10と、軌跡算出部11と、アスペクト比算出部12と、信号無視判定部13とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、画像認識部10、軌跡算出部11、アスペクト比算出部12、および、信号無視判定部13の少なくとも2つは、統合されてもよい。画像認識部10、軌跡算出部11、アスペクト比算出部12、および、信号無視判定部13は、分割されてもよい。
The control unit 7 has an image recognition unit 10, a
画像認識部10は、カメラ2によって撮像された画像を取得する。画像認識部10は、取得した画像を読み込んだ画像認識AIへ入力する。画像認識部10は、画像認識AIによって、信号機を検出する。また、画像認識部10は、画像認識AIによって、バウンディングボックス(以下、「Bbox」と称する。)を抽出する。Bboxは、信号機を含む矩形領域である。Bboxは、画像中の信号機の座標、および、信号機であることを示す確信度の情報を含む。 The image recognition unit 10 acquires the image captured by the camera 2. The image recognition unit 10 inputs the acquired image to the image recognition AI that has read it. The image recognition unit 10 detects traffic lights using the image recognition AI. The image recognition unit 10 also extracts a bounding box (hereinafter referred to as "Bbox") using the image recognition AI. Bbox is a rectangular area that includes the traffic light. Bbox contains information on the coordinates of the traffic light in the image and the degree of certainty that it is a traffic light.
なお、カメラ2は、動画像を撮像する。これに応じ、画像認識部10は、動画像の各フレームからBboxを抽出する。 The camera 2 captures moving images. In response, the image recognition unit 10 extracts Bboxes from each frame of the moving images.
画像認識部10は、抽出されたBboxにIDを付与する。IDは、Bboxを区別するための識別子である。画像認識部10は、新たにBboxが抽出された場合、新たに抽出されたBboxにIDを付与する。画像認識部10は、前回フレームから抽出された信号機の座標から、予め設定された所定範囲内の座標の信号機のBboxに、前回フレームから抽出された信号機のBboxと同じIDを付与する。 The image recognition unit 10 assigns an ID to the extracted Bbox. The ID is an identifier for distinguishing Bboxes. When a new Bbox is extracted, the image recognition unit 10 assigns an ID to the newly extracted Bbox. The image recognition unit 10 assigns the same ID as the Bbox of the traffic light extracted from the previous frame to the Bbox of the traffic light whose coordinates are within a predetermined range set in advance from the coordinates of the traffic light extracted from the previous frame.
画像認識部10は、抽出されたBboxの画像における位置を補正する。また、画像認識部10は、確信度が予め設定された所定値よりも低いBboxを、信号無視の判定を行う信号機に関するBboxから除外する。 The image recognition unit 10 corrects the position of the extracted Bbox in the image. In addition, the image recognition unit 10 excludes Bboxes whose confidence level is lower than a predetermined value set in advance from Bboxes related to traffic lights that judge whether a traffic light has been ignored.
画像認識部10は、Bboxのフレーム補間を行う。前回フレームによって抽出されたBboxが、今回フレームにおいて抽出されない場合、画像認識部10は、前々回フレームにおける信号機の座標、および、前回フレームにおける信号機の座標に基づいて、今回フレームにおける信号機の座標を補間する。 The image recognition unit 10 performs frame interpolation of Bbox. If the Bbox extracted in the previous frame is not extracted in the current frame, the image recognition unit 10 interpolates the coordinates of the traffic light in the current frame based on the coordinates of the traffic light in the frame before last and the coordinates of the traffic light in the previous frame.
画像認識部10は、信号機の発光状態を検出する。画像認識部10は、信号機の発光状態として、「青」、「黄」、「矢印」、または、「赤」を検出する。 The image recognition unit 10 detects the light emission state of the traffic light. The image recognition unit 10 detects the light emission state of the traffic light as "green," "yellow," "arrow," or "red."
軌跡算出部11は、空間における高さが一定の仮想的な平面における信号機の軌跡を算出する。信号機の軌跡は、車両Cに対する相対的な位置の変化の軌跡である。
The
軌跡算出部11による軌跡算出方法について、図3を参照し説明する。図3は、相対位置の変化(軌跡)の算出方法を説明する図である。
The trajectory calculation method by the
軌跡算出部11は、車両Cから撮影した画像における信号機の位置を示す矩形領域211を基に、空間における高さが一定の仮想平面に車両Cの位置を投影した位置を示す仮想車両位置を算出する。軌跡算出部11は、仮想車両位置に対する、仮想平面における信号機の位置を算出し、信号機の位置の変化を、車両Cに対する信号機の軌跡情報として算出する。
The
軌跡算出部11は、鉛直方向の軸を含む互いに直交する3つの軸で表される座標系において、鉛直方向の軸の座標値を固定することで得られる仮想平面における信号機の座標を、ワールド座標として算出する。
The
図3に示すように、空間における位置は、x軸、y軸、z軸の座標値によって表される。x軸、y軸、z軸は互いに直交する。z軸は、鉛直方向の軸である。y軸は、図3における車両Cの進行方向と平行である。x軸は、z軸及びy軸と直交する。 As shown in FIG. 3, a position in space is represented by coordinate values of the x-axis, y-axis, and z-axis. The x-axis, y-axis, and z-axis are mutually perpendicular. The z-axis is a vertical axis. The y-axis is parallel to the traveling direction of vehicle C in FIG. 3. The x-axis is perpendicular to the z-axis and y-axis.
ここで、矩形領域の中心を距離算出点221とする。軌跡算出部11は、カメラパラメータを用いて画像201における距離算出点221の2次元の座標(カメラ座標)を、3次元のワールド座標に変換する。
Here, the center of the rectangular area is set as the
カメラパラメータは、カメラ内部パラメータ、および、カメラ外部パラメータを含む。カメラ内部パラメータは、ドットピッチ、焦点距離、ディストーション(仰角像高TBL)等を含む。カメラ外部パラメータは、カメラ2の撮影位置のx軸、y軸、z軸の座標値、および、カメラ2の姿勢を表す値(PAN,ROLL,TILT)を含む。 The camera parameters include internal camera parameters and external camera parameters. The internal camera parameters include dot pitch, focal length, distortion (elevation image height TBL), etc. The external camera parameters include the x-axis, y-axis, and z-axis coordinate values of the shooting position of the camera 2, and values (PAN, ROLL, TILT) that represent the attitude of the camera 2.
また、カメラパラメータとは別のパラメータとして、軌跡算出部11は、あらかじめ指定された信号機の路面からの高さを参照する。信号機の高さは、たとえば5mから5.5mの範囲において指定される。
In addition to the camera parameters, the
ここで、あらかじめ指定された信号機の高さが5mであるものとする。この場合、仮想平面は、z軸の座標値を5mに固定した場合のxy平面である。 Here, assume that the height of the traffic light specified in advance is 5 m. In this case, the virtual plane is the xy plane with the z-axis coordinate value fixed at 5 m.
これより、仮想平面は、鉛直方向の軸を含む互いに直交する3つの軸で表される座標系において、鉛直方向の軸の座標値を固定することで得られる仮想的な平面ということができる。 Therefore, a virtual plane can be said to be an imaginary plane obtained by fixing the coordinate value of the vertical axis in a coordinate system represented by three mutually perpendicular axes, including the vertical axis.
軌跡算出部11は、仮想車両位置に対する信号機の位置を、時刻と対応付けて軌跡情報として記憶部6に格納する。仮想車両位置に対する信号機の位置は、xy平面上の座標、又はxyz空間上の座標(ただしz軸の座標値は固定値)によって表される。
The
図2に戻り、アスペクト比算出部12は、信号機のアスペクト比を算出する。具体的には、アスペクト比算出部12は、画像認識部10によって抽出されたBboxのアスペクト比を算出する。アスペクト比は、Bboxの縦横の長さの比率である。アスペクト比は、Bboxの横方向(左右方向)の長さを、Bboxの縦方向(上下方向)の長さを除算することで算出される。アスペクト比算出部12は、同一IDのBboxのアスペクト比の平均値を算出する。アスペクト比算出部12は、同一IDのBboxの最大アスペクト比、および、最小アスペクト比を算出してもよい。 Returning to FIG. 2, the aspect ratio calculation unit 12 calculates the aspect ratio of the traffic light. Specifically, the aspect ratio calculation unit 12 calculates the aspect ratio of the Bbox extracted by the image recognition unit 10. The aspect ratio is the ratio of the length of the Bbox in the horizontal direction to the length of the Bbox in the vertical direction (up and down direction). The aspect ratio calculation unit 12 calculates the average aspect ratio of the Bboxes with the same ID. The aspect ratio calculation unit 12 may calculate the maximum aspect ratio and the minimum aspect ratio of the Bboxes with the same ID.
信号無視判定部13は、軌跡情報と、信号機の発光状態とに基づいて信号機に対する信号無視の確度を判定する。信号無視判定部13は、軌跡情報と、信号機の発光状態と、アスペクト比とに基づいて信号機に対する信号無視の確度を判定する。
The signal
信号無視判定部13は、軌跡情報に基づいて、車両Cに対して信号機が、直進で近づいているか否かを判定する。信号無視判定部13は、車両Cが、予め設定された一定距離を移動する毎に軌跡情報に基づいて、車両Cの進行方向に対する信号機の角度を算出する。角度は、仮想平面においてz軸の正の方向から見たy軸に対する正負方向への角度である。
The signal ignore
そして、角度が、-10°以上、かつ、+10°以下である場合、信号無視判定部13は、信号機が車両Cに対して直進して近づいていると判定する。すなわち、信号無視判定部13は、車両Cが直進していると判定する。たとえば、角度が、-10°以上、かつ+10°以下である場合、信号無視判定部13は、直進接近に関する判定結果を示す変数の値を、直進を示す値(たとえば、「1」)に更新する。
If the angle is -10° or more and +10° or less, the signal ignore
角度が、-100°以上、かつ、-10°未満である場合、または、角度が、+10°よりも大きく、かつ、+100°以下である場合、信号無視判定部13は、車両Cが右左折していると判定する。たとえば、角度が、-100°以上、かつ、-10°未満である場合、または、角度が、+10°よりも大きく、かつ、+100°以下である場合、信号無視判定部13は、変数の値を、右左折を示す値(たとえば、「0」)に更新する。
If the angle is -100° or more and less than -10°, or if the angle is greater than +10° and less than +100°, the signal ignore
角度が-100°未満、または、+100°よりも大きい場合、信号無視判定部13は、直進、および、右左折の判定を行わない。
If the angle is less than -100° or greater than +100°, the signal
信号無視判定部13は、一定回数連続して同じ判定が続いた場合に変数を更新するようにしてもよい。たとえば、信号無視判定部13は、2回連続直進と判定した場合に変数の値を「1」に更新する。
The traffic light
信号無視判定部13は、信号機の発光状態を判定する。信号無視判定部13は、車両Cの前方に設けられる検知範囲内の信号機について、発光状態を判定する。検知範囲は、予め設定される範囲である。検知範囲は、仮想平面上において、たとえば、矩形状に設定される。検知範囲は、y軸方向において、車両Cの前方の第1所定距離(たとえば、20m)以下の範囲を含む。検知範囲は、x軸方向において、車両Cの中心から正負方向にそれぞれ第2所定距離(たとえば、5.25m)以下までの範囲を含む。
The signal
信号無視判定部13は、検知範囲内の信号機と、車両Cとの距離が、第3所定距離(たとえば、5m)未満となったか否かを判定する。信号機と車両Cとの距離は、仮想平面上における距離である。信号無視判定部13は、信号機の発光状態が「赤」であるか否かを判定する。
The signal
信号無視判定部13は、検知範囲内の信号機と、車両Cとの距離が、第3所定距離となった場合の信号機の発光状態を、信号機の判定色として確定させる。たとえば、信号機と車両Cとの距離が第3所定距離未満となった時の信号機の色が「赤」である場合、信号無視判定部13は、信号機の判定色を「赤」として確定させる。信号機と車両Cとの距離が第3所定距離未満となった時の信号機の色が「青」である場合、信号無視判定部13は、信号機の判定色を「青」として確定させる。
The signal
信号無視判定部13は、一定回数連続して、信号機の発光状態が同じ色である場合に最終的な信号機の発光状態の判定を確定させてもよい。たとえば、信号無視判定部13は、信号機と車両Cとの距離が第3所定距離未満となり、かつ、3回連続して「赤」と判定した場合に、信号機の判定色を「赤」に確定させる。
The signal
信号無視判定部13は、Bboxのアスペクト比に基づいて車両Cに対する信号機の向きを判定する。Bboxのアスペクト比は、車両Cに対する信号機の向きに応じた傾向がある。
The signal
たとえば、図4に示すように、横型の信号機のBboxは、横方向に長いBboxとして抽出される。そのため、アスペクト比は大きくなる。図4は、横型の信号機のBboxの一例を示す図である。図4において、車両Cの正面側を向いている横型の信号機のBbox(図4中、B1)を破線で示す。また、車両Cの側方側を向いている横型の信号機のBbox(図4中、B2)を一点鎖線で示す。 For example, as shown in FIG. 4, the Bbox of a horizontal traffic light is extracted as a Bbox that is long in the horizontal direction. Therefore, the aspect ratio becomes large. FIG. 4 is a diagram showing an example of a Bbox of a horizontal traffic light. In FIG. 4, the Bbox of the horizontal traffic light (B1 in FIG. 4) that faces the front side of the vehicle C is shown by a dashed line. In addition, the Bbox of the horizontal traffic light (B2 in FIG. 4) that faces the side of the vehicle C is shown by a dashed line.
横型の信号機が車両Cの正面側を向いている場合、横型の信号機のBboxは、横方向に長いBboxB1として抽出される。しかしながら、車両Cの側方側を向いている横型の信号機のBboxB2のアスペクト比は、車両Cの正面側を向いている横型の信号機のBboxB1のアスペクト比よりも小さい。 When a horizontal traffic light faces the front of vehicle C, the Bbox of the horizontal traffic light is extracted as BboxB1, which is long in the horizontal direction. However, the aspect ratio of BboxB2 of the horizontal traffic light facing the side of vehicle C is smaller than the aspect ratio of BboxB1 of the horizontal traffic light facing the front of vehicle C.
たとえば、横型の信号機が車両Cの正面側を向いている場合、Bboxのアスペクト比は、第1所定アスペクト比以上となる。横型の信号機が車両Cの側方側を向いている場合、Bboxのアスペクト比は、第1所定アスペクト比未満となる。第1所定アスペクト比は、たとえば、シミュレーションなどによって算出される。 For example, if a horizontal traffic light faces the front of vehicle C, the aspect ratio of Bbox is equal to or greater than the first predetermined aspect ratio. If a horizontal traffic light faces the side of vehicle C, the aspect ratio of Bbox is less than the first predetermined aspect ratio. The first predetermined aspect ratio is calculated, for example, by simulation.
シミュレーションなどでは、横型の信号機と車両Cとの前後方向の距離、および、横型の信号機と車両Cとの左右方向の距離が変更されて、横型の信号機のBboxのアスペクト比が算出される。そして、距離に対するBboxのアスペクト比の平均値が算出され、アスペクト比の平均値に基づいて第1所定アスペクト比が設定される。 In a simulation, the longitudinal distance between the horizontal traffic light and vehicle C and the lateral distance between the horizontal traffic light and vehicle C are changed to calculate the aspect ratio of the Bbox of the horizontal traffic light. Then, the average value of the aspect ratio of the Bbox with respect to the distance is calculated, and the first predetermined aspect ratio is set based on the average aspect ratio.
そのため、アスペクト比が第1所定アスペクト比以上であるBboxの信号機は、車両Cの正面側を向いた信号機であると判定することができる。 Therefore, a traffic light in Bbox whose aspect ratio is equal to or greater than the first predetermined aspect ratio can be determined to be facing the front of vehicle C.
また、図5に示すように、縦型の信号機のBboxは、縦方向に長いBboxとして抽出される。そのため、アスペクト比は小さくなる。図5は、縦型の信号機のBboxの一例を示す図である。図5において、車両Cの正面側を向いている縦型の信号機のBbox(図5中、B3)を破線で示す。また、車両Cの側方側を向いている縦型の信号機のBbox(図5中、B4)を一点鎖線で示す。 As shown in FIG. 5, the Bbox of a vertical traffic light is extracted as a Bbox that is long in the vertical direction. Therefore, the aspect ratio is small. FIG. 5 is a diagram showing an example of a Bbox of a vertical traffic light. In FIG. 5, the Bbox of a vertical traffic light (B3 in FIG. 5) that faces the front side of the vehicle C is shown by a dashed line. Also, the Bbox of a vertical traffic light (B4 in FIG. 5) that faces the side of the vehicle C is shown by a dashed line.
縦型の信号機が車両Cの正面側を向いている場合、縦型の信号機のBboxは、縦方向に長いBboxB3として抽出される。しかしながら、車両Cの側方側を向いている縦型の信号機のBboxB4のアスペクト比は、車両Cの正面側を向いている縦型の信号機のBboxB3のアスペクト比よりも大きい。 When a vertical traffic light faces the front of vehicle C, the Bbox of the vertical traffic light is extracted as BboxB3, which is long in the vertical direction. However, the aspect ratio of BboxB4 of the vertical traffic light facing the side of vehicle C is larger than the aspect ratio of BboxB3 of the vertical traffic light facing the front of vehicle C.
たとえば、縦型の信号機が車両Cの正面側を向いている場合、Bboxのアスペクト比は、第2所定アスペクト比以下となる。縦型の信号機が車両Cの側方側を向いている場合、Bboxのアスペクト比は、第2所定アスペクト比よりも大きくなる。第2所定アスペクト比は、たとえば、シミュレーションなどによって算出される。 For example, if a vertical traffic light faces the front of vehicle C, the aspect ratio of Bbox is equal to or smaller than the second predetermined aspect ratio. If a vertical traffic light faces the side of vehicle C, the aspect ratio of Bbox is greater than the second predetermined aspect ratio. The second predetermined aspect ratio is calculated, for example, by simulation.
シミュレーションなどでは、縦型の信号機と車両Cとの前後方向の距離、および、縦型の信号機と車両Cとの左右方向の距離が変更されて、縦型の信号機のBboxのアスペクト比が算出される。そして、距離に対するBboxのアスペクト比の平均値が算出され、アスペクト比の平均値に基づいて第2所定アスペクト比が設定される。 In a simulation, the longitudinal distance between the vertical traffic light and vehicle C and the lateral distance between the vertical traffic light and vehicle C are changed to calculate the aspect ratio of the Bbox of the vertical traffic light. Then, the average value of the aspect ratio of the Bbox with respect to the distance is calculated, and the second predetermined aspect ratio is set based on the average aspect ratio.
そのため、アスペクト比が第2所定アスペクト比以下であるBboxの信号機は、車両Cの正面側を向いた信号機であると判定することができる。 Therefore, a traffic light in Bbox whose aspect ratio is equal to or less than the second predetermined aspect ratio can be determined to be facing the front of vehicle C.
信号無視判定部13は、Bboxのアスペクト比と、第1所定アスペクト比、および、第2所定アスペクト比とを比較する。なお、比較に用いられるBboxのアスペクト比は、アスペクト比算出部12によって算出された同一IDのBboxのアスペクト比の平均値である。信号無視判定部13は、Bboxのアスペクト比が第1所定アスペクト比以上であるか否かを判定する。信号無視判定部13は、Bboxのアスペクト比が第2所定アスペクト比以下であるか否かを判定する。
The signal ignore
信号無視判定部13は、Bboxのアスペクト比が第1所定アスペクト比以上である信号機を、車両Cの正面側を向いた信号機である可能性が高いと判定する。信号無視判定部13は、Bboxのアスペクト比が第2所定アスペクト比以下である信号機を、車両Cの正面側を向いた信号機である可能性が高いと判定する。すなわち、信号無視判定部13は、Bboxのアスペクト比が第1所定アスペクト比以上である信号機、または、Bboxのアスペクト比が第2所定アスペクト比以下である信号機を、対象信号機であると判定する。
The signal
信号無視判定部13は、Bboxのアスペクト比が第1所定アスペクト未満であり、かつ、第2所定アスペクト比よりも大きい信号機を、車両Cの側方側を向いた信号機である可能性が高いと判定する。すなわち、信号無視判定部13は、Bboxのアスペクト比が第1所定アスペクト未満であり、かつ、第2所定アスペクト比よりも大きい信号機を、対象信号機ではなない可能性があり、非対象信号機の可能性があると判定する。
The signal
信号無視判定部13は、車両Cに対して信号機が直進で近づいており、仮想平面上において第3所定距離未満となった時の信号機の色が「赤」であり、かつ、車両Cの正面側を向いた信号機である可能性が高い場合、信号無視を検出する。信号無視判定部13は、信号無視フラグを「1」とし、信号無視の確度を「高」と判定する。すなわち、信号無視判定部13は、車両Cに直進で近づき、車両Cの正面側を向いている信号機を対象信号機と判定する。そして、信号無視判定部13は、「赤」の状態の対象信号機を車両Cが通過したと判定し、信号無視である角度が高いと判定する。
The signal
信号無視判定部13は、車両Cに対して信号機が直進で近づいており、仮想平面上において第3所定距離未満となった時の信号機の色が「赤」であり、かつ、車両Cの側方側を向いた信号機である可能性が高い場合、信号無視を検出する。信号無視判定部13は、信号無視フラグを「1」とし、信号無視の確度を「低」と判定する。すなわち、信号無視判定部13は、信号機を、車両Cに直進で近づき、対象信号機ではない可能性がある信号機であると判定する。信号無視判定部13は、「赤」の状態の信号機を車両Cが通過したと判定するが、信号無視の確度が低いと判定する。
The signal
信号無視判定部13は、車両Cに対して信号機が直進で近づいており、仮想平面上において第3所定距離未満となった時の信号機の色が「赤」以外である場合、信号無視を検出しない。信号無視判定部13は、信号無視フラグを「0」とする。なお、信号機の発光状態は、車両Cの進行を許可する矢印の発光状態を含む。車両Cの進行を許可する矢印に車両Cが進む場合、信号無視判定部13は、信号無視を検出しない。
When a traffic light is approaching vehicle C in a straight line and the color of the traffic light is other than "red" when the distance is less than the third predetermined distance on the virtual plane, the signal disregarding
信号無視判定部13は、車両Cに対して信号機が直進で近づいていない場合、たとえば、車両Cが右左折している場合、信号無視を検出しない。すなわち、信号無視判定部13は、信号機を、右左折の直後にある非対象信号機として、信号無視の対象から除外する。
When the traffic light is not approaching vehicle C in a straight line, for example when vehicle C is turning right or left, the signal
また、信号無視判定部13は、Gセンサ20から入力された加速度に基づいて、車両Cが右左折しているか否かを判定する。以下における加速度は、車両Cの幅方向(左右方向)における加速度である。加速度の絶対値が予め設定された第1所定加速度以上となる回数が、予め設定された第1所定時間内において所定回数以上である場合、信号無視判定部13は、車両Cが右左折していると判定する。すなわち、信号無視判定部13は、車両Cが右左折中であると判定する。第1所定加速度、第1所定時間、および、所定回数は、車両Cの右左折を判定可能な値であり、シミュレーション、および、実験結果などによって設定される。
The signal ignore
信号無視判定部13は、Gセンサ20から入力される加速度に基づいて、車両Cが右左折していると判定した場合、信号無視の判定をキャンセルする。信号無視判定部13は、Gセンサ20から入力される加速度に基づいて、車両Cが右左折中であると判定した場合、信号無視を検出しない。信号無視フラグが「1」である場合、信号無視判定部13は、信号無視フラグを「0」にする。
When the signal ignore
また、信号無視判定部13は、Gセンサ20から入力された加速度に基づいて、車両Cの右左折が終了したか否かを判定する。信号無視判定部13は、加速度の絶対値が予め設定された第2所定加速度以下になると、車両Cの右左折が終了したと判定する。信号無視判定部13は、加速度の絶対値が、第2所定加速度よりも大きい状態から第2所定加速度以下に変化した場合に、車両Cの右左折が終了したと判定する。第2所定加速度は、車両Cの右左折が終了したと判定可能な値であり、シミュレーション、および、実験結果などによって設定される。第2所定加速度は、第1所定加速度と異なる値であってもよく、同じ値であってもよい。
The signal ignore
信号無視判定部13は、車両Cの右左折が終了したと判定した場合、第1経過時間を計測する。信号無視判定部13は、第1経過時間が、第1マスク時間を経過するまで、信号無視を検出しない。第1マスク時間は、予め設定された時間である。第1マスク時間は、車両Cが右左折した後に、右左折の直後にある非対象信号機を通過するまでの時間である。第1マスク時間は、たとえば、3秒である。信号無視判定部13は、車両Cの右左折が終了した後、第1マスク時間の間に判定された信号無視の判定をキャンセルする。
When the signal disregarding
たとえば、図6に示すように、加速度が変化し、時間t1において、加速度の絶対値が、第1所定加速度以上となる回数が、第1所定時間内において所定回数以上になると、信号無視判定部13は、車両Cが右左折していると判定する。そのため、信号無視判定部13は、信号無視の判定をキャンセルする。図6は、車両Cが右折した場合の加速度の変化と、信号無視の判定のキャンセル期間との関係を示す図である。
For example, as shown in FIG. 6, when the acceleration changes and the number of times at time t1 when the absolute value of the acceleration is equal to or greater than the first predetermined acceleration is equal to or greater than a predetermined number within the first predetermined time, the signal ignore
また、時間t2において、加速度の絶対値が第2所定加速度以下になると、信号無視判定部13は、右折が終了したと判定する。そして、第1経過時間が第1マスク時間となる時間t3まで、信号無視判定部13は、信号無視の判定をキャンセルする。従って、信号無視判定部13は、時間t1~時間t3までの間、信号無視の判定をキャンセルする。
Furthermore, at time t2, when the absolute value of the acceleration becomes equal to or less than the second predetermined acceleration, the signal ignore
信号無視判定部13は、車速に基づいて、信号無視の判定をキャンセルする。信号無視判定部13は、車速が、予め設定された所定車速(たとえば、30km/h)以下である場合、信号無視の判定をキャンセルする。
The signal-ignoring
また、信号無視判定部13は、車両Cの右左折が終了した後に、車速が所定車速以上となったか否かを判定する。信号無視判定部13は、車速が所定車速以上になると、第2経過時間を計測する。第2経過時間が、第2マスク時間を経過するまで、信号無視を検出しない。すなわち、信号無視判定部13は、車速が所定車速以上になると、第2マスク時間の間、信号無視を検出しない。具体的には、信号無視判定部13は、信号無視の判定をキャンセルする。第2マスク時間は、予め設定された時間である。第2マスク時間は、車両Cの右左折した後に、非対象信号機を通過するまでの時間である。第2マスク時間は、第1マスク時間と同じ時間であってもよく、異なる時間であってもよい。
The signal ignore
車両Cの右左折の終了は、加速度に基づいて判定される。そのため、たとえば、車両Cが右折する場合に、対向車の通過待ち、および、歩行者の通過待ちを行うために、車両Cが停止すると、加速度が第2所定加速度以下になり、車両Cの右折が終了したと判定される。この場合、車両Cが動き出して、実際に右折が終了した直後にある非対象信号が、対象信号と判定されて、信号無視が誤判定されるおそれがある。 The completion of a right/left turn by vehicle C is determined based on acceleration. Therefore, for example, when vehicle C is making a right turn and stops to wait for oncoming vehicles and pedestrians to pass, the acceleration becomes equal to or lower than the second predetermined acceleration, and it is determined that vehicle C has completed its right turn. In this case, when vehicle C starts moving, a non-target signal that appears immediately after the vehicle C has actually completed its right turn may be determined to be a target signal, which may result in an erroneous determination that the vehicle has ignored the signal.
また、たとえば、車両Cの右折に対する非対象信号が、交差点から離れた位置に設けられている場合、加速度が第2所定加速度以下になり、車両Cの右折が終了したと判定されて第1マスク時間の経過後に、車両Cが非対象信号を通過することがある。この場合、右折が終了した直後にある非対象信号が、対象信号と判定されて、信号無視が誤判定されるおそれがある。 For example, if a non-target signal for vehicle C making a right turn is provided at a location away from the intersection, vehicle C may pass the non-target signal after the acceleration falls below the second predetermined acceleration, it is determined that vehicle C has completed its right turn, and the first mask time has elapsed. In this case, the non-target signal immediately after the right turn is completed may be determined to be a target signal, and a false determination may be made that the vehicle has ignored the signal.
そこで、信号無視判定部13は、車両Cの右左折が終了した後に車両Cが加速し、車速が所定車速以上になると、第2経過時間を計測し、第2経過時間が第2マスク時間を経過するまで、信号無視の判定をキャンセルする。これにより、信号無視判定部13は、信号無視の誤判定を抑制することができる。
Therefore, when vehicle C accelerates after completing a right/left turn and the vehicle speed reaches or exceeds a predetermined vehicle speed, the signal
信号無視フラグが「1」であり、かつ、信号無視の確度が「高」である場合、信号無視判定部13は、車両Cのドライバーに信号無視を行った可能性が高いことを、報知する。たとえば、信号無視判定部13は、出力部5に信号無視の可能性が高いことを報知するための信号を出力する。これによって、信号無視を行った可能性が高いことが、ドライバーに報知される。たとえば、スピーカによる音声出力、および、ディスプレイによる表示によって、信号無視を行った可能性が高いことが、ドライバーに報知される。
When the signal ignore flag is "1" and the probability of signal ignore is "high", the signal ignore
また、信号無視判定部13は、通信部3を介して外部のデータセンターに、信号無視が行われた可能性が高いデータを送信する。たとえば、信号無視判定部13は、信号無視が行われた可能性が高い画像を送信する。
The signal ignore
信号無視フラグが「1」であり、かつ、信号無視の確度が「低」である場合、信号無視判定部13は、通信部3を介して外部のデータセンターに、信号無視が行われた可能性があるデータを送信する。信号無視フラグが「1」であり、かつ、信号無視の確度が「低」である場合、信号無視判定部13は、ドライバーへの報知を行わない。
When the signal ignore flag is "1" and the probability of signal ignore is "low", the signal ignore
信号無視フラグが「0」である場合、信号無視判定部13は、データセンターへの送信、および、ドライバーへの報知を行わない。
If the signal violation flag is "0", the signal
次に、実施形態に係る信号無視検知処理における処理手順について図7を参照し説明する。図7は、実施形態に係る信号無視検知処理の手順を示す図である。 Next, the processing procedure of the signal violation detection process according to the embodiment will be described with reference to FIG. 7. FIG. 7 is a diagram showing the procedure of the signal violation detection process according to the embodiment.
まず、ステップS10において、前処理が行われる。前処理では、抽出されたBboxに対し、画像における位置補正が行われる。前処理では、確信度が低いBboxが除外される。 First, in step S10, preprocessing is performed. In the preprocessing, position correction is performed on the extracted Bbox in the image. In the preprocessing, Bboxes with low confidence are excluded.
前処理が行われると、ステップS11において、フレーム補間処理が行われる。フレーム補間処理が行われると、ステップS12において、信号機の軌跡算出処理が行われる。また、ステップS13において、信号機の発光状態の判定処理が行われる。 After pre-processing, frame interpolation processing is performed in step S11. After frame interpolation processing is performed, traffic light trajectory calculation processing is performed in step S12. In addition, traffic light illumination state determination processing is performed in step S13.
そして、ステップS14において、信号無視判定処理が行われる。信号無視判定処理によって、信号無視フラグ、および、信号無視の確度が出力される。なお、信号無視フラグは、上記するように、加速度、および、車速に基づいて、キャンセルされることがある。 Then, in step S14, a signal ignore determination process is performed. The signal ignore determination process outputs a signal ignore flag and the probability of signal ignore. Note that the signal ignore flag may be canceled based on the acceleration and vehicle speed, as described above.
次に、実施形態に係る信号無視判定処理について、図8のフローチャートを参照し説明する。図8は、実施形態に係る信号無視判定処理を説明するフローチャートである。 Next, the traffic light neglect determination process according to the embodiment will be described with reference to the flowchart in FIG. 8. FIG. 8 is a flowchart illustrating the traffic light neglect determination process according to the embodiment.
信号無視判定部13は、車両Cの進行方向に対する信号機の角度を算出する(S100)。信号無視判定部13は、仮想平面上において、車両Cの進行方向に対する信号機の角度を算出する。
The signal
信号無視判定部13は、車両Cに対して信号機が直進で近づいているか否か判定する(S101)。信号無視判定部13は、角度が-10°以上、かつ、+10°以下であるか否かを判定する。角度が-10°以上、かつ、+10°以下である場合、信号無視判定部13は、車両Cに対して信号機が直進で近づいていると判定する。
The signal
車両Cに対して信号機が直進で近づいている場合(S101:Yes)、信号無視判定部13は、信号機と車両Cとの距離が、第3所定距離未満になったか否かを判定する(S102)。信号機と車両Cとの距離が、第3所定距離未満ではない場合(S102:No)、信号無視判定部13は、今回の処理を終了する。
If the traffic light is approaching vehicle C in a straight line (S101: Yes), the signal disregarding
信号機と車両Cとの距離が、第3所定距離未満になった場合(S102:Yes)、信号無視判定部13は、信号機の発光状態が「赤」であるか否かを判定する(S103)。
If the distance between the traffic light and vehicle C becomes less than the third predetermined distance (S102: Yes), the signal
信号機の発光状態が「赤」である場合(S103:Yes)、信号無視判定部13は、Bboxのアスペクト比が第1所定アスペクト比以上であるか否かを判定する(S104)。
If the light status of the traffic light is "red" (S103: Yes), the signal ignore
信号無視判定部13は、Bboxのアスペクト比が第1所定アスペクト比未満である場合(S104:No)、Bboxのアスペクト比が第2所定アスペクト比以下であるか否かを判定する(S105)。
If the aspect ratio of Bbox is less than the first predetermined aspect ratio (S104: No), the signal ignore
Bboxのアスペクト比が第1所定アスペクト比以上である場合(S104:Yes)、または、第2所定アスペクト比以下である場合(S105:Yes)、信号無視判定部13は、信号無視フラグを「1」にし、信号無視の確度が「高」であると判定する(S106)。
If the aspect ratio of Bbox is equal to or greater than the first predetermined aspect ratio (S104: Yes), or equal to or less than the second predetermined aspect ratio (S105: Yes), the signal ignore
Bboxのアスペクト比が第1所定アスペクト比未満であり(S104:No)、かつ、第2所定アスペクト比よりも大きい場合(S105:No)、信号無視判定部13は、信号無視フラグを「1」とし、信号無視の確度が「低」であると判定する(S107)。
If the aspect ratio of Bbox is less than the first predetermined aspect ratio (S104: No) and is greater than the second predetermined aspect ratio (S105: No), the signal ignore
車両Cに対して信号機が直進で近づいていない場合(S101:No)、信号無視判定部13は、車両Cが右左折しているか否かを判定する(S108)。信号無視判定部13は、角度が-100°以上、かつ、-10°未満であるか、または、+10°よりも大きく、かつ、+100°以下であるか否かを判定する。角度が-100°以上、かつ、-10°未満である場合、または、+10°よりも大きく、かつ、+100°以下である場合、信号無視判定部13は、車両Cが右左折していると判定する。
If vehicle C is not approaching a traffic light going straight ahead (S101: No), the signal ignore
車両Cが右左折していない場合(S108:No)、信号無視判定部13は、今回の処理を終了する。
If vehicle C is not turning right or left (S108: No), the signal
信号機の発光状態が「赤」ではない場合(S103:No)、または、車両Cが右左折している場合(S108:Yes)、信号無視判定部13は、信号無視フラグを「0」にする(S109)。
If the light status of the traffic light is not "red" (S103: No), or if vehicle C is turning right or left (S108: Yes), the signal
次に、実施形態に係る信号無視フラグの第1キャンセル処理について、図9のフローチャートを参照し説明する。図9は、実施形態に係る信号無視フラグの第1キャンセル処理を説明するフローチャートである。 Next, the first cancellation process of the signal ignore flag according to the embodiment will be described with reference to the flowchart in FIG. 9. FIG. 9 is a flowchart illustrating the first cancellation process of the signal ignore flag according to the embodiment.
信号無視判定部13は、加速度に基づいて車両Cが右左折しているか否かを判定する(S200)。加速度の絶対値が予め設定された第1所定加速度以上となる回数が、第1所定時間内において所定回数以上である場合、信号無視判定部13は、車両Cが右左折していると判定する。
The signal-ignoring
車両Cが右左折している場合(S200:Yes)、信号無視判定部13は、信号無視の判定をキャンセルする(S201)。信号無視フラグが「1」の場合、信号無視判定部13は、信号無視フラグを「0」にする。
If vehicle C is turning right or left (S200: Yes), the signal ignore
車両Cが右左折していない場合(S200:No)、信号無視判定部13は、車両Cの右左折が終了したか否かを判定する(S202)。信号無視判定部13は、加速度の絶対値が第2所定加速度以下になったか否かを判定する。
If vehicle C is not turning right or left (S200: No), the signal ignore
信号無視判定部13は、車両Cの右左折が終了したと判定しない場合(S202:No)、すなわち、車両Cが直進している場合、今回の処理を終了する。
If the signal
信号無視判定部13は、車両Cの右左折が終了したと判定した場合(S202:Yes)、第1経過時間を計測する(S203)。信号無視判定部13は、信号無視の判定をキャンセルする(S204)。
When the signal
信号無視判定部13は、第1経過時間が第1マスク時間を経過したか否かを判定する(S205)。第1経過時間が第1マスク時間を経過していない場合(S205:No)、信号無視判定部13は、第1経過時間の計測を継続し(S203)、信号無視の判定をキャンセルする(S204)。すなわち、右左折の終了後、第1経過時間が経過するまで、信号無視フラグは「0」となり、信号無視は検出されない。
The signal ignore
第1経過時間が第1マスク時間を経過した場合(S205:Yes)、信号無視判定部13は、今回の処理を終了する。
If the first elapsed time has elapsed the first mask time (S205: Yes), the signal ignore
次に、実施形態に係る信号無視フラグの第2キャンセル処理について図10のフローチャートを参照し説明する。図10は、実施形態に係る信号無視フラグの第2キャンセル処理を説明するフローチャートである。 Next, the second cancellation process of the signal ignore flag according to the embodiment will be described with reference to the flowchart in FIG. 10. FIG. 10 is a flowchart illustrating the second cancellation process of the signal ignore flag according to the embodiment.
信号無視判定部13は、車速が所定車速以下であるか否かを判定する(S300)。車速が所定車速以下である場合(S300:Yes)、信号無視判定部13は、信号無視の判定をキャンセルする(S301)。信号無視フラグが「1」の場合、信号無視判定部13は、信号無視フラグを「0」にする。
The signal ignore
車速が所定車速よりも大きい場合(S300:No)、信号無視判定部13は、今回の処理を終了する。
If the vehicle speed is greater than the predetermined vehicle speed (S300: No), the signal ignore
次に、実施形態に係る信号無視フラグの第3キャンセル処理について図11のフローチャートを参照し説明する。図11は、実施形態に係る信号無視フラグの第3キャンセル処理を説明するフローチャートである。 Next, the third cancellation process of the signal ignore flag according to the embodiment will be described with reference to the flowchart in FIG. 11. FIG. 11 is a flowchart illustrating the third cancellation process of the signal ignore flag according to the embodiment.
信号無視判定部13は、車両Cの右左折が終了したか否かを判定する(S400)。信号無視判定部13は、加速度に基づいて車両Cの右左折が終了したか否かを判定する。信号無視判定部13は、車両Cの右左折が終了していないと判定した場合(S400:No)、すなわち、車両Cが直進している場合、または、車両C右左折している場合、今回の処理を終了する。
The signal ignore
信号無視判定部13は、車両Cの右左折が終了したと判定した場合(S400:Yes)、車速が所定車速以上になったか否かを判定する(S401)。車速が所定車速未満である場合(S401:No)、信号無視判定部13は、車速が所定車速以上となるまで、ステップS401の処理を繰り返す。
When the signal ignore
車速が所定車速以上になった場合(S401:Yes)、信号無視判定部13は、第2経過時間を計測する(S402)。信号無視判定部13は、信号無視の判定をキャンセルする(S403)。
When the vehicle speed becomes equal to or greater than the predetermined vehicle speed (S401: Yes), the signal ignore
信号無視判定部13は、第2経過時間が第2マスク時間を経過したか否かを判定する(S404)。第2経過時間が第2マスク時間を経過していない場合(S404:No)、信号無視判定部13は、第2経過時間の計測を継続し(S402)、信号無視の判定をキャンセルする(S403)。
The signal
第2経過時間が第2マスク時間を経過した場合(S404:Yes)、信号無視判定部13は、今回の処理を終了する。
If the second elapsed time has elapsed the second mask time (S404: Yes), the signal ignore
ドライブレコーダ1は、制御部7を備える。制御部7は、画像に基づいて車両Cの信号無視を検出する。制御部7は、画像から信号機を検出し、画像から、車両Cに対する信号機の軌跡を算出し、信号機の軌跡の算出結果と、信号機の発光状態とに基づいて信号機に対する車両の信号無視の確度を判定する。
The
これにより、ドライブレコーダ1は、車両Cに対する信号機の軌跡を用いて、信号無視の確度を判定することによって、信号無視の誤検出を抑制することができる。たとえば、ドライブレコーダ1は、対象信号機ではない可能性がある信号機に対する信号無視の確度を低く判定することによって、信号無視の誤検出を抑制することができる。
Thereby, the
制御部7は、同じ高さの仮想平面上における信号機の軌跡を算出する。これにより、ドライブレコーダ1は、車両Cに対する信号機の位置の検出精度を向上させることができる。そのため、ドライブレコーダ1は、信号無視の検出精度を向上させることができる。
The control unit 7 calculates the trajectory of the traffic light on a virtual plane at the same height. This allows the
制御部7は、信号機のBboxのアスペクト比を算出し、信号機の軌跡の算出結果と、信号機の発光状態と、アスペクト比とに基づいて信号無視の確度を判定する。 The control unit 7 calculates the aspect ratio of the traffic light's Bbox and determines the likelihood of ignoring the traffic light based on the calculation result of the traffic light's trajectory, the traffic light's illumination state, and the aspect ratio.
これにより、ドライブレコーダ1は、信号機の向きに応じて変化するBboxのアスペクト比に基づいて、信号無視の確度を判定することによって、対象信号機ではない可能性が高い信号機に対する信号無視の誤検出を抑制することができる。
As a result, the
制御部7は、車両Cの幅方向における加速度に基づいて車両Cの右左折を判定し、車両Cの右左折中、信号無視を検出しない。 The control unit 7 determines whether the vehicle C is turning right or left based on the acceleration of the vehicle C in the width direction, and does not detect a violation of a traffic signal while the vehicle C is turning right or left.
これにより、ドライブレコーダ1は、車両Cの右左折中に検出される非対象信号機に対する信号無視の誤検出を抑制することができる。ドライブレコーダ1は、カメラ2によって撮影される画像以外のデータに基づいて車両Cの右左折を判定することによって、信号無視の誤検出を抑制することができる。
This allows the
制御部7は、車両Cの右左折が終了した後、第1マスク時間の間、信号無視を検出しない。 The control unit 7 does not detect red light violation for the first mask time after vehicle C has completed turning right or left.
これにより、ドライブレコーダ1は、車両Cが右左折した直後に通過する非対象信号機に対する信号無視の誤検出を抑制することができる。たとえば、ドライブレコーダ1は、車両Cが右左折する際の非対象信号機が、車両Cが右左折する交差点から離れた位置に設置されている場合に、非対象信号機に対する信号無視の誤検出を抑制することができる。
This allows the
制御部7は、車両Cの速度に応じて、信号無視を検出しない。たとえば、制御部7は、車両Cの速度が所定車速(30km/h)以下であり、かつ、信号無視フラグが「1」として判定された場合、信号無視フラグをキャンセルし、「0」にする。 The control unit 7 does not detect red light ignoring depending on the speed of the vehicle C. For example, if the speed of the vehicle C is equal to or lower than a predetermined vehicle speed (30 km/h) and the red light ignoring flag is determined to be "1", the control unit 7 cancels the red light ignoring flag and sets it to "0".
これにより、ドライブレコーダ1は、カメラ2によって撮影される画像以外のデータに基づいて信号無視を判定し、たとえば、信号無視フラグをキャンセルすることができる。
This allows the
制御部7は、車両Cの右左折の終了し、かつ、車両Cの速度が所定速度以上となった後、第2マスク時間の間、信号無視を検出しない。 The control unit 7 does not detect red light violation for the second mask time after vehicle C has completed turning right or left and the speed of vehicle C has reached or exceeded a predetermined speed.
これにより、ドライブレコーダ1は、車両Cが右左折した直後に通過する非対象信号機に対する信号無視の誤検出を抑制することができる。たとえば、ドライブレコーダ1は、車両Cが右左折する際の非対象信号機が、車両Cが右左折する交差点から離れた位置に設置されている場合に、非対象信号機に対する信号無視の誤検出を抑制することができる。また、たとえば、車両Cが右左折時に、対向車の通過などによって停止した場合であっても、ドライブレコーダ1は、車両Cが右左折した直後に通過する非対象信号機に対する信号無視の誤検出を抑制することができる。
This allows the
変形例に係るドライブレコーダ1は、Bboxの最大アスペクト比、およびBboxの最小アスペクト比を用いて、信号機の向きを判定してもよい。Bboxの最大アスペクト比、およびBboxの最小アスペクト比を用いて、信号機の向きを判定することで、信号機の向きをより正確に判定することができる。たとえば、縦型の信号機では、Bboxの平均アスペクト比のみを用いて、信号機の向きが判定される場合、信号機の向きを正確に判定できない場合がある。
The
縦型の信号機が車両Cの正面側を向いている場合、たとえば、縦型の信号機のBboxのアスペクト比は、所定最大アスペクト比以下である。また、縦型の信号機が車両Cの側方側を向いている場合、たとえば、縦型の信号機のBboxの最大アスペクト比は、所定最大アスペクト比よりも大きい。 When a vertical traffic light faces the front of vehicle C, for example, the aspect ratio of the Bbox of the vertical traffic light is equal to or smaller than a predetermined maximum aspect ratio. Also, when a vertical traffic light faces the side of vehicle C, for example, the maximum aspect ratio of the Bbox of the vertical traffic light is greater than the predetermined maximum aspect ratio.
さらに、縦型の信号機が車両Cの正面側を向いている場合、たとえば、縦型の信号機のBboxの最小アスペクト比は、所定最小アスペクト比以下である。また、縦型の信号機が車両Cの側方側を向いている場合、縦型の信号機のBboxの最小アスペクト比は、所定最小アスペクト比よりも大きい。 Furthermore, when a vertical traffic light faces the front of vehicle C, for example, the minimum aspect ratio of the Bbox of the vertical traffic light is equal to or smaller than a predetermined minimum aspect ratio. Also, when a vertical traffic light faces the side of vehicle C, the minimum aspect ratio of the Bbox of the vertical traffic light is greater than the predetermined minimum aspect ratio.
そのため、ドライブレコーダ1の信号無視判定部13は、Bboxのアスペクト比が第2所定アスペクト比以下であり、最大アスペクト比が所定最大アスペクト比以下であり、かつ、最小アスペクト比が所定最小アスペクト比以下である信号機を、車両Cの正面側を向いた信号機である可能性が高いと判定してもよい。
Therefore, the signal
信号無視の確度を判定する際に用いられるBboxのアスペクト比は、Bboxの平均アスペクト比、Bboxの最大アスペクト比、および、Bboxの最小アスペクト比を含む。 The aspect ratios of the Bbox used to determine the likelihood of a traffic light violation include the average aspect ratio of the Bbox, the maximum aspect ratio of the Bbox, and the minimum aspect ratio of the Bbox.
これにより、変形例に係るドライブレコーダ1は、縦型の信号機の向きを正確に判定することができる。そのため、変形例に係るドライブレコーダ1は、信号無視の確度を正確に判定することができ、信号無視の誤検出を抑制することができる。
This allows the
なお、信号無視判定部13は、最大アスペクト比、および、最小アスペクト比のいずれか一方と、アスペクト比の平均値とを用いて、信号機の向きを判定してもよい。
The traffic light ignore
変形例に係るドライブレコーダ1は、発光状態が「青」の信号機を通過した後、予め設定された第2所定時間内に通過した発光状態が「赤」の信号機に対する信号無視の確度を「低」と判定する。これにより、発光状態が「青」の信号機を通過した後、第2所定時間内に通過した発光状態が「赤」の信号機に対する信号無視について、変形例に係るドライブレコーダ1は、ドライバーに報知せず、データセンターに送信する。
The
上記信号無視の検出は、たとえば、サーバ装置などによって行われてもよい。たとえば、ドライブレコーダ1によって取得された画像が、通信部3を介してサーバ装置に送信されて、サーバ装置によって、上記信号無視の検出が行われてもよい。サーバ装置は、たとえば、信号無視などの検出を行うセンターに設けられる。
The detection of red light ignoring may be performed, for example, by a server device. For example, an image acquired by the
ドライブレコーダ1に実行させるプログラムは、インストール可能な形式、または、実行可能なファイルデータによってCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、ドライブレコーダ1に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
The program executed by the
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。従って、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further advantages and modifications may readily occur to those skilled in the art. Therefore, the invention in its broader aspects is not limited to the specific details and representative embodiments shown and described above. Accordingly, various modifications may be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and equivalents thereof.
1 ドライブレコーダ(車載装置)
2 カメラ
6 記憶部
7 制御部
10 画像認識部
11 軌跡算出部
12 アスペクト比算出部
13 信号無視判定部
20 Gセンサ
21 車速センサ
1. Drive recorder (on-board device)
2 Camera 6 Storage unit 7 Control unit 10
開示の実施形態は、車載装置、車載装置の動作方法、およびプログラムに関する。 The disclosed embodiments relate to an in-vehicle device, an operation method for an in-vehicle device, and a program.
本発明は、上記に鑑みてなされたものであって、信号無視の誤検出を抑制する車載装置、車載装置の動作方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of the above, and has an object to provide an in-vehicle device, an operating method for an in-vehicle device, and a program that suppress erroneous detection of red light ignoring.
図2に戻り、アスペクト比算出部12は、信号機のアスペクト比を算出する。具体的には、アスペクト比算出部12は、画像認識部10によって抽出されたBboxのアスペクト比を算出する。アスペクト比は、Bboxの縦横の長さの比率である。アスペクト比は、Bboxの横方向(左右方向)の長さを、Bboxの縦方向(上下方向)の長さで除算することで算出される。アスペクト比算出部12は、同一IDのBboxのアスペクト比の平均値を算出する。アスペクト比算出部12は、同一IDのBboxの最大アスペクト比、および、最小アスペクト比を算出してもよい。 Returning to FIG. 2 , the aspect ratio calculation unit 12 calculates the aspect ratio of the traffic light. Specifically, the aspect ratio calculation unit 12 calculates the aspect ratio of the Bbox extracted by the image recognition unit 10. The aspect ratio is the ratio of the length of the Bbox in the horizontal direction to the length of the Bbox in the vertical direction (up and down direction). The aspect ratio calculation unit 12 calculates the average aspect ratio of the Bboxes with the same ID. The aspect ratio calculation unit 12 may calculate the maximum aspect ratio and the minimum aspect ratio of the Bboxes with the same ID.
Claims (10)
前記制御部は、
前記画像から信号機を検出し、
前記画像から、前記車両に対する前記信号機の相対位置の変化を算出し、
前記相対位置の変化の算出結果と、前記信号機の発光状態とに基づいて前記信号機に対する前記車両の信号無視の確度を判定する、車載装置。 A control unit is provided to detect a vehicle ignoring a traffic signal based on an image,
The control unit is
Detecting a traffic light from the image;
Calculating a change in a relative position of the traffic light with respect to the vehicle from the image;
An in-vehicle device that determines the likelihood of the vehicle ignoring a traffic light based on the calculation result of the change in relative position and the illumination state of the traffic light.
検出される前記信号機のアスペクト比を算出し、
前記相対位置の変化の算出結果と、前記信号機の発光状態と、前記アスペクト比とに基づいて前記確度を判定する、請求項1に記載の車載装置。 The control unit is
Calculating an aspect ratio of the detected traffic light;
The in-vehicle device according to claim 1 , wherein the accuracy is determined based on a calculation result of the change in the relative position, a light emission state of the traffic signal, and the aspect ratio.
前記車両の幅方向における加速度に基づいて前記車両の右左折を判定し、
前記車両の右左折中、前記信号無視を検出しない、請求項1に記載の車載装置。 The control unit is
determining whether the vehicle is turning right or left based on an acceleration in a width direction of the vehicle;
The in-vehicle device according to claim 1 , wherein the in-vehicle device is configured to not detect the red light violation while the vehicle is turning right or left.
前記画像から信号機を検出する工程と、
前記画像から、前記車両に対する前記信号機の相対位置の変化を算出する工程と、
前記相対位置の変化の算出結果と、前記信号機の発光状態とに基づいて前記信号機に対する前記車両の信号無視の確度を算出する工程と
を有する車載装置の制御方法。 A method for controlling an in-vehicle device that detects a vehicle running a red light based on an image, comprising:
detecting a traffic light from the image;
calculating a change in a relative position of the traffic light with respect to the vehicle from the images;
and calculating a probability of the vehicle ignoring a traffic light based on a result of the calculation of the change in relative position and a light emission state of the traffic light.
前記画像から信号機を検出する手順と、
前記画像から、前記車両に対する前記信号機の相対位置の変化を算出する手順と、
前記相対位置の変化の算出結果と、前記信号機の発光状態とに基づいて前記信号機に対する前記車両の信号無視の確度を算出する手順と
をコンピュータに実行させるプログラム。 A program for detecting a vehicle running a red light based on an image,
detecting a traffic light from the image;
calculating a change in a relative position of the traffic light with respect to the vehicle from the image;
and calculating a probability of the vehicle ignoring a traffic light based on a result of the calculation of the change in relative position and an illumination state of the traffic light.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022153135A JP7358593B1 (en) | 2022-09-26 | 2022-09-26 | In-vehicle device, operation method of in-vehicle device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022153135A JP7358593B1 (en) | 2022-09-26 | 2022-09-26 | In-vehicle device, operation method of in-vehicle device, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7358593B1 JP7358593B1 (en) | 2023-10-10 |
JP2024047487A true JP2024047487A (en) | 2024-04-05 |
Family
ID=88242028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022153135A Active JP7358593B1 (en) | 2022-09-26 | 2022-09-26 | In-vehicle device, operation method of in-vehicle device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7358593B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012069051A (en) * | 2010-09-27 | 2012-04-05 | Yazaki Corp | In-vehicle operation recording device |
JP2015014988A (en) * | 2013-07-08 | 2015-01-22 | アサヒリサーチ株式会社 | Operation management device for vehicle and computer program |
JP2016146162A (en) * | 2014-12-04 | 2016-08-12 | 株式会社リコー | Driving determination device, driving determination program, calculation system, detection device, detection system, and detection method and program |
JP2020194528A (en) * | 2020-03-16 | 2020-12-03 | 東京海上日動火災保険株式会社 | Accident analysis device, accident analysis method, and program |
JP2022029606A (en) * | 2020-08-05 | 2022-02-18 | 株式会社デンソーテン | Information processing device, video recording device, and information processing method |
-
2022
- 2022-09-26 JP JP2022153135A patent/JP7358593B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012069051A (en) * | 2010-09-27 | 2012-04-05 | Yazaki Corp | In-vehicle operation recording device |
JP2015014988A (en) * | 2013-07-08 | 2015-01-22 | アサヒリサーチ株式会社 | Operation management device for vehicle and computer program |
JP2016146162A (en) * | 2014-12-04 | 2016-08-12 | 株式会社リコー | Driving determination device, driving determination program, calculation system, detection device, detection system, and detection method and program |
JP2020194528A (en) * | 2020-03-16 | 2020-12-03 | 東京海上日動火災保険株式会社 | Accident analysis device, accident analysis method, and program |
JP2022029606A (en) * | 2020-08-05 | 2022-02-18 | 株式会社デンソーテン | Information processing device, video recording device, and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP7358593B1 (en) | 2023-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108496178B (en) | System and method for estimating future path | |
JP5089545B2 (en) | Road boundary detection and judgment device | |
JP2022172153A (en) | Vehicle navigation system, vehicle and program | |
US10339805B2 (en) | Traffic light recognition device and traffic light recognition method | |
JP4790454B2 (en) | Image recognition device, vehicle control device, image recognition method, and vehicle control method | |
WO2013011952A1 (en) | Traffic lane recognition apparatus | |
JP2008123462A (en) | Object detector | |
JP6520740B2 (en) | Object detection method, object detection device, and program | |
JP7077910B2 (en) | Bound line detection device and lane marking method | |
JP2018092483A (en) | Object recognition device | |
WO2016125377A1 (en) | Image-processing device and vehicle system | |
JP6911312B2 (en) | Object identification device | |
JP2011053809A (en) | White line recognition device for vehicle | |
WO2019044625A1 (en) | Collision prediction device, collision prediction method, and program | |
JP2008310440A (en) | Pedestrian detection device | |
JP7195200B2 (en) | In-vehicle device, in-vehicle system, and surrounding monitoring method | |
JP2004355139A (en) | Vehicle recognition system | |
JP7261588B2 (en) | Traffic light recognition method and traffic light recognition device | |
JP6115429B2 (en) | Own vehicle position recognition device | |
CN114746915B (en) | Signal machine identification method and signal machine identification device | |
CN114973644B (en) | Road information generating device | |
JP3304905B2 (en) | Object tracking recognition device | |
JP7358593B1 (en) | In-vehicle device, operation method of in-vehicle device, and program | |
JP7255707B2 (en) | Traffic light recognition method and traffic light recognition device | |
JP7226583B2 (en) | Traffic light recognition method and traffic light recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7358593 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |