JP6965325B2 - Auto-discovery system and auto-detection program - Google Patents
Auto-discovery system and auto-detection program Download PDFInfo
- Publication number
- JP6965325B2 JP6965325B2 JP2019200413A JP2019200413A JP6965325B2 JP 6965325 B2 JP6965325 B2 JP 6965325B2 JP 2019200413 A JP2019200413 A JP 2019200413A JP 2019200413 A JP2019200413 A JP 2019200413A JP 6965325 B2 JP6965325 B2 JP 6965325B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- range
- vehicle
- limited range
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、交通安全施設（交通信号灯器および道路標識など）を自動で検出するための技術に関するものである。 The present invention relates to a technique for automatically detecting a traffic safety facility (traffic signal lamp, road sign, etc.).
自動車の自動運転を行うためには、車載カメラを利用して交通信号機を自動で認識する必要がある。しかし、車載カメラによって得られる画像だけを用いて十分な認識性能を確保することは困難である。 In order to drive an automobile automatically, it is necessary to automatically recognize a traffic signal by using an in-vehicle camera. However, it is difficult to secure sufficient recognition performance by using only the image obtained by the in-vehicle camera.
特許文献１には、道路標示情報ＤＢを用いて車両の位置を高精度に算出する方法が開示されている。 Patent Document 1 discloses a method of calculating the position of a vehicle with high accuracy by using the road marking information DB.
本発明は、交通信号灯器などを自動で検出する機能の性能を向上させることを目的とする。 An object of the present invention is to improve the performance of a function of automatically detecting a traffic signal lamp or the like.
本発明の自動検出システムは、交通信号灯器と道路標識との少なくともいずれかの交通安全施設を自動で検出する。
前記自動検出システムは、
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータと特徴データとを含む情報データが登録された情報データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の情報データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記情報データに含まれる位置データと前記対象施設の前記情報データに含まれるサイズデータとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲を前記対象施設の前記情報データに含まれる特徴データと照合することによって、前記対象施設を検出する検出部と、を備える。
The automatic detection system of the present invention automatically detects at least one of the traffic safety facilities of a traffic signal lamp and a road sign.
The automatic detection system
Data acquisition to acquire a road image obtained by shooting with a camera mounted on a vehicle, vehicle position data indicating the position of the vehicle at the time of shooting, and vehicle posture data indicating the posture of the vehicle at the time of shooting. Department and
Based on the vehicle position data and the vehicle attitude data from an information database in which information data including position data, size data, and feature data is registered for each traffic safety facility provided at each point, the vehicle is taken at the time of shooting. A database search unit that acquires information data of the target facility, which is a traffic safety facility located in the direction of travel,
The target facility is projected from the road image based on the vehicle position data, the vehicle attitude data, the position data included in the information data of the target facility, and the size data included in the information data of the target facility. An image range limiting part that extracts a range as a limited range, and
A detection unit that detects the target facility by collating the limited range with the feature data included in the information data of the target facility is provided.
前記検出部は、前記限定範囲に対して射影変換とサイズ変換とを行い、変換後の限定範囲を前記特徴データと照合する。 The detection unit performs projection conversion and size conversion on the limited range, and collates the converted limited range with the feature data.
前記特徴データは、前記対象施設を示す参照画像を含む。
前記検出部は、前記変換後の限定範囲を前記参照画像と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する。
The feature data includes a reference image showing the target facility.
The detection unit compares the limited range after the conversion with the reference image, and determines whether or not the limited range matches the feature data based on the comparison result.
前記対象施設は、交通信号灯器である。
前記特徴データは、表示領域データを含む。
前記表示領域データは、前記交通信号灯器に備わる１つ以上の表示部のそれぞれの領域である表示領域を示す。
前記検出部は、変換後の限定範囲から各表示領域に対応する範囲である表示範囲を抽出し、各表示範囲に対する画像処理によって前記変換後の限定範囲に映っている信号表示を判別し、判別された信号表示を撮影時の現示情報データに示される信号現示と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する。
The target facility is a traffic signal lamp.
The feature data includes display area data.
The display area data indicates a display area which is each area of one or more display units provided in the traffic signal lamp.
The detection unit extracts a display range corresponding to each display area from the limited range after conversion, and determines and discriminates the signal display reflected in the limited range after conversion by image processing for each display range. The signal display is compared with the signal display shown in the display information data at the time of shooting, and it is determined based on the comparison result whether or not the limited range matches the feature data.
前記対象施設は、道路標識である。
前記特徴データは、表示領域データを含む。
前記表示領域データは、前記道路標識に備わる表示部の領域である表示領域を示す。
前記検出部は、変換後の限定範囲から前記表示領域に対応する範囲である表示範囲を抽出し、前記表示範囲に対する画像処理によって前記表示範囲に前記道路標識の前記表示部が映っているか判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する。
The target facility is a road sign.
The feature data includes display area data.
The display area data indicates a display area which is an area of a display unit provided on the road sign.
The detection unit extracts a display range corresponding to the display area from the limited range after conversion, and determines whether or not the display unit of the road sign is reflected in the display range by image processing on the display range. , Whether or not the limited range matches the feature data is determined based on the determination result.
前記特徴データは、前記対象施設に隣接する物体である隣接物を示す隣接物データを含む。
前記検出部は、前記限定範囲を含んだ範囲である参照範囲を前記道路画像から抽出し、前記参照範囲に対して射影変換とサイズ変換とを行い、変換後の参照範囲に対する画像処理によって前記隣接物が前記参照範囲に映っているか判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する。
The feature data includes adjacency data indicating an adjacency that is an object adjacent to the target facility.
The detection unit extracts a reference range, which is a range including the limited range, from the road image, performs projection conversion and size conversion on the reference range, and performs image processing on the converted reference range to obtain the adjacent reference range. It is determined whether or not the object is reflected in the reference range, and whether or not the limited range matches the feature data is determined based on the determination result.
前記カメラは、視線方向を調整する指向機能を有する。
前記自動検出システムは、
前記車両位置データと前記車両姿勢データとに基づいて前記情報データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部を備える。
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる。
The camera has a directivity function for adjusting the line-of-sight direction.
The automatic detection system
Based on the vehicle position data and the vehicle attitude data, the position data of the facility of interest, which is a traffic safety facility located in the traveling direction of the vehicle, is acquired from the information database, and the position data of the facility of interest is used as the basis for the position data. A directional control unit that controls the directional function of the camera so that the camera captures the direction in which the facility of interest is located is provided.
The road image is obtained by taking a picture of the direction in which the facility of interest is located by the camera.
前記カメラは、画角を調整する画角調整機能を有する。
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭める。
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる。
The camera has an angle of view adjusting function for adjusting the angle of view.
The directional control unit narrows the angle of view of the camera by controlling the angle of view adjusting function.
The road image is obtained by taking a picture after the angle of view of the camera is narrowed.
本発明の自動検出プログラムは、交通信号灯器と道路標識との少なくともいずれかの交通安全施設を自動で検出する。
前記自動検出プログラムは、
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータと特徴データとを含む情報データが登録された情報データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の情報データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記情報データに含まれる位置データと前記対象施設の前記情報データに含まれるサイズデータとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲を前記対象施設の前記情報データに含まれる特徴データと照合することによって、前記対象施設を検出する検出部として、
コンピュータを機能させる。
The automatic detection program of the present invention automatically detects at least one of the traffic safety facilities of a traffic signal lamp and a road sign.
The automatic detection program
Data acquisition to acquire a road image obtained by shooting with a camera mounted on a vehicle, vehicle position data indicating the position of the vehicle at the time of shooting, and vehicle posture data indicating the posture of the vehicle at the time of shooting. Department and
Based on the vehicle position data and the vehicle attitude data from an information database in which information data including position data, size data, and feature data is registered for each traffic safety facility provided at each point, the vehicle is taken at the time of shooting. A database search unit that acquires information data of the target facility, which is a traffic safety facility located in the direction of travel,
The target facility is projected from the road image based on the vehicle position data, the vehicle attitude data, the position data included in the information data of the target facility, and the size data included in the information data of the target facility. An image range limiting part that extracts a range as a limited range, and
As a detection unit that detects the target facility by collating the limited range with the feature data included in the information data of the target facility.
Make your computer work.
前記検出部は、前記限定範囲に対して射影変換とサイズ変換とを行い、変換後の限定範囲を前記特徴データと照合する。 The detection unit performs projection conversion and size conversion on the limited range, and collates the converted limited range with the feature data.
前記特徴データは、前記対象施設を示す参照画像を含む。
前記検出部は、前記変換後の限定範囲を前記参照画像と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する。
The feature data includes a reference image showing the target facility.
The detection unit compares the limited range after the conversion with the reference image, and determines whether or not the limited range matches the feature data based on the comparison result.
前記対象施設は、交通信号灯器である。
前記特徴データは、表示領域データを含む。
前記表示領域データは、前記交通信号灯器に備わる１つ以上の表示部のそれぞれの領域である表示領域を示す。
前記検出部は、変換後の限定範囲から各表示領域に対応する範囲である表示範囲を抽出し、各表示範囲に対する画像処理によって前記変換後の限定範囲に映っている信号表示を判別し、判別された信号表示を撮影時の現示情報データに示される信号現示と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する。
The target facility is a traffic signal lamp.
The feature data includes display area data.
The display area data indicates a display area which is each area of one or more display units provided in the traffic signal lamp.
The detection unit extracts a display range corresponding to each display area from the limited range after conversion, and determines and discriminates the signal display reflected in the limited range after conversion by image processing for each display range. The signal display is compared with the signal display shown in the display information data at the time of shooting, and it is determined based on the comparison result whether or not the limited range matches the feature data.
前記対象施設は、道路標識である。
前記特徴データは、表示領域データを含む。
前記表示領域データは、前記道路標識に備わる表示部の領域である表示領域を示す。
前記検出部は、変換後の限定範囲から前記表示領域に対応する範囲である表示範囲を抽出し、前記表示範囲に対する画像処理によって前記表示範囲に前記道路標識の前記表示部が映っているか判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する。
The target facility is a road sign.
The feature data includes display area data.
The display area data indicates a display area which is an area of a display unit provided on the road sign.
The detection unit extracts a display range corresponding to the display area from the limited range after conversion, and determines whether or not the display unit of the road sign is reflected in the display range by image processing on the display range. , Whether or not the limited range matches the feature data is determined based on the determination result.
前記特徴データは、前記対象施設に隣接する物体である隣接物を示す隣接物データを含む。
前記検出部は、前記限定範囲を含んだ範囲である参照範囲を前記道路画像から抽出し、前記参照範囲に対して射影変換とサイズ変換とを行い、変換後の参照範囲に対する画像処理によって前記隣接物が前記参照範囲に映っているか判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する。
The feature data includes adjacency data indicating an adjacency that is an object adjacent to the target facility.
The detection unit extracts a reference range, which is a range including the limited range, from the road image, performs projection conversion and size conversion on the reference range, and performs image processing on the converted reference range to obtain the adjacent reference range. It is determined whether or not the object is reflected in the reference range, and whether or not the limited range matches the feature data is determined based on the determination result.
前記カメラは、視線方向を調整する指向機能を有する。
前記自動検出プログラムは、さらに、
前記車両位置データと前記車両姿勢データとに基づいて前記情報データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部として、
コンピュータを機能させる。
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる。
The camera has a directivity function for adjusting the line-of-sight direction.
The automatic detection program further
Based on the vehicle position data and the vehicle attitude data, the position data of the facility of interest, which is a traffic safety facility located in the traveling direction of the vehicle, is acquired from the information database, and the position data of the facility of interest is used as the basis for the position data. As a directional control unit that controls the directional function of the camera so that the camera captures the direction in which the facility of interest is located.
Make your computer work.
The road image is obtained by taking a picture of the direction in which the facility of interest is located by the camera.
前記カメラは、画角を調整する画角調整機能を有する。
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭める。
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる。
The camera has an angle of view adjusting function for adjusting the angle of view.
The directional control unit narrows the angle of view of the camera by controlling the angle of view adjusting function.
The road image is obtained by taking a picture after the angle of view of the camera is narrowed.
本発明によれば、交通信号灯器などを自動で検出する機能の性能を向上させることができる。 According to the present invention, it is possible to improve the performance of the function of automatically detecting a traffic signal lamp or the like.
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。 In embodiments and drawings, the same or corresponding elements are designated by the same reference numerals. The description of the elements with the same reference numerals as the described elements will be omitted or abbreviated as appropriate. The arrows in the figure mainly indicate the flow of data or the flow of processing.
実施の形態１．
各地点に設けられた交通信号灯器を自動で検出する形態について、図１から図１０に基づいて説明する。
Embodiment 1.
A mode for automatically detecting the traffic signal lamps provided at each point will be described with reference to FIGS. 1 to 10.
交通信号灯器は、交通信号機の一部である。
交通信号機は、交通信号灯器と交通信号制御機とを備える。
交通信号灯器は、交通信号を表示する。交通信号は、赤信号、青信号、黄信号および矢印信号などである。
交通信号制御機は、交通信号灯器の表示を制御する。
交通信号機は、自動車用の信号機、歩行者用の信号機またはその他の用途の信号機のいずれであってもよい。
交通信号機は、交通安全施設の一種である。
Traffic lights are part of traffic lights.
The traffic signal includes a traffic signal lamp and a traffic signal controller.
The traffic signal lamp displays a traffic signal. Traffic signals include red, green, yellow and arrow signals.
The traffic signal controller controls the display of the traffic signal lamp.
The traffic signal may be any of a traffic light for automobiles, a traffic light for pedestrians, or a traffic light for other purposes.
A traffic signal is a type of traffic safety facility.
＊＊＊構成の説明＊＊＊
図１に基づいて、自動検出システム１００の構成を説明する。
自動検出システム１００は、自動検出装置２００とセンサ管理装置３００とを備える。
自動検出装置２００およびセンサ管理装置３００は、車両１１０に搭載される。
また、車両１１０には、自動運転システム１３０が搭載される。
*** Explanation of configuration ***
The configuration of the automatic detection system 100 will be described with reference to FIG.
The automatic detection system 100 includes an
The
Further, the vehicle 110 is equipped with an
車両１１０は、道路を走行しながら、各時刻に、位置および姿勢を計測すると共に撮影を行う。例えば、車両１１０は、モービルマッピングシステム（ＭＭＳ）で使用される自動車である。
車両１１０の位置を示すデータを「車両位置データ」と称する。車両１１０の位置は、三次元座標値で識別される。
車両１１０の姿勢を示すデータを「車両姿勢データ」と称する。車両１１０の姿勢は、ロール角、ピッチ角およびヨー角で識別される。
車両１１０からの撮影によって得られる画像を「道路画像」と称する。道路画像には、道路周辺（道路を含む）が映る。
While traveling on the road, the vehicle 110 measures the position and posture at each time and takes a picture. For example, vehicle 110 is an automobile used in a mobile mapping system (MMS).
The data indicating the position of the vehicle 110 is referred to as "vehicle position data". The position of the vehicle 110 is identified by three-dimensional coordinate values.
The data indicating the posture of the vehicle 110 is referred to as "vehicle posture data". The posture of the vehicle 110 is identified by a roll angle, a pitch angle and a yaw angle.
The image obtained by taking a picture from the vehicle 110 is referred to as a "road image". The road image shows the area around the road (including the road).
自動検出装置２００は、各時刻の車両位置データと、各時刻の車両姿勢データと、各時刻の道路画像と、情報データベース１２０と、を用いて、車両１１０の進行方向に位置する交通信号灯器を検出する。
The
情報データベース１２０は、各地点に設けられた交通信号灯器の情報データが登録されたデータベースである。
交通信号灯器の情報データは、交通信号灯器の各種情報を示す。
The
The information data of the traffic signal lamp indicates various information of the traffic signal lamp.
交通信号灯器の情報データは、識別番号と、基本データと、特徴データと、を含む。
基本データは、位置データと、姿勢データと、サイズデータと、表示内容データと、を含む。
特徴データは、表示領域データと、隣接物データと、参照画像と、を含む。
交通信号灯器の識別番号は、交通信号灯器を識別する。
交通信号灯器の位置データは、交通信号灯器の位置を示す。交通信号灯器の位置は、交通信号灯器の基準点の三次元座標値で識別される。
交通信号灯器の姿勢データは、交通信号灯器の姿勢を示す。交通信号灯器の姿勢は、交通信号灯器の正面部分の傾斜角で識別される。
交通信号灯器のサイズデータは、交通信号灯器のサイズを示す。交通信号灯器のサイズは、寸法と形状で識別される。
交通信号灯器の表示内容データは、交通信号灯器に備わる１つ以上の表示部のそれぞれの種類を示す。例えば、表示部は、赤信号、青信号、黄信号または矢印信号といった種類に分類される。
交通信号灯器の表示領域データは、交通信号灯器に備わる１つ以上の表示部のそれぞれの領域（表示領域）を示す。例えば、表示領域は、交通信号灯器の正面における二次元領域で識別される。
交通信号灯器の隣接物データは、交通信号灯器に隣接する物体（隣接物）を示す。例えば、隣接物データは、識別番号、種類識別子、相対位置データおよび相対サイズデータなどを含む。識別番号は、隣接物を識別する。種類識別子は、隣接物の種類を識別する。相対位置データは、交通信号灯器の位置に対する隣接物の相対位置を示す。相対サイズデータは、交通信号灯器のサイズに対する隣接物の相対サイズを示す。
交通信号灯器の参照画像は、交通信号灯器を示す画像である。例えば、参照画像は、正面から見た交通信号灯器を基準サイズで示す。
The information data of the traffic signal lamp includes an identification number, basic data, and feature data.
The basic data includes position data, posture data, size data, and display content data.
The feature data includes display area data, adjacency data, and a reference image.
The identification number of the traffic signal lamp identifies the traffic signal lamp.
The position data of the traffic signal lamp indicates the position of the traffic signal lamp. The position of the traffic signal lamp is identified by the three-dimensional coordinate value of the reference point of the traffic signal lamp.
The attitude data of the traffic signal lamp indicates the attitude of the traffic signal lamp. The posture of the traffic signal lamp is identified by the inclination angle of the front portion of the traffic signal lamp.
The size data of the traffic signal lamp indicates the size of the traffic signal lamp. The size of a traffic light is identified by its dimensions and shape.
The display content data of the traffic signal lamp indicates each type of one or more display units provided in the traffic signal lamp. For example, the display unit is classified into a type such as a red traffic light, a green traffic light, a yellow traffic light, or an arrow signal.
The display area data of the traffic signal lamp indicates each area (display area) of one or more display units provided in the traffic signal lamp. For example, the display area is identified by a two-dimensional area in front of the traffic signal lamp.
Adjacent object data of a traffic signal lamp indicates an object (adjacent object) adjacent to the traffic signal lamp. For example, adjacency data includes identification numbers, type identifiers, relative position data, relative size data, and the like. The identification number identifies the adjacent object. The type identifier identifies the type of adjacency. The relative position data indicates the relative position of the adjacent object with respect to the position of the traffic signal lamp. Relative size data indicates the relative size of an adjacent object to the size of a traffic signal light.
The reference image of the traffic signal lamp is an image showing the traffic signal lamp. For example, the reference image shows a traffic signal lamp viewed from the front in a reference size.
情報データベース１２０は、センサ管理装置３００、自動検出装置２００、自動運転システム１３０またはその他の装置（例えば、データベースサーバ）のいずれで管理されてもよい。
The
自動運転システム１３０は、自動運転用のシステムである。自動運転システム１３０によって実現される自動運転は、完全自動運転、一部自動運転または運転アシストなどのいずれのレベルの自動運転であっても構わない。
The
センサ管理装置３００は、車両位置データおよび車両姿勢データを生成する。
The
図２に基づいて、車両１１０の構成を説明する。
車両１１０は、車体の屋根の上に、各種センサを備える。
具体的には、車両１１０は、アンテナ（１１１Ａ〜１１１Ｃ）と、ＩＭＵ１１２と、カメラ（１１３Ａ、１１３Ｂ）と、レーザスキャナ１１４と、を備える。
これらのセンサは、ＭＭＳ用の車両に備わる基本的な要素である。
The configuration of the vehicle 110 will be described with reference to FIG.
The vehicle 110 is provided with various sensors on the roof of the vehicle body.
Specifically, the vehicle 110 includes antennas (111A to 111C), an
These sensors are the basic elements of a vehicle for MMS.
アンテナ（１１１Ａ〜１１１Ｃ）は、衛星測位システム用のアンテナである。衛星測位システムの具体例は、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）である。
ＩＭＵ１１２は、慣性計測装置である。
カメラ（１１３Ａ、１１３Ｂ）は、ＭＭＳ用のカメラである。
The antennas (111A to 111C) are antennas for a satellite positioning system. A specific example of a satellite positioning system is the Global Positioning System (GPS).
The
The cameras (113A, 113B) are cameras for MMS.
車両１１０は、車体の前部に、カメラ１１９を備える。
カメラ１１９は、自動検出システム１００用のカメラである。カメラ１１９は画像センサを有する。
The vehicle 110 includes a camera 119 at the front of the vehicle body.
The camera 119 is a camera for the automatic detection system 100. The camera 119 has an image sensor.
センサ管理装置３００（図１参照）は、カメラ１１９の指向性を制御する。 The sensor management device 300 (see FIG. 1) controls the directivity of the camera 119.
図３に基づいて、カメラ１１９の指向性について説明する。
カメラ１１９は、視線方向を調整する機能（指向機能）を有する。視線方向は、カメラ１１９の位置を基点とする撮影方向である。撮影方向は、カメラ１１９によって撮影される方向である。具体的には、指向機能は、画像センサ（の視軸）の向きを調整する。但し、指向機能は、画像センサ（の視軸）の向きを調整する代わりに、カメラ１１９の姿勢を調整してもよい。例えば、指向機能は、画像センサ又はカメラ１１９を駆動する装置によって実現される。カメラ１１９は、指向機能によって特定の方向を撮影することができる。
カメラ１１９は、画角を調整する機能（画角調整機能）を有する。例えば、カメラ１１９は、画角調整機能によって画角を狭めて撮影を行うことができる。つまり、カメラ１１９は、狭視野での撮影が可能である。狭視野での撮影により、撮影範囲が狭まるため、撮影範囲の解像度が高まる。つまり、画像センサの多素子化が実現される。
The directivity of the camera 119 will be described with reference to FIG.
The camera 119 has a function of adjusting the line-of-sight direction (direction function). The line-of-sight direction is a shooting direction with the position of the camera 119 as a base point. The shooting direction is the direction in which the camera 119 shoots. Specifically, the directional function adjusts the orientation of the image sensor (the visual axis of the image sensor). However, the directional function may adjust the posture of the camera 119 instead of adjusting the orientation of the image sensor (the visual axis of the image sensor). For example, the directional function is realized by a device that drives an image sensor or a camera 119. The camera 119 can shoot a specific direction by the directional function.
The camera 119 has a function of adjusting the angle of view (angle of view adjusting function). For example, the camera 119 can take a picture by narrowing the angle of view by the angle of view adjusting function. That is, the camera 119 can shoot in a narrow field of view. Shooting in a narrow field of view narrows the shooting range and increases the resolution of the shooting range. That is, the number of elements of the image sensor is increased.
図４および図５に基づいて、カメラ１１９の指向性を制御することによって得られる道路画像について説明する。
図４は、道路画像の具体例を示している。図５は、道路画像の具体例を簡略に示している。
カメラ１１９の指向性が制御されない場合、広視野での撮影が行われ、交通信号灯器が端の方に小さく映った道路画像が得られる（実線の矩形を参照）。この場合、道路画像に映っている交通信号灯器を認識することが困難になる。
カメラ１１９の指向性が制御された場合、狭視野での撮影が行われ、交通信号灯器が中央に大きく映った道路画像が得られる（破線の矩形を参照）。この場合、道路画像に映っている交通信号灯器を認識することが容易になる。
A road image obtained by controlling the directivity of the camera 119 will be described with reference to FIGS. 4 and 5.
FIG. 4 shows a specific example of a road image. FIG. 5 briefly shows a specific example of a road image.
If the directivity of the camera 119 is not controlled, a wide field of view is taken and a road image with a small traffic light towards the edge is obtained (see solid rectangle). In this case, it becomes difficult to recognize the traffic signal lamp shown in the road image.
When the directivity of the camera 119 is controlled, a narrow field of view is taken and a road image with a large traffic signal lamp in the center is obtained (see the dashed rectangle). In this case, it becomes easy to recognize the traffic signal lamp shown in the road image.
図６に基づいて、センサ管理装置３００の構成を説明する。
センサ管理装置３００は、プロセッサ３０１とメモリ３０２と補助記憶装置３０３と通信装置３０４と入出力インタフェース３０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
The configuration of the
The
プロセッサ３０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ３０１はＣＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
The
IC is an abbreviation for Integrated Circuit.
CPU is an abbreviation for Central Processing Unit.
メモリ３０２は揮発性または不揮発性の記憶装置である。メモリ３０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ３０２はＲＡＭである。メモリ３０２に記憶されたデータは必要に応じて補助記憶装置３０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
The
RAM is an abbreviation for Random Access Memory.
補助記憶装置３０３は不揮発性の記憶装置である。例えば、補助記憶装置３０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置３０３に記憶されたデータは必要に応じてメモリ３０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
The
ROM is an abbreviation for Read Only Memory.
HDD is an abbreviation for Hard Disk Drive.
通信装置３０４はレシーバ及びトランスミッタである。例えば、通信装置３０４は通信チップまたはＮＩＣである。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
The
NIC is an abbreviation for Network Interface Card.
入出力インタフェース３０５は、入出力用のポートである。例えば、各種センサとカメラ１１９とのそれぞれにはケーブルの一端が接続され、各ケーブルの他端が入出力インタフェース３０５に接続される。これにより、各種センサおよびカメラ１１９がセンサ管理装置３００に接続される。
The input /
センサ管理装置３００は、データ収集部３１１とデータ処理部３１２と指向制御部３１３といった要素を備える。これらの要素はソフトウェアで実現される。
The
補助記憶装置３０３には、データ収集部３１１とデータ処理部３１２と指向制御部３１３としてコンピュータを機能させるためのセンサ管理プログラムが記憶されている。センサ管理プログラムは、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
補助記憶装置３０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
プロセッサ３０１は、ＯＳを実行しながら、センサ管理プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
The
The OS is further stored in the
The
OS is an abbreviation for Operating System.
センサ管理プログラムの入出力データは記憶部３９０に記憶される。
メモリ３０２は記憶部３９０として機能する。但し、補助記憶装置３０３、プロセッサ３０１内のレジスタおよびプロセッサ３０１内のキャッシュメモリなどの記憶装置が、メモリ３０２の代わりに、又は、メモリ３０２と共に、記憶部３９０として機能してもよい。
The input / output data of the sensor management program is stored in the
The
センサ管理プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。 The sensor management program can record (store) in a non-volatile recording medium such as an optical disk or a flash memory so that it can be read by a computer.
図７に基づいて、自動検出装置２００の構成を説明する。
自動検出装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
The configuration of the
The
プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１はＣＰＵである。
The
メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
The
補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
The
通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップまたはＮＩＣである。
入出力インタフェース２０５は、入出力用のポートである。
The input /
自動検出装置２００は、データ取得部２１１とデータベース検索部２１２と画像範囲限定部２１３と検出部２１４と結果出力部２１５と現示情報取得部２１６といった要素を備える。これらの要素はソフトウェアで実現される。
The
補助記憶装置２０３には、データ取得部２１１とデータベース検索部２１２と画像範囲限定部２１３と検出部２１４と結果出力部２１５と現示情報取得部２１６としてコンピュータを機能させるためのデータベース生成プログラムが記憶されている。データベース生成プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、データベース生成プログラムを実行する。
The
The OS is further stored in the
The
データベース生成プログラムの入出力データは記憶部２９０に記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
The input / output data of the database generation program is stored in the
The
データベース生成プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。 The database generation program can record (store) in a non-volatile recording medium such as an optical disk or a flash memory so that it can be read by a computer.
＊＊＊動作の説明＊＊＊
自動検出システム１００の動作の手順は自動検出方法に相当する。
自動検出システム１００（特に、自動検出装置２００）の動作の手順は自動検出プログラムによる処理の手順に相当する。センサ管理装置３００用のプログラム（センサ管理プログラム）が自動検出プログラムに含まれてもよい。
*** Explanation of operation ***
The operation procedure of the automatic detection system 100 corresponds to the automatic detection method.
The operation procedure of the automatic detection system 100 (particularly, the automatic detection device 200) corresponds to the processing procedure by the automatic detection program. A program for the sensor management device 300 (sensor management program) may be included in the automatic detection program.
図８に基づいて、センサ管理方法を説明する。
センサ管理方法は、センサ管理装置３００の動作の手順に相当する。
The sensor management method will be described with reference to FIG.
The sensor management method corresponds to the procedure for operating the
カメラ１１９による撮影の際、指向制御部３１３は、カメラ１１９の画角調整機能を制御することによって、カメラ１１９の画角を狭める。そのため、カメラ１１９は狭視野での撮影を行う。
When shooting with the camera 119, the
ステップＳ１０１からステップＳ１０４は、各時刻に実行される。 Steps S101 to S104 are executed at each time.
ステップＳ１０１において、データ収集部３１１は、各センサからセンサデータを取得し、各センサデータを記憶部３９０に記憶する。
センサデータは、センサによって得られるデータである。
In step S101, the
The sensor data is the data obtained by the sensor.
アンテナ（１１１Ａ〜１１１Ｃ）によって得られるセンサデータを「測位信号データ」と称する。
ＩＭＵ１１２によって得られるセンサデータを「慣性計測データ」と称する。
カメラ１１９を用いた撮影によって得られるセンサデータを「道路画像」と称する。
The sensor data obtained by the antennas (111A to 111C) is referred to as "positioning signal data".
The sensor data obtained by the
The sensor data obtained by photographing with the camera 119 is referred to as a "road image".
ステップＳ１０２において、データ処理部３１２は、ステップＳ１０１で取得したセンサデータを用いて車両位置データと車両姿勢データを生成し、車両位置データと車両姿勢データを記憶部３９０に記憶する。
In step S102, the
データ処理部３１２は、車両位置データと車両姿勢データとを以下のように生成する。
データ処理部３１２は、測位信号データを用いて衛星航法を行うことによって、車両１１０の位置を算出する。そして、データ処理部３１２は、車両１１０の位置を示す車両位置データを生成する。
データ処理部３１２は、慣性計測データを用いて慣性航法を行うことによって、車両１１０の姿勢を算出する。そして、データ処理部３１２は、車両１１０の姿勢を示す車両姿勢データを生成する。
The
The
The
ステップＳ１０３において、指向制御部３１３は、車両位置データと車両姿勢データに基づいて、情報データベース１２０から注目信号灯器（注目施設の一例）の位置データを取得する。
In step S103, the
注目信号灯器は、車両１１０の進行方向に位置する交通信号灯器である。特に、車両１１０の進行方向側の錐形領域内に位置する交通信号灯器を注目信号灯器と称する。錐形領域は、車両１１０の位置を頂点とする錐形（例えば、四角錐）の領域である。錐形領域の大きさは予め定義される。 The attention signal lamp is a traffic signal lamp located in the traveling direction of the vehicle 110. In particular, a traffic signal lamp located in the conical region on the traveling direction side of the vehicle 110 is referred to as a attention signal lamp. The cone-shaped region is a cone-shaped (for example, a quadrangular pyramid) region having the position of the vehicle 110 as an apex. The size of the cone region is predefined.
車両１１０の進行方向は、車両１１０の位置を基点にして車両１１０の姿勢によって判別される方向である。 The traveling direction of the vehicle 110 is a direction determined by the posture of the vehicle 110 with the position of the vehicle 110 as a base point.
例えば、指向制御部３１３は、車両位置データと車両姿勢データとを用いて車両１１０の進行方向を算出し、車両１１０の進行方向側の錐形領域を算出する。そして、指向制御部３１３は、情報データベース１２０を検索することによって、算出した錐形領域内に位置する交通信号灯器（注目信号灯器）の位置データを見つける。
For example, the
ステップＳ１０４において、指向制御部３１３は、注目信号灯器の位置データに基づいて、注目信号灯器が位置する方向をカメラ１１９が撮影するようにカメラ１１９の指向機能を制御する。
In step S104, the
例えば、指向制御部３１３は、車両１１０の位置と車両１１０の姿勢とカメラ１１９の視線方向とに基づいて、カメラ１１９の撮影方向を算出する。指向制御部３１３は、カメラ１１９から注目信号灯器の位置への方向とカメラ１１９の撮影方向とのずれ量を算出する。算出されるずれ量を調整量と称する。そして、指向制御部３１３は、カメラ１１９の指向機能を制御することにより、カメラ１１９の視線方向を調整量だけずらず。
For example, the
図９に基づいて、データベース生成方法を説明する。 A database generation method will be described with reference to FIG.
現示情報取得部２１６は、各時刻に、車両１１０の周辺に位置する交通信号灯器の現示情報データを取得する。
現示情報データは、識別番号と信号現示とを示す。識別番号は、交通信号灯器を識別する。信号現示は、当該時刻における交通信号灯器の表示である。
例えば、現示情報取得部２１６は、交通信号制御機または交通管制センターのコンピュータなど交通信号灯器の現示を管理する装置と通信を行い、その装置から現示情報データを受信する。
The display
The display information data indicates an identification number and a signal display. The identification number identifies the traffic signal lamp. The signal display is a display of a traffic signal lamp at that time.
For example, the display
ステップＳ１１１からステップＳ１１５は、各時刻のデータセットに対して実行される。
データセットは、車両１１０に搭載されたカメラ１１９を用いた撮影によって得られる道路画像と、撮影時の車両１１０の位置を示す車両位置データと、撮影時の車両１１０の姿勢を示す車両姿勢データと、を含む。
Steps S111 through S115 are performed on the dataset at each time.
The data set includes a road image obtained by shooting with a camera 119 mounted on the vehicle 110, vehicle position data indicating the position of the vehicle 110 at the time of shooting, and vehicle posture data indicating the posture of the vehicle 110 at the time of shooting. ,including.
ステップＳ１１１において、データ取得部２１１はデータセットを取得する。
例えば、データ取得部２１１は、センサ管理装置３００と通信することによって、各時刻のデータセットをセンサ管理装置３００から受信する。そして、データ取得部２１１は、各時刻のデータセットをメモリ３０２に記憶する。
In step S111, the
For example, the
ステップＳ１１２において、データベース検索部２１２は、車両位置データと車両姿勢データに基づいて、情報データベース１２０から対象信号灯器（対象設備の一例）の情報データを取得する。
In step S112, the
対象信号灯器は、撮影時に車両１１０の進行方向に位置していた交通信号灯器である。特に、撮影時に車両１１０の進行方向側の錐形領域内に位置していた交通信号灯器を対象信号灯器と称する。錐形領域の大きさは予め定義される。 The target signal lamp is a traffic signal lamp that was located in the traveling direction of the vehicle 110 at the time of shooting. In particular, a traffic signal lamp located in the conical region on the traveling direction side of the vehicle 110 at the time of photographing is referred to as a target signal lamp. The size of the cone region is predefined.
例えば、データベース検索部２１２は、車両位置データと車両姿勢データとを用いて車両１１０の進行方向を算出し、車両１１０の進行方向側の錐形領域を算出する。そして、データベース検索部２１２は、情報データベース１２０を検索することによって、算出した錐形領域内に位置する交通信号灯器（対象信号灯器）の位置データを見つける。見つかった位置データを含む情報データが対象信号灯器の情報データである。
For example, the
ステップＳ１１３において、画像範囲限定部２１３は、車両位置データと車両姿勢データと対象信号灯器の位置データと対象信号灯器のサイズデータとに基づいて、道路画像から限定範囲を抽出する。
限定範囲は、道路画像の中で対象信号灯器が映る範囲である。
In step S113, the image
The limited range is the range in which the target signal lamp is reflected in the road image.
例えば、画像範囲限定部２１３は、車両１１０の位置と車両１１０の姿勢とカメラ１１９の視線方向とに基づいて、カメラ１１９の撮影方向を算出する。画像範囲限定部２１３は、カメラ１１９の撮影方向とカメラ１１９の画角とに基づいて、カメラ１１９の撮影範囲を算出する。画像範囲限定部２１３は、カメラ１１９の撮影範囲に基づいて、道路画像の中で対象信号灯器の位置に相当する画素（対象画素）を特定する。また、画像範囲限定部２１３は、カメラ１１９から対象信号灯器までの距離と対象信号灯器のサイズとに基づいて、道路画像に映る対象信号灯器のサイズ（対象サイズ）を算出する。そして、画像範囲限定部２１３は、道路画像から、対象画素を基点にして対象サイズを有する範囲を抽出する。抽出される範囲が限定範囲となる。
For example, the image
ステップＳ１１４において、検出部２１４は、限定範囲を対象信号灯器の情報データに含まれる特徴データと照合することによって、対象信号灯器を検出する。
限定範囲は、以下のように特徴データと照合される。
In step S114, the
The limited range is collated with the feature data as follows.
検出部２１４は、限定範囲に対して射影変換とサイズ変換とを行う。
限定範囲に対する射影変換は、限定範囲に映っている被写体（対象信号灯器）を正面から撮影して得られる画像に変換するための処理である。
限定範囲に対するサイズ変換は、限定範囲を拡大または縮小して限定範囲を基準サイズの画像に変換するための処理である。例えば、検出部２１４は、車両１１０と対象信号灯器との距離に応じた倍率で限定範囲を拡大または縮小する。
そして、検出部２１４は、変換後の限定範囲を特徴データと照合する。
The
The projective transformation for a limited range is a process for converting a subject (target signal lamp) reflected in the limited range into an image obtained by shooting from the front.
The size conversion for the limited range is a process for enlarging or reducing the limited range and converting the limited range into a reference size image. For example, the
Then, the
特徴データは、参照画像を含む。
参照画像は、交通信号灯器を示す画像である。
検出部２１４は、変換後の限定範囲を参照画像と比較する。
変換後の限定範囲が参照画像と類似する場合、限定範囲は特徴データと合致している。
変換処理後の限定範囲が参照画像と類似しない場合、限定範囲は特徴データと合致していない。
The feature data includes a reference image.
The reference image is an image showing a traffic signal lamp.
The
If the converted limited range is similar to the reference image, the limited range matches the feature data.
If the limited range after the conversion process is not similar to the reference image, the limited range does not match the feature data.
特徴データは、表示領域データを含む。
表示領域データは、交通信号灯器に備わる１つ以上の表示部のそれぞれの領域（表示領域）を示す。
まず、検出部２１４は、変換後の限定範囲から各表示領域に対応する範囲を抽出する。抽出される各範囲を表示範囲と称する。
次に、検出部２１４は、各表示範囲に対する画像処理によって、変換後の限定範囲に映っている信号表示を判別する。
そして、検出部２１４は、判別された信号表示を、撮影時の現示情報データに示される信号現示と比較する。
使用される現示情報データは、対象信号灯器の情報データに含まれる識別番号と同じ識別番号を含む現示情報データである。
限定範囲の信号表示が撮影時の現示情報データに示される信号現示と一致する場合、限定範囲は特徴データと合致している。
限定範囲の信号表示が撮影時の現示情報データに示される信号現示と一致しない場合、限定範囲は特徴データと合致していない。
The feature data includes display area data.
The display area data indicates each area (display area) of one or more display units provided in the traffic signal lamp.
First, the
Next, the
Then, the
The display information data used is the display information data including the same identification number as the identification number included in the information data of the target signal lamp.
When the signal display of the limited range matches the signal display shown in the display information data at the time of shooting, the limited range matches the feature data.
If the signal display of the limited range does not match the signal display shown in the display information data at the time of shooting, the limited range does not match the feature data.
特徴データは、隣接物データを含む。
隣接物データは、交通信号灯器に隣接する物体（隣接物）を示す。隣接物の具体例について後述する。
まず、検出部２１４は、限定範囲を含んだ範囲を道路画像から抽出する。抽出される範囲を参照範囲と称する。例えば、参照範囲の大きさは、限定範囲の大きさによって定まる。限定範囲が大きいほど参照範囲は大きく、限定範囲が小さいほど参照範囲は小さい。
次に、検出部２１４は、参照範囲に対して射影変換とサイズ変換とを行う。
参照範囲に対する射影変換は、参照範囲に映っている被写体（対象信号灯器および隣接物）を正面から撮影して得られる画像に変換するための処理である。
参照範囲に対するサイズ変換は、参照範囲を拡大または縮小して参照範囲を基準サイズの画像に変換するための処理である。例えば、検出部２１４は、車両１１０と対象信号灯器との距離に応じた倍率で参照範囲を拡大または縮小する。
そして、検出部２１４は、変換後の参照範囲に対する画像処理によって、隣接物データに示される隣接物が参照範囲に映っているか判定する。例えば、隣接物は、種類、対象信号灯器に対する相対位置および対象信号灯器に対する相対サイズなどによって判別される。隣接物の種類は、例えば、形状および色などの外観のパターンマッチングによって判別される。
参照範囲に隣接物が映っている場合、限定範囲は特徴データと合致している。
参照範囲に隣接物が映っていない場合、限定範囲は特徴データと合致していない。
The feature data includes adjacency data.
Adjacent object data indicates an object (adjacent object) adjacent to a traffic signal lamp. Specific examples of adjacent objects will be described later.
First, the
Next, the
The projective transformation with respect to the reference range is a process for converting a subject (target signal lamp and an adjacent object) reflected in the reference range into an image obtained by photographing from the front.
The size conversion for the reference range is a process for enlarging or reducing the reference range and converting the reference range into a reference size image. For example, the
Then, the
If the reference range shows an adjacent object, the limited range matches the feature data.
If the reference range does not show adjacent objects, the limited range does not match the feature data.
検出部２１４は、各照合の結果に基づいて、対象信号灯器の検出結果を決定する。
例えば、少なくともいずれかの照合において限定範囲が特徴データと合致した場合、検出部２１４は、対象信号灯器が検出されたと判定する。
The
For example, if the limited range matches the feature data in at least one of the collations, the
図１０に基づいて、対象信号灯器の隣接物の具体例を説明する。
対象信号灯器を支えている支柱は、対象信号灯器の隣接物の一例である。また、対象信号灯器の支柱に取り付けられている交通信号制御機は、対象信号灯器の隣接物の一例である。
A specific example of an adjacent object of the target signal lamp will be described with reference to FIG.
The column supporting the target signal lamp is an example of an adjacent object of the target signal lamp. Further, the traffic signal controller attached to the support of the target signal lamp is an example of an adjacent object of the target signal lamp.
図９に戻り、ステップＳ１１５を説明する。
ステップＳ１１５において、結果出力部２１５は、検出結果データを自動運転システム１３０へ出力する。
検出結果データは、対象信号灯器の検出結果を示すデータである。例えば、検出結果データは、検出結果と対象データとを含む。検出結果は、対象信号灯器が検出されたか否かを示す。対象データは、対象信号灯器の各種情報（識別番号および位置など）を示す。
検出結果データは、自動運転システム１３０に入力され、自動運転システム１３０によって利用される。
Returning to FIG. 9, step S115 will be described.
In step S115, the
The detection result data is data showing the detection result of the target signal lamp. For example, the detection result data includes the detection result and the target data. The detection result indicates whether or not the target signal lamp is detected. The target data indicates various information (identification number, position, etc.) of the target signal lamp.
The detection result data is input to the
＊＊＊実施の形態１の効果＊＊＊
実施の形態１により、交通信号灯器を自動で検出する機能の性能を向上させることができる。
情報データベース１２０には、各交通信号灯器の特徴データが登録されている。各交通信号灯器の特徴データと道路画像を照合することにより、交通信号灯器を漏れなく正確に検出することが可能となる。
*** Effect of Embodiment 1 ***
According to the first embodiment, the performance of the function of automatically detecting the traffic signal lamp can be improved.
The feature data of each traffic signal lamp is registered in the
実施の形態２．
各地点に設けられた道路標識を自動で検出する形態について、主に実施の形態１と異なる点を図１１から図１５に基づいて説明する。
Embodiment 2.
The mode for automatically detecting the road sign provided at each point will be described mainly different from the first embodiment with reference to FIGS. 11 to 15.
道路標識は、交通安全施設の一種である。 Road signs are a type of traffic safety facility.
＊＊＊構成の説明＊＊＊
自動検出システム１００の構成は、実施の形態１における構成（図１参照）と同じである。
但し、情報データベース１２０は、各地点に設けられた道路標識の情報データが登録されたデータベースである。つまり、実施の形態２では、実施の形態１で説明した情報データの内容が「交通信号灯器」の情報から「道路標識」の情報に置き換わる。
*** Explanation of configuration ***
The configuration of the automatic detection system 100 is the same as the configuration in the first embodiment (see FIG. 1).
However, the
車両１１０の構成は、実施の形態１における構成（図２参照）と同じである。 The configuration of the vehicle 110 is the same as the configuration in the first embodiment (see FIG. 2).
カメラ１１９の指向性は、実施の形態１における指向性（図３参照）と同じである。 The directivity of the camera 119 is the same as the directivity in the first embodiment (see FIG. 3).
図１１および図１２に基づいて、カメラ１１９の指向性を制御することによって得られる道路画像について説明する。
図１１は、道路画像の具体例を示している。図１２は、道路画像の具体例を簡略に示している。
カメラ１１９の指向性が制御されない場合、広視野での撮影が行われ、道路標識が端の方に小さく映った道路画像が得られる（実線の矩形を参照）。この場合、道路画像に映っている道路標識を認識することが困難になる。
カメラ１１９の指向性が制御された場合、狭視野での撮影が行われ、道路標識が中央に大きく映った道路画像が得られる（破線の矩形を参照）。この場合、道路画像に映っている道路標識を認識することが容易になる。
A road image obtained by controlling the directivity of the camera 119 will be described with reference to FIGS. 11 and 12.
FIG. 11 shows a specific example of a road image. FIG. 12 briefly shows a specific example of a road image.
If the directivity of camera 119 is not controlled, wide field of view is taken and a road image with road signs smaller towards the edges is obtained (see solid rectangle). In this case, it becomes difficult to recognize the road sign shown in the road image.
When the directivity of the camera 119 is controlled, a narrow field of view is taken and a road image with a large road sign in the center is obtained (see the dashed rectangle). In this case, it becomes easy to recognize the road sign reflected in the road image.
センサ管理装置３００の構成は、実施の形態１における構成（図６参照）と同じである。
The configuration of the
自動検出装置２００の構成は、実施の形態１における構成（図７参照）と同じである。
The configuration of the
＊＊＊動作の説明＊＊＊
図１３に基づいて、センサ管理方法を説明する。
センサ管理方法は、センサ管理装置３００の動作の手順に相当する。
*** Explanation of operation ***
The sensor management method will be described with reference to FIG.
The sensor management method corresponds to the procedure for operating the
カメラ１１９による撮影の際、指向制御部３１３は、カメラ１１９の画角調整機能を制御することによって、カメラ１１９の画角を狭める。そのため、カメラ１１９は狭視野での撮影を行う。
When shooting with the camera 119, the
ステップＳ２０１からステップＳ２０４は、各時刻に実行される。 Steps S201 to S204 are executed at each time.
ステップＳ２０１において、データ収集部３１１は、各センサからセンサデータを取得し、各センサデータを記憶部３９０に記憶する。
ステップＳ２０１は、実施の形態１のステップＳ１０１（図８参照）と同じである。
In step S201, the
Step S201 is the same as step S101 (see FIG. 8) of the first embodiment.
ステップＳ２０２において、データ処理部３１２は、ステップＳ２０１で取得したセンサデータを用いて車両位置データと車両姿勢データを生成し、車両位置データと車両姿勢データを記憶部３９０に記憶する。
ステップＳ２０１は、実施の形態１のステップＳ１０１（図８参照）と同じである。
In step S202, the
Step S201 is the same as step S101 (see FIG. 8) of the first embodiment.
ステップＳ２０３において、指向制御部３１３は、車両位置データと車両姿勢データに基づいて、情報データベース１２０から注目標識（注目施設の一例）の位置データを取得する。
注目標識は、車両１１０の進行方向に位置する道路標識である。
ステップＳ２０３の処理は、実施の形態１のステップＳ１０３（図８参照）において「注目信号灯器」を「注目標識」に置き換えた処理と同じである。
In step S203, the
The attention sign is a road sign located in the traveling direction of the vehicle 110.
The process of step S203 is the same as the process of replacing the “attention signal lamp” with the “attention sign” in step S103 (see FIG. 8) of the first embodiment.
ステップＳ２０４において、指向制御部３１３は、注目標識の位置データに基づいて、注目標識が位置する方向をカメラ１１９が撮影するようにカメラ１１９の指向機能を制御する。
ステップＳ２０４の処理は、実施の形態１のステップＳ１０４（図８参照）において「注目信号灯器」を「注目標識」に置き換えた処理と同じである。
In step S204, the
The process of step S204 is the same as the process of replacing the “attention signal lamp” with the “attention sign” in step S104 (see FIG. 8) of the first embodiment.
図１４に基づいて、データベース生成方法を説明する。
ステップＳ２１１からステップＳ２１５は、各時刻のデータセットに対して実行される。
A database generation method will be described with reference to FIG.
Steps S211 to S215 are performed on the dataset at each time.
ステップＳ２１１において、データ取得部２１１はデータセットを取得する。
ステップＳ２１１は、実施の形態１のステップＳ１１１（図９参照）と同じである。
In step S211 the
Step S211 is the same as step S111 (see FIG. 9) of the first embodiment.
ステップＳ２１２において、データベース検索部２１２は、車両位置データと車両姿勢データに基づいて、情報データベース１２０から対象標識（対象設備の一例）の情報データを取得する。
対象標識は、撮影時に車両１１０の進行方向に位置していた道路標識である。
ステップＳ２１２の処理は、実施の形態１のステップＳ１１２（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
In step S212, the
The target sign is a road sign that was located in the traveling direction of the vehicle 110 at the time of shooting.
The process of step S212 is the same as the process of replacing the “target signal lamp” with the “target sign” in step S112 (see FIG. 9) of the first embodiment.
ステップＳ２１３において、画像範囲限定部２１３は、対象標識の情報データと車両位置データと車両姿勢データとに基づいて、道路画像から限定範囲を抽出する。
ステップＳ２１３の処理は、実施の形態１のステップＳ１１３（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
In step S213, the image
The process of step S213 is the same as the process of replacing the “target signal lamp” with the “target sign” in step S113 (see FIG. 9) of the first embodiment.
ステップＳ２１４において、検出部２１４は、限定範囲を対象標識の情報データに含まれる特徴データと照合することによって、対象標識を検出する。
ステップＳ２１４の処理は、実施の形態１のステップＳ１１４（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同様である。
限定範囲は、以下のように特徴データと照合される。
In step S214, the
The process of step S214 is the same as the process of replacing the “target signal lamp” with the “target sign” in step S114 (see FIG. 9) of the first embodiment.
The limited range is collated with the feature data as follows.
検出部２１４は、限定範囲に対して射影変換とサイズ変換とを行う。
限定範囲に対する射影変換は、限定範囲に映っている被写体（対象標識）を正面から撮影して得られる画像に変換するための処理である。
限定範囲に対するサイズ変換は、限定範囲を拡大または縮小して限定範囲を基準サイズの画像に変換するための処理である。例えば、検出部２１４は、車両１１０と対象標識との距離に応じた倍率で限定範囲を拡大または縮小する。
そして、検出部２１４は、変換後の限定範囲を特徴データと照合する。
The
The projective transformation for a limited range is a process for converting a subject (target sign) reflected in the limited range into an image obtained by shooting from the front.
The size conversion for the limited range is a process for enlarging or reducing the limited range and converting the limited range into a reference size image. For example, the
Then, the
特徴データは、参照画像を含む。
参照画像は、道路標識を示す画像である。
検出部２１４は、変換後の限定範囲を参照画像と比較する。
変換後の限定範囲が参照画像と類似する場合、限定範囲は特徴データと合致している。
変換処理後の限定範囲が参照画像と類似しない場合、限定範囲は特徴データと合致していない。
The feature data includes a reference image.
The reference image is an image showing a road sign.
The
If the converted limited range is similar to the reference image, the limited range matches the feature data.
If the limited range after the conversion process is not similar to the reference image, the limited range does not match the feature data.
特徴データは、表示領域データを含む。
表示領域データは、道路標識に備わる表示部の領域（表示領域）を示す。
まず、検出部２１４は、変換後の限定範囲から、表示領域データに示される表示領域に対応する範囲を抽出する。抽出される範囲を表示範囲と称する。
次に、検出部２１４は、表示範囲に対する画像処理によって、表示範囲に道路標識の表示部が映っているか判定する。
表示範囲に道路標識の表示部が映っている場合、限定範囲は特徴データと合致している。
表示範囲に道路標識の表示部が映っていない場合、限定範囲は特徴データと合致していない。
The feature data includes display area data.
The display area data indicates an area (display area) of the display unit provided on the road sign.
First, the
Next, the
When the display part of the road sign is reflected in the display range, the limited range matches the feature data.
If the display part of the road sign is not reflected in the display range, the limited range does not match the feature data.
特徴データは、隣接物データを含む。
隣接物データは、道路標識に隣接する物体（隣接物）を示す。隣接物の具体例について後述する。
まず、検出部２１４は、限定範囲を含んだ範囲を道路画像から抽出する。抽出される範囲を参照範囲と称する。例えば、参照範囲の大きさは、限定範囲の大きさによって定まる。限定範囲が大きいほど参照範囲は大きく、限定範囲が小さいほど参照範囲は小さい。
次に、検出部２１４は、参照範囲に対して射影変換とサイズ変換とを行う。
参照範囲に対する射影変換は、参照範囲に映っている被写体（対象標識および隣接物）を正面から撮影して得られる画像に変換するための処理である。
参照範囲に対するサイズ変換は、参照範囲を拡大または縮小して参照範囲を基準サイズの画像に変換するための処理である。例えば、検出部２１４は、車両１１０と対象標識との距離に応じた倍率で参照範囲を拡大または縮小する。
そして、検出部２１４は、変換後の参照範囲に対する画像処理によって、隣接物データに示される隣接物が参照範囲に映っているか判定する。例えば、隣接物は、種類、対象標識に対する相対位置および対象標識に対する相対サイズなどによって判別される。隣接物の種類は、例えば、形状および色などの外観のパターンマッチングによって判別される。
参照範囲に隣接物が映っている場合、限定範囲は特徴データと合致している。
参照範囲に隣接物が映っていない場合、限定範囲は特徴データと合致していない。
The feature data includes adjacency data.
Adjacent object data indicates an object (adjacent object) adjacent to a road sign. Specific examples of adjacent objects will be described later.
First, the
Next, the
The projective transformation with respect to the reference range is a process for converting a subject (target sign and an adjacent object) reflected in the reference range into an image obtained by photographing from the front.
The size conversion for the reference range is a process for enlarging or reducing the reference range and converting the reference range into a reference size image. For example, the
Then, the
If the reference range shows an adjacent object, the limited range matches the feature data.
If the reference range does not show adjacent objects, the limited range does not match the feature data.
検出部２１４は、各照合の結果に基づいて、対象標識の検出結果を決定する。
例えば、少なくともいずれかの照合において限定範囲が特徴データと合致した場合、検出部２１４は、対象標識が検出されたと判定する。
The
For example, if the limited range matches the feature data in at least one of the collations, the
図１５に基づいて、対象標識の隣接物の具体例を説明する。
対象標識を支えている支柱は、対象標識の隣接物の一例である。また、対象標識の支柱に取り付けられている任意標識は、対象標識の隣接物の一例である。任意標識は、情報データベース１２０によって管理されていない道路標識である。
A specific example of an object adjacent to the target sign will be described with reference to FIG.
The strut supporting the target sign is an example of an adjacent object of the target sign. Further, the arbitrary sign attached to the support of the target sign is an example of an adjacent object of the target sign. The optional sign is a road sign that is not managed by the
図１４に戻り、ステップＳ２１５を説明する。
ステップＳ２１５において、結果出力部２１５は、検出結果データを自動運転システム１３０へ出力する。
ステップＳ２１５の処理は、実施の形態１のステップＳ１１５（図９参照）において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
Returning to FIG. 14, step S215 will be described.
In step S215, the
The process of step S215 is the same as the process of replacing the “target signal lamp” with the “target sign” in step S115 (see FIG. 9) of the first embodiment.
＊＊＊実施の形態２の効果＊＊＊
実施の形態２により、道路標識を自動で検出する機能の性能を向上させることができる。
情報データベース１２０には、各道路標識の特徴データが登録されている。各道路標識の特徴データと道路画像を照合することにより、道路標識を漏れなく正確に検出することが可能となる。
*** Effect of Embodiment 2 ***
According to the second embodiment, the performance of the function of automatically detecting a road sign can be improved.
The feature data of each road sign is registered in the
＊＊＊実施の形態の補足＊＊＊
センサ管理装置３００と自動検出装置２００と自動運転システム１３０は、１台または２台の装置に統合されてもよい。
*** Supplement to the embodiment ***
The
カメラ１１９の代わりに、ＭＭＳ用のカメラ（１１３Ａ、１１３Ｂ）が用いられてもよい。
ＭＭＳ用のカメラ（１１３Ａ、１１３Ｂ）の代わりに、カメラ１１９が用いられてもよい。
Instead of the camera 119, cameras for MMS (113A, 113B) may be used.
A camera 119 may be used instead of the cameras for MMS (113A, 113B).
車両１１０は、鉄道車両であってもよい。交通信号機は、鉄道用の信号機（例えば、踏切警報機）であってもよい。 The vehicle 110 may be a railroad vehicle. The traffic signal may be a railway signal (for example, a railroad crossing alarm).
自動検出システム１００は、交通信号灯器と道路標識とは別の交通安全施設を検出してもよい。
つまり、「交通信号灯器」を「他の交通安全施設」に置き換えて実施の形態１が実施されてよいし、「道路標識」を「他の交通安全施設」に置き換えて実施の形態２が実施されてもよい。
The automatic detection system 100 may detect a traffic safety facility other than the traffic signal lamp and the road sign.
That is, the first embodiment may be carried out by replacing the "traffic signal lamp" with the "other traffic safety facility", or the second embodiment may be carried out by replacing the "road sign" with the "other traffic safety facility". May be done.
自動検出装置２００およびセンサ管理装置３００のハードウェア構成について補足する。
自動検出装置２００は、データ取得部２１１とデータベース検索部２１２と画像範囲限定部２１３と検出部２１４と結果出力部２１５と現示情報取得部２１６とを実現する処理回路を備える。
センサ管理装置３００は、データ収集部３１１とデータ処理部３１２と指向制御部３１３とを実現する処理回路を備える。
処理回路は、専用のハードウェアであってもよいし、メモリに格納されるプログラムを実行するプロセッサであってもよい。
自動検出装置２００とセンサ管理装置３００とのそれぞれにおいて、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
The hardware configuration of the
The
The
The processing circuit may be dedicated hardware or a processor that executes a program stored in memory.
In each of the
各実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
自動検出装置２００とセンサ管理装置３００とのそれぞれの要素である「部」は、「処理」または「工程」と読み替えてもよい。
Each embodiment is an example of a preferred embodiment and is not intended to limit the technical scope of the invention. Each embodiment may be partially implemented or may be implemented in combination with other embodiments. The procedure described using the flowchart or the like may be appropriately changed.
The "unit" which is an element of each of the
１００ 自動検出システム、１１０ 車両、１１１ アンテナ、１１２ ＩＭＵ、１１３ カメラ、１１４ レーザスキャナ、１１９ カメラ、１２０ 情報データベース、１３０ 自動運転システム、２００ 自動検出装置、２０１ プロセッサ、２０２ メモリ、２０３ 補助記憶装置、２０４ 通信装置、２０５ 入出力インタフェース、２１１ データ取得部、２１２ データベース検索部、２１３ 画像範囲限定部、２１４ 検出部、２１５ 結果出力部、２１６ 現示情報取得部、２９０ 記憶部、３００ センサ管理装置、３０１ プロセッサ、３０２ メモリ、３０３ 補助記憶装置、３０４ 通信装置、３０５ 入出力インタフェース、３１１ データ収集部、３１２ データ処理部、３１３ 指向制御部、３９０ 記憶部。 100 automatic detection system, 110 vehicle, 111 antenna, 112 IMU, 113 camera, 114 laser scanner, 119 camera, 120 information database, 130 automatic driving system, 200 automatic detection device, 201 processor, 202 memory, 203 auxiliary storage device, 204 Communication device, 205 I / O interface, 211 data acquisition unit, 212 database search unit, 213 image range limitation unit, 214 detection unit, 215 result output unit, 216 display information acquisition unit, 290 storage unit, 300 sensor management unit, 301 Processor, 302 memory, 303 auxiliary storage device, 304 communication device, 305 input / output interface, 311 data collection unit, 312 data processing unit, 313 directional control unit, 390 storage unit.
Claims (14)
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータと特徴データとを含む情報データが登録された情報データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の情報データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記情報データに含まれる位置データと前記対象施設の前記情報データに含まれるサイズデータとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲を前記対象施設の前記情報データに含まれる特徴データと照合することによって、前記対象施設を検出する検出部と、
を備え、
前記特徴データは、前記対象施設に隣接する物体である隣接物を判別するための情報として、前記対象施設に対する前記隣接物の相対位置と前記対象施設に対する前記隣接物の相対サイズを示す隣接物データを含み、
前記検出部は、前記限定範囲を含んだ範囲である参照範囲を前記道路画像から抽出し、前記参照範囲に対して射影変換とサイズ変換とを行い、変換後の参照範囲に対する画像処理によって前記隣接物が前記参照範囲に映っているか前記相対位置と前記相対サイズに基づいて判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する
自動検出システム。 It is an automatic detection system that automatically detects at least one of the traffic safety facilities of traffic signal lights and road signs.
Data acquisition to acquire a road image obtained by shooting with a camera mounted on a vehicle, vehicle position data indicating the position of the vehicle at the time of shooting, and vehicle posture data indicating the posture of the vehicle at the time of shooting. Department and
Based on the vehicle position data and the vehicle attitude data from an information database in which information data including position data, size data, and feature data is registered for each traffic safety facility provided at each point, the vehicle is taken at the time of shooting. A database search unit that acquires information data of the target facility, which is a traffic safety facility located in the direction of travel,
The target facility is projected from the road image based on the vehicle position data, the vehicle attitude data, the position data included in the information data of the target facility, and the size data included in the information data of the target facility. An image range limiting part that extracts a range as a limited range, and
A detection unit that detects the target facility by collating the limited range with the feature data included in the information data of the target facility.
Equipped with a,
The feature data is adjacent object data indicating the relative position of the adjacent object with respect to the target facility and the relative size of the adjacent object with respect to the target facility as information for discriminating an adjacent object which is an object adjacent to the target facility. Including
The detection unit extracts a reference range, which is a range including the limited range, from the road image, performs projection conversion and size conversion on the reference range, and performs image processing on the converted reference range to obtain the adjacent reference range. Whether or not an object is reflected in the reference range is determined based on the relative position and the relative size, and whether or not the limited range matches the feature data is determined based on the determination result. <br /> Automatic detection system.
請求項１に記載の自動検出システム。 The automatic detection system according to claim 1, wherein the detection unit performs projection conversion and size conversion on the limited range, and collates the converted limited range with the feature data.
前記検出部は、前記変換後の限定範囲を前記参照画像と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する
請求項２に記載の自動検出システム。 The feature data includes a reference image showing the target facility.
The automatic detection system according to claim 2, wherein the detection unit compares the converted limited range with the reference image, and determines whether or not the limited range matches the feature data based on the comparison result. ..
前記特徴データは、表示領域データを含み、
前記表示領域データは、前記交通信号灯器に備わる１つ以上の表示部のそれぞれの領域である表示領域を示し、
前記検出部は、変換後の限定範囲から各表示領域に対応する範囲である表示範囲を抽出し、各表示範囲に対する画像処理によって前記変換後の限定範囲に映っている信号表示を判別し、判別された信号表示を撮影時の現示情報データに示される信号現示と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する
請求項２または請求項３に記載の自動検出システム。 The target facility is a traffic signal lamp,
The feature data includes display area data.
The display area data indicates a display area which is each area of one or more display units provided in the traffic signal lamp.
The detection unit extracts a display range corresponding to each display area from the limited range after conversion, and determines and discriminates the signal display reflected in the limited range after conversion by image processing for each display range. 2. The automatic detection system according to 3.
前記特徴データは、表示領域データを含み、
前記表示領域データは、前記道路標識に備わる表示部の領域である表示領域を示し、
前記検出部は、変換後の限定範囲から前記表示領域に対応する範囲である表示範囲を抽出し、前記表示範囲に対する画像処理によって前記表示範囲に前記道路標識の前記表示部が映っているか判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する
請求項２または請求項３に記載の自動検出システム。 The target facility is a road sign,
The feature data includes display area data.
The display area data indicates a display area which is an area of a display unit provided on the road sign.
The detection unit extracts a display range corresponding to the display area from the limited range after conversion, and determines whether or not the display unit of the road sign is reflected in the display range by image processing on the display range. The automatic detection system according to claim 2 or 3, wherein it is determined based on the determination result whether or not the limited range matches the feature data.
前記自動検出システムは、
前記車両位置データと前記車両姿勢データとに基づいて前記情報データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部を備え、
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる
請求項１から請求項５のいずれか１項に記載の自動検出システム。 The camera has a directivity function for adjusting the line-of-sight direction.
The automatic detection system
Based on the vehicle position data and the vehicle attitude data, the position data of the facility of interest, which is a traffic safety facility located in the traveling direction of the vehicle, is acquired from the information database, and the position data of the facility of interest is used as the basis for the position data. A directional control unit that controls the directional function of the camera so that the camera captures the direction in which the facility of interest is located is provided.
The automatic detection system according to any one of claims 1 to 5 , wherein the road image is obtained by taking a picture of the direction in which the facility of interest is located by the camera.
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭め、
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる
請求項６に記載の自動検出システム。 The camera has an angle of view adjustment function for adjusting the angle of view.
The directional control unit narrows the angle of view of the camera by controlling the angle of view adjusting function.
The automatic detection system according to claim 6 , wherein the road image is obtained by taking a picture after the angle of view of the camera is narrowed.
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータと特徴データとを含む情報データが登録された情報データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の情報データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記情報データに含まれる位置データと前記対象施設の前記情報データに含まれるサイズデータとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲を前記対象施設の前記情報データに含まれる特徴データと照合することによって、前記対象施設を検出する検出部として、
コンピュータを機能させる自動検出プログラムであって、
前記特徴データは、前記対象施設に隣接する物体である隣接物を判別するための情報として、前記対象施設に対する前記隣接物の相対位置と前記対象施設に対する前記隣接物の相対サイズを示す隣接物データを含み、
前記検出部は、前記限定範囲を含んだ範囲である参照範囲を前記道路画像から抽出し、前記参照範囲に対して射影変換とサイズ変換とを行い、変換後の参照範囲に対する画像処理によって前記隣接物が前記参照範囲に映っているか前記相対位置と前記相対サイズに基づいて判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する
自動検出プログラム。 It is an automatic detection program for automatically detecting at least one of the traffic safety facilities of traffic signal lights and road signs.
Data acquisition to acquire a road image obtained by shooting with a camera mounted on a vehicle, vehicle position data indicating the position of the vehicle at the time of shooting, and vehicle posture data indicating the posture of the vehicle at the time of shooting. Department and
Based on the vehicle position data and the vehicle attitude data from an information database in which information data including position data, size data, and feature data is registered for each traffic safety facility provided at each point, the vehicle is taken at the time of shooting. A database search unit that acquires information data of the target facility, which is a traffic safety facility located in the direction of travel,
The target facility is projected from the road image based on the vehicle position data, the vehicle attitude data, the position data included in the information data of the target facility, and the size data included in the information data of the target facility. An image range limiting part that extracts a range as a limited range, and
As a detection unit that detects the target facility by collating the limited range with the feature data included in the information data of the target facility.
An automatic detection program that makes your computer work
The feature data is adjacent object data indicating the relative position of the adjacent object with respect to the target facility and the relative size of the adjacent object with respect to the target facility as information for discriminating an adjacent object which is an object adjacent to the target facility. Including
The detection unit extracts a reference range, which is a range including the limited range, from the road image, performs projection conversion and size conversion on the reference range, and performs image processing on the converted reference range to obtain the adjacent reference range. Whether or not an object is reflected in the reference range is determined based on the relative position and the relative size, and whether or not the limited range matches the feature data is determined based on the determination result. <br /> Automatic detection program.
請求項８に記載の自動検出プログラム。 The automatic detection program according to claim 8 , wherein the detection unit performs projection conversion and size conversion on the limited range, and collates the converted limited range with the feature data.
前記検出部は、前記変換後の限定範囲を前記参照画像と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する
請求項９に記載の自動検出プログラム。 The feature data includes a reference image showing the target facility.
The automatic detection program according to claim 9 , wherein the detection unit compares the converted limited range with the reference image, and determines whether or not the limited range matches the feature data based on the comparison result. ..
前記特徴データは、表示領域データを含み、
前記表示領域データは、前記交通信号灯器に備わる１つ以上の表示部のそれぞれの領域である表示領域を示し、
前記検出部は、変換後の限定範囲から各表示領域に対応する範囲である表示範囲を抽出し、各表示範囲に対する画像処理によって前記変換後の限定範囲に映っている信号表示を判別し、判別された信号表示を撮影時の現示情報データに示される信号現示と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する
請求項９または請求項１０に記載の自動検出プログラム。 The target facility is a traffic signal lamp,
The feature data includes display area data.
The display area data indicates a display area which is each area of one or more display units provided in the traffic signal lamp.
The detection unit extracts a display range corresponding to each display area from the limited range after conversion, and determines and discriminates the signal display reflected in the limited range after conversion by image processing for each display range. 9. 10. The automatic detection program according to 10.
前記特徴データは、表示領域データを含み、
前記表示領域データは、前記道路標識に備わる表示部の領域である表示領域を示し、
前記検出部は、変換後の限定範囲から前記表示領域に対応する範囲である表示範囲を抽出し、前記表示範囲に対する画像処理によって前記表示範囲に前記道路標識の前記表示部が映っているか判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する
請求項９または請求項１０に記載の自動検出プログラム。 The target facility is a road sign,
The feature data includes display area data.
The display area data indicates a display area which is an area of a display unit provided on the road sign.
The detection unit extracts a display range corresponding to the display area from the limited range after conversion, and determines whether or not the display unit of the road sign is reflected in the display range by image processing on the display range. The automatic detection program according to claim 9 or 10 , wherein it is determined based on the determination result whether or not the limited range matches the feature data.
前記自動検出プログラムは、さらに、
前記車両位置データと前記車両姿勢データとに基づいて前記情報データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部として、
コンピュータを機能させ、
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる
請求項８から請求項１２のいずれか１項に記載の自動検出プログラム。 The camera has a directivity function for adjusting the line-of-sight direction.
The automatic detection program further
Based on the vehicle position data and the vehicle attitude data, the position data of the facility of interest, which is a traffic safety facility located in the traveling direction of the vehicle, is acquired from the information database, and the position data of the facility of interest is used as the basis for the position data. As a directional control unit that controls the directional function of the camera so that the camera captures the direction in which the facility of interest is located.
Make your computer work
The automatic detection program according to any one of claims 8 to 12 , wherein the road image is obtained by taking a picture of the direction in which the facility of interest is located by the camera.
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭め、
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる
請求項１３に記載の自動検出プログラム。 The camera has an angle of view adjustment function for adjusting the angle of view.
The directional control unit narrows the angle of view of the camera by controlling the angle of view adjusting function.
The automatic detection program according to claim 13 , wherein the road image is obtained by taking a picture after the angle of view of the camera is narrowed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019200413A JP6965325B2 (en) | 2019-11-05 | 2019-11-05 | Auto-discovery system and auto-detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019200413A JP6965325B2 (en) | 2019-11-05 | 2019-11-05 | Auto-discovery system and auto-detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021076884A JP2021076884A (en) | 2021-05-20 |
| JP6965325B2 true JP6965325B2 (en) | 2021-11-10 |
Family
ID=75897281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019200413A Active JP6965325B2 (en) | 2019-11-05 | 2019-11-05 | Auto-discovery system and auto-detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6965325B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024023921A1 (en) * | 2022-07-26 | 2024-02-01 | 三菱電機株式会社 | Sign recognition device, sign recognition system, and sign recognition method |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5370375B2 (en) * | 2011-01-06 | 2013-12-18 | 株式会社デンソー | Image recognition device |
| JP2013045176A (en) * | 2011-08-22 | 2013-03-04 | Pioneer Electronic Corp | Signal recognition device, candidate point pattern transmitter, candidate point pattern receiver, signal recognition method, and candidate point pattern reception method |
| RU2666061C2 (en) * | 2013-04-04 | 2018-09-05 | Ниссан Мотор Ко., Лтд. | Motion signal recognition device |
| JP6331811B2 (en) * | 2014-07-18 | 2018-05-30 | 日産自動車株式会社 | Signal detection device and signal detection method |
| JP6464783B2 (en) * | 2015-02-04 | 2019-02-06 | 株式会社デンソー | Object detection device |
| JP6319173B2 (en) * | 2015-05-11 | 2018-05-09 | トヨタ自動車株式会社 | Vehicle regulation speed display device |
| BR112018000191B1 (en) * | 2015-07-13 | 2023-02-14 | Nissan Motor Co., Ltd | TRAFFIC LIGHT RECOGNITION DEVICE AND TRAFFIC LIGHT RECOGNITION METHOD |
| JP6819996B2 (en) * | 2016-10-14 | 2021-01-27 | 国立大学法人金沢大学 | Traffic signal recognition method and traffic signal recognition device |
| JP6733582B2 (en) * | 2017-03-08 | 2020-08-05 | 株式会社デンソー | Sign recognition system |
| CN109035831B (en) * | 2018-09-07 | 2021-07-27 | 百度在线网络技术（北京）有限公司 | Traffic indicator light identification method, device, equipment, storage medium and vehicle |
-
2019
- 2019-11-05 JP JP2019200413A patent/JP6965325B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021076884A (en) | 2021-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113034960B (en) | Object change detection system for updating precise route map and method thereof | |
| JP6866440B2 (en) | Object identification methods, devices, equipment, vehicles and media | |
| KR100435650B1 (en) | Detection method of road condition in a vehicle equipped with a camera, and method for detecting distance between vehicles in the same vehicle | |
| JP7138718B2 (en) | Feature detection device, feature detection method, and feature detection program | |
| CN110945379A (en) | Determining yaw error from map data, laser, and camera | |
| CN111046762A (en) | Object positioning method, device electronic equipment and storage medium | |
| JP6759175B2 (en) | Information processing equipment and information processing system | |
| JP6278791B2 (en) | Vehicle position detection device, vehicle position detection method, vehicle position detection computer program, and vehicle position detection system | |
| JP2006330908A (en) | Position recording device and position recording method | |
| CN110998684B (en) | Image collection system, image collection method, image collection device, and recording medium | |
| US10846546B2 (en) | Traffic signal recognition device | |
| JP2007178223A (en) | Feature recognition device | |
| JP7424390B2 (en) | Image processing device, image processing method, and image processing program | |
| JP6989284B2 (en) | Vehicle position estimation device and program | |
| JP2021117048A (en) | Change point detector and map information delivery system | |
| JP4852905B2 (en) | Image processing apparatus and image processing method | |
| JP6278790B2 (en) | Vehicle position detection device, vehicle position detection method, vehicle position detection computer program, and vehicle position detection system | |
| JP2017181476A (en) | Vehicle location detection device, vehicle location detection method and vehicle location detection-purpose computer program | |
| JP6965325B2 (en) | Auto-discovery system and auto-detection program | |
| CN110555402A (en) | congestion car following method, system, terminal and storage medium based on look-around | |
| JP2019146012A (en) | Imaging apparatus | |
| CN110539748B (en) | Congestion car following system and terminal based on look-around | |
| JP5435294B2 (en) | Image processing apparatus and image processing program | |
| KR101724868B1 (en) | Apparatus and method for recognizing traffic mark based on image | |
| JP6979438B2 (en) | Database generation system and database generation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211020 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6965325 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |