KR101420242B1 - vehicle detector and method using stereo camera - Google Patents
vehicle detector and method using stereo camera Download PDFInfo
- Publication number
- KR101420242B1 KR101420242B1 KR1020120067248A KR20120067248A KR101420242B1 KR 101420242 B1 KR101420242 B1 KR 101420242B1 KR 1020120067248 A KR1020120067248 A KR 1020120067248A KR 20120067248 A KR20120067248 A KR 20120067248A KR 101420242 B1 KR101420242 B1 KR 101420242B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- information
- image information
- area
- narrow
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/40—Hidden part removal
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
- G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
본 발명에 따른 스테레오 카메라를 이용한 차량 검지 장치는, 미리 정해진 제1촬상영역을 촬상하는 협각 카메라 장치; 미리 정해진 제2촬상영역을 촬상하는 광각 카메라 장치; 상기 협각 카메라 장치로부터 제공되는 협각 촬상정보 중 미리 정해둔 영역에 대해 차량 그릴에 대응되게 설정된 차량 그릴 에지 추출용 마스크로 신호처리하여 에지 추출값을 생성하고, 그 에지 추출값이 미리 정해둔 한계값 이상이면 차량 검지로 판단하고, 차량 검지로 판단되면, 그 차량 검지된 위치에 대응되는 광각 카메라 장치의 광각 촬상정보의 위치에 위치하는 차량에 대한 제1정보를 추출하고, 상기 협각 촬상정보로부터 그 차량 검지된 차량에 대한 제2정보를 추출하는 제어장치;를 구비하며, 상기 제1촬상영역은 상기 제2촬상영역에 포함됨을 특징으로 한다. A vehicle detecting apparatus using a stereo camera according to the present invention includes: a narrow-angle camera device for picking up a predetermined first imaging area; A wide-angle camera device for picking up a predetermined second imaging area; Wherein the edge extracting unit performs signal processing on a predetermined area of the narrow-angle imaging information provided from the narrow-angle camera unit using a mask for extracting a vehicle grille edge set corresponding to the vehicle grille to generate an edge extraction value, Angle detection information of the wide-angle camera device corresponding to the detected position of the vehicle, extracts first information on the vehicle located at the position of wide-angle sensing information corresponding to the detected position of the vehicle, And a control device for extracting second information on a vehicle-detected vehicle, wherein the first sensing area is included in the second sensing area.
Description
본 발명은 차량 검지 기술에 관한 것으로, 더욱 상세하게는 스테레오 카메라를 이용하여 차량을 검지하는 방법 및 장치에 관한 것이다. BACKGROUND OF THE
일반적으로 차량의 증가로 인하여 도로가 정체 또는 지체가 되는 경우 개인적인 시간낭비나 비용낭비 뿐만 아니라 전체 사회적으로도 시간 또는 비용이 낭비되어 이들 도로에 대한 교통정보를 제공하여 운전자로 하여금 해당 도로의 상태를 파악할 수 있도록 하고 있다. Generally, when a road becomes stagnant or delayed due to an increase in a vehicle, waste of time or money is wasted as well as waste of time and money in the entire society, thereby providing the driver with traffic information on the road, And so on.
또한, 해당 도로에서 차량 사고나 고장이 난 경우에는 근접 주행하는 차량에 위협이 될 수 있을 뿐만 아니라 사고발생 파악이 늦어 해당 도로가 정체 또는 지체될 수 있어 이를 파악하는 시스템이 개발되고 있다.In addition, when an accident or breakdown of a vehicle occurs on the road, a system is being developed that not only can be a threat to a vehicle running close to the vehicle, but also can identify the occurrence of the accident late and cause the road to be congested or delayed.
또한 도로를 주행하는 차량의 교통법규 위법여부를 무인으로 파악하기 위한 시스템도 개발되고 있다. In addition, a system for detecting unauthorized traffic law violation of a vehicle driving on the road is being developed.
예를들어 대한민국 특허청에 원거리 차량 추적 시스템 및 방법을 명칭으로 하여 특허출원된 10-2009-0028495호는, 제1 영역을 촬상하는 제1 카메라 유닛; 상기 제1 카메라 유닛의 제1 영역보다 원거리 영역인 제2 영역을 촬상하며, 상기 제2 영역은 상기 제1 영역과 교차 영역을 가지는 제2 카메라 유닛; 상기 제1 카메라 유닛 및 제2 카메라 유닛에 의하여 촬상된 영상에서 차량의 이미지를 추출하는 이미지 추출부; 상기 이미지 추출부에서 추출된 차량 이미지에 차량 ID를 부여하는 ID 부여부; 상기 차량 ID가 부여된 차량 이미지의 위치좌표를 실시간으로 연산하는 좌표 연산부; 및 상기 교차영역에서 상기 제1 카메라 유닛에서 촬상된 영상의 차량 이미지의 위치좌표와 근접한 위치 좌표를 가지는 제2 카메라 유닛에서 촬상된 영상의 차량 이미지와 동일한 ID를, 상기 제1 카메라 유닛에서 촬상된 영상의 차량 이미지에 부여하도록 상기 ID 부여부를 제어하는 제어부;를 포함하는 원거리 차량 추적 시스템을 개시한다. For example, Patent Application No. 10-2009-0028495, filed by the Korean Intellectual Property Office under the name of a remote vehicle tracking system and method, includes a first camera unit for picking up a first area; A second camera unit that captures a second area that is a remote area from the first area of the first camera unit, the second area having a crossing area with the first area; An image extracting unit for extracting an image of the vehicle from the image captured by the first camera unit and the second camera unit; An ID assignment unit for assigning a vehicle ID to the vehicle image extracted by the image extraction unit; A coordinate computing unit for computing in real time the position coordinates of the vehicle image to which the vehicle ID is assigned; And an ID that is the same as the vehicle image of the image captured by the second camera unit having the position coordinates close to the position coordinates of the vehicle image of the image captured by the first camera unit in the crossing area, And a control unit for controlling the ID giving unit to give the image of the image to the vehicle image.
상기한 기술은 적어도 두 대 이상의 카메라 세트를 사용하여 원거리까지도 도로의 상태를 판단할 수 있으며 개별차량의 상태도 실시간으로 판단할 수 있게 하기는 하나, 차량에 대한 상세 정보 획득에는 한계가 있었다. The above-described technique can determine the state of the road even at a long distance using at least two sets of cameras, and it is possible to judge the state of each individual vehicle in real time, but there is a limit to obtaining detailed information about the vehicle.
이에 종래에는 차량에 대한 상세 정보까지 획득할 수 있는 기술의 개발이 절실하게 요망되었다.
Conventionally, development of a technique capable of acquiring detailed information on a vehicle has been urgently required.
본 발명은 차량에 대한 3차원 영상정보를 생성하여 차량에 대한 전면 및 측면 프로필 정보를 획득하여 차량의 상세 정보를 획득할 수 있게 함은 물론이고, 차량 촬상영역에서 그림자 등과 같이 불필요한 부분을 제거할 수 있게 하여 고품위의 차량정보를 생성할 수 있는 스테레오 카메라를 이용한 차량 검지 방법 및 장치를 제공하는 것을 그 목적으로 한다. The present invention generates three-dimensional image information of a vehicle to acquire front and side profile information of the vehicle to acquire detailed information of the vehicle. In addition, unnecessary parts such as shadows are removed from the vehicle image sensing area And to provide a vehicle detection method and apparatus using a stereo camera capable of generating high-quality vehicle information.
또한 본 발명의 다른 목적은 촬상정보로부터 차량을 인식하는 프로세스를 단순화시켜 차량 인식을 빠르게 이행할 수 있게 하는 스테레오 카메라를 이용한 차량 검지 방법 및 장치를 제공하는 스테레오 카메라를 이용한 차량 검지 방법 및 장치를 제공하는 것이다.
Another object of the present invention is to provide a vehicle detection method and apparatus using a stereo camera that provides a vehicle detection method and apparatus using a stereo camera that can simplify the process of recognizing the vehicle from the sensing information and enable rapid vehicle recognition .
상기한 목적을 달성하기 위한 본 발명에 따른 스테레오 카메라를 이용한 차량 검지 장치는, 미리 정해진 제1촬상영역을 촬상하는 협각 카메라 장치; 미리 정해진 제2촬상영역을 촬상하는 광각 카메라 장치; 상기 협각 카메라 장치로부터 제공되는 협각 촬상정보 중 미리 정해둔 영역에 대해 차량 그릴에 대응되게 설정된 차량 그릴 에지 추출용 마스크로 신호처리하여 에지 추출값을 생성하고, 그 에지 추출값이 미리 정해둔 한계값 이상이면 차량 검지로 판단하고, 차량 검지로 판단되면, 그 차량 검지된 위치에 대응되는 광각 카메라 장치의 광각 촬상정보의 위치에 위치하는 차량에 대한 제1정보를 추출하고, 상기 협각 촬상정보로부터 그 차량 검지된 차량에 대한 제2정보를 추출하는 제어장치;를 구비하며, 상기 제1촬상영역은 상기 제2촬상영역에 포함됨을 특징으로 한다.
According to an aspect of the present invention, there is provided a vehicle detection apparatus using a stereo camera, including: a narrow-angle camera device for picking up a predetermined first sensing area; A wide-angle camera device for picking up a predetermined second imaging area; Wherein the edge extracting unit performs signal processing on a predetermined area of the narrow-angle imaging information provided from the narrow-angle camera unit using a mask for extracting a vehicle grille edge set corresponding to the vehicle grille to generate an edge extraction value, Angle detection information of the wide-angle camera device corresponding to the detected position of the vehicle, extracts first information on the vehicle located at the position of wide-angle sensing information corresponding to the detected position of the vehicle, And a control device for extracting second information on a vehicle-detected vehicle, wherein the first sensing area is included in the second sensing area.
상기한 본 발명은 차량에 대한 3차원 영상정보를 생성하여 차량에 대한 전면 및 측면 프로필 정보를 획득하여 차량의 상세 정보를 획득할 수 있게 함은 물론이고, 차량 촬상영역에서 그림자 등과 같이 불필요한 부분을 제거할 수 있게 하여 고품위의 차량정보를 생성할 수 있게 하는 효과가 있다. The present invention can generate three-dimensional image information of a vehicle to obtain front and side profile information of the vehicle to acquire detailed information of the vehicle. In addition, it is possible to obtain unnecessary parts such as shadows in the vehicle image sensing area And thus it is possible to generate high-quality vehicle information.
또한 본 발명은 촬상정보로부터 차량을 인식하는 프로세스를 단순화시켜 차량 인식을 빠르게 이행할 수 있게 하는 효과가 있다.
Further, the present invention has the effect of enabling the vehicle recognition to be quickly performed by simplifying the process of recognizing the vehicle from the sensing information.
도 1은 본 발명의 바람직한 제1실시예에 따른 차량 검지 장치의 구성도.
도 2는 도 1의 제1 내지 제3협각 카메라 장치 및 광각 카메라 장치의 설치예를 도시한 도면.
도 3 및 도 4는 본 발명의 바람직한 제1실시예에 따른 차량 검지 방법의 흐름도.
도 5는 차량 인식 절차를 예시한 도면.
도 6은 본 발명의 바람직한 제2실시예에 따른 차량 검지 장치의 구성도.
도 7은 도 6의 협각 카메라 장치 및 광각 카메라 장치의 설치예를 도시한 도면.
도 8은 본 발명의 바람직한 제2실시예에 따른 차량 검지 방법의 흐름도.
도 9는 본 발명의 바람직한 제2실시예에 따른 차량 촬상예를 도시한 도면. 1 is a configuration diagram of a vehicle detecting apparatus according to a first preferred embodiment of the present invention.
2 is a view showing an example of installation of the first to third narrow-angle camera devices and the wide-angle camera device of FIG. 1;
3 and 4 are flowcharts of a vehicle detecting method according to a first preferred embodiment of the present invention.
5 is a diagram illustrating a vehicle recognition procedure;
6 is a configuration diagram of a vehicle detecting apparatus according to a second preferred embodiment of the present invention.
Fig. 7 is a view showing an example of installation of the narrow-angle camera device and the wide-angle camera device of Fig. 6;
8 is a flowchart of a vehicle detecting method according to a second preferred embodiment of the present invention.
9 is a view showing an example of a vehicle image pickup according to a second preferred embodiment of the present invention.
본 발명은 차량에 대한 3차원 영상정보를 생성하여 차량에 대한 상세 정보, 차량에 대한 전면 및 측면 프로필 정보를 획득할 수 있게 함은 물론이고, 차량 촬상영역에서 그림자 등과 같이 불필요한 부분을 제거할 수 있게 하여 고품위의 차량정보를 생성할 수 있게 한다. The present invention can generate three-dimensional image information on the vehicle to obtain detailed information about the vehicle, front and side profile information for the vehicle, and can remove unnecessary parts such as shadows in the vehicle image sensing area So that high-quality vehicle information can be generated.
또한 본 발명은 촬상정보로부터 차량을 인식하는 프로세스를 단순화시켜 차량 인식을 빠르게 이행할 수 있게 한다.
Further, the present invention simplifies the process of recognizing the vehicle from the sensing information, thereby enabling the vehicle recognition to be quickly performed.
<제1실시예>≪
상기한 본 발명의 바람직한 제1실시예에 따른 차량 검지 장치의 구성을 도 1을 참조하여 설명한다. The configuration of the vehicle detection device according to the first preferred embodiment of the present invention described above will be described with reference to Fig.
상기 차량 검지 장치는 제어장치(100)와 제1협각 카메라 장치(102)와 제2협각 카메라 장치(104)와 제3협각 카메라 장치(106)와 광각 카메라 장치(108)와 메모리부(110)와 통신모듈(112)과 조명장치(114)로 구성된다. The vehicle detection apparatus includes a
상기 제어장치(100)는 본 발명의 바람직한 제1실시예에 따른 차량 검지를 위한 프로세스를 수행한다. The
상기 제1협각 카메라 장치(102)는 도 2에 도시한 바와 같이 도로상에 설치된 지주에 설치되며, 도로를 통해 근접해오는 차량의 전면을 촬상하기 위해 미리 정해둔 제1촬상영역(R1)을 촬상한다. 상기 제1협각 카메라 장치(102)는 고품위의 흑백 카메라가 채용될 수 있고, 상기 제1촬상영역(R1)은 제4촬상영역(R4)에 비해 협소한 영역이다. As shown in Fig. 2, the first narrow-
상기 제2협각 카메라 장치(104)는 도 2에 도시한 바와 같이 도로상에 설치된 지주에 설치되며, 도로를 통해 근접해오는 차량의 전면을 촬상하기 위해 미리 정해둔 제2촬상영역(R2)을 촬상한다. 상기 제2협각 카메라 장치(104)는 고품위의 흑백 카메라가 채용될 수 있고, 상기 제2촬상영역(R2)은 제4촬상영역(R4)에 비해 협소한 영역이다. As shown in FIG. 2, the second narrow-
상기 제3협각 카메라 장치(106)는 도 2에 도시한 바와 같이 도로상에 설치된 지주에 설치되며, 도로를 통해 근접해오는 차량의 전면을 촬상하기 위해 미리 정해둔 제3촬상영역(R3)을 촬상한다. 상기 제3협각 카메라 장치(106)는 고품위의 흑백 카메라가 채용될 수 있고, 상기 제3촬상영역(R3)은 제4촬상영역(R4)에 비해 협소한 영역이다. As shown in Fig. 2, the third narrow-
상기 광각 카메라 장치(108)는 도 2에 도시한 바와 같이 도로상에 설치된 지주에 설치되며, 도로를 통해 근접해오는 차량의 전면을 촬상하기 위해 미리 정해둔 제4촬상영역(R4)을 촬상한다. 상기 광각 카메라 장치(108)는 칼라 카메라가 채용될 수 있고, 상기 제4촬상영역(R4)은 상기 제1 내지 제3촬상영역(R1~R3)을 포함하는 비교적 넓은 영역이다. As shown in Fig. 2, the wide-
특히 상기 제4촬상영역(R4)에는 상기 제1 내지 제3촬상영역(R1~R3)이 포함되며, 상기 제1 내지 제3협각 카메라 장치(102~106)와 상기 광각 카메라 장치(108)는 동기되어 촬상한다. 이는 제1 내지 제3촬상영역(R1~R3) 중 어느 하나에 포함된 위치에 대응되는 위치를 제4촬상영역(R4)에서 손쉽게 검출할 수 있게 하므로, 제1 내지 제3협각 카메라 장치(102)에 의한 촬상정보에 포함된 대상(차량)을 광각 카메라 장치(108)에 의한 촬상정보에서 손쉽게 검출할 수 있게 한다. In particular, the first to third sensing areas R1 to R3 are included in the fourth sensing area R4, and the first to third narrow-
또한 상기 제1 내지 제3협각 카메라 장치(102~106)와 상기 광각 카메라 장치(108)는 가로등 제어신호 등의 외부신호에 의해 동기되어 촬상을 이행하거나, 교류 전원의 피크검출시기에 동기되어 촬상을 이행하거나, GPS 수신정보에 동기되어 촬상을 이행할 수 있다. The first to third narrow-
상기 메모리부(110)는 상기 제어장치(100)의 처리 프로그램을 포함하는 다양한 정보를 저장한다. The memory unit 110 stores various information including a processing program of the
상기 통신 모듈(112)은 상기 제어장치(100)와 원격지의 모니터링 시스템 사이의 통신을 담당한다. The communication module 112 is responsible for communication between the
상기 조명장치(114)는 상기 제어장치(100)의 제어에 따라 발광하여 촬상에 요구되는 광을 생성한다.
The illumination device 114 emits light under the control of the
상기한 본 발명의 바람직한 제1실시예에 따른 차량 검지 장치의 처리 과정을 도 3을 참조하여 설명한다. The process of the vehicle detecting apparatus according to the first preferred embodiment of the present invention will be described with reference to FIG.
상기 차량 검지 장치의 제어장치(100)는 제1 내지 제3협각 카메라 장치(102~106) 중 어느 하나가 제공한 협각 촬상정보로부터 차량을 검지하는 차량 검지 프로세스를 수행한다(200단계). The
상기 제1 내지 제3협각 카메라 장치(102~106) 중 어느 하나가 제공한 협각 촬상정보로부터 차량이 검지되면, 상기 제어장치(100)는 해당 협각 촬상정보를 토대로 차량번호를 인식하고 차종을 검출한다(204단계). When the vehicle is detected from the narrow-angle sensing information provided by any one of the first to third narrow-
이후 상기 제어장치(100)는 광각 촬상정보를 토대로 협각 촬상정보를 통해 검지된 차량번호의 차량의 움직임을 추적하고 주행속도를 검출한다(206단계). Thereafter, the
이후 상기 제어장치(100)는 상기 협각의 촬상정보에서 검지된 차량번호의 차량에 대한 제1영역과 상기 광각의 촬상정보에서 검지된 차량번호의 차량에 대한 제2영역을 추출하고, 상기 제1 및 제2영역의 크기가 일치되게 크기를 변경하고, 제1 및 제2영역의 촬상정보를 이용하여 3차원 스테레오 영상정보를 생성한다. 이와 같이 본 발명은 차량에 대한 촬상각도가 상이한 두 촬상정보를 이용하여 3차원 스테레오 영상정보를 생성한다. Then, the
상기한 바와 같이 3차원 스테레오 영상정보를 생성한 후에, 그림자 등을 제거하여, 고품위의 3차원 스테레오 영상정보를 생성한다(208단계). After generating the three-dimensional stereo image information as described above, shadow and the like are removed to generate high-quality three-dimensional stereo image information (step 208).
또한 상기 제어장치(100)는 상기 3차원 스테레오 영상정보로부터 차량의 전면 이미지 정보인 전면 프로파일 정보를 생성한다(210단계). Also, the
또한 상기 제어장치(100)는 협각 촬상정보에 대해 인핸스먼트 처리하여 고품위의 운전자 영상정보를 생성한다(212단계).Further, the
상기 제어장치(100)는 차량번호, 차종, 주행속도, 움직임 추적정보, 3차원 스테레오 영상정보, 전면 프로파일 정보, 운전자 영상정보를 결합하여 차량 모니터링 정보를 생성하고, 상기 차량 모니터링 정보를 외부의 모니터링 시스템으로 전송한다(214단계).
The
상기 차량 검지 과정을 도 4 및 도 5를 참조하여 좀더 설명한다. The vehicle detection process will be described in more detail with reference to FIGS. 4 and 5. FIG.
상기 차량 검지를 위해, 본 발명은 제1 내지 제3협각 카메라 장치(102~106)가 제공하는 협각 촬상 정보들 각각에 대해 ROI 영역을 설정한다.
도 5의 (a) 및 (c)는 상기 설정된 ROI 영역을 설명하기 위하여, 서로 다른 협각 촬상 영상들에서 상기 ROI 영역을 사각형의 형태로 예시적으로 표시하고 있다. 즉, 도 5의 (a) 및 (c)에 있어서, 직사각형으로 표시된 영역이 ROI 영역에 해당한다. For the vehicle detection, the present invention sets an ROI area for each of the narrow-angle imaging information provided by the first through third narrow-angle camera devices 102 - 106.
5A and 5C illustrate the ROI region in a rectangular shape in different narrow-angle imaging images in order to describe the set ROI region. That is, in (a) and (c) of FIG. 5, the area indicated by the rectangle corresponds to the ROI area.
한편, 본 발명은 차량의 전면에 위치한 차량 그릴 영역의 에지(Edge)를 추출하기 위한 차량 그릴 에지 추출용 마스크를 설정한다. 상기 차량 그릴 에지 추출용 마스크는, 임의의 영상에 대하여 이를 이용하여 영상 처리하는 경우, 해당 영상에 차량 그릴 영역이 존재할 때 에지 추출값이 최대값이 나오도록 설정되는 것이 바람직하다. 상기 차량 그릴 에지 추출용 마스크는 실험을 토대로 구해질 수 있으며, 이를 예시한 것이 도 5의 (b)이다.
본 발명에 따른 상기 차량 검지 장치의 제어장치(100)는 제1 내지 제3협각 카메라 장치(102~106) 중 어느 하나가 제공한 협각 촬상 정보에서의 상기 ROI 영역에 대하여, 상기 차량 그릴 에지 추출용 마스크를 이용하여 영상 처리하여, 상기 ROI 영역에 대한 에지 추출값을 획득한다(도 4의 단계 300).
전술한 도 4의 단계 300에 있어서, 협각 촬상 영상의 상기 ROI 영역에 대해 차량 그릴 에지 추출용 마스크를 이용하여 영상 처리하면, 만약 도 5의 (c)에 도시된 바와 같이 ROI 영역에 차량 그릴이 존재하는 경우에, 도 5의 (d)에 도시한 바와 같이 에지 추출값에 대한 그래프를 얻을 수 있게 된다.
On the other hand, the present invention sets a mask for extracting a vehicle grill edge for extracting an edge of a vehicle grill area located on the front surface of the vehicle. The vehicle grille edge extraction mask is preferably set such that when the image is processed using an arbitrary image, the edge extraction value is maximized when the vehicle grille area exists in the image. The mask for extracting the vehicle grill edge can be obtained on the basis of an experiment, and FIG. 5 (b) is an example of the mask.
The
In the above-described step 300 of FIG. 4, when the ROI area of the narrow-angle pickup image is subjected to image processing using the mask for extracting the vehicle grille edge, if the vehicle grille is added to the ROI area as shown in FIG. 5 (c) If it is present, it is possible to obtain a graph of the edge extraction value as shown in Fig. 5 (d).
삭제delete
다음, 상기 제어장치(100)는 ROI 영역에 대한 에지 추출값이 미리 정해둔 한계값 이상인지 여부를 판단하고(도 4의 단계 302), 미리 정해둔 한계값 이상이면 해당 협각 촬상 정보의 ROI 영역에 차량 그릴이 위치한 것이므로 해당 협각 촬상 정보에 차량 검지된 것으로 판단한다(도 4의 단계 304).
Next, the
<제2실시예>≪ Embodiment 2 >
상기한 본 발명의 바람직한 제2실시예에 따른 차량 검지 장치의 구성을 도 6을 참조하여 설명한다. The configuration of the vehicle detecting apparatus according to the second preferred embodiment of the present invention will be described with reference to Fig.
상기 차량 검지 장치는 제어장치(500)와 협각 카메라 장치(502)와 광각 카메라 장치(504)와 메모리부(506)와 통신모듈(508)과 조명장치(510)로 구성된다. The vehicle detection apparatus includes a control device 500, a coarse
상기 제어장치(500)는 본 발명의 바람직한 제2실시예에 따른 차량 검지를 위한 프로세스를 수행한다. The control device 500 performs a process for detecting a vehicle according to a second preferred embodiment of the present invention.
상기 협각 카메라 장치(502)는 도 7에 도시한 바와 같이 도로의 측면에 설치된 지주에 설치되며, 도로를 통해 근접해오는 차량의 전면을 촬상하기 위해 미리 정해둔 제5촬상영역(R5)을 촬상한다. 상기 협각 카메라 장치(502)는 고품위의 흑백 카메라가 채용될 수 있고, 상기 제5촬상영역(R5)은 제6촬상영역(R6)에 비해 협소한 영역이다. As shown in Fig. 7, the narrow-
상기 광각 카메라 장치(504)는 도 7에 도시한 바와 같이 도로상에 설치된 지주에 설치되며, 도로를 통해 근접해오는 차량의 전면을 촬상하기 위해 미리 정해둔 제6촬상영역(R6)을 촬상한다. 상기 광각 카메라 장치(504)는 칼라 카메라가 채용될 수 있고, 상기 제6촬상영역(R6)은 상기 제5촬상영역(R5)을 포함하는 비교적 넓은 영역이다. As shown in Fig. 7, the wide-
특히 상기 제6촬상영역(R6)에는 상기 제5촬상영역(R5)이 포함되며, 상기 협각 카메라 장치(502)와 상기 광각 카메라 장치(504)는 동기되어 촬상한다. 이는 제5촬상영역(R5)에 포함된 위치에 대응되는 위치를 제6촬상영역(R6)에서 손쉽게 검출할 수 있게 하므로, 협각 카메라 장치(502)에 의한 촬상정보에 포함된 대상(차량)을 광각 카메라 장치(504)에 의한 촬상정보에서 손쉽게 검출할 수 있게 한다. In particular, the sixth imaging region R6 includes the fifth imaging region R5, and the narrow-
또한 상기 협각 카메라 장치(502)와 상기 광각 카메라 장치(504)는 가로등 제어신호 등의 외부신호에 의해 동기되어 촬상을 이행하거나, 교류 전원의 피크검출시기에 동기되어 촬상을 이행하거나, GPS 수신정보에 동기되어 촬상을 이행할 수 있다. Further, the coarse
상기 메모리부(506)는 상기 제어장치(500)의 처리 프로그램을 포함하는 다양한 정보를 저장한다. The memory unit 506 stores various information including a processing program of the control device 500. [
상기 통신 모듈(508)은 상기 제어장치(500)와 원격지의 모니터링 시스템 사이의 통신을 담당한다. The
상기 조명장치(510)는 상기 제어장치(500)의 제어에 따라 발광하여 촬상에 요구되는 광을 생성한다.
The
상기한 본 발명의 바람직한 제2실시예에 따른 차량 검지 장치의 처리 과정을 도 8을 참조하여 설명한다. A processing procedure of the vehicle detecting apparatus according to the second preferred embodiment of the present invention will be described with reference to FIG.
상기 차량 검지 장치의 제어장치(500)는 협각 카메라 장치(502)가 제공한 협각 촬상정보로부터 차량을 검지하는 차량 검지 프로세스를 수행한다(600단계). The control device 500 of the vehicle detection device performs a vehicle detection process of detecting the vehicle from the narrow-angle imaging information provided by the narrow-angle camera device 502 (step 600).
상기 협각 카메라 장치(502) 중 어느 하나가 제공한 협각 촬상정보로부터 차량이 검지되면(602단계), 상기 제어장치(500)는 해당 협각 촬상정보를 토대로 차량번호를 인식하고 차종을 검출한다(604단계). When the vehicle is detected from the narrow-angle sensing information provided by any one of the narrow-angle camera devices 502 (step 602), the control device 500 recognizes the vehicle number based on the narrow-angle sensing information and detects the vehicle type step).
이후 상기 제어장치(500)는 광각 촬상정보를 토대로 협각 촬상정보를 통해 검지된 차량번호의 차량의 움직임을 추적하고 주행속도를 검출한다(606단계). Then, the control device 500 tracks the movement of the vehicle of the detected vehicle number through the narrow-angle sensing information based on the wide-angle sensing information and detects the traveling speed (step 606).
이후 상기 제어장치(500)는 상기 협각 촬상정보에서 검지된 차량번호의 차량에 대한 제1영역과 상기 광각 촬상정보에서 검지된 차량번호의 차량에 대한 제2영역을 추출하고, 상기 제1 및 제2영역의 크기가 일치되게 크기를 변경하고, 제1 및 제2영역의 촬상정보를 이용하여 3차원 스테레오 영상정보를 생성한다. 이와 같이 본 발명은 차량에 대한 촬상각도가 상이한 두 촬상정보를 이용하여 3차원 스테레오 영상정보를 생성한다. Then, the control device 500 extracts a first area for the vehicle of the vehicle number detected in the narrow-angle sensing information and a second area for the vehicle of the vehicle number detected in the wide-angle sensing information, Dimensional stereo image information is generated using the sensing information of the first and second areas. As described above, the present invention generates three-dimensional stereo image information using two pieces of imaging information with different imaging angles with respect to the vehicle.
상기한 바와 같이 3차원 스테레오 영상정보를 생성한 후에, 그림자 등을 제거하여, 고품위의 3차원 스테레오 영상정보를 생성한다(608단계). After generating the three-dimensional stereo image information as described above, shadow and the like are removed to generate high-quality three-dimensional stereo image information (operation 608).
또한 상기 제어장치(500)는 상기 3차원 스테레오 영상정보로부터 전면 이미지 정보인 전면 프로파일 정보 및 측면 이미지 정보인 측면 프로파일 정보를 생성한다(610단계). 즉 도 9에 도시한 바와 같이 도로의 측면에 설치된 촬상장치에 생성된 촬상정보에는 차량의 측면이 일부 포함되므로, 본 발명은 상기 차량의 측면 이미지 정보를 추출하고, 그 추출된 측면 이미지 정보를 촬상각도에 따라 각도를 변경함과 아울러 촬상장치와 가까워질수록 확대되고 촬상장치와 멀어질수록 축소되는 원근 효과를 제거함으로서, 해당 차량에 대한 측면 프로파일 정보를 득할 수 있게 된다. In addition, the control device 500 generates front profile information, which is front image information, and side profile information, which is side image information, from the 3D stereo image information (operation 610). That is, as shown in Fig. 9, since the image pickup information generated in the image pickup apparatus provided on the side of the road includes a part of the side surface of the vehicle, the present invention extracts the side image information of the vehicle, It is possible to obtain the side profile information of the vehicle by changing the angle according to the angle and eliminating the perspective effect which is enlarged as the distance from the image pickup apparatus becomes closer and decreases as the distance from the image pickup apparatus increases.
또한 상기 제어장치(500)는 협각 촬상정보에 대해 인핸스먼트(inhancement) 처리하여 고품위의 운전자 영상정보를 생성한다(612단계).Further, the controller 500 performs inhance processing on the narrow-angle imaging information to generate high-quality driver image information (operation 612).
상기 제어장치(500)는 차량번호, 차종, 주행속도, 움직임 추적정보, 3차원 스테레오 영상정보, 차량의 전면 프로파일 정보 및 측면 프로파일 정보, 운전자 영상정보를 결합하여 차량 모니터링 정보를 생성하고, 상기 차량 모니터링 정보를 외부의 모니터링 시스템으로 전송한다(614단계). The control device 500 generates vehicle monitoring information by combining the vehicle number, vehicle type, driving speed, motion tracking information, 3D stereo image information, front profile information of the vehicle, side profile information, and driver image information, The monitoring information is transmitted to an external monitoring system (step 614).
100 : 제어장치
102 : 제1협각 카메라 장치
104 : 제2협각 카메라 장치
106 : 제3협각 카메라 장치
108 : 광각 카메라 장치
110 : 메모리부
112 : 통신모듈
114 : 조명장치100: Control device
102: First coarse camera device
104: second narrow-angle camera device
106: Third narrow-angle camera device
108: Wide angle camera device
110: memory unit
112: communication module
114: Lighting device
Claims (11)
미리 정해진 제1촬상영역을 촬상하여 협각 촬상정보를 출력하는 협각 카메라 장치;
미리 정해진 제2촬상영역을 촬상하여 광각 촬상정보를 출력하는 광각 카메라 장치;
상기 협각 카메라 장치로부터 제공되는 협각 촬상정보 중 미리 정해둔 관심영역에서 차량을 검지하고,
차량이 검지되면, 그 차량 검지된 위치에 대응되는 상기 광각 카메라 장치에 의한 광각 촬상정보 중 검지된 차량이 위치하는 제1영역에 대한 이미지 정보와, 상기 협각 카메라 장치에 의한 협각 촬상정보 중 상기 검지된 차량이 위치하는 제2영역에 대한 이미지 정보의 크기가 동일하게 되도록 이미지 처리하고,
크기가 동일한 제1영역에 대한 이미지 정보와 제2영역에 대한 이미지 정보를 결합하여 3차원 스테레오 영상정보를 생성하고,
상기 3차원 스테레오 영상정보로부터 상기 검지된 차량의 전면 프로파일 정보 및 측면 프로파일 정보를 생성하는 제어장치;를 구비하며,
상기 제1촬상영역은 상기 제2촬상영역에 포함되며,
상기 차량의 전면 프로파일 정보는 차량의 전면 이미지 정보이고, 상기 측면 프로파일 정보는 차량의 측면 이미지 정보이며,
상기 협각 카메라 장치와 상기 광각 카메라 장치는 차량에 대해 상이한 촬상각도로 촬상함을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 장치. A vehicle detecting apparatus using a stereo camera,
A narrow-angle camera device for picking up a predetermined first imaging area and outputting narrow-angle imaging information;
A wide-angle camera device for picking up a predetermined second imaging area and outputting wide-angle imaging information;
Detecting a vehicle in a predetermined area of interest which is predetermined among the narrow-angle imaging information provided from the narrow-angle camera device,
When the vehicle is detected, image information for a first area in which the detected vehicle is located in the wide-angle imaging information by the wide-angle camera device corresponding to the detected position of the vehicle, Image processing is performed such that the size of the image information for the second area in which the vehicle is located is the same,
Dimensional stereo image information by combining the image information of the first area having the same size and the image information of the second area,
And a control device for generating front profile information and side profile information of the detected vehicle from the 3D stereo image information,
Wherein the first imaging area is included in the second imaging area,
Wherein the front profile information of the vehicle is front image information of the vehicle, the side profile information is lateral image information of the vehicle,
Wherein the narrow-angle camera device and the wide-angle camera device are picked up at different imaging angles with respect to the vehicle.
상기 제어장치는 상기 측면 프로파일 정보의 생성시에 상기 차량의 측면 이미지 정보의 원근 효과를 제거함을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 장치. The method according to claim 1,
Wherein the control device removes the perspective effect of the side image information of the vehicle at the time of generating the side profile information.
상기 제어장치는,
상기 협각 촬상정보에 대해 인핸스먼트 처리하고,
인핸스먼트 처리한 촬상정보로부터 운전자 영역을 검출하여 운전자 영상정보를 검출함을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 장치. The method according to claim 1,
The control device includes:
The enhancement processing is performed on the narrow-
And detects driver image information based on the enhancement-processed imaging information to detect driver image information.
상기 제어장치는,
상기 3차원 스테레오 영상정보에서 그림자를 제거함을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 장치. 3. The method of claim 2,
The control device includes:
And a shadow is removed from the 3D stereo image information.
상기 제어장치는,
상기 3차원 스테레오 영상정보와 상기 전면 프로파일 정보와 상기 측면 프로파일 정보와 상기 운전자 영상정보 중 하나 이상을 포함하는 차량 모니터링 정보를 생성하고,
그 차량 모니터링 정보를 외부로 전송함을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 장치. The method of claim 3,
The control device includes:
Generating vehicle monitoring information including at least one of the three-dimensional stereo image information, the front profile information, the side profile information, and the driver image information,
And the vehicle monitoring information is transmitted to the outside.
상기 협각 카메라 장치는 다수 구비되며,
다수의 협각 카메라 장치는 미리 정해진 제1촬상영역들을 각각 촬상하며,
상기 제1촬상영역들은 모두 상기 제2촬상영역에 포함됨을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 장치. The method according to claim 1,
A plurality of narrow-angle camera devices are provided,
A plurality of narrow-angle camera devices each pick up predetermined first imaging regions,
Wherein the first sensing areas are all included in the second sensing area.
상기 제어장치가, 미리 정해진 제1촬상영역을 촬상하는 협각 카메라 장치로부터 제공되는 협각 촬상정보 중 미리 정해둔 영역에서 차량을 검지하는 단계;
상기 제어장치가, 상기 차량이 검지되면, 상기 제1촬상영역을 포함하는 제2촬상영역을 촬상하는 광각 카메라 장치로부터 제공되는 광각 촬상정보 중 검지된 차량이 위치하는 제1영역에 대한 이미지 정보와, 상기 협각 촬상정보 중 상기 검지된 차량이 위치하는 제2영역에 대한 이미지 정보를 추출하고, 두 이미지 정보의 크기가 동일하게 되도록 이미지 처리하고,
크기가 동일한 제1영역에 대한 이미지 정보와 제2영역에 대한 이미지 정보를 결합하여 3차원 스테레오 영상정보를 생성하는 단계;
상기 제어장치가, 상기 3차원 스테레오 영상정보로부터 상기 검지된 차량의 전면 프로파일 정보 및 측면 프로파일 정보를 생성하는 단계;를 포함하며,
상기 제1촬상영역은 상기 제2촬상영역에 포함되며,
상기 차량의 전면 프로파일 정보는 차량의 전면 이미지 정보이고, 상기 측면 프로파일 정보는 차량의 측면 이미지 정보이며,
상기 협각 카메라 장치와 상기 광각 카메라 장치는 차량에 대해 상이한 촬상각도로 촬상함을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 방법. A vehicle detecting method using a stereo camera, which is performed by a vehicle detecting device including a narrow-angle camera device, a wide-angle camera device, and a control device,
Detecting the vehicle in a predetermined area of the narrow-angle imaging information provided from the narrow-angle camera device for imaging the predetermined first imaging area;
When the vehicle is detected, the control device includes image information for the first area in which the detected vehicle is located in the wide angle sensing information provided from the wide angle camera device for sensing the second sensing area including the first sensing area Extracting image information of the second area in which the detected vehicle is located from among the narrow-angle imaging information, performing image processing so that two image information are the same size,
Generating three-dimensional stereo image information by combining image information of a first area having the same size and image information of a second area;
And the control device generating front profile information and side profile information of the detected vehicle from the three-dimensional stereo image information,
Wherein the first imaging area is included in the second imaging area,
Wherein the front profile information of the vehicle is front image information of the vehicle, the side profile information is lateral image information of the vehicle,
Wherein the narrow-angle camera device and the wide-angle camera device are imaged at different imaging angles with respect to the vehicle.
상기 제어장치가,
상기 차량의 측면 프로파일 정보의 생성시에, 상기 차량의 측면 이미지 정보의 원근 효과를 제거함을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 방법. 8. The method of claim 7,
The control device comprising:
Wherein the perspective effect of the side image information of the vehicle is removed at the time of generating the side profile information of the vehicle.
상기 제어장치가,
상기 협각 촬상정보에 대해 인핸스먼트 처리하고,
인핸스먼트 처리한 촬상정보로부터 운전자 영역을 검출하여 운전자 영상정보를 검출하는 단계;를 더 구비함을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 방법. 8. The method of claim 7,
The control device comprising:
The enhancement processing is performed on the narrow-
And detecting driver image information from the enhanced image sensing information to detect driver image information.
상기 제어장치가,
상기 3차원 스테레오 영상정보에서 그림자를 제거하는 단계;를 더 구비함을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 방법. 9. The method of claim 8,
The control device comprising:
And removing shadow from the three-dimensional stereo image information.
상기 제어장치가,
상기 3차원 스테레오 영상정보와 상기 전면 프로파일 정보와 상기 측면 프로파일 정보와 상기 운전자 영상정보 중 하나 이상을 포함하는 차량 모니터링 정보를 생성하고,
그 차량 모니터링 정보를 외부로 전송하는 단계를 더 구비함을 특징으로 하는 스테레오 카메라를 이용한 차량 검지 방법.
10. The method of claim 9,
The control device comprising:
Generating vehicle monitoring information including at least one of the three-dimensional stereo image information, the front profile information, the side profile information, and the driver image information,
And transmitting the vehicle monitoring information to the outside of the vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120067248A KR101420242B1 (en) | 2012-06-22 | 2012-06-22 | vehicle detector and method using stereo camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120067248A KR101420242B1 (en) | 2012-06-22 | 2012-06-22 | vehicle detector and method using stereo camera |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140000402A KR20140000402A (en) | 2014-01-03 |
KR101420242B1 true KR101420242B1 (en) | 2014-07-17 |
Family
ID=50138281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120067248A KR101420242B1 (en) | 2012-06-22 | 2012-06-22 | vehicle detector and method using stereo camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101420242B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101852319B1 (en) * | 2018-01-04 | 2018-06-04 | 주식회사 싸이토피아 | Crime prevention camera system having vehicle information notification function |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105389556B (en) * | 2015-11-10 | 2018-07-17 | 中南大学 | A kind of high-resolution remote sensing image vehicle checking method for taking shadow region into account |
US10691968B2 (en) | 2018-02-08 | 2020-06-23 | Genetec Inc. | Systems and methods for locating a retroreflective object in a digital image |
US11188776B2 (en) | 2019-10-26 | 2021-11-30 | Genetec Inc. | Automated license plate recognition system and related method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090030666A (en) * | 2007-09-20 | 2009-03-25 | 조성윤 | High-speed weight in motion |
-
2012
- 2012-06-22 KR KR1020120067248A patent/KR101420242B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090030666A (en) * | 2007-09-20 | 2009-03-25 | 조성윤 | High-speed weight in motion |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101852319B1 (en) * | 2018-01-04 | 2018-06-04 | 주식회사 싸이토피아 | Crime prevention camera system having vehicle information notification function |
Also Published As
Publication number | Publication date |
---|---|
KR20140000402A (en) | 2014-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101647370B1 (en) | road traffic information management system for g using camera and radar | |
JP4654163B2 (en) | Vehicle surrounding environment recognition device and system | |
CN104108392B (en) | Lane Estimation Apparatus And Method | |
WO2017014023A1 (en) | Onboard environment recognition device | |
WO2017158958A1 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method, and program | |
WO2016199244A1 (en) | Object recognition device and object recognition system | |
KR101496390B1 (en) | System for Vehicle Number Detection | |
KR100703956B1 (en) | Vehicle identification system and method of processing the same | |
JP2006268097A (en) | On-vehicle object detecting device, and object detecting method | |
JP2014197378A (en) | Object detection device, moving vehicle device control system, and object detection program | |
CN102567713A (en) | Image processing apparatus | |
JP2007156626A (en) | Object type determination device and object type determination method | |
RU2014139837A (en) | THREE-DIMENSION OBJECT DETECTION DEVICE | |
KR101326943B1 (en) | Overtaking vehicle warning system and overtaking vehicle warning method | |
WO2017134982A1 (en) | Imaging device | |
CN103366155B (en) | Temporal coherence in unobstructed pathways detection | |
US10277888B2 (en) | Depth triggered event feature | |
US20220366700A1 (en) | Object recognition device | |
EP3163506A1 (en) | Method for stereo map generation with novel optical resolutions | |
KR101420242B1 (en) | vehicle detector and method using stereo camera | |
JP2009104226A (en) | Obstruction determination apparatus and method, and vehicle equipped with obstruction determination apparatus | |
JP2006339960A (en) | Device and method for object detection | |
US9524645B2 (en) | Filtering device and environment recognition system | |
JP2010045501A (en) | Image monitoring device | |
JP2005156199A (en) | Vehicle detection method and vehicle detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170621 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180626 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190627 Year of fee payment: 6 |