KR101173853B1 - Apparatus and method for Multi-Object Recognition - Google Patents

Apparatus and method for Multi-Object Recognition Download PDF

Info

Publication number
KR101173853B1
KR101173853B1 KR1020120040436A KR20120040436A KR101173853B1 KR 101173853 B1 KR101173853 B1 KR 101173853B1 KR 1020120040436 A KR1020120040436 A KR 1020120040436A KR 20120040436 A KR20120040436 A KR 20120040436A KR 101173853 B1 KR101173853 B1 KR 101173853B1
Authority
KR
South Korea
Prior art keywords
image
unit
frame
information
detected
Prior art date
Application number
KR1020120040436A
Other languages
Korean (ko)
Inventor
김재용
Original Assignee
(주)한국알파시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)한국알파시스템 filed Critical (주)한국알파시스템
Priority to KR1020120040436A priority Critical patent/KR101173853B1/en
Application granted granted Critical
Publication of KR101173853B1 publication Critical patent/KR101173853B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: A multi object recognizing device and a method thereof are provided to recognize a pedestrian and a person who moves by a car and store a recognized object according to an ID of an object or the type of recognition information, thereby shortening time for recognizing an object and efficiently managing a huge amount of data. CONSTITUTION: An object movement detecting unit(310) detects motion of an object in a still image of a current frame. An object initialization recognizing unit(320) compares an object whose motion is detected with an objected which is detected in a still image of a previous frame. An object area partition unit(330) partitions the object whose motion is detected into target objects in a still image of the current frame. An object distinguishing unit(350) distinguishes the target object as a pedestrian or a vehicle object. A target object image transmitting unit(360) transmits an image of the target object to an object information recognizing unit.

Description

다중 객체 인식장치 및 방법{Apparatus and method for Multi-Object Recognition}Apparatus and method for Multi-Object Recognition}

본 발명은 다중 객체 인식장치 및 방법에 관한 것으로, 보다 상세하게는 일반 보행자와 자동차가 동시에 통행하는 곳에서 실시간으로 다중 객체의 움직임을 감지하여, 각 객체의 움직임을 추적하며, 감지된 객체를 보행자와 차량으로 구분하여 객체 정보를 파악하고 파악된 객체 정보와 함께 대표이미지를 관리하는 장치 및 방법이다. The present invention relates to a multi-object recognition apparatus and method, and more particularly, to detect the movement of multiple objects in real time in a place where a general pedestrian and a car pass simultaneously, to track the movement of each object, and to detect the detected objects as pedestrians. It is a device and method for identifying object information by classifying into a vehicle and a vehicle and managing a representative image together with the identified object information.

현재 차량 번호 인식 시스템과 도로용 방범 DVR(Digital Video Recording) 시스템은 범죄 예방과 범인 검거에 많이 활용되어지고 있다. 방범용 차량번호 인식시스템의 경우 자동차 전용도로에 주로 설치되는데, 일반보행자와 자동차가 동시 통행하는 곳에서 차량 정보를 얻기에는 적합하지 않은 경우가 많았다. 도로용 방범 DVR시스템은 객체의 움직임을 검지하는 기능, 단일 객체를 추적하는 기능을 갖추고 있으나 동시에 여러 객체를 추적하고, 객체의 특성을 구분하여 처리하는 기능은 구현되어 있지 않다. 또 차량 번호 인식 시스템과 도로용 방범 DVR 시스템이 별도로 구성되어 있어 설치비용이나 관리에 상대적으로 취약하다.Currently, vehicle number recognition system and road security DVR (Digital Video Recording) system are widely used for crime prevention and criminal arrest. In the case of a security vehicle number recognition system for security purposes, it is mainly installed on a road dedicated to automobiles, which is often not suitable for obtaining vehicle information in a place where a general pedestrian and a vehicle pass simultaneously. Road security DVR system has the function of detecting the movement of the object and tracking the single object, but the function of tracking several objects at the same time and classifying the characteristics of the object is not implemented. In addition, vehicle number recognition system and road security DVR system are configured separately, which is relatively vulnerable to installation cost and management.

또한, 기존 객체인식 시스템에서는 객체인식을 하고자 하는 구간의 모든 영상을 연속적으로 입력받기 때문에 DVR의 저장에도 시간이 많이 소요되었고, 또한 저장용량의 한계 때문에 압축하여 저장하거나, 저장 공간을 많이 확보하여야만 하였다. 또한 영상이미지가 해상도가 낮기 때문에 객체인식을 위해 많은 영상처리를 해야만 하는 문제점이 있었다.In addition, in the existing object recognition system, it takes a lot of time to store the DVR because all the images of the section to be recognized are continuously input. Also, due to the limitation of the storage capacity, it has to be compressed or stored or secure a lot of storage space. . In addition, since the image image has a low resolution, there is a problem in that a lot of image processing has to be performed for object recognition.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 이동 속도가 다양한 객체의 이미지를 실시간으로 처리하기 위한 방법을 제공한다. The present invention has been made to solve the above problems, and provides a method for processing images of objects having various moving speeds in real time.

본 발명의 또 다른 목적은 각 객체에 고유인식자(ID)를 부여하여, 고유인식자(ID)를 갖는 객체를 추적하며, 객체의 대표이미지를 선정할 수 있도록 객체영역을 분할하여 객체정보를 파악하는 방법을 제공하는 것이다. Another object of the present invention is to give each object a unique identifier (ID), to track the object having a unique identifier (ID), and to divide the object area to select the representative image of the object object information Is to provide a way to figure it out.

본 발명의 또 다른 목적은 각 객체의 영상처리를 함에 있어서, 이미 대표이미지를 선정하여 객체정보와 함께 관리되고 있는 객체인 경우에는 이를 다시 인식하고 처리하지 않도록 함으로서 객체인식을 위한 처리시간을 단축하는 방법을 제공하는 것이다.Still another object of the present invention is to reduce the processing time for object recognition by not recognizing and processing the object if the object is already managed by selecting the representative image in the image processing of each object. To provide a way.

아울러, 본 발명의 목적은 차량과 보행자에 따라 객체를 인식하는 방법을 달리함으로서 객체인식을 위한 처리 시간 단축과 방대한 데이터 정보의 효율적인 관리방법을 제공하는 것이다. In addition, an object of the present invention is to provide a method for shortening the processing time for object recognition and efficient management of vast data information by varying the method for recognizing objects according to vehicles and pedestrians.

본 발명에 따른 다중 객체 인식 장치는 영상검출장치(100)에 의해 검출된 연속 영상을 프레임 단위의 정지 영상으로 변환하는 영상입력부(200)와, 상기 정지 영상을 전송받아 객체를 구분하는 영상처리부(300)와, 상기 구분된 객체의 정보를 추출하는 객체 정보인식부(400)와, 상기 추출된 객체정보를 데이터로 관리하는 데이터처리부(500)를 포함하여 이루어진 다중 객체 인식장치에 있어서, 상기 영상처리부(300)는 N번째 프레임의 정지 영상에서 객체의 움직임을 검출하는 객체 이동 검출수단(310)과 상기 움직임이 검출된 객체가 N-1번째 프레임의 정지 영상에서도 검출된 객체인지를 판단하는 객체초기화 인지수단(320)과 상기 움직임이 검출된 객체를 N번째 프레임의 정지 영상에서 목표 객체로 분할하는 객체영역 분할수단(330)과 상기 목표 객체가 보행자 객체인지, 차량 객체인지를 판별하는 객체 판별수단(350)과 상기 객체 판별수단(350)에 의해 판별된 목표 객체의 영상을 상기 객체 정보인식부(400)로 전송하는 목표객체 영상 전송수단(360)을 포함하여 구성된다.The apparatus for recognizing a multi-object according to the present invention includes an image input unit 200 for converting a continuous image detected by the image detecting apparatus 100 into a still image on a frame basis, and an image processing unit for distinguishing an object by receiving the still image ( 300, an object information recognizing unit 400 for extracting the information of the separated object, and a data processing unit 500 for managing the extracted object information as data, the multi-object recognition apparatus comprising: The processing unit 300 detects the movement of the object in the still image of the N-th frame, the object detecting means 310 and the object determining whether the motion-detected object is the detected object in the still image of the N-th frame. Initialization recognizing means 320 and the object region dividing means 330 for dividing the object from which the movement is detected into the target object in the still image of the N-th frame and the target object are pedestrians. Object determining means 350 for determining whether the object is a vehicle object or an object object transmitting means 360 for transmitting an image of the target object determined by the object determining means 350 to the object information recognizing unit 400. It is configured to include.

또한, 영상처리부(300)는 상기 객체초기화 인지수단(320)에 의해 객체가 N-1번째 프레임에서 검출된 객체가 아닌 경우에는 객체를 추적하는 객체추적수단(370)과, 상기 분할된 목표 객체의 대표이미지가 선정되었는지 여부를 상기 데이터처리부(500)에 확인하는 대표이미지 확인수단(340)과 상기 대표이미지 확인수단(330)에 의해 데이터처리부(500)에서 목표 객체의 대표이미지가 선정되었음이 확인되면 목표 객체에 대한 영상처리를 종료하는 목표객체 영상처리 종료수단(380)을 더 포함한다. In addition, the image processing unit 300 is an object tracking means 370 for tracking the object when the object is not detected in the N-th frame by the object initialization recognition unit 320 and the divided target object The representative image of the target object has been selected by the data processing unit 500 by the representative image checking means 340 and the representative image checking means 330 to check whether the representative image of the selected image is selected. The target object image processing terminating means 380 for terminating the image processing for the target object is further included.

또한, 상기 객체 정보인식부(400)는 상기 객체 판별수단(350)에 의해 판별된 객체가 보행자인 경우에 보행자 정보를 인식하는 보행자 정보인식부(410)와 상기 객체 판별수단(350)에 의해 판별된 객체가 차량인 경우에 차량 정보를 인식하는 차량 정보인식부(420)를 포함하여 구성되며, 상기 보행자 정보인식부(410)는 상기 목표 객체의 상반부 영역을 분할하여, 얼굴윤곽을 파악하는 얼굴윤곽 파악부와 상기 파악된 얼굴윤곽을 대표이미지로 선정하여 상기 데이터처리부(500)로 전송하는 대표이미지 전송수단(440)을 포함하며, 상기 차량 정보인식부(420)는 상기 목표 객체의 번호판 영역을 분할하여, 번호판 정보를 인식하는 번호판 정보파악부(450)과In addition, the object information recognition unit 400 by the pedestrian information recognition unit 410 and the object determination unit 350 to recognize the pedestrian information when the object determined by the object determination unit 350 is a pedestrian. And a vehicle information recognizing unit 420 for recognizing vehicle information when the determined object is a vehicle. The pedestrian information recognizing unit 410 divides an upper half region of the target object to identify a facial contour. And a representative image transmitting unit 440 which selects a facial contour identifying unit and the identified facial contour as a representative image and transmits the representative facial contour to the data processor 500. The vehicle information recognition unit 420 includes a license plate of the target object. The license plate information detection unit 450 for dividing the area to recognize license plate information.

상기 파악된 번호판 정보를 포함하는 번호판 영역을 대표이미지로 선정하여 상기 데이터처리부(500)로 전송하는 대표이미지 전송수단(460)을 포함하여 구성된다.And a representative image transmitting means 460 for selecting the license plate area including the identified license plate information as the representative image and transmitting the selected license plate area to the data processor 500.

본 발명에 따른 다중 객체 인식 장치 및 방법에 의하면, 영상검출장치(100)에 의하여 검출된 영상에서 보행자, 차량 또는 이륜전동차를 타고 움직이는 사람 등의 인식을 처리하고, 이를 객체의 아이디 또는 인식된 정보의 종류에 따라 저장함에 따라 실시간으로 하나 이상의 객체를 인식하고 처리하는 시간을 단축하고, 방대한 양의 데이터를 효율적으로 관리할 수 있게 된다.According to the apparatus and method for recognizing a multi-object according to the present invention, the image detected by the image detecting apparatus 100 processes recognition of a person moving in a pedestrian, a vehicle or a two-wheeled vehicle, and the like. By storing according to the type of, it is possible to shorten the time for recognizing and processing one or more objects in real time and to efficiently manage a large amount of data.

본 발명에 따른 다중 객체 인식 장치 및 방법에 의하면, 영상검출장치(100)에서 검출된 영상에서 대표이미지를 관리함에 있어서, 효율적으로 대표이미지를 선정하고 영상처리부에서 이를 이용함으로서 대표이미지를 관리하고 처리하는 시간을 단축하여 실시간으로 다중 객체를 인식하고 처리할 수 있게 된다.According to the apparatus and method for recognizing a multiple object according to the present invention, in managing a representative image in an image detected by the image detecting apparatus 100, the representative image is managed and processed by selecting the representative image efficiently and using the same in the image processor. This reduces the time required to recognize and process multiple objects in real time.

도 1은 본 발명의 실시예에 따른 다중 객체 인식 장치
도 2는 본 발명의 실시예에 따른 다중 객체 인식 장치의 영상처리부
도 3은 본 발명의 실시예에 따른 다중 객체 인식장치의 객체 정보인식부
도 4는 본 발명의 실시예에 따른 다중 객체 인식장치의 데이터처리부
도 5는 본 발명에 따른 객체의 움직임으로부터 객체를 인식하는 예시도
도 6은 본 발명에 따른 다중 객체 인식장치에서 객체가 분리되거나 객체영역이 결합될 때의 고유인식자(ID) 부여방법의 설명도
도 7은 본 발명에 따른 차량의 번호판 영역을 추정하는 도면
도 8은 본 발명의 실시예에 따른 다중 객체 인식방법1 is a multi-object recognition apparatus according to an embodiment of the present invention
2 is an image processing unit of a multi-object recognition apparatus according to an embodiment of the present invention.
3 is an object information recognition unit of a multi-object recognition apparatus according to an embodiment of the present invention.
4 is a data processing unit of a multi-object recognition apparatus according to an embodiment of the present invention.
5 is an exemplary diagram for recognizing an object from the movement of the object according to the present invention.
6 is an explanatory diagram of a method for assigning a unique identifier (ID) when an object is separated or an object area is combined in a multi-object recognition apparatus according to the present invention.
7 is a diagram for estimating a license plate area of a vehicle according to the present invention.
8 is a multi-object recognition method according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 다중 객체 인식 장치의 개략적인 블록도이다. 본 발명의 일 실시예에 따른 다중 객체 인식 장치는 목표 객체의 영상과 배경 영상을 연속적으로 검출하는 영상검출장치(100)을 포함한다. 영상검출장치(100)는 일반적으로 CCTV, 디지털 카메라, 휴대폰 단말기용 카메라 등 다양한 영상검출장치로 구성될 수 있으며, 목표 객체를 인식하고자 하는 목표 지역의 영상을 연속적으로 검출한다. 검출되는 영상에는 목표 객체의 영상뿐만 아니라, 배경 영상도 포함된다. 상기 영상검출장치(100)를 구성하는 카메라의 종류는 고정형(stationary) 타입과 이동형(tracking) 타입이 존재한다. 고정형 타입이란 카메라의 뷰(view)가 고정되어 있는 경우로, 움직이는 객체를 해당 뷰(view)내에서만 감시할 수 있는 카메라를 의미한다. 이에 반해, 이동형 타입이란 카메라 자체가 기구적으로 움직이는 것이 가능하여 움직이는 객체를 따라 이동 추적이 가능한 카메라를 의미한다. 본 발명에 따른 다중 객체 인식 장치는 고정형 타입과 이동형 타입 어느 경우에도 적용이 가능하다.1 is a schematic block diagram of a multi-object recognition apparatus according to an embodiment of the present invention. The apparatus for recognizing a multi-object in accordance with an embodiment of the present invention includes an image detection apparatus 100 that continuously detects an image of a target object and a background image. The image detecting apparatus 100 may be generally configured with various image detecting apparatuses such as a CCTV, a digital camera, a camera for a mobile phone terminal, and continuously detects an image of a target area to recognize a target object. The detected image includes not only an image of the target object but also a background image. The camera constituting the image detection apparatus 100 includes a stationary type and a tracking type. The fixed type refers to a camera in which a view of the camera is fixed, and which can monitor a moving object only within the view. On the contrary, the moving type means a camera that can move mechanically and can track movement along a moving object. The multi-object recognition apparatus according to the present invention can be applied to both a fixed type and a mobile type.

또한, 영상검출장치(100)는 사용자가 원하는 바에 따라 정지 영상을 추출하도록 설정될 수 있으며, 본 발명의 바람직한 실시 예에서는 사용자에 의해 특정지역에 설치되어 동영상을 검출하도록 설정되어 있다. 이러한 영상검출장치(100)는 원하는 목표객체 영상을 얻기 위하여 카메라 렌즈, 빛을 조절하는 조리개 등으로 구성될 수 있다. 원하는 목표영상을 선명하게 얻기 위해서는 될 수 있는 대로 고해상도 영상검출장치(칼라, 흑백 해상도 1280*960 이상)를 사용하는 것이 바람직하다. In addition, the image detecting apparatus 100 may be set to extract a still image as desired by the user, and in a preferred embodiment of the present invention, the image detecting apparatus 100 is set to be installed in a specific region by the user to detect a moving image. The image detecting apparatus 100 may be configured with a camera lens, an aperture for adjusting light, and the like to obtain a desired target object image. In order to obtain a desired target image clearly, it is preferable to use a high resolution image detection device (color, monochrome resolution 1280 * 960 or more) as possible.

영상검출장치(100)는 본 발명의 바람직한 실시 예에서 동영상의 형태로 목표영상을 검출할 수도 있으며, 소정 주기마다 고속 촬영하는 형태로 목표영상을 검출할 수도 있다. 예를 들어, 소정주기를 1/20초로 한 경우에는 초당 20 프레임의 목표영상을 검출하는 것이다. The image detecting apparatus 100 may detect the target image in the form of a video in a preferred embodiment of the present invention, or may detect the target image in the form of high-speed photographing every predetermined period. For example, when the predetermined period is set to 1/20 second, the target image of 20 frames per second is detected.

영상입력부(200)는 영상검출장치(100)에 의해 연속적으로 검출된 영상을 수신하며, 수신한 연속 영상을 프레임 단위별로 영상을 변환하여 영상처리부(300)으로 전송한다. 영상입력부(200)의 또 다른 기능으로는 환경변화에 따라 영상검출장치를 제어하고, 때에 따라서는 영상검출장치에서 검출된 연속영상을 사용자에게 연속적으로 디스플레이하거나, 정지영상 또는 프레임 단위별로 디스플레이해 준다. 따라서 영상입력부(200)는 영상검출장치(100)에서 검출된 연속영상을 압축하기 위한 엔코딩 수단과, 엔코딩 수단을 통해 압축된 연속영상을 기록하고, 기록된 연속영상을 다시 출력해 내기 위한 디코딩 수단을 포함하는 코덱과, 코덱으로부터 출력된 영상을 정지영상으로 변환하는 정지영상 변환수단을 포함하여 구성될 수 있다. The image input unit 200 receives an image continuously detected by the image detecting apparatus 100, converts the received continuous image by frame unit, and transmits the image to the image processing unit 300. As another function of the image input unit 200, the image detection apparatus is controlled according to environmental changes, and sometimes the continuous image detected by the image detection apparatus is continuously displayed to the user, or the still image or frame unit is displayed. . Accordingly, the image input unit 200 includes encoding means for compressing the continuous image detected by the image detecting apparatus 100, recording means for recording the continuous image compressed by the encoding means, and decoding means for outputting the recorded continuous image again. And a still image converting means for converting an image output from the codec into a still image.

영상입력부(200)는 별도로 구성될 수도 있으며, 영상검출장치(100)에 종속적으로 검출될 수도 있다.The image input unit 200 may be configured separately or may be detected dependently on the image detection apparatus 100.

영상검출장치(100)에서 검출된 연속 영상은 영상입력부(200)를 통과하여 프레임 단위의 정지 영상으로서 영상처리부(300)에 전송되게 된다. 영상처리부(300)는 영상입력부(200)로부터 수신받은 정지 영상(N번째 프레임의 정지영상)으로부터 객체 이동 검출수단(310)에서 객체의 움직임을 검지하게 된다. 객체의 윤곽은 정지 영상의 이웃한 픽셀의 밝기 값의 변화 또는 색상(RGB)의 편차를 이용하여 추출할 수 있으며, 이렇게 추출된 객체의 윤곽을 이전 정지영상(N-1번째 프레임의 정지영상)의 객체의 윤곽과 비교하여 이전 정지영상의 윤곽의 이동이 일정 임계치 이상 이동된 경우에는 객체가 움직였다고 판단하게 된다.The continuous image detected by the image detecting apparatus 100 passes through the image input unit 200 and is transmitted to the image processing unit 300 as a still image in a frame unit. The image processing unit 300 detects the movement of the object in the object movement detecting unit 310 from the still image (the still image of the Nth frame) received from the image input unit 200. The outline of the object can be extracted using the change in brightness value of the neighboring pixels of the still image or the deviation of the color (RGB). The outline of the extracted object is the previous still image (the still image of the N-1th frame). When the movement of the contour of the previous still image is shifted by more than a predetermined threshold, the object is determined to be moved.

객체의 윤곽을 빠르게 검출하기 위해서 본 발명에 따른 영상처리부(300)는 객체 이동 검출수단(310)으로 소벨(Sobel) 필터를 사용할 수 있다. 소벨 필터는 윤곽선을 검출하는 필터로서, 미분 연산자에 의한 픽셀의 밝기 값의 변화 또는 색상(RGB) 값의 변화를 이용하여 찾아내는 것인데, 편미분 연산을 이용하여 미분 값을 구할 수도 있다. 소벨 필터는 비선형 연산자로서 사용하는 마스크 창(Mask Window) 영역의 양 끝단에 속한 픽셀들 사이의 RGB 합의 차이를 구한 후 이를 수평과 수직 방향에 대하여 평균 크기를 구함으로써 윤곽 부위를 강조하는 기능을 수행한다. 소벨 필터의 기능에 대하여는 공지되어 있으므로 본 명세서에서는 상세한 설명을 생략한다.In order to quickly detect the contour of an object, the image processor 300 according to the present invention may use a Sobel filter as the object movement detecting unit 310. The Sobel filter is a filter for detecting an outline. The Sobel filter detects a contour by using a change in brightness value of a pixel or a change in color (RGB) value by a differential operator. The differential value may be obtained by using a partial derivative operation. Sobel filter performs the function of emphasizing the contour area by calculating the difference of RGB summation between pixels of both ends of the mask window area used as nonlinear operator and then calculating the average size in the horizontal and vertical directions. do. Since the function of the Sobel filter is known, detailed description thereof will be omitted.

도5는 본 발명에 따른 객체의 움직임으로부터 객체를 인식하는 예시도이다. 도 5에 나타난 바와 같이 보행자와 차량 3대가 움직였다고 판단되는 경우에, 영상처리부(300)는 움직인 객체가 어떤 것인지를 알아보기 위해 객체의 윤곽에 따라 크기를 산출한다. 즉, 영상처리부(300) 내의 객체판별수단(350)은 정지영상에 나타난 객체의 윤곽 영역으로부터 수평과 수직성분의 크기를 구분하여 객체가 보행자인지 차량인지를 구분하게 된다. 즉, 도5에 도시된 바와 같이 수평성분보다 수직성분이 크게 나타나는 직사각형 모양으로 나타나면 객체가 보행자인 것으로 인식하게 되며, 수평성분이 수직성분에 비해 객체가 보행자인 경우보다 상대적으로 크다면(즉, 수평성분이 수직성분에 비해 커서 상대적으로 정사각형에 가깝다면) 객체를 차량으로 인식하게 되는 것이다. 5 is an exemplary view of recognizing an object from the movement of the object according to the present invention. As shown in FIG. 5, when it is determined that the three pedestrians and the vehicle have moved, the image processor 300 calculates the size according to the outline of the object in order to find out what kind of object has moved. That is, the object discriminating means 350 in the image processing unit 300 distinguishes the size of the horizontal and vertical components from the contour region of the object shown in the still image to distinguish whether the object is a pedestrian or a vehicle. That is, as shown in FIG. 5, when the rectangular component appears to have a larger vertical component than the horizontal component, the object is recognized as a pedestrian. When the horizontal component is larger than the vertical component, the object is larger than the horizontal component. If the horizontal component is larger than the vertical component and relatively close to the square), the object is recognized as a vehicle.

또는 객체의 패턴을 미리 저장하여 두고, 인식된 객체의 윤곽패턴과 이를 비교하여 객체를 인식할 수도 있다. 예를 들어, 객체가 보행자인 경우에는 어깨-머리-어깨의 패턴에 따라 윤곽의 패턴이 요철형태로 나타나게 된다. 이런 경우에 인식된 객체를 보행자로 인식하게 되는 것이다. 차량의 경우에는 차량의 앞부분과 바디 부분 및 바퀴부분으로 나누어질 수 있을 것이다. 자전거 또는 오토바이를 포함한 이륜전동차를 타고 움직이는 객체의 경우에는 전체적인 객체의 윤곽이 요철(凸)형상과 같이 나타날 수 있으므로 자전거 또는 이륜전동차를 타고 움직이는 사람으로 인식할 수 있게 된다. Alternatively, the object pattern may be stored in advance and compared with the contour pattern of the recognized object to recognize the object. For example, when the object is a pedestrian, the pattern of the contour appears in the form of irregularities according to the pattern of the shoulder-head-shoulder. In this case, the recognized object is recognized as a pedestrian. In the case of a vehicle, it may be divided into a front part, a body part, and a wheel part of the vehicle. In the case of an object moving on a two-wheeled motorcycle including a bicycle or a motorcycle, the outline of the entire object may appear as a concave-convex shape, and thus it may be recognized as a person moving on a bicycle or a two-wheeled motorcycle.

만약, 파악된 객체의 윤곽이 본 발명에 따른 다중 객체 인식 장치에 적합한 객체인 보행자, 차량 또는 자전거 또는 경운기 또는 이륜전동차를 타고 움직이는 사람으로 판단되면, 해당 객체가 영상검출장치(100)의 연속 영상에서 사라지기 전까지는 객체 추적수단(370)은 객체를 계속 추적하게 된다. If it is determined that the outline of the identified object is a person moving in a pedestrian, vehicle or bicycle or a cultivator or a two-wheeled vehicle, which is an object suitable for the multi-object recognition apparatus according to the present invention, the object is a continuous image of the image detecting apparatus 100. Until it disappears from the object tracking means 370 will continue to track the object.

만일 파악된 객체의 윤곽이 본 발명에 따른 다중 객체 인식 장치에 적합한 것이 아닌 경우에는 객체 추적을 끝내게 된다. 즉, 파악된 객체의 윤곽이 사각형 형태가 아닌 원형이거나, 타원형 또는 삼각형 등의 경우에는 객체 추적을 계속 진행하는 것이 아니라, 객체 추적을 끝내게 되는 것이다.If the outline of the identified object is not suitable for the multi-object recognition apparatus according to the present invention, the object tracking ends. In other words, if the outline of the identified object is a circular shape instead of a rectangular shape, an ellipse or a triangle, the object tracking is ended instead of continuing the object tracking.

만약 객체 추적수단(370)에서 추적하고자 하는 객체의 이동경로가 미세하게 나타난 경우, 객체의 이동경로가 불분명한 경우, 객체의 영역에 있는 RGB 편차의 임계값을 넘어선 경우에는 객체 추적장치(370)는 객체를 추적하지 않고, 객체 추적을 끝내게 된다. 이는 바람에 흔들리는 나뭇가지나, 야간 헤드라이트 불빛 등에 의해 갑작스런 이미지 변화가 영향을 받은 것이기 때문이다. If the movement path of the object to be tracked by the object tracking means 370 is minutely displayed, when the movement path of the object is unclear, when the threshold value of the RGB deviation in the area of the object is exceeded, the object tracking device 370 Does not track the object, but ends the object tracking. This is because of sudden image changes caused by branches swaying in the wind or night headlights.

만일 객체의 영역에 있는 RGB의 편차가 일정 범위 내에 있거나, 시간에 따른 객체 윤곽의 기울기가 일정 부분을 상회한다면 이러한 객체는 그림자일 경우가 많기 때문에 이 또한 객체의 추적을 끝내게 된다. 이를 위하여 시간에 따라서, 실제 객체의 크기에 따른 그림자 객체의 기울기를 영상처리부에 미리 저장할 필요가 있다.If the deviation of the RGB in the object's area is within a certain range, or if the slope of the object's outline over time exceeds a certain part, the object is also shadowed, so this also ends the tracking of the object. To this end, it is necessary to store the slope of the shadow object according to the size of the actual object in advance in the image processor according to time.

또한, 객체의 다양한 이동속도에 따른 객체의 움직임을 지속적으로 추적하기 위하여 현재의 정지영상(N번째 프레임의 정지영상)과 기준이미지(N-1번째 프레임의 정지영상 또는 N-n번째 정지영상, 여기서 n은 1이상 N미만의 자연수이다.)를 비교분석하여 객체의 속도를 알아낼 수 있다. 만일 객체가 왼쪽에서 오른쪽으로 이동하는 속도를 양으로 정의한다면, 오른쪽에서 왼쪽으로 객체가 이동한 경우에는 음의 속도로 표기한다. 차량의 경우에는 위에서 설명한 객체의 속도 외에도 정지영상에서 차량이 움직인 영상 픽셀의 수와 정지영상에 나타난 실제 도로의 길이를 참조하여 계산하며, 실제 도로의 길이는 먼저 영상처리부에 저장되어 있도록 할 수 있다. In addition, the current still image (the still image of the Nth frame) and the reference image (the still image of the N-1th frame or the Nnth still image, where n, in order to continuously track the movement of the object according to various moving speeds of the object) Is a natural number greater than or equal to 1 and less than N). If you define the speed at which an object moves from left to right as a positive value, it is written at negative speed if the object moves from right to left. In the case of a vehicle, in addition to the speed of the object described above, the number of image pixels moved by the vehicle in the still image and the length of the actual road shown in the still image may be calculated. .

객체를 추적하는 객체 추적수단(370)에서 추적되는 객체는 데이터처리부(500)에서 객체마다 객체 고유의 인식자(ID)를 부여한다. 예를 들어, 객체가 보행자의 경우에는 객체를 추적하기 시작한 시간을 사용하여, 「보행자1204051305(12년 4월 5일 13시 05분에 인식된 보행자)」과 같이 인식자를 부여하게 되며, 객체가 차량인 경우에는 보행자가 객체인 경우와 동일한 방법으로 「차량1204051305(12년 4월 5일 13시 05분에 인식된 차량)」과 같은 인식자를 부여하게 된다. The object tracked by the object tracking means 370 for tracking the object gives an object-specific identifier (ID) for each object in the data processor 500. For example, if an object is a pedestrian, it uses the time it started tracking the object, giving it an identifier such as "pedestrian 1204051305 (pedestrian recognized at 5:05 on April 5, 12)". In the case of a vehicle, an identifier such as "vehicle 1204051305 (vehicle recognized at 13:05 on April 5, 12)" is assigned in the same manner as a pedestrian is an object.

객체를 추적하는 중에 객체가 분리될 경우와 둘 이상의 객체 영역이 결합될 때가 있다. 도 6은 객체가 분리되거나, 또는 둘 이상의 객체영역이 결합될 때의 객체의 고유인식자(ID)를 설명하기 위한 도면이다. 여기서는 설명의 편의를 위하여 객체의 ID를 '01, 02, 03' 등과 같이 표현하였다. 먼저 객체가 분리된 경우에는 객체가 분리되기 전의 객체의 고유인식자(ID)는 삭제되며, 분리된 시점에서의 객체에 새로운 고유인식자(ID)를 부여한다. 또한, 둘 이상의 객체영역이 결합될 때는 결합되기 전의 객체의 고유인식자(ID)를 계속 유지하며, 객체의 추적을 통해 객체의 영역을 추정하여 처리한다. There are times when an object is separated while tracking an object, and when two or more object regions are combined. FIG. 6 is a diagram for describing a unique identifier (ID) of an object when an object is separated or two or more object areas are combined. In this example, the ID of the object is expressed as '01, 02, 03 'for convenience of description. First, when an object is separated, the unique identifier (ID) of the object before the object is separated is deleted, and a new unique identifier (ID) is assigned to the object at the separated time. In addition, when two or more object areas are combined, the unique identifier (ID) of the object before the combination is maintained, and the object area is estimated and processed by tracking the object.

도 1의 영상처리부(300)에서 유효한 객체인 보행자, 차량 또는 이륜전동차를 타고 움직이는 사람으로 인식된 객체는 객체에 따라 객체가 보행자 또는 이륜전동차를 타고 움직이는 사람의 경우에는 객체 정보인식부(400)의 보행자 정보인식부(410)로 객체 정보가 전달되며, 차량인 경우에는 차량 정보인식부(420)로 객체정보가 전달된다. 보행자 또는 이륜전동차를 타고 움직이는 사람이 많은 경우에는 빠른 정보인식을 위해 보행자 정보인식부(410)를 복수로 설치하여 사용할 수 있다. 보행자 또는 사람의 특징부는 객체 영역에서 윗부분인 얼굴에 있으므로, 보행자 또는 사람의 객체영역에서 상반부를 추출한다. In the image processor 300 of FIG. 1, an object recognized as a person moving in a pedestrian, a vehicle, or a motorcycle, which is a valid object, is an object information recognition unit 400 when the object is a person moving in a pedestrian or a motorcycle. The object information is transmitted to the pedestrian information recognition unit 410, and in the case of a vehicle, the object information is transmitted to the vehicle information recognition unit 420. If there are many people moving on pedestrians or motorcycles, a plurality of pedestrian information recognition units 410 may be installed and used for quick information recognition. Since the feature of the pedestrian or person is in the face that is above the object area, the upper half is extracted from the object area of the pedestrian or person.

만약 정지영상에서 보행자 또는 사람의 상반부에 그림자가 생긴 경우 또는 선명한 이미지가 나타나지 않은 경우에는 이미지 필터링 작업을 통해 선명한 이미지를 얻도록 한다. 선명한 이미지를 얻는 방법으로는 'Unsharp Mask'나 'Weiner'방법을 채택하는 것 등이 가능하다. 이러한 선명한 이미지를 얻는 방법도 이미 공지된 것이므로 여기서는 상세한 설명을 생략한다. If a still image has a shadow on the upper part of a pedestrian or a person, or if a clear image does not appear, a clear image is obtained through image filtering. The way to get a clear image is to use 'Unsharp Mask' or 'Weiner' method. Since a method of obtaining such a clear image is already known, a detailed description thereof will be omitted.

만일 상반부의 이미지가 너무 적은 경우에는 이미지를 확대하거나, 영상입력부(200)에서 제어를 통해 확대된 정지영상을 얻을 수 있도록 영상검출장치(100)를 제어할 수 있다. 상반부의 이미지를 통해, 보행자 또는 사람이 여성인지 남성인지, 안경의 착용여부, 수염의 유무 등 객체정보를 관리할 수 있는 파라미터에 따라 객체정보를 구분하여 데이터 처리부(500)로 객체정보를 전송한다. 물론 파라미터의 종류는 옷의 색깔, 가방의 착용여부 등 사용자의 설정에 의해 얼마든지 수정이 가능하나, 데이터 처리부의 처리능력에 따라 성별 등 몇 가지 종류로 한정함이 바람직하다. If the image of the upper half is too small, the image detection apparatus 100 may be controlled to enlarge the image or to obtain the enlarged still image through the control in the image input unit 200. Through the image of the upper half, the object information is classified and transmitted to the data processor 500 according to a parameter that can manage object information such as whether a pedestrian or a person is a female or a male, whether to wear glasses or whether a beard is present. . Of course, the type of parameter can be modified as much as the user's setting, such as the color of the clothes, whether the bag is worn, but is preferably limited to a few types, such as gender depending on the processing power of the data processor.

객체가 차량인 경우에도 빠른 정보인식을 위해 차량 정보인식부(420)를 복수로 설치하여 사용할 수 있다. 통상적으로 하나의 영상검출장치(100)에서 검출되는 차량의 수는 10대 이하에 불과하나, 본 발명에 따른 다중 객체 인식 장치는 영상처리부(300)와 객체 정보인식부(400)의 처리시간에 가장 많은 프로세서 시간이 할당되므로, 처리시간 단축을 위하여 차량 정보인식부(420)을 복수로 설치하며, 객체의 분리 또는 결합이 되는 경우에 객체 인식자는 최대 4개까지 처리하는 것이 바람직하다. 차량 정보인식부(420)는 먼저 번호판 영역을 추출하는 번호판 영역추출수단에서 차량의 번호판 영역을 추출한다. 정지영상에서 번호판은 사각형 모양을 가지고 있다. 또한 차량 번호는 숫자 또는 문자로 구성되어 있는 경우가 대부분이므로, 정지영상에서 숫자 또는 문자의 특성을 고려하여 이웃한 픽셀과의 밝기 또는 색상(RGB) 편차값을 검사하여 번호판 영역을 추정할 수 있다. 또한, 차량의 번호판은 통상적으로 차량의 하반부 중앙 또는 중반부 중앙에 위치하게 되므로, 차량 번호판이 있을 만한 위치에서 차량 번호판을 추정하여 찾을 수 있다. Even when the object is a vehicle, a plurality of vehicle information recognition units 420 may be installed and used for quick information recognition. Typically, the number of vehicles detected by one image detection apparatus 100 is only 10 or less, but the multi-object recognition apparatus according to the present invention may be used at the processing time of the image processing unit 300 and the object information recognition unit 400. Since the most processor time is allocated, it is preferable to install a plurality of vehicle information recognition units 420 in order to shorten the processing time, and to process up to four object recognizers when the object is separated or combined. The vehicle information recognition unit 420 first extracts the license plate area of the vehicle from the license plate area extraction means for extracting the license plate area. In still images, the plates have a rectangular shape. In addition, since the vehicle number is mostly composed of numbers or letters, the license plate area may be estimated by examining brightness or color (RGB) deviation values from neighboring pixels in consideration of characteristics of numbers or letters in still images. In addition, since the license plate of the vehicle is usually located in the center of the lower half or the middle of the vehicle, it can be found by estimating the vehicle license plate at a position where the license plate may be located.

도 7은 차량 번호판을 찾기 위해 추정 영역을 3군데로 하여 번호판을 추정하는 도면이다. 하나의 차량에서 추정된 번호판 영역은 선명한 번호판 이미지를 얻기 위하여 복수로 추정하는 것이 바람직하다. 본 발명에 따른 다중 객체 인식 처리장치 및 방법에서는 최대 10개까지 구하였다. 처리시간 단축 및 처리의 정확성 향상을 위하여 추정된 영역이 번호판인지 아닌지 판별하는 과정을 두고, 번호판이 아닌 경우에는 이후 과정에서 필터링되도록 설계할 수 있다. 차량의 번호판이 휜 경우, 그림자가 생긴 경우에 다른 글자윤곽이 강조되어 선명한 이미지가 필요한 경우에는 차량 정보인식부(420)에서와 같이 이미지 필터링 작업을 통해 선명한 이미지를 얻도록 한다. 또한, 번호판이 비틀어진 경우에는 이미지를 회전하고, 문자가 실제 사용하기에 너무 작은 경우에는 이미지를 확대하거나, 영상입력부(200)에서 제어를 통해 확대된 정지영상을 얻을 수 있도록 영상검출장치(100)를 제어할 수 있다. 또한, 예를 들어 실제 번호판은 「서울30 가1234」이나, 정지영상에서 얻은 번호판은 「서울30 가」만 있는 경우에는 이전 정지영상 또는 이후 정지영상에서 번호판 영역을 추정하여 차량정보를 획득할 수 있다. 보행자 정보인식부(410)와 같이 차량 정보인식부(420)도 선명한 이미지를 얻는 방법으로는 'Unsharp Mask'나 'Weiner'방법을 채택하는 것 등이 가능하다. 이러한 선명한 이미지를 얻는 방법도 이미 공지된 것이므로 여기서는 상세한 설명을 생략한다. 문자를 인식하기 위해 번호판 영역에서 문자의 영역을 구분하고, 번호판의 종류와 색상을 결정한다. FIG. 7 is a diagram for estimating license plates using three estimation regions in order to find a vehicle license plate. It is preferable to estimate a plurality of license plate areas in one vehicle in order to obtain a clear license plate image. In the multi-object recognition processing apparatus and method according to the present invention, up to 10 were obtained. In order to shorten the processing time and improve the accuracy of the processing, a process of determining whether or not the estimated region is a license plate may be designed. When the license plate of the vehicle is broken, when a shadow is generated, when another font outline is emphasized and a clear image is required, a clear image is obtained through image filtering as in the vehicle information recognition unit 420. In addition, when the license plate is twisted, the image is rotated, and if the character is too small for actual use, the image detection apparatus 100 may enlarge the image or obtain an enlarged still image through control in the image input unit 200. ) Can be controlled. For example, when the actual license plate is "Seoul 30 Ga 1234", but the license plate obtained from the still image is "Seoul 30 Ga", vehicle information may be obtained by estimating the license plate area from the previous still image or the subsequent still image. Like the pedestrian information recognition unit 410, the vehicle information recognition unit 420 may adopt the 'Unsharp Mask' or the 'Weiner' method as a method of obtaining a clear image. Since a method of obtaining such a clear image is already known, a detailed description thereof will be omitted. In order to recognize the letters, the area of the letters is distinguished from the license plate area, and the type and color of the license plate is determined.

한국에서 사용되는 번호판의 종류와 색상은 몇 가지로 이루어진다. 따라서 한국에서 사용되는 표준번호판의 샘플을 미리 저장하여 샘플에 맞도록 번호판의 문자를 인식하도록 한다면 번호판의 문자 인식에 소요되는 시간을 단출할 수 있다. 문자인식 방법은 한글과 숫자 인식으로 나눌 수 있는데, 이미지를 직접 해석하는 방식을 사용할 수도 있고, 이미지에서 문자만을 추출하여 알고리즘에 의해 인식할 수도 있다. 본 발명에 따른 다중 객체 인식 처리 장치 및 방법에 의하면 이미지를 직접 해석하는 방식이 가장 빠른 인식 처리시간을 나타내었다.There are several kinds and colors of license plates used in Korea. Therefore, if the sample of the license plate used in Korea is stored in advance to recognize the characters of the license plate to fit the sample, it is possible to shorten the time required for character recognition of the license plate. Character recognition method can be divided into Korean and numeric recognition, it can be used to directly interpret the image, or by extracting only the characters from the image can be recognized by the algorithm. According to the multiple object recognition processing apparatus and method according to the present invention, the method of directly interpreting an image shows the fastest recognition processing time.

차량의 정보는 보행자 정보와 유사하게 객체정보를 관리할 수 있는 파라미터에 따라 객체정보를 구분하여 데이터 처리부(500)로 객체정보를 전송한다. 물론 파라미터의 종류는 사용자에 따라 다르게 할 수 있으나, 차체의 색깔, 차량의 종류 등으로 크게 나눌 수 있다. 차체의 색깔은 차량 번호판 상단의 가장 빈도수가 많은 색상 값을 사용하는 것이 바람직하다. Similar to the pedestrian information, the vehicle information divides the object information according to a parameter capable of managing the object information and transmits the object information to the data processor 500. Of course, the type of parameter may be different according to the user, but may be broadly divided into the color of the vehicle body and the type of the vehicle. It is preferable to use the most frequent color value at the top of the license plate for the body color.

객체 정보인식부(400)는 객체에 대한 정보를 인식하였으면, 인식된 객체 정보를 데이터처리부(500)로 전송한다. 데이터처리부(500)는 객체 정보인식부(400)에서 생성된 보행자 정보 및 차량정보를 이용하여 영상검출장치에서 검출된 정지영상의 객체정보를 검색할 수 있도록 데이터를 처리하는 수단이다. 데이터처리부(500)는 목표 객체에 고유인식자(ID)를 부여수단(510)과, 고유 인식자(ID)와 객체 정보인식부에서 추출된 객체정보와 대표이미지를 함께 관리하는 데이터 관리수단(520)을 포함하여 구성되어 있다.When the object information recognition unit 400 recognizes the information about the object, the object information recognition unit 400 transmits the recognized object information to the data processing unit 500. The data processor 500 is a means for processing data to search for object information of a still image detected by the image detecting apparatus using the pedestrian information and the vehicle information generated by the object information recognition unit 400. The data processing unit 500 may provide a unique identifier (ID) to the target object (510), and data management means for managing both the object identifier and the representative image extracted from the unique identifier (ID) and the object information recognition unit ( 520).

데이터처리부(500)에서 관리되는 데이터는 객체정보를 검색할 수 있는 데이터로서 각 정지영상간의 객체정보를 검색할 수 있도록 시간, 장소, 객체의 구분, 정지영상을 인식하기 위한 객체 인식자 정보, 보행자 정보인식부(410)을 통해 추출된 보행자 또는 사람의 정보 및 차량 정보인식부(420)을 통해 추출된 차량정보와 차량의 번호 등을 포함한다. 또한 데이터처리부(500)에서는 그 객체를 가장 잘 나타낼 수 있는 이미지를 차량인 경우에는 번호판를 포함한 정지영상, 사람의 경우에는 상반신을 기준으로 대표 이미지를 선정한다. 데이터 저장장치(600)는 데이터처리부에서 처리된 데이터뿐만 아니라, 대표이미지를 인덱싱을 통해 별도로 저장하여, 대표 이미지를 손쉽게 검색할 수 있도록 저장할 수 있으며, 이를 위해 링크수단을 겸비하여 대표이미지와 처리된 데이터를 링크함이 바람직하다. 또한, 정지영상을 프레임별로 저장할 수 있도록 저장공간을 별도로 마련할 수 있다. 즉, 데이터저장부(600)는 데이터처리부에서 처리된 데이터 저장과, 대표이미지 저장과, 정지영상을 저장하게 되는 것이다.The data managed by the data processing unit 500 is data for searching object information. The object identifier information for recognizing a still image, time, place, object classification, and pedestrian can be searched for object information between respective still images. The information on the pedestrian or person extracted through the information recognition unit 410 and the vehicle information and the number of the vehicle extracted through the vehicle information recognition unit 420. In addition, the data processing unit 500 selects a representative image based on a still image including a license plate in the case of a vehicle and an upper body in the case of a person. The data storage device 600 may store not only the data processed by the data processing unit, but also the representative image separately through indexing, so that the representative image can be easily searched. It is desirable to link the data. In addition, a storage space may be separately provided to store still images frame by frame. That is, the data storage unit 600 stores data processed by the data processor, representative image storage, and still images.

본 발명의 데이터저장부(600)는 컴퓨터가 읽을 수 있는 기록 매체로서, 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을수 있는 코드가 저장되고 실행될 수 있다. The data storage unit 600 of the present invention is a computer-readable recording medium. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. And also in the form of a carrier wave (eg, transmission over the Internet). The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이제 본 발명의 실시 예에 따른 다중 객체 인식 장치에서, 연속되는 프레임의 정지영상에서 동일 객체가 나타나는 경우에 처리시간을 단축하는 것을 설명한다.Now, in the apparatus for recognizing a multi-object according to an exemplary embodiment of the present disclosure, the processing time is shortened when the same object appears in a still image of a continuous frame.

영상처리부는 현재 프레임인 N번째 프레임의 정지 영상에서 객체 이동 검출수단(310)에서 객체의 움직임을 검출한다. 이때 움직임이 검출된 객체가 이전 프레임인 N-1번째 프레임의 정지 영상에서도 검출된 객체인지를 판단하는 객체초기화 인지수단(320)에서 판단하게 된다. 만약 움직임이 검출된 객체가 N번째 프레임의 정지영상에서 처음으로 검출된 객체라면 객체영역 분할수단(330)에 의해 N번째 프레임의 정지 영상에서 목표 객체로 분할한다. The image processor detects the movement of the object in the object movement detecting unit 310 in the still image of the N-th frame, which is the current frame. In this case, the object initialization recognizing means 320 determines whether the motion detected object is the detected object in the still image of the N-1th frame, which is the previous frame. If the motion detected object is the first detected object in the still image of the Nth frame, the object region dividing unit 330 divides the object into the target object in the Nth frame.

목표 객체가 보행자 객체인지, 차량 객체인지를 판별하는 객체 판별수단(350)에서 판별하여, 판별된 목표 객체의 영상을 목표객체 영상 전송수단(360)에서 객체 정보인식부(400)로 전송하게 되는 것이다. The object determining unit 350 determines whether the target object is a pedestrian object or a vehicle object, and transmits the image of the determined target object to the object information recognition unit 400 from the target object image transmitting unit 360. will be.

만일 움직임이 검출된 객체가 N-1번째 프레임에서도 검출된 객체라면 그 객체는 추적을 통해 동일 객체로 관리되고, 데이터처리부(500)에서 처리되어야 한다. 따라서, 객체초기화 인지수단(320)에 의해 객체가 N-1번째 프레임에서 검출된 객체가 아닌 경우에는 객체추적수단(370)에서 객체가 영상검출장치(100)의 뷰(view)에서 사라질 때까지 객체를 추적하게 되며, 이와는 별도로 대표이미지 확인수단(330)은 N-1번째 프레임에서 대표이미지가 선정되었는지를 확인하게 된다. 이때 대표이미지가 선정되지 않았다면 목표 객체가 보행자 객체인지, 차량 객체인지를 판별하는 객체 판별수단(350)에서 판별하여, 판별된 목표 객체의 영상을 목표객체 영상 전송수단(360)에서 객체 정보인식부(400)로 전송하게 되는 것이다. 만약 N-1번째 프레임에서 목표 객체의 대표이미지가 선정되었음이 확인되면 목표 객체 영상처리 종료수단(380)에서는 목표 객체에 대한 영상처리를 종료하게 된다.If the object whose motion is detected is an object detected in the N-th frame, the object is managed as the same object through tracking and should be processed by the data processor 500. Therefore, when the object is not detected by the object initialization recognition unit 320 in the N-1th frame, the object tracking means 370 until the object disappears from the view of the image detecting apparatus 100. The object is tracked, and the representative image checking means 330 separately checks whether the representative image is selected in the N-1th frame. In this case, if the representative image is not selected, the object determining unit 350 determines whether the target object is a pedestrian object or a vehicle object, and determines the image of the determined target object in the object object image transmitting unit 360. Will be sent to (400). If it is confirmed that the representative image of the target object is selected in the N-th frame, the target object image processing terminating unit 380 ends the image processing on the target object.

또한 객체 정보인식부(400)의 보행자 정보인식부(410)는 얼굴윤곽 파악부(430)에서 목표 객체의 상반부 영역을 분할하여 그 영역에서 얼굴윤곽을 파악하게 되고, 파악된 얼굴윤곽을 대표이미지로 선정하여 대표이미지 전송수단(440)에 의해 데이터처리부(500)로 전송하게 되며, 이와 유사하게 차량 정보인식부(420)의 번호판 정보파악부(450)는 목표 객체의 번호판 영역을 분할하여 번호판 정보를 인식하며, 대표이미지 전송수단(460)은 파악된 번호판 정보를 포함하는 번호판 영역을 대표이미지로 선정하여 데이터처리부(500)로 전송한다.In addition, the pedestrian information recognizer 410 of the object information recognizer 400 divides the upper half region of the target object from the face outline determiner 430 and grasps the face outline in the region, and represents the identified face outline. The license plate information detecting unit 450 of the vehicle information recognition unit 420 divides the license plate area of the target object and transmits the license plate to the data processing unit 500 by the representative image transmitting unit 440. Recognizing the information, the representative image transmitting means 460 selects the license plate area including the identified license plate information as the representative image and transmits it to the data processor 500.

만일 얼굴윤곽 파악부(430)에서 얼굴윤곽을 파악하지 못하는 경우에는 N+1번째 프레임의 정지영상에서 얼굴윤곽을 파악하며, N+1번째 프레임의 정지영상에서도 얼굴윤곽을 파악하지 못하는 경우에는 객체 추적이 종료될 때까지 순차적으로 전송되는 프레임의 정지영상에서 얼굴윤곽을 파악하며, 객체 추적이 종료될 때까지 얼굴윤곽이 파악되지 못했다면, 순차적으로 전송되는 프레임(N+2 프레임, N+3프레임, N+4 프레임 ,,,)의 정지영상에서 얼굴윤곽이 가장 많이 파악된 프레임의 정지영상의 얼굴윤곽을 대표이미지로 선정하며, 번호판 정보파악부(430)에서 번호판 정보를 파악하지 못하는 경우에는 N+1번째 프레임의 정지영상에서 번호판 정보를 파악하며, N+1번째 프레임의 정지영상에서도 번호판 정보를 파악하지 못하는 경우에는 객체 추적이 종료될 때까지 순차적으로 전송되는 프레임의 정지영상에서 번호판 정보를 파악하며, 객체 추적이 종료될 때까지 번호판 정보가 파악되지 못했다면, 상기 순차적으로 전송되는 프레임의 정지영상에서 번호판 정보가 가장 많이 파악된 프레임의 정지영상의 번호판 정보를 포함하는 번호판 영역을 대표이미지로 선정하게 된다.If the face contour determiner 430 does not recognize the face contour, the face contour is detected from the still image of the N + 1th frame, and if the face contour is not detected from the still image of the N + 1th frame, the object tracking is performed. The face contour is identified from the still image of the frame transmitted sequentially until the end of the operation. If the face contour is not recognized until the object tracking is completed, the frame transmitted sequentially (N + 2 frame, N + 3 frame, N + 4 Selects the face contour of the still image of the frame in which the face outline is identified the most in the still image of frame N + 4 as a representative image, and if the license plate information detection unit 430 does not grasp the license plate information, If the license plate information is detected from the still image of the 1st frame, and the license plate information is not understood from the still image of the N + 1st frame, when object tracking ends If the license plate information is grasped from a still image of a frame transmitted sequentially, and the license plate information is not grasped until object tracking is completed, the still image of the frame having the most license plate information identified from the still image of the sequentially transmitted frame The license plate area including the license plate information is selected as the representative image.

이제 본 발명의 실시 예에 따른 다중 객체 인식 장치에서, 연속되는 프레임의 정지영상에서 동일 객체가 나타나는 경우에 처리시간을 단축하는 방법을 도 8을 참고로 하여 설명한다.Now, in the multi-object recognition apparatus according to an embodiment of the present invention, a method of shortening the processing time when the same object appears in a still image of a continuous frame will be described with reference to FIG. 8.

영상처리부(300)는 현재 프레임인 N번째 프레임의 정지 영상에서 객체 이동 검출수단(310)에서 객체의 움직임을 검출한다(810). 이때 움직임이 검출된 객체가 이전 프레임인 N-1번째 프레임의 정지 영상에서도 검출된 객체인지를 판단하는 객체초기화 인지수단(320)에서 판단하게 된다(820). 만약 움직임이 검출된 객체가 N번째 프레임의 정지영상에서 처음으로 검출된 객체라면 객체영역 분할수단(330)에 의해 N번째 프레임의 정지 영상에서 목표 객체로 분할한다(830). The image processor 300 detects the movement of the object in the object movement detecting unit 310 in the still image of the Nth frame that is the current frame (810). In this case, the object initialization recognizing means 320 determines whether the motion detected object is the detected object in the still image of the N-th frame, which is the previous frame, in operation 820. If the motion detected object is the first object detected in the still image of the Nth frame, the object region dividing unit 330 divides the object into the target object in the still image of the Nth frame (830).

이제 목표 객체가 보행자 객체인지, 차량 객체인지를 판별하는 객체 판별수단(350)에서 판별하여, 판별된 목표 객체의 영상을 목표객체 영상 전송수단(360)에서 객체 정보인식부(400)로 전송하게 되는 것이다(850). Now, the object determining unit 350 determines whether the target object is a pedestrian object or a vehicle object, and transmits the image of the determined target object to the object information recognition unit 400 from the target object image transmitting unit 360. (850).

만일 움직임이 검출된 객체가 N-1번째 프레임에서도 검출된 객체라면 그 객체는 추적을 통해 동일 객체로 관리되고, 데이터처리부(500)에서 처리되어야 한다. 따라서, 객체초기화 인지수단(320)에 의해 객체가 N-1번째 프레임에서 검출된 객체가 아닌 경우에는 객체추적수단(370)에서 객체가 영상검출장치(100)의 뷰(view)에서 사라질 때까지 객체를 추적하게 되며(860), 이와는 별도로 대표이미지 확인수단(330)은 N-1번째 프레임에서 대표이미지가 선정되었는지를 확인하게 된다.그리고 대표이미지 확인수단(340)에서 분할된 목표 객체의 대표이미지가 선정되었는지 여부를 상기 데이터처리부(500)에 확인한다(840). 이때 대표이미지가 선정되지 않았다면 목표 객체가 보행자 객체인지, 차량 객체인지를 판별하는 객체 판별수단(350)에서 판별하여, 판별된 목표 객체의 영상을 목표객체 영상 전송수단(360)에서 객체 정보인식부(400)로 전송하게 되는 것이다(850). 만약 N-1번째 프레임에서 목표 객체의 대표이미지가 선정되었음이 확인되면 목표 객체 영상처리 종료수단(380)에서는 목표 객체에 대한 영상처리를 종료하게 된다(870).If the object whose motion is detected is an object detected in the N-th frame, the object is managed as the same object through tracking and should be processed by the data processor 500. Therefore, when the object is not detected by the object initialization recognition unit 320 in the N-1th frame, the object tracking means 370 until the object disappears from the view of the image detecting apparatus 100. The object is tracked (860), and separately from the representative image checking means (330) checks whether the representative image is selected in the N-1th frame. And the representative of the target object divided by the representative image checking means (340) The data processor 500 checks whether an image is selected (840). In this case, if the representative image is not selected, the object determining unit 350 determines whether the target object is a pedestrian object or a vehicle object, and determines the image of the determined target object in the object object image transmitting unit 360. It is to be transmitted to (400) (850). If it is confirmed that the representative image of the target object is selected in the N-1th frame, the target object image processing terminating unit 380 ends the image processing on the target object (870).

본 발명은 첨부된 도면을 참조하여 바람직한 실시예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 본 발명의 범주를 벗어남이 없이 많은 다양한 자명한 변형이 가능하다는 것은 명백하다. 따라서 본 발명의 범주는 이러한 많은 변형의 예들을 포함하도록 기술된 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the present invention has been described with reference to the accompanying drawings, it will be apparent to those skilled in the art that many various obvious modifications are possible without departing from the scope of the invention from this description. Therefore, the scope of the present invention should be construed by the claims described to include many examples of such modifications, and all technical ideas falling within the scope of the present invention should be construed as being included in the scope of the present invention.

100 : 영상검출장치, 200 : 영상입력부, 300 : 영상처리부, 400: 객체정보인식부, 500 : 데이터처리부, 600 : 데이터저장부 100: image detection device, 200: image input unit, 300: image processing unit, 400: object information recognition unit, 500: data processing unit, 600: data storage unit

Claims (5)

영상검출장치(100)에 의해 검출된 연속 영상을 프레임 단위의 정지 영상으로 변환하는 영상입력부(200)와, 상기 정지 영상을 전송받아 객체를 구분하는 영상처리부(300)와, 상기 구분된 객체의 정보를 추출하는 객체 정보인식부(400)와, 상기 추출된 객체정보를 데이터로 관리하는 데이터처리부(500)를 포함하여 이루어진 다중 객체 인식장치에 있어서,
상기 영상처리부(300)는 N번째 프레임의 정지 영상에서 객체의 움직임을 검출하는 객체 이동 검출수단(310);과
상기 움직임이 검출된 객체가 N-1번째 프레임의 정지 영상에서도 검출된 객체인지를 판단하는 객체초기화 인지수단(320);과
상기 움직임이 검출된 객체를 N번째 프레임의 정지 영상에서 목표 객체로 분할하는 객체영역 분할수단(330);과
상기 목표 객체가 보행자 객체인지, 차량 객체인지를 판별하는 객체 판별수단(350);과
상기 객체 판별수단(350)에 의해 판별된 목표 객체의 영상을 상기 객체 정보인식부(400)로 전송하는 목표객체 영상 전송수단(360);을
포함하여 구성되되,
상기 영상입력부(200)는 상기 영상검출장치(100)에서 검출된 연속영상을 압축하기 위한 엔코딩 수단과,
엔코딩 수단을 통해 압축된 연속영상을 기록하고, 기록된 연속영상을 다시 출력해 내기 위한 디코딩 수단을 포함하는 코덱;과
코덱으로부터 출력된 영상을 정지영상으로 변환하는 정지영상 변환수단을 포함하여 구성되며,
상기 객체 이동 검출수단(320)은 객체의 윤곽선을 검출하는 소벨 필터로 움직임을 검출하며,
상기 객체초기화 인지수단(320)에 의해 객체가 N-1번째 프레임에서 검출된 객체가 아닌 경우에는 객체를 추적하는 객체추적수단(370)을 더 포함하며,
상기 객체 추적수단(370)은 파악된 객체의 윤곽이 사각형 또는 요철 형태가 아닌 경우에는 객체 추적을 종료하며,
상기 객체 추적수단(370)에서 추적되는 객체는 객체마다 객체 고유의 인식자(ID)가 부여되는 것을 특징으로 하는 다중 객체 인식 장치.
An image input unit 200 for converting the continuous image detected by the image detecting apparatus 100 into a still image on a frame basis, an image processing unit 300 for receiving the still image, and classifying an object; In the multi-object recognition apparatus comprising an object information recognition unit 400 for extracting information, and a data processing unit 500 for managing the extracted object information as data,
The image processor 300 includes: an object movement detecting unit 310 for detecting a movement of an object in a still image of an Nth frame;
Object initialization recognizing means (320) for determining whether the object from which the movement is detected is an object detected even in the still image of the N-th frame;
Object region dividing means (330) for dividing the object from which the movement is detected into a target object in a still image of an Nth frame; and
Object discriminating means (350) for determining whether the target object is a pedestrian object or a vehicle object; and
Target object image transmitting means 360 for transmitting the image of the target object determined by the object discriminating means 350 to the object information recognizing unit 400;
Including but not limited to
The image input unit 200 includes encoding means for compressing the continuous image detected by the image detection apparatus 100;
A codec including a decoding means for recording the continuous image compressed through the encoding means and outputting the recorded continuous image again; and
And a still image converting means for converting an image output from the codec into a still image.
The object movement detecting unit 320 detects a movement with a Sobel filter detecting the contour of the object,
If the object is not the object detected in the N-th frame by the object initialization recognition unit 320 further comprises an object tracking means 370 for tracking the object,
The object tracking means 370 terminates object tracking when the identified object outline is not rectangular or irregularities.
The object tracked by the object tracking means (370) is a multi-object recognition device, characterized in that the object is given a unique identifier (ID).
제1항에 있어서,
상기 영상처리부(300)는 상기 분할된 목표 객체의 대표이미지가 선정되었는지 여부를 상기 데이터처리부(500)에 확인하는 대표이미지 확인수단(340);과
상기 대표이미지 확인수단(340)에 의해 데이터처리부(500)에서 목표 객체의 대표이미지가 선정되었음이 확인되면 목표 객체에 대한 영상처리를 종료하는 목표 객체 영상처리 종료수단(380);
을 더 포함하며 구성됨을 특징으로 하는 다중 객체 인식 장치.
The method of claim 1,
The image processing unit 300 includes representative image checking means 340 for confirming whether the representative image of the divided target object is selected to the data processing unit 500; and
Target object image processing terminating means (380) for terminating the image processing on the target object when it is confirmed by the representative image checking means (340) that the representative image of the target object is selected by the data processing unit (500);
Multiple object recognition apparatus further comprises and configured.
제1항 또는 제2항에 있어서,
상기 객체 정보인식부(400)는 상기 객체 판별수단(350)에 의해 판별된 객체가 보행자인 경우에 보행자 정보를 인식하는 보행자 정보인식부(410);와
상기 객체 판별수단(350)에 의해 판별된 객체가 차량인 경우에 차량 정보를 인식하는 차량 정보인식부(420)를
포함하여 구성됨을 특징으로 하는 다중 객체 인식 장치.
The method according to claim 1 or 2,
The object information recognition unit 400 may include a pedestrian information recognition unit 410 that recognizes pedestrian information when the object determined by the object determining unit 350 is a pedestrian;
The vehicle information recognizing unit 420 for recognizing vehicle information when the object determined by the object determining unit 350 is a vehicle is provided.
Multiple object recognition apparatus characterized in that it comprises a.
제3항에 있어서,
상기 보행자 정보인식부(410)는 상기 목표 객체의 상반부 영역을 분할하여, 얼굴윤곽을 파악하는 얼굴윤곽 파악부(430);과
상기 파악된 얼굴윤곽을 대표이미지로 선정하여 상기 데이터처리부(500)로 전송하는 대표이미지 전송수단(440)을 포함하며,
상기 차량 정보인식부(420)는 상기 목표 객체의 번호판 영역을 분할하여, 번호판 정보를 인식하는 번호판 정보파악부(450);과
상기 파악된 번호판 정보를 포함하는 번호판 영역을 대표이미지로 선정하여 상기 데이터처리부(500)로 전송하는 대표이미지 전송수단(460)을
포함하여 구성됨을 특징으로 하는 다중 객체 인식 장치.
The method of claim 3,
The pedestrian information recognition unit 410 is divided into the upper half region of the target object, the face contour determiner 430 for grasping the face contour; and
Representative image transmission means 440 to select the identified facial contour as a representative image and to transmit to the data processing unit 500,
The vehicle information recognizing unit 420 may divide the license plate area of the target object and recognize the license plate information 450.
Representative image transmission means 460 for selecting the license plate area including the identified license plate information as a representative image and transmits it to the data processor 500.
Multiple object recognition apparatus characterized in that it comprises a.
영상검출장치(100)에서 검출된 연속영상을 압축하며, 압축된 연속영상을 기록하고, 기록된 연속영상을 코덱으로부터 출력받아 정지영상으로 변환하는 영상입력부에서 상기 정지영상을 전송받아 객체를 구분하는 다중 객체 인식방법에 있어서,
영상처리부(300)는 현재 프레임인 N번째 프레임의 정지 영상에서 객체의 윤곽선을 검출하는 소벨필터로 움직임을 검출하는 객체 이동 검출수단(310)에서 객체의 움직임을 검출하는 단계(810);와
상기 움직임이 검출된 객체가 이전 프레임인 N-1번째 프레임의 정지 영상에서도 검출된 객체인지를 판단하는 객체초기화 인지수단(320)에서 판단하는 단계(820);와 움직임이 검출된 객체가 N번째 프레임의 정지영상에서 처음으로 검출된 객체라면 객체영역 분할수단(330)에 의해 N번째 프레임의 정지 영상에서 목표 객체로 분할하는 단계(830);와
목표 객체가 보행자 객체인지, 차량 객체인지를 판별하는 객체 판별수단(350)에서 판별하여, 판별된 목표 객체의 영상을 목표객체 영상 전송수단(360)에서 객체 정보인식부(400)로 전송하는 단계(850);와
상기 움직임이 검출된 객체가 N-1번째 프레임에서도 검출된 객체라면 객체추적수단(370)에서 객체가 영상검출장치(100)의 뷰(view)에서 사라질 때까지 객체를 추적하는 단계와(860),
상기 객체 추적수단(370)은 파악된 객체의 윤곽이 사각형 또는 요철 형태가 아닌 경우에는 객체 추적을 종료하며,
상기 객체 추적수단(370)에서 추적되는 객체는 객체마다 객체 고유의 인식자(ID)를 부여하는 단계와;
대표이미지 확인수단(330)은 N-1번째 프레임에서 대표이미지가 선정되었는지를 확인하는 단계와(840);와
대표이미지가 선정되지 않았다면 목표 객체가 보행자 객체인지, 차량 객체인지를 판별하는 객체 판별수단(350)에서 판별하여, 판별된 목표 객체의 영상을 목표객체 영상 전송수단(360)에서 객체 정보인식부(400)로 전송하며(850)
만약 N-1번째 프레임에서 목표 객체의 대표이미지가 선정되었음이 확인되면 목표 객체 영상처리 종료수단(380)에서는 목표 객체에 대한 영상처리를 종료하는 단계를
포함하여 이루어진 다중 객체 인식 방법. Compressing the continuous image detected by the image detecting apparatus 100, recording the compressed continuous image, and outputting the recorded continuous image from the codec to convert the image into a still image to receive the still image to distinguish the object In the multiple object recognition method ,
The image processing unit 300 detects the movement of the object in the object movement detecting means 310 for detecting the movement with a Sobel filter for detecting the contour of the object in the still image of the N-th frame, which is the current frame; and
Determining, by the object initialization recognizing means 320, whether the object is detected in the still image of the N-1th frame that is the previous frame (820); and the object in which the motion is detected is the Nth If the object is detected for the first time in the still image of the frame, dividing the object into the target object in the still image of the N-th frame by the object region dividing means 330; and
Determining by the object discriminating means 350 which determines whether the target object is a pedestrian object or a vehicle object, and transmitting the determined image of the target object to the object information recognition unit 400 from the target object image transmitting means 360. 850; and
Tracking the object until the object disappears from the view of the image detecting apparatus 100 by the object tracking means 370 if the object in which the movement is detected is the object detected even in the N-1th frame; ,
The object tracking means 370 terminates object tracking when the identified object outline is not rectangular or irregularities.
Assigning an object-specific identifier (ID) to each object tracked by the object tracking means (370);
Representative image checking means 330 is a step (840) confirming whether a representative image is selected in the N-1th frame; and
If the representative image is not selected, the object determining unit 350 determines whether the target object is a pedestrian object or a vehicle object, and determines the image of the determined target object by the object information recognizing unit in the target object image transmitting unit 360. 400) (850)
If it is confirmed that the representative image of the target object is selected in the N-1th frame, the target object image processing terminating unit 380 ends the image processing for the target object.
Multiple object recognition method, including.
KR1020120040436A 2012-04-18 2012-04-18 Apparatus and method for Multi-Object Recognition KR101173853B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120040436A KR101173853B1 (en) 2012-04-18 2012-04-18 Apparatus and method for Multi-Object Recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120040436A KR101173853B1 (en) 2012-04-18 2012-04-18 Apparatus and method for Multi-Object Recognition

Publications (1)

Publication Number Publication Date
KR101173853B1 true KR101173853B1 (en) 2012-08-14

Family

ID=46880429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120040436A KR101173853B1 (en) 2012-04-18 2012-04-18 Apparatus and method for Multi-Object Recognition

Country Status (1)

Country Link
KR (1) KR101173853B1 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357659B1 (en) * 2013-05-29 2014-02-03 주식회사 비전테크 Apparatus for monitoring edge
KR101500552B1 (en) * 2013-03-29 2015-03-10 주식회사 이미지넥스트 Apparatus and Method for Processing Image of Vehicle
KR20160035463A (en) * 2014-09-23 2016-03-31 현대자동차주식회사 System for tracking a object in road and method thereof
KR20160118633A (en) * 2015-04-02 2016-10-12 현대자동차주식회사 Object determination system and method of the vehicle around
KR101749029B1 (en) * 2015-12-08 2017-06-20 연세대학교 산학협력단 Apparatus and Method of Body Part Detection in Image
KR101788663B1 (en) * 2015-10-07 2017-10-20 주식회사 성우모바일 System for processing integrated data of the ultra sonic sensors and camera on vehicle
KR20180058606A (en) * 2016-11-23 2018-06-01 한국전자통신연구원 Objection recognition device, autonomous travel system including the same, and objection recognizing method using the objection recognition device
KR101942808B1 (en) 2018-11-13 2019-01-29 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN
KR101977111B1 (en) 2018-08-14 2019-08-28 한국철도기술연구원 a walking line solution system
KR102082082B1 (en) * 2019-08-21 2020-02-26 주식회사 싸이토피아 Camera system for multi-lane recognizing number of vehicles
KR20200058260A (en) 2019-01-18 2020-05-27 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN and Driving Method Thereof
KR102127276B1 (en) 2018-12-11 2020-06-26 주식회사 인텔리빅스 The System and Method for Panoramic Video Surveillance with Multiple High-Resolution Video Cameras
KR102201096B1 (en) 2020-06-11 2021-01-11 주식회사 인텔리빅스 Apparatus for Real-time CCTV Video Analytics and Driving Method Thereof
KR102284806B1 (en) * 2021-04-29 2021-08-03 (주)비상정보통신 Devices and method for processing multiple dynamic objects recognizable multi-resolution images
KR20210103210A (en) 2020-02-13 2021-08-23 주식회사 인텔리빅스 Apparatus for Processing Images and Driving Method Thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100326203B1 (en) * 1999-06-11 2002-02-27 김운용 Method and apparatus for face photographing and recognizing by automatic trading a skin color and motion
KR100983777B1 (en) * 2010-04-15 2010-09-27 (주)사라다 Image capture system for object recognitions and method for controlling the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100326203B1 (en) * 1999-06-11 2002-02-27 김운용 Method and apparatus for face photographing and recognizing by automatic trading a skin color and motion
KR100983777B1 (en) * 2010-04-15 2010-09-27 (주)사라다 Image capture system for object recognitions and method for controlling the same

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101500552B1 (en) * 2013-03-29 2015-03-10 주식회사 이미지넥스트 Apparatus and Method for Processing Image of Vehicle
KR101357659B1 (en) * 2013-05-29 2014-02-03 주식회사 비전테크 Apparatus for monitoring edge
KR102164637B1 (en) * 2014-09-23 2020-10-12 현대자동차주식회사 System for tracking a object in road and method thereof
KR20160035463A (en) * 2014-09-23 2016-03-31 현대자동차주식회사 System for tracking a object in road and method thereof
KR20160118633A (en) * 2015-04-02 2016-10-12 현대자동차주식회사 Object determination system and method of the vehicle around
KR102287310B1 (en) * 2015-04-02 2021-08-09 현대자동차주식회사 Object determination system and method of the vehicle around
KR101788663B1 (en) * 2015-10-07 2017-10-20 주식회사 성우모바일 System for processing integrated data of the ultra sonic sensors and camera on vehicle
KR101749029B1 (en) * 2015-12-08 2017-06-20 연세대학교 산학협력단 Apparatus and Method of Body Part Detection in Image
KR102267040B1 (en) * 2016-11-23 2021-06-21 한국전자통신연구원 Objection recognition device, autonomous travel system including the same, and objection recognizing method using the objection recognition device
KR20180058606A (en) * 2016-11-23 2018-06-01 한국전자통신연구원 Objection recognition device, autonomous travel system including the same, and objection recognizing method using the objection recognition device
KR101977111B1 (en) 2018-08-14 2019-08-28 한국철도기술연구원 a walking line solution system
KR101942808B1 (en) 2018-11-13 2019-01-29 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN
KR102127276B1 (en) 2018-12-11 2020-06-26 주식회사 인텔리빅스 The System and Method for Panoramic Video Surveillance with Multiple High-Resolution Video Cameras
KR20200058260A (en) 2019-01-18 2020-05-27 주식회사 인텔리빅스 Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN and Driving Method Thereof
KR102082082B1 (en) * 2019-08-21 2020-02-26 주식회사 싸이토피아 Camera system for multi-lane recognizing number of vehicles
KR20210103210A (en) 2020-02-13 2021-08-23 주식회사 인텔리빅스 Apparatus for Processing Images and Driving Method Thereof
KR102201096B1 (en) 2020-06-11 2021-01-11 주식회사 인텔리빅스 Apparatus for Real-time CCTV Video Analytics and Driving Method Thereof
KR102284806B1 (en) * 2021-04-29 2021-08-03 (주)비상정보통신 Devices and method for processing multiple dynamic objects recognizable multi-resolution images
WO2022231053A1 (en) * 2021-04-29 2022-11-03 (주)비상정보통신 Multi-resolution image processing apparatus and method capable of recognizing plurality of dynamic objects

Similar Documents

Publication Publication Date Title
KR101173853B1 (en) Apparatus and method for Multi-Object Recognition
CN103824070B (en) A kind of rapid pedestrian detection method based on computer vision
CN109636795B (en) Real-time non-tracking monitoring video remnant detection method
KR101716646B1 (en) Method for detecting and recogniting object using local binary patterns and apparatus thereof
Singh et al. Visual big data analytics for traffic monitoring in smart city
US9159137B2 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
CN103366154B (en) Reconfigurable clear path detection system
CN109918971B (en) Method and device for detecting number of people in monitoring video
KR20200058260A (en) Apparatus for CCTV Video Analytics Based on Object-Image Recognition DCNN and Driving Method Thereof
Wang et al. Real-time smoke detection using texture and color features
KR101337554B1 (en) Apparatus for trace of wanted criminal and missing person using image recognition and method thereof
Ozcelik et al. A vision based traffic light detection and recognition approach for intelligent vehicles
CN111832461A (en) Non-motor vehicle riding personnel helmet wearing detection method based on video stream
Chato et al. Image processing and artificial neural network for counting people inside public transport
CN107122732B (en) High-robustness rapid license plate positioning method in monitoring scene
Tao et al. Smoke vehicle detection based on robust codebook model and robust volume local binary count patterns
JP2021531598A (en) Systems and methods for use in object detection from video streams
Kumar et al. Traffic surveillance and speed limit violation detection system
KR101547255B1 (en) Object-based Searching Method for Intelligent Surveillance System
CN113936252A (en) Battery car intelligent management system and method based on video monitoring
Lin et al. Two-Stage License Plate Recognition System Using Deep learning
Sharma et al. Automatic vehicle detection using spatial time frame and object based classification
Wang et al. A new pedestrian detection algorithm used for Advanced Driver-Assistance System with one cheap camera
Kumar et al. Smart City Traffic Management and Surveillance System for Indian Scenario
KR101154350B1 (en) Multiple Images Processing system using Detection of Objects and segmenting - recognizing of High- resolution Image and there of.

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150807

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160808

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170808

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180731

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190731

Year of fee payment: 8