KR20150145686A

KR20150145686A - Apparatus for image processing using 3dimension graphic model and method thereof

Info

Publication number: KR20150145686A
Application number: KR1020150003188A
Authority: KR
Inventors: 진석식; 박대혁
Original assignee: 주식회사 세인전장
Priority date: 2014-06-20
Filing date: 2015-01-09
Publication date: 2015-12-30
Also published as: KR101655204B1

Abstract

Disclosed are an image processing device using a graphic processing unit (GPU) and a method thereof. The image processing device using a GPU comprises: a collecting module for collecting an image and image data obtained from a car camera, and driving road information obtained through a global positioning system (GPS); a conversion module for extracting an object of the image data from the information collecting module, and converting the image data into a three-dimensional image by using the extracted object; and a display module for displaying the image converted into the three-dimensional image.

Description

3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법 {APPARATUS FOR IMAGE PROCESSING USING 3DIMENSION GRAPHIC MODEL AND METHOD THEREOF} TECHNICAL FIELD [0001] The present invention relates to an image processing apparatus using a three-dimensional graphic model and an image processing method using the same,

본 발명은 영상처리 장치 및 그 방법에 관한 것으로서, 구체적으로 GPU를 이용하여 차량 전방이미지를 3D로 전환하기 위한 영상처리 장치 및 그 방법에 관한 것이다.
The present invention relates to an image processing apparatus and method thereof, and more particularly, to an image processing apparatus and method for converting a vehicle front image into 3D using a GPU.

영상을 통한 정보 처리 기술에 대한 관심이 날로 증가되고 있다. 특히, 차량 전방 또는 후방에 탑재된 카메라를 통해 획득하는 영상을 이용하여 충돌사고를 방지를 하기 위한 노력이 계속되고 있다. Interest in information processing technology through video is increasing day by day. Particularly, efforts are being made to prevent collision by using an image acquired through a camera mounted on the front or rear of the vehicle.

차량 전방에 장착된 카메라를 통해 주행에 방해를 줄 수 있는 물체(예컨대, 보행자, 차량 등)의 존재 유무 및 주행에 방해를 주는 물체의 위치를 알 수 있으면, 대형 교통 사고를 방지할 수 있다.It is possible to prevent a large traffic accident by knowing the presence of an object (for example, a pedestrian, a vehicle, etc.) that may obstruct the traveling through the camera mounted on the front of the vehicle and the position of the object obstructing the traveling.

하지만, 종래 영상 처리 기술에 의해서는 도 1에 도시된 바와 같이 전방 주행 차량을 인식하기 위해 전처리 과정과 후처리 과정을 포함하는 이미지 처리과정이 수행된다. 이 때문에, 이미지 디스플레이 응답시간이 지연되고, 운전자에게 2D 형태의 전방이미지가 제공되어 충돌 대상과의 거리 감지 등에 어려움이 있다. However, according to the conventional image processing technique, as shown in FIG. 1, an image processing process including a preprocessing process and a post-process process is performed in order to recognize a forward running vehicle. Therefore, the image display response time is delayed and the driver is provided with the 2D front image, which makes it difficult to detect the distance to the collision object.

또한, 운전자에게 제공되는 2D 형태의 이미지는 전방 물체의 원근감 및 움직임을 정교하게 표현할 수 없는 문제가 있다. In addition, the 2D image provided to the driver has a problem that the perspective and movement of the forward object can not be expressed precisely.

또한, 최근 반도체 처리속도가 향상되고 있으며, 기존의 CPU 클럭 만을 증가시키는 방법에서 멀티 코어가 내장되는 방향과 GPU가 추가되는 방향으로 발전하고 있다. 게임을 비롯해서 멀티미디어 기기 관련된 응용 솔루션이 많아지고, 다양화되면서 GPU의 처리 양에 대한 발전이 급진적으로 이루어지고 있다. CPU에서 처리하는 것보다 GPU에서 처리하는 것이 더 빠르고, 안정적으로 동작되는 경우도 증가되고 있다.
Recently, the semiconductor processing speed is improving, and in the method of increasing only the CPU clock, the direction of the embedded multicore and the GPU are being developed. As the number of applications related to multimedia devices including games increases and diversifies, the progress of processing amount of GPU is being radically improved. Processing on the GPU is faster and more stable than processing by the CPU.

본 발명의 목적은 운전자에게 제공되는 2D 형태의 전방이미지를 GPU(Graphic Process Unit)를 이용하여 3D로 실시간 전환 시킴으로써, 3D 형태로 전환된 정교한 전방이미지를 운전자에게 빠르게 제공한다.An object of the present invention is to provide a driver with a sophisticated forward image converted into a 3D form by quickly converting a 2D front image provided to a driver into 3D using a GPU (Graphic Process Unit).

또한, 수 많은 오브젝트 처리 유닛을 내장한 GPU(Graphic Process Unit)을 영상처리에 적용하여 실시간 영상처리를 수행하는 영상처리 장치 및 그 방법을 제공하는 것을 목적으로 한다. It is also an object of the present invention to provide an image processing apparatus and a method thereof that perform real-time image processing by applying a GPU (Graphic Process Unit) having a large number of object processing units to image processing.

또한, 카메라 영상인 2D 이미지를 공간 상의 영역으로 재배치하여 영상인식을 진행함으로써 우수한 품질의 전방이미지를 운전자에게 제공한다.
In addition, a 2D image, which is a camera image, is rearranged to an area on the space to perform image recognition, thereby providing a driver with a good quality front image.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 영상처리 장치는 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집하고, 차량에 설치되어 있는 카메라에서 촬영한 이미지에서 인식된 영상을 3차원 공간 좌표계에 매핑하여 사용자가 원하는 정보를 추출하는 수집모듈 및 정보 수집 모듈로부터 이미지 데이터로부터 오브젝트(object)를 추출하고, 상기 추출된 오브젝트를 이용하여 이미지 데이터를 3차원 이미지로 변환하는 변환모듈을 포함한다. According to an aspect of the present invention, there is provided an image processing apparatus for collecting image and image data acquired from a camera mounted on a vehicle, traveling road information acquired through a GPS, Extracts an object from the image data from a collection module and an information collection module that extracts information desired by the user by mapping the recognized image in the image captured in the 3D spatial coordinate system and extracts the image data To a three-dimensional image.

바람직한 실시예에 있어서, 변환모듈은 수집된 이미지에서 배경과 오브젝트를 분리하는 분리부, 수집된 이미지에서 분리부에 의해 분리된 오브젝트를 추출하는 추출부 및 수집된 이미지에 포함된 소실점을 검색하고, 상기 추출된 오브젝트와 상기 검색된 소실점을 이용하여, 산출된 거리 정보가 3차원 공간 좌표계에 매핑되기 위한 3차원 변환을 수행하고, 수행 결과를 3차원 공간 좌표에 매핑하여 상기 수집된 이미지를 3차원으로 변환하는 변환부를 포함한다.In a preferred embodiment, the conversion module includes a separator for separating the background and the object from the collected image, an extractor for extracting the object separated by the separator in the collected image, and a vanishing point included in the collected image, Performing three-dimensional transformation for mapping the calculated distance information to a three-dimensional spatial coordinate system using the extracted object and the retrieved vanishing point, mapping the result to three-dimensional space coordinates, And a conversion unit for converting the image data.

바람직한 실시예에 있어서, 디스플레이 모듈은 차량 운전자의 입력에 따라, 적어도 하나의 정보 전달 아이콘을 생성하여 생성된 정보전달 아이콘을 디스플레이 한다.In a preferred embodiment, the display module generates at least one information transfer icon and displays the generated information transfer icon according to the input of the vehicle operator.

바람직한 실시예에 있어서, 정보 전달 아이콘은 변환모듈로부터 획득하는 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보를 차량 운전자에게 전달한다.In a preferred embodiment, the information transfer icon delivers lane information, obstacle detection information, and driving hazard warning information included in the three-dimensional image acquired from the conversion module to the vehicle driver.

바람직한 실시예에 있어서, 변환모듈은 수집된 이미지로부터 3차원 공간 좌표를 구성하는 버텍스(vertex)로 구성된 폴리곤(Polygon)에 추출된 오브젝트 정보를 공간 좌표에 등록하여 3차원 데이터를 공간 좌표로 변환한다.In a preferred embodiment, the conversion module converts object information extracted in a polygon composed of vertices constituting three-dimensional spatial coordinates from the collected image into spatial coordinates to convert the three-dimensional data into spatial coordinates .

본 발명의 다른 일면에 따른 영상 처리 방법은, 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집하는 과정, 정보 수집 모듈로부터 상기 이미지 데이터로부터 오브젝트(object)를 추출하는 과정 및 추출된 오브젝트를 이용하여 상기 이미지 데이터를 3차원 이미지로 변환하는 과정을 포함한다.According to another aspect of the present invention, there is provided an image processing method including the steps of: collecting image and image data acquired from a vehicle-mounted camera; traveling road information acquired through a GPS; extracting an object from the image data from the information collection module; And converting the image data into a three-dimensional image using the extracted object.

바람직한 실시예에 있어서, 영상 처리 방법은 3차원 이미지로 변환된 이미지를 디스플레이 하는 과정을 더 포함한다. In a preferred embodiment, the image processing method further comprises displaying the image converted into the three-dimensional image.

바람직한 실시예에 있어서, 이미지 데이터를 3차원 이미지로 변환하는 과정은 수집된 이미지에서 배경과 오브젝트를 분리하는 과정, 수집된 이미지에서 분리부에 의해 분리된 오브젝트를 추출하는 과정, 수집된 이미지에 포함된 소실점을 검색하고, 추출된 오브젝트와 상기 검색된 소실점을 이용하여 수집된 이미지를 3D로 변환하는 과정을 포함한다. In the preferred embodiment, the process of converting the image data into the three-dimensional image includes a process of separating the background and the object from the collected image, a process of extracting the object separated by the separator in the collected image, And converting the collected image into 3D using the extracted object and the retrieved vanishing point.

바람직한 실시예에 있어서, 변환된 이미지를 디스플레이 하는 과정은 차량 운전자의 입력에 따라, 적어도 하나의 정보 전달 아이콘을 생성하여 생성된 정보전달 아이콘을 디스플레이 한다.In a preferred embodiment, the process of displaying the converted image displays at least one information transfer icon and the generated information transfer icon in accordance with the input of the vehicle operator.

바람직한 실시예에 있어서, 수집된 이미지를 3D로 변환하는 과정은 수집된 이미지로부터 3D 이미지를 구성하는 폴리곤(Polygon)을 추출하는 과정 및 추출된 폴리곤에 2D 이미지인 상기 수집된 이미지를 매핑하는 과정을 포함한다.In the preferred embodiment, the process of converting the collected image to 3D includes a process of extracting a polygon constituting a 3D image from the collected image, and a process of mapping the collected image, which is a 2D image, to the extracted polygon .

바람직한 실시예에 있어서, 정보 전달 아이콘은 변환된 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보 및 최적 차속 정보를 포함하는 주행 안전 정보를 차량 운전자에게 전달한다.
In a preferred embodiment, the information transfer icon conveys driving safety information including lane information, obstacle detection information, warning warning during driving, and optimal vehicle speed information included in the converted three-dimensional image to the vehicle driver.

본 발명에 따르면, GPU를 이용하여 실시간 영상처리를 가능하게 하여, 영상처리 응답 시간 성능을 향상 시킨다.According to the present invention, real-time image processing can be performed using a GPU, thereby improving image processing response time performance.

또한, 차량 전방 영상 및 안전 주행을 위해 필요한 정보 등을 운전자에게 실시간 3D 영상으로 제공함으로써, 운전자가 전방에 위치하는 제동 대상과의 거리 등을 보다 용이하게 인지 할 수 있도록 하고, 운전자에게 고퀄리티 영상을 제공 가능하다. In addition, it is possible to provide the driver with the information necessary for the safe driving of the vehicle and the forward image in a real-time 3D image so that the driver can more easily perceive the distance to the braking object located ahead, .

아울러, GPU의 영상처리 속도 향상으로 인해, 영상 처리에 필요한 연산을 보다 신속히 수행하여, 실시간 영상처리가 가능하고, 2D 영상을 3D 공간에 영상 매칭을 수행하여 정확한 인식 및 위치 판별이 가능하다. 이로 인해, 전반적인 영상처리 작업 속도를 향상시켜 사용자의 편의를 증대한다.
In addition, due to the improved image processing speed of the GPU, it is possible to perform the operations required for image processing more quickly, real-time image processing is possible, and accurate recognition and position determination can be performed by performing 2D image matching in 3D space. This increases the speed of the overall image processing operation, thereby enhancing the user's convenience.

도 1은 종래기술의 이미지 처리 과정을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치의 대략적인 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상 처리 장치의 상세한 구성을 나타낸 블록도이다.
도 4a는 본 발명의 실시예에 따른 GPU의 구조를 나타낸 도면이고, 도 4b 내지 도 4c는 본 발명의 실시예에 따른 오브젝트 추출과정의 예를 나타낸 도면이다.
도 5는 실시예에 따른 3D 이미지 변환과정의 이해를 돕기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 7은 본 발명의 실시예에 따른 이미지 변환 과정을 나타낸 흐름도이다.
도 8은 본 발명의 실시예에 따른 영상처리 방법이 실행될 수 있는 컴퓨터 장치의 일 구성을 도시한 도면이다.1 is a diagram showing a conventional image processing process.
2 is a block diagram showing a schematic configuration of an image processing apparatus according to an embodiment of the present invention.
3 is a block diagram showing a detailed configuration of an image processing apparatus according to an embodiment of the present invention.
FIG. 4A is a diagram illustrating a structure of a GPU according to an embodiment of the present invention, and FIGS. 4B to 4C are diagrams illustrating an example of an object extraction process according to an embodiment of the present invention.
FIG. 5 is a diagram for helping an understanding of the 3D image conversion process according to the embodiment.
6 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
7 is a flowchart illustrating an image conversion process according to an embodiment of the present invention.
8 is a diagram showing a configuration of a computer apparatus in which an image processing method according to an embodiment of the present invention can be executed.

본 발명은 산업통상자원부(MOTIE)의 재원으로 한국산업기술진흥원(KIAT)의 지원을 받아 수행한 “그린 전기자동차(RE-EV) 실용화 연구기반 구축사업” 의 지원을 받아 수행된 연구결과이다.The present invention is a result of research carried out with the support of the "RE-EV practical research base construction project" which was funded by the Ministry of Industry and Trade (MOTIE) and supported by the Korea Industrial Technology Development Organization (KIAT).

또한, 본 발명은 산업통상자원부(Ministry of Trade Industry and Energy, MOTIE)와 한국산업기술진흥원(Korea Institute for Advancement of Technology, KIAT)의 지원을 받아 수행한 “0043358 분해능 10cm 이내의 탑뷰(top view)와 파노라마 뷰(panorama view)가 가능한 주변 이미지 정보 구성 및 인식 시스템”개발사업 지원을 받아 수행된 연구결과이다 .The present invention is also applicable to a top view within 10 cm of resolution 0043358 with the support of the Ministry of Trade Industry and Energy (MOTIE) and the Korea Institute of Advancement of Technology (KIAT) And a peripheral image information configuration and recognition system capable of panorama view ".

본 발명에서는 운전자에게 제공되는 2D 형태의 전방이미지를 GPU(Graphic Process Unit)를 이용하여 3D로 실시간 전환 시킴으로써, 3D 형태로 전환된 정교한 전방이미지를 운전자에게 빠르게 제공한다. 이를 통해 차량 디스플레이 시스템 전체의 응답 성능을 향상시킨다. In the present invention, a front image of a 2D type provided to the driver is converted into 3D in real time using a GPU (Graphic Process Unit), thereby providing a driver with a sophisticated forward image converted into a 3D form. Thereby improving the overall response performance of the vehicle display system.

또한, 수 많은 오브젝트 처리 유닛을 내장한 GPU(Graphic Process Unit)을 영상처리에 적용하여 실시간 영상처리를 수행하는 영상처리 장치 및 그 방법을 제공함으로써, 차량 전방 영상 및 안전 주행을 위해 필요한 정보 등을 운전자에게 실시간 3D 영상으로 디스플레이 하여 운전자가 전방에 위치하는 제동 대상과의 거리 등을 보다 용이하게 인지 할 수 있도록 하고, 운전자에게 고퀄리티 영상을 제공한다.In addition, by providing a video processing apparatus and method in which real-time image processing is performed by applying a GPU (Graphic Process Unit) containing a large number of object processing units to image processing, information necessary for driving a vehicle forward image and safety is provided The 3D image is displayed to the driver in real time so that the driver can more easily recognize the distance to the front braking object and provide the driver with a high quality image.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.

본 명세서에서 사용되는 ‘모듈’ 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 직접 회로, 직접 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다. The term " module ", as used herein, should be interpreted to include software, hardware, or a combination thereof, depending on the context in which the term is used. For example, the software may be machine language, firmware, embedded code, and application software. In another example, the hardware may be a circuit, a processor, a computer, an integrated circuit, a circuit core, a sensor, a micro-electro-mechanical system (MEMS), a passive device, or a combination thereof.

도 1은 본 발명의 일실시예에 따른 영상 처리 장치의 대략적인 구성을 나타낸 블록도이다. 1 is a block diagram showing a schematic configuration of an image processing apparatus according to an embodiment of the present invention.

도 1을 참조하면, 실시예에 따른 GPU를 이용한 영상처리 장치는 수집모듈(100), 변환모듈(200) 및 디스플레이모듈(300)을 포함한다.Referring to FIG. 1, an image processing apparatus using a GPU according to an embodiment includes a collection module 100, a conversion module 200, and a display module 300.

수집모듈(100)은 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집한다. 또한, 차량에 설치되어 있는 카메라에서 촬영한 이미지에서 인식된 영상을 3차원 공간 좌표계에 매핑하여 사용자가 원하는 정보를 추출한다. The collection module 100 collects image and image data acquired from the vehicle-mounted camera, and travel road information acquired through GPS. Also, an image recognized by an image captured by a camera installed in the vehicle is mapped to a three-dimensional spatial coordinate system to extract information desired by the user.

변환모듈(200)은 수집모듈(100)로부터 이미지 데이터의 오브젝트(object)를 추출하고, 추출된 오브젝트를 이용하여 이미지 데이터를 3차원 이미지로 변환한다. 이후, 디스플레이 모듈(300)은 3차원 이미지로 변환된 이미지를 디스플레이 한다.The conversion module 200 extracts an object of image data from the collection module 100 and converts the image data into a three-dimensional image using the extracted object. Then, the display module 300 displays the image converted into the three-dimensional image.

예컨대, 변환모듈은 수집된 이미지로부터 3차원 공간 좌표를 구성하는 버텍스(vertex)로 구성된 폴리곤(Polygon)에 추출된 오브젝트 정보를 공간 좌표에 등록하여 3차원 데이터를 공간 좌표로 변환하여 인식의 정밀도를 향상 시킨다.For example, the conversion module registers object information extracted in a polygon composed of vertices constituting three-dimensional spatial coordinates from the collected image in spatial coordinates, converts the three-dimensional data into spatial coordinates, .

본 발명에서 사용되는 도 4a 에 도시된 GPU는 그래픽처리를 위한 고성능의 처리장치이다. CPU(Central Processing Unit: 중앙처리장치)의 연산 결과를 그림이나 글자 신호로 변환하여 출력하기 때문에, 고 차원의 이미지를 디스플레이 하기 어렵다. 하지만, GPU 기반 그래픽카드를 이용하면, 3D 그래픽 성능이 크게 향상되기 때문에 고차원 이미지 디스플레이를 한층 원활하게 구동할 수 있다. The GPU shown in FIG. 4A used in the present invention is a high-performance processing device for graphics processing. It is difficult to display a high-dimensional image because the calculation result of the CPU (Central Processing Unit) is converted into a picture or character signal and outputted. However, with GPU-based graphics cards, 3D graphics performance is greatly improved, enabling higher-dimensional image display to run more smoothly.

도 2는 본 발명의 일실시예에 따른 영상 처리 장치의 상세한 구성을 나타낸 블록도이다. 2 is a block diagram showing a detailed configuration of an image processing apparatus according to an embodiment of the present invention.

도 2를 참조하면, 실시예에 따른 영상 처리 장치의 변환모듈(200)은 분리부(210), 추출부(230) 및 변환부(250)를 포함하여 구성되고, 디스플레이모듈(300)은 입력부(310), 생성부(330) 및 출력부(350)를 포함하여 구성된다.2, the conversion module 200 of the image processing apparatus according to the embodiment includes a separation unit 210, an extraction unit 230, and a conversion unit 250, An output unit 310, a generating unit 330, and an output unit 350.

분리부(210)는 수집된 이미지에서 배경과 오브젝트(object)를 분리한다. 실시예에 있어서, 3D 변환을 위해 배경과 오브젝트를 분리하는 이유는 주행 중 수집되는 영상에 포함된 객체들은 정지상태가 아니므로, 차량이 주행 중인 상태에서 이미지에 포함된 상대적인 움직임을 인식하기 위해 배경과 오브젝트의 분리를 수행한다. The separator 210 separates the background and the object from the collected image. In the embodiment, the reason for separating the background and the object for the 3D conversion is that the objects included in the image collected during the driving are not in the stopped state. Therefore, in order to recognize the relative movement included in the image while the vehicle is running, And separates the object.

이후, 추출부(230) 수집된 이미지에서 분리부에 의해 분리된 오브젝트를 추출한다. 예컨대, 추출부(230)는 도 4b 에 도시된 바와 같이, 소실점을 기준으로 수직성분을 갖는 물체를 검색하고, 검색된 물체를 오브젝트화 하여 추출하거나, 소실점을 기준으로 물체의 수직 성분을 검색한 후, 검색된 수직성분을 이용하여 물체를 오브젝트화 한다. 예컨대, 소실점에서 상, 하, 좌, 우 면을 선택하고, 선택된 면에서 오브젝트를 찾기 위한 수직 성분을 검색한다. 또한, 추출부(230)는 얼굴, 팔 다리의 구조를 가진 움직이거나 정지한 사람은 소실점으로 기준하거나, 사람을 객체로 추출한다. 또 다른 예로서, 추출부(230)는 도 4c에 도시된 바와 같이 원근감에 위배되는 물체는 오브젝트로 판단하여 추출한다.Then, the extracting unit 230 extracts the objects separated by the separating unit from the collected images. For example, as shown in FIG. 4B, the extracting unit 230 may search for an object having a vertical component on the basis of the vanishing point, extract the object to be searched, or search for a vertical component of the object on the basis of the vanishing point , And objects are objectsized using the retrieved vertical component. For example, upper, lower, left, and right planes are selected at the vanishing point, and a vertical component for searching for an object on the selected plane is searched. The extraction unit 230 extracts a person as an object, based on a vanishing point or a moving or stopping person having the structure of a face and an arms and legs. As another example, the extracting unit 230 extracts an object, which is contrary to the perspective, as an object, as shown in FIG. 4C.

또한, 추출부(230)에서는 소실점을 검색이 불가능한 경우(예컨대, 전방의 트럭과 같은 대형물체가 소실점을 가릴 경우), 기 저장된 영상 데이터 및 이미지 데이터를 이용하여, 기 저장된 소실점 방향성 데이터를 기반으로 가상의 소실점을 생성하여 이미지에 포함된 오브젝트를 추출한다. If the vanishing point can not be retrieved (for example, when a large object such as a truck in front is covered by a vanishing point), the extracting unit 230 extracts the vanishing point based on the previously stored vanishing point directional data Create a virtual vanishing point and extract the objects contained in the image.

변환부(250)는 수집된 이미지에 포함된 소실점을 검색하고, 추출된 오브젝트와 상기 검색된 소실점을 이용하여 수집된 이미지를 3D로 변환한다.The conversion unit 250 searches for the vanishing point included in the collected image, and converts the collected image into 3D using the extracted object and the vanishing point.

예컨대, 변환부(250)에서는 수집된 이미지에 포함된 소실점을 검색하고, 추출된 오브젝트와 검색된 소실점을 이용하여, 산출된 거리 정보가 3차원 공간 좌표계에 매핑되기 위한 3차원 변환을 수행하고, 수행 결과를 3차원 공간 좌표에 매핑하여 상기 수집된 이미지를 3차원으로 변환시킨다.For example, the transform unit 250 searches for the vanishing point included in the collected image, performs three-dimensional transformation for mapping the calculated distance information to the three-dimensional spatial coordinate system using the extracted object and the vanishing point that is searched, Maps the result to three-dimensional spatial coordinates, and converts the collected image into three-dimensional coordinates.

실시예에 있어서, 변환모듈(200)에서는 수집된 이미지로부터 3D 이미지를 구성하는 폴리곤(Polygon)을 추출하고, 추출된 폴리곤에 2D 이미지인 수집된 이미지를 매핑하여 수집된 이미지를 3D로 변환 가능하다. 폴리곤이란, 3D 그래픽을 구성하는 기본 단위인 다각형을 의미한다. 다각형 모양의 폴리곤이 여럿 모여서 하나의 캐릭터나 ‘3D 오브젝트’(3D Object)를 이루게 된다. 도 5 는 실시예에 따른 3D 이미지 변환과정의 이해를 돕기 위한 도면이다. In the embodiment, the conversion module 200 extracts a polygon forming a 3D image from the collected image, maps the collected image, which is a 2D image, to the extracted polygon, and converts the collected image into 3D . A polygon refers to a polygon that is a basic unit constituting a 3D graphic. The polygons of the polygon are gathered together to form a character or a '3D object'. FIG. 5 is a diagram for helping an understanding of the 3D image conversion process according to the embodiment.

디스플레이 모듈(300)에 구비되는 입력부(310)는 터치 스크린 형태로서, 입력과 동시에 변환되는 3D 이미지를 출력하여 운전자에게 제공가능 하다. 실시예에 있어서, 운전자의 입력에 따라, 생성부(330)에서는 적어도 하나의 정보 전달 아이콘을 생성하고, 생성된 정보 전달 아이콘을 조합하여 출력부(350)를 통해 디스플레이 한다. 이때, 정보 전달 아이콘은 변환모듈(200)로부터 획득하는 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보 등을 차량 운전자에게 제공할 수 있다.The input unit 310 included in the display module 300 is a touch screen type and can output a 3D image that is simultaneously converted to an input and can be provided to a driver. In an embodiment, the generating unit 330 generates at least one information transfer icon according to the input of the driver, and displays the combined information transfer icons through the output unit 350 in combination. At this time, the information transfer icon may provide lane information, obstacle detection information, and danger warning information during driving, which are included in the three-dimensional image acquired from the conversion module 200, to the vehicle driver.

여기서, 정보 전달 아이콘에는 사용자에 제공하는 인디케이터(indicator)에 표현되는 아이콘으로서 30km/h 60km/h 90km/h와 같은 속도를 표시하거나, 사람을 포함하는 전방 장애물을 표시하거나 차선 정보를 표시 할 수 있다.Here, the information transfer icon may be an icon represented by an indicator provided to the user, such as a speed of 30 km / h 60 km / h 90 km / h, a front obstacle including a person, have.

이하, 본 발명의 다른 실시예에 따른 GPU를 이용한 영상처리 방법에 대해 도면을 참조하여 설명한다. Hereinafter, an image processing method using a GPU according to another embodiment of the present invention will be described with reference to the drawings.

도 6은 본 발명의 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다. 6 is a flowchart illustrating an image processing method according to an embodiment of the present invention.

S100 과정에서는 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집을 수행한다. 이후, S200 과정에서는 수집된 이미지 데이터로부터 오브젝트(object)를 추출한다. S300 과정에서는 추출된 오브젝트를 이용하여 이미지 데이터를 3차원 이미지로 변환한다.In step S100, image and image data acquired from the vehicle-mounted camera and traveling road information acquired through GPS are collected. In step S200, an object is extracted from the collected image data. In step S300, the image data is converted into a three-dimensional image using the extracted object.

도 7은 본 발명의 실시예에 따른 이미지 변환 과정을 나타낸 흐름도이다. 7 is a flowchart illustrating an image conversion process according to an embodiment of the present invention.

수집된 이미지를 3차원 이미지로 변환하기 위해, S310 단계에서는 수집된 이미지에서 배경과 오브젝트를 분리하는 과정을 수행한다. 이후, S320 단계에서는 오브젝트를 추출하는 과정이 수행된다. S330 단계에서는 추출된 오브젝트와 소실점 등을 이용하여 수집된 이미지를 3차원으로 변환하는 과정이 수행된다. In order to convert the collected image into a three-dimensional image, a process of separating the background and the object from the collected image is performed in step S310. Thereafter, in step S320, a process of extracting an object is performed. In step S330, a process of converting the collected image into three-dimensional image is performed using the extracted object and vanishing point.

실시예에 있어서, 수집된 이미지를 3D로 변환하는 과정은 도 5 에 도시된 바와 같이, 수집된 이미지로부터 3D 이미지를 구성하는 폴리곤(Polygon)을 추출하는 과정 및 추출된 폴리곤에 2D 이미지인 수집된 이미지를 매핑하는 과정을 거쳐 이루어 질 수 있다. In the embodiment, the process of converting the collected image into 3D may include a process of extracting a polygon constituting a 3D image from the collected image, as shown in FIG. 5, and a process of extracting a polygon It can be done by mapping images.

이후, 변환된 이미지는 디스플레이모듈(300)을 통해 운전자에게 제공된다.Thereafter, the converted image is provided to the driver through the display module 300.

디스플레이모듈(300)은 변환된 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보 및 최적 차속 정보를 포함하는 주행 안전 정보를 프론트 패널(Front Panel)에 디스플레이 하거나, 네비게이션을 통해 디스플레이 가능하다. 또한, 주행 안전 정보를 사람의 목소리를 포함하는 음향의 형태(예컨대, 전방 10m 앞 보행자 감지, 주의를 바랍니다)로 운전자에게 제공 가능 하다. The display module 300 displays driving safety information including lane information, obstacle detection information, danger warning information during driving, and optimal vehicle speed information included in the converted three-dimensional image on a front panel, Lt; / RTI > In addition, the driving safety information can be provided to the driver in the form of sound including a voice of a person (for example, detection of a pedestrian 10 meters ahead, please pay attention).

전술한 바와 같이, 본 발명의 실시 예에서는 운전자에게 제공되는 2D 형태의 전방이미지를 GPU(Graphic Process Unit)를 이용하여 3D로 실시간 전환 시킴으로써, 3D 형태로 전환된 정교한 전방이미지를 운전자에게 빠르게 제공한다. 이를 통해 차량 디스플레이 시스템 전체의 응답 성능을 향상시킨다. As described above, in the embodiment of the present invention, the front image of the 2D form provided to the driver is converted into 3D in real time using a GPU (Graphic Process Unit), thereby providing the driver with a sophisticated forward image converted into the 3D form . Thereby improving the overall response performance of the vehicle display system.

한편, 본 발명의 실시예에 따른 영상처리 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(121)와, 메모리(123)와, 사용자 입력 장치(126)와, 데이터 통신 버스(126)와, 사용자 출력 장치(127)와, 저장소(128)를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(122)를 통해 데이터 통신을 한다.Meanwhile, the image processing method according to the embodiment of the present invention can be implemented in a computer system or recorded on a recording medium. 8, the computer system includes at least one processor 121, a memory 123, a user input device 126, a data communication bus 126, a user output device 127, And may include a storage 128. Each of the above-described components performs data communication via the data communication bus 122. [

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(129)를 더 포함할 수 있다. 상기 프로세서(121)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(123) 및/또는 저장소(128)에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface 129 coupled to the network. The processor 121 may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in the memory 123 and / or the storage 128.

상기 메모리(123) 및 상기 저장소(128)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(123)는 ROM(124) 및 RAM(125)을 포함할 수 있다. 따라서, 본 발명의 실시예에 따른 전자테이블을 이용한 주문 관리 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. The memory 123 and the storage 128 may include various forms of volatile or nonvolatile storage media. For example, the memory 123 may include a ROM 124 and a RAM 125. Therefore, the order management method using the electronic table according to the embodiment of the present invention can be implemented by a method executable by a computer.

한편, 상술한 본 발명의 실시예에 따른 영상처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the image processing method according to the embodiment of the present invention described above can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording media storing data that can be decoded by a computer system. For example, there may be a ROM (Read Only Memory), a RAM (Random Access Memory), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device and the like. The computer-readable recording medium may also be distributed and executed in a computer system connected to a computer network and stored and executed as a code that can be read in a distributed manner.

이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Therefore, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

Claims

차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집하고, 상기 차량에 설치되어 있는 카메라에서 촬영한 이미지에서 인식된 영상을 3차원 공간 좌표계에 매핑하여 사용자가 원하는 정보를 추출하는 수집모듈 ;
상기 정보 수집 모듈로부터 상기 이미지 데이터로부터 오브젝트(object)를 추출하고, 상기 추출된 오브젝트를 이용하여 상기 이미지 데이터를 3차원 이미지로 변환하는 변환모듈; 및
을 포함하는 영상 처리 장치.
The navigation system collects image and image data acquired from the vehicle-mounted camera and traveling road information acquired through GPS, maps the recognized image in the image captured by the camera installed in the vehicle to the 3D spatial coordinate system, A collecting module for extracting the collected data;
A conversion module for extracting an object from the image data from the information collection module and converting the image data into a three-dimensional image using the extracted object; And
To the image processing apparatus.

제 1항에 있어서, 상기 변환모듈은
상기 수집된 이미지에서 배경과 오브젝트를 분리하는 분리부;
상기 수집된 이미지에서 상기 분리부에 의해 분리된 오브젝트를 추출하는 추출부; 및
상기 수집된 이미지에 포함된 소실점을 검색하고, 상기 추출된 오브젝트와 상기 검색된 소실점을 이용하여, 산출된 거리 정보가 3차원 공간 좌표계에 매핑되기 위한 3차원 변환을 수행하고, 수행 결과를 3차원 공간 좌표에 매핑하여 상기 수집된 이미지를 3차원으로 변환하는 변환부;
를 포함하는 것을 특징으로 하는 영상 처리 장치.
2. The apparatus of claim 1,
A separator for separating a background and an object from the collected image;
An extracting unit for extracting an object separated by the separating unit in the collected image; And
Dimensional space for mapping the calculated distance information to a three-dimensional space coordinate system using the extracted object and the retrieved vanishing point, and performs a three-dimensional transformation for mapping the calculated distance information to a three-dimensional space coordinate system, A transform unit for transforming the collected image into three-dimensional coordinates by mapping to coordinates;
And an image processing unit for processing the image.

제 1항에 있어서, 상기 디스플레이 모듈은
상기 차량 운전자의 입력에 따라, 상기 변환모듈로부터 획득하는 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보를 상기 차량 운전자에게 전달하는 적어도 하나의 정보 전달 아이콘을 생성하여 상기 생성된 정보전달 아이콘을 디스플레이 하는 것을 특징으로 하는 영상 처리 장치.
The display device of claim 1, wherein the display module
Generating at least one information transfer icon for transferring the lane information, the obstacle detection information, and the driving-danger warning information included in the three-dimensional image acquired from the conversion module to the vehicle driver according to the input of the vehicle driver, And displays the generated information transfer icon.

제 1항에 있어서, 상기 변환모듈은
상기 수집된 이미지로부터 3차원 공간 좌표를 구성하는 버텍스(vertex)로 구성된 폴리곤(Polygon)에 추출된 오브젝트 정보를 공간 좌표에 등록하여 3차원 데이터를 공간 좌표로 변환하여 것을 특징으로 하는 영상 처리 방법.
2. The apparatus of claim 1,
And the object information extracted in a polygon composed of vertices constituting three-dimensional spatial coordinates from the collected image is registered in spatial coordinates to convert the three-dimensional data into spatial coordinates.

차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집하는 과정;
상기 정보 수집 모듈로부터 상기 이미지 데이터로부터 오브젝트(object)를 추출하는 과정; 및
상기 추출된 오브젝트를 이용하여 상기 이미지 데이터를 3차원 이미지로 변환하는 과정; 을 포함하는 영상 처리 방법.
A process of collecting image and image data acquired from a vehicle-mounted camera and traveling road information acquired through GPS;
Extracting an object from the image data from the information collection module; And
Converting the image data into a three-dimensional image using the extracted object; And an image processing method.

제 5항에 있어서, 상기 영상 처리 방법은
상기 3차원 이미지로 변환된 이미지를 디스플레이 하는 과정; 을 더 포함하는 것을 특징으로 하는 영상 처리 방법.
6. The image processing method according to claim 5,
Displaying an image converted into the three-dimensional image; Further comprising the steps of:

제 5항에 있어서, 상기 이미지 데이터를 3차원 이미지로 변환하는 과정은
상기 수집된 이미지에서 배경과 오브젝트를 분리하는 과정;
상기 수집된 이미지에서 분리된 오브젝트를 추출하는 과정;
상기 수집된 이미지에 포함된 소실점을 검색하고, 상기 추출된 오브젝트와 상기 검색된 소실점을 이용하여 상기 수집된 이미지를 3D로 변환하는 과정;
을 포함하는 것을 특징으로 하는 영상 처리 방법.
6. The method of claim 5, wherein the step of converting the image data into a three-
Separating the background and the object from the collected image;
Extracting a separated object from the collected image;
Searching for a vanishing point included in the collected image, and converting the collected image to 3D using the extracted object and the vanishing point that is searched;
Wherein the image processing method comprises the steps of:

제 6항에 있어서, 상기 변환된 이미지를 디스플레이 하는 과정은
상기 차량 운전자의 입력에 따라, 적어도 하나의 정보 전달 아이콘을 생성하여 상기 생성된 정보전달 아이콘을 디스플레이 하는 것을 특징으로 하는 영상 처리 장치.
The method as claimed in claim 6, wherein the step of displaying the converted image comprises:
And generates at least one information transfer icon according to an input of the vehicle driver and displays the generated information transfer icon.

제 7항에 있어서, 상기 수집된 이미지를 3D로 변환하는 과정은
상기 수집된 이미지로부터 3D 이미지를 구성하는 폴리곤(Polygon)을 추출하는 과정; 및
상기 추출된 폴리곤에 2D 이미지인 상기 수집된 이미지를 매핑하는 과정; 을
포함하는 것을 특징으로 하는 영상 처리 방법.
8. The method of claim 7, wherein the step of converting the collected image into 3D comprises:
Extracting a polygon constituting a 3D image from the collected image; And
Mapping the collected image as a 2D image to the extracted polygon; of
Wherein the image processing method comprises the steps of:

제 8항에 있어서, 상기 정보 전달 아이콘은
상기 변환된 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보 및 최적 차속 정보를 포함하는 주행 안전 정보를 상기 차량 운전자에게 전달하는 것을 특징으로 하는 영상 처리 장치.
The method of claim 8,
And transmits the driving safety information including the lane information, the obstacle detection information, the warning warning during driving, and the optimal vehicle speed information included in the converted three-dimensional image to the vehicle driver.

제 5항 내지 제 10항에 있어서, 상기 영상 처리 방법을 실행하는 프로그램이 기록되어 컴퓨터로 해독하는 기록매체.11. The recording medium according to any one of claims 5 to 10, wherein the program for executing the image processing method is recorded and decoded by a computer.