KR101655204B1 - 3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법 - Google Patents

3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법 Download PDF

Info

Publication number
KR101655204B1
KR101655204B1 KR1020150003188A KR20150003188A KR101655204B1 KR 101655204 B1 KR101655204 B1 KR 101655204B1 KR 1020150003188 A KR1020150003188 A KR 1020150003188A KR 20150003188 A KR20150003188 A KR 20150003188A KR 101655204 B1 KR101655204 B1 KR 101655204B1
Authority
KR
South Korea
Prior art keywords
image
dimensional
collected
information
extracting
Prior art date
Application number
KR1020150003188A
Other languages
English (en)
Other versions
KR20150145686A (ko
Inventor
진석식
박대혁
Original Assignee
주식회사 세인전장
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 세인전장 filed Critical 주식회사 세인전장
Publication of KR20150145686A publication Critical patent/KR20150145686A/ko
Application granted granted Critical
Publication of KR101655204B1 publication Critical patent/KR101655204B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

GPU를 이용한 영상처리 장치 및 그 방법을 개시한다. GPU를 이용한 영상처리 장치는 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집하는 수집모듈, 정보 수집 모듈로부터 상기 이미지 데이터로부터 오브젝트(object)를 추출하고, 상기 추출된 오브젝트를 이용하여 상기 이미지 데이터를 3차원 이미지로 변환하는 변환모듈 및 3차원 이미지로 변환된 이미지를 디스플레이 하는 디스플레이 모듈을 포함한다.

Description

3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법 {APPARATUS FOR IMAGE PROCESSING USING 3DIMENSION GRAPHIC MODEL AND METHOD THEREOF}
본 발명은 영상처리 장치 및 그 방법에 관한 것으로서, 구체적으로 GPU를 이용하여 차량 전방이미지를 3D로 전환하기 위한 영상처리 장치 및 그 방법에 관한 것이다.
영상을 통한 정보 처리 기술에 대한 관심이 날로 증가되고 있다. 특히, 차량 전방 또는 후방에 탑재된 카메라를 통해 획득하는 영상을 이용하여 충돌사고를 방지를 하기 위한 노력이 계속되고 있다.
차량 전방에 장착된 카메라를 통해 주행에 방해를 줄 수 있는 물체(예컨대, 보행자, 차량 등)의 존재 유무 및 주행에 방해를 주는 물체의 위치를 알 수 있으면, 대형 교통 사고를 방지할 수 있다.
하지만, 종래 영상 처리 기술에 의해서는 도 1에 도시된 바와 같이 전방 주행 차량을 인식하기 위해 전처리 과정과 후처리 과정을 포함하는 이미지 처리과정이 수행된다. 이 때문에, 이미지 디스플레이 응답시간이 지연되고, 운전자에게 2D 형태의 전방이미지가 제공되어 충돌 대상과의 거리 감지 등에 어려움이 있다.
또한, 운전자에게 제공되는 2D 형태의 이미지는 전방 물체의 원근감 및 움직임을 정교하게 표현할 수 없는 문제가 있다.
또한, 최근 반도체 처리속도가 향상되고 있으며, 기존의 CPU 클럭 만을 증가시키는 방법에서 멀티 코어가 내장되는 방향과 GPU가 추가되는 방향으로 발전하고 있다. 게임을 비롯해서 멀티미디어 기기 관련된 응용 솔루션이 많아지고, 다양화되면서 GPU의 처리 양에 대한 발전이 급진적으로 이루어지고 있다. CPU에서 처리하는 것보다 GPU에서 처리하는 것이 더 빠르고, 안정적으로 동작되는 경우도 증가되고 있다.
본 발명의 목적은 운전자에게 제공되는 2D 형태의 전방이미지를 GPU(Graphic Process Unit)를 이용하여 3D로 실시간 전환 시킴으로써, 3D 형태로 전환된 정교한 전방이미지를 운전자에게 빠르게 제공한다.
또한, 수 많은 오브젝트 처리 유닛을 내장한 GPU(Graphic Process Unit)을 영상처리에 적용하여 실시간 영상처리를 수행하는 영상처리 장치 및 그 방법을 제공하는 것을 목적으로 한다.
또한, 카메라 영상인 2D 이미지를 공간 상의 영역으로 재배치하여 영상인식을 진행함으로써 우수한 품질의 전방이미지를 운전자에게 제공한다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 영상처리 장치는 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집하고, 차량에 설치되어 있는 카메라에서 촬영한 이미지에서 인식된 영상을 3차원 공간 좌표계에 매핑하여 사용자가 원하는 정보를 추출하는 수집모듈 및 정보 수집 모듈로부터 이미지 데이터로부터 오브젝트(object)를 추출하고, 상기 추출된 오브젝트를 이용하여 이미지 데이터를 3차원 이미지로 변환하는 변환모듈을 포함한다.
바람직한 실시예에 있어서, 변환모듈은 수집된 이미지에서 배경과 오브젝트를 분리하는 분리부, 수집된 이미지에서 분리부에 의해 분리된 오브젝트를 추출하는 추출부 및 수집된 이미지에 포함된 소실점을 검색하고, 상기 추출된 오브젝트와 상기 검색된 소실점을 이용하여, 산출된 거리 정보가 3차원 공간 좌표계에 매핑되기 위한 3차원 변환을 수행하고, 수행 결과를 3차원 공간 좌표에 매핑하여 상기 수집된 이미지를 3차원으로 변환하는 변환부를 포함한다.
바람직한 실시예에 있어서, 디스플레이 모듈은 차량 운전자의 입력에 따라, 적어도 하나의 정보 전달 아이콘을 생성하여 생성된 정보전달 아이콘을 디스플레이 한다.
바람직한 실시예에 있어서, 정보 전달 아이콘은 변환모듈로부터 획득하는 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보를 차량 운전자에게 전달한다.
바람직한 실시예에 있어서, 변환모듈은 수집된 이미지로부터 3차원 공간 좌표를 구성하는 버텍스(vertex)로 구성된 폴리곤(Polygon)에 추출된 오브젝트 정보를 공간 좌표에 등록하여 3차원 데이터를 공간 좌표로 변환한다.
본 발명의 다른 일면에 따른 영상 처리 방법은, 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집하는 과정, 정보 수집 모듈로부터 상기 이미지 데이터로부터 오브젝트(object)를 추출하는 과정 및 추출된 오브젝트를 이용하여 상기 이미지 데이터를 3차원 이미지로 변환하는 과정을 포함한다.
바람직한 실시예에 있어서, 영상 처리 방법은 3차원 이미지로 변환된 이미지를 디스플레이 하는 과정을 더 포함한다.
바람직한 실시예에 있어서, 이미지 데이터를 3차원 이미지로 변환하는 과정은 수집된 이미지에서 배경과 오브젝트를 분리하는 과정, 수집된 이미지에서 분리부에 의해 분리된 오브젝트를 추출하는 과정, 수집된 이미지에 포함된 소실점을 검색하고, 추출된 오브젝트와 상기 검색된 소실점을 이용하여 수집된 이미지를 3D로 변환하는 과정을 포함한다.
바람직한 실시예에 있어서, 변환된 이미지를 디스플레이 하는 과정은 차량 운전자의 입력에 따라, 적어도 하나의 정보 전달 아이콘을 생성하여 생성된 정보전달 아이콘을 디스플레이 한다.
바람직한 실시예에 있어서, 수집된 이미지를 3D로 변환하는 과정은 수집된 이미지로부터 3D 이미지를 구성하는 폴리곤(Polygon)을 추출하는 과정 및 추출된 폴리곤에 2D 이미지인 상기 수집된 이미지를 매핑하는 과정을 포함한다.
바람직한 실시예에 있어서, 정보 전달 아이콘은 변환된 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보를 포함하는 주행 안전 정보를 차량 운전자에게 전달한다.
본 발명에 따르면, GPU를 이용하여 실시간 영상처리를 가능하게 하여, 영상처리 응답 시간 성능을 향상 시킨다.
또한, 차량 전방 영상 및 안전 주행을 위해 필요한 정보 등을 운전자에게 실시간 3D 영상으로 제공함으로써, 운전자가 전방에 위치하는 제동 대상과의 거리 등을 보다 용이하게 인지 할 수 있도록 하고, 운전자에게 고퀄리티 영상을 제공 가능하다.
아울러, GPU의 영상처리 속도 향상으로 인해, 영상 처리에 필요한 연산을 보다 신속히 수행하여, 실시간 영상처리가 가능하고, 2D 영상을 3D 공간에 영상 매칭을 수행하여 정확한 인식 및 위치 판별이 가능하다. 이로 인해, 전반적인 영상처리 작업 속도를 향상시켜 사용자의 편의를 증대한다.
도 1은 종래기술의 이미지 처리 과정을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치의 대략적인 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상 처리 장치의 상세한 구성을 나타낸 블록도이다.
도 4a는 본 발명의 실시예에 따른 GPU의 구조를 나타낸 도면이고, 도 4b 내지 도 4c는 본 발명의 실시예에 따른 오브젝트 추출과정의 예를 나타낸 도면이다.
도 5는 실시예에 따른 3D 이미지 변환과정의 이해를 돕기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 7은 본 발명의 실시예에 따른 이미지 변환 과정을 나타낸 흐름도이다.
도 8은 본 발명의 실시예에 따른 영상처리 방법이 실행될 수 있는 컴퓨터 장치의 일 구성을 도시한 도면이다.
본 발명은 산업통상자원부(MOTIE)의 재원으로 한국산업기술진흥원(KIAT)의 지원을 받아 수행한 “그린 전기자동차(RE-EV) 실용화 연구기반 구축사업” 의 지원을 받아 수행된 연구결과이다.
또한, 본 발명은 산업통상자원부(Ministry of Trade Industry and Energy, MOTIE)와 한국산업기술진흥원(Korea Institute for Advancement of Technology, KIAT)의 지원을 받아 수행한 “0043358 분해능 10cm 이내의 탑뷰(top view)와 파노라마 뷰(panorama view)가 가능한 주변 이미지 정보 구성 및 인식 시스템”개발사업 지원을 받아 수행된 연구결과이다 .
본 발명에서는 운전자에게 제공되는 2D 형태의 전방이미지를 GPU(Graphic Process Unit)를 이용하여 3D로 실시간 전환 시킴으로써, 3D 형태로 전환된 정교한 전방이미지를 운전자에게 빠르게 제공한다. 이를 통해 차량 디스플레이 시스템 전체의 응답 성능을 향상시킨다.
또한, 수 많은 오브젝트 처리 유닛을 내장한 GPU(Graphic Process Unit)을 영상처리에 적용하여 실시간 영상처리를 수행하는 영상처리 장치 및 그 방법을 제공함으로써, 차량 전방 영상 및 안전 주행을 위해 필요한 정보 등을 운전자에게 실시간 3D 영상으로 디스플레이 하여 운전자가 전방에 위치하는 제동 대상과의 거리 등을 보다 용이하게 인지 할 수 있도록 하고, 운전자에게 고퀄리티 영상을 제공한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 ‘모듈’ 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 직접 회로, 직접 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치의 대략적인 구성을 나타낸 블록도이다.
도 1을 참조하면, 실시예에 따른 GPU를 이용한 영상처리 장치는 수집모듈(100), 변환모듈(200) 및 디스플레이모듈(300)을 포함한다.
수집모듈(100)은 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집한다. 또한, 차량에 설치되어 있는 카메라에서 촬영한 이미지에서 인식된 영상을 3차원 공간 좌표계에 매핑하여 사용자가 원하는 정보를 추출한다.
변환모듈(200)은 수집모듈(100)로부터 이미지 데이터의 오브젝트(object)를 추출하고, 추출된 오브젝트를 이용하여 이미지 데이터를 3차원 이미지로 변환한다. 이후, 디스플레이 모듈(300)은 3차원 이미지로 변환된 이미지를 디스플레이 한다.
예컨대, 변환모듈은 수집된 이미지로부터 3차원 공간 좌표를 구성하는 버텍스(vertex)로 구성된 폴리곤(Polygon)에 추출된 오브젝트 정보를 공간 좌표에 등록하여 3차원 데이터를 공간 좌표로 변환하여 인식의 정밀도를 향상 시킨다.
본 발명에서 사용되는 도 4a 에 도시된 GPU는 그래픽처리를 위한 고성능의 처리장치이다. CPU(Central Processing Unit: 중앙처리장치)의 연산 결과를 그림이나 글자 신호로 변환하여 출력하기 때문에, 고 차원의 이미지를 디스플레이 하기 어렵다. 하지만, GPU 기반 그래픽카드를 이용하면, 3D 그래픽 성능이 크게 향상되기 때문에 고차원 이미지 디스플레이를 한층 원활하게 구동할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치의 상세한 구성을 나타낸 블록도이다.
도 2를 참조하면, 실시예에 따른 영상 처리 장치의 변환모듈(200)은 분리부(210), 추출부(230) 및 변환부(250)를 포함하여 구성되고, 디스플레이모듈(300)은 입력부(310), 생성부(330) 및 출력부(350)를 포함하여 구성된다.
분리부(210)는 수집된 이미지에서 배경과 오브젝트(object)를 분리한다. 실시예에 있어서, 3D 변환을 위해 배경과 오브젝트를 분리하는 이유는 주행 중 수집되는 영상에 포함된 객체들은 정지상태가 아니므로, 차량이 주행 중인 상태에서 이미지에 포함된 상대적인 움직임을 인식하기 위해 배경과 오브젝트의 분리를 수행한다.
이후, 추출부(230) 수집된 이미지에서 분리부에 의해 분리된 오브젝트를 추출한다. 예컨대, 추출부(230)는 도 4b 에 도시된 바와 같이, 소실점을 기준으로 수직성분을 갖는 물체를 검색하고, 검색된 물체를 오브젝트화 하여 추출하거나, 소실점을 기준으로 물체의 수직 성분을 검색한 후, 검색된 수직성분을 이용하여 물체를 오브젝트화 한다. 예컨대, 소실점에서 상, 하, 좌, 우 면을 선택하고, 선택된 면에서 오브젝트를 찾기 위한 수직 성분을 검색한다. 또한, 추출부(230)는 얼굴, 팔 다리의 구조를 가진 움직이거나 정지한 사람은 소실점으로 기준하거나, 사람을 객체로 추출한다. 또 다른 예로서, 추출부(230)는 도 4c에 도시된 바와 같이 원근감에 위배되는 물체는 오브젝트로 판단하여 추출한다.
또한, 추출부(230)에서는 소실점을 검색이 불가능한 경우(예컨대, 전방의 트럭과 같은 대형물체가 소실점을 가릴 경우), 기 저장된 영상 데이터 및 이미지 데이터를 이용하여, 기 저장된 소실점 방향성 데이터를 기반으로 가상의 소실점을 생성하여 이미지에 포함된 오브젝트를 추출한다.
변환부(250)는 수집된 이미지에 포함된 소실점을 검색하고, 추출된 오브젝트와 상기 검색된 소실점을 이용하여 수집된 이미지를 3D로 변환한다.
예컨대, 변환부(250)에서는 수집된 이미지에 포함된 소실점을 검색하고, 추출된 오브젝트와 검색된 소실점을 이용하여, 산출된 거리 정보가 3차원 공간 좌표계에 매핑되기 위한 3차원 변환을 수행하고, 수행 결과를 3차원 공간 좌표에 매핑하여 상기 수집된 이미지를 3차원으로 변환시킨다.
실시예에 있어서, 변환모듈(200)에서는 수집된 이미지로부터 3D 이미지를 구성하는 폴리곤(Polygon)을 추출하고, 추출된 폴리곤에 2D 이미지인 수집된 이미지를 매핑하여 수집된 이미지를 3D로 변환 가능하다. 폴리곤이란, 3D 그래픽을 구성하는 기본 단위인 다각형을 의미한다. 다각형 모양의 폴리곤이 여럿 모여서 하나의 캐릭터나 ‘3D 오브젝트’(3D Object)를 이루게 된다. 도 5 는 실시예에 따른 3D 이미지 변환과정의 이해를 돕기 위한 도면이다.
디스플레이 모듈(300)에 구비되는 입력부(310)는 터치 스크린 형태로서, 입력과 동시에 변환되는 3D 이미지를 출력하여 운전자에게 제공가능 하다. 실시예에 있어서, 운전자의 입력에 따라, 생성부(330)에서는 적어도 하나의 정보 전달 아이콘을 생성하고, 생성된 정보 전달 아이콘을 조합하여 출력부(350)를 통해 디스플레이 한다. 이때, 정보 전달 아이콘은 변환모듈(200)로부터 획득하는 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보 등을 차량 운전자에게 제공할 수 있다.
여기서, 정보 전달 아이콘에는 사용자에 제공하는 인디케이터(indicator)에 표현되는 아이콘으로서 30km/h 60km/h 90km/h와 같은 속도를 표시하거나, 사람을 포함하는 전방 장애물을 표시하거나 차선 정보를 표시 할 수 있다.
이하, 본 발명의 다른 실시예에 따른 GPU를 이용한 영상처리 방법에 대해 도면을 참조하여 설명한다.
도 6은 본 발명의 실시예에 따른 영상 처리 방법을 나타낸 흐름도이다.
S100 과정에서는 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집을 수행한다. 이후, S200 과정에서는 수집된 이미지 데이터로부터 오브젝트(object)를 추출한다. S300 과정에서는 추출된 오브젝트를 이용하여 이미지 데이터를 3차원 이미지로 변환한다.
도 7은 본 발명의 실시예에 따른 이미지 변환 과정을 나타낸 흐름도이다.
수집된 이미지를 3차원 이미지로 변환하기 위해, S310 단계에서는 수집된 이미지에서 배경과 오브젝트를 분리하는 과정을 수행한다. 이후, S320 단계에서는 오브젝트를 추출하는 과정이 수행된다. S330 단계에서는 추출된 오브젝트와 소실점 등을 이용하여 수집된 이미지를 3차원으로 변환하는 과정이 수행된다.
실시예에 있어서, 수집된 이미지를 3D로 변환하는 과정은 도 5 에 도시된 바와 같이, 수집된 이미지로부터 3D 이미지를 구성하는 폴리곤(Polygon)을 추출하는 과정 및 추출된 폴리곤에 2D 이미지인 수집된 이미지를 매핑하는 과정을 거쳐 이루어 질 수 있다.
이후, 변환된 이미지는 디스플레이모듈(300)을 통해 운전자에게 제공된다.
디스플레이모듈(300)은 변환된 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보를 포함하는 주행 안전 정보를 프론트 패널(Front Panel)에 디스플레이 하거나, 네비게이션을 통해 디스플레이 가능하다. 또한, 주행 안전 정보를 사람의 목소리를 포함하는 음향의 형태(예컨대, 전방 10m 앞 보행자 감지, 주의를 바랍니다)로 운전자에게 제공 가능 하다.
전술한 바와 같이, 본 발명의 실시 예에서는 운전자에게 제공되는 2D 형태의 전방이미지를 GPU(Graphic Process Unit)를 이용하여 3D로 실시간 전환 시킴으로써, 3D 형태로 전환된 정교한 전방이미지를 운전자에게 빠르게 제공한다. 이를 통해 차량 디스플레이 시스템 전체의 응답 성능을 향상시킨다.
또한, 수 많은 오브젝트 처리 유닛을 내장한 GPU(Graphic Process Unit)을 영상처리에 적용하여 실시간 영상처리를 수행하는 영상처리 장치 및 그 방법을 제공함으로써, 차량 전방 영상 및 안전 주행을 위해 필요한 정보 등을 운전자에게 실시간 3D 영상으로 디스플레이 하여 운전자가 전방에 위치하는 제동 대상과의 거리 등을 보다 용이하게 인지 할 수 있도록 하고, 운전자에게 고퀄리티 영상을 제공한다.
한편, 본 발명의 실시예에 따른 영상처리 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(121)와, 메모리(123)와, 사용자 입력 장치(126)와, 데이터 통신 버스(126)와, 사용자 출력 장치(127)와, 저장소(128)를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(122)를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(129)를 더 포함할 수 있다. 상기 프로세서(121)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(123) 및/또는 저장소(128)에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
상기 메모리(123) 및 상기 저장소(128)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(123)는 ROM(124) 및 RAM(125)을 포함할 수 있다. 따라서, 본 발명의 실시예에 따른 전자테이블을 이용한 주문 관리 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다.
한편, 상술한 본 발명의 실시예에 따른 영상처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

  1. 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집하고, 상기 차량에 설치되어 있는 카메라에서 촬영한 이미지에서 인식된 영상을 3차원 공간 좌표계에 매핑하여 사용자가 원하는 정보를 추출하는 수집모듈;
    상기 수집 모듈로부터 3차원 공간 좌표를 구성하는 버텍스(vertex)로 구성된 폴리곤(Polygon)에 추출된 오브젝트 정보를 공간 좌표에 등록하여 3차원 데이터를 공간 좌표로 변환하여 상기 이미지 데이터로부터 오브젝트(object)를 추출하고, 상기 추출된 오브젝트를 이용하여 상기 이미지 데이터를 3차원 이미지로 변환하는 변환모듈; 을 포함하고,
    상기 변환모듈은
    상기 수집된 이미지에서 배경과 오브젝트를 분리하는 분리부;
    상기 수집된 이미지에서 상기 분리부에 의해 분리된 오브젝트를 추출하는 추출부; 및
    상기 수집된 이미지에 포함된 소실점을 검색하고, 상기 추출된 오브젝트와 상기 검색된 소실점을 이용하여, 산출된 거리 정보가 3차원 공간 좌표계에 매핑되기 위한 3차원 변환을 수행하고, 수행 결과를 3차원 공간 좌표에 매핑하여 상기 수집된 이미지를 3차원으로 변환하는 변환부; 를 포함하고
    상기 추출부는 소실점을 기준으로 수직성분을 갖는 물체를 검색하고, 검색된 물체를 오브젝트화 하여 추출하거나, 상기 소실점을 기준으로 물체의 수직 성분을 검색한 후, 검색된 수직성분을 이용하여 물체를 오브젝트화 하는 것을 특징으로 하는 영상 처리 장치.
  2. 삭제
  3. 제 1항에 있어서, 상기 영상처리 장치는
    상기 차량 운전자의 입력에 따라, 상기 변환모듈로부터 획득하는 3차원 이미지에 포함되는 차선 정보, 장애물 감지 정보 및 주행 중 위험 발생 경고 정보를 상기 차량의 운전자에게 전달하는 적어도 하나의 정보 전달 아이콘을 생성하여 상기 생성된 정보전달 아이콘을 디스플레이 하는 디스플레이 모듈; 을 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  4. 삭제
  5. 차량 탑재 카메라로부터 획득한 영상과 이미지 데이터, GPS를 통해 획득한 주행 도로 정보를 수집하는 과정;
    정보 수집 모듈로부터의 상기 이미지 데이터로부터 오브젝트(object)를 추출하는 과정;
    상기 추출된 오브젝트를 이용하여 상기 이미지 데이터를 3차원 이미지로 변환하는 과정;및
    상기 차량 운전자의 입력에 따라, 적어도 하나의 정보 전달 아이콘을 생성하여 상기 생성된 정보전달 아이콘을 디스플레이 하는 과정; 을 포함하고,
    상기 이미지 데이터를 3차원 이미지로 변환하는 과정은
    상기 수집된 이미지에서 배경과 오브젝트를 분리하는 과정;
    상기 수집된 이미지에서 분리된 오브젝트를 추출하는 과정;
    상기 수집된 이미지에 포함된 소실점을 검색하고, 상기 추출된 오브젝트와 상기 검색된 소실점을 이용하여 상기 수집된 이미지를 3차원으로 변환하는 과정;
    을 포함하고,
    상기 수집된 이미지에서 분리된 오브젝트를 추출하는 과정; 에서는
    상기 소실점을 기준으로 수직성분을 갖는 물체를 검색하고, 검색된 물체를 오브젝트화 하여 추출하거나, 상기 소실점을 기준으로 물체의 수직 성분을 검색한 후, 검색된 수직성분을 이용하여 물체를 오브젝트화 하는 것을 특징으로 하는 영상 처리 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 5항에 있어서, 상기 수집된 이미지를 3차원으로 변환하는 과정은
    상기 수집된 이미지로부터 3D 이미지를 구성하는 폴리곤(Polygon)을 추출하는 과정; 및
    상기 추출된 폴리곤에 2D 이미지인 상기 수집된 이미지를 매핑하는 과정; 을
    포함하는 것을 특징으로 하는 영상 처리 방법.

  10. 삭제
  11. 삭제
KR1020150003188A 2014-06-20 2015-01-09 3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법 KR101655204B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140076063 2014-06-20
KR20140076063 2014-06-20

Publications (2)

Publication Number Publication Date
KR20150145686A KR20150145686A (ko) 2015-12-30
KR101655204B1 true KR101655204B1 (ko) 2016-09-22

Family

ID=55088040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150003188A KR101655204B1 (ko) 2014-06-20 2015-01-09 3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101655204B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062153B2 (en) 2018-10-15 2021-07-13 Samsung Electronics Co., Ltd. Apparatus and method for converting image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005231381A (ja) * 2004-02-17 2005-09-02 Nissan Motor Co Ltd 車両用情報提示装置および方法
KR100783296B1 (ko) * 2006-06-12 2007-12-10 팅크웨어(주) 속도안내 카메라를 표현하는 텔레메틱스 제공 방법 및 상기방법을 수행하는 텔레메틱스 시스템
JP2008204458A (ja) * 2007-02-16 2008-09-04 Samsung Electronics Co Ltd ２次元実写映像から３次元モデルを生成する方法及び装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100533328B1 (ko) * 2003-06-27 2005-12-05 한국과학기술연구원 2차원 이미지로부터 3차원 이미지를 생성하는 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005231381A (ja) * 2004-02-17 2005-09-02 Nissan Motor Co Ltd 車両用情報提示装置および方法
KR100783296B1 (ko) * 2006-06-12 2007-12-10 팅크웨어(주) 속도안내 카메라를 표현하는 텔레메틱스 제공 방법 및 상기방법을 수행하는 텔레메틱스 시스템
JP2008204458A (ja) * 2007-02-16 2008-09-04 Samsung Electronics Co Ltd ２次元実写映像から３次元モデルを生成する方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062153B2 (en) 2018-10-15 2021-07-13 Samsung Electronics Co., Ltd. Apparatus and method for converting image

Also Published As

Publication number Publication date
KR20150145686A (ko) 2015-12-30

Similar Documents

Publication Publication Date Title
US11967109B2 (en) Vehicle localization using cameras
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
WO2020098316A1 (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN109116374B (zh) 确定障碍物距离的方法、装置、设备及存储介质
JP5962594B2 (ja) 車載表示装置およびプログラム
CN111595357B (zh) 可视化界面的显示方法、装置、电子设备和存储介质
EP3906527B1 (en) Image bounding shape using 3d environment representation
JP2011529569A (ja) ナビゲーションデータを三次元で表示するコンピュータ装置および方法
CN111164652B (zh) 移动体图像生成记录显示装置和程序产品
JP5267330B2 (ja) 画像処理装置および方法
CN111145248A (zh) 位姿信息确定方法、确定装置和电子设备
CN113705390A (zh) 定位方法、装置、电子设备和存储介质
KR101655204B1 (ko) 3차원 그래픽 모델을 이용한 영상처리 장치 및 그 방법
CN112907757A (zh) 一种导航提示方法、装置、电子设备及存储介质
KR100809359B1 (ko) 3차원 맵 데이터를 제공하는 차량용 항법 장치 및 상기장치의 동작 방법
CN110827340B (zh) 地图的更新方法、装置及存储介质
JP2013152546A (ja) 運転支援装置、運転支援方法及びそのプログラム
EP3816938A1 (en) Region clipping method and recording medium storing region clipping program
JP7021899B2 (ja) 画像生成装置および画像生成方法
JP4855342B2 (ja) オブジェクト分類装置、駐車スペース検出装置、オブジェクト分類方法、駐車スペース検出方法、及びプログラム
WO2020073268A1 (en) Snapshot image to train roadmodel
WO2020073270A1 (en) Snapshot image of traffic scenario
CN113449646A (zh) 一种具有安全距离提示的抬头显示***
WO2020073272A1 (en) Snapshot image to train an event detector
WO2020073271A1 (en) Snapshot image of traffic scenario

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 4