KR20210147405A - 객체 인식을 수행하는 전자 장치 및 이의 동작 방법 - Google Patents

객체 인식을 수행하는 전자 장치 및 이의 동작 방법 Download PDF

Info

Publication number
KR20210147405A
KR20210147405A KR1020200064597A KR20200064597A KR20210147405A KR 20210147405 A KR20210147405 A KR 20210147405A KR 1020200064597 A KR1020200064597 A KR 1020200064597A KR 20200064597 A KR20200064597 A KR 20200064597A KR 20210147405 A KR20210147405 A KR 20210147405A
Authority
KR
South Korea
Prior art keywords
image
electronic device
photographing
area
processor
Prior art date
Application number
KR1020200064597A
Other languages
English (en)
Inventor
고상수
김경영
김병수
하상혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200064597A priority Critical patent/KR20210147405A/ko
Priority to US17/169,648 priority patent/US11539871B2/en
Priority to CN202110346887.XA priority patent/CN113810567A/zh
Publication of KR20210147405A publication Critical patent/KR20210147405A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

본 개시의 기술적 사상에 따른 전자 장치는, 제1 시야각을 촬영한 제1 이미지를 출력하는 제1 이미지 센서, 제1 시야각의 적어도 일부와 중첩되는 제2 시야각을 촬영한 제2 이미지를 출력하는 제2 이미지 센서, 제3 시야각을 촬영한 제3 이미지를 출력하는 제3 이미지 센서 및 이미지에 포함된 적어도 하나의 객체에 대한 객체 인식을 수행하는 프로세서를 포함하고, 프로세서는, 제1 이미지 및 제2 이미지의 적어도 하나의 특징점의 이격 정도를 나타내는 디스패리티(disparity) 정보를 생성하고, 디스패리티 정보를 기초로 제3 이미지를 변환하고, 변환한 제3 이미지에 대한 객체 인식(object detection)을 수행할 수 있다.

Description

객체 인식을 수행하는 전자 장치 및 이의 동작 방법{ELECTRONIC DEVICE FOR PERFORMING OBJECT DETECTION AND OPERATION MTEHOD THEREOF}
본 개시의 기술적 사상은 객체 인식을 수행하는 전자 장치 및 이의 동작 방법에 관한 것으로서, 구체적으로 서로 중첩되는 촬영 영역들을 갖는 복수의 이미지 센서들을 이용하여 객체 인식을 수행하는 전자 장치 및 이의 동작 방법에 관한 것이다.
자율 주행 시스템(또는 ADAS(Advanced Driver Assistance System))은 다양한 종류의 센서들로부터 호스트 차량 및 주변 환경에 대한 정보를 획득하고, 획득한 정보들을 기초로 호스트 차량을 제어함으로써 안전한 주행을 수행할 수 있다. 구체적으로, 자율 주행 시스템은 복수의 이미지 센서들을 이용하여 호스트 차량의 주변 환경을 촬영하고, 촬영한 이미지들에 대한 객체 인식을 수행하고, 객체 인식 결과를 기초로 호스트 차량의 주행 방향, 주행 속도 등을 제어할 수 있다.
자율 주행 시스템은 주로 호스트 차량의 전방 뷰(front view)를 촬영하는 이미지 센서를 포함하고, 전방 뷰를 촬영한 이미지에 대하여 객체 인식을 수행한다. 한편, 호스트 차량의 좌측 또는 우측에 객체가 근접하는 경우, 전방 뷰를 촬영한 이미지는 근접한 객체의 일부만이 포함될 수 있다. 이에 따라, 자율 주행 시스템은 전방 뷰를 촬영한 이미지로부터 호스트 차량의 좌측 또는 우측에 근접한 객체를 정확하게 검출하는데 어려움이 있었다.
본 개시의 기술적 사상은 일 방향을 촬영한 2개의 이미지들을 기초로 근접한 객체에 대응하는 이미지 영역을 확인하고, 타 방향을 촬영하고 상기 근접한 객체를 포함하는 이미지에 상기 확인한 이미지 영역을 병합하고, 병합한 이미지에 대한 객체 인식을 수행하는 전자 장치 및 이의 동작 방법을 제공한다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일 측면에 따른 전자 장치는, 제1 촬영 영역을 촬영한 제1 이미지를 출력하는 제1 이미지 센서, 제1 촬영 영역의 적어도 일부와 중첩되는 제2 촬영 영역을 촬영한 제2 이미지를 출력하는 제2 이미지 센서, 제3 촬영 영역을 촬영한 제3 이미지를 출력하는 제3 이미지 센서 및 이미지에 포함된 적어도 하나의 객체에 대한 객체 인식을 수행하는 프로세서를 포함하고, 프로세서는, 제1 이미지 및 제2 이미지의 적어도 하나의 특징점의 이격 정도를 나타내는 디스패리티(disparity) 정보를 생성하고, 디스패리티 정보를 기초로 제3 이미지를 변환하고, 변환한 제3 이미지에 대한 객체 인식(object detection)을 수행할 수 있다.
본 개시의 기술적 사상의 일 측면에 따른 전자 장치는, 제1 방향을 촬영한 제1 컬러 이미지를 출력하는 제1 이미지 센서, 제1 컬러 이미지에 대응하는 깊이 이미지를 출력하는 깊이 센서, 제2 방향을 촬영한 제2 컬러 이미지를 출력하는 제2 이미지 센서 및 이미지에 포함된 적어도 하나의 객체에 대한 객체 인식을 수행하는 프로세서를 포함하고, 프로세서는, 제1 컬러 이미지 및 깊이 이미지를 기초로 제2 컬러 이미지를 변환하고, 변환한 제2 컬러 이미지에 대한 객체 인식을 수행할 수 있다.
본 개시의 기술적 사상의 일 측면에 따른 전자 장치의 동작 방법은, 제1 촬영 영역을 촬영한 제1 이미지를 획득하는 단계, 제1 촬영 영역의 적어도 일부와 중첩되는 제2 촬영 영역을 촬영한 제2 이미지를 획득하는 단계, 제3 촬영 영역을 촬영한 제3 이미지를 획득하는 단계, 제1 이미지 및 제2 이미지의 적어도 하나의 특징점의 이격 정도를 나타내는 디스패리티 정보를 생성하는 단계, 디스패리티 정보를 기초로 제3 이미지를 변환하는 단계 및 변환한 제3 이미지에 대한 객체 인식을 수행하는 단계를 포함할 수 있다.
본 개시의 실시 예에 따른 전자 장치 및 이의 동작 방법에 의하면, 일 방향을 촬영한 2개의 이미지들을 이용하여 근접한 객체에 대응하는 이미지 영역을 확인하고, 타 방향을 촬영하고 상기 근접한 객체를 포함하는 이미지에 상기 확인한 영역을 병합하고, 병합한 이미지에 대한 객체 인식을 수행함으로써, 근접한 객체를 정확하게 검출할 수 있다.
또한, 본 개시의 일 실시예에 따른 전자 장치 및 이의 동작 방법에 의하면, 일 방향을 촬영한 컬러 이미지와 상기 컬러 이미지에 대응하는 깊이 이미지를 이용하여 근접한 객체를 나타내는 영역을 확인하고, 타 방향을 촬영하고 상기 근접한 객체를 포함하는 이미지에 상기 확인한 영역을 병합하고, 병합한 이미지에 대한 객체 인식을 수행함으로써, 근접한 객체를 정확하게 검출할 수 있다.
도 1은 본 개시의 일 실시예에 따른 전자 장치를 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 복수의 이미지 센서들의 촬영 영역들을 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 복수의 이미지 센서들이 촬영한 이미지들을 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 디스패리티(disparity) 정보의 생성 방법을 나타내는 흐름도이다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 디스패리티 정보의 생성 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 이미지 변환 방법을 나타내는 흐름도이다.
도 8a 및 도 8b는 도 7의 이미지 변환 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 이미지 변환 방법을 나타내는 흐름도이다.
도 10a 및 도 10b는 도 9의 이미지 변환 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 이미지 변환 모듈을 나타내는 블록도이다.
도 12는 본 개시의 일 실시예에 따른 전자 장치를 나타내는 블록도이다.
도 13은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 나타내는 흐름도이다.
도 14는 본 개시의 일 실시예에 따른 전자 장치를 포함하는 호스트 차량을 나타내는 도면이다.
도 15는 본 개시의 일 실시예에 따른 자율 주행 장치를 나타내는 블록도이다.
도 1은 본 개시의 일 실시예에 따른 전자 장치(10)를 나타내는 블록도이다.
도 1을 참조하면, 전자 장치(10)는 센서(100), 메모리(200) 및 프로세서(300)를 포함할 수 있다. 전자 장치(10)는 이미지에 대하여 이미지 처리 동작을 수행하는 장치일 수 있다. 여기서 이미지 처리 동작이란, 이미지를 분석함으로써, 이미지에 포함된 적어도 하나의 객체에 대한 객체 인식(detection) 또는 분류(segmentation)를 수행하는 동작을 의미할 수 있다. 한편, 이미지 처리 동작의 종류는 전술한 예에 한하지 않으며, 다양한 동작을 포함할 수 있다.
전자 장치(10)는 PC(personal computer), IoT (Internet of Things) 장치, 또는 휴대용 전자 기기로 구현될 수 있다. 휴대용 전자 기기는, 랩탑 컴퓨터, 이동 전화기, 스마트폰, 태블릿 PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라, 디지털 비디오 카메라, 오디오 장치, PMP(portable multimedia player), PND(personal navigation device), MP3 플레이어, 휴대용 게임 콘솔(handheld game console), e-북(e-book), 웨어러블 기기 등과 같은 다양한 장치에 구비될 수 있다.
일 실시예에서, 전자 장치(10)는 호스트 차량을 제어하는 장치로 구현될 수 있다. 전자 장치(10)는 호스트 차량의 주변 환경을 촬영한 이미지를 기초로 객체 인식을 수행하고, 객체 인식 결과를 기초로 호스트 차량을 제어할 수 있다. 이하에서는, 설명의 편의를 위해, 전자 장치(10)가 호스트 차량을 제어하는 장치인 것을 전제로 설명한다.
센서(100)는 주변 환경에 대한 정보를 생성하는 다수의 센서들을 포함할 수 있다. 예를 들어, 센서(100)는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor)와 같은 이미지 센서를 포함할 수 있다. 일 실시예에서, 센서(100)는 제1 이미지 센서(110), 제2 이미지 센서(120) 및 제3 이미지 센서(130)를 포함할 수 있다.
제1 이미지 센서(110)는 제1 촬영 영역을 촬영한 제1 이미지(IMG1)를 출력할 수 있고, 제2 이미지 센서(120)는 제2 촬영 영역을 촬영한 제2 이미지(IMG2)를 출력할 수 있고, 제3 이미지 센서(130)는 제3 촬영 영역을 촬영한 제3 이미지(IMG3)를 출력할 수 있다. 일 실시예에서, 제1 이미지 센서(110) 및 제2 이미지 센서(120)는 인접하게 배치되어 동일 또는 유사한 방향을 촬영할 수 있다. 이에 따라, 제1 이미지 센서(110)의 제1 촬영 영역과 제2 이미지 센서(120)의 제2 촬영 영역은 상당 부분이 중첩될 수 있다. 제1 이미지 센서(110)와 제2 이미지 센서(120)의 배치 간격이 좁을수록 제1 촬영 영역 및 제2 촬영 영역 간의 중첩이 커질 수 있다. 제1 이미지 센서(110) 및 제2 이미지 센서(120)는 스테레오 카메라(미도시)의 형태로 구현될 수 있다. 또한, 제1 이미지(IMG1) 및 제2 이미지(IMG2)는 스테레오 이미지들이라 지칭될 수 있다.
일 실시예에서, 제3 이미지 센서(130)는 제1 이미지 센서(110) 또는 제2 이미지 센서(120)의 촬영 방향에 수직인 방향으로 촬영할 수 있다. 예를 들어, 제1 이미지 센서(110) 및 제2 이미지 센서(120)가 호스트 차량의 전방 뷰를 촬영하는 경우, 제3 이미지 센서(130)는 호스트 차량의 사이드 뷰를 촬영할 수 있다. 또 다른 예로, 제1 이미지 센서(110) 및 제2 이미지 센서(120)가 호스트 차량의 후방 뷰를 촬영하고, 제3 이미지 센서(130)는 호스트 차량의 사이드 뷰를 촬영할 수 있다.
상기의 예들에서, 실시예에 따라, 호스트 차량의 사이드 뷰를 촬영하는 제3 이미지 센서(130)는 호스트 차량의 좌측 사이드 뷰 및/또는 우측 사이드 뷰를 촬영하는 2개 이상의 이미지 센서들을 포함할 수도 있다. 예를 들어, 제3 이미지 센서(130)가 2개의 이미지 센서들을 포함하고, 호스트 차량의 좌측 사이드 뷰 또는 우측 사이드 뷰 중 하나를 촬영하는 경우, 2개의 이상의 이미지 센서들은 서로 중첩되는 촬영 영역들을 가질 수 있다. 또 다른 예로, 제3 이미지 센서(130)가 2개의 이미지 센서들을 포함하고, 호스트 차량의 좌측 사이드 뷰 및 우측 사이드 뷰를 촬영하는 경우, 2개의 이상의 이미지 센서들은 서로 상이한 촬영 영역들을 가질 수 있다.
한편, 설명의 편의를 위해, 이하에서는 제1 이미지 센서(110) 및 제2 이미지 센서(120)가 호스트 차량의 전방 뷰를 촬영하고, 제3 이미지 센서(130)는 하나의 이미지 센서를 포함하며, 호스트 차량의 사이드 뷰를 촬영하는 것을 전제로 한다.
제3 이미지 센서(130)의 제3 촬영 영역은 제1 촬영 영역 및 제2 촬영 영역 중 적어도 하나와 중첩될 수 있다. 제3 이미지 센서(130)는 수직 방향을 촬영하므로, 제3 촬영 영역의 제1 촬영 영역 또는 제2 촬영 영역 간의 중첩은, 제1 촬영 영역 및 제2 촬영 영역 간의 중첩에 비해 상대적으로 적을 수 있다. 한편, 제3 이미지 센서(130)의 촬영 방향은 전술한 예에 한하지 않으며, 제3 촬영 영역이 제1 촬영 영역 또는 제2 촬영 영역과 중첩될 수 있도록 설정된 촬영 방향이면 족하다.
한편, 객체(예를 들어, 주변 차량)가 전자 장치(10)의 전방의 좌측 또는 우측에 근접한 경우, 객체의 일부(예를 들어, 주변 차량의 앞부분)만이 제1 이미지(IMG1) 또는 제2 이미지(IMG2)에 포함될 수 있다. 또한, 상기 객체가 제3 이미지 센서(130)의 촬영 방향에도 위치하는 경우, 상기 객체의 나머지 일부(예를 들어, 주변 차량의 중간 부분 및 뒷부분)는 제3 이미지(IMG3)에 포함할 수 있다. 이 경우, 프로세서(300)는 제1 이미지(IMG1), 제2 이미지(IMG2) 및 제3 이미지(IMG3)를 분석하더라도 전자 장치(10)에 근접한 객체를 검출하기 어려울 수 있다.
메모리(200)는 데이터를 저장하기 위한 저장 장소로, 센서(100)를 통해 생성된 데이터 및 프로세서(300)의 연산 수행 과정에서 생성된 각종 데이터를 저장할 수 있다. 예를 들어, 메모리(200)는 복수의 이미지 센서들(110, 120, 130)을 통해 획득된 이미지들(IMG1, IMG2, IMG3)을 저장할 수 있다. 그리고 메모리(200)는 프로세서(300)의 동작과 관련하여 후술하는 바와 같이, 프로세서(300)의 이미지 처리 동작에 따른 처리 결과를 저장할 수 있다.
프로세서(300)는 전자 장치(10)의 전반적인 동작을 제어할 수 있다. 프로세서(300)는 CPU(Central Processing Unit), Graphic Processing Unit(GPU), AP(Application Processor), DSP(Digital Signal Processor), FPGA(Field-Programmable Gate Array), NPU(Neural network Processing unit), ECU(Electronic Control Unit), ISP(Image Signal Processor) 등 다양한 연산 처리 장치들을 포함할 수 있다.
본 개시의 일 실시예에 따른 프로세서(300)는 이미지 변환 모듈(310)을 포함할 수 있다. 이미지 변환 모듈(310)은 제1 이미지(IMG1) 및 제2 이미지(IMG2)를 기초로 제3 이미지(IMG3)를 변환할 수 있다. 일 실시예에서, 이미지 변환 모듈(310)은 제1 이미지(IMG1) 및 제2 이미지(IMG2)의 적어도 하나의 공통되는 특징점(feature point)의 이격 정도를 나타내는 디스패리티(disparity) 정보를 생성하고, 생성한 디스패리티 정보를 기초로 제3 이미지(IMG3)를 변환할 수 있다. 이미지 변환 모듈(310)의 이미지 변환 동작을 구체적으로 설명하면 아래와 같다.
제1 이미지 센서(110)와 제2 이미지 센서(120)는 인접하게 배치되므로, 제1 이미지(IMG1) 및 제2 이미지(IMG2)에는 적어도 하나의 객체가 공통적으로 포함될 수 있다. 따라서, 공통적으로 포함된 객체의 특징점들도 제1 이미지(IMG1) 및 제2 이미지(IMG2)에 공통적으로 포함될 수 있다. 여기서 특징점이란, 객체의 특징을 나타내는 지점으로, 객체를 구성하는 픽셀을 의미할 수 있다. 이미지 변환 모듈(310)은 제1 이미지(IMG1) 및 제2 이미지(IMG2)를 분석하여 공통되는 특징점을 검출하고, 제1 이미지(IMG1)에서의 특징점의 위치와 제2 이미지(IMG2)에서의 특징점의 위치의 차이를 기초로 디스패리티 정보를 생성할 수 있다.
디스패리티 정보는 전자 장치(10)와 객체의 거리에 따라 상이한 값을 가질 수 있다. 예를 들어, 제1 객체가 먼 곳에 위치하는 경우, 제1 이미지(IMG1)에 포함된 제1 객체의 특징점의 위치와 제2 이미지(IMG2)에 포함된 제1 객체의 특징점의 위치의 차이는 작다. 따라서, 제1 객체의 특징점에 대한 디스패리티 값은 상대적으로 작은 값을 가질 수 있다. 또 다른 예로, 제2 객체가 근접한 경우, 제1 이미지(IMG1)에 포함된 제2 객체의 특징점의 위치와 제2 이미지(IMG2)에 포함된 제2 객체의 특징점의 위치의 차이는 크다. 따라서, 제2 객체의 특징점에 대한 디스패리티 값은 상대적으로 큰 값을 가질 수 있다. 이미지 변환 모듈(310)은 전술한 디스패리티 값의 특징을 이용하여 제3 이미지(IMG3)를 변환할 수 있다.
구체적으로, 이미지 변환 모듈(310)은 디스패리티 정보를 기초로, 제1 이미지(IMG1) 또는 제2 이미지(IMG2)로부터, 전자 장치(10)에 근접한 객체에 대응하는 영역을 확인할 수 있다. 예를 들어, 근접한 객체를 구성하는 특징점에 대한 디스패리티 값은 상대적으로 크므로, 이미지 변환 모듈(310)은 제1 이미지(IMG1) 또는 제2 이미지(IMG2)에서 큰 디스패리티 값을 갖는 영역을 근접한 객체에 대응하는 영역으로 확인할 수 있다.
그리고 이미지 변환 모듈(310)은 상기 확인한 영역을 포함하는 영역을 제3 이미지(IMG3)에 병합(merge)할 수 있다. 예를 들어, 이미지 변환 모듈(310)은 제1 이미지(IMG1) 또는 제2 이미지(IMG2)에서 상기 근접한 객체의 일부(예를 들어, 주변 차량의 앞부분)에 해당하는 영역을 제3 이미지(IMG3)의 상기 근접한 객체의 나머지 일부(예를 들어, 주변 차량의 중간 부분 및 뒷 부분)와 관련된 영역에 병합함으로써, 상기 객체의 전체 형태를 포함하도록 제3 이미지(IMG3)를 변환할 수 있다. 한편, 전술한 예에서는 제1 이미지(IMG1) 또는 제2 이미지(IMG2)에 근접한 객체의 일부가 포함되고, 제3 이미지(IMG3)에 근접한 객체의 나머지 일부가 포함되는 것으로 설명하였으나, 이는 일 실시예에 불과하며, 제1 이미지(IMG), 제2 이미지(IMG2) 및 제3 이미지(IMG)는 근접한 객체의 일부를 중복하여 포함할 수도 있다.
그리고 프로세서(300)는 객체 검출 모듈(320)을 포함할 수 있다. 객체 검출 모듈(320)은 이미지에 포함된 적어도 하나의 객체를 검출할 수 있다. 일 실시예에서, 객체 검출 모듈(320)은 제1 이미지(IMG1), 제2 이미지(IMG2) 및 제3 이미지(IMG3) 중 적어도 하나의 이미지에 포함된 객체를 검출할 수 있다. 또한, 본 개시의 기술적 사상에 따른 객체 검출 모듈(320)은 이미지 변환 모듈(310)에 의해 변환된 제3 이미지(IMG3)에 포함된 객체를 검출할 수 있다. 구체적으로, 객체 검출 모듈(320)은 전자 장치(10)에 근접한 객체의 전체 형태를 포함하도록 변환된 제3 이미지(IMG3)로부터 상기 객체를 검출할 수 있다.
이미지 변환 모듈(310) 및 객체 검출 모듈(320)은 각각 펌웨어 또는 소프트웨어로 구현될 수 있고, 메모리(200)에 로딩되었다가 프로세서(300)에 의해 실행될 수 있다. 그러나, 본 개시는 이에 한정되지 않으며, 이미지 변환 모듈(310) 및 객체 검출 모듈(320)은 각각 하드웨어로 구현되거나, 소프트웨어와 하드웨어를 결합한 형태로 구현될 수 있다.
한편, 도 1에서는, 전자 장치(10)가 복수의 이미지 센서들(110, 120, 130)을 포함하는 것으로 도시하고 설명하였지만, 실시예에 따라, 복수의 이미지 센서들(110, 120, 130)을 포함하지 않거나, 적어도 일부만을 포함하면서, 외부 장치로부터 적어도 하나의 이미지(IMG1, IMG2, IMG3)를 수신하는 방식으로도 구현될 수도 있다.
또한, 도 1에서는, 전자 장치(10)가 메모리(200)를 포함하는 것으로 도시하고 설명하였지만, 실시예에 따라, 전자 장치(10)와 메모리(200)는 별도의 구성으로 구현될 수도 있다.
본 개시의 일 실시예에 따른 전자 장치(10)는 일 방향을 촬영한 2개의 이미지들을 이용하여 근접한 객체에 대응하는 이미지 영역을 확인하고, 타 방향을 촬영하고 상기 근접한 객체를 포함하는 이미지에 상기 확인한 영역을 병합하고, 병합한 이미지에 대한 객체 인식을 수행함으로써, 근접한 객체를 정확하게 검출할 수 있다.
이하에서는, 도 2 및 도 3을 참조하여, 전자 장치(10)의 복수의 이미지 센서들(110, 120, 130)을 통해 촬영한 이미지들(IMG1, IMG2, IMG3)의 특징을 설명한다.
도 2는 본 개시의 일 실시예에 따른 복수의 이미지 센서들(110, 120, 130)의 촬영 영역들을 나타내는 도면이다. 상세하게는, 도 2는 도 1의 제1 이미지 센서(110), 제2 이미지 센서(120) 및 제3 이미지 센서(130)의 촬영 영역들을 나타내는 도면이다.
도 1 및 도 2를 참조하면, 전자 장치(10)는 호스트 차량에 배치되어, 호스트 차량의 주변 환경을 촬영할 수 있다. 제1 이미지 센서(110)는 호스트 차량의 전방 뷰(Front View(Left))를 촬영할 수 있고, 제2 이미지 센서(120)는 호스트 차량의 전방 뷰(Front View(Right))를 촬영할 수 있고, 제3 이미지 센서(130)는 호스트 차량의 사이드 뷰(Side View)를 촬영할 수 있다. 한편, 도 2에서는 제3 이미지 센서(130)가 호스트 차량의 우측 사이드 뷰를 촬영하는 것으로 도시하였지만, 이는 하나의 예에 불과하며, 제3 이미지 센서(130)는 호스트 차량의 좌측 사이드 뷰를 촬영하도록 구현될 수도 있다. 이와 같이, 전자 장치(10)는 복수의 이미지 센서들(110, 120, 130)을 이용하여 호스트 차량의 주변 상황을 촬영하고, 촬영한 이미지에 대해 객체 인식을 수행할 수 있다.
복수의 객체들(OB1 내지 OB4)은 전자 장치(10)의 주변에 위치할 수 있다. 도 2를 참조하면, 제1 객체(OB1), 제2 객체(OB2) 및 제4 객체(OB4)는 제1 이미지 센서(110) 및 제2 이미지 센서(120) 각각의 촬영 영역 내에 위치한다. 한편, 제3 객체(OB3)는 그 일부만이 제1 이미지 센서(110), 제2 이미지 센서(120) 및 제3 이미지 센서(130) 각각의 촬영 영역 내에 위치한다.
도 3은 본 개시의 일 실시예에 따른 복수의 이미지 센서들이 촬영한 이미지들을 나타내는 도면이다. 상세하게는, 도 3은 도 2의 복수의 객체들(OB1 내지 OB4)에 대하여, 도 1의 제1 이미지 센서(110), 제2 이미지 센서(120) 및 제3 이미지 센서(130)가 촬영한 이미지들(IMG1, IMG2, IMG3)을 나타내는 도면이다.
도 1 내지 도 3을 참조하면, 제1 이미지 센서(110)가 촬영한 제1 이미지(IMG1) 및 제2 이미지 센서(120)가 촬영한 제2 이미지(IMG2)는 제1 객체(OB1), 제2 객체(OB2) 및 제4 객체(OB4)를 포함할 수 있다. 따라서, 전자 장치(10)는 제1 이미지(IMG1) 또는 제2 이미지(IMG2)에 대한 객체 인식을 수행함으로써, 제1 객체(OB1), 제2 객체(OB2) 및 제4 객체(OB4)를 검출할 수 있다.
한편, 제1 이미지(IMG1) 및 제2 이미지(IMG2)는 가장 근접한 제3 객체(OB3)의 앞 부분만을 포함할 수 있다. 제3 이미지 센서(130)가 촬영한 제3 이미지(IMG3)도 제3 객체(OB3)의 중간 부분 및 뒷 부분만을 포함할 수 있다. 따라서, 전자 장치(10)는 제1 이미지(IMG1), 제2 이미지(IMG2) 또는 제3 이미지(IMG3)에 대한 객체 인식을 수행하더라도, 제3 객체(OB3)를 검출하지 못할 가능성이 있다.
프로세서(300)는 제3 객체(OB3)를 정확히 검출하기 위해, 제3 이미지(IMG3)를 변환할 수 있다. 구체적으로, 프로세서(300)는 제1 이미지(IMG1) 및 제2 이미지(IMG2)의 디스패리티 정보를 생성할 수 있다. 그리고 프로세서(300)는 생성한 디스패리티 정보를 기초로 제1 이미지(IMG1) 또는 제2 이미지(IMG2) 내의 제3 객체(OB3)에 대응하는 영역(예를 들어, 앞 부분)을 확인할 수 있다. 그리고 프로세서(300)는 확인한 영역(예를 들어, 앞 부분)을 제3 이미지(IMG3)의 제3 객체(OB3)과 관련된 영역에 병합함으로써, 제3 이미지(IMG3)를 변환할 수 있다. 그리고 프로세서(300)는 변환된 제3 이미지(IMG3)에 대한 객체 인식을 수행하여, 제3 객체(OB3)를 검출할 수 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치(10)의 동작 방법을 나타내는 흐름도이다. 상세하게는, 도 4는 도 1의 전자 장치(10)의 동작 방법을 나타내는 흐름도이다. 도 4를 구성하는 단계들 중 적어도 일부는 이미지 변환 모듈(310) 및 객체 인식 모듈(320)을 이용하여 프로세서(300)에 의해 수행될 수 있다.
도 1 및 도 4를 참조하면, 전자 장치(10)는 제1 촬영 영역을 촬영한 제1 이미지(IMG1)를 획득할 수 있다(S110). 구체적으로, 전자 장치(10)는 제1 이미지 센서(110)를 통해 제1 촬영 영역을 촬영한 제1 이미지(IMG1)를 획득할 수 있다. 한편, 본 개시는 이에 한정되지 않으며, 전자 장치(10)는 외부 장치로부터 제1 이미지(IMG1)를 획득할 수도 있다.
그리고 전자 장치(10)는 제1 촬영 영역의 적어도 일부와 중첩되는 제2 촬영 영역을 촬영한 제2 이미지(IMG2)를 획득할 수 있다(S120). 구체적으로, 전자 장치(10)는 제2 이미지 센서(120)를 통해 제2 촬영 영역을 촬영한 제2 이미지(IMG2)를 획득할 수 있다. 한편, 본 개시는 이에 한정되지 않으며, 전자 장치(10)는 외부 장치로부터 제2 이미지(IMG2)를 획득할 수도 있다.
그리고 전자 장치(10)는 제3 촬영 영역을 촬영한 제3 이미지(IMG3)를 획득할 수 있다(S130). 구체적으로, 전자 장치(10)는 제3 이미지 센서(130)를 통해 제3 촬영 영역을 촬영한 제3 이미지(IMG3)를 획득할 수 있다. 한편, 본 개시는 이에 한정되지 않으며, 전자 장치(10)는 외부 장치로부터 제3 이미지(IMG3)를 획득할 수도 있다. 제3 촬영 영역은 제1 촬영 영역 또는 제2 촬영 영역과 중첩될 수 있다.
그리고 전자 장치(10)는 디스패리티 정보를 생성할 수 있다(S140). 구체적으로, 전자 장치(10)는 제1 이미지(IMG1) 및 제2 이미지(IMG2)의 적어도 하나의 공통되는 특징점의 이격 정도를 나타내는 디스패리티 정보를 생성할 수 있다.
그리고 전자 장치(10)는 생성한 디스패리티 정보를 기초로 제3 이미지(IMG3)를 변환할 수 있다(S150). 구체적으로, 전자 장치(10)는 디스패리티 정보를 기초로 제1 이미지(IMG1) 또는 제2 이미지(IMG2)로부터 전자 장치(10)에 근접한 객체를 나타내는 영역을 확인하고, 확인한 영역을 제3 이미지(IMG3)에 병합함으로써 제3 이미지(IMG3)를 변환할 수 있다. 그리고 전자 장치(10)는 변환한 제3 이미지(IMG3)에 대한 객체 인식을 수행할 수 있다(S160).
도 5는 본 개시의 일 실시예에 따른 디스패리티(disparity) 정보의 생성 방법을 나타내는 흐름도이다. 상세하게는, 도 5는 도 4의 디스패리티 정보의 생성 방법(단계 S140)의 구체적인 동작을 설명하기 위한 도면이다. 도 5를 구성하는 단계들 중 적어도 일부는 이미지 변환 모듈(310)을 이용하여 프로세서(300)에 의해 수행될 수 있다.
도 1, 도 4 및 도 5를 참조하면, 전자 장치(10)는 제1 이미지(IMG1)에 포함된 적어도 하나의 제1 특징점을 검출할 수 있다(S141). 그리고 전자 장치(10)는 제2 이미지에 포함된 적어도 하나의 제2 특징점을 검출할 수 있다(S143). 제1 이미지(IMG1) 및 제2 이미지(IMG2) 각각은, 서로 중첩되는 촬영 영역들을 갖는 제1 이미지 센서(110) 및 제2 이미지 센서(120)에 의해 촬영되었으므로, 적어도 하나의 객체를 공통적으로 포함할 수 있다.
그리고 전자 장치(10)는 제1 특징점 및 제2 특징점 간의 특징 매칭을 수행할 수 있다(S145). 구체적으로, 전자 장치(10)는 제1 이미지(IMG1) 및 제2 이미지(IMG2)가 공통적으로 포함하는 객체 각각에 대하여, 서로 대응되는 제1 특징점 및 제2 특징점을 매칭할 수 있다.
그리고 전자 장치(10)는 매칭된 특징점의 이격 정도를 산출할 수 있다(S147). 구체적으로, 전자 장치(10)는 서로 매칭된 제1 특징점의 위치와 제2 특징점의 위치의 차이를 산출함으로써, 디스패리티 정보를 생성할 수 있다. 한편, 전자 장치(10)가 디스패리티 정보를 생성하는 방법은 전술한 예에 한하지 않으며, 다양한 방식으로 디스패리티 정보를 생성할 수 있다.
도 6a 및 도 6b는 본 개시의 일 실시예에 따른 디스패리티 정보의 생성 방법을 설명하기 위한 도면이다.
도 1 및 도 6a를 참조하면, 전자 장치(10)는 제1 이미지(IMG1)에 포함된 적어도 하나의 제1 특징점들을 검출할 수 있다. 예를 들어, 전자 장치(10)는 제1 이미지(IMG1)에 포함된 주변 차량, 도로, 나무 등과 같은 객체를 구성하는 적어도 하나의 제1 특징점들을 검출할 수 있다(S141). 그리고 전자 장치(10)는 제2 이미지(IMG2)에 포함된 주변 차량, 도로, 나무 등과 같은 객체를 구성하는 적어도 하나의 제2 특징점들을 검출할 수 있다(S143).
그리고 전자 장치(10)는 검출한 제1 특징점 및 제2 특징점을 매칭할 수 있다(S145). 예를 들어, 전자 장치(10)는 제1 이미지(IMG1) 및 제2 이미지(IMG2)에 공통적으로 포함된 주변 차량에 대하여, 제1 이미지(IMG1) 내 상기 주변 차량을 구성하는 제1 특징점과 제2 이미지(IMG2) 내 상기 주변 차량을 구성하는 제2 특징점을 매칭할 수 있다. 전자 장치(10)는 제1 이미지(IMG1) 및 제2 이미지(IMG2)에 공통적으로 포함된 도로, 나무 등에 대해서도 동일하게 특징 매칭을 수행할 수 있다.
그리고 전자 장치(10)는 제1 이미지(IMG1) 및 제2 이미지(IMG2)에서 매칭된 특징점들을 포함하는 영역을 결정하고, 결정한 영역들을 이용하여 디스패리티 정보를 생성할 수 있다. 예를 들어, 제1 이미지(IMG1)는 제2 이미지 센서(120)의 좌측에 배치된 제1 이미지 센서(110)에 의해 촬영된 이미지이므로, 제1 이미지(IMG1)의 좌측 가장자리는 제2 이미지 센서(120)의 촬영 영역에 포함되지 않는 영역에 해당할 수 있다. 따라서, 전자 장치(10)는 제1 이미지(IMG1)의 좌측 가장자리에 위치한 제1 특징점에 대하여 매칭되는 제2 특징점을 검출하지 못할 수 있다. 이에 따라, 전자 장치(10)는 제1 이미지(IMG1)의 좌측 가장자리를 제외한 A 영역(Region A)을 디스패리티 정보를 생성하는데 사용하는 것으로 결정할 수 있다.
또한, 제2 이미지(IMG2)는 제1 이미지 센서(110)의 우측에 배치된 제2 이미지 센서(120)에 의해 촬영된 이미지이므로, 제2 이미지(IMG2)의 우측 가장자리는 제1 이미지 센서(110)의 촬영 영역에 포함되지 않는 영역에 해당할 수 있다. 따라서, 전자 장치(10)는 제2 이미지(IMG2)의 우측 가장자리에 위치한 제2 특징점에 대하여 매칭되는 제1 특징점을 검출하지 못할 수 있다. 이에 따라, 전자 장치(10)는 제2 이미지(IMG2)의 우측 가장자리를 제외한 B 영역(Region B)을 디스패리티 정보를 생성하는데 사용하는 것으로 결정할 수 있다.
도 1 및 도 6b를 참조하면, 전자 장치(10)는 A 영역(Region A) 및 B 영역(Region B)을 이용하여 특징점들의 이격 정도인 디스패리티 값들을 산출할 수 있다(S147). 예를 들어, 전자 장치(10)는 제1 이미지(IMG)의 제1 특징점의 위치 값에서 매칭되는 제2 이미지(IMG)의 제2 특징점의 위치 값의 감산함으로써, 이격 정도를 산출할 수 있다. 제1 이미지(IMG)의 좌측 가장자리 영역은 매칭되는 제2 특징점이 없으므로, 기설정된 값을 갖도록 설정될 수 있다. 또한, 제2 이미지(IMG)의 우측 가장자리 영역은 매칭되는 제1 특징점이 없으므로, 이격 정도를 산출하는 데에 이용되지 않을 수 있다. 그리고 전자 장치(10)는 각 특징점들의 이격 정도를 나타내는 디스패리티 값들을 병합하여 디스패리티 정보(Info_D)를 생성할 수 있다.
도 7은 본 개시의 일 실시예에 따른 이미지 변환 방법을 나타내는 흐름도이다. 상세하게는, 도 7은 도 4의 디스패리티 정보에 기초한 이미지 변환 방법(단계 S150)의 구체적인 동작을 설명하기 위한 도면이다. 도 7을 구성하는 단계들 중 적어도 일부는 이미지 변환 모듈(310)을 이용하여 프로세서(300)에 의해 수행될 수 있다.
도 1, 도 4 및 도 7을 참조하면, 전자 장치(10)는 제1 이미지(IMG1) 또는 제2 이미지(IMG2)로부터 타겟 영역을 추출할 수 있다(S151). 여기서 타겟 영역이란, 제1 이미지(IMG1) 또는 제2 이미지(IMG2) 중 제3 이미지(IMG3)에 병합하고자 하는 영역을 의미할 수 있다. 일 실시예에서, 전자 장치(10)는 디스패리티 정보를 기초로 제1 이미지(IMG1) 또는 제2 이미지(IMG2)로부터 타겟 영역을 추출할 수 있다. 예를 들어, 전자 장치(10)는 제1 이미지(IMG1) 또는 제2 이미지(IMG2)에서, 임계 값 이상인 디스패리티 값을 갖는 영역을 타겟 영역으로 추출할 수 있다. 여기서 임계 값은 전자 장치(10)에 객체가 충분히 근접할 때 가질 수 있는 디스패리티 값을 의미할 수 있으며, 제조사 또는 사용자에 의해 설정될 수 있다.
또 다른 실시예에서, 전자 장치(10)는 제1 이미지(IMG1)에서, 제3 이미지 센서(130)의 제3 촬영 영역과 중첩되는 영역을 타겟 영역으로 추출할 수 있다. 또는, 전자 장치(10)는 제2 이미지(IMG2)에서, 제3 이미지 센서의 제3 촬영 영역과 중첩되는 영역을 타겟 영역으로 추출할 수 있다.
그리고 전자 장치(10)는 추출한 타겟 영역을 제3 이미지(IMG3)에 병합함으로써 제3 이미지(IMG3)를 변환할 수 있다(S153). 구체적으로, 전자 장치(10)는 타겟 영역을 와핑(Warping)하고, 와핑한 타겟 영역을 제3 이미지(IMG3)에 병합할 수 있다.
일 실시예에서, 전자 장치(10)는 제1 이미지(IMG1) 또는 제2 이미지(IMG2)의 각 좌표값에 대응하는 제3 이미지(IMG3)의 좌표값을 포함하는 매핑 정보를 포함할 수 있다. 전자 장치(10)는 매핑 정보를 기초로, 타겟 영역을 구성하는 각 픽셀에 대하여, 대응하는 제3 이미지(IMG3)의 좌표값을 확인할 수 있다. 그리고 전자 장치(10)는 타겟 영역을 구성하는 각 픽셀 값을 제3 이미지(IMG3)의 확인한 좌표값에 병합할 수 있다.
또 다른 실시예에서, 보다 빠른 연산을 위해, 전자 장치(10)는 타겟 영역을 구성하는 각 픽셀이 아닌 타겟 영역에 포함된 각 특징점에 대응하는 제3 이미지(IMG3)의 좌표값만을 확인할 수 있다. 그리고 전자 장치(10)는 각 특징점을 포함하는 기설정된 크기의 이미지(즉, 타겟 영역의 일부)를 제3 이미지(IMG3)의 확인한 좌표값에 병합할 수도 있다.
그리고 전자 장치(10)는 타겟 영역을 제3 이미지(IMG3)에 병합할 때, 타겟 영역의 픽셀 값들뿐만 아니라 타겟 영역에 대응하는 디스패리티 값들을 함께 제3 이미지(IMG3)에 병합할 수도 있다. 예를 들어, 전자 장치(10)는 타겟 영역에 대응하는 디스패리티 값들 그 자체를 제3 이미지(IMG3)에 병합할 수 있다. 또 다른 예로, 전자 장치(10)는 타겟 영역에 대응하는 디스패리티 값들을 기초로 깊이 값을 나타내는 깊이 정보를 생성하고, 생성한 깊이 정보를 제3 이미지(IMG3)에 병합할 수 있다. 또 다른 예로, 전자 장치(10)는 생성한 깊이 정보를 기초로 호스트 차량과의 거리를 나타내는 거리 정보를 생성하고, 생성한 거리 정보를 제3 이미지(IMG3)에 병합할 수 있다. 한편, 전자 장치(10)가 디스패리티 값들을 제3 이미지(IMG3)에 병합하는 방법은 전술한 예에 한하지 않는다. 그리고 전자 장치(10)는 변환된 제3 이미지(IMG3)의 픽셀 값들과 디스패리티 값들을 기초로 객체 인식을 수행할 수 있다.
한편, 전자 장치(10)가 타겟 영역을 제3 이미지(IMG3)에 병합하는 방법은 전술한 예에 한하지 않으며, 다양한 방식이 적용될 수 있음은 물론이다.
도 8a 및 도 8b는 도 7의 이미지 변환 방법을 설명하기 위한 도면이다.
도 1, 도 7 및 도 8a를 참조하면, 전자 장치(10)는 디스패리티 정보(Info_D)에서 임계 값 이상인 타겟 디스패리티 값들(Info_D(Target))을 확인할 수 있다. 그리고 전자 장치(10)는 제1 이미지(IMG1) 및 확인한 디스패리티 값들(Info_D(Target))을 기초로 타겟 영역을 추출할 수 있다(S151). 구체적으로, 전자 장치(10)는 제1 이미지(IMG1)에서 확인한 디스패리티 값들(Info_D(Target))을 갖는 영역을 타겟 영역(IMG_TG)으로 추출할 수 있다.
도 1, 도 7 및 도 8b를 참조하면, 전자 장치(10)는 추출한 타겟 영역(IMG_TG) 및 제3 이미지(IMG3)를 병합함으로써(S513), 변환된 제3 이미지(IMG3_T)를 생성할 수 있다. 예를 들어, 전자 장치(10)는 타겟 영역(IMG_TG)에 포함된 각 특징점에 대응하는 제3 이미지(IMG3)의 좌표값을 확인할 수 있다. 그리고 전자 장치(10)는 각 특징점을 포함하는 기설정된 크기의 이미지를 제3 이미지(IMG3)의 확인한 좌표값에 병합할 수 있다. 이때, 실시예에 따라, 전자 장치(10)는 각 특징점을 포함하는 기설정된 크기의 이미지에 대응하는 디스패리티 값들을 제3 이미지(IMG3)의 확인한 좌표값에 함께 병합할 수 있다. 디스패리티 값들을 제3 이미지(IMG3)에 병합하는 방법은 도 7에서 전술한 방법과 실질적으로 동일할 수 있는바, 중복 설명은 생략한다.
한편, 특징점에 대응하는 제3 이미지(IMG3)의 좌표값은 기존의 제3 이미지(IMG3)를 구성하는 픽셀들의 좌표값 범위를 벗어날 수 있다. 따라서, 변환된 제3 이미지(IMG3_T)는 기존의 제3 이미지(IMG3) 보다 큰 크기를 가질 수 있다.
한편, 도 8a 및 8b를 도시하고 설명함에 있어서, 제1 이미지(IMG1)를 사용하는 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않으며, 제2 이미지(IMG2)를 사용하는 방식으로 구현될 수도 있음은 물론이다.
도 9는 본 개시의 일 실시예에 따른 이미지 변환 방법을 나타내는 흐름도이다. 상세하게는, 도 9는 도 7의 변형 가능한 실시예를 나타내는 도면이다. 즉, 도 9는 도 4의 디스패리티 정보에 기초한 이미지 변환 방법(단계 S150)의 구체적인 동작을 설명하기 위한 도면이다. 도 9를 구성하는 단계들 중 적어도 일부는 전자 장치(10)의 프로세서(300)에 의해 수행될 수 있다.
도 1, 도 4 및 도 9를 참조하면, 전자 장치(10)는 제1 이미지(IMG1) 또는 제2 이미지(IMG2)로부터 타겟 영역을 추출하는 대신, 제1 이미지(IMG1) 또는 제2 이미지(IMG2)에서 타겟 영역을 제외한 나머지 영역을 마스킹 처리할 수 있다(S155).
그리고 전자 장치(10)는 마스킹한 이미지를 제3 이미지(IMG3)에 병합할 수 있다(S157). 마스킹한 이미지를 제3 이미지(IMG3)에 병합하는 방법은 도 7에서 설명한 방법과 실질적으로 동일할 수 있으므로, 중복 설명은 생략한다.
도 10a 및 도 10b는 도 9의 이미지 변환 방법을 설명하기 위한 도면이다.
도 1, 도 9 및 도 10a를 참조하면, 전자 장치(10)는 디스패리티 정보(Info_D)에서 임계 값 이상인 타겟 디스패리티 값들(Info_D(Target))을 확인할 수 있다. 그리고 전자 장치(10)는 제1 이미지(IMG1) 및 확인한 디스패리티 값들(Info_D(Target))을 기초로, 제1 이미지(IMG1)를 마스크 처리함으로써(S155), 마스킹된 제1 이미지(IMG1_M)을 생성할 수 있다. 구체적으로, 전자 장치(10)는 제1 이미지(IMG1)에서 확인한 디스패리티 값들(Info_D(Target))에 대응하는 타겟 영역을 확인하고, 제1 이미지(IMG1)에서 타겟 영역을 제외한 나머지 영역을 마스크 처리할 수 있다.
도 1, 도 9 및 도 10b를 참조하면, 전자 장치(10)는 마스킹된 제1 이미지(IMG1_M) 및 제3 이미지(IMG3)를 병합함으로써(S157), 변환된 제3 이미지(IMG3_T)를 생성할 수 있다. 이때, 실시예에 따라, 전자 장치(10)는 마스킹된 제1 이미지(IMG1_M)에 대응하는 디스패리티 값들을 제3 이미지(IMG3)에 함께 병합할 수 있다. 디스패리티 값들을 제3 이미지(IMG3)에 병합하는 방법은 도 7에서 전술한 방법과 실질적으로 동일할 수 있는바, 중복 설명은 생략한다. 전자 장치(10)는 변환된 제3 이미지(IMG3_T)에 대한 객체 인식을 수행 시, 마스킹된 영역은 객체 인식을 생략할 수 있다.
한편, 도 10a 및 10b를 도시하고 설명함에 있어서, 제1 이미지(IMG1)를 사용하는 것으로 도시하고 설명하였지만, 본 개시는 이에 한하지 않으며, 제2 이미지(IMG2)를 사용하는 방식으로 구현될 수도 있음은 물론이다.
도 11은 본 개시의 일 실시예에 따른 이미지 변환 모듈(310)을 나타내는 블록도이다. 상세하게는, 도 11은 도 1의 이미지 변환 모듈(310)의 변형 가능한 실시예를 나타내는 도면이다.
도 11을 참조하면, 이미지 변환 모듈(310)은 제1 인공 지능 모델(311) 및 제2 인공 지능 모델(313)을 포함할 수 있다. 제1 인공 지능 모델(311)은 복수의 이미지들을 수신하고, 수신한 복수의 이미지들을 기초로 복수의 이미지들에 대한 디스패리티 정보를 생성하도록 학습된 인공 지능 모델일 수 있다. 제2 인공 지능 모델(313)은 디스패리티 정보 및 복수의 이미지들을 수신하고, 수신한 디스패리티 정보 및 복수의 이미지들을 기초로 변환된 이미지를 생성하도록 학습된 인공 지능 모델일 수 있다.
일 실시예에서, 제1 인공 지능 모델(311)은 제1 이미지(IMG1) 및 제2 이미지(IMG2)를 수신하고, 수신한 제1 이미지(IMG1) 및 제2 이미지(IMG2)를 기초로 디스패리티 정보(Info_D)를 생성할 수 있다. 예를 들어, 제1 인공 지능 모델(311)은 제1 이미지 센서(도 1, 110) 및 제2 이미지 센서(도 1, 120)로부터 제1 이미지(IMG1) 및 제2 이미지(IMG2)를 수신하고, 수신한 제1 이미지(IMG1) 및 제2 이미지(IMG2)에 대한 디스패리티 정보(Info_D)를 생성할 수 있다.
그리고 제2 인공 지능 모델(313)은 디스패리티 정보(Info_D)와 복수의 이미지들(IMG1, IMG2, IMG3)을 수신하고, 수신한 디스패리티 정보(Info_D), 제1 이미지(IMG1) 및 제2 이미지(IMG2)를 기초로 제3 이미지(IMG3)를 변환할 수 있다. 예를 들어, 제2 인공 지능 모델(313)은 제1 이미지 센서(도 1, 110), 제2 이미지 센서(도 1, 120) 및 제3 이미지 센서(도 1, 130)로부터 제1 이미지(IMG1), 제2 이미지(IMG2) 및 제3 이미지(IMG3)을 수신하고, 제1 인공 지능 모델(311)로부터 디스패리티 정보(Info_D)를 수신하고, 제1 이미지(IMG1) 및 제2 이미지(IMG2)를 기초로 제3 이미지(IMG3)를 변환하고, 변환된 제3 이미지(IMG3_T)를 출력할 수 있다.
제2 인공 지능 모델(313)은 제1 이미지(IMG1) 및 제2 이미지(IMG2) 중 적어도 하나의 일부 영역의 픽셀값들을 제3 이미지(IMG3)에 병합함으로써, 변환된 제3 이미지(IMG3_T)를 생성할 수 있다. 또는, 실시예에 따라, 제2 인공 지능 모델(313)은 제1 이미지(IMG1) 및 제2 이미지(IMG2) 중 적어도 하나의 일부 영역의 픽셀값들 및 상기 일부 영역에 대응하는 디스패리티 값들을 함께 제3 이미지(IMG3)에 병합함으로써, 변환된 제3 이미지(IMG3_T)를 생성할 수 있다. 디스패리티 값들을 제3 이미지(IMG3)에 병합하는 방법은 도 7에서 전술한 방법과 실질적으로 동일할 수 있는바, 중복 설명은 생략한다.
한편, 실시예에 따라, 제2 인공 지능 모델(313)은 제1 이미지(IMG1) 및 제2 이미지(IMG2) 중 적어도 하나만을 수신하는 방식으로도 구현될 수 있다. 예를 들어, 제2 인공 지능 모델(313)은 제1 이미지(IMG1), 제3 이미지(IMG3) 및 디스패리티 정보(Info_D)를 수신하고, 제1 이미지(IMG1) 및 디스패리티 정보(Info_D)를 기초로 제3 이미지(IMG3)를 변환하고, 변환된 제3 이미지(IMG3_T)를 출력하도록 구현될 수 있다. 또 다른 예로, 제2 인공 지능 모델(313)은 제2 이미지(IMG2), 제3 이미지(IMG3) 및 디스패리티 정보(Info_D)를 수신하고, 제2 이미지(IMG2) 및 디스패리티 정보(Info_D)를 기초로 제3 이미지(IMG3)를 변환하고, 변환된 제3 이미지(IMG3_T)를 출력하도록 구현될 수 있다.
제1 인공 지능 모델(311) 및 제2 인공 지능 모델(313) 각각은 다양한 뉴럴 네트워크를 기초로 뉴럴 네트워크 기반 뉴럴 태스크들을 수행할 수 있다. 뉴럴 네트워크는 인공 신경망(Artificial Neural Network, ANN) 모델, 다층 퍼셉트론(Multi-Layer Perceptrons, MLP) 모델, 합성곱 신경망(Convolutional Neural Network, CNN) 모델, 결정 트리(Decision Tree) 모델, 랜덤 포레스트(Random Forest) 모델, 아다부스트(AdaBoost) 모델, 멀티 회귀 분석법(Multiple Regression Analysis) 모델, 로지스틱 회귀 분석법(Logistic Regression) 모델 및 란삭(RANdom SAmple Consensus, RANSAC) 모델 등 다양한 종류의 뉴럴 네트워크 모델들 중 적어도 하나에 기초한 모델일 수 있다. 한편, 뉴럴 네트워크의 종류는 이에 제한되지 않는다. 또한, 하나의 태스크를 수행하는 뉴럴 네트워크는 서브 뉴럴 네트워크들을 포함할 수 있으며, 서브 뉴럴 네트워크들은 동종 또는 이종의 뉴럴 네트워크 모델로 구현될 수 있다.
제1 인공 지능 모델(311) 및 제2 인공 지능 모델(313) 각각은 소프트웨어 또는 하드웨어로 구현되거나, 소프트웨어 및 하드웨어의 조합으로 구현될 수 있다. 제1 인공 지능 모델(311) 및 제2 인공 지능 모델(313) 각각은 제조사에 의해 미리 학습되어, 전자 장치(10)의 제조시에 구비될 수 있다. 그러나 이에 한정되지 않으며, 실시예에 따라, 프로세서(300)가 제1 인공 지능 모델(311) 및/또는 제2 인공 지능 모델(313)을 학습시킬 수도 있다.
한편, 도 11을 도시하고 설명함에 있어서, 이미지 변환 모듈(310)이 제1 인공 지능 모델(311) 및 제2 인공 지능 모델(313) 모두를 포함하는 것으로 도시하고 설명하였지만 본 개시의 기술적 사상은 이에 한정되지 않는다. 예를 들어, 이미지 변환 모듈(310)은 제1 인공 지능 모델(311) 또는 제2 인공 지능 모델(313)만을 포함하도록 구현될 수도 있다.
도 12는 본 개시의 일 실시예에 따른 전자 장치(10a)를 나타내는 블록도이다. 상세하게는, 도 12는 도 1의 전자 장치(10)의 변형 가능한 실시예를 나타내는 도면이다.
도 12를 참조하면, 전자 장치(10a)는 센서(100a), 메모리(200a) 및 프로세서(300a)를 포함할 수 있다. 센서(100a)는, 도 1의 제1 이미지 센서(110) 및 제2 이미지 센서(120) 대신 하나의 제1 이미지 센서(110a) 및 깊이 센서(120a)를 포함할 수 있다. 제1 이미지 센서(110a)는 제1 방향을 촬영한 제1 컬러 이미지(C_IMG1)를 출력할 수 있다. 깊이 센서(120a)도 제1 방향을 향하도록 배치되어 제1 컬러 이미지(C_IMG1)에 대응하는 깊이 이미지(D_IMG)를 출력할 수 있다. 깊이 센서(120a)는 광원으로부터 투사된 펄스 광이 대상물에 반사되어 돌아오는 지연 시간을 측정하여 대상물과의 거리를 측정하여 대상물에 대한 깊이 값을 측정할 수 있다. 예를 들어, 깊이 센서(120a)는 IR 센서를 포함할 수 있다.
그리고 센서(100a)는 도 1의 제3 이미지 센서(130)에 대응하는 제2 이미지 센서(130a)를 포함할 수 있다. 일 실시예에서, 제2 이미지 센서(130a)는 제1 이미지 센서(110a)의 촬영 방향에 수직인 방향으로 촬영할 수 있다. 예를 들어, 제1 이미지 센서(110a)가 호스트 차량의 사이드 뷰를 촬영하는 경우, 제2 이미지 센서(120a)는 호스트 차량의 사이드 뷰를 촬영할 수 있다. 그리고 제2 이미지 센서(120a) 제2 촬영 영역은 제1 이미지 센서(110a)의 제1 촬영 영역과 중첩될 수 있다.
그리고 프로세서(300a)는 이미지 변환 모듈(310a)를 이용하여 제1 컬러 이미지(C_IMG1) 및 깊이 이미지(D_IMG)를 기초로 제2 컬러 이미지(C_IMG2)를 변환하고, 객체 인식 모듈(320a)를 이용하여 상기 변환한 제2 컬러 이미지(C_IMG2)에 대한 객체 인식을 수행할 수 있다.
본 개시의 일 실시예에 따른 이미지 변환 모듈(310a)은 도 1의 디스패리티 정보 대신 깊이 이미지(D_IMG)를 기초로 제1 컬러 이미지(C_IMG1)에서 타겟 영역을 추출할 수 있다. 여기서 타겟 영역이란, 제1 컬러 이미지(C_IMG1) 중 제2 컬러 이미지(C_IMG2)에 병합하고자 하는 영역을 의미할 수 있다. 일 실시예에서, 이미지 변환 모듈(310a)은 깊이 이미지(D_IMG)에서 임계 값 이상인 깊이 값을 갖는 영역을 확인하고, 확인한 영역에 대응하는 제1 컬러 이미지(C_IMG1)의 영역을 타겟 영역으로 추출할 수 있다. 또 다른 실시예에서, 이미지 변환 모듈(310a)은 제1 컬러 이미지(C_IMG)에서, 제2 이미지 센서(130a)의 제2 촬영 영역과 중첩되는 영역을 타겟 영역으로 추출할 수 있다.
그리고 이미지 변환 모듈(310a)은 추출한 타겟 영역을 제2 컬러 이미지(C_IMG2)에 병합함으로써 제2 컬러 이미지(C_IMG2)를 변환할 수 있다.
일 실시예에서, 전자 장치(10)는 제1 컬러 이미지(C_IMG1)의 각 좌표값에 대응하는 제2 컬러 이미지(C_IMG2)의 좌표값을 포함하는 매핑 정보를 포함할 수 있다. 이미지 변환 모듈(310a)은 매핑 정보를 기초로, 타겟 영역을 구성하는 각 픽셀에 대하여, 대응하는 제2 컬러 이미지(C_IMG2)의 좌표값을 확인할 수 있다. 그리고 이미지 변환 모듈(310a)은 타겟 영역을 구성하는 각 픽셀 값을 제2 컬러 이미지(C_IMG2)의 확인한 좌표값에 병합할 수 있다.
또 다른 실시예에서, 보다 빠른 연산을 위해, 이미지 변환 모듈(310a)은 타겟 영역을 구성하는 각 픽셀이 아닌 타겟 영역에 포함된 각 특징점에 대응하는 제2 컬러 이미지(C_IMG2)의 좌표값만을 확인할 수 있다. 그리고 이미지 변환 모듈(310a)은 각 특징점을 포함하는 기설정된 크기의 이미지(즉, 타겟 영역의 일부)를 제2 컬러 이미지(C_IMG2)의 확인한 좌표값에 병합할 수도 있다. 그리고 객체 인식 모듈(320a)은 변환된 제2 컬러 이미지(C_IMG2)의 픽셀 값들을 기초로 객체 인식을 수행할 수 있다.
한편, 이미지 변환 모듈(310a)은 타겟 영역을 제2 컬러 이미지(C_IMG2)에 병합할 때, 타겟 영역의 픽셀 값들뿐만 아니라 타겟 영역에 대응하는 깊이 이미지(D_IMG)의 깊이 값들을 함께 제2 컬러 이미지(C_IMG2)에 병합할 수도 있다. 예를 들어, 이미지 변환 모듈(310a)은 타겟 영역에 대응하는 깊이 값들 그 자체를 제2 컬러 이미지(C_IMG2)에 병합할 수 있다. 또 다른 예로, 이미지 변환 모듈(310a)은 깊이 값들을 기초로 호스트 차량과의 거리를 나타내는 거리 정보를 생성하고, 생성한 거리 정보를 제2 컬러 이미지(C_IMG2)에 병합할 수 있다. 한편, 이미지 변환 모듈(310a)이 깊이 값들을 제2 컬러 이미지(C_IMG2)에 병합하는 방법은 전술한 예에 한하지 않는다. 그리고 객체 인식 모듈(320a)은 변환된 제2 컬러 이미지(C_IMG2)의 픽셀 값들과 깊이 값들(또는 거리 정보)을 기초로 객체 인식을 수행할 수 있다.
한편, 도 12에서는, 전자 장치(10a)가 복수의 이미지 센서들(110a, 130a) 및 깊이 센서(120a)를 포함하는 것으로 도시하고 설명하였지만, 실시예에 따라, 복수의 이미지 센서들(110a, 130a) 및 깊이 센서(120a)를 포함하지 않거나, 적어도 일부만을 포함하고, 외부 장치로부터 이미지를 수신하는 방식으로도 구현될 수도 있다.
또한, 도 12에서는, 제1 이미지 센서(110a) 및 제2 이미지 센서(130a)가 컬러 이미지를 출력하는 것으로 도시하고 설명하였지만, 실시예에 따라, 흑백 이미지를 출력하는 방식으로도 구현될 수 있다.
또한, 도 12에서는, 전자 장치(10a)가 메모리(200a)를 포함하는 것으로 도시하고 설명하였지만, 실시예에 따라, 전자 장치(10a)와 메모리(200a)는 별도의 구성으로 구현될 수도 있다.
본 개시의 일 실시예에 따른 전자 장치(10a)는 일 방향을 촬영한 컬러 이미지와 상기 컬러 이미지에 대응하는 깊이 이미지를 이용하여 근접한 객체를 나타내는 영역을 확인하고, 타 방향을 촬영하고 상기 근접한 객체의 나머지 일부를 포함하는 이미지에 상기 확인한 영역을 병합하고, 병합한 이미지에 대한 객체 인식을 수행함으로써, 근접한 객체를 정확하게 검출할 수 있다.
한편, 도 12를 도시하고 설명함에 있어서, 전자 장치(10a)가 깊이 센서(120a)를 이용하는 것으로 도시하고 설명하였지만, 실시예에 따라, 깊이 센서(120a) 대신 LiDAR(Light Detection And Ranging) 센서 또는 Radar(Radio Detecting And Ranging) 센서를 이용할 수도 있다.
도 13은 본 개시의 일 실시예에 따른 전자 장치(10a)의 동작 방법을 나타내는 흐름도이다. 상세하게는, 도 13은 도 12의 전자 장치(10a)의 동작 방법을 나타내는 흐름도이다. 도 13을 구성하는 단계들 중 적어도 일부는 전자 장치(10a)의 프로세서(300a)에 의해 수행될 수 있다.
도 12 및 도 13을 참조하면, 전자 장치(10a)는 제1 방향을 촬영한 제1 컬러 이미지(C_IMG1)를 획득할 수 있다(S210). 구체적으로, 전자 장치(10a)는 제1 이미지 센서(110a)를 통해 제1 방향을 촬영한 제1 컬러 이미지(C_IMG1)를 획득할 수 있다. 한편, 본 개시는 이에 한정되지 않으며, 전자 장치(10a)는 외부 장치로부터 제1 컬러 이미지(C_IMG1)를 획득할 수도 있다.
그리고 전자 장치(10a)는 제1 방향을 촬영한 깊이 이미지(D_IMG)를 획득할 수 있다(S220). 구체적으로, 전자 장치(10a)는 깊이 센서(120a)를 통해 제1 방향을 촬영한 깊이 이미지(D_IMG)를 획득할 수 있다. 한편, 본 개시는 이에 한정되지 않으며, 전자 장치(10a)는 외부 장치로부터 깊이 이미지(D_IMG)를 획득할 수도 있다.
그리고 전자 장치(10a)는 제2 방향을 촬영한 제2 컬러 이미지(C_IMG2)를 획득할 수 있다(S230). 구체적으로, 전자 장치(10a)는 제2 이미지 센서(130a)를 통해 2 방향을 촬영한 제2 컬러 이미지(C_IMG2)를 획득할 수 있다. 한편, 본 개시는 이에 한정되지 않으며, 전자 장치(10a)는 외부 장치로부터 제2 컬러 이미지(C_IMG2)를 획득할 수도 있다.
그리고 전자 장치(10a)는 제1 컬러 이미지(C_IMG1) 및 깊이 이미지(D_IMG)를 기초로 제2 컬러 이미지(C_IMG2)를 변환할 수 있다(S240). 구체적으로, 전자 장치(10a)는 깊이 이미지(D_IMG)를 기초로 제1 컬러 이미지(C_IMG1)로부터 전자 장치(10a)에 근접한 객체를 나타내는 영역을 확인하고, 확인한 영역을 제2 컬러 이미지(C_IMG2)에 병합함으로써 제2 컬러 이미지(C_IMG2)를 변환할 수 있다. 그리고 전자 장치(10a)는 변환한 제2 컬러 이미지(C_IMG2)에 대한 객체 인식을 수행할 수 있다(S250).
도 14는 본 개시의 일 실시예에 따른 전자 장치(10)를 포함하는 호스트 차량(400)을 나타내는 도면이다. 상세하게는, 도 14는 도 1의 전자 장치(10)를 포함하는 호스트 차량(400)의 예시를 나타내는 도면이다.
도 1 및 도 14를 참조하면, 호스트 차량(400)은 전자 장치(10) 및 차량 제어부(410)를 포함할 수 있다. 전자 장치(10)는 호스트 차량(400)의 상단에 배치될 수 있고, 센서(100)는 호스트 차량(400)의 전방 및 측면을 촬영할 수 있다. 한편, 센서(100)의 촬영 방향은 실시예에 한하지 않으며, 실시예에 따라 호스트 차량(400)의 후방 및 측면을 촬영할 수 있다.
차량 제어부(410)는 호스트 차량(400)의 전반적인 주행을 제어할 수 있다. 차량 제어부(410)는 호스트 차량(400)의 주변 상황을 판단하고, 판단 결과를 기초로 호스트 차량(400)의 주행 방향 또는 주행 속도 등을 제어할 수 있다. 일 실시예에서, 차량 제어부(410)는 전자 장치(10)의 객체 인식 결과를 수신하고, 수신한 객체 인식 결과를 기초로 호스트 차량(400)의 주변 상황을 판단하고, 판단 결과를 기초로 호스트 차량(400)의 구동부(미도시)에 제어 신호를 전송함으로써, 호스트 차량(400)의 주행 방향 또는 주행 속도 등을 제어할 수 있다.
한편, 도 14를 도시하고 설명함에 있어서, 차량 제어부(410)와 전자 장치(10)가 별도의 구성인 것으로 도시하고 설명하였지만, 실시예에 따라, 전자 장치(10)는 차량 제어부(410)를 포함하는 방식으로 구현되거나, 전자 장치(10)의 프로세서(300)와 차량 제어부(410)가 하나의 구성인 방식으로 구현될 수도 있다.
한편, 도 14를 도시하고 설명함에 있어서, 호스트 차량(400)이 도 1의 전자 장치(10)를 포함하는 것으로 도시하고 설명하였지만, 실시예에 따라, 호스트 차량(400)이 도 12의 전자 장치(10a)를 포함하는 방식으로도 구현될 수 있다.
도 15는 본 개시의 일 실시예에 따른 자율 주행 장치(500)를 나타내는 블록도이다.
도 15를 참조하면, 자율 주행 장치(500)는 센서(510), 메모리(520), 프로세서(530), RAM(540), 메인 프로세서(550), 구동부(560) 및 통신 인터페이스(570)를 포함할 수 있고, 자율 주행 장치(500)의 구성들은 버스를 통해 서로 통신 가능하게 연결될 수 있다. 자율 주행 장치(500)는 신경망을 기초로 자율 호스트 차량의 주변 환경의 데이터를 실시간으로 분석하여 상황 판단 및 차량 운행 제어 등을 수행할 수 있다.
센서(510)는 자율 주행 장치(500)의 주변 환경에 대한 정보를 생성하는 다수의 센서들을 포함할 수 있다. 예를 들어, 센서(510)는 자율 주행 장치(500)의 주변 환경에 관한 영상 신호를 수신하고, 수신한 영상 신호를 이미지로 출력하는 다수의 센서들을 포함할 수 있다. 센서(510)는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor)와 같은 이미지 센서(511), 깊이 카메라(Depth Camera)(513), LiDAR(Light Detection And Ranging) 센서(515), Radar(Radio Detecting And Ranging) 센서(517) 등을 포함할 수 있다.
이때, 센서(510)에 포함된 이미지 센서(511)는 복수의 이미지 센서들(511)을 포함할 수 있다. 복수의 이미지 센서들(511)은 도 1의 제1 이미지 센서(110), 제2 이미지 센서(120) 및 제3 이미지 센서(130)에 대응할 수 있다. 또는, 복수의 이미지 센서들(511)은 도 12의 제1 이미지 센서(110a) 및 제2 이미지 센서(130a)에 대응할 수 있다. 그리고 센서(510)에 포함된 깊이 카메라(513)는 도 12의 깊이 센서(120a)에 대응할 수 있다.
메모리(520)는 전술한 실시예들의 메모리(200, 200a)에 대응할 수 있고, 프로세서(530)는 전술한 실시예들의 프로세서(300, 300a)에 대응할 수 있다. 또한, 메인 프로세서(550)는 도 14의 차량 제어부(410)에 대응할 수 있다. 일부 실시예들에서, 이미지 센서(511), 메모리(520) 및 프로세서(530)는 도 1 내지 도 15를 참조하여 상술된 실시예들을 이용하여 구현될 수 있다.
메인 프로세서(550)는 자율 주행 장치(500)의 전반적인 동작을 제어할 수 있다. 예를 들어, 메인 프로세서(550)는 RAM(540)에 저장된 프로그램들을 실행함으로써, 프로세서(530)의 기능을 제어할 수 있다. RAM(540)은 프로그램들, 데이터, 어플리케이션(Application) 또는 명령들(instructions)을 일시적으로 저장할 수 있다.
그리고 메인 프로세서(550)는 프로세서(530)의 연산 결과를 바탕으로 자율 주행 장치(500)의 동작을 제어할 수 있다. 일 실시예로서, 메인 프로세서(550)는 프로세서(530)로부터 객체 인식 결과를 수신하고, 수신한 객체 인식 결과를 기초로 구동부(560)의 동작을 제어할 수 있다.
구동부(560)는 자율 주행 장치(500)를 구동시키기 위한 구성으로, 엔진 및 모터(561), 조향부(563) 및 브레이크부(565)를 포함할 수 있다. 일 실시예에서, 구동부(560)는 프로세서(530)의 제어에 따라 엔진 및 모터(561), 조향부(563) 및 브레이크부(565)를 이용하여 자율 주행 장치(500)의 추진, 제동, 속력, 방향 등을 조정할 수 있다.
통신 인터페이스(570)는 외부 장치와 유선 또는 무선 통신 방식을 이용하여 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(570)는 이더넷(Ethernet)과 같은 유선 통신 방식으로 통신을 수행하거나, 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 등과 같은 무선 통신 방식으로 통신을 수행할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 전자 장치에 있어서,
    제1 촬영 영역을 촬영한 제1 이미지를 출력하는 제1 이미지 센서;
    상기 제1 촬영 영역의 적어도 일부와 중첩되는 제2 촬영 영역을 촬영한 제2 이미지를 출력하는 제2 이미지 센서;
    제3 촬영 영역을 촬영한 제3 이미지를 출력하는 제3 이미지 센서; 및
    이미지에 포함된 적어도 하나의 객체에 대한 객체 인식을 수행하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 제1 이미지 및 상기 제2 이미지의 적어도 하나의 특징점의 이격 정도를 나타내는 디스패리티(disparity) 정보를 생성하고, 상기 디스패리티 정보를 기초로 상기 제3 이미지를 변환하고, 상기 변환한 제3 이미지에 대한 객체 인식(object detection)을 수행하는 것을 특징으로 하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 디스패리티 정보를 기초로 상기 제1 이미지 또는 상기 제2 이미지로부터 타겟 영역을 추출하고, 상기 추출한 타겟 영역을 상기 제3 이미지에 병합(merge)함으로써 상기 제3 이미지를 변환하는 것을 특징으로 하는 전자 장치.
  3. 제2항에 있어서,
    상기 제3 이미지 센서의 상기 제3 촬영 영역은,
    상기 제1 촬영 영역 또는 상기 제2 촬영 영역의 적어도 일부와 중첩되고,
    상기 프로세서는,
    상기 제1 이미지 또는 상기 제2 이미지에서 상기 제3 촬영 영역과 중첩되는 영역을 확인하고, 상기 디스패리티 정보를 기초로 상기 확인한 제3 촬영 영역과 중첩되는 영역으로부터 상기 타겟 영역을 추출하는 것을 특징으로 하는 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 디스패리티 정보를 기초로, 상기 제1 이미지 또는 상기 제2 이미지에서 임계 값 이상의 디스패리티 값을 갖는 영역을 상기 타겟 영역으로 추출하는 것을 특징으로 하는 전자 장치.
  5. 제2항에 있어서,
    상기 제1 이미지 또는 상기 제2 이미지의 각 좌표값에 대응하는 상기 제3 이미지의 좌표 값에 대한 매핑 정보를 저장하는 메모리;를 더 포함하고,
    상기 프로세서는,
    상기 매핑 정보를 기초로, 상기 타겟 영역의 상기 제3 이미지에 대한 병합 위치를 확인하고, 상기 확인한 병합 위치에 따라 상기 타겟 영역을 상기 제3 이미지에 병합하는 것을 특징으로 하는 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 타겟 영역에 포함된 적어도 하나의 제1 특징점을 검출하고,
    상기 제1 특징점의 상기 제3 이미지에 대한 병합 위치를 확인하고, 상기 확인한 병합 위치에 따라 상기 제1 특징점을 포함하는 기설정된 크기의 영역을 상기 제3 이미지에 병합하는 것을 특징으로 하는 전자 장치.
  7. 제2항에 있어서,
    상기 프로세서는,
    상기 타겟 영역을 구성하는 복수의 픽셀값들 및 상기 타겟 영역에 대응하는 복수의 디스패리티 값들을 상기 제3 이미지에 병합하는 것을 특징으로 하는 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 변환된 제3 이미지를 구성하는 복수의 픽셀값들 및 상기 병합된 복수의 디스패리티 값들을 기초로 객체 인식을 수행하는 것을 특징으로 하는 전자 장치.
  9. 전자 장치에 있어서,
    제1 방향을 촬영한 제1 컬러 이미지를 출력하는 제1 이미지 센서;
    상기 제1 컬러 이미지에 대응하는 깊이 이미지를 출력하는 깊이 센서;
    제2 방향을 촬영한 제2 컬러 이미지를 출력하는 제2 이미지 센서; 및
    이미지에 포함된 적어도 하나의 객체에 대한 객체 인식을 수행하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 제1 컬러 이미지 및 상기 깊이 이미지를 기초로 상기 제2 컬러 이미지를 변환하고, 상기 변환한 제2 컬러 이미지에 대한 객체 인식을 수행하는 것을 특징으로 하는 전자 장치.
  10. 전자 장치의 동작 방법에 있어서,
    제1 촬영 영역을 촬영한 제1 이미지를 획득하는 단계;
    상기 제1 촬영 영역의 적어도 일부와 중첩되는 제2 촬영 영역을 촬영한 제2 이미지를 획득하는 단계;
    제3 촬영 영역을 촬영한 제3 이미지를 획득하는 단계;
    상기 제1 이미지 및 상기 제2 이미지의 적어도 하나의 특징점의 이격 정도를 나타내는 디스패리티 정보를 생성하는 단계;
    상기 디스패리티 정보를 기초로 상기 제3 이미지를 변환하는 단계; 및
    상기 변환한 제3 이미지에 대한 객체 인식을 수행하는 단계;를 포함하는 동작 방법.
KR1020200064597A 2020-05-28 2020-05-28 객체 인식을 수행하는 전자 장치 및 이의 동작 방법 KR20210147405A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200064597A KR20210147405A (ko) 2020-05-28 2020-05-28 객체 인식을 수행하는 전자 장치 및 이의 동작 방법
US17/169,648 US11539871B2 (en) 2020-05-28 2021-02-08 Electronic device for performing object detection and operation method thereof
CN202110346887.XA CN113810567A (zh) 2020-05-28 2021-03-31 用于执行对象检测的电子装置及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200064597A KR20210147405A (ko) 2020-05-28 2020-05-28 객체 인식을 수행하는 전자 장치 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR20210147405A true KR20210147405A (ko) 2021-12-07

Family

ID=78704498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200064597A KR20210147405A (ko) 2020-05-28 2020-05-28 객체 인식을 수행하는 전자 장치 및 이의 동작 방법

Country Status (3)

Country Link
US (1) US11539871B2 (ko)
KR (1) KR20210147405A (ko)
CN (1) CN113810567A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230096505A (ko) 2021-12-23 2023-06-30 (주)뉴로컴즈 고해상도 이미지에서 물체를 인식하는 물체인식 컴퓨팅 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2621979A (en) * 2022-08-23 2024-03-06 Continental Automotive Gmbh Method and device for generating an outsider perspective image and method of training a neural network

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7583372B2 (en) * 2005-06-01 2009-09-01 Hunter Engineering Company Machine vision vehicle wheel alignment image processing methods
KR100833704B1 (ko) 2007-03-09 2008-05-29 쌍용자동차 주식회사 자동차용 주변감지방법
JP2009140305A (ja) 2007-12-07 2009-06-25 Honda Motor Co Ltd 車両用情報提示装置
KR100966288B1 (ko) 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
WO2013031161A1 (ja) * 2011-08-26 2013-03-07 パナソニック株式会社 運転支援装置
CN103123722B (zh) * 2011-11-18 2016-04-27 株式会社理光 道路对象检测方法和***
WO2013081985A1 (en) * 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
US20130286193A1 (en) 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
JP6121776B2 (ja) * 2013-03-29 2017-04-26 ソニー株式会社 画像処理装置及び画像処理方法
WO2014181725A1 (ja) * 2013-05-07 2014-11-13 シャープ株式会社 画像計測装置
EP2884460B1 (en) * 2013-12-13 2020-01-01 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
CN106461387B (zh) * 2014-05-28 2020-11-20 京瓷株式会社 立体相机设备和设置有立体相机的车辆
KR101741433B1 (ko) 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
MX2019000060A (es) 2016-07-13 2019-04-01 Sony Corp Dispositivo generador de imagenes, metodo para la generacion de imagenes, y programa.
US10591277B2 (en) * 2016-07-28 2020-03-17 Liberty Reach Inc. Method and system for measuring outermost dimension of a vehicle positioned at an inspection station
JP2018092596A (ja) * 2016-11-30 2018-06-14 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム
US10313584B2 (en) 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization
US10957201B2 (en) * 2017-09-15 2021-03-23 Qualcomm Incorporated System and method for relative positioning based safe autonomous driving
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
JP6986683B2 (ja) * 2018-01-05 2021-12-22 パナソニックＩｐマネジメント株式会社 視差値算出装置、視差値算出方法及びプログラム
US10762649B2 (en) * 2018-03-29 2020-09-01 Samsung Electronics Co., Ltd. Methods and systems for providing selective disparity refinement
US10529085B2 (en) * 2018-03-30 2020-01-07 Samsung Electronics Co., Ltd. Hardware disparity evaluation for stereo matching
US10706525B2 (en) * 2018-05-22 2020-07-07 Midea Group Co. Ltd. Methods and systems for improved quality inspection
US10733723B2 (en) * 2018-05-22 2020-08-04 Midea Group Co., Ltd. Methods and system for improved quality inspection
US20210323469A1 (en) * 2018-07-10 2021-10-21 Lg Electronics Inc. Vehicular around view image providing apparatus and vehicle
JP7219561B2 (ja) * 2018-07-18 2023-02-08 日立Astemo株式会社 車載環境認識装置
KR102146837B1 (ko) * 2018-09-05 2020-08-21 주식회사 옵트론텍 이미지 통합 장치 및 이를 포함하는 운전 보조 시스템
EP3627448A1 (en) * 2018-09-24 2020-03-25 Veoneer Sweden AB Vision system and method for a motor vehicle
US20200217972A1 (en) * 2019-01-07 2020-07-09 Qualcomm Incorporated Vehicle pose estimation and pose error correction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230096505A (ko) 2021-12-23 2023-06-30 (주)뉴로컴즈 고해상도 이미지에서 물체를 인식하는 물체인식 컴퓨팅 장치

Also Published As

Publication number Publication date
US11539871B2 (en) 2022-12-27
CN113810567A (zh) 2021-12-17
US20210377437A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
Zaarane et al. Distance measurement system for autonomous vehicles using stereo camera
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
WO2012086821A1 (ja) 測位装置、測位方法
KR20200132468A (ko) 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
US11443151B2 (en) Driving assistant system, electronic device, and operation method thereof
JP7064257B2 (ja) 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
KR20210147405A (ko) 객체 인식을 수행하는 전자 장치 및 이의 동작 방법
JP2018156408A (ja) 画像認識撮像装置
JP2020122754A (ja) ３次元位置推定装置及びプログラム
JP2017199278A (ja) 検出装置、検出方法、およびプログラム
US11557052B2 (en) Vanishing point extraction devices and methods of extracting vanishing point
CN111788533A (zh) 基于立体视觉的车辆姿态估计的方法和***
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
JP2021051347A (ja) 距離画像生成装置及び距離画像生成方法
JP2016148956A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
WO2021098666A1 (zh) 手部姿态检测方法和装置、及计算机存储介质
JP6631691B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム
JP5867167B2 (ja) 影検出装置
JP6577595B2 (ja) 車両用外界認識装置
CN113056907A (zh) 拍摄方法、拍摄装置及存储介质
JP2008003696A (ja) 画像処理装置及び画像処理方法
Satzoda et al. Vision-based front and rear surround understanding using embedded processors
JP7064400B2 (ja) 物体検知装置

Legal Events

Date Code Title Description
A201 Request for examination