KR20140112909A - 파노라마 영상을 생성하는 전자 장치 및 방법 - Google Patents

파노라마 영상을 생성하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR20140112909A
KR20140112909A KR20130027582A KR20130027582A KR20140112909A KR 20140112909 A KR20140112909 A KR 20140112909A KR 20130027582 A KR20130027582 A KR 20130027582A KR 20130027582 A KR20130027582 A KR 20130027582A KR 20140112909 A KR20140112909 A KR 20140112909A
Authority
KR
South Korea
Prior art keywords
image
electronic device
images
dimensional
spherical surface
Prior art date
Application number
KR20130027582A
Other languages
English (en)
Inventor
김병재
이상화
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR20130027582A priority Critical patent/KR20140112909A/ko
Priority to US14/212,098 priority patent/US20140267593A1/en
Publication of KR20140112909A publication Critical patent/KR20140112909A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 전자 장치에서 파노라마 영상을 생성하기 위한 장치 및 방법에 관한 것이다. 이때, 파노라마 영상을 생성하기 위한 방법은, 영상을 획득하기 위한 적어도 하나의 위치 정보를 포함하는 안내 정보를 표시하는 과정과, 상기 전자 장치의 오리엔테이션 정보와 상기 안내 정보에 포함되는 적어도 하나의 위치 정보가 매칭되는 시점의 적어도 하나의 영상을 획득하는 과정과, 상기 적어도 하나의 영상에 대한 노출 차이를 보정하는 과정과, 상기 노출 차이를 보정한 적어도 하나의 영상에 대한 중첩 영역의 매칭 오류를 보정하는 과정과, 상기 중첩 영역의 매칭 오류를 보정한 적어도 하나의 영상을 3차원의 구면에 투영하여 파노라마 영상을 생성하는 과정을 포함한다.

Description

파노라마 영상을 생성하는 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR GENERATING PANORAMA IMAGE}
본 개시는 전자 장치에 관한 것으로서, 특히, 영상 처리를 할 수 있는 전자 장치에 관한 것이다.
전자 장치는 정보통신 기술 및 반도체 기술의 발전으로 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 휴대용 전자 장치는 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스 등의 다양한 멀티미디어 서비스를 제공할 수 있다.
최근 전자 장치는 이미지 센서를 이용하여 다양한 영상을 획득하고, 획득한 영상을 다양하게 처리할 수 있는 기능을 제공할 수 있다. 예를 들어, 전자 장치는 촬영 각도를 변화시켜가며 획득한 여러 장의 영상들을 연결하여 하나의 영상으로 재구성하는 파노라마 영상 생성 기술을 제공할 수 있다.
본 개시의 실시 예들에 따르면, 전자 장치는 다양한 방식으로 파노라마 영상을 생성할 수 있다. 예를 들어, 전자 장치는 수직 방향 또는 수평 방향으로 연속된 다양한 시점의 영상들을 획득할 수 있다. 이후, 전자 장치는 각각의 영상에 대한 특징점을 이용하여 다양한 시점의 영상들을 연결하여 원통 또는 구면에 투영함으로써, 넓은 영역의 영상들을 하나의 영상으로 재구성할 수 있다.
따라서, 본 개시는 전자 장치에서 파노라마 영상을 생성하기 위한 장치 및 방법을 제공할 수 있다.
본 개시는 전자 장치에서 카메라를 통해 획득한 영상들을 구면에 투영하여 파노라마 영상을 생성하기 위한 장치 및 방법을 제공할 수 있다.
본 개시는 전자 장치에서 카메라를 통해 획득한 2차원의 영상들을 3차원의 구면에 투영하여 파노라마 영상을 생성하기 위한 장치 및 방법을 제공할 수 있다.
본 개시는 전자 장치에서 구면에 투영하여 파노라마 영상을 생성하기 위해 카메라를 통해 전방위의 영상들을 획득하기 위한 장치 및 방법을 제공할 수 있다.
본 개시는 전자 장치에서 전자 장치의 오리엔테이션(orientation)(예: 움직임, 위치 또는 방향) 정보에 기반하여 구면에 투영하기 위한 다수 개의 영상들을 획득하기 위한 장치 및 방법을 제공할 수 있다.
본 개시는 전자 장치에서 전자 장치의 움직임 정보에 따라 구면에 투영하기 위한 다수 개의 영상들을 획득하기 위한 기준 프레임 정보를 표시하기 위한 장치 및 방법을 제공할 수 있다.
본 개시의 목적들을 달성하기 위한 본 개시의 제 1 견지에 따르면, 전자 장치의 동작 방법은, 파노라마 영상의 적어도 일부를 형성하는 영상들을 획득하기 위하여, 전자 장치의 움직임을 안내하는 가이드 정보를 전자 장치의 디스플레이 상에 표시하는 단계와, 상기 가이드 정보와 상기 전자 장치의 오리엔테이션 정보에 기반하여 적어도 하나의 영상을 획득하는 단계와, 파노라마 영상의 적어도 일부를 형성하기 위해 획득한 영상들의 적어도 일부분에 기초하여 영상들의 에 대한 색감(tone)을 보정하는 단계와, 상기 획득한 영상들이 중첩된 적어도 일부분에 기초하여 상기 영상들을 정렬하는 단계, 및 상기 정렬된 영상들을 3차원의 구면에 투영(rendering)하여 파노라마 영상을 생성하는 단계를 포함할 수 있다.
제 1 견지에서 상기 가이드 정보는, 파노라마 영상의 적어도 일부분을 형성하는 영역들을 획득하기 위한 적어도 하나의 촬영 영역을 구의 형태로 포함할 수 있다.
본 개시의 제 2 견지에 따르면, 전자 장치는, 카메라와, 상기 전자 장치의 움직임을 감지하는 센싱부와, 표시부와, 적어도 하나의 프로세서와, 메모리 및, 상기 메모리에 저장되며, 상기 하나 이상의 프로세서에 의해 구동되는 프로그램을 포함하며, 상기 프로그램은, 파노라마 영상의 적어도 일부를 형성하는 영상들을 획득하기 위하여, 전자 장치의 움직임을 안내하는 가이드 정보를 전자 장치의 상기 표시부 상에 표시하고, 상기 가이드 정보와 상기 전자 장치의 오리엔테이션 정보에 기반하여 적어도 하나의 영상을 획득하고, 파노라마 영상의 적어도 일부를 형성하기 위해 획득한 영상들의 적어도 일부분에 기초하여 영상들의 에 대한 색감(tone)을 보정하고, 상기 획득한 영상들이 중첩된 적어도 일부분에 기초하여 상기 영상들을 정렬하고, 상기 정렬된 영상들을 3차원의 구면에 투영(rendering)하여 파노라마 영상을 생성할 수 있다.
제 2 견지에서 상기 가이드 정보는, 파노라마 영상의 적어도 일부분을 형성하는 영역들을 획득하기 위한 적어도 하나의 촬영 영역을 구의 형태로 포함한다.
본 개시의 제 3 견지에 따르면, 전자 장치에서 영상을 생성하는 방법은, 파노라마 영상의 적어도 일부를 형성하는 영상 획득을 위하여, 전자장치의 움직임을 안내하는 가이드 정보를 상기 전자 장치의 디스플레이 상 표시하는 단계와, 상기 전자 장치의 오리엔테이션 정보와 상기 가이드 정보에 기초하여 적어도 하나의 영상을 획득 하는 단계와, 상기 적어도 하나의 영상의 2차원 좌표 값을 3차원 좌표 값으로 변환하는 단계, 및 상기 영상의 3차원 좌표 값을 이용하여, 상기 적어도 하나의 영상을 3차원의 구면에 투영(rending)하는 단계를 포함할 수 있다.
본 개시의 제 4 견지에 따르면, 전자 장치를 동작하는 방법은, 3차원 투영된 파노라마 영상의 적어도 일부를 형성하는 영상들의 획득을 위하여, 전자장치의 카메라의 화각 (angle of view)에 적어도 일부 기초하여 발생된 복수 개의 가이드들 중 적어도 일부를 전자 장치의 디스플레이 상에 표시하는 단계로서, 상기 복수개의 가이드들 각각은 복수개의 좌표 값들 중(coordinate values) 하나에 대응되는 단계와, 상기 전자 장치의 센서를 이용하여 전자 장치의 움직임 방향을 나타내는(represent) 값을 결정하는 단계와, 상기 결정된 값을 상기 좌표 값들 중 적어도 하나와 비교하는 단계와, 상기 비교하는 단계에서의 비교 결과에 적어도 일부 기초하여, 상기 카메라를 이용하여 영상을 획득하는 단계, 및 상기 전자장치에 이미 저장된 영상과 상기 획득된 영상을 3차원의 구면에 투영(rendering) 하여 상기 디스플레이상에 파노라마 영상을 생성하는 단계를 포함할 수 있다.
상술한 바와 같이 전자 장치에서 카메라를 통해 획득한 영상들을 구면에 투영하여 파노라마 영상을 생성함으로써, 특정 방향뿐만 아니라 전방위의 영상들을 하나의 파노라마 영상으로 생성할 수 있으며,
전자 장치에서 전자 장치의 움직임 정보를 고려하여 구면에 투영하기 위한 다수 개의 영상들을 획득할 수 있는 기준 프레임 정보를 표시함으로써, 파노라마 영상을 생성하는데 필요한 영상들을 손쉽게 획득할 수 있다.
도 1은 본 개시의 실시 예에 따른 전자 장치의 블록 구성을 도시하는 도면,
도 2는 본 개시의 실시 예에 따른 프로세서의 상세 블록 구성을 도시하는 도면,
도 3은 본 개시의 실시 예에 따른 파노라마 영상 생성부의 상세 블록 구성을 도시하는 도면,
도 4는 본 개시의 실시 예에 따른 전자 장치에서 파노라마 영상을 생성하기 위한 절차를 도시하는 도면,
도 5는 본 개시의 실시 예에 따른 전자 장치에서 파노라마 영상 생성을 위한 영상을 획득하기 위한 절차를 도시하는 도면,
도 6은 본 개시의 다른 실시 예에 따른 전자 장치에서 파노라마 영상 생성을 위한 영상을 획득하기 위한 절차를 도시하는 도면,
도 7a 내지 도 7c는 본 개시의 실시 예에 따른 기준 프레임의 화면 구성을 도시하는 도면,
도 8은 본 개시의 실시 예에 따른 기준 프레임의 타일 구성을 도시하는 도면,
도 9는 본 개시의 실시 예에 따른 구면의 대역 구성을 도시하는 도면,
도 10a 내지 도 10c는 본 개시의 실시 예에 따른 전자 장치에서 영상들의 노출을 보정하는 화면 구성을 도시하는 도면,
도 11은 본 개시의 실시 예에 따른 전자 장치에서 영상을 정렬하기 위한 절차를 도시하는 도면,
도 12는 본 개시의 실시 예에 따른 전자 장치에서 영상의 꼭지점을 획득하는 화면 구성을 도시하는 도면,
도 13a 내지 도 13b는 본 개시의 실시 예에 따른 전자 장치에서 중첩 영역을 추출하는 화면 구성을 도시하는 도면,
도 14는 본 개시의 실시 예에 따른 2 차원 영상을 3차원 구면에 투영하는 구성을 도시하는 도면,
도 15는 본 개시의 실시 예에 따른 3차원 구면에 투영된 영상을 확대/축소하는 화면 구성을 도시하는 도면,
도 16은 본 개시의 실시 예에 따른 전자 장치에서 타일의 저장 형식을 도시하는 도면,
도 17은 본 개시의 실시 예에 따른 전자 장치의 소프트웨어 구성을 도시하는 도면, 및
도 18은 본 개시의 다른 실시 예에 따른 전자 장치의 블록 구성을 도시하는 도면.
이하 본 개시의 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 개시를 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 본 개시의 실시 예는 전자 장치에서 파노라마 영상을 생성하기 위한 기술에 대해 설명한다.
이하 설명에서 전자 장치는 카메라 및 움직임 센서를 구비하는 이동통신단말기, PDA(Personal Digital Assistant), PC(Personal Computer), 랩탑(Laptop), 스마트폰(Smart Phone), 넷북(Netbook), 텔레비전(Television), 휴대 인터넷 장치(MID: Mobile Internet Device), 울트라 모바일 PC(UMPC: Ultra Mobile PC), 태블릿 PC(Tablet PC), 네비게이션, 스마트 TV, 손목시계, 디지털 카메라 및 MP3 등을 포함한다.
도 1은 본 개시의 실시 예에 따른 전자 장치의 블록 구성을 도시하고 있다.
도 1에 도시된 바와 같이 전자 장치(100)는 메모리(110), 프로세서 유닛(processor unit)(120), 오디오 처리부(130), 카메라부(140), 센싱부(150), 입출력 제어부(160), 표시부(170) 및 입력 장치(180)를 포함할 수 있다. 여기서, 메모리(110)는 다수 개 존재할 수도 있다.
각 구성요소에 대해 살펴보면 다음과 같다.
메모리(110)는 전자장치(100)의 동작을 제어하기 위한 프로그램을 저장하는 프로그램 저장부(111) 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 저장부(112)를 포함할 수 있다. 메모리(110)는 휘발성 메모리 (예를 들어, RAM) 또는 비휘발성 메모리 (예를 들어, 플래시 메모리) 또는 그 조합일 수 있다.
데이터 저장부(112)는 기준 프레임 정보 및 파노라마 영상 정보를 저장한다. 예를 들어, 데이터 저장부(112)는 파노라마 영상 생성 프로그램(114)에 의해 3차원 구면에 투영된 3차원 좌표 값을 메쉬 데이터 형태로 변환하여 저장할 수 있다. 다른 예를 들어, 데이터 저장부(112)는 파노라마 영상 생성 프로그램(114)에 의해 3차원 구면에 투영된 3차원 좌표 값을 2차원 평면 좌표로 변환하여 저장할 수도 있다. 이때, 데이터 저장부(112)는 도 16에 도시된 바와 같은 형식으로 구면에 투영하기 위해 파노라마 영상 생성 프로그램(114)을 통해 획득한 적어도 하나의 2차원 영상들을 저장할 수 있다. 여기서, 기준 프레임 정보는 파노라마 영상 생성 프로그램(114)에 의해 파노라마 영상을 생성하는데 필요한 영상들을 획득하기 위해 사용자에게 제공하는 가이드 정보를 포함할 수 있다.
프로그램 저장부(111)는 그래픽 사용자 인터페이스(GUI: Graphic User Interface) 프로그램(113), 파노라마 영상 생성 프로그램(114) 및 적어도 하나의 응용프로그램(115)을 포함할 수 있다. 여기서, 프로그램 저장부(111)에 포함되는 프로그램은 명령어들의 집합으로 명령어 세트(instruction set)로 표현할 수도 있다.
GUI 프로그램(113)은 표시부(170) 상에 그래픽으로 사용자 인터페이스를 제공하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. GUI 프로그램(113)은 프로세서(122)에 의해 구동되는 응용프로그램 정보를 표시부(170)에 표시하도록 제어할 수 있다. 예를 들어, 프로세서(122)에 의해 파노라마 영상 생성 프로그램(114)이 실행되는 경우, GUI 프로그램(113)은 도 7a에 도시된 바와 같이 카메라부(140)를 통해 취득한 영상(701)을 기준으로 구면 파노라마 영상 생성을 위해 획득해야 하는 적어도 하나의 영상의 상대적 위치를 나타하는 기준 프레임의 일부를 표시부(170)에 표시하도록 제어할 수 있다. 다른 예를 들어, 프로세서(122)에 의해 파노라마 영상 생성 프로그램(114)이 실행되는 경우, GUI 프로그램(113)은 도 7b에 도시된 바와 같이 구면 파노라마 영상 생성을 위해 획득해야 하는 적어도 하나의 영상의 상대적 위치를 나타내는 기준 프레임의 전체 구성을 표시부(170)에 표시하도록 제어할 수 있다. 또 다른 예를 들어, 프로세서(122)에 의해 파노라마 영상 생성 프로그램(114)이 실행되는 경우, GUI 프로그램(113)은 도 7c에 도시된 바와 같이 카메라부(140)를 통해 취득한 영상(711)을 기준으로 구면 파노라마 영상 생성을 위해 획득해야 하는 적어도 하나의 영상의 중심 지점(715, 717)을 표시부(170)에 표시하도록 제어할 수 있다.
파노라마 영상 생성 프로그램(114)은 카메라부(140)를 통해 획득한 영상들을 이용하여 파노라마 영상을 생성하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 예를 들어, 파노라마 영상 생성 프로그램(114)은 센싱부(150)로부터 제공받은 전자 장치(100)의 오리엔테이션 정보를 고려하여 파노라마 영상을 생성하기 위한 다수 개의 영상들을 획득한다. 구체적으로, 도 7a 또는 도 7b에 도시된 바와 같이 기준 프레임을 표시부(170)에 표시한 경우, 파노라마 영상 생성 프로그램(114)은 도 7a 또는 도 7b에 도시된 기준 프레임의 타일의 절대적 또는 상대적 위치 정보와 센싱부(150)로부터 제공받은 전자 장치(100)의 오리엔테이션 정보에 기반하여 촬영 시점을 판단해 영상을 카메라부(140)를 통해 획득할 수 있다. 이때, 타일은 고정된 위치 정보를 포함하거나 기준 영상의 위치 정보에 따른 상대적인 위치 정보를 포함할 수도 있다. 한편, 도 7c에 도시된 바와 같이 영상을 획득하기 위한 영역의 중심 지점(715, 717)을 표시부(170)에 표시한 경우, 파노라마 영상 생성 프로그램(114)은 센싱부(150)로부터 제공받은 전자 장치(100)의 오리엔테이션 정보와 영상을 획득하기 위한 영역의 절대적 또는 상대적 위치 정보에 기반하여 촬영 시점을 판단해 영상을 카메라부(140)를 통해 획득할 수 있다. 즉, 파노라마 영상 생성 프로그램(114)은 중심 지점(715, 717)이 카메라부(140)의 방향을 나타내는 원(713)의 내부에 들어오는 시점의 영상을 카메라부(140)를 통해 획득할 수 있다.
이후, 파노라마 영상 프로그램(114)은 서로 다른 방향에서 획득한 영상들의 색감을 보정할 수 있다. 즉, 파노라마 영상 프로그램(114)은 서로 다른 방향에서 획득한 영상들의 노출차이에 의하여 발생하는 밝기 값 및/또는 색상 값 의 변화를 보정할 수 있다. 예를 들어, 파노라마 영상 프로그램(114)은 영상들이 중첩되는 영역의 평균 밝기 값 및 밝기 값의 표준편차 중 적어도 하나를 고려하여 영상들의 밝기 값 이 동일하거나 일정 오차 범위의 차이를 갖도록 보정할 수 있다. 다른 예를 들어, 파노라마 영상 프로그램(114)은 영상들이 중첩되는 영역의 색상 값의 차이를 고려하여 영상들의 색상 값이 동일하거나 일정 오차 범위의 차이를 갖도록 변경 또는 보정할 수 있다. 또 다른 예를 들어, 파노라마 영상 프로그램(114)은 영상들이 중첩되는 영역의 밝기 및 색상 값 차이를 고려하여 영상들의 밝기 및 색상 값을 동일하거나 일정 오차 범위의 차이를 갖도록 변경 또는 보정할 수 있다. 여기서, 영상들의 밝기 값은 YUV 성분 중 휘도 성분(Y성분)을 포함하고, 색상 값은 UV 성분을 포함할 수 있다. 또한, 영상들이 중첩되는 영역은 영상들이 구면에 투영될 때 중첩되는 영역을 나타낼 수 있다.
파노라마 영상 프로그램(114)은 노출 차이를 보정한 영상들의 중첩 영역을 매칭시키기 위해 영상들을 정렬한다. 예를 들어, 파노라마 영상 프로그램(114)에서 영상을 획득하는 경우, 각각의 영상은 센싱부(150)의 움직임 감지 오차 및 영상 획득 시 발생하는 오차를 포함할 수 있다. 이에 따라, 파노라마 영상 프로그램(114)은 구면 투영 시 제 1 영상에 중첩되는 제 2 영상의 각도를 회전시켜 제 1 영상과 제 2 영상의 중첩 영역에 대한 매칭 오차를 보정할 수 있다. 즉, 파노라마 영상 프로그램(114)은 제 1 영상을 기준으로 제 2 영상의 각도를 회전시켜 제 1 영상과 제 2 영상의 중첩 영역이 자연스럽게 이어지도록 매칭 오차를 보정할 수 있다. 다른 예를 들어, 파노라마 영상 프로그램(114)은 입력 장치(180)로부터 제공받은 입력 정보에 따라 중첩된 영상들의 위치, 크기 및 회전을 변경하여 영상들을 정렬할 수도 있다. 즉, 파노라마 영상 프로그램(114)은 입력 장치(180)로부터 제공받은 입력 정보에 따라 제 1 영상을 기준으로 제 2 영상의 위치, 크기 및 회전을 변경하여 제 1 영상과 제 2 영상의 중첩 영역이 자연스럽게 이어지도록 매칭 오차를 보정할 수 있다.
파노라마 영상 프로그램(114)은 노출 차이 및 움직임 정보의 오류를 보정한 2차원의 영상들을 3차원의 구면에 투영하여 파노라마 영상을 생성할 수 있다. 이때, 전자 장치는 파노라마 영상을 생성하기 위한 구의 반지름 및 영상을 획득하기 위한 카메라부(140)의 초점 거리를 이용하여 파노라마 영상을 생성할 수 있다.
추가적으로, 파노라마 영상 프로그램(114)은 구면에 투영된 영상들이 자연스럽게 이어지도록 하기 위하여 영상들이 중첩되는 부분을 혼합하거나(blending), 블러링(blurring)할 수도 있다.
응용프로그램(115)은 전자장치(100)에 설치된 적어도 하나의 응용 프로그램에 대한 소프트웨어 구성 요소를 포함한다.
프로세서 유닛(120)은 메모리 인터페이스(121), 적어도 하나의 프로세서(processor)(122) 및 주변 장치 인터페이스(123)를 포함한다. 여기서, 프로세서 유닛(120)에 포함되는 메모리 인터페이스(121), 적어도 하나의 프로세서(122) 및 주변 인터페이스(123)는 적어도 하나의 집적화된 회로로 집적화되거나 별개의 구성 요소로 구현될 수 있다.
메모리 인터페이스(121)는 프로세서(122) 또는 주변 장치 인터페이스(123)와 같은 구성요소의 메모리(110) 접근을 제어한다.
주변 장치 인터페이스(123)는 전자장치(100)의 입출력 주변 장치와 프로세서(122) 및 메모리 인터페이스(121)의 연결을 제어한다.
프로세서(122)는 적어도 하나의 소프트웨어 프로그램을 사용하여 전자장치(100)가 다양한 멀티미디어 서비스를 제공하도록 제어한다. 이때, 프로세서(122)는 메모리(110)에 저장되어 있는 적어도 하나의 프로그램을 실행하여 해당 프로그램에 대응하는 서비스를 제공한다.
오디오 처리부(130)는 스피커(131) 및 마이크로폰(132)을 통해 사용자와 전자 장치(100) 사이의 오디오 인터페이스를 제공한다.
카메라부(140)는 피사체에 대한 촬영을 통해 획득한 수집 영상을 프로세서 유닛(120)으로 제공한다. 구체적으로, 카메라부(140)는 광학적 신호를 전기적 신호로 변환하는 카메라 센서, 아날로그 영상 신호를 디지털 영상 신호로 변환하는 영상처리장치(Image Signal Processor) 및 영상처리장치에서 출력되는 영상 신호를 표시부(170)에 표시할 수 있도록 영상 처리하는 신호처리장치(Digital Signal Processor) 등을 포함할 수 있다. 여기서, 카메라부(140)는 전자 장치(100)가 구비하는 적어도 하나의 카메라부를 포함할 수 있다.
센싱부(150)는 전자 장치(100)의 움직임을 감지한다. 예를 들어, 센싱부(150)는 가속도 센서, 중력 센서, 자이로 콤파스 (gyrocompass), 디지털 나침반, 수평 센서 또는 지자기 센서 등을 포함하여 전자 장치(100)의 방향을 감지한다. 여기서, 전자 장치(100)의 움직임은 전자 장치(100)의 오리엔테이션 정보를 나타낼 수 있다.
입출력 제어부(160)는 표시부(170) 및 입력 장치(180) 등의 입출력 장치와 주변 장치 인터페이스(123) 사이에 인터페이스를 제공한다.
표시부(170)는 전자장치(100)의 상태 정보, 사용자가 입력하는 문자, 동화상(moving picture) 또는 정화상(still picture) 등을 표시한다. 표시부(170)는 프로세서(122)에 의해 구동되는 응용프로그램 정보를 표시할 수 있다. 예를 들어, 프로세서(122)에 의해 파노라마 영상 생성 프로그램(114)이 실행되는 경우, 표시부(170)는 도 7a에 도시된 바와 같은 카메라부(140)의 획득한 프리뷰 영상(701)의 위치에 인접한 적어도 하나의 타일을 표시할 수 있다. 이때, 표시부(170)는 전자 장치(100)의 방향에 따라 카메라부(140)의 획득한 프리뷰 영상의 위치가 변경되는 경우, 프리뷰 영상의 위치 변화에 따라 표시하는 타일의 개수 및 위치를 변경할 수 있다. 다른 예를 들어, 프로세서(122)에 의해 파노라마 영상 생성 프로그램(114)이 실행되는 경우, 표시부(170)는 도 7b에 도시된 바와 같이 구면으로 투영하기 위한 영상을 획득하기 위한 기준 프레임의 전체 구성을 표시할 수도 있다. 또 다른 예를 들어, 프로세서(122)에 의해 파노라마 영상 생성 프로그램(114)이 실행되는 경우, 표시부(170)는 도 7c에 도시된 바와 같이 카메라부(140)를 통해 영상을 취득하는 지점(711)을 기준으로 구면으로 투영하기 위한 영상을 획득하기 위한 위치 정보 영역의 중심 지점(715, 717)을 표시할 수도 있다. 이때, 표시부(170)는 영상을 획득하기 위한 중심 지점(715, 717)의 색상, 조도 및 투명도 중 적어도 하나를 조절하여 영상을 취득하는 지점(711)과의 거리 정보를 나타낼 수 있다. 또한, 표시부(170)는 카메라부(140)의 방향을 나타내는 원(713)에 인접한 위치 정보의 방향을 표시할 수도 있다. 또 다른 예를 들어, 파노라마 영상 프로그램(114)에서 입력 장치(180)로부터 제공받은 입력 정보에 따라 영상을 정렬하는 경우, 표시부(170)는 입력 정보에 의해 선택된 영상에 선택 정보를 표시할 수도 있다.
입력 장치(180)는 사용자의 선택에 의해 발생하는 입력 데이터를 입출력 제어부(160)를 통해 프로세서 유닛(120)으로 제공한다. 이때, 입력 장치(180)는 적어도 하나의 하드웨어 버튼을 포함하는 키패드 및 터치 정보를 감지하는 터치 패드 등을 포함한다. 예를 들어, 입력 장치(180)는 터치 패드를 통해 감지한 터치 정보를 입출력 제어부(160)를 통해 프로세서(122)로 제공한다.
추가적으로, 전자 장치(100)는 음성 통신 및 데이터 통신을 위한 통신 기능을 수행하는 통신 시스템을 포함할 수도 있다. 이때, 통신 시스템은 서로 다른 통신 네트워크를 지원하는 다수 개의 통신 서브 모듈들로 구분될 수 있다. 예를 들어, 통신 네트워크는 이들에 한정하지는 않지만, GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data GSM Environment) 네트워크, CDMA(Code Division Multiple Access) 네트워크, W-CDMA(W-Code Division Multiple Access) 네트워크, LTE(Long Term Evolution) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, 무선랜, Bluetooth 네트워크 및 NFC(Near Field Communication) 등을 포함한다.
도 2는 본 개시의 실시 예에 따른 프로세서의 블록 구성을 도시하고 있다.
도 2에 도시된 바와 같이 프로세서(122)는 응용프로그램 구동부(200), 파노라마 영상 생성부(210) 및 표시 제어부(220)를 포함할 수 있다. 도 2 의 실시 예에서 프로세서(122)의 구성 요소들은 별개의 모듈들을 형성되지만, 다른 실시 예에서는, 하나의 모듈 내에서 소프트웨어의 구성요소들로서 포함될 수도 있다.
응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 적어도 하나의 응용프로그램(115)을 실행하여 해당 응용프로그램에 따른 서비스를 제공한다. 이때, 응용프로그램 구동부(200)는 서비스 특성에 따라 파노라마 영상 생성부(210)를 구동시킬 수도 있다.
파노라마 영상 생성부(210)는 프로그램 저장부(111)에 저장된 파노라마 영상 생성 프로그램(114)을 실행하여 구면에 투영된 파노라마 영상을 생성할 수 있다. 예를 들어, 파노라마 영상 생성부(210)는 도 3에 도시된 바와 같이 영상 획득부(300), 노출 보정부(310), 영상 정렬부(320) 및 구면 투영부(330)를 포함할 수 있다.
영상 획득부(300)는 센싱부(150)로부터 제공받은 전자 장치(100)의 오리엔테이션 정보를 고려하여 파노라마 영상을 생성하기 위한 다수 개의 영상들을 획득한다. 예를 들어, 도 7a 또는 도 7b에 도시된 바와 같이 적어도 하나의 타일을 포함하는 기준 프레임이 표시부(170)에 표시된 경우, 영상 획득부(300)는 센싱부(150)로부터 제공받은 전자 장치(100)의 오리엔테이션 정보와 기준 프레임에 포함되는 타일의 절대적 또는 상대적 위치 정보에 기반하여 촬영 시점을 판단해 영상을 카메라부(140)를 통해 획득할 수 있다. 이때, 타일은 고정된 위치 정보를 포함하거나 기준 영상의 위치 정보에 따른 상대적인 위치 정보를 포함할 수도 있다. 다른 예를 들어, 도 7c에 도시된 바와 같이 영상을 획득하기 위한 영역의 중심 지점(715, 717)을 표시부(170)에 표시된 경우, 영상 획득부(300)는 센싱부(150)로부터 제공받은 전자 장치(100)의 오리엔테이션 정보와 영상을 획득하기 위한 절대적 또는 상대적 위치 정보에 기반하여 촬영 시점을 판단해 영상을 카메라부(140)를 통해 획득할 수 있다. 즉, 영상 획득부(300)는 중심 지점(715 또는 717)이 카메라부(140)의 방향을 나타내는 원(713)의 내부에 들어오는 시점의 영상을 카메라부(140)를 통해 획득할 수 있다.
노출 보정부(310)는 영상 획득부(300)에서 획득 시, 서로 다른 방향에서 획득한 영상들의 색감(tone)을 보정할 수 있다. 즉, 노출 보정부(310)는 서로 다른 방향에서 획득한 영상들의 노출차이에 의하여 발생하는 밝기 값 및/또는 색상 값 의 변화를 보정할 수 있다. 이때, 노출 보정부(310)는 영상들이 구면에 투영될 때 중첩되는 영역에 대한 밝기 값의 평균 및 표준편차 중 적어도 하나를 고려하여 영상들의 밝기 값을 보정할 수 있다. 예를 들어, 영상 획득부(300)를 통해 획득한 도 10a에 도시된 제 1 영상과 도 10b에 도시된 제 2 영상을 파노라마 영상으로 노출 보정 없이 합성하는 경우, 합성된 영상은 도 10c에 도시된 바와 같이 제 1 영상과 제 2 영상의 노출 차이로 인해 밝기 및 색상이 일정하지 않은 문제가 발생할 수 있다. 이에 따라, 노출 보정부(310)는 영상 획득부(300)에서 획득한 영상들이 중첩되는 영역의 평균 밝기 값 및 밝기 값의 표준편차 중 적어도 하나를 고려하여 영상들의 밝기 값이 동일하거나 일정 오차 범위의 차이를 갖도록 보정할 수 있다. 또한, 노출 보정부(310)는 영상들이 중첩되는 영역의 색상 값을 고려하여 영상들의 색상 값이 동일하거나 일정 오차 범위의 차이를 갖도록 변경 또는 보정할 수 있다. 또한, 노출 보정부(310)는 영상들이 중첩되는 영역의 밝기 및 색상 값 차이를 고려하여 영상들의 밝기 및 색상 값을 동일하거나 일정 오차 범위의 차이를 갖도록 변경 또는 보정할 수 있다. 여기서, 영상들의 밝기 값은 YUV 성분 중 휘도 성분(Y성분)을 포함하고, 색상 값은 UV 성분을 포함할 수 있다.
구체적으로 예를 들면, 노출 보정부(310)는 하기 <수학식 1>과 같이 영상들에 대한 평균 밝기 값 차이를 고려하여 중첩되는 영상들의 밝기를 보정할 수 있다. 여기서, 노출 보정부(310)는 도 10a에 도시된 제 1 영상을 기준으로 도 10b에 도시된 제 2 영상의 노출차이를 보정하는 것으로 가정한다.
Figure pat00001
여기서, Imeansub(x,y)는 (x, y) 좌표의 보정된 밝기 값을 나타내고, ICur(x,y)는 제 2 영상에 포함되는 (x, y) 좌표의 밝기 값을 나타내며, Mref는 제 1 영상에서 제 2 영상과 중첩되는 영역의 밝기 값의 평균을 나타내고, MCur은 제 2 영상에서 제 1 영상과 중첩되는 영역의 밝기 값의 평균을 나타낸다.
즉, 노출 보정부(310)는 제 1 영상과 제 2 영상에 대한 중첩 영역의 평균 밝기 값의 차이를 고려하여 제 1 영상과 제 2 영상의 노출 차이를 보정할 수 있다.
또한, 노출 보정부(310)는 하기 <수학식 2>와 같이 영상들에 대한 밝기 값의 표준 편차를 고려하여 중첩되는 영상들의 밝기를 보정할 수 있다. 여기서, 노출 보정부(310)는 도 10a에 도시된 제 1 영상을 기준으로 도 10b에 도시된 제 2 영상의 노출차이를 보정하는 것으로 가정한다.
Figure pat00002
여기서, IDevratio(x,y)는 (x, y) 좌표의 보정된 밝기 값을 나타내고, ICur(x,y)는 제 2 영상에 포함되는 (x, y) 좌표의 밝기 값을 나타내며, MCur은 제 2 영상에서 제 1 영상과 중첩되는 영역의 밝기 값의 평균을 나타내고, σCur은 제 2 영상에서 제 1 영상과 중첩되는 영역의 밝기 값의 표준 편차를 나타내며, σref은 제 1 영상에서 제 2 영상과 중첩되는 영역의 밝기 값의 표준 편차를 나타낸다.
즉, 노출 보정부(310)는 제 1 영상과 제 2 영상에 대한 중첩 영역의 밝기 값에 대한 표준 편차의 비율을 고려하여 제 1 영상과 제 2 영상의 노출 차이를 보정할 수 있다.
또한, 노출 보정부(310)는 하기 <수학식 3>과 같이 영상들에 대한 평균 밝기 값의 차이를 고려하여 중첩되는 영상들의 밝기를 보정할 수 있다. 여기서, 노출 보정부(310)는 도 10a에 도시된 제 1 영상을 기준으로 도 10b에 도시된 제 2 영상의 노출차이를 보정하는 것으로 가정한다.
Figure pat00003
여기서, Imeanratio(x,y)는 (x, y) 좌표의 보정된 밝기 값을 나타내고, ICur(x,y)는 제 2 영상에 포함되는 (x, y) 좌표의 밝기 값을 나타내며, Mref는 제 1 영상에서 제 2 영상과 중첩되는 영역의 밝기 값의 평균을 나타내고, MCur은 제 2 영상에서 제 1 영상과 중첩되는 영역의 밝기 값의 평균을 나타낸다.
즉, 노출 보정부(310)는 제 1 영상과 제 2 영상에 대한 중첩 영역의 평균 밝기 값의 비율을 고려하여 제 1 영상과 제 2 영상의 노출 차이를 보정할 수 있다.
영상 정렬부(320)는 노출 보정부(310)에서 노출 차이를 보정한 영상들에 대해 템플릿 정합(template matching)을 통해 센싱부(150)의 움직임 감지 오차 및 영상 획득 시 발생하는 오차를 보정할 수 있다. 즉, 영상 정렬부(320)는 템플릿 정합을 통해 구면 투영시 영상들의 중첩 영역을 매칭할 수 있다. 예를 들어, 영상 정렬부(320)는 노출 보정부(310)에서 노출 차이를 보정한 각 영상의 꼭지점들이 구면에 투영되는 좌표를 획득한다. 이후, 영상 정렬부(320)는 각 영상의 꼭지점을 기준으로 영상들의 구면 투영시 중첩 영역을 추출하고, 중첩 영역들에 대한 상관 관계를 산출한다. 즉, 영상 정렬부(320)는 중첩 영역에 두 영상들의 유사도를 산출한다. 이때, 영상 정렬부(320)는 SSD(Sum of Sequared Difference) 방식, SAD(Sum of Absolute Difference) 방식 및 정규 상관 계수(normalized correlation coefficient) 방식 중 적어도 하나를 이용하여 중첩 영역에 대한 영상들의 상관 관계를 확인할 수 있다. 이후, 영상 정렬부(320)는 구면 위를 움직이는 효과를 얻기 위해 하나의 영상을 기준으로 중첩된 영상의 회전 각도를 변경하여 중첩 영역에 대한 매칭 오차를 보정할 수 있다.
다른 예를 들어, 영상 정렬부(320)는 입력 장치(180)로부터 제공받은 입력 정보에 따라 중첩된 영상들의 위치, 크기 및 회전을 변경하여 영상들을 정렬할 수도 있다.
구면 투영부(330)는 영상 정렬부(320)에서 매칭한 2차원의 영상들을 3차원의 구면에 투영하여 파노라마 영상을 생성할 수 있다. 예를 들어, 도 14에 도시된 2차원 영상(1400)을 3차원의 구면(1410)에 투영하는 경우, 구면 투영부(330)는 2차원 영상의 좌표와 3차원 구면의 좌표가 1 대 1로 대응하지 않기 때문에 2차원 영상의 좌표(x, y)를 3차원 공간 좌표(x, y, f)로 변형한다. 이때, 구면 투영부(330)는 구의 중심점을 기준으로 2차원 영상의 거리를 초점 거리(f)로 설정하여 2차원 영상의 좌표(x, y)를 3차원 공간 좌표(x, y, f)로 변형할 수 있다. 이후, 구면 투영부(330)는 하기 <수학식 4>를 이용하여 3차원 공간 좌표를 갖는 영상을 구면에 투영할 수 있다.
Figure pat00004
여기서, (u, v, w)는 2차원 영상의 공간 좌표가 3차원 구면에 투영된 좌표를 나타내고, (x, y, f)는 2차원 영상의 공간 좌표를 나타내며, r은 영상을 투영하기 위한 구의 반지름을 나타내고, θ 및 φ는 구면좌표계에 의한 3차원 공간에서 영상 좌표의 각도를 나타낸다.
다른 예를 들어, 구면 투영부(330)는 하기 <수학식 5>과 같이 3차원 변환 행렬을 이용하여 생성한 3차원 공간 좌표(x', y', z')를 하기 <수학식 6>과 같이 구면에 투영할 수도 있다. 이때, 구면 투영부(330)는 영상 획득 시 센싱부(150)에서 감지한 회전 각도를 이용하여 3차원 회전 변환행렬을 생성할 수 있다.
Figure pat00005
여기서, (x', y', z')은 어느 하나의 방향을 기준으로 생성한 3차원 공간좌표를 나타내고, (x, y, f)는 2차원 영상의 공간 좌표를 나타내며, R은 3차원 회전 변환행렬을 나타낸다.
구면 투영부(330)는 <수학식 5>에 따라 2차원 영상의 공간 좌표를 3차원 회전 변환행렬 R을 이용하여 변환하여 3차원 공간 좌표를 획득할 수 있다.얻은 좌표이다. 즉, 구면 투영부(330)는 카메라가 영상을 취득한 공간방향을 고려하여 영상의 3차원 좌표를 생성할 수 있다.
Figure pat00006
여기서, (u, v, w)는 2차원 영상의 공간 좌표가 3차원 구면에 투영된 좌표를 나타내고, (x', y', z')은 어느 하나의 방향을 기준으로 생성한 3차원 공간좌표를 나타내며, r은 영상을 투영하기 위한 구의 반지름을 나타낸다.
즉, 구면 투영부(330)는 <수학식 4> 또는 <수학식 6>과 같이 구의 반지름 및 영상을 획득하기 위한 카메라부(140)의 초점 거리를 이용하여 2차원 영상을 3차원의 구면에 투영할 수 있다. 이때, 전자 장치는 구의 반지름 및 초점 거리를 조절하여 도 15a의 원본 영상을 도 15b 내지 도 15d에 도시된 바와 같이 구면에 투영 시, 확대/축소할 수도 있다. 구체적으로, 도 15a에 도시된 256 × 256 픽셀의 영상을 100 픽셀의 구의 반지름과 200 픽셀의 초점거리에 따라 구면에 투영하는 경우, 전자 장치는 도 15b와 같이 구면에 투영된 영상을 획득할 수 있다. 또한, 도 15a에 도시된 256 × 256 픽셀의 영상을 350 픽셀의 구의 반지름과 500 픽셀의 초점거리에 따라 구면에 투영하는 경우, 전자 장치는 도 15c와 같이 구면에 투영된 영상을 획득할 수도 있다. 또한, 도 15a에 도시된 256 × 256 픽셀의 영상을 500 픽셀의 구의 반지름과 700 픽셀의 초점거리에 따라 구면에 투영하는 경우, 전자 장치는 도 15d와 같이 구면에 투영된 영상을 획득할 수도 있다.
추가적으로, 파노라마 영상 생성부(210)는 영상 합성부(340)를 더 포함할 수도 있다. 이때, 영상 합성부(340)는 중첩된 영상들의 경계를 블러링(blurring)하거나 혼합하여 구면 투영부(330)에서 구면에 투영한 영상들의 중첩 영역에 대한 경계를 제거할 수 있다. 또한, 파노라마 영상 생성부(210)는 구면에 투영한 영상들에 대한 스티칭(stitching)을 수행할 수도 있다.
표시 제어부(220)는 프로그램 저장부(111)에 저장된 GUI 프로그램(113)을 실행하여 표시부(170) 상에 그래픽으로 사용자 인터페이스를 표시하도록 제어한다. 표시 제어부(230)는 응용프로그램 구동부(220)에서 구동되는 응용프로그램 정보를 표시부(170)에 표시하도록 제어한다. 예를 들어, 파노라마 영상 생성부(210)가 구동되는 경우, 표시 제어부(220)는 도 7a에 도시된 바와 같이 카메라부(140)의 획득한 프리뷰 영상(701)의 위치에 인접한 적어도 하나의 타일을 표시하도록 제어할 수 있다. 이때, 표시 제어부(220)는 전자 장치(100)의 오리엔테이션 정보에 따라 카메라부(140)의 획득한 프리뷰 영상의 위치가 변경되는 경우, 프리뷰 영상의 위치 변화에 따라 표시부(170)에 표시된 타일의 개수 및 위치를 변경할 수 있다. 다른 예를 들어, 파노라마 영상 생성부(210)가 구동되는 경우, 표시 제어부(220)는 도 7b에 도시된 바와 같이 구면으로 투영하기 위한 영상을 획득하기 위한 기준 프레임의 전체 구성을 표시부(170)에 표시하도록 제어할 수 있다. 또 다른 예를 들어, 파노라마 영상 생성부(210)가 구동되는 경우, 표시 제어부(220)는 도 7c에 도시된 바와 같이 카메라부(140)를 통해 영상을 취득하는 지점(711)을 기준으로 구면으로 투영하기 위한 영상을 획득하기 위한 영역의 중심 지점(715, 717)을 표시부(170)에 표시하도록 제어할 수 있다.
상술한 실시 예에서 전자 장치(100)는 파노라마 영상 생성부(210)를 포함하는 프로세서(122)를 이용하여 구면에 투영되는 파노라마 영상을 생성할 수 있다.
다른 실시 예에서 전자 장치(100)는 구면에 투영되는 파노라마 영상을 생성하기 위한 별도의 제어 모듈을 포함할 수도 있다.
상술한 바와 같이 전자 장치는 파노라마 영상을 생성하는데 필요한 영상들을 획득하기 위해 기준 프레임을 제공한다. 예를 들어, 기준 프레임은 도 7b에 도시된 바와 같이 구면으로 투영하기 위한 영상을 획득하기 위한 사용자 가이드 정보로 각각의 영역을 획득하기 위한 위치 정보를 포함하는 다수 개의 타일들로 구성될 수 있다.
전자 장치(100)에서 구면을 이용하여 파노라마 영상을 생성하는 경우, 전자 장치(100)는 수직 방향 및 수평 방향으로 각 영상의 회전 각도를 규격화하기 위해 정사각 형태의 타일을 이용하여 기준 프레임을 구성할 수 있다. 즉, 전자 장치(100)는 영상의 가로 길이와 세로 길이가 달라 수평 방향과 수직 방향에서 영상들의 회전 각도와 중첩 영역의 크기가 달라지는 것을 방지하기 위해 정사각 형태의 타일을 이용하여 기준 프레임을 구성할 수 있다. 예를 들어, 전자 장치(100)는 도 8을 이용하여 타일의 크기를 결정할 수 있다. 구체적으로, 전자 장치(100)의 카메라부(140)는 고정된 시야각(FOV: Filed Of View)(801)와 화각(AOV: Angle Of View)(803)을 갖는다. 이때, 전자 장치(100)는 타일 상에서 초점 거리를 1로 정규화하고 카메라의 시야각(FOVcam)을 픽셀단위로 산출하는 것으로 가정한 경우, 하기 <수학식 7> 내지 <수학식 10>을 이용하여 카메라부(140)의 초점 거리, 파노라마 영상을 생성하는데 사용하는 구의 중심 대역에 적용하기 위한 타일의 개수 및 타일의 크기(타일의 시야각 및 화각)를 결정할 수 있다. 여기서, 대역은 구의 중심 영역으로부터 수직 방향의 각도가 일정 범위 내에 포함되는 수평 방향의 영역을 나타낸다.
Figure pat00007
여기서, f는 카메라부(140)의 초점 거리를 나타내고, FOVcam은 카메라부(140)의 시야각을 나타내며, AOVcam은 카메라부(140)의 화각을 나타낸다.
Figure pat00008
여기서, TNMB는 영상 획득부(300)에서 획득한 영상을 투영하기 위한 구의 중심 대역(middle band)에서 수평 방향으로 회전하면서 획득할 수 타일의 개수를 나타내고, AOVcam은 카메라부(140)의 화각을 나타내며, ceil(f(x))는 f(x) 연산 값에 대한 올림 연산을 낸다.
Figure pat00009
AOVTile은 타일의 화각을 나타내고, TNMB는 영상 획득부(300)에서 획득한 영상을 투영하기 위한 구의 중심 대역에서 수평 방향으로 회전하면서 획득할 수 타일의 개수를 나타낸다.
Figure pat00010
FOVTile은 타일의 시야각을 나타내고, AOVTile은 타일의 화각을 나타내며, f는 카메라부(140)의 초점 거리를 나타낸다.
전자 장치(100)는 하나의 타일에 속하는 영상의 화각이 타일 영상 간의 정합을 위해서 영상들 간 겹치는 영역이 일정 비율로 발생하도록 타일을 설정할 수 있다. 이에 따라, 전자 장치(100)는 하기 <수학식 11>을 이용하여 구의 중심 대역에서 수평 방향으로 회전하면서 획득할 수 있는 타일의 개수를 결정할 수 있다.
Figure pat00011
여기서, CTNMB는 영상들이 중첩되도록 구의 중심 대역에서 수평 방향으로 회전하면서 획득하기 위한 타일의 개수를 나타내고, TNMB는 영상들이 중첩되지 않도록 구의 중심 대역(middle band)에서 수평 방향으로 회전하면서 획득할 수 타일의 개수를 나타내며, P는 영상들이 중첩되는 비율을 나타낸다. 여기서, P는 1.0 ~ 2.0 사이의 설정될 수 있다. 예를 들어, P가 1.3으로 설정된 경우, 전자 장치(100)는 타일 크기의 30%가 중첩되도록 기준 프레임을 구성할 수 있다.
이때, 전자 장치(100)는 <수학식 11>과 같이 CTNMB를 이용하여 중심 대역의 타일에 의한 영상 간격(ID: Interval Degree)을 산출할 수 있다.
상술한 바와 같이 전자 장치(100)는 <수학식 11>을 이용하여 도 9에 도시된 구의 중심 대역(900)의 타일의 개수를 결정할 수 있다. 이때, 전자 장치(100)는 중심 대역(900)의 타일 개수를 고려하여 다른 대역(910, 920)의 타일 개수를 결정할 수 있다. 예를 들어, 전자 장치(100)는 하기 <수학식 12>를 이용하여 구를 구성하는 대역들의 타일 개수를 결정할 수 있다.
Figure pat00012
여기서, TNi는 i번째 대역에서 수평 방향으로 회전하면서 획득할 수 타일의 개수를 나타내고, CTNMB는 영상들이 중첩되도록 구의 중심 대역에서 수평 방향으로 회전하면서 획득하기 위한 타일의 개수를 나타내며, pitch는 구에서 수직방향으로의 회전 각도를 나타낸다.
이때, 전자 장치(100)는 <수학식 10>과 같이 TNi를 이용하여 i번째 대역의 타일에 의한 영상 간격(IDi)을 산출할 수 있다.
도 4는 본 개시의 실시 예에 따른 전자 장치에서 파노라마 영상을 생성하기 위한 절차를 도시하고 있다.
도 4를 참조하면 전자 장치는 401단계에서 파노라마 영상을 생성하기 위해 다수 개의 영상들을 획득한다. 예를 들어, 전자 장치는 도 7a 또는 도 7b에 도시된 바와 같이 영상 획득을 위한 적어도 하나의 타일을 포함하는 기준 프레임을 표시부(170)에 표시한다. 이후, 전자 장치는 센싱부(150)로부터 제공받은 전자 장치의 오리엔테이션 정보와 기준 프레임에 포함되는 타일의 위치 정보가 매칭되는 시점의 영상을 카메라부(140)를 통해 획득할 수 있다. 이때, 타일은 고정된 위치 정보를 포함하거나 기준 영상의 위치 정보에 따른 상대적인 위치 정보를 포함할 수도 있다. 전자 장치는 전자 장치의 움직임에 따라 표시부(170)에 표시된 기준 프레임 정보를 변경할 수 있다. 다른 예를 들어, 전자 장치는 도 7c에 도시된 바와 같이 영상 획득을 위한 영역의 중심 지점(715, 717)을 표시부(170)에 표시한다. 이후, 전자 장치는 센싱부(150)로부터 제공받은 전자 장치(100)의 오리엔테이션 정보와 영상을 획득하기 위한 영역의 위치 정보가 매칭되는 시점의 영상을 카메라부(140)를 통해 획득할 수 있다. 즉, 전자 장치는 중심 지점(715 또는 717)이 카메라부(140)의 방향을 나타내는 원(713)의 내부에 들어오는 시점의 영상을 카메라부(140)를 통해 획득할 수 있다.
파노라마 영상을 위한 다수 개의 영상들을 획득한 후, 전자 장치는 403단계로 진행하여 인접한 영상들의 노출차이로 인해 발생하는 색상 값 및/또는 밝기 값의 변화를 보정한다. 이때, 전자 장치는 영상들이 구면에 투영될 때 중첩되는 영역에 대한 밝기 값의 평균 및 표준편차 중 적어도 하나를 고려하여 영상들의 밝기 값을 보정할 수 있다. 예를 들어, 전자 장치에서 도 10a에 도시된 제 1 영상과 도 10b에 도시된 제 2 영상을 파노라마 영상으로 노출 보정 없이 합성하는 경우, 합성된 영상은 도 10c에 도시된 바와 같이 제 1 영상과 제 2 영상의 노출 차이로 인해 밝기 및 색상이 일정하지 않은 문제가 발생할 수 있다. 이에 따라, 전자 장치는 401단계에서 획득한 영상들이 중첩되는 영역의 평균 밝기 값 및 밝기 값의 표준편차 중 적어도 하나를 고려하여 영상들의 밝기 값을 보정할 수 있다. 구체적으로, 전자장치는 <수학식 1>과 같이 제 1 영상과 제 2 영상에 대한 중첩 영역의 평균 밝기 값의 차이를 고려하여 제 1 영상과 제 2 영상의 노출 차이를 보정할 수 있다. 또한, 전자 장치는 <수학식 2>와 같이 제 1 영상과 제 2 영상에 대한 중첩 영역의 밝기 값에 대한 표준 편차의 비율을 고려하여 제 1 영상과 제 2 영상의 노출 차이를 보정할 수 있다. 또한, 전자 장치는 <수학식 3>과 같이 제 1 영상과 제 2 영상에 대한 중첩 영역의 평균 밝기 값의 비율을 고려하여 제 1 영상과 제 2 영상의 노출 차이를 보정할 수도 있다. 여기서, 영상들의 밝기 값은 YUV 성분 중 휘도 성분(Y성분)을 포함하고, 색상 값은 UV 성분을 포함할 수 있다.
영상들의 노출 차이로 인해 발생하는 밝기 값의 변화를 보정한 후, 전자 장치는 405단계로 진행하여 노출 차이를 보정한 영상들을 정렬할 수 있다. 예를 들어, 전자 장치는 템플릿 정합(template matching)을 통해 영상들의 중첩 영역을 매칭하여 정렬할 수 있다. 즉, 전자 장치는 템플릿 정합을 통해 구면 투영시 영상들의 중첩 영역을 매칭 오차를 보정할 수 있다. 다른 예를 들어, 전자 장치는 입력 장치(180)로부터 제공받은 입력 정보에 따라 중첩된 적어도 하나의 영상의 위치, 크기 및 회전을 변경하여 정렬시켜 영상들의 중첩 영역의 매칭 오차를 보정할 수 있다.
영상들을 정렬한 후, 전자 장치는 407단계로 진행하여 정렬된 2차원의 영상들을 3차원의 구면에 투영하여 파노라마 영상을 생성할 수 있다. 예를 들어, 전자 장치는 구의 중심점을 기준으로 2차원 영상의 거리를 초점 거리(f)로 설정하여 2차원 영상의 좌표(x, y)를 3차원 공간 좌표(x, y, f)로 변형할 수 있다. 이후, 전자 장치는 <수학식 4> 또는 <수학식 6>을 이용하여 3차원 공간 좌표를 갖는 영상을 구면에 투영할 수 있다. 즉, 전자 장치는 <수학식 4> 또는 <수학식 6>을 이용하여 2차원 영상의 3차원 공간 좌표를 구면에 투영된 좌표로 변형할 수 있다.
상술한 바와 같이 전자 장치는 정렬된 2차원 영상들을 3차원의 구면에 투영하여 파노라마 영상을 생성할 수 있다. 이 경우, 파노라마 영상에서 영상들의 경계가 두드러져 보일 수 있으므로, 전자 장치는 구면에 투영된 영상들의 경계를 블러링(blurring)하거나 혼합하여 구면에 투영한 영상들의 중첩 영역에 대한 경계를 제거할 수도 있다.
전자 장치는 2차원의 영상을 3차원 구면에 투영하여 생성한 파노라마 영상을 2차원 평면 구조로 변형하여 저장할 수 있다. 예를 들어, 전자 장치는 3차원 구면에 투영하여 생성한 파노라마 영상 데이터를 3차원 메쉬 데이터의 형태로 저장할 수 있다. 다른 예를 들어, 전자 장치는 하기 <수학식 13> 또는 하기 <수학식 14>를 이용하여 파노라마 영상 데이터를 2차원 평면 좌표로 저장할 수 있다.
여기서, x, y는 3차원의 파노라마 영상 좌표가 매핑된 2차원의 평면 좌표를 나타내고, θ 및 φ는 구면에 의한 3차원 공간에서 영상 좌표의 각도를 나타낸다.
Figure pat00014
여기서, x, y는 3차원의 파노라마 영상 좌표가 매핑된 2차원의 평면 좌표를 나타내고, θ, φ는 구면에 의한 3차원 공간에서 영상 좌표의 각도를 나타낸다.
상술한 바와 같이 파노라마 영상 데이터를 3차원 메쉬 데이터의 형태로 저장한 경우, 전자 장치는 데이터 저장부(112)에 저장된 메쉬 데이터를 이용한 렌더링을 통해 3차원의 파노라마 영상을 재생할 수 있다.
상술한 실시 예에서 전자 장치는 파노라마 영상을 위한 영상들을 획득하기 위해 기준 프레임을 표시부(170)에 표시한다. 이때, 전자 장치는 하기 도 5에 도시된 바와 같이 고정된 위치 정보를 포함하는 기준 프레임을 표시부(170)에 표시하여 영상들을 획득할 수 있다.
도 5는 본 개시의 실시 예에 따른 전자 장치에서 파노라마 영상 생성을 위한 영상을 획득하기 위한 절차를 도시하고 있다.
도 5를 참조하면 전자 장치는 501단계에서 파노라마 응용프로그램이 구동되는지 확인한다. 예를 들어, 전자 장치는 파노라마 영상 생성 서비스를 제공을 위한 응용프로그램이 구동되는지 확인한다.
파노라마 응용프로그램이 구동되는 경우, 전자 장치는 503단계로 진행하여 파노라마 영상 획득을 위한 기준 프레임을 표시한다. 예를 들어, 전자 장치는 도 7a에 도시된 바와 같이 카메라부(140)를 통해 획득한 프리뷰 영상(701)과 인접한 적어도 하나의 타일을 포함하는 기준 프레임을 표시부(170)에 표시할 수 있다. 이에 따라, 전자 장치의 움직임에 따라 카메라부(140)의 방향이 변경되는 경우, 전자 장치는 표시부(170)에 표시하는 타일을 변경할 수 있다. 다른 예를 들어, 전자 장치는 도 7b에 도시된 바와 같이 구면으로 투영하기 위한 영상을 획득하기 위한 기준 프레임의 전체 구성을 표시할 수도 있다. 또 다른 예를 들어, 전자 장치는 도 7c에 도시된 바와 같이 카메라부(140)를 통해 영상을 취득하는 지점(711)을 기준으로 구면으로 투영하기 위한 영상을 획득하기 위한 영역의 중심 지점(715, 717)을 표시할 수도 있다. 이때, 전자 장치는 영상을 획득하기 위한 영역의 중심 지점(715, 717)의 색상, 조도 및 투명도 중 적어도 하나를 조절하여 영상을 취득하는 지점(711)과의 거리 정보를 나타낼 수 있다. 또한, 전자 장치는 카메라부(140)의 방향을 나타내는 원(713)에 인접한 위치 정보의 방향을 표시할 수도 있다.
이후, 전자 장치는 505단계로 진행하여 전자 장치의 방향 정보와 기준 프레임에 포함되는 타일의 위치 정보가 매칭되는지 확인한다.
전자 장치의 오리엔테이션 정보와 기준 프레임에 포함되는 타일의 위치 정보가 매칭되지 않는 경우, 전자 장치는 503단계로 진행하여 파노라마 영상 획득을 위한 기준 프레임을 표시한다. 이때, 전자 장치의 움직임에 따라 카메라부(140)의 방향이 변경되는 경우, 전자 장치는 표시부(170)에 표시하는 타일을 변경할 수 있다.
한편, 전자 장치의 오리엔테이션 정보와 기준 프레임에 포함되는 타일의 위치 정보가 매칭되는 경우, 전자 장치는 507단계로 진행하여 전자 장치의 오리엔테이션 정보와 기준 프레임에 포함되는 타일의 위치 정보가 매칭되는 시점의 영상을 카메라부(140)를 통해 획득한다. 이때, 전자 장치는 기준 프레임에서 전자 장치의 오리엔테이션 정보와 위치 정보가 매칭된 타일에 카메라부(140)를 통해 획득한 영상을 표시할 수 있다.
이후, 전자 장치는 도 4의 403단계로 진행하여 507단계에서 획득한 영상에 따른 구면에 투영하는 영상들의 노출 차이를 보정할 수 있다.
전자 장치는 하기 도 6에 도시된 바와 같이 기준 영상의 위치 정보에 따른 상대적인 위치 정보를 포함하는 기준 프레임을 표시부(170)에 표시하여 영상들을 획득할 수도 있다.
도 6은 본 개시의 다른 실시 예에 따른 전자 장치에서 파노라마 영상 생성을 위한 영상을 획득하기 위한 절차를 도시하고 있다.
도 6을 참조하면 전자 장치는 601단계에서 파노라마 영상 생성 이벤트가 발생하는지 확인한다. 예를 들어, 전자 장치는 카메라 서비스 제공 중 파노라마 영상 생성 아이콘이 선택되는지 확인할 수 있다. 다른 예를 들어, 전자 장치는 카메라 서비스 제공 중 파노라마 영상 생성 메뉴가 선택되는지 확인할 수 있다. 또 다른 예를 들어, 전자 장치는 카메라 서비스 제공 중 파노라마 영상 생성 실행을 위한 음성 명령이 입력되는지 확인할 수도 있다.
파노라마 영상 생성 이벤트가 발생한 경우, 전자 장치는 603단계로 진행하여 카메라부(140)를 통해 영상을 획득한다. 예를 들어, 파노라마 영상 생성 이벤트가 발생한 경우, 전자 장치는 카메라부(140)을 통해 획득한 프리뷰 영상을 표시부(170)에 표시할 수 있다. 이후, 촬영 이벤트가 발생한 경우, 전자 장치는 표시부(170)에 표시된 프리뷰 영상을 촬영할 수 있다. 이때, 전자 장치는 표시부(170)에 표시된 촬영 아이콘의 선택 또는 촬영 버튼의 입력 및 촬영 이벤트가 매칭된 제스쳐의 감지 중 어느 하나를 고려하여 촬영 이벤트 발생 여부를 확인할 수 있다.
이후, 전자 장치는 605단계로 진행하여 603단계에서 획득한 영상을 기준으로 기준 프레임을 생성한다. 즉, 전자 장치는 도 7b와 같이 구성된 기준 프레임의 각 타일에 대한 위치 정보를 603단계에서 획득한 영상을 기준으로 설정한다.
기준 프레임을 생성한 후, 전자 장치는 607단계로 진행하여 파노라마 영상 획득을 위한 기준 프레임을 표시한다. 예를 들어, 예를 들어, 전자 장치는 도 7a에 도시된 바와 같이 카메라부(140)를 통해 획득한 프리뷰 영상(701)과 인접한 적어도 하나의 타일을 포함하는 기준 프레임을 표시부(170)에 표시할 수 있다. 이에 따라, 전자 장치의 움직임에 따라 카메라부(140)의 방향이 변경되는 경우, 전자 장치는 표시부(170)에 표시하는 타일을 변경할 수 있다. 다른 예를 들어, 전자 장치는 도 7b에 도시된 바와 같이 구면으로 투영하기 위한 영상을 획득하기 위한 기준 프레임의 전체 구성을 표시할 수도 있다. 또 다른 예를 들어, 전자 장치는 도 7c에 도시된 바와 같이 카메라부(140)를 통해 영상을 취득하는 지점(711)을 기준으로 구면으로 투영하기 위한 영상을 획득하기 위한 영역의 중심 지점(715, 717)을 표시할 수도 있다. 이때, 전자 장치는 영상을 획득하기 위한 영역의 중심 지점(715, 717)의 색상, 조도 및 투명도 중 적어도 하나를 조절하여 영상을 취득하는 지점(711)과의 거리 정보를 나타낼 수 있다. 또한, 전자 자?는 카메라부(140)의 방향을 나타내는 원(713)에 인접한 위치 정보의 방향을 표시할 수도 있다.
이후, 전자 장치는 609단계로 진행하여 전자 장치의 오리엔테이션 정보와 기준 프레임에 포함되는 타일의 위치 정보가 매칭되는지 확인한다.
전자 장치의 오리엔테이션 정보와 기준 프레임에 포함되는 타일의 위치 정보가 매칭되지 않는 경우, 전자 장치는 607단계로 진행하여 파노라마 영상 획득을 위한 기준 프레임을 표시한다. 이때, 전자 장치의 움직임에 따라 카메라부(140)의 방향이 변경되는 경우, 전자 장치는 표시부(170)에 표시하는 타일을 변경할 수 있다.
한편, 전자 장치의 오리엔테이션 정보와 기준 프레임에 포함되는 타일의 위치 정보가 매칭되는 경우, 전자 장치는 611단계로 진행하여 전자 장치의 오리엔테이션 정보와 기준 프레임에 포함되는 타일의 위치 정보가 매칭되는 시점의 영상을 카메라부(140)를 통해 획득한다. 이때, 전자 장치는 기준 프레임에서 전자 장치의 오리엔테이션 정보와 위치 정보가 매칭된 타일에 카메라부(140)를 통해 획득한 영상을 표시할 수 있다.
이후, 전자 장치는 도 4의 403단계로 진행하여 611단계에서 획득한 영상에 따른 구면에 투영하는 영상들의 노출 차이를 보정할 수 있다.
상술한 바와 같이 전자 장치의 오리엔테이션 정보와 타일의 위치 정보가 매칭되는 시점에 영상을 획득하는 경우, 전자 장치는 센싱부(150)에 의한 오차와 영상 획득 과정에서의 오차가 발생할 수 있다. 이에 따라, 전자 장치는 영상들의 중첩영역에 대한 매칭 오차를 줄이기 위해 템플릿 정합을 통해 영상들을 정렬한다. 구체적으로, 전자 장치는 하기 도 11에 도시된 바와 같이 영상들을 정렬할 수 있다.
도 11은 본 개시의 실시 예에 따른 전자 장치에서 영상을 정렬하기 위한 절차를 도시하고 있다.
도 11을 참조하면 전자 장치는 도 4에 도시된 403단계에서 인접한 영상들에 대한 노출 차이를 보정한 후, 1101단계로 진행하여 구면에 투영하기 위한 영상의 꼭지점들을 확인한다. 즉, 전자 장치는 영상의 네 꼭지점이 구면에 투영되는 경우의 좌표를 획득한다. 예를 들어, 도 12에 도시된 제 1 영상(1200)과 제 2 영상(1210)을 순차적으로 획득한 경우, 전자 장치는 제 1 영상(1200)의 네 꼭지점들이 구면에 투영되는 좌표(1202, 1204, 1206, 1208) 및 제 2 영상(1210)의 네 꼭지점들이 구면에 투영되는 좌표(1212, 1214, 1216, 1218)를 산출할 수 있다. 이때, 전자 장치는 구면 투영시 제 1 영상(1200)의 상위에 제 2 영상(1210)을 중첩하여 투영할 수 있다.
영상들에 대한 꼭지점을 확인한 후, 전자 장치는 1103단계로 진행하여 각 영상의 꼭지점을 기준으로 영상들이 중첩되는 중첩 영역을 추출한다. 예를 들어, 전자 장치는 구면에 투영하기 위해 상/하/좌/우 방향의 영상들을 획득한다. 이에 따라, 전자 장치는 도 13a에 도시된 바와 같이 상/하/좌/우 방향을 엇갈린 중첩 영역(1300), 도 13b에 도시된 바와 같이 좌/우 방향으로 엇갈린 중첩 영역(1310) 및 도 13c에 도시된 바와 같이 상/하 방향으로 엇갈린 중첩 영역(1320)을 추출할 수 있다. 추가적으로, 전자 장치는 중첩 영역(1300, 1310, 1320)에 대한 상관 관계 산출 시 발생하는 오류를 방지하기 위해 중첩 영역(1300, 1310, 1320)의 크기를 상/하/좌/우 기준 비율의 여백을 갖도록 설정할 수 있다(1302, 1312, 1322). 여기서, 기준 비율은 10%를 포함한다.
이후, 전자 장치는 1105단계로 진행하여 중첩 영역에 대한 영상들의 상관 관계를 산출한다. 즉, 전자 장치는 영상들의 밝기 정보를 고려하여 중첩 영역에 대한 유사도를 산출할 수 있다. 이때, 전자 장치는 SSD(Sum of Sequared Difference) 방식, SAD(Sum of Absolute Difference) 방식 및 정규 상관 계수(normalized correlation coefficient) 방식 중 적어도 하나를 이용하여 중첩 영역에 대한 영상들의 상관 관계를 확인할 수 있다.
중첩 영역에 대한 영상들의 상관 관계를 산출한 후, 전자 장치는 1107단계로 진행하여 구면 위를 움직이는 효과를 얻기 위해 하나의 영상을 기준으로 중첩된 영상의 각도를 변경하여 영상들의 중첩 영역을 정확히 매칭시킬 수 있다.
상술한 실시 예에서 전자 장치는 파노라마 영상 생성을 위해 획득한 영상들의 노출 차이 및 중첩 영역 매칭 오류를 보정한 후, 구면에 투영하여 파노라마 영상을 생성할 수 있다.
다른 실시 예에서 전자 장치는 파노라마 영상 생성을 위해 획득한 영상들의 구면에 투영한 후, 구면에 투영된 영상들의 노출 차이 및 중첩 영역의 매칭 오류를 보정할 수도 있다.
또 다른 실시 예에서 전자 장치는 파노라마 영상 생성을 위해 획득한 영상들의 노출 차이를 보정한 후, 노출 차이를 보정한 영상들의 구면에 투영할 수도 있다. 이후, 전자 장치는 구면에 투영된 영상들의 중첩 영역의 매칭 오류를 보정할 수 있다.
도 17은 본 개시의 실시 예에 따른 전자 장치의 소프트웨어 구성을 도시하고 있다.
도 17에 도시된 바와 같이 전자 장치는 다양한 구조의 소프트웨어를 이용하여 파노라마 영상을 생성할 수 있다. 예를 들어, 전자 장치는 어플리케이션(application), 어플리케이션 프레임워크(application framework), 라이브러리(libraries) 및 리눅스 커널(linux kernel)을 포함하는 소프트웨어 구조를 이용하여 파노라마 영상을 생성할 수 있다.
이동통신단말기가 파나로마 영상을 생성하는 경우, 이동통신단말기는 하기 도 18에 도시된 바와 같이 구성될 수 있다.
도 18은 본 개시의 다른 실시 예에 따른 전자 장치의 블록 구성을 도시하고 있다.
도 18에 도시된 바와 같이 전자 장치는 도 1에 도시된 전자 장치와 유사하게 구성될 수 있다. 하지만, 도 18의 전자 장치는 도 1에 도시된 전자 장치의 프로세서 유닛(120)의 구조에서 통신을 제어하는 별도의 통신 프로세서를 더 포함할 수 있다.
이때, 전자 장치는 응용프로그램 프로세서(application processor)에서 메모리에 저장된 파노라마 영상 프로그램을 실행하여 파노라마 영상을 생성할 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 전자 장치의 동작 순서가 변경 또는 병합되거나 재사용 가능하며 생략 등과 같이 여러 가지 변형이 가능하다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (38)

  1. 전자 장치의 동작 방법에 있어서,
    파노라마 영상의 적어도 일부를 형성하는 영상들을 획득하기 위하여, 전자 장치의 움직임을 안내하는 가이드 정보를 전자 장치의 디스플레이 상에 표시하는 단계;
    상기 가이드 정보와 상기 전자 장치의 오리엔테이션(orientation) 정보에 기반하여 적어도 하나의 영상을 획득하는 단계;
    파노라마 영상의 적어도 일부를 형성하기 위해 획득한 영상들의 적어도 일부분에 기초하여 영상들의 에 대한 색감(tone)을 보정하는 단계;
    상기 획득한 영상들이 중첩된 적어도 일부분에 기초하여 상기 영상들을 정렬하는 단계; 및,
    상기 정렬된 영상들을 3차원의 구면에 투영(rendering)하여 파노라마 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 색감은, 화이트 밸런스 또는 노출 또는 색상 값 중의 하나 또는 그 이상을 포함하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 영상을 획득하는 과정 이전에, 상기 전자 장치의 움직임 센서를 이용하여 상기 전자 장치의 움직임, 위치, 방향 중 하나 또는 그 이상을 측정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제 3항에 있어서,
    상기 움직임 센서는, 중력 센서, 지자기 센서, 자이로센서, 디지털 나침반, 수평 센서 또는 가속도 센서 중 하나 또는 그 이상을 포함하는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 가이드 정보는, 파노라마 영상의 적어도 일부분을 형성하는 영역들을 획득하기 위한 적어도 하나의 촬영 영역을 구의 형태로 포함하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 가이드 정보를 표시하는 과정 이전에, 카메라의 초점 거리와 화각을 기반으로 구의 형태의 가이드 정보에서 상기 구를 구성하는 각각의 대역에 표시하기 위한 촬영 영역의 개수를 결정하는 단계를 더 포함하며,
    상기 구의 대역은, 상기 구의 수평 방향으로 구분하는 적어도 하나의 영역을 포함하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 가이드 정보를 표시하는 단계는,
    상기 전자 장치의 움직임 방향을 고려하여 상기 구 형태의 가이드 정보를 구성하는 적어도 하나의 촬영 영역 중 적어도 하나의 촬영 영역을 추출하여 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 가이드 정보는, 영상을 획득하기 위한 전자 장치의 움직임, 위치 또는 방향 중 하나 또는 그 이상을 포함하고,
    상기 전자 장치의 오리엔테이션 정보는, 상기 전자 장치의 위치, 움직임 또는 방향 중 하나 또는 그 이상을 포함하는 것을 특징으로 방법.
  9. 제 1항에 있어서,
    상기 영상의 색감을 보정하는 단계는,
    다수 개의 영상들을 획득한 경우, 상기 영상들의 구면 투영 시, 중첩되는 영역의 밝기 값 및/또는 색상 값의 차이를 보정하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제 1항에 있어서,
    상기 정렬하는 단계는,
    중첩 영역을 포함하는 영상들 중 어느 하나의 영상을 기준으로 다른 영상을 구면에 투명할 때의 회전 각도를 조절하여 상기 영상들의 중첩 영역의 매칭 오류를 보정하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제 1항에 있어서,
    상기 파노라마 영상을 생성하는 단계는,
    상기 적어도 하나의 영상의 2차원 좌표 값을 가상의 초점 거리를 이용하여 3원 좌표 값으로 변환하는 단계; 및,
    상기 영상의 3차원 좌표 값을 구면의 반지름을 고려하여 구면에 투영된 좌표 값으로 변환하여 3차원 구면에 투영된 파노라마 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제 1항에 있어서,
    상기 적어도 하나의 영상을 3차원의 구면에 투영한 후, 영상들의 경계 영역을 혼합하거나(blending), 블러링(blurring)하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 제 1항에 있어서,
    상기 구면에 투영된 파노라마 영상의 3차원 좌표 값을 메쉬 구조의 데이터로 변환하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 제 1항에 있어서,
    상기 구면에 투영된 파노라마 영상의 3차원 좌표 값을 2차원 평면 좌표로 변환하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 제 1항에 있어서,
    상기 가이드 정보를 표시하는 과정은,
    상기 전자 장치의 움직임 정보를 고려하여 영상을 획득하기 위한 적어도 하나의 영역의 중심 지점을 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제 15항에 있어서,
    상기 표시된 중심 지점은, 중심 지점을 나타내는 색상, 조도 또는 투명도 중 하나 또는 그 이상을 조절하여 전자 장치의 움직임 방향에 따른 정보를 나타내는 것을 특징으로 하는 방법.
  17. 전자 장치에 있어서,
    카메라와,
    상기 전자 장치의 움직임을 감지하는 센싱부와,
    표시부와,
    적어도 하나의 프로세서와,
    메모리 및,
    상기 메모리에 저장되며, 상기 하나 이상의 프로세서에 의해 구동되는 프로그램을 포함하며,
    상기 프로그램은,
    파노라마 영상의 적어도 일부를 형성하는 영상들을 획득하기 위하여, 전자 장치의 움직임을 안내하는 가이드 정보를 전자 장치의 상기 표시부 상에 표시하고,
    상기 가이드 정보와 상기 전자 장치의 오리엔테이션 정보에 기반하여 적어도 하나의 영상을 획득하고,
    파노라마 영상의 적어도 일부를 형성하기 위해 획득한 영상들의 적어도 일부분에 기초하여 영상들의 에 대한 색감(tone)을 보정하고,
    상기 획득한 영상들이 중첩된 적어도 일부분에 기초하여 상기 영상들을 정렬하고,
    상기 정렬된 영상들을 3차원의 구면에 투영(rendering)하여 파노라마 영상을 생성하는 것을 특징으로 하는 장치.
  18. 제 17항에 있어서,
    상기 색감은, 화이트 밸런스 또는 노출 또는 색상 값 중의 하나 또는 그 이상을 포함하는 것을 특징으로 하는 장치
  19. 제 17항에 있어서,
    상기 프로그램은, 영상을 획득하는 전에, 상기 전자 장치의 움직임 센서를 이용하여 상기 전자 장치의 움직임, 각도 또는 방향 중 하나 또는 그 이상을 측정하는 것을 특징으로 하는 장치.
  20. 제 19항에 있어서,
    상기 움직임 센서는, 중력 센서, 지자기 센서, 자이로센서, 디지털 나침반, 수평 센서 또는 가속도 센서 중 하나 또는 그 이상을 포함하는 것을 특징으로 하는 장치.
  21. 제 17항에 있어서,
    상기 가이드 정보는, 파노라마 영상의 적어도 일부분을 형성하는 영역들을 획득하기 위한 적어도 하나의 촬영 영역을 구의 형태로 포함하는 것을 특징으로 하는 장치.
  22. 제 17항에 있어서,
    상기 프로그램은, 카메라의 초점 거리와 화각을 기반으로 구의 형태의 가이드 정보에서 상기 구를 구성하는 각각의 대역에 표시하기 위한 촬영 영역의 개수를 결정하며,
    상기 구의 대역은, 상기 구의 수평 방향으로 구분하는 적어도 하나의 영역을 포함하는 것을 특징으로 하는 장치.
  23. 제 17항에 있어서,
    상기 전자 장치의 움직임 방향을 고려하여 상기 구 형태의 가이드 정보를 구성하는 적어도 하나의 촬영 영역 중 적어도 하나의 촬영 영역을 추출하여 상기 표시부에 표시하는 장치.
  24. 제 17항에 있어서,
    상기 가이드 정보는, 영상을 획득하기 위한 전자 장치의 움직임, 위치 또는 방향 중 하나 또는 그 이상을 포함하고,
    상기 전자 장치의 움직임 정보는, 상기 전자 장치의 위치, 움직임 또는 방향 중 하나 또는 그 이상을 포함하는 것을 특징으로 하는 장치.
  25. 제 17항에 있어서,
    상기 프로그램은, 다수 개의 영상들을 획득한 경우, 상기 영상들의 구면 투영 시, 중첩되는 영역의 밝기 값 및/또는 색상 값의 차이를 보정하는 것을 특징으로 하는 장치.
  26. 제 17항에 있어서,
    상기 프로그램은, 중첩 영역을 포함하는 영상들 중 어느 하나의 영상을 기준으로 다른 영상을 구면에 투명할 때의 회전 각도를 조절하여 상기 영상들의 중첩 영역의 매칭 오류를 보정하는 것을 특징으로 하는 장치.
  27. 제 17항에 있어서,
    상기 프로그램은, 상기 적어도 하나의 영상의 2차원 좌표 값을 가상의 초점 거리를 이용하여 3차원 좌표 값으로 변환하고,
    상기 영상의 3차원 좌표 값을 구면의 반지름을 고려하여 구면에 투영된 좌표 값으로 변환하여 3차원 구면에 투영된 파노라마 영상을 생성하는 것을 특징으로 하는 장치.
  28. 제 17항에 있어서,
    상기 프로그램은, 상기 적어도 하나의 영상을 3차원의 구면에 투영한 후, 영상들의 경계 영역을 혼합하거나(blending), 블러링(blurring)하는 것을 특징으로 하는 장치.
  29. 제 17항에 있어서,
    상기 프로그램은, 상기 구면에 투영된 파노라마 영상의 3차원 좌표 값을 메쉬 구조의 데이터로 변환하여 저장부에 저장하는 것을 특징으로 하는 장치.
  30. 제 17항에 있어서,
    상기 프로그램은, 상기 구면에 투영된 파노라마 영상의 3차원 좌표 값을 2차원 평면 좌표로 변환하여 저장부에 저장하는 것을 특징으로 하는 장치.
  31. 제 17항에 있어서,
    상기 프로그램은, 상기 전자 장치의 움직임 정보를 고려하여 영상을 획득하기 위한 적어도 하나의 영역의 중심 지점을 상기 표시부에 표시하는 것을 특징으로 하는 장치.
  32. 제 31항에 있어서,
    상기 표시된 중심 지점은, 중심 지점을 나타내는 색상, 조도 또는 투명도 중 하나 또는 그 이상을 조절하여 상기 전자 장치의 움직임 방향에 따른 정보를 나타내는 것을 특징으로 하는 장치.
  33. 전자 장치에서 영상을 생성하는 방법에 있어서,
    파노라마 영상의 적어도 일부를 형성하는 영상 획득을 위하여, 전자장치의 움직임을 안내하는 가이드 정보를 상기 전자 장치의 디스플레이 상 표시하는 단계;
    상기 전자 장치의 오리엔테이션 정보와 상기 가이드 정보에 기초하여 적어도 하나의 영상을 획득하는 단계;
    상기 적어도 하나의 영상의 2차원 좌표 값을 3차원 좌표 값으로 변환하는 단계; 및
    상기 영상의 3차원 좌표 값을 이용하여, 상기 적어도 하나의 영상을 3차원의 구면에 투영(rending)하는 단계를 포함하는 것을 특징으로 하는 방법.
  34. 제 33항에 있어서,
    상기 3차원의 구면에 투영된 영상들의 중첩 영역에 대한 색감을 보정하는 단계; 및 ,
    상기 영상들의 중첩된 적어도 일부분에 기초하여 상기 영상들을 정렬하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  35. 제 33항에 있어서,
    상기 가이드 정보는, 파노라마 영상의 적어도 일부분을 형성하는 영역들을 획득하기 위한 적어도 하나의 촬영 영역을 구의 형태로 포함하는 것을 특징으로 하는 방법.
  36. 제 33항에 있어서,
    상기 3차원 투영한 후, 상기 영상들의 경계 영역을 혼합하거나(blending), 블러링(blurring)하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  37. 전자 장치를 동작하는 방법에 있어서,
    3차원 투영된 파노라마 영상의 적어도 일부를 형성하는 영상들의 획득을 위하여, 전자장치의 카메라의 화각 (angle of view)에 적어도 일부 기초하여 발생된 복수 개의 가이드들 중 적어도 일부를 전자 장치의 디스플레이 상에 표시하는 단계로서, 상기 복수개의 가이드들 각각은 복수개의 좌표 값들 중(coordinate values) 하나에 대응되는 단계;
    상기 전자 장치의 센서를 이용하여 전자 장치의 움직임 방향을 나타내는(represent) 값을 결정하는 단계;
    상기 결정된 값을 상기 좌표 값들 중 적어도 하나와 비교하는 단계;
    상기 비교하는 단계에서의 비교 결과에 적어도 일부 기초하여, 상기 카메라를 이용하여 영상을 획득하는 단계; 및
    상기 전자장치에 이미 저장된 영상과 상기 획득된 영상을 3차원의 구면에 투영(rendering) 하여 상기 디스플레이상에 파노라마 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  38. 제 37항에 있어서,
    상기 센서는, 중력 센서, 지자기 센서, 자이로센서, 디지털 나침반, 수평 센서 또는 가속도 센서 중 하나 또는 그 이상을 포함하는 것을 특징으로 하는 방법.
KR20130027582A 2013-03-14 2013-03-14 파노라마 영상을 생성하는 전자 장치 및 방법 KR20140112909A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130027582A KR20140112909A (ko) 2013-03-14 2013-03-14 파노라마 영상을 생성하는 전자 장치 및 방법
US14/212,098 US20140267593A1 (en) 2013-03-14 2014-03-14 Method for processing image and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130027582A KR20140112909A (ko) 2013-03-14 2013-03-14 파노라마 영상을 생성하는 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140112909A true KR20140112909A (ko) 2014-09-24

Family

ID=51525585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130027582A KR20140112909A (ko) 2013-03-14 2013-03-14 파노라마 영상을 생성하는 전자 장치 및 방법

Country Status (2)

Country Link
US (1) US20140267593A1 (ko)
KR (1) KR20140112909A (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017188714A1 (ko) * 2016-04-26 2017-11-02 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
WO2018066760A1 (ko) * 2016-10-06 2018-04-12 주식회사 카이 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
WO2018124720A1 (ko) * 2016-12-27 2018-07-05 삼성전자 주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
WO2018131888A1 (ko) * 2017-01-13 2018-07-19 삼성전자 주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
KR20180124628A (ko) * 2017-05-12 2018-11-21 한국과학기술원 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법
KR20180134520A (ko) * 2017-06-09 2018-12-19 (주)씨소 영상의 다이렉트 매핑 장치 및 방법
KR101946579B1 (ko) * 2018-10-19 2019-05-21 (주)동광지엔티 갱신 대상지역의 부분도화를 위한 공간영상 수정시스템
KR101946573B1 (ko) * 2018-10-24 2019-05-21 (주)동광지엔티 공간영상 기반의 도화이미지에서 왜곡을 인식하고 지정 이미지를 보정하는 영상 도화장치
WO2019156409A1 (ko) * 2018-02-12 2019-08-15 유재희 다중 배열된 디스플레이 면을 이용한 플로팅 방식의 홀로그램 디스플레이 장치와 그를 위한 다중영상 생성방법
KR20190097370A (ko) * 2018-02-12 2019-08-21 유재희 다중 배열된 디스플레이 면을 이용한 플로팅 방식의 홀로그램 디스플레이 장치와 그를 위한 다중영상 생성방법
WO2019190197A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10999501B2 (en) 2015-06-24 2021-05-04 Samsung Electronics Co., Ltd. Electronic device and method for controlling display of panorama image
WO2023163412A1 (ko) * 2022-02-25 2023-08-31 주식회사 비지트 파노라믹 영상 생성 장치 및 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9998655B2 (en) * 2014-12-23 2018-06-12 Quallcomm Incorporated Visualization for viewing-guidance during dataset-generation
CN104599236B (zh) * 2014-12-29 2017-10-24 小米科技有限责任公司 一种图像校正的方法和装置
JP5967504B1 (ja) * 2015-05-18 2016-08-10 パナソニックＩｐマネジメント株式会社 全方位カメラシステム
KR102468086B1 (ko) 2015-11-06 2022-11-17 삼성전자주식회사 컨텐츠 표시 방법 및 이를 구현한 전자 장치
WO2017090986A1 (en) * 2015-11-23 2017-06-01 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling electronic apparatus thereof
US9961261B2 (en) * 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
KR20180040469A (ko) * 2016-10-12 2018-04-20 엘지이노텍 주식회사 이미지 정합 방법 및 장치
CN107995439A (zh) * 2016-10-27 2018-05-04 中兴通讯股份有限公司 一种视频拍摄、播放、处理方法、拍照终端
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN107248137B (zh) * 2017-04-27 2021-01-15 努比亚技术有限公司 一种实现图像处理的方法及移动终端
CN107123136B (zh) * 2017-04-28 2019-05-24 深圳岚锋创视网络科技有限公司 基于多路图像的全景图像对齐方法、装置及便携式终端
JP6331178B1 (ja) * 2017-05-12 2018-05-30 パナソニックＩｐマネジメント株式会社 画像処理装置、及び、画像処理方法
US20190007672A1 (en) * 2017-06-30 2019-01-03 Bobby Gene Burrough Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections
JP6946087B2 (ja) * 2017-07-14 2021-10-06 キヤノン株式会社 情報処理装置及びその制御方法、並びに、プログラム
KR102422929B1 (ko) * 2017-08-16 2022-07-20 삼성전자 주식회사 디스플레이장치, 서버 및 그 제어방법
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
CN110035331B (zh) * 2018-01-12 2021-02-09 华为技术有限公司 一种媒体信息的处理方法及装置
CN109272041B (zh) * 2018-09-21 2021-10-22 联想(北京)有限公司 特征点的选取方法及装置
KR102231649B1 (ko) * 2019-10-21 2021-03-24 김동욱 3d데이터를 이용하여 쌍방향 인터랙션이 가능한 홀로그램 생성 장치 및 방법
US20230039451A1 (en) * 2020-01-13 2023-02-09 The Catholic University Of Korea Industry-Academic Cooperation Foundation Dental medical record device and dental medical record method thereof
US11948315B2 (en) * 2020-12-31 2024-04-02 Nvidia Corporation Image composition in multiview automotive and robotics systems
CN112887607B (zh) * 2021-01-26 2022-08-26 维沃移动通信有限公司 拍摄提示的方法及装置
WO2022264418A1 (ja) * 2021-06-18 2022-12-22 日本電信電話株式会社 映像合成システム、映像合成方法、及び映像合成プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5782766A (en) * 1995-03-31 1998-07-21 Siemens Medical Systems, Inc. Method and apparatus for generating and displaying panoramic ultrasound images
JP3356688B2 (ja) * 1998-06-18 2002-12-16 富士写真フイルム株式会社 画像処理方法
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
FR2821156B1 (fr) * 2001-02-16 2003-05-23 Immervision Internat Pte Ltd Procede et dispositif pour l'obtention d'une image panoramique numerique a teinte constante
US6978052B2 (en) * 2002-01-28 2005-12-20 Hewlett-Packard Development Company, L.P. Alignment of images for stitching
US20050128212A1 (en) * 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
KR100790887B1 (ko) * 2006-09-22 2008-01-02 삼성전자주식회사 영상 처리장치 및 방법
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
US20120188333A1 (en) * 2009-05-27 2012-07-26 The Ohio State University Spherical view point controller and method for navigating a network of sensors
KR20110029001A (ko) * 2009-09-14 2011-03-22 삼성전자주식회사 베이어 영상에서의 이미지 처리 방법 및 장치
WO2011121741A1 (ja) * 2010-03-30 2011-10-06 富士通株式会社 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
TWI497990B (zh) * 2012-01-11 2015-08-21 Hon Hai Prec Ind Co Ltd Ptz攝像裝置控制系統及方法
US9019316B2 (en) * 2012-04-15 2015-04-28 Trimble Navigation Limited Identifying a point of interest from different stations
US9013611B1 (en) * 2013-09-06 2015-04-21 Xilinx, Inc. Method and device for generating a digital image based upon a selected set of chrominance groups

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999501B2 (en) 2015-06-24 2021-05-04 Samsung Electronics Co., Ltd. Electronic device and method for controlling display of panorama image
WO2017188714A1 (ko) * 2016-04-26 2017-11-02 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
US10783607B2 (en) 2016-10-06 2020-09-22 Kai Inc. Method of acquiring optimized spherical image using multiple cameras
WO2018066760A1 (ko) * 2016-10-06 2018-04-12 주식회사 카이 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
KR20180048443A (ko) * 2016-10-06 2018-05-10 주식회사 카이 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
WO2018124720A1 (ko) * 2016-12-27 2018-07-05 삼성전자 주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
US10931971B2 (en) 2016-12-27 2021-02-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 360-degree image
WO2018131888A1 (ko) * 2017-01-13 2018-07-19 삼성전자 주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
US11252390B2 (en) 2017-01-13 2022-02-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding 360 degree image
KR20180124628A (ko) * 2017-05-12 2018-11-21 한국과학기술원 평면 좌표계 영상데이터와 구면 좌표계 영상데이터를 이용한 영상처리 장치 및 방법
KR20180134520A (ko) * 2017-06-09 2018-12-19 (주)씨소 영상의 다이렉트 매핑 장치 및 방법
WO2019156409A1 (ko) * 2018-02-12 2019-08-15 유재희 다중 배열된 디스플레이 면을 이용한 플로팅 방식의 홀로그램 디스플레이 장치와 그를 위한 다중영상 생성방법
KR20190097370A (ko) * 2018-02-12 2019-08-21 유재희 다중 배열된 디스플레이 면을 이용한 플로팅 방식의 홀로그램 디스플레이 장치와 그를 위한 다중영상 생성방법
WO2019190197A1 (ko) * 2018-03-27 2019-10-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR101946579B1 (ko) * 2018-10-19 2019-05-21 (주)동광지엔티 갱신 대상지역의 부분도화를 위한 공간영상 수정시스템
KR101946573B1 (ko) * 2018-10-24 2019-05-21 (주)동광지엔티 공간영상 기반의 도화이미지에서 왜곡을 인식하고 지정 이미지를 보정하는 영상 도화장치
WO2023163412A1 (ko) * 2022-02-25 2023-08-31 주식회사 비지트 파노라믹 영상 생성 장치 및 방법

Also Published As

Publication number Publication date
US20140267593A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
KR20140112909A (ko) 파노라마 영상을 생성하는 전자 장치 및 방법
US10593014B2 (en) Image processing apparatus, image processing system, image capturing system, image processing method
KR101885778B1 (ko) 3 차원 비디오를 위한 이미지 스티칭
US9600859B2 (en) Image processing device, image processing method, and information processing device
US8514295B2 (en) Augmented reality processing based on eye capture in handheld device
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
KR20170017700A (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
CN103843329B (zh) 用于立体图像对的有条件显示的方法和设备
US20170147866A1 (en) Image processing device and image display device
JP2007072537A (ja) ３６０°画像撮影装置
KR102003383B1 (ko) 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법
JP7387434B2 (ja) 画像生成方法および画像生成装置
US9615040B2 (en) Determining a maximum inscribed size of a rectangle
US20190306420A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US9691357B2 (en) Information processing method and electronic device thereof, image calibration method and apparatus, and electronic device thereof
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
CN110728644B (zh) 图像生成方法、装置、电子设备和可读存储介质
US11496661B2 (en) Image processing apparatus and image processing method
CN111226255A (zh) 图像处理设备，图像捕获***，图像处理方法和记录介质
CN109905594B (zh) 提供图像的方法和用于支持该方法的电子装置
JP4875887B2 (ja) 画像合成システム及び画像合成方法
TWI615808B (zh) 全景即時影像處理方法
CN110503159B (zh) 文字识别方法、装置、设备及介质
JP2010072813A (ja) 画像処理装置および画像処理プログラム
KR101529820B1 (ko) 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid