KR101868057B1 - 파노라마 영상 생성 방법 및 그 장치 - Google Patents

파노라마 영상 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR101868057B1
KR101868057B1 KR1020170009947A KR20170009947A KR101868057B1 KR 101868057 B1 KR101868057 B1 KR 101868057B1 KR 1020170009947 A KR1020170009947 A KR 1020170009947A KR 20170009947 A KR20170009947 A KR 20170009947A KR 101868057 B1 KR101868057 B1 KR 101868057B1
Authority
KR
South Korea
Prior art keywords
image
camera
extracting
panoramic
generating
Prior art date
Application number
KR1020170009947A
Other languages
English (en)
Inventor
홍재성
정경화
전인호
홍한표
Original Assignee
재단법인대구경북과학기술원
재단법인 아산사회복지재단
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원, 재단법인 아산사회복지재단, 울산대학교 산학협력단 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170009947A priority Critical patent/KR101868057B1/ko
Application granted granted Critical
Publication of KR101868057B1 publication Critical patent/KR101868057B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 파노라마 영상 생성 방법에 관한 것으로, 서로 다른 투영점을 갖도록 배치된 제1 및 제2 카메라를 이용하여 근거리 3차원 피사체를 촬영하는 단계; 상기 제1 카메라로부터 제1 이미지를 획득하고, 상기 제2 카메라로부터 제2 이미지를 획득하는 단계; 상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 단계; 및 상기 제1 이미지, 제2 이미지 및 중간 이미지에서 각각 추출한 영상들을 기반으로 파노라마 영상을 생성하는 단계를 포함한다.

Description

파노라마 영상 생성 방법 및 그 장치{METHOD FOR GENERATING PANORAMIC IMAGE AND APPARATUS THEREOF}
본 발명은 복수의 카메라를 이용하여 파노라마 영상을 생성하는 방법 및 그 장치에 관한 것입니다. 보다 구체적으로, 복수의 카메라와 가까운 근거리의 3차원 피사체를 서로 다른 각도에서 촬영한 영상들을 기반으로 하나의 파노라마 영상을 생성하는 방법 및 그 장치에 관한 것이다.
일반적으로 파노라마 영상(PANORAMIC IMAGE)이란 획득하고자 하는 영상의 궤적을 미리 설정하고 그 궤적을 따라 영상을 촬영한 후 얻어진 영상을 이어 붙임으로써 획득한 영상을 말한다.
최근 3D, UHD 컨텐츠의 출현 이후, 파노라마 영상에 대한 수요가 전시관, 뉴스 룸, 옥외 구조물, 의료 시설 등을 통하여 점차 증가하고 있는 추세이다. 3D 컨텐츠의 입체감 제공, UHD 컨텐츠의 사실감 제공과 더불어 고품질 파노라마 서비스는 기존 HD 영상 미디어에 비하여 넓은 화각을 제공함으로써 사용자에게 극대화된 현장감을 제공한다.
종래의 파노라마 영상 장치는, 도 1의 (a) 및 (b)에 도시된 바와 같은 카메라 배치를 사용하여 파노라마 영상을 생성한다. 즉, 도 1의 (a)는 카메라 한대를 투영점을 기준으로 회전시키면서 촬영한 영상으로 파노라마 영상을 생성하는 방법이고, 도 1의 (b)는 두 카메라의 투영점을 동일한 위치에 고정시켜 촬영한 영상으로 파노라마 영상을 생성하는 방법이다. 이러한 방법들의 경우, 기존의 잘 알려진 파노라마 알고리즘을 이용하여 파노라마 영상을 생성할 수 있다.
그런데, 도 1의 (c)에 도시된 바와 같이, 두 카메라의 투영점들이 서로 이격되도록 배치되는 경우, 이전의 카메라 배치 방식에 비해 좀 더 넓은 시야각(a field of view)을 획득할 수 있지만, 기존의 잘 알려진 파노라마 알고리즘을 적용할 수 없다는 문제점이 있다. 따라서, 이와 같이 서로 다른 투영점을 갖도록 배치되는 복수의 카메라에서 근거리 3차원 피사체를 촬영한 영상들을 하나의 파노라마 영상으로 자연스럽게 합성하기 위한 파노라마 알고리즘을 개발할 필요가 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 서로 다른 투영점을 갖도록 배치된 복수의 카메라에서 근거리 3차원 피사체를 촬영한 영상들을 기반으로 하나의 파노라마 영상을 생성하는 방법 및 그 장치를 제공함에 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 서로 다른 투영점을 갖도록 배치된 제1 및 제2 카메라를 이용하여 근거리 3차원 피사체를 촬영하는 단계; 상기 제1 카메라로부터 제1 이미지를 획득하고, 상기 제2 카메라로부터 제2 이미지를 획득하는 단계; 상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 단계; 및 상기 제1 이미지, 제2 이미지 및 중간 이미지에서 각각 추출한 영상들을 기반으로 파노라마 영상을 생성하는 단계를 포함하는 파노라마 영상 생성 방법을 제공한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 방법의 중간 이미지는, 제1 카메라와 제2 카메라 사이의 중간 위치에서 근거리 3차원 피사체를 촬영할 때 나타날 것으로 예상되는 영상임을 특징으로 한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 방법은, 파노라마 영상에 대해 영상 후처리를 수행하는 단계를 더 포함하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 방법은, 제1 이미지로부터 제1 특징점들(feature points)을 추출하고, 제2 이미지로부터 제2 특징점들을 추출하는 단계를 더 포함하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 방법은, 제1 및 제2 특징점들을 서로 매칭시켜 대응점들(corresponding points)을 추출하는 단계를 더 포함하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 방법의 대응점들은, 상기 대응점들은, SIFT(Scale-invariant feature transform) 알고리즘, Affine-SIFT 알고리즘, SUFT(Speeded Up Robust Features) 알고리즘, KAZE 알고리즘, 및 Accelerated-KAZE 알고리즘 중 적어도 하나를 이용하여 검출되는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 방법의 중간 이미지 생성 단계는, 대응점들을 서로 연결하여 삼각형이 되도록 제1 및 제2 이미지를 분할하는 단계와, 상기 분할된 제1 및 제2 이미지에 대해 이미지 모핑 알고리즘(Image Morphing Algorism)을 적용하여 중간 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 방법의 이미지 분할 단계는, 델로네 삼각분할(Delaunay Triangulation) 방법을 이용하여 제1 및 제2 이미지를 분할하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 방법에서, 중간 이미지의 좌표 값은 수학식 M(x, y)=(1-s)I(x, y)+sJ(x, y)를 통해 산출되는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 방법의 파노라마 영상 생성 단계는, 제1 이미지에서 추출한 제1 이미지 영역과, 제2 이미지에서 추출한 제2 이미지 영역과, 중간 이미지에서 추출한 제3 이미지 영역을 합성하는 것을 특징으로 한다.
본 발명의 다른 측면에 따르면, 제1 카메라로부터 제1 이미지를 획득하고, 상기 제1 카메라와 투영점이 다른 제2 카메라로부터 제2 이미지를 획득하는 영상 획득부; 상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 중간영상 생성부; 상기 제1 이미지에서 제1 이미지 영역을 추출하고, 상기 제2 이미지에서 제2 이미지 영역을 추출하며, 상기 중간 이미지에서 제3 이미지 영역을 추출하는 영상 추출부; 및 상기 제1 내지 제3 이미지 영역들을 합성하여 파노라마 영상을 생성하는 영상 합성부를 포함하는 파노라마 영상 생성 장치를 제공한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 장치는, 제1 이미지로부터 제1 특징점들을 추출하고, 제2 이미지로부터 제2 특징점들을 추출하는 특징점 추출부를 더 포함하는 것을 특징으로 한다.
좀 더 바람직하게는, 상기 파노라마 영상 생성 장치는, 파노라마 영상에 대해 이미지 블렌딩을 수행하는 영상 후처리부를 더 포함하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따르면, 제1 카메라로부터 제1 이미지를 획득하고, 상기 제1 카메라와 투영점이 다른 제2 카메라로부터 제2 이미지를 획득하는 과정; 상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 과정; 및 상기 제1 이미지, 제2 이미지 및 중간 이미지에서 각각 추출한 영상들을 기반으로 파노라마 영상을 생성하는 과정을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.
본 발명의 실시 예들에 따른 파노라마 영상 생성 방법 및 그 장치의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 서로 다른 투영점을 갖도록 배치된 복수의 카메라에서 촬영한 영상들에 대해 이미지 모핑 알고리즘을 적용하여 파노라마 영상을 생성함으로써, 종래의 카메라 배치 방식에 비해 좀 더 넓은 촬영 범위를 획득할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 이미지 모핑 알고리즘을 활용하여 제1 카메라 영상과 제2 카메라 영상의 중간 영상을 생성하고, 상기 생성된 중간 영상을 파노라마 영상의 합성에 이용함으로써, 서로 다른 방향에서 촬영한 영상들을 하나의 파노라마 영상으로 자연스럽게 합성할 수 있다는 장점이 있다.
다만, 본 발명의 실시 예들에 따른 파노라마 영상 생성 방법 및 그 장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 기존의 파노라마 알고리즘을 적용하기 위한 카메라 배치를 설명하는 도면;
도 2는 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 구성을 설명하기 위한 블록도;
도 3은 본 발명의 일 실시 예에 따른 파노라마 영상 생성부의 구성을 설명하기 위한 블록도;
도 4는 본 발명에 적용되는 이미지 모핑 알고리즘을 설명하기 위해 참조되는 도면;
도 5는 두 카메라 간의 각도를 변화시키면서 촬영한 영상들에 대해 이미지 모핑 알고리즘을 적용한 결과를 나타내는 도면;
도 6은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 동작을 설명하는 순서도;
도 7a 내지 도 7d는 듀얼 카메라로 파노라마 영상을 생성하는 과정을 설명하기 위해 참조되는 도면.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 서로 다른 투영점을 갖도록 배치된 복수의 카메라에서 근거리 3차원 피사체를 촬영한 영상들을 기반으로 하나의 파노라마 영상을 생성하는 방법 및 그 장치를 제안한다.
이하에서는, 본 발명의 다양한 실시 예들에 대하여, 도면을 참조하여 상세히 설명한다.
도 2는 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명에 따른 파노라마 영상 생성 장치(100)는 제1 카메라(110), 제2 카메라(120), 입력부(130), 출력부(140), 메모리(150) 및 파노라마 영상 생성부(160) 등을 포함할 수 있다. 도 2에 도시된 구성요소들은 파노라마 영상 생성 장치를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 파노라마 영상 생성 장치는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
제1 및 제2 카메라(110, 120)는, 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함할 수 있다. 또한, 제1 및 제2 카메라(110, 120)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 상기 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수 있다.
제1 및 제2 카메라(110, 120)는 촬영 모드에서 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 처리된 화상 프레임은 출력부(140)에 표시되거나, 메모리(150)에 저장되거나, 혹은 파노라마 영상 생성부(160)로 입력될 수 있다. 한편, 설명의 편의상, 본 실시 예에서는, 두 대의 카메라(즉, 듀얼 카메라)가 파노라마 영상 생성 장치(100)에 설치되는 것을 예시하고 있으나, 이를 제한하지는 않으며 그 보다 더 많은 개수의 카메라들이 설치될 수도 있다.
파노라마 영상 생성 장치(100)에 구비되는 제1 및 제2 카메라(110, 120)는 입체 영상 또는 파노라마 영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다. 이때, 제1 및 제2 카메라(110, 120)는 서로 다른 투영점을 갖도록 일정 거리만큼 이격되어 고정될 수 있다. 이에 따라, 제1 및 제2 카메라(110, 120)는 투영점을 서로 달리하여 서로 다른 각도에서 근거리 3차원 피사체를 촬영할 수 있다.
입력부(130)는 사용자로부터 정보를 입력받기 위한 사용자 입력부(예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 사용자 입력부는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부를 통해 정보가 입력되면, 입력된 정보에 대응되도록 파노라마 영상 생성 장치(100)의 동작을 제어할 수 있다. 이러한 사용자 입력부는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 파노라마 영상 생성 장치(100)에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다.
출력부(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력부, 및 광 출력부 중 적어도 하나를 포함할 수 있다. 디스플레이부는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 파노라마 영상 생성 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 파노라마 영상 생성 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부는 촬영 모드 또는 음성인식 모드 등에서 메모리(150)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부는 파노라마 영상 생성 장치(100)에서 수행되는 기능과 관련된 다양한 음향 신호를 출력할 수 있다. 광 출력부는 파노라마 영상 생성 장치(100)에서 발생되는 이벤트를 사용자에게 알리기 위한 광 신호를 출력할 수 있다.
메모리(150)는 파노라마 영상 생성 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(150)는 파노라마 영상 생성 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 파노라마 영상 생성 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
파노라마 영상 생성부(160)는 제1 및 제2 카메라(110, 120)로부터 입력된 영상들을 합성하여 하나의 파노라마 영상을 생성하는 동작을 수행할 수 있다. 이러한 파노라마 영상 생성부(160)는 제어부(미도시) 내에 하드웨어 및/또는 소프트웨어의 형태로 구현될 수 있다.
제어부는 메모리(150)에 저장된 응용 프로그램과 관련된 동작과, 통상적으로 파노라마 영상 생성 장치(100)의 전반적인 동작을 제어한다. 나아가 제어부는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 파노라마 영상 생성 장치(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 적어도 하나를 조합하여 제어할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 파노라마 영상 생성부의 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 본 발명에 따른 파노라마 영상 생성부(160, 200)는, 영상 획득부(210), 특징점 추출부(220), 중간영상 생성부(230), 영상 추출부(240), 영상 합성부(250), 및 영상 후처리부(260) 등을 포함할 수 있다. 도 3에 도시된 구성요소들은 파노라마 영상 생성부(200)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 파노라마 영상 생성부는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
영상 획득부(210)는 제1 카메라(110)를 통해 촬영된 제1 영상과 제2 카메라(120)를 통해 촬영된 제2 영상을 획득(또는 수집)하는 동작을 수행할 수 있다. 즉, 영상 획득부(210)는 제1 카메라(110)에서 출력된 제1 영상과, 제2 카메라(120)에서 출력된 제2 영상을 수신하여 해당 영상들을 임시로 저장할 수 있다.
특징점 추출부(220)는 공통 영역(또는 중첩 영역)을 갖는 제1 및 제2 영상들에 대해서 특징점들(Feature points)을 추출하는 동작을 수행할 수 있다. 각각의 영상에서 특징점들이 추출되면, 특징점 추출부(220)는 공통 영역에서 두 영상 간의 특징점들을 상호 매칭시켜 대응점들(corresponding points)을 검출할 수 있다.
특징점 추출부(220)는 SIFT(Scale-invariant feature transform), Affine-SIFT, SUFT(Speeded Up Robust Features), KAZE, Accelerated-KAZE 등과 같은 특징점 추출 및 매칭 알고리즘을 사용하여 대응점들을 검출할 수 있다. 또한, 특징점 추출부(220)는 레이저 또는 프로젝터로 임의로 물체에 미리 결정된 패턴을 방사하여 대응점들을 검출할 수도 있다.
중간영상 생성부(230)는 특징점 추출부(220)에서 추출한 대응점들과 이미지 모핑 알고리즘(Image Morphing Algorism)을 이용하여 제1 영상과 제2 영상의 중간 영상을 생성할 수 있다. 여기서, 중간 영상(intermediate image)이란 제1 카메라(110)와 제2 카메라(120) 사이, 즉 두 카메라의 중간 위치에서 3차원 피사체를 촬영할 때 나타날 것으로 예상되는 영상을 의미한다. 즉, 중간영상 생성부(230)는 제1 영상과 제2 영상을 이용하여 가상의 영상을 생성할 수 있다.
가령, 도 3에 도시된 바와 같이, 중간영상 생성부(230)는 특징점 추출부(220)에서 추출한 대응점들을 서로 연결하여 삼각형이 되도록 이미지를 분할할 수 있다. 이때, 중간영상 생성부(230)는 델로네 삼각분할(Delaunay Triangulation) 방법을 사용하여 해당 이미지를 분할할 수 있다. 상기 델로네 삼각분할 방법은 평면 위의 점들을 삼각형으로 연결하여 공간을 분할할 때, 이 삼각형들의 내각의 최소값이 최대가 되도록 하는 분할을 의미한다.
중간영상 생성부(230)는, 델로네 삼각분할 방법을 사용하여, 삼각형 모양으로 분할된 I 이미지(410)와 J 이미지(420)를 각각 생성할 수 있다. 여기서, I 삼각형(410)의 꼭지점들(A, B, C)은, 제1 영상에서 추출된 대응점들(corresponding points)일 수 있다. 그리고, J 삼각형(420)의 꼭지점들(a, b, c)은 제2 영상에서 추출된 대응점들(corresponding points)일 수 있다.
중간영상 생성부(230)는, 삼각형으로 분할된 I 이미지(410)와 J 이미지(420)에 대해 이미지 모핑 알고리즘을 각각 적용하여 중간 이미지(즉, M 이미지, 430)를 생성할 수 있다.
좀 더 구체적으로, 중간영상 생성부(230)는, 아래 수학식 1을 이용하여 중간 이미지(430)의 좌표 값을 획득할 수 있다.
Figure 112017007338496-pat00001
여기서, M(x, y)는 중간 이미지의 좌표 값, I(x, y)는 제1 이미지의 좌표 값, J(x, y)는 제2 이미지의 좌표 값임.
중간영상 생성부(230)는, 수학식 1의 S 값을 0.5로 설정한 경우, I 이미지(410)의 좌표 값(x, y)과 J 이미지(420)의 좌표 값(x, y)의 중간 좌표 값(x, y)을 얻을 수 있다. 이와 동일한 방식으로, I 삼각형(410)의 세 꼭지점(A, B, C)에 관한 좌표 값과 J 삼각형(420)의 세 꼭지점(a, b, c)에 관한 좌표 값을 수학식 1에 적용하면, 중간영상 생성부(230)는, M 삼각형(430)의 세 꼭지점에 관한 좌표 값을 구할 수 있다.
M 삼각형(430)이 구해지면, 중간영상 생성부(230)는, I 삼각형(410)과 M 삼각형(430) 간의 Homography matrix(HIM)와, J 삼각형(420)과 M 삼각형(430) 간의 Homography matrix(HMJ)를 계산할 수 있다.
중간영상 생성부(230)는, I 삼각형(410)에 HIM 매트릭스를 곱하여 I 삼각형(410)을 M 삼각형 모양으로 변환시킬 수 있고, J 삼각형(420)에 HMJ 매트릭스를 곱하여 J 삼각형(420)을 M 삼각형 모양으로 변환시킬 수 있다.
중간영상 생성부(230)는, M 삼각형 모양으로 변한 I 삼각형과 J 삼각형을 0.5: 0.5의 비율로 중첩할 수 있다(S=0.5). 중간영상 생성부(230)는, 제1 및 제2 영상을 구성하는 모든 삼각형 이미지에 대해 상술한 과정들을 반복할 수 있다. 이와 같은 과정들이 모두 완료되면, 중간영상 생성부(230)는, 이미지 모핑 알고리즘을 통해 획득한 M 삼각형 영상들을 모두 결합(또는 통합)하여 제1 영상과 제2 영상의 중간 영상을 생성할 수 있다.
도 5는 두 카메라 간의 각도(θ)를 변화시키면서 촬영한 영상들에 대해 이미지 모핑 알고리즘을 적용한 결과를 나타내는 도면이다. 즉, 도 5의 (a)는 45도의 각도 차이를 갖는 두 카메라에서 촬영한 영상들에 모핑 알고리즘을 적용한 결과를 나타내고, 도 5의 (b)는 125도의 각도 차이를 갖는 두 카메라에서 촬영한 영상에 모핑 알고리즘을 적용한 결과를 나타낸다.
도 5의 (a)에 도시된 바와 같이, 45도의 각도를 갖도록 배치된 두 카메라(510, 520)를 통해 촬영한 제1 및 제2 영상(515, 525)으로부터 대응점들(Corresponding points)을 추출하여 이미지 모핑 알고리즘을 적용한 결과, 색상 왜곡과 기하학 왜곡이 어느 정도 발생하지만, 중간 영상으로 활용 가능한 영상(530)을 생성할 수 있음을 확인할 수 있다.
마찬가지로, 도 5의 (b)에 도시된 바와 같이, 125도의 각도를 갖도록 배치된 두 카메라(540, 550)를 통해 촬영한 제1 및 제 2 영상(545, 555)으로부터 대응점들(Corresponding points)을 추출하여 이미지 모핑 알고리즘을 적용한 결과, 색상 왜곡과 기하학 왜곡이 어느 정도 발생하지만, 중간 영상으로 활용 가능한 영상(560)을 생성할 수 있음을 확인할 수 있다.
한편, 본 실시 예에서는, 수학식 1의 S 값을 0.5로 설정하여 하나의 중간 영상을 생성하는 것을 예시하고 있으나 이를 제한하지는 않으며, S 값을 0.25, 0.5, 0.75로 설정하여 3개의 중간 영상을 생성할 수 있다. 또한, S 값을 서로 다른 값으로 설정하여, 3개보다 더 많거나 혹은 더 적은 개수의 중간 영상들을 생성할 수 있음은 당업자에게 자명할 것이다.
다시 도 3을 참조하면, 영상 추출부(240)는 제1 영상, 제2 영상, 및 중간 영상에서 필요한 영역을 각각 추출하는 동작을 수행할 수 있다. 가령, 영상 추출부(240)는 왼쪽 영상에서는 왼쪽에서부터 1/3 지점까지의 영상, 오른쪽 영상에서는 오른쪽에서부터 1/3 지점까지의 영상, 중간 영상에서는 중간 지점을 중심으로 1/3에 해당하는 영상을 추출할 수 있다. 여기서, 1/3이라는 구간의 비율은 고정된 것이 아니라, 촬영 환경 또는 상황 등에 따라 변경 가능하도록 구성할 수 있다.
영상 합성부(250)는 제1 영상, 제2 영상, 및 중간 영상에서 각각 추출한 일부 영상들을 자연스럽게 붙이는 동작(즉, 일부 영상들을 합성하는 동작)을 수행할 수 있다. 즉, 영상 합성부(250)는 제1 영상, 제2 영상, 및 중간 영상에서 각각 추출한 일부 영상들을 합성하여 하나의 파노라마 영상을 생성할 수 있다.
영상 후처리부(260)는, 영상 왜곡, 색상 왜곡, 기하학 왜곡 등을 보정하기 위해, 이미지 필터링(Image filtering), 이미지 블렌딩(Image blending)등과 같은 영상 처리를 상기 생성된 파노라마 영상에 대해 수행할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 동작을 설명하는 순서도이다.
파노라마 영상 생성 장치(100)는, 서로 다른 투영점을 갖도록 배치된 제1 및 제2 카메라(110, 120)를 활성화하여 전방에 위치하는 근거리 3차원 피사체를 촬영할 수 있다(S610).
파노라마 영상 생성 장치(100)는, 제1 카메라(110)로부터 근거리 3차원 피사체를 촬영한 제1 이미지를 획득할 수 있고, 제2 카메라(120)로부터 동일한 피사체를 촬영한 제2 이미지를 획득할 수 있다(S620). 여기서, 제1 이미지는 제1 카메라(110)로 근거리 3차원 피사체를 왼쪽 방향에서 촬영한 이미지이고, 제2 이미지는 제2 카메라(120)로 근거리 3차원 피사체를 오른쪽 방향에서 촬영한 이미지일 수 있다.
파노라마 영상 생성 장치(100)는, 제1 이미지 및 제2 이미지로부터 특징점들(Feature points)을 추출하고, 두 이미지 간의 특징점들을 서로 매칭시켜 대응점들(corresponding points)을 검출할 수 있다(S630). 이때, 파노라마 영상 생성 장치(100)는, SIFT, Affine-SIFT, SUFT, KAZE, AKAZE 등과 같은 특징점 추출 및 매칭 알고리즘을 이용하여 복수의 대응점들을 검출할 수 있다.
파노라마 영상 생성 장치(100)는, 상기 검출된 대응점들과 이미지 모핑 알고리즘을 이용하여 제1 이미지와 제2 이미지의 중간 이미지를 생성할 수 있다(S640). 이때, 파노라마 영상 생성 장치(100)는, 하나 이상의 중간 이미지를 생성할 수 있다.
파노라마 영상 생성 장치(100)는, 제1 이미지에서 좌측 영역에 해당하는 제1 이미지 영역을 추출하고, 제2 이미지에서 우측 영역에 해당하는 제2 이미지 영역을 추출하며, 중간 이미지에서 가운데 영역에 해당하는 제3 이미지 영역을 추출할 수 있다(S650). 여기서, 제1 내지 제3 이미지 영역의 비율은 고정된 것이 아니라, 촬영 환경 또는 상황 등에 따라 변경 가능하도록 구성할 수 있다.
파노라마 영상 생성 장치(100)는, 제1 이미지, 제2 이미지, 및 중간 이미지에서 각각 추출한 제1 내지 제3 이미지 영역들을 자연스럽게 붙이는 동작을 수행할 수 있다(S660). 즉, 파노라마 영상 생성 장치(100)는, 제1 내지 제3 이미지 영역들을 합성하여 하나의 파노라마 이미지를 생성할 수 있다.
파노라마 영상 생성 장치(100)는, 상기 생성된 파노라마 이미지에 대해 이미지 필터링(Image filtering), 이미지 블렌딩(Image blending)등과 같은 영상 처리를 수행하여 파노라마 이미지의 색상 왜곡, 기하학 왜곡 및 영상 왜곡 등을 보정할 수 있다(S670).
도 7a 내지 도 7d는 듀얼 카메라로 파노라마 영상을 생성하는 과정을 설명하기 위해 참조되는 도면이다. 이하, 본 실시 예에서, 듀얼 카메라의 전방에 위치하는 근거리 3차원 피사체는 어깨 팬텀 모형임을 가정하여 설명하도록 한다.
도 7a를 참조하면, 파노라마 영상 생성 장치(100)는, 서로 다른 투영점을 갖도록 일정 거리만큼 이격되어 배치되는 제1 카메라(710) 및 제2 카메라(720)를 구비할 수 있다.
파노라마 영상 생성 장치(100)는, 제1 카메라(710)를 통해 어깨 팬텀 모형의 좌측 영역을 촬영한 제1 이미지(730)를 획득할 수 있고, 제2 카메라(720)를 통해 어깨 팬텀 모형의 우측 영역을 촬영한 제2 이미지(740)를 획득할 수 있다.
도 7b를 참조하면, 파노라마 영상 생성 장치(100)는 제1 이미지(730)로부터 제1 특징점들을 추출할 수 있고, 제2 이미지(740)로부터 제2 특징점들을 추출할 수 있다. 그리고, 파노라마 영상 생성 장치(100)는 상기 제1 및 제2 특징점들을 서로 매칭시켜 복수의 대응점들(corresponding points)을 검출할 수 있다.
파노라마 영상 생성 장치(100)는, 상기 검출된 대응점들과 이미지 모핑 알고리즘을 이용하여 제1 이미지(730)와 제2 이미지(740)의 중간 이미지(750)를 생성할 수 있다. 여기서, 중간 이미지(750)는, 제1 카메라(710)와 제2 카메라(720) 사이, 즉 두 카메라(710, 720)의 중간 위치에서 3차원 피사체를 촬영할 때 나타날 것으로 예상되는 영상을 의미한다.
도 7c를 참조하면, 파노라마 영상 생성 장치(100)는, 제1 이미지(730)에서 좌측 영역에 해당하는 제1 이미지 영역(735)을 추출하고, 제2 이미지(740)에서 우측 영역에 해당하는 제2 이미지 영역(745)을 추출하며, 중간 이미지(750)에서 가운데 영역에 해당하는 제3 이미지 영역(755)을 추출할 수 있다. 여기서, 제1 내지 제3 이미지 영역(735, 745, 755)의 비율은, 서로 동일한 비율이거나 혹은 서로 다른 비율로 설정될 수 있다.
도 7d를 참조하면, 파노라마 영상 생성 장치(100)는, 제1 이미지(730), 제2 이미지(740), 및 중간 이미지(750)에서 각각 추출한 제1 내지 제3 이미지 영역들(735, 745, 755)을 자연스럽게 붙이는 동작을 수행할 수 있다. 이에 따라, 파노라마 영상 생성 장치(100)는 제1 이미지(730), 제2 이미지(740), 및 중간 이미지(750)를 기반으로 하나의 파노라마 이미지(760)를 생성할 수 있다.
이후, 파노라마 영상 생성 장치(100)는, 상기 생성된 파노라마 이미지(760)에 대해 이미지 필터링(Image filtering), 이미지 블렌딩(Image blending)등과 같은 영상 처리를 수행할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 파노라마 영상 생성 장치 110: 제1 카메라
120: 제2 카메라 130: 입력부
140: 출력부 150: 메모리
160/210: 파노라마 영상 생성부 210: 영상 획득부
220: 특징점 추출부 230: 중간영상 생성부
240: 영상 추출부 250: 영상 합성부
260: 영상 후처리부

Claims (14)

  1. 서로 다른 투영점을 갖도록 배치된 제1 및 제2 카메라를 이용하여 근거리 3차원 피사체를 촬영하는 단계;
    상기 제1 카메라로부터 제1 이미지를 획득하고, 상기 제2 카메라로부터 제2 이미지를 획득하는 단계;
    상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 단계; 및
    상기 제1 이미지, 제2 이미지 및 중간 이미지에서 각각 추출한 영상들을 기반으로 파노라마 영상을 생성하는 단계를 포함하고,
    상기 중간 이미지 생성 단계는, 상기 제1 이미지와 상기 제2 이미지 간의 대응점들(corresponding points)을 이용하여 상기 제1 및 제2 이미지를 삼각형 모양으로 분할하는 단계와, 상기 분할된 제1 및 제2 이미지에 대해 이미지 모핑 알고리즘(Image Morphing Algorism)을 적용하여 중간 이미지를 생성하는 단계를 포함하며,
    상기 중간 이미지는, 상기 제1 카메라와 상기 제2 카메라 사이의 중간 위치에서 상기 근거리 3차원 피사체를 촬영할 경우 나타날 것으로 예상되는 가상의 이미지임을 특징으로 하는 파노라마 영상 생성 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 생성된 파노라마 영상에 대해 영상 후처리를 수행하는 단계를 더 포함하는 파노라마 영상 생성 방법.
  4. 제1항에 있어서, 상기 중간 이미지 생성 단계는,
    상기 제1 이미지로부터 제1 특징점들(feature points)을 추출하고, 상기 제2 이미지로부터 제2 특징점들을 추출하는 단계를 더 포함하는 파노라마 영상 생성 방법.
  5. 제4항에 있어서, 상기 중간 이미지 생성 단계는,
    상기 제1 및 제2 특징점들을 서로 매칭시켜 상기 대응점들(corresponding points)을 추출하는 단계를 더 포함하는 파노라마 영상 생성 방법.
  6. 제5항에 있어서,
    상기 대응점들은, SIFT(Scale-invariant feature transform) 알고리즘, Affine-SIFT 알고리즘, SUFT(Speeded Up Robust Features) 알고리즘, KAZE 알고리즘, 및 Accelerated-KAZE 알고리즘 중 적어도 하나를 이용하여 검출되는 것을 특징으로 하는 파노라마 영상 생성 방법.
  7. 삭제
  8. 제1항에 있어서, 상기 분할 단계는,
    델로네 삼각분할(Delaunay Triangulation) 방법을 이용하여 상기 제1 및 제2 이미지를 분할하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  9. 제1항에 있어서,
    상기 중간 이미지의 좌표 값은 아래 수학식을 통해 산출되는 것을 특징으로 하는 파노라마 영상 생성 방법.
    [수학식]
    Figure 112018031573417-pat00002

    여기서, M(x, y)는 중간 이미지의 좌표 값, I(x, y)는 제1 이미지의 좌표 값, J(x, y)는 제2 이미지의 좌표 값임.
  10. 제1항에 있어서, 상기 파노라마 영상 생성 단계는,
    상기 제1 이미지에서 추출한 제1 이미지 영역과, 상기 제2 이미지에서 추출한 제2 이미지 영역과, 상기 중간 이미지에서 추출한 제3 이미지 영역을 합성하는 것을 특징으로 하는 파노라마 영상 생성 방법.
  11. 제1 카메라로부터 제1 이미지를 획득하고, 상기 제1 카메라와 투영점이 다른 제2 카메라로부터 제2 이미지를 획득하는 영상 획득부;
    상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 중간영상 생성부;
    상기 제1 이미지에서 제1 이미지 영역을 추출하고, 상기 제2 이미지에서 제2 이미지 영역을 추출하며, 상기 중간 이미지에서 제3 이미지 영역을 추출하는 영상 추출부; 및
    상기 제1 내지 제3 이미지 영역들을 합성하여 파노라마 영상을 생성하는 영상 합성부를 포함하고,
    상기 중간영상 생성부는, 상기 제1 이미지와 상기 제2 이미지 간의 대응점들(corresponding points)을 이용하여 상기 제1 및 제2 이미지를 삼각형 모양으로 분할하고, 상기 분할된 제1 및 제2 이미지에 대해 이미지 모핑 알고리즘(Image Morphing Algorism)을 적용하여 중간 이미지를 생성하며,
    상기 중간 이미지는, 상기 제1 카메라와 상기 제2 카메라 사이의 중간 위치에서 근거리 3차원 피사체를 촬영할 경우 나타날 것으로 예상되는 가상의 이미지임을 특징으로 하는 파노라마 영상 생성 장치.
  12. 제11항에 있어서,
    상기 제1 이미지로부터 제1 특징점들을 추출하고, 상기 제2 이미지로부터 제2 특징점들을 추출하는 특징점 추출부를 더 포함하는 파노라마 영상 생성 장치.
  13. 제11항에 있어서,
    상기 생성된 파노라마 영상에 대해 이미지 블렌딩을 수행하는 영상 후처리부를 더 포함하는 파노라마 영상 생성 장치.
  14. 제1항, 제3항 내지 제6항, 및 제8항 내지 제10항 중 어느 하나의 항에 따른 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020170009947A 2017-01-20 2017-01-20 파노라마 영상 생성 방법 및 그 장치 KR101868057B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170009947A KR101868057B1 (ko) 2017-01-20 2017-01-20 파노라마 영상 생성 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170009947A KR101868057B1 (ko) 2017-01-20 2017-01-20 파노라마 영상 생성 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101868057B1 true KR101868057B1 (ko) 2018-06-18

Family

ID=62765448

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170009947A KR101868057B1 (ko) 2017-01-20 2017-01-20 파노라마 영상 생성 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101868057B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220025466A (ko) * 2020-08-24 2022-03-03 로지포커스 주식회사 파노라마 영상 기록 기능이 있는 파렛트 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100015141A (ko) * 2008-08-04 2010-02-12 에이알비전 (주) 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치
KR20150118795A (ko) * 2014-04-15 2015-10-23 한국과학기술원 단일 이미지 표현을 이용한 다시점 영상의 렌더링 속도 및 편집 능률 향상을 위한 방법
KR101614247B1 (ko) * 2015-05-20 2016-04-29 주식회사 와이즈오토모티브 파노라마 영상의 접합면 표시장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100015141A (ko) * 2008-08-04 2010-02-12 에이알비전 (주) 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치
KR20150118795A (ko) * 2014-04-15 2015-10-23 한국과학기술원 단일 이미지 표현을 이용한 다시점 영상의 렌더링 속도 및 편집 능률 향상을 위한 방법
KR101614247B1 (ko) * 2015-05-20 2016-04-29 주식회사 와이즈오토모티브 파노라마 영상의 접합면 표시장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220025466A (ko) * 2020-08-24 2022-03-03 로지포커스 주식회사 파노라마 영상 기록 기능이 있는 파렛트 장치 및 방법
KR102472318B1 (ko) * 2020-08-24 2022-12-01 로지포커스 주식회사 파노라마 영상 기록 기능이 있는 파렛트 장치 및 방법

Similar Documents

Publication Publication Date Title
JP4642723B2 (ja) 画像生成装置および画像生成方法
US20140118557A1 (en) Method and apparatus for providing camera calibration
US10785469B2 (en) Generation apparatus and method for generating a virtual viewpoint image
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
JP2016213808A (ja) カメラ選択方法及び映像配信システム
JP2011243205A (ja) 映像処理システムおよびその方法
CN106296589B (zh) 全景图像的处理方法及装置
KR101723210B1 (ko) 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법
JP7080103B2 (ja) 撮像装置、その制御方法、および、プログラム
JP5477777B2 (ja) 画像取得装置
JP6374754B2 (ja) 画像合成装置及びそのプログラム
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
KR102082277B1 (ko) 파노라마 영상 생성 방법 및 그 장치
JP2010181826A (ja) 立体画像形成装置
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム
JP2017199958A (ja) 撮像装置、その制御方法、および制御プログラム
KR101868057B1 (ko) 파노라마 영상 생성 방법 및 그 장치
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
EP3665656A1 (en) Three-dimensional video processing
Mori et al. An overview of augmented visualization: observing the real world as desired
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
US11825191B2 (en) Method for assisting the acquisition of media content at a scene
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
KR101983727B1 (ko) 증강현실 가상 스튜디오 시스템 및 그 구현 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant