KR101639275B1 - 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 및 이를 통한 자동 영상 분석 방법 - Google Patents

다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 및 이를 통한 자동 영상 분석 방법 Download PDF

Info

Publication number
KR101639275B1
KR101639275B1 KR1020150024002A KR20150024002A KR101639275B1 KR 101639275 B1 KR101639275 B1 KR 101639275B1 KR 1020150024002 A KR1020150024002 A KR 1020150024002A KR 20150024002 A KR20150024002 A KR 20150024002A KR 101639275 B1 KR101639275 B1 KR 101639275B1
Authority
KR
South Korea
Prior art keywords
image
unit
input
degree
rendering
Prior art date
Application number
KR1020150024002A
Other languages
English (en)
Inventor
박구만
전지혜
양지희
장지웅
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020150024002A priority Critical patent/KR101639275B1/ko
Application granted granted Critical
Publication of KR101639275B1 publication Critical patent/KR101639275B1/ko

Links

Images

Classifications

    • H04N13/0282—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • H04N13/0242—

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명에서는 영상 표출 기법은 2차원을 기반으로 발전하고 있지만, 3차원 표출 기법에 대해서는 아직 미미한 실정이고, 3D 입체 멀티미디어에서의 시야각, 화질 등에서 한계가 있어 이를 극복하기 위한 연구가 절실하고, 입체영상을 구현하는데 있어서 표출영상의 다시점 허용각에 대한 한계점을 극복하고자, 입력 영상 획득부(100), 영상 허가 인터페이스 부(200), 다중 고속화 처리 부(300), 자동 영상 분석 부(400), 360도 렌더링 처리 부(500), 유저인터페이스 부(600)로 구성되어, 디지털 방송 스튜디오 환경 하에서 필드테스트를 통한 검증된 기술을 확보할 수 있고, 시청자 위치와 요구각도, 공간배치 환경 등을 고려한 다양한 자유시점 영상 및 입체음향 표출기술이 개발됨으로써, 시청자와 교감하는 맞춤형 인터랙티브 방송기술의 고품질화에 기여할 수 있는 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 기술 및 그 방법을 제공하는데 그 목적이 있다.

Description

다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 및 이를 통한 자동 영상 분석 방법{THE METHOD OF 360 DEGREES SPHERICAL RENDERING DISPLAY AND AUTO VIDEO ANALYTICS USING REAL-TIME IMAGE ACQUISITION CAMERAS}
본 발명에서는 실시간으로 영상 획득이 가능한 다중 카메라를 사용하여 한 대의 카메라 영상을 상부 반구형으로 표출하고, 다른 한 대의 카메라 영상을 하부 반구형으로 표출하여, 두 반구형의 영상을 조합하여 360도 구형의 좌표계로 표출하고, 구형 영상을 컴퓨터 입력 장치에 의해 좌회전, 우회전, 상회전, 하회전, 줌-인, 줌-아웃 등 자유자재로 제어할 수 있는 기술 및 방법에 관한 것이다.
최근 국내에서는 실감미디어 산업 분야를 선점하기 위해 정부 차원에서의 적극적인 투자 및 정책에 대한 지원을 아끼지 않고 있으며 실감미디어의 기술 수준은 해외의 선진 국가에 비교하였을 때 대등한 기술 수준을 구현하고 있다.
실감미디어 방송을 위하여 입체 영상 및 음향 시스템은 중요한 연구 분야로 고려되고 있다.
특히, 그 중에서 영상 시스템은 영상 품질에 대한 부분이 급속도로 발전하고 있지만 그럼에도 불구하고 아직까지 실감미디어 표출에 대한 기술적 제시는 많지 않은 편이며 상용화되지 못하고 연구 차원에서 머무르는 경우가 많다.
또한 영상 표출 기법은 2차원을 기반으로 발전하고 있지만, 3차원 표출 기법에 대해서는 아직 미미한 실정이고, 3차원 영상에서 지능형 영상 분석까지 할 수 있는 기술을 소개하는 국내 업체가 없다.
특히, 3D 입체 멀티미디어에서의 시야각, 화질 등에서 한계가 있어 이를 극복하기 위한 연구가 절실하고, 입체영상을 구현하는데 있어서 표출영상의 다시점 허용각에 대한 한계점이 있어 이를 극복하기 위한 연구가 필요하다.
국내등록특허공보 제10-0590025호
상기의 목적을 달성하기 위해 본 발명에서는 다중 영상 획득 카메라를 활용하여 입력 영상을 받아오고, 받아온 영상을 입체 영상으로 표출하기 위해 한 대의 카메라로 받은 입력을 상부 반구형으로 표출하고, 다른 한 대의 카메라로 받은 입력영상을 하부 반구형으로 표출하여, 두 개의 반구 영상들을 조합하여 한 개의 구형 영상으로 실시간 영상을 입체감 있게 표출하고, 사용자가 원하는 곳의 영상을 실시간으로 모니터링 할 수 있도록 컴퓨터 입력 장치 제어에 따라 구형 영상의 상, 하, 좌, 우, 줌 등에 대한 제어를 자유 시점으로 관찰할 수 있도록 해 주고, 영상 내에서 지능형 영상 분석이 가능한 장치를 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치는
다중 카메라를 통해 영상을 렌즈 모듈에 의해 수집, 획득하는 입력 영상 획득부(100)와,
카메라의 보안 모드 및 영상 압축/해제에 대한 전반적인 연결 및 설정을 하는 영상 허가 인터페이스부(200)와,
입력된 영상의 사이즈 및 프레임 수에 따라 표출변형시켜주고, 고해상도 영상 2개를 입력으로 받았을 경우 실시간 처리를 위해 고속화 연산을 수행할 수 있도록 다중고속화 엔진을 구동시키는 다중 고속화 처리부(300)와,
입력된 영상을 기반으로 자동적으로 지능형 영상 분석시키는 자동 영상 분석부(400)와,
360도 렌더링 처리 부(500)는 입력 영상을 360도 구형으로 표출하기 위해 상부 반구형, 하부 반구형, 그리고 두 반구형 영상을 조합하여 하나의 구형으로 표출시키는 360도 렌더링 처리부(500)와,
상기 360도 렌더링 처리 부(500)에 의해 생성된 3차원 구형 영상을 사용자가 원하는 대로 자유 시점의 영상을 볼 수 있도록 360도 영상을 상, 하, 좌, 우, 줌 기능을 수행할 수 있도록 처리해주는 유저인터페이스부(600)로 구성됨으로서 달성된다.
또한, 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치를 통한 자동 영상 분석 방법은
입력 영상 획득부(100)를 통해 다중 카메라를 통해 영상을 렌즈 모듈에 의해 수집, 획득하는 단계(S100)와,
영상 허가 인터페이스부(200)를 통해 카메라의 보안 모드 및 영상 압축/해제에 대한 전반적인 연결 및 설정을 하는 단계(S200)와,
다중 고속화 처리부(300)를 통해 입력된 영상의 사이즈 및 프레임 수에 따라 표출변형시켜주고, 고해상도 영상 2개를 입력으로 받았을 경우 실시간 처리를 위해 고속화 연산을 수행할 수 있도록 하는 다중고속화 엔진을 구동시키는 단계(S300)와,
자동 영상 분석부(400)를 통해 입력된 영상을 기반으로 자동적으로 지능형 영상 분석시키는 단계(S400)와,
360도 렌더링 처리부(500)를 통해 입력 영상을 360도 구형으로 표출하기 위해 상부 반구형, 하부 반구형, 그리고 두 반구형 영상을 조합하여 하나의 구형으로 표출시키는 단계(S500)와,
유저인터페이스부(600)를 통해 360도 렌더링 처리 부(500)에 의해 생성된 3차원 구형 영상을 사용자가 원하는 대로 자유 시점의 영상을 볼 수 있도록 360도 영상을 상, 하, 좌, 우, 줌 기능을 수행할 수 있도록 처리해주는 단계(S600)로 구성됨으로서 달성된다.
이상에서 설명한 바와 같이, 본 발명에서는 시청자 위치와 요구각도, 공간배치 환경 등을 고려한 다양한 자유시점 영상 및 입체음향 표출기술이 개발됨으로써, 시청자와 교감하는 맞춤형 인터랙티브 방송기술의 고품질화에 기여할 수 있고, 디지털 방송 스튜디오 환경 하에서 필드테스트를 통한 검증된 기술을 확보할 수 있으며, 시청자 위치와 요구각도, 공간배치 환경 등을 고려한 다양한 자유시점 영상 및 입체음향 표출기술이 개발됨으로써, 시청자와 교감하는 맞춤형 인터랙티브 방송기술의 고품질화에 기여할 수 있고, 혁신적인 자유시점 영상 및 음향 기술의 창의적 기법을 제시하고 연동 및 통합화를 통한 시너지 기술을 발굴/제시할 수 있는 좋은 효과가 있다.
도 1은 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 중 입력 영상 획득부(100)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 중 영상허가인터페이스부(200)의 구성요소를 도시한 구성도,
도 4는 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 중 다중고속화처리부(300)의 구성요소를 도시한 구성도,
도 5는 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 중 자동영상분석부(400)의 구성요소를 도시한 구성도,
도 6은 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 중 360도 렌더링처리부(500)를 도시한 구성도,
도 7은 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 중 유저인터페이스부(600)를 도시한 구성도,
도 9는 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치를 통한 자동 영상 분석 방법의 동작과정을 도시한 순서도.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 입력 영상 획득부(100), 영상 허가 인터페이스부(200), 다중 고속화 처리부(300), 자동 영상 분석 부(400), 360도 렌더링 처리부(500), 유저인터페이스부(600)로 구성된다.
먼저, 본 발명에 따른 입력 영상 획득부(100)에 관해 설명한다.
상기 입력 영상 획득부(100)은 다중 카메라를 통해 영상을 렌즈 모듈에 의해 수집, 획득하는 역할을 한다.
이는 도 2에서 도시한 바와 같이, 상부반구형입력영상획득부(110), 하부반구형입력영상획득부(120), 영상데이터출력부(130)로 구성된다.
상기 상부반구형입력영상획득부(110)는 화각이 넓은 CMOS나 CCD소자를 사용하여 입력영상을 획득시키는 역할을 한다.
이는 정확한 좌표 표출 및 광각 영상에 대한 파노라마 표출도 함께하기 획득되도록 구성된다.
상기 하부반구형입력영상획득부(120)는 화각이 넓은 CMOS나 CCD소자를 사용하여 입력영상을 획득시키는 역할을 한다.
이는 구형 영상으로 표출 시 화각에 의한 문제점이나 오류율을 최소화시키도록 구성된다.
상기 영상데이터출력부(130)는 상부반구형입력영상획득부 및 하부반구형입력영상획득부에서 획득한 영상데이터를 영상허가인터페이스부로 전달시키는 역할을 한다.
다음으로, 본 발명에 따른 영상 허가 인터페이스 부(200)에 관해 설명한다.
상기 영상 허가 인터페이스 부(200)는 카메라의 보안 모드 및 영상 압축/해제에 대한 전반적인 연결 및 설정을 하는 역할을 한다.
이는 도 3에서 도시한 바와 같이, 영상코덱처리부(210), 카메라보안설정처리부(220)로 구성된다.
상기 영상코덱처리부(210)는 프로그램적으로 입력 획득 장치의 영상의 코덱을 판별하여 영상 표출시키는 역할을 한다.
이는 입력 장치의 영상 출력과 관련한 해당 라이브러리를 설치한 후 라이브러리의 정보를 통해 영상에 대한 프로세싱을 진행하도록 구성된다.
상기 카메라보안설정처리부(220)는 입력 영상 획득부(100)로부터 얻어진 영상을 보고 처리하기 전에, 실제로 카메라에 설정된 보안을 체크하는 역할을 한다.
이는 허가되지 않은 사용자가 함부로 영상을 열람하거나 그 카메라에 대한 정보를 불법적으로 수정하지 못하게 하기 위함이다.
또한 본 시스템에서 처리하고자 하는 영상 처리에서도 허가받은 사용자만이 정당하게 사용할 수 있도록 인증키입력방식으로 구성된다.
다음으로, 본 발명에 따른 다중 고속화 처리부(300)에 관해 설명한다.
상기 다중 고속화 처리부(300)는 입력된 영상의 사이즈 및 프레임 수에 따라 표출변형시켜주고, 고해상도 영상 2개를 입력으로 받았을 경우 실시간 처리를 위해 고속화 연산을 수행할 수 있도록 다중고속화 엔진을 구동시키는 역할을 한다.
이는 도 4에 도시한 바와 같이, 영상사이즈필터부(310), 고속화계산처리부(320)로 구성된다.
첫째, 본 발명에 따른 영상사이즈필터부(310)에 관해 설명한다.
상기 영상사이즈필터부(310)는 획득된 영상의 사이즈 및 프레임 수를 조절하여 실시간으로 표출시키는 역할을 한다.
이는 실시간 그래픽 처리시 속도가 저하되는 것을 방지하고, 계산량을 줄여 연산 속도에 부하를 최소화시키도록 구성된다.
둘째, 본 발명에 따른 고속화계산처리부(320)에 관해 설명한다.
상기 고속화계산처리부(320)는 영상사이즈필터부(310)로부터 전달된 영상을 실제로 반구형, 구형화하기 위해 다중 쓰레드 처리 및 그래픽 전용 라이브러리를 사용하여 계산을 고속화시키는 역할을 한다.
이는 CPU 점유율을 낮추면서 부하가 걸리는 부분에 대해 속도를 우선적으로 개선시키도록 구성된다.
다음으로, 본 발명에 따른 자동 영상 분석 부(400)에 관해 설명한다.
상기 자동 영상 분석 부(400)는 입력된 영상을 기반으로 자동적으로 지능형 영상 분석시키는 역할을 한다.
이는 도 5에 도시한 바와 같이, 영상출력변환부(410), 관심영역검출부(420), 영상분석유형선택부(430), 영상분석배제부(440), 분석알고리즘선택부(450), 분석결과출력부(460)로 구성된다.
첫째, 본 발명에 따른 영상출력변환부(410)에 관해 설명한다.
상기 영상출력변환부(410)는 획득된 영상이 사용한 렌즈 모듈에 따라 전부 다른 유형으로 입력되는 것을 자동 영상 분석이 가능한 정형화된 영상으로 변환시키는 역할을 한다.
이는 어안렌즈 카메라 또는 전방위 카메라를 사용한 경우에 영상의 입력이 일반적인 사각 프레임 영상이 아닌 원형 프레임 영상으로 나올 수 있도록 구성된다.
즉, 지능형 영상 분석을 표시하였을 때 좌표값 및 분석이 용이하지 않기 때문에 사각 프레임 또는 파노라마 형태의 영상으로 변환, 출력하는 것이 필요하기 때문이다.
둘째, 본 발명에 따른 관심영역검출부(420)에 관해 설명한다.
상기 관심영역검출부(420)는 영상출력변환부(410)에 의해 전달된 영상에서 지능형 영상 분석을 원하는 지역을 관심영역으로 설정시키는 역할을 한다.
이는 다양한 관심영역별 다양한 영상 분석 유형을 선택하여 다중 실행이 가능하도록 하기 위함이다.
또한, 한 영상 내에서도 필요한 기능이 위치에 따라 서로 상이할 수 있기 때문에 그런 문제점을 해소하도록 구성되는데, 본 발명에서는 최소 3개 이상이 구성된다.
셋째, 본 발명에 따른 영상분석유형선택부(430)에 관해 설명한다.
상기 영상분석유형선택부(430)는 설정한 영상 분석 영역에 영상 분석 유형을 수행할 것인지를 사용자가 결정시키는 역할을 한다.
이는 영역별 다양한 영상 분석 기능을 수행하도록 구성된다.
즉, 기능별로 필요한 선택 항목까지 설정하도록 구성된다.
영상분석기능에는 침입 검출모드, 양방향 이동 객체 계수모드, 객체 추적모드가 포함되어 구성된다.
넷째, 본 발명에 따른 영상분석배제부(440)에 관해 설명한다.
상기 영상분석배제부(440)는 영상 내에서 불필요한 부분에 대해 배제시키기 위해 다각형으로 영역을 그려서 지능형 영상 분석 기능의 수행을 비활성화시키는 역할을 한다.
이는 영상 내에서 흔들리는 물결이나 나뭇잎 등은 객체 정보를 획득함에 있어서 방해 요소가 되기 때문에 이러한 영역을 비활성화시킨다.
즉, 다각형의 모서리 꼭지점을 입력 장치에 의해 클릭하여 표시한 후 첫 꼭지점과 마지막 꼭지점을 연결해서 그려진 다각형 내부를 비활성화시킨다.
다섯째, 본 발명에 따른 분석알고리즘선택부(450)에 관해 설명한다.
상기 분석알고리즘선택부(450)는 객체 추적 또는 분석을 통해 특정객체를 추출해내는 역할을 한다.
이는 도 6에 도시한 바와 같이, 시프트알고리즘엔진부(451), 란색알고리즘엔진부(452), 직접선형변환부(453)로 구성된다.
상기 시프트(SIFT)알고리즘엔진부(451)는 다시점영상 중에서 크기, 회전, 조명에 관한 불변인 특징을 추출시키는 역할을 한다.
이는 추출된 특징점들 사이의 대응관계를 찾아 일치시키도록 구성된다.
즉, 리딩한 적어도 하나 이상의 영상 이미지에 시프트 알고리즘을 적용하여 제1 후보 특징점을 생성하고, 상기 적어도 하나 이상의 영상 이미지를 다운사이징하여 적어도 하나 이상의 영상 이미지를 출력할 수 있다.
상기 리딩된 영상 이미지에 대해서 미리 정해진 다양한 표준편차 계수 값의 가우시안 필터를 적용하여 다양한 가우시안 영상들을 생성할 수 있다.
상기 란색(RANSAC)알고리즘엔진부(452)는 부정확하게 일치된 특징점들(Outlier)을 제거시키는 역할을 한다.
이는 호모그래피 매트릭스를 생성시킨다.
본 발명에 따른 란색(RANSAC)알고리즘엔진부는 전체의 대응점 후보들 중에서 호모그래피 매트릭스를 결정하는데 반드시 필요한 최소한의 대응점을 랜덤하게 샘플링하면서 반복적인 과정을 통해 최적의 대응점을 연산시킨다.
상기 란색(RANSAC)알고리즘엔진부는 다음과 같은 과정을 거쳐 수행된다.
첫째, 전체 대응점 후보들로부터 N개의 샘플 대응점을 획득한다.
둘째, 획득한 샘플 대응점을 참값으로 가정하고, 호모그래피 매트릭스를 예측한다.
셋째, 예측된 호모그래피 매트릭스가 옳은지 여부를 판단한다.
넷째, 참값이 아닐 경우에 첫째에서 세째까지의 과정을 반복한다.
상기 직접선형변환부(453)는 일치하는 특징점들 사이에서 직접선형변환식을 이용하여 최소의 오류를 갖는 호모그래피를 추정하여 영상정합시키는 역할을 한다.
여섯째, 본 발명에 따른 분석결과출력부(460)에 관해 설명한다.
상기 분석결과출력부(460)는 분석결과를 영상과 영상 내 색상으로 표출시키는 역할을 한다.
이는 색상보정부(461)가 포함되어 구성된다.
상기 색상보정부(461)는 색상보정을 통해 영상을 정합한 다음 색상 톤의 차이를 최소화시키는 역할을 한다.
이로 인해, 하나의 카메라로 영상을 촬영한 듯한 느낌을 받는 실감한 영상을 생성시킬 수가 있다.
상기 분석결과출력부는 검출되는 객체 및 결과는 색상 기반의 사각형 박스로 표시하여 사용자가 쉽게 파악할 수 있게 하고, 검출된 객체의 좌표 및 사이즈 데이터를 로그로 표시해준다.
이는 지능형 영상 분석의 수행에 대해 육안으로 확인할 수 있게 하기 위함이다.
다음으로, 본 발명에 따른 360도 렌더링 처리 부(500)에 관해 설명한다.
상기 360도 렌더링 처리 부(500)는 입력 영상을 360도 구형으로 표출하기 위해 상부 반구형, 하부 반구형, 그리고 두 반구형 영상을 조합하여 하나의 구형으로 표출시키는 역할을 한다.
이는 도 7에 도시한 바와 같이, 영상반구형표출처리부(510), 자유시점구형조합부(520)로 구성된다.
상기 영상반구형표출처리부(510)는 2대의 카메라로부터 획득한 입력 영상 각각에 대해 상부반구형 영상과 하부반구형 영상으로 그래픽컬적으로 렌더링해 주는 역할을 한다.
이는 획득된 2차원 영상을 3차원 영상 좌표계로 변환하는 함수를 사용하게 되며, 실시간으로 표출할 수 있도록 한다.
즉, 상부 반구형 영상, 하부 반구형 영상들은 해당하는 위치로 정확히 렌더링되어야 하며, 각 상부 반구형 영상, 하부 반구형 영상의 정렬은 변환행렬을 통해서 배치된다.
변환행렬은 수동 또는 자동으로 얻어지는 특징점 일치관계로부터 연산된다.
안정적인 변환 계수의 계산은 영상들의 정렬을 강건하게 한다.
N개의 이미지가 입력으로 들어오게 되었을 경우, 이웃하는 영상 사이에서 N-1개의 변환이 계산된다.
첫번째 영상과 N번째 영상 사이의 관계는 N-1개의 변환이 누적 계산되어야 한다.
변환 과정이 다음의 수학식 1과 같이 표현된다.
Figure 112015016716023-pat00001
여기서, Ii는 i번째 영상을 의미하고,
Figure 112015016716023-pat00002
은 영상 Ii의 변형된 영상을 나타낸다.
여기서, M은 이미지를 변환시키는 8개의 미지수로 구성된 변환 행렬을 나타낸다.
입력으로 주어진 이미지로부터 8개의 미지수를 가진 변환 M을 계산하기 위하여 이웃하는 두 이미지 사이의 매칭 관계를 구하는 과정이 필요하다.
영상 I에서 특징점 p(x,y)와 영상 I'에서의 특징점 p'(x',y')이 서로 매칭관계에 있다고 할 때, p와 p'는 p'=Mp의 관계를 갖는다.
이때, M의 계산을 위하여 5개 이상의 특징점의 대응관계가 필요하다.
여러 개의 특징점에서 M을 계산하기 위하여 선형 방정식 형태로 변환 식은 다음의 수학식 2와 같은 형태로 표현된다.
Figure 112015016716023-pat00003
이와 같은 과정을 거쳐 계산된 변환 M을 통해
Figure 112015016716023-pat00004
는 이웃하는 이전 영상
Figure 112015016716023-pat00005
로 병합할 수 있고, 변환의 누적 연산을 통하여 기준 이미지로 병합할 수가 있다.
이처럼, 변환계수를 연산하고, 이를 통해 새롭게 영상들을 위치시키면 각 행별로 영상들이 새롭게 정렬된다.
정렬된 각 행의 영상들은 수평으로 인접한 영상들과 특징 점을 찾고 변환계수를 계산하여 병합 작업을 한다.
수평으로 인접되어 있는 영상들 사이의 병합한 후, 수직 방향의 인접 이미지의 병합이 이루어진다.
병합을 마치고 나면 최종적으로, 상부 반구형 영상과 하부 반구형 영상이 하나의 영상으로 생성된다.
상기 자유시점구형조합부(520)는 영상반구형표출처리부(510)로부터 입력 받은 2개의 반구형 영상에 대해 구형으로 조합하여 360도 렌더링을 하는 역할을 한다.
이는 상부반구형 영상과 하부반구형 영상의 경계의 뚜렷함을 최소화하여 매핑하고, 사용자가 실시간으로 구형 영상을 자유자재로 볼 수 있도록 한다.
즉, 영상반구형표출처리부(510)는 입력 받은 2개의 반구형 영상에 대해 구형으로 조합하여 완전한 360도 파노라마 영상인 자유시점구형으로 생성되기 위해 크기를 재조정하도록 구성된다.
완전한 360도 구형 파노라마 영상은 너비와 높이가 2대1인 비율을 가지는 영상이다.
너비는 360도의 범위를 가지고 높이는 180도의 범위를 가지기 때문에 2대1의 비율을 가지게 된다.
모든 병합 작업을 마친 최종 스티칭 영상을 2대1의 비율로 만들기 위해서 영상의 중간선을 기준으로 크기를 조정한다.
크기를 조정할 때에 영상의 잘림으로 인해서 생기는 오차는 각 행의 첫번째 영상을 마지막 영상 다음에 덧붙임으로서 해결하도록 구성된다.
다음으로, 본 발명에 따른 유저인터페이스부(600)에 관해 설명한다.
상기 유저인터페이스부(600)는 상기 360도 렌더링 처리 부(500)에 의해 생성된 3차원 구형 영상을 사용자가 원하는 대로 자유 시점의 영상을 볼 수 있도록 360도 영상을 상, 하, 좌, 우, 줌 기능을 수행할 수 있도록 처리해주는 역할을 한다.
이는 도 8에 도시한 바와 같이, 입력장치이벤트처리부(610), 이벤트좌표영상출력부(620)로 구성된다.
상기 입력장치이벤트처리부(610)는 마우스, 키보드 등과 같은 컴퓨터에 연결된 입력 장치를 통하여 발생시키는 이벤트에 따라 구형 영상의 회전, 줌 등의 유저 인터페이스 제어를 가능하게끔 하는 역할을 한다.
이는 사용자에게 자유 시점의 영상을 실시간으로 제공한다는 편의성을 갖는다.
상기 이벤트좌표영상출력부(620)는 입력장치이벤트처리부(610)에 의해 수행되는 상황을 영상에 매핑하여 해당하는 좌표 영상을 출력하거나 줌인, 줌아웃된 영상을 표출하는 역할을 한다.
이하, 본 발명에 따른 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치를 통한 자동 영상 분석 방법의 구체적인 동작과정에 관해 설명한다.
먼저, 도 9에 도시한 바와 같이, 입력 영상 획득부(100)를 통해 다중 카메라를 통해 영상을 렌즈 모듈에 의해 수집, 획득한다(S100).
다음으로, 영상 허가 인터페이스부(200)를 통해 카메라의 보안 모드 및 영상 압축/해제에 대한 전반적인 연결 및 설정한다(S200).
다음으로, 다중 고속화 처리부(300)를 통해 입력된 영상의 사이즈 및 프레임 수에 따라 표출변형시켜주고, 고해상도 영상 2개를 입력으로 받았을 경우 실시간 처리를 위해 고속화 연산을 수행할 수 있도록 다중고속화 엔진을 구동시킨다(S300).
다음으로, 자동 영상 분석부(400)를 통해 입력된 영상을 기반으로 자동적으로 지능형 영상 분석시킨다(S400).
다음으로, 360도 렌더링 처리부(500)를 통해 입력 영상을 360도 구형으로 표출하기 위해 상부 반구형, 하부 반구형, 그리고 두 반구형 영상을 조합하여 하나의 구형으로 표출시킨다(S500).
끝으로, 유저인터페이스부(600)를 통해 360도 렌더링 처리 부(500)에 의해 생성된 3차원 구형 영상을 사용자가 원하는 대로 자유 시점의 영상을 볼 수 있도록 360도 영상을 상, 하, 좌, 우, 줌 기능을 수행시킨다(S600).
1 : 360도 구형 렌더링 영상 표출 장치
100 : 입력영상획득부 200 : 영상허가인터페이스부
300 : 다중고속화처리부 400 : 자동영상분석부
500 : 360도렌더링처리부 600 : 유저인터페이스부

Claims (7)

  1. 다중 카메라를 통해 영상을 렌즈 모듈에 의해 수집, 획득하는 입력 영상 획득부(100)와,
    카메라의 보안 모드 및 영상 압축/해제에 대한 전반적인 연결 및 설정을 하는 영상 허가 인터페이스부(200)와,
    입력된 영상의 사이즈 및 프레임 수에 따라 표출변형시켜주고, 고해상도 영상 2개를 입력으로 받았을 경우 실시간 처리를 위해 고속화 연산을 수행할 수 있도록 다중고속화 엔진을 구동시키는 다중 고속화 처리부(300)와,
    입력된 영상을 기반으로 자동적으로 지능형 영상 분석시키는 자동 영상 분석부(400)와,
    360도 렌더링 처리 부(500)는 입력 영상을 360도 구형으로 표출하기 위해 상부 반구형, 하부 반구형, 그리고 두 반구형 영상을 조합하여 하나의 구형으로 표출시키는 360도 렌더링 처리부(500)와,
    상기 360도 렌더링 처리 부(500)에 의해 생성된 3차원 구형 영상을 사용자가 원하는 대로 자유 시점의 영상을 볼 수 있도록 360도 영상을 상, 하, 좌, 우, 줌 기능을 수행할 수 있도록 처리해주는 유저인터페이스부(600)로 구성되는 것을 특징으로 하는 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치.
  2. 제1항에 있어서, 상기 입력 영상 획득부(100)는
    화각이 넓은 CMOS나 CCD소자를 사용하여 입력영상을 획득시키는 상부반구형입력영상획득부(110)와,
    화각이 넓은 CMOS나 CCD소자를 사용하여 입력영상을 획득시키는 하부반구형입력영상획득부(120)와,
    상부반구형입력영상획득부 및 하부반구형입력영상획득부에서 획득한 영상데이터를 영상허가인터페이스부로 전달시키는 영상데이터출력부(130)로 구성되는 것을 특징으로 하는 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치.
  3. 제1항에 있어서, 상기 영상 허가 인터페이스부(200)는
    프로그램적으로 입력 획득 장치의 영상의 코덱을 판별하여 영상 표출시키는 영상코덱처리부(210)와,
    입력 영상 획득부(100)로부터 얻어진 영상을 보고 처리하기 전에, 실제로 카메라에 설정된 보안을 체크하는카메라보안설정처리부(220)로 구성되는 것을 특징으로 하는 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치.
  4. 제1항에 있어서, 상기 다중 고속화 처리부(300)는
    획득된 영상의 사이즈 및 프레임 수를 조절하여 실시간으로 표출시키는 영상사이즈필터부(310)와,
    영상사이즈필터부(310)로부터 전달된 영상을 실제로 반구형, 구형화하기 위해 다중 쓰레드 처리 및 그래픽 전용 라이브러리를 사용하여 계산을 고속화시키는 고속화계산처리부(320)로 구성되는 것을 특징으로 하는 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치.
  5. 제1항에 있어서, 상기 360도 렌더링 처리부(500)는
    획득된 영상이 사용한 렌즈 모듈에 따라 전부 다른 유형으로 입력되는 것을 자동 영상 분석이 가능한 정형화된 영상으로 변환시키는 영상출력변환부(410)와,
    영상출력변환부(410)에 의해 전달된 영상에서 지능형 영상 분석을 원하는 지역을 관심영역으로 설정시키는 관심영역검출부(420)와,
    설정한 영상 분석 영역에 영상 분석 유형을 수행할 것인지를 사용자가 결정시키는 영상분석유형선택부(430)와,
    영상 내에서 불필요한 부분에 대해 배제시키기 위해 다각형으로 영역을 그려서 지능형 영상 분석 기능의 수행을 비활성화시키는 영상분석배제부(440)와,
    객체 추적 또는 분석을 통해 특정객체를 추출해내는 분석알고리즘선택부(450)와,
    분석결과를 영상과 영상 내 색상으로 표출시키는 분석결과출력부(460)로 구성되는 것을 특징으로 하는 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치.
  6. 제1항에 있어서, 상기 유저인터페이스부(600)는
    마우스, 키보드 등과 같은 컴퓨터에 연결된 입력 장치를 통하여 발생시키는 이벤트에 따라 구형 영상의 회전, 줌 등의 유저 인터페이스 제어를 가능하게끔 하는 입력장치이벤트처리부(610)와,
    입력장치이벤트처리부(610)에 의해 수행되는 상황을 영상에 매핑하여 해당하는 좌표 영상을 출력하거나 줌인, 줌아웃된 영상을 표출하는 이벤트좌표영상출력부(620)로 구성되는 것을 특징으로 하는 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치.
  7. 입력 영상 획득부(100)에서 다중 카메라를 통해 영상을 렌즈 모듈에 의해 수집, 획득하는 단계(S100)와,
    영상 허가 인터페이스부(200)를 통해 카메라의 보안 모드 및 영상 압축/해제에 대한 전반적인 연결 및 설정을 하는 단계(S200)와,
    다중 고속화 처리부(300)를 통해 입력된 영상의 사이즈 및 프레임 수에 따라 표출변형시켜주고, 고해상도 영상 2개를 입력으로 받았을 경우 실시간 처리를 위해 고속화 연산을 수행할 수 있도록 하는 다중고속화 엔진을 구동시키는 단계(S300)와,
    자동 영상 분석부(400)를 통해 입력된 영상을 기반으로 자동적으로 지능형 영상 분석시키는 단계(S400)와,
    360도 렌더링 처리부(500)를 통해 입력 영상을 360도 구형으로 표출하기 위해 상부 반구형, 하부 반구형, 그리고 두 반구형 영상을 조합하여 하나의 구형으로 표출시키는 단계(S500)와,
    유저인터페이스부(600)를 통해 360도 렌더링 처리 부(500)에 의해 생성된 3차원 구형 영상을 사용자가 원하는 대로 자유 시점의 영상을 볼 수 있도록 360도 영상을 상, 하, 좌, 우, 줌 기능을 수행할 수 있도록 처리해주는 단계(S600)로 구성되는 것을 특징으로 하는 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치를 통한 자동 영상 분석 방법.
KR1020150024002A 2015-02-17 2015-02-17 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 및 이를 통한 자동 영상 분석 방법 KR101639275B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150024002A KR101639275B1 (ko) 2015-02-17 2015-02-17 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 및 이를 통한 자동 영상 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150024002A KR101639275B1 (ko) 2015-02-17 2015-02-17 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 및 이를 통한 자동 영상 분석 방법

Publications (1)

Publication Number Publication Date
KR101639275B1 true KR101639275B1 (ko) 2016-07-14

Family

ID=56499311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150024002A KR101639275B1 (ko) 2015-02-17 2015-02-17 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 및 이를 통한 자동 영상 분석 방법

Country Status (1)

Country Link
KR (1) KR101639275B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2018074850A1 (ko) * 2016-10-18 2018-04-26 삼성전자 주식회사 영상 처리 장치 및 그 영상 처리 방법
KR20180046044A (ko) 2016-10-27 2018-05-08 에스케이텔레콤 주식회사 전방위 영상 표시 장치 및 그 표시 방법
WO2018135730A1 (ko) * 2017-01-23 2018-07-26 고범준 Vr 영상 생성 방법, vr 영상 처리 방법 및 vr 영상 처리 시스템
KR101896654B1 (ko) 2017-11-08 2018-09-07 변정태 드론을 이용한 3d 영상 처리 시스템 및 방법
US11228790B2 (en) 2018-11-30 2022-01-18 Kt Corporation Providing time slice video
CN117041742A (zh) * 2023-08-29 2023-11-10 深圳市亿思朴科技有限公司 一种黑光全彩处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100590025B1 (ko) 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
KR20150003576A (ko) * 2013-07-01 2015-01-09 삼성전자주식회사 삼차원 영상 생성 또는 재생을 위한 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100590025B1 (ko) 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
KR20150003576A (ko) * 2013-07-01 2015-01-09 삼성전자주식회사 삼차원 영상 생성 또는 재생을 위한 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043905A1 (ko) * 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2018074850A1 (ko) * 2016-10-18 2018-04-26 삼성전자 주식회사 영상 처리 장치 및 그 영상 처리 방법
US11017598B2 (en) 2016-10-18 2021-05-25 Samsung Electronics Co., Ltd. Method for processing omni-directional image using padding area and apparatus supporting the same
KR20180046044A (ko) 2016-10-27 2018-05-08 에스케이텔레콤 주식회사 전방위 영상 표시 장치 및 그 표시 방법
WO2018135730A1 (ko) * 2017-01-23 2018-07-26 고범준 Vr 영상 생성 방법, vr 영상 처리 방법 및 vr 영상 처리 시스템
KR101896654B1 (ko) 2017-11-08 2018-09-07 변정태 드론을 이용한 3d 영상 처리 시스템 및 방법
US11228790B2 (en) 2018-11-30 2022-01-18 Kt Corporation Providing time slice video
CN117041742A (zh) * 2023-08-29 2023-11-10 深圳市亿思朴科技有限公司 一种黑光全彩处理方法

Similar Documents

Publication Publication Date Title
KR101639275B1 (ko) 다중 실시간 영상 획득 카메라를 활용한 360도 구형 렌더링 영상 표출 장치 및 이를 통한 자동 영상 분석 방법
TWI554976B (zh) 監控系統及其影像處理方法
JP4268206B2 (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法
JP4243767B2 (ja) 魚眼レンズカメラ装置及びその画像抽出方法
JP5961249B2 (ja) カラー・チャネルおよび光マーカー
KR101932537B1 (ko) 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
CN108432224A (zh) 用于产生无失真宽视图图像的成像装置及方法
JP2017038366A (ja) ディスプレイ装置のパラメータ推定方法及びその方法を用いた装置
JP2005056295A (ja) ３６０度画像変換処理装置
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
GB2429131A (en) Virtual mask for use in autotracking video camera images
JP2018503066A (ja) 画像ベースの深さ検知システムの精度測定
JP2020008972A (ja) 情報処理装置、情報処理方法及びプログラム
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
CN116883610A (zh) 基于车辆识别与轨迹映射的数字孪生路口构建方法和***
US20070263093A1 (en) Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates
TWI615808B (zh) 全景即時影像處理方法
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
US10812691B2 (en) Image capturing apparatus and image capturing method
US20230005213A1 (en) Imaging apparatus, imaging method, and program
CN114390267A (zh) 立体图像数据合成方法、装置、电子设备及存储介质
GB2560301A (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
Zhao et al. Stripe sensitive convolution for omnidirectional image dehazing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant