KR102523997B1

KR102523997B1 - 360도 영상 처리 방법 및 장치

Info

Publication number: KR102523997B1
Application number: KR1020160016521A
Authority: KR
Inventors: 최병두; 에릭 입; 송재연
Original assignee: 삼성전자주식회사
Priority date: 2016-02-12
Filing date: 2016-02-12
Publication date: 2023-04-21
Also published as: US20210243420A1; EP3416372A1; KR102564732B1; KR20170095035A; CN114727091B; EP3720114A1; WO2017138801A1; CN108605093B; CN108605093A; US11490065B2; CN114727091A; KR20230057315A; US20190052858A1; EP3416372A4; US10992918B2

Abstract

본 개시는 4G 시스템 이후 보다 높은 데이터 전송률을 지원하기 위한 5G 통신 시스템을 IoT 기술과 융합하는 통신 기법 및 그 시스템에 관한 것이다. 본 개시는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스 (예를 들어, 스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에도 적용될 수 있다.
본 발명은 360도 영상의 처리 방법에 있어서, 360도 영상을 매핑시킬 3차원(3dimension: 3D) 모델을 결정하고, 상기 360도 영상에 대한 분할(partition) 크기를 결정하고, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도를 결정하고, 상기 360도 영상을 2차원(2dimension: 2D) 영상에 맵핑 시 적용할 보간 방법을 결정하고, 상기 결정된 3D 모델, 분할 크기, 회전 각도, 및 보간 방법을 기반으로 상기 360도 영상을 상기 2D 영상으로 변환한다.

Description

360도 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING 360 IMAGE}

본 발명은 360도 영상을 처리하는 방법 및 장치에 관한 것으로, 특히 기존의 UHD(ultra-HD) 디스플레이 이후 보다 실감미디어 영상 서비스를 위한 가상 현실 영상 디바이스에 적용 가능한 360도 영상을 처리하는 방법 및 장치에 관한 것이다.

4G (4th-Generation) 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G (5th-Generation) 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 4G 네트워크 이후 (Beyond 4G Network) 통신 시스템 또는 LTE 시스템 이후 (Post LTE) 이후의 시스템이라 불리어지고 있다.

높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파 (mmWave) 대역 (예를 들어, 60기가 (60GHz) 대역과 같은)에서의 구현이 고려되고 있다. 초고주파 대역에서의 전파의 경로 손실 완화 및 전파의 전달 거리를 증가시키기 위해, 5G 통신 시스템에서는 빔포밍 (beamforming), 거대 배열 다중 입출력 (massive multi-input multi-output: massive MIMO), 전차원 다중입출력 (Full Dimensional MIMO: FD-MIMO), 어레이 안테나 (array antenna), 아날로그 빔형성 (analog beam-forming), 및 대규모 안테나 (large scale antenna) 기술들이 논의되고 있다.

또한 시스템의 네트워크 개선을 위해, 5G 통신 시스템에서는 진화된 소형 셀, 개선된 소형 셀 (advanced small cell), 클라우드 무선 액세스 네트워크 (cloud radio access network: cloud RAN), 초고밀도 네트워크 (ultra-dense network), 기기 간 통신 (Device to Device communication: D2D), 무선 백홀 (wireless backhaul), 이동 네트워크 (moving network), 협력 통신 (cooperative communication), CoMP (Coordinated Multi-Points), 및 수신 간섭제거 (interference cancellation) 등의 기술 개발이 이루어지고 있다.

이 밖에도, 5G 시스템에서는 진보된 코딩 변조 (Advanced Coding Modulation: ACM) 방식인 FQAM (Hybrid FSK and QAM Modulation) 및 SWSC (Sliding Window Superposition Coding)과, 진보된 접속 기술인 FBMC (Filter Bank Multi Carrier), NOMA (non orthogonal multiple access), 및 SCMA (sparse code multiple access) 등이 개발되고 있다.

한편, 인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물인터넷 (Internet of Things: IoT) 망으로 진화하고 있다. IoE (Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅 데이터 (Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.

IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크 (sensor network), 사물 통신 (Machine to Machine: M2M), MTC (Machine Type Communication) 등의 기술이 연구되고 있다.

IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT (Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.

이에, 5G 통신 시스템을 IoT 망에 적용하기 위한 다양한 시도들이 이루어지고 있다. 예를 들어, 센서 네트워크, 사물 통신, MTC 등의 기술이 5G 통신 기술이 빔 포밍, MIMO, 및 어레이 안테나 등의 기법에 의해 구현되고 있는 것이다. 앞서 설명한 빅 데이터 처리 기술로써 클라우드 무선 액세스 네트워크가 적용되는 것도 5G 기술과 IoT 기술 융합의 일 예라고 할 수 있을 것이다.

한편, 가상 현실(virtual reality: VR)을 위한 360도 영상을 처리하는 장치는 여러 대의 카메라로 촬영된 360도 멀티뷰 영상을 3차원(3dimension: 3D) 모델, 일례로 구(sphere), 정육면체(cube), 원기둥(cylinder) 등의 표면(surface)에 맵핑시켜 3D 영상을 생성하고, 헤드 마운트 디스플레이(head mount display: HMD) 장치는 이렇게 생성된 3D 영상의 특정 뷰(view)에 해당하는 장면을 렌더링(rendering)하여 사용자에게 디스플레이 한다. 이때 원격에 있는 사용자에게 360도 영상 콘텐츠를 전송하기 위해서는 360도 영상 콘텐츠를 압축하고 저장하여 전송하는 장치 및 전송을 위한 포맷 등이 필요하나, 현재로서는 이러한 장치 및 전송 포맷이 존재하지 않는다.

따라서 360도 영상 콘텐츠를 압축하고 저장하여 전송하는 장치와 전송을 위한 포맷에 대한 연구가 필요하다.

본 발명의 일 실시예는 360도 영상을 처리하는 방법 및 장치를 제안한다.

또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환하는 방법 및 장치를 제안한다.

또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환 시 고려되는 파라미터들을 메타데이터화하는 방법 및 장치를 제안한다.

또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환 시 고려되는 파라미터들을 기반으로 상기 2D 영상을 상기 360도 영상으로 복원하는 방법 및 장치를 제안한다.

본 발명의 일 실시예에서 제안하는 방법은; 360도 영상의 처리 방법에 있어서, 360도 영상을 매핑시킬 3차원(3dimension: 3D) 모델을 결정하고, 상기 360도 영상에 대한 분할(partition) 크기를 결정하는 과정과, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도를 결정하는 과정과, 상기 360도 영상을 2차원(2dimension: 2D) 영상에 맵핑 시 적용할 보간 방법을 결정하는 과정과, 상기 결정된 3D 모델, 분할 크기, 회전 각도, 및 보간 방법을 기반으로 상기 360도 영상을 상기 2D 영상으로 변환하는 과정을 포함한다.

본 발명의 다른 실시예에서 제안하는 방법은; 360도 영상의 처리 방법에 있어서, 2차원(2dimension: 2D) 영상과, 360도 영상을 상기 2D 영상으로 변환하는데 관련된 메타데이터를 확인하는 과정과, 상기 메타데이터로부터 상기 360도 영상을 매핑시킨 3차원(3dimension: 3D) 모델, 상기 360도 영상에 대한 분할 크기, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도, 상기 360도 영상을 상기 2D 영상에 맵핑 시 적용한 보간 방법 각각에 관련된 정보를 획득하는 과정과, 상기 획득한 정보를 기반으로 상기 2D 영상을 상기 360도 영상으로 복원하는 과정을 포함한다.

본 발명의 일 실시예에서 제안하는 장치는; 360도 영상의 처리 장치에 있어서, 360도 영상을 매핑시킬 3차원(3dimension: 3D) 모델을 결정하고, 상기 360도 영상에 대한 분할(partition) 크기를 결정하고, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도를 결정하고, 상기 360도 영상을 2차원(2dimension: 2D) 영상에 맵핑 시 적용할 보간 방법을 결정하는 제어부와, 상기 결정된 3D 모델, 분할 크기, 회전 각도, 및 보간 방법을 기반으로 상기 360도 영상을 상기 2D 영상으로 변환하는 변환부를 포함한다.

본 발명의 다른 실시예에서 제안하는 장치는; 360도 영상의 처리 장치에 있어서, 2차원(2dimension: 2D) 영상과, 360도 영상을 상기 2D 영상으로 변환하는데 관련된 메타데이터를 확인하고, 상기 메타데이터로부터 상기 360도 영상을 매핑시킨 3차원(3dimension: 3D) 모델, 상기 360도 영상에 대한 분할 크기, 상기 360도 영상의 x, y, z축 각각에 대한 회전 각도, 상기 360도 영상을 상기 2D 영상에 맵핑 시 적용한 보간 방법 각각에 관련된 정보를 획득하는 제어부와, 상기 획득한 정보를 기반으로 상기 2D 영상을 상기 360도 영상으로 복원하는 역변환부를 포함한다.

본 발명의 다른 측면들과, 이득들 및 핵심적인 특징들은 부가 도면들과 함께 처리되고, 본 발명의 바람직한 실시예들을 게시하는, 하기의 구체적인 설명으로부터 해당 기술 분야의 당업자에게 자명할 것이다.

본 발명의 일 실시예는 360도 영상을 처리한다는 효과가 있다.

또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환한다는 효과가 있다.

또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환 시 고려되는 파라미터들을 메타데이터화 한다는 효과가 있다.

또한 본 발명의 일 실시예는 360도 영상을 2D 영상으로 변환 시 고려되는 파라미터들을 기반으로 상기 2D 영상을 상기 360도 영상으로 복원한다는 효과가 있다.

본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 360도 영상을 처리하는 영상 처리 장치의 구성 블록을 나타낸 도면,
도 2a 내지 2c는 2D 영상과 3D 영상 간의 변환/역변환의 예를 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치가 360도 영상을 2D 영상으로 변환하는 동작을 나타낸 순서도,
도 4a 및 도 4b는 본 발명의 일 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 분할 크기를 적응적으로 결정하는 예를 나타낸 도면,
도 5는 본 발명의 다른 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 회전 각도를 적응적으로 결정하는 예를 나타낸 도면,
도 6은 본 발명의 또 다른 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 제어 그리드 보간 방법의 적용 여부를 적응적으로 결정하는 예를 나타낸 도면,
도 7은 본 발명의 일 실시예에 따른 영상 처리 장치가 2D 영상을 360도 영상으로 복원하는 동작을 나타낸 순서도.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.

이하, 본 발명의 실시 예들을 첨부한 도면들을 참조하여 상세히 설명한다.

본 발명의 다양한 실시예들에 따르면, 전자 디바이스는 가상 현실(virtual reality: VR) 기기(일례로 360도 영상 카메라, 헤드-마운티드 디바이스(head mounted display: HMD), 스마트 안경(smart glasses) 등), 스마트 폰(smart phone), 태블릿(tablet) 개인용 컴퓨터(personal computer: PC), 이동 전화기, 화상 전화기, 전자책 리더(e-book reader), 데스크 탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) PC, 개인용 복합 단말기(personal digital assistant: PDA), 휴대용 멀티미디어 플레이어(portable multimedia player: PMP), 엠피3 플레이어(mp3 player), 이동 의료 디바이스, 카메라, 웨어러블 디바이스(wearable device)(일례로 HMD), 전자 의류, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 워치(smart watch) 등을 포함한다.

또한 본 발명의 다양한 실시예들에 따르면, 전자 디바이스는 스마트 가정용 기기, 일례로 텔레비젼, 디지털 비디오 디스크(digital video disk: DVD) 플레이어, 오디오, 냉장고, 에어 컨디셔너, 진공 청소기, 오븐, 마이크로웨이브 오븐, 워셔, 드라이어, 공기 청정기, 셋-탑 박스(set-top box), TV 박스, 게임 콘솔(gaming console), 전자 사전, 캠코더, 전자 사진 프레임 등을 포함한다.

또한 본 발명의 다양한 실시예들에 따르면, 전자 디바이스는 의료 기기, 네비게이션(navigation) 디바이스, 전세계 위치 시스템(global positioning system: GPS) 수신기, 사고 기록 장치(event data recorder: EDR), 비행 기록 장치(flight data recorder: FDR), 자동차 인포테인먼트 디바이스(automotive infotainment device), 항해 전자 디바이스, 항공 전자 디바이스와, 보안 디바이스와, 산업용 혹은 소비자용 로봇(robot) 등을 포함한다.

본 발명의 다양한 실시예들에 따르면, 전자 디바이스는 상기에서 설명한 바와 같은 디바이스들의 조합이 될 수 있다. 또한, 본 발명의 바람직한 실시예들에 따른 전자 디바이스는 상기에서 설명한 바와 같은 디바이스에 한정되는 것이 아니라는 것은 당업자에게 자명할 것이다.

도 1은 360도 영상을 처리하는 영상 처리 장치의 구성 블록을 나타낸 도면이다.

도 1을 참조하면, 도시된 영상 처리 장치는 맵핑부(103), 변환부(105), 부호화부(encoder)(107), 저장부(109), 복호화부(decoder)(111), 역변환부(113), 및 재생부(115)를 포함한다.

여러 대의 카메라로 촬영한 360도 멀티뷰 영상(100)은 맵핑부(103)에 입력되고, 맵핑부(103)는 360도 멀티뷰 영상(100)을 3D 모델, 일례로 구의 표면에 맵핑시켜 3D 영상(110)을 생성하여 출력한다.

상기 3D 영상(110)은 변환부(105)에 입력되고, 변환부(105)는 입력된 3D 영상(110)을 2D 영상(120)으로 변환하여 출력한다. 상기 2D 영상(120)은 부호화부(107)에 입력되고, 부호화부(107)는 입력된 2D 영상(120)을 미리 정해진 부호화 방식을 이용하여 부호화하여 출력한다. 상기 부호화된 2D 영상은 저장부(109)에 저장된다.

저장부로부터 출력된 2D 영상은 복호화부(111)에 입력되고, 복호화부(111)는 입력된 영상을 미리 정해진 복호 방식으로 복호하여 출력한다. 상기 복호된 2D 영상은 역변환부(113)에 입력되고, 역변환부(113)는 입력된 2D 영상을 3D 영상으로 역변환하여 출력한다.

상기 역변환된 3D 영상(130)은 재생부(115)에 입력되고, 재생부(115)는 입력된 영상을 디스플레이한다.

이와 같이 도 1에 도시된 영상 처리 장치는 입력된 360도 멀티뷰 영상(100)을 기반으로 3D 영상(110)을 생성한 뒤 2D 영상(120)으로 변환하여 저장하고, 다시 3D 영상(130)으로 역변환하여 전송함을 특징으로 한다. 상기 영상 처리 장치의 동작은 맵핑부(103)가 360도 멀티뷰 영상(100)을 기반으로 3D 영상(110)을 생성하는 생성 단계와, 변환부(105), 부호화부(107), 및 저장부(109)가 3D 영상(110)을 2D 영상(120)로 변환하여 저장 및 전송하는 저장/전송 단계와, 재생부(115)가 2D 영상(120)을 역변환시킨 3D 영상(130)을 디스플레이하는 표현/재생 단계의 동작으로 구분할 수 있다.

도 2a 내지 2c는 2D 영상과 3D 영상 간의 변환/역변환의 예를 나타낸 도면이다.

도 2a는 2D 영상을 3D 모델의 구 표면에 맵핑시킨 예를 나타낸 것이다. 2D 영상 좌표를 (s,t)라 가정할 때 구 표면에 대한 3D 영상 좌표는 x=r sin(πt) sin(2πs), y=r sin(πt) cos(2πs), z=r cos(πt)와 같이 표현되며, 2D 영상 좌표와 3D 영상 좌표를 통해 2D 영상과 3D 영상 간의 변환/역변환을 수행할 수 있다.

도 2b는 2D 영상을 3D 모델의 원기둥 표면에 맵핑시킨 예를 나타낸 것이다. 2D 영상 좌표를 (s,t)라 가정할 때 원기둥 표면에 대한 3D 영상 좌표는 x=r sin(2πs), y=r cos(2πs), z=t와 같이 표현되며, 2D 영상 좌표와 3D 영상 좌표를 통해 2D 영상과 3D 영상 간의 변환/역변환을 수행할 수 있다.

도 2c는 2D 영상을 3D 모델의 정육면체에 맵핑시킨 예를 나타낸 것이다. 2D 영상은 정육면체의 각 면(face)에 대응되는 6개의 텍스처(texture)로 나타낼 수 있고, 상기 텍스처 각각을 정육면체의 각 면에 맵핑시켜 3D 영상으로 변환할 수 있다. 또한 상기 정육면체의 각 면을 6개의 텍스처에 디맵핑시켜 3D 영상을 2D 영상으로 역변환할 수 있다.

이렇게 2D 영상을 3D 모델의 구, 원기둥, 정육면체 중 어느 표면에 맵핑시킬지에 대한 판단은 VR 콘텐츠(즉 3D 영상)를 생성하는 생성자, 일례로 맵핑부가 결정하며, 상기 맵핑에 관련된 정보는 메타데이터(metadata) 형태로 사용자 단말에게 전송된다.

도 2a 내지 도 2c에 나타낸 맵핑 방식은 각각 장단점이 있으나, 일반적으로 변환 과정에서는 영상의 왜곡(distortion)이 공통적으로 발생된다. 특히 360도 구형 영상을 2D 영상으로 변환하는 등장방형 도법(equirectangular projection)의 경우 2D 영상의 위, 아래, 가장자리 부분에서 중앙부분보다 상대적으로 심한 왜곡이 발생되고, 이로 인해 HMD 장치로 2D 영상의 위, 아래, 가장자리 부분을 보았을 때 몰입감이 상당히 저하될 수 있다.

도 3은 본 발명의 일 실시예에 따른 영상 처리 장치가 360도 영상을 2D 영상으로 변환하는 동작을 나타낸 순서도이다.

도 3을 참조하면, 302단계에서 영상처리 장치는 360도 영상을 맵핑시킬 3D 모델을 결정한다. 여기서 3D 모델은 일례로 구(sphere), 원기둥(cylinder), 정육면체(cube), 피라미드(pyramid), 다면체(polyhedron) 등이 될 수 있다. 304단계에서 영상처리 장치는 302단계에서 선택된 3D 모델에 맵핑시킨 3D 영상에 대한 분할 크기(partition size)를 결정한다. 상기 분할 크기는 일례로 가로 및 세로 픽셀(pixel) 수로 나타낼 수 있으며, 일례로 256, 128, 64, 32, 16 픽셀 등이 될 수 있다. 또 다른 예로서 상기 분할 크기는 가로 및 세로 방향 각도(angle)의 간격으로 나타낼 수 있으며, 일례로 90°, 60°, 45°, 30°, 15° 등이 될 수 있다. 304단계에서 분할 크기는 영상 전체의 왜곡 정도와 메타데이터의 발생량을 고려하여 전체 RD(rate-distortion) 코스트(cost)를 최소화하는 값으로 결정된다.

306단계에서 영상처리 장치는 3D 영상에 대한 세가지 방향, 즉 x, y, z 축 각각에 관련한 회전 각도를 결정한다. 상기 회전 각도는 일례로 0도, 90도, 180도 등이 될 수 있다. 308단계에서 영상처리 장치는 3D 영상을 2D 영상으로 변환(또는 맵핑)시 적용할 보간 방법을 결정한다. 상기 보간 방법은 일례로 인접 픽셀 복사(nearest neighbor) 보간법, 이중선형(bilinear) 보간법, 비-스플라인(b-spline) 보간법 등이 될 수 있다. 310단계에서 영상처리 장치는 3D 영상을 2D 영상으로 변환 시 경계점 제어 보간(control grid interpolation) 방법을 적용할지 여부를 결정한다. 여기서 경계점 제어 보간이라 함은 304단계에서 결정된 분할 크기에 따라 3D 영상을 분할할 때, 다각형, 일례로 삼각형 또는 사각형 모양으로 분할된 영역의 모서리(corner) 부분을 일정 거리 (dx, dy)만큼 상하좌우로 이동시켜 다른 형태로 워핑(warping)시키는 것을 의미한다.

312단계에서 영상처리 장치는 302단계 내지 310단계에서 결정된 결과를 기반으로 3D 영상을 2D 영상으로 변환하는 것이 미리 정해진 비트레이트(bitrate) 내에서 열화(distortion)를 최소화하는 최적의 방법인지 여부를 검사한다. 312단계 검사 결과 302단계 내지 310단계에서 결정된 결과를 기반으로 3D 영상을 2D 영상으로 변환하는 것이 최적의 방법일 경우, 영상처리 장치는 314단계로 진행하여 최종 결정된 결과를 기반으로 360도 영상을 2D 영상으로 변환하고, 변환에 관련된 정보를 메타데이터화 한다. 여기서 변환에 관련된 정보는 기본적으로 302단계에서 결정한 3D 모델에 관련된 정보, 304단계에서 결정한 분할 크기에 관련된 정보, 306단계에서 결정한 회전 각도에 대한 정보, 308단계에서 결정한 보간 방법에 대한 정보를 포함하며, 추가적으로 310단계에서 결정한 경계점 제어 보간을 적용할지 여부에 대한 정보를 포함한다.

316단계에서 영상처리 장치는 변환된 2D 영상 데이터와 변환에 관련된 메타데이터를 저장한다.

도 4a 및 도 4b는 본 발명의 일 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 분할 크기를 적응적으로 결정하는 예를 나타낸 도면이다.

VR을 위한 3D 영상이 360도 구형 영상으로 존재할 경우, 구형 표면은 도 4a에 도시된 바와 같이 다양한 크기로 분할될 수 있다. 또한 이러한 360도 구형 영상은 등장방형 도법과 같은 지도 제작 맵핑(cartography mapping) 방법을 이용하여 도 4b에 도시된 2D 영상과 같이 변환할 수 있다. 이때 2D 영상의 분할된 각 영역에 해당하는 픽셀 값은 구형 표면에서 분할된 각 영역에 해당하는 픽셀 값과 동일한 값으로 결정되며, 2D 영상 내의 분할된 영역들 중 특정 영역이 360도 구형 영상 내의 분할된 영역들 중 특정 영역에 매핑되는 것은 3D 영상을 2D 영상으로 변환하는데 사용되는 알고리즘에 의해 결정된다.

3D 영상을 2D 영상으로 변환할 때, 360도 구형 영상의 한 픽셀이 2D 영상의 한 픽셀로 정확히 맵핑되는 경우에는 2D 영상의 픽셀 값을 360도 구형 영상의 해당 픽셀 값으로 결정한다. 그러나 360도 구형 영상의 한 픽셀이 2D 영상의 픽셀들 간의 중간지점에 매핑되는 경우 주변 픽셀들 값을 기반으로 하는 보간(interpolation)을 통해 2D 영상의 픽셀 값을 결정한다.

메모리 대역폭(bandwidth)과 파이프라인 처리(pipeline processing)를 위해서는 블록 단위로 매핑되는 것이 효율적이며, 도 4a에서 분할된 각 영역들은 도 4b에서 분할된 각 영역들에 맵핑된다. 이때 도 4b의 2D 영상에서 분할된 영역들의 모양은 관련 위치에 따라 상이하며, 이로 인해 2D 영상에서 분할된 영역들 각각에 대한 변환 방법(또는 방정식)은 다르고 영상의 왜곡 정도도 달라진다. 따라서 영상 전체의 왜곡을 최소화하기 위해서는, 영상 내 중요 콘텐츠를 분할된 영역들 중 왜곡이 적은 영역 위치에 배치하고, 영상 내 배경처럼 상대적으로 중요도가 낮은 콘텐츠를 왜곡이 심한 위치에 배치해야 한다. 결국 영상의 왜곡을 최소화하기 위해서는 콘텐츠 별로 3D 모델 표면의 분할된 영역들 각각을 2D 영상의 분할된 영역들 중 어느 위치에 맵핑시킬지 결정하는 것이 매우 중요하며, 이러한 맵핑 관계는 콘텐츠를 생성하는 맵핑부에 가이드(guide)를 제공하여 지정하거나, 영상 콘텐츠를 분석하여 중요 객체(object)의 왜곡이 적어지도록 지정하거나, 각 맵핑 위치에 따라 3D 영상을 2D 영상으로 변환한 후 영상 전체의 왜곡 정도를 비교하여 왜곡이 최소화 되도록 지정할 수 있다.

3D 모델 표면의 분할된 영역들이 2D 영상의 분할된 영역들 중 어떤 위치의 영역에 맵핑되는지를 나타내는 맵핑 관계는 인덱스로 표현될 수 있다. 구형의 3D 모델을 가정할 경우, θx, θy 값으로 지정되는 3D 모델 표면의 분할된 영역들 각각에 대하여 2D 영상의 좌상측 위치부터 래스터 주사(raster scan) 방식에 따른 순서로 지정되는 인덱스 값을 맵핑시킬 수 있다. 여기서 래스터 주사 방식이라 함은 픽셀로 이루어지는 수평 주사선을 화면의 위에서부터 아래로 내려가면서 옆으로 끌듯이 한 줄씩 주사하여 화면을 형성하는 주사 방식을 의미한다. 3D 영상과 2D 영상의 맵핑 관계는 영상의 비트스트림(bitstream)에 저장되며, 이때 맵핑 관계는 메타데이터화되어 룩업 테이블(look-up table) 형태로 저장된다.

또한 해당 메타데이터는 평면 영상, 즉 2D 영상에서 수평 위치를 나타내는 x축과 수직 위치를 나타내는 y축을 기준으로, w 픽셀 개수 만큼의 가로 크기(width)와 h 픽셀 개수 만큼의 세로 크기(height)를 갖는 영상 분할(partition)이 구형(sphere)의 표면(surface)에 어떤 위치(θx, θy)에서 얼마만큼의 영역(dθx, dθy)에 맵핑되는지의 정보를 나타낸다.

한편 분할된 각 영역들의 크기 및 모양은 적응적으로 결정될 수 있으며, 도 4a는 분할 크기가 조절되는 예를 나타내고 있다. 일반적으로 분할 크기가 상대적으로 클 경우에는 계산량이 많아지고 3D 영상과 2D 영상에서 분할된 영역 간에 맵핑할 수 있는 자유도는 낮아지나 보다 정교한 보간이 가능하게 해주고, 분할 크기가 상대적으로 작을 경우에는 계산량이 적어지고 보간의 정밀도는 낮아지나 3D 영상과 2D 영상에서 분할된 영역 간에 맵핑할 수 있는 자유도는 증가한다. 또한 분할 크기가 작아질수록 맵핑의 자유도가 증가하므로 그만큼 메타데이터의 양도 증가하게 된다. 결국 분할 크기 및 모양은 영상 전체의 왜곡 정도와 메타데이터의 발생량을 고려하여 전체 RD 코스트를 최소화하는 방향으로 결정하게 된다.

3D 모델 표면의 분할된 영역들에 대한 분할 크기는 메타데이터 화되며, 상기 분할 크기를 나타내는데 필요한 메타데이터는 unsigned int partitionWidth; unsigned int partitionHeight; int interpolType을 포함한다. 여기서 unsigned int partitionWidth는 관련 분할 크기에 따라 분할된 영역들의 너비(width)를 나타내고, unsigned int partitionHeight는 관련 분할 크기에 따라 분할된 영역들의 높이(height) 를 나타내고, int interpolType은 보간 방법을 나타낸다. 또한 상기 int interpolType은 하기 표 1과 같은 룩업 테이블 형태로 정의된다.

Value	interpolType
0x00	Nearest neighbor 보간법
0x01	Bi-linear 보간법
0x02	B-spline 보간법
0x03-0xFF	예약됨(reserved)

표 1에서 0x00 값으로 표현되는 nearest neighbor 보간법은 일정간격의 메시 정점을 보간점으로 하고, 그곳으로부터 가장 가까운 거리에 있는 점의 값을 보간점의 값으로 결정하는 방법을 의미한다. 0x01 값으로 표현되는 이중선형 보간법은 두 지점 사이의 값을 추정할 때 그 값을 두 지점과의 직선 거리에 따라 선형적으로 결정하는 방법을 2차원으로 확장한 방법을 의미한다. 0x02 값으로 표현되는 비-스플라인 보간법은 전체 구간을 소구간별로 나누어 저차수의 다항식으로 매끄러운 함수를 구하는 방법을 의미한다. 그 밖에 0x03-0xFF 값은 nearest neighbor 보간법, 이중선형 보간법, 비-스플라인 보간법을 제외한 다른 보간 방법을 나타내기 위해 예약된 값을 의미한다.

도 5는 본 발명의 다른 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 회전 각도를 적응적으로 결정하는 예를 나타낸 도면이다.

도 5를 참조하면, VR을 위한 3D 영상이 360도 구형 영상으로 존재할 경우, 360도 구형 영상은 x, y, z 축과 같이 세가지 방향으로 회전시킬 수 있다. 도 5에서는 360도 구형 영상을 90도, 180도, 270도 회전한 예를 나타내었다.

3D 모델 표면의 분할된 영역 별로 2D 영상의 분할된 영역들 중 어떤 위치의 영역에 맵핑되는지를 나타내는 맵핑 관계는 룩업 테이블 형태의 인덱스로 표현되는데, 이 경우 비트스트림에 저장되는 메타데이터의 양은 매우 크다. 전체 RD 코스트를 줄이기 위해서는 메타데이터 양을 줄여야만 하는데 메타데이터 양을 줄이기 위해 맵핑 관계를 회전 정도를 나타내는 인덱스로 표현할 수도 있다.

360도 구형 영상을 세가지 방향으로 회전시킨 후 기존과 동일하게 복수개의 영역들로 분할하여 2D 영상에 맵핑하더라도 실질적으로 원본 영상 내 객체의 위치는 변하게 된다. 즉 3D 영상을 세가지 방향으로 회전한 360도 구형 영상의 각 회전 방향에 대한 회전 각도는 인덱스로 표현될 수 있으며, 비트스트림에 상기 회전 각도에 대한 인덱스만 저장하여 전송하여도 3D 영상과 2D 영상에서 분할된 영역 간에 맵핑할 수 있는 자유도는 증가한다.

3D 모델 표면의 분할된 영역들이 2D 영상의 분할된 영역들 중 어떤 위치의 영역에 맵핑되는지를 나타내는 맵핑 관계는 메타데이터 화되며, 적응적인 회전에 의한 맵핑 관계를 나타내는데 필요한 메타데이터는 int angleX, int angleY, int angleZ를 포함한다. 여기서 int angleX는 x축 방향에 대한 회전 각도를 나타내고, int angleY는 y축 방향에 대한 회전 각도를 나타내고, int angleZ는 z축 방향에 대한 회전 각도를 나타낸다.

도 6은 본 발명의 또 다른 실시예에 따라 3D 영상을 2D 영상으로 변환 시 고려되는 제어 그리드 보간 방법의 적용 여부를 적응적으로 결정하는 예를 나타낸 도면이다.

도 6을 참조하면, VR을 위한 3D 영상이 360도 구형 영상으로 존재할 경우, 360도 구형 영상의 표면을 복수개의 영역들로 분할한다고 가정하면, 삼각형 또는 사각형 모양으로 분할된 영역들에 대응하는 데이터는 정해진 모양 그대로 3D 영상에서 2D 영상으로 또는 2D 영상에서 3D 영상으로 변환/역변환될 수 있다. 그러나 분할된 영역 별로 보다 정교한 맵핑을 위해서는 분할된 영역의 모서리 부분을 미리 정해진 거리 (dx, dy)만큼 좌우로 이동시켜 변환시킬 수 있다. 이때 기존의 분할된 영역의 모양이 정사각형이었다면 변환된 영역의 모양은 직사각형 또는 사다리꼴 형태로 워핑될 수 있다.

즉 복수개의 제어 포인트(610)와 상기 복수개의 제어 포인트(610)로 구성되는 제어 다각형(600)을포함하는 360도 구형 영상을 가정할 때, 도면부호 620과 같이 배열된 제어 포인트에 제어 그리드 보간 방법을 적용하면 분할된 영역의 모양은 도면부호 630과 같이 워핑될 수 있다.

도 7은 본 발명의 일 실시예에 따른 영상 처리 장치가 2D 영상을 360도 영상으로 복원하는 동작을 나타낸 순서도이다.

도 7을 참조하면, 702단계에서 영상처리 장치는 저장된 메타데이터를 파싱(parsing)한다. 여기서 메타데이터는 360도 영상을 2D 영상으로 변환하는데 관련된 데이터를 의미하며, 일례로 360도 영상에 대한 분할 크기 및 x, y, z 축 각각에 대한 회전 각도에 관련된 데이터, 상기 360도 영상을 맵핑시킨 3D 모델에 관련된 데이터, 상기 360도 영상을 2D 영상에 맵핑 시 적용한 보간 방법에 관련된 데이터, 제어 그리드 보간 방법의 적용 여부에 관련된 데이터 중 적어도 하나를 포함한다.

704단계에서 영상처리 장치는 파싱된 메타데이터 중 3D 모델에 관련된 데이터를 기반으로 영상 메모리를 생성한다. 706단계에서 영상처리 장치는 파싱된 메타데이터 중 분할 크기에 관련된 데이터를 기반으로, 저장된 2D 영상에서 상기 분할 크기에 관련된 데이터가 지시하는 분할 크기 단위로 영상 데이터를 확인(identify)한다. 여기서는 2D 영상의 분할된 영역들 중 좌상측에 위치한 영역으로부터 래스터 주사 방식에 따른 순서로 해당 위치의 영상 데이터를 확인한다고 가정한다.

708단계에서 영상처리 장치는 파싱된 메타데이터 중 보간 방법에 관련된 데이터를 기반으로 706단계에서 확인한 영상 데이터를 3D 영상 표면에 맵핑한다. 여기서 3D 영상 표면에 맵핑 시 고려하는 3D 모델은 704단계에서의 3D 모델에 관련된 데이터에 따른다. 710단계에서 영상처리 장치는 파싱된 메타데이터 중 제어 그리드 보간 방법의 적용 여부에 관련된 데이터를 기반으로 제어 그리드 보간 방법의 적용이 필요한지 여부를 판단하고, 필요시 제어 그리드 보간 방법을 적용한다.

712단계에서 영상처리 장치는 707단계 내지 710단계를 통해 복원한 3D 영상 내 영역이 분할된 영역들 중에서 마지막 영역인지 검사한다. 712단계 검사 결과 상기 복원한 3D 영상 내 영역이 분할된 영역들 중에서 마지막 영역이면, 영상처리 장치는 714단계로 진행하여 파싱된 메타데이터 중 360도 영상에 대한 x, y, z 축 각각에 대한 회전 각도에 관련된 데이터를 기반으로 전체 3D 영상 데이터를 회전하여 360도 영상을 복원한다.

한편, 712단계 검사 결과 상기 복원한 3D 영상 내 영역이 분할된 영역들 중에서 마지막 영역이 아닐 경우, 영상처리 장치는 706단계로 진행하여 래스터 주사 방식에 따라 다음 순서에 해당하는 다음 영역에 대하여 706단계 내지 710단계 동작을 반복한다. 이러한 반복 동작은 마지막 영역의 영상 데터에 도달할 때까지 반복된다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.

Claims

360도 멀티뷰 이미지들을 처리하는 방법에 있어서,
3 차원 (3dimension: 3D) 이미지를 평면 공간에 투영하여 생성된 2차원 (2D) 이미지에 대한 미디어 데이터와, 상기 미디어 데이터와 관련된 메타데이터를 식별하는 과정과;
상기 식별된 미디어 데이터와 상기 식별된 메타데이터를 전송하는 과정을 포함하고,
상기 3D 이미지는 상기 360도 멀티뷰 이미지들을 기반으로 생성되고,
상기 메타데이터는,
복수의 3D 모델들 중 상기 2D 이미지를 3D 모델에 매핑하기 위한 상기 3D 모델을 나타내는 정보, 및
상기 3D 이미지에 대한 x축, y축, z축 각각에 따른 회전 각도를 나타내는 정보를 포함하는,
방법.
제1항에 있어서,
분할 크기, 회전 각도들 및 상기 3D 이미지에 대한 보간 방법에 기초한 2D 이미지들에 대한 왜곡(distortion)의 정도와 다른 분할 크기들, 다른 회전 각도들 및 다른 보간 방법에 기초한 2D 이미지들의 왜곡의 정도를 비교하는 것에 의해, 미리 결정된 비트레이트에서 상기 분할 크기, 상기 회전 각도들 및 상기 보간 방법이 왜곡을 최소화하는지 여부를 결정하는 과정을 더 포함하고,
상기 메타데이터는 상기 3D 이미지에 대한 상기 분할 크기 및 상기 보간 방법을 나타내는 정보를 더 포함하는 방법.
제2항에 있어서,
상기 미리 결정된 비트레이트에서, 상기 분할 크기, 상기 회전 각도들 및 상기 보간 방법이 왜곡을 최소화하지 않는 것으로 결정되는 경우, 상기 분할 크기, 상기 회전 각도들 및 상기 보간 방법을 다시 결정하는 과정을 더 포함하는 방법.
제1항에 있어서,
상기 3D 이미지의 분할 영역들의 각 모서리를 매핑하기 위해 상기 분할 영역들 내의 제어 포인트들을 x축 또는 y축 방향으로 미리 정해진 거리만큼 이동시키는 제어 그리드(grid) 보간 방법을 적용할지 여부를 결정하는 과정을 더 포함하고,
상기 제어 포인트들은 상기 분할 영역들의 코너들인 방법.
제2항에 있어서,
상기 3D 이미지에 대한 상기 분할 크기는 상기 2D 이미지에 대한 왜곡의 정도와 상기 메타데이터의 양에 기초하여 전체 RD(rate-distortion) 코스트(cost)를 최소화하기 위한 값으로 결정되는 방법.
제1항에 있어서,
상기 3D 이미지에서 배경을 제외한 컨텐츠를 상기 2D 이미지에서 상대적으로 덜 왜곡되는 영역들로 매핑하는 과정과;
상기 3D 영상의 배경 컨텐츠를 상기 2D 이미지에서 상대적으로 더 왜곡되는 영역들로 매핑하는 과정을 더 포함하는 방법.
360도 멀티뷰 이미지들을 처리하는 방법에 있어서,
3 차원 (3dimension: 3D) 이미지를 평면 공간에 투영하여 생성된 2차원 (2D) 이미지에 대한 미디어 데이터와, 상기 미디어 데이터와 관련된 메타데이터를 수신하는 과정과;
상기 수신된 메타데이터에 기초하여, 상기 수신된 미디어 데이터를 렌더링하는 과정을 포함하고,
상기 3D 이미지는 상기 360도 멀티뷰 이미지들을 기반으로 생성되고,
상기 메타데이터는,
복수의 3D 모델들 중 상기 2D 이미지를 3D 모델에 매핑하기 위한 상기 3D 모델을 나타내는 정보, 및
상기 3D 이미지에 대한 x축, y축, z축 각각에 따른 회전 각도를 나타내는 정보를 포함하는,
방법.
제7항에 있어서,
상기 수신된 미디어 데이터를 렌더링하는 과정은,
상기 3D 모델을 나타내는 정보를 기반으로 상기 2D 이미지를 상기 3D 모델에 매핑하는 과정과;
상기 회전 각도를 나타내는 정보를 기반으로 상기 3D 모델에 매핑된 2D 이미지를 회전하는 과정을 더 포함하는 방법.
제8항에 있어서,
상기 2D 이미지에 제어 그리드(control grid) 보간 방법을 적용하는 과정을 더 포함하고,
상기 제어 그리드 보간 방법은 상기 3D 이미지의 분할 영역들의 각 모서리를 매핑하기 위해 상기 분할 영역들의 제어 포인트들을 x축 또는 y축 방향으로 미리 정해진 거리만큼 이동시켜 가변하는 방법인 방법.
360도 영상의 처리 장치에 있어서,
송수신기;
상기 송수신기를 제어하도록 구성되는 프로세서를 포함하고,
상기 프로세서는,
3 차원 (3dimension: 3D) 이미지를 평면 공간에 투영하여 생성된 2차원 (2D) 이미지에 대한 미디어 데이터와, 상기 미디어 데이터와 관련된 메타데이터를 식별하고,
상기 식별된 미디어 데이터와 상기 식별된 메타데이터를 전송하도록 구성되고,
상기 3D 이미지는 상기 360도 멀티뷰 이미지들을 기반으로 생성되고,
상기 메타데이터는,
복수의 3D 모델들 중 상기 2D 이미지를 3D 모델에 매핑하기 위한 상기 3D 모델을 나타내는 정보, 및
상기 3D 이미지에 대한 x축, y축, z축 각각에 따른 회전 각도를 나타내는 정보를 포함하는,
장치.
제10항에 있어서,
상기 프로세서는,
분할 크기, 회전 각도들 및 상기 3D 이미지에 대한 보간 방법에 기초한 2D 이미지들에 대한 왜곡(distortion)의 정도와 다른 분할 크기들, 다른 회전 각도들 및 다른 보간 방법에 기초한 2D 이미지들의 왜곡의 정도를 비교하는 것에 의해, 미리 결정된 비트레이트에서 상기 분할 크기, 상기 회전 각도들 및 상기 보간 방법이 왜곡을 최소화하는지 여부를 결정하도록 구성되고,
상기 메타데이터는 상기 3D 이미지에 대한 상기 분할 크기 및 상기 보간 방법을 나타내는 정보를 더 포함하는 장치.
제11항에 있어서,
상기 프로세서는,
상기 미리 결정된 비트레이트에서, 상기 분할 크기, 상기 회전 각도들 및 상기 보간 방법이 왜곡을 최소화하지 않는 것으로 결정되는 경우, 상기 분할 크기, 상기 회전 각도들 및 상기 보간 방법을 다시 결정하도록 구성되는 장치.
제10항에 있어서,
상기 프로세서는,
상기 3D 이미지의 분할 영역들의 각 모서리를 매핑하기 위해 상기 분할 영역들 내의 제어 포인트들을 x축 또는 y축 방향으로 미리 정해진 거리만큼 이동시키는 제어 그리드(grid) 보간 방법을 적용할지 여부를 결정하도록 구성되고,
상기 제어 포인트들은 상기 분할 영역들의 코너들인 장치.
제11항에 있어서,
상기 3D 이미지에 대한 상기 분할 크기는 상기 2D 이미지에 대한 왜곡의 정도와 상기 메타데이터의 양에 기초하여 전체 RD(rate-distortion) 코스트(cost)를 최소화하기 위한 값으로 결정되는 장치.
제10항에 있어서,
상기 프로세서는,
상기 3D 이미지에서 배경을 제외한 컨텐츠를 상기 2D 이미지에서 상대적으로 덜 왜곡되는 영역들로 매핑하고,
상기 3D 영상의 배경 컨텐츠를 상기 2D 이미지에서 상대적으로 더 왜곡되는 영역들로 매핑하도록 구성되는 장치.
360도 영상의 처리 장치에 있어서,
송수신기;
상기 송수신기를 제어하도록 구성되는 프로세서를 포함하고,
상기 프로세서는,
3 차원 (3dimension: 3D) 이미지를 평면 공간에 투영하여 생성된 2차원 (2D) 이미지에 대한 미디어 데이터와, 상기 미디어 데이터와 관련된 메타데이터를 수신하고,
상기 수신된 메타데이터에 기초하여, 상기 수신된 미디어 데이터를 렌더링하도록 구성되고,
상기 3D 이미지는 상기 360도 멀티뷰 이미지들을 기반으로 생성되고,
상기 메타데이터는,
복수의 3D 모델들 중 상기 2D 이미지를 3D 모델에 매핑하기 위한 상기 3D 모델을 나타내는 정보, 및
상기 3D 이미지에 대한 x축, y축, z축 각각에 따른 회전 각도를 나타내는 정보를 포함하는,
장치.
제16항에 있어서,
상기 프로세서는,
상기 수신된 미디어 데이터를 렌더링할 때, 상기 3D 모델을 나타내는 정보를 기반으로 상기 2D 이미지를 상기 3D 모델에 매핑하고,
상기 회전 각도를 나타내는 정보를 기반으로 상기 3D 모델에 매핑된 2D 이미지를 회전하도록 더 구성되는 장치.
제17항에 있어서,
상기 프로세서는,
상기 2D 이미지에 제어 그리드(control grid) 보간 방법을 적용하도록 더 구성되고,
상기 제어 그리드 보간 방법은 상기 3D 이미지의 분할 영역들의 각 모서리를 매핑하기 위해 상기 분할 영역들의 제어 포인트들을 x축 또는 y축 방향으로 미리 정해진 거리만큼 이동시켜 가변하는 방법인 장치.
삭제
삭제