KR102424814B1 - 키넥트 영상 데이터 부호화 장치 및 그 방법 - Google Patents
키넥트 영상 데이터 부호화 장치 및 그 방법 Download PDFInfo
- Publication number
- KR102424814B1 KR102424814B1 KR1020180005957A KR20180005957A KR102424814B1 KR 102424814 B1 KR102424814 B1 KR 102424814B1 KR 1020180005957 A KR1020180005957 A KR 1020180005957A KR 20180005957 A KR20180005957 A KR 20180005957A KR 102424814 B1 KR102424814 B1 KR 102424814B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- kinect
- depth
- encoding
- depth image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000010606 normalization Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012937 correction Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
- Studio Circuits (AREA)
Abstract
본 발명은 키넥트 영상 데이터 부호화 장치 및 그 방법에 관한 것으로, 본 발명의 일실시예에 따른 키넥트 영상 데이터 부호화 장치는, 키넥트로부터 입력된 깊이 영상 데이터의 범위 차이에 대한 오프셋을 보정하기 위한 오프셋 보정부; 상기 보정된 깊이 영상 데이터의 깊이값에 대해 표현 가능한 최대 비트 범위 내에 포함되도록 정규화 처리를 수행하기 위한 정규화 처리부; 및 상기 정규화 처리된 깊이 영상 데이터에 대한 부호화 과정을 진행하여 깊이 비트 스트림을 출력하기 위한 깊이 영상 부호화부;를 포함한다.
Description
본 발명은 키넥트 영상 데이터 부호화 장치 및 그 방법에 관한 것으로서, 보다 상세하게는, 키넥트로부터 취득된 키넥트 영상 데이터(즉, RGB 영상 데이터 및 깊이 영상 데이터)를 분리하여 데이터 종류에 따라 적절한 부호화 방식을 적용함으로써 데이터 손실을 줄이기 위한, 키넥트 영상 데이터 부호화 장치 및 그 방법에 관한 것이다.
3차원 비디오는 차세대 멀티미디어 컨텐츠 포맷으로 주목받고 있고, 2차원 비디오를 대체할 것으로 기대된다. 이러한 3차원 비디오는 능동 센서 기반의 키넥트(kinect)를 이용하여 사물로부터 직접 깊이 정보를 얻을 수 있다.
'키넥트'라 함은 콘트롤러 없이 이용자의 신체를 이용하여 게임과 엔터테인먼트를 경험할 수 있는 엑스박스 360과 연결해서 사용하는 주변기기를 말한다.
여기서, 키넥트는 적외선 카메라의 중심점을 원점으로 하여 객체를 3차원으로 표시한다. Z축은 영상영역(image plane)에 수직이고, X축은 Z축에 대하여 수직이며, 적외선 카메라에서 레이저 프로젝터로 향하는 방향이다. Y축은 Z축과 X축에 대하여 수직이다.
키넥트는 RGB 카메라, 적외선 센서, 적외선 프로젝터 및 4개의 마이크로폰으로 구성된다. RGB 카메라는 색상 정보를 획득하며, 적외선 센서 및 적외선 프로젝터는 전면 물체에 픽셀 단위의 적외선을 송출하고 반사되어 돌아오는 것을 받아들여 거리 정보를 획득하게 된다.
센서들은 색상 뷰(color view), 영상의 깊이 정보를 나타내는 깊이 뷰(depth view), 객체의 골격을 나타내는 골격 뷰(skeleton view)를 얻을 수 있다. 이때, 센서들은 사람 신체의 47개 부위를 초당 30번씩 감지한다.
깊이 영상 데이터는 픽셀 별 키넥트와 대상체간의 상대적 거리를 나타내며, 이를 이미지 형태의 정보로 나타내는 것을 깊이맵(depth map)이라고 한다. 카메라에서 가까운 픽셀은 밝은 픽셀, 즉 높은 값을 가지며, 멀수록 낮은 값을 가지게 된다.
깊이 영상 데이터는 도 1을 참조하면, 총 16비트의 데이터로 표현하게 되는데, 3비트는 플레이어 인덱스(player index)로서 인간의 형태를 감지하기 위한 정보이며, 13비트는 깊이 비트(depth bits)이다. 여기서, 깊이 비트 13비트 중 12비트는 각 픽셀의 깊이 정보를 담고, 1비트는 깊이 측정의 불가여부에 사용된다. 도 1은 깊이 영상 데이터의 프레임을 나타낸 도면이다.
깊이맵은 3차원 비디오 합성에서 중요한 역할을 하게 된다. 이의 효율적인 압축은 추가적인 비트를 절약할 수 있으며, 결과적으로 영상 전송, 저장 및 재생 시 품질을 향상시킬 수 있다.
그런데, 2차원 비디오 코덱은 깊이 영상 데이터를 반영하는 알고리즘이 설계되어 있지 않기 때문에, 깊이 영상 데이터를 표준화된 방식으로 부호화/복호화할 수 있는 방식이 아직 체계적으로 정립되어 있지 않다.
따라서, 종래에는 깊이 영상 데이터가 포함된 3차원 비디오를 부호화/복호화할 수 있는 방안이 마련될 필요성이 있다.
본 발명의 목적은 키넥트로부터 취득된 키넥트 영상 데이터(즉, RGB 영상 데이터 및 깊이 영상 데이터)를 분리하여 데이터 종류에 따라 적절한 부호화 방식을 적용함으로써 데이터 손실을 줄이기 위한, 키넥트 영상 데이터 부호화／복호화 장치 및 그 방법을 제공하는데 있다.
본 발명의 일실시예에 따른 키넥트 영상 데이터 부호화 장치는, 키넥트로부터 입력된 깊이 영상 데이터의 범위 차이에 대한 오프셋을 보정하기 위한 오프셋 보정부; 상기 보정된 깊이 영상 데이터의 깊이값에 대해 표현 가능한 최대 비트 범위 내에 포함되도록 정규화 처리를 수행하기 위한 정규화 처리부; 및 상기 정규화 처리된 깊이 영상 데이터에 대한 부호화 과정을 진행하여 깊이 비트 스트림을 출력하기 위한 깊이 영상 부호화부;를 포함할 수 있다.
일실시예에 의하면, 상기 키넥트로부터 입력된 RGB 영상 데이터에 대한 암호화를 수행하기 위한 RGB 영상 부호화부;를 더 포함할 수 있다.
상기 깊이 영상 부호화부는, H.265/HEVC 코덱을 이용하여 부호화 과정을 수행하는 것일 수 있다.
상기 RGB 영상 부호화부는, H.264 코덱을 이용하여 부호화 과정을 수행하는 것일 수 있다.
상기 오프셋 보정부는, 상기 깊이 영상 데이터의 범위에서 최소값을 영점으로 맞춰주는 것일 수 있다.
상기 표현 가능한 최대 비트는, 12비트일 수 있다.
또한, 본 발명의 일실시예에 따른 키넥트 영상 데이터 부호화 방법은, 키넥트로부터 입력된 깊이 영상 데이터의 범위 차이에 대한 오프셋을 보정하는 단계; 상기 보정된 깊이 영상 데이터의 깊이값에 대해 표현 가능한 최대 비트 범위 내에 포함되도록 정규화 처리를 수행하는 단계; 및 상기 정규화 처리된 깊이 영상 데이터에 대한 부호화 과정을 진행하여 깊이 비트 스트림을 출력하는 단계;를 포함할 수 있다.
일실시예에 의하면, 상기 키넥트로부터 입력된 RGB 영상 데이터에 대한 암호화를 수행하는 단계;를 더 포함할 수 있다.
본 발명은 키넥트로부터 취득된 키넥트 영상 데이터(즉, RGB 영상 데이터 및 깊이 영상 데이터)를 분리하여 데이터 종류에 따라 적절한 부호화 방식을 적용함으로써 데이터 손실을 줄일 수 있다.
또한, 본 발명은 깊이 영상 데이터에 대해 H.265/HEVC 코덱을 사용하여 부호화함으로써 데이터 손실 없이 압축할 수 있다.
또한, 본 발명은 능동 센서 기반 3차원 이미지 제작이 가능하여 저비용으로 고성능의 3차원 이미지 생성 및 저장, 데이터로부터 3차원 이미지 합성 등을 할 수 있다.
또한, 본 발명은 H.265/HEVC 코덱을 사용하여 2차원 영상을 압축하고, 추가적으로 깊이 영상 데이터를 확장 프로파일에 저장하여 3차원 영상 제작시 데이터 부호화에 널리 활용할 수 있다.
또한, 본 발명은 3차원 영상 렌더링 작업 시 용량의 오버헤드로 제한이 예상되는 모바일 장치에도 적극 활용할 수 있다.
또한, 본 발명은 H.265/HEVC 코덱의 확장 프로파일인 모노크롬 12를 채택하여 낭비되는 공간 없이 깊이 영상 데이터를 담을 수 있다.
또한, 본 발명은 기계 학습을 이용하여 특징을 추출하여 학습하는 데이터 위주로 정보를 처리하는 시스템에 효율적으로 활용될 수 있다.
또한, 본 발명은 움직임을 주로 처리하는 경우 데이터 처리 대상 용량을 줄여서 3차원을 표현할 수 있기 때문에 데이터 저장 및 처리를 용이하게 구현할 수 있다.
또한, 본 발명은 H.265/HEVC 코덱은 여타의 코덱보다 향상된 압축률을 보이며 저용량으로 고해상도의 영상 데이터를 처리할 수 있다는 이점이 있기 때문에, 깊이 영상 데이터를 포함하여 3차원 비디오를 처리할 때 유리한 이점을 제공할 수 있다.
도 1은 깊이 영상 데이터의 프레임을 나타낸 도면,
도 2는 본 발명의 일실시예에 따른 키넥트 영상 데이터 부호화 장치를 나타낸 도면,
도 3은 본 발명의 일실시예에 따른 키넥트 영상 데이터 복호화 장치를 나타낸 도면,
도 4는 본 발명의 일실시예에 따른 키넥트 영상 데이터 부호화/복호화 방법을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 키넥트 영상 데이터 부호화 장치를 나타낸 도면,
도 3은 본 발명의 일실시예에 따른 키넥트 영상 데이터 복호화 장치를 나타낸 도면,
도 4는 본 발명의 일실시예에 따른 키넥트 영상 데이터 부호화/복호화 방법을 나타낸 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 2는 본 발명의 일실시예에 따른 키넥트 영상 데이터 부호화 장치를 나타낸 도면이고, 도 3은 본 발명의 일실시예에 따른 키넥트 영상 데이터 복호화 장치를 나타낸 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 키넥트 영상 데이터 부호화 장치(100a)는, 키넥트(10)로부터 취득된 키넥트 영상 데이터(즉, RGB 영상 데이터 및 깊이 영상 데이터)를 분리하여 데이터 종류에 따라 적절한 부호화 방식을 적용함으로써 데이터 손실을 줄일 수 있다.
깊이 영상 데이터는 도 1과 같이 최대 12비트의 값으로 표현이 가능하고, 이를 압축하기 위한 방식으로 영상 코덱을 사용하여 부호화(압축)하는 방식을 고려해볼 수 있다.
키넥트(10)는 640×480 픽셀의 RGB 영상 데이터와 깊이맵을 생성할 수 있다. 깊이맵은 데이터로 표현되고, 스트림이나 신호로 전달하기 위해 부호화 과정이 필요하다.
일반적으로, 비디오 정보는 부호화하는 경우에 코덱(codec)을 사용하게 된다. 코덱은 임의의 데이터 스트림을 부호화(Encoding) 및 복호화(Decoding) 하는 소프트웨어 또는 하드웨어를 의미한다.
여기서는 RGB 영상 데이터를 H.264 코덱에 따라 부호화하고, 깊이 영상 데이터를 H.265/HEVC(High Efficiency Video Coding) 코덱에 따라 부호화하는 경우에 대해 설명하기로 한다. 이에 한정되지 않고, 이외에도 예를 들어 MP3G-1, MPEG-2, MPEG-4, H.264/AVC, MVC, SVC 등을 적용할 수도 있다.
특히, H.265/HEVC 코덱은 기존 H.264 코덱을 개발한 ISO/IEC MPEG와 ITU-U 의 영상 부호화 전문가 그룹이 협력해 개발한 차세대 영상 압축 기술이다. 이러한 H.265/HEVC 코덱은 주 프로파일을 다수 가지고 있는데, 버전1에서 Main, Main 10, Main Still Picture가 주를 이루며, 버전2에서 확장 프로파일 21개가 추가되었다. 확장 프로파일은 비트 깊이, 4:2:2/4:4:4 크로마 샘플링, 멀티뷰 비디오 코딩(MVC), 확장 비디오코딩(SCV) 등의 다양한 요소를 포함하게 된다.
이처럼, H.265/HEVC 코덱의 프로파일은 버전2의 모노크롬 12(monochrome 12) 또는 그 이상의 프로파일을 이용한 코덱을 사용하여 12비트 깊이 영상 데이터를 표현하게 된다.
이는 깊이 영상 데이터의 입력값 범위가 12비트 범위 내에 표현될 수 있다는 점에 기인한다.
다시 말해, 깊이 영상 데이터는 픽셀별로 8비트 부호화를 진행하는 H.264 코덱으로 압축을 진행하면 정보 손실이 발생할 수 있다. 그런데, 깊이 영상 데이터는 부호화 이후에 데이터 손실 없는 복호화가 가능한지에 따라 판독 가능성이 달라질 수 있기 때문에 정보 손실 없이 압축하는 방식이 필요하다. 예를 들어, 수화 인식 시스템은 정교한 깊이 영상 데이터를 복호화할 수 있는지에 따라 손짓에 대한 판독 가능성이 높아질 수 있기 때문에 가능한 손실이 없는 압축 방식이 필요하다.
이에 따라, 깊이 영상 데이터는 RGB 영상 데이터와 동일하게 H.264 코덱을 적용하여 부호화하지 않고, RGB 영상 데이터와 분리하여 H.265/HEVC 코덱을 적용하여 부호화한다.
다시 도 2를 참조하면, 키넥트 영상 데이터 부호화 장치(100a)는 깊이 영상 데이터를 H.265/HEVC 코덱으로 부호화하기 위해 H.265/HEVC 코덱에서 원하는 형식(format)으로 맞추는 과정이 필요하다. 이를 위해, 키넥트 영상 데이터 부호화 장치(100a)는 키넥트 버전에 따라 오프셋을 제거하여 12비트에 맞게 변환시키는 전처리 과정을 수행한다.
키넥트 영상 데이터 부호화 장치(100a)는 RGB 영상 부호화부(110a), 깊이 영상 전처리부(210a), 깊이 영상 부호화부(220a)를 포함한다.
RGB 영상 부호화부(110a)는 키넥트(10)로부터 입력된 RGB 영상 데이터에 대한 부호화 과정을 진행하여 RGB 비트 스트림을 출력한다. 이때, RGB 영상 부호화부(110a)는 H.264 코덱을 적용하여 RGB 영상 데이터에 대한 부호화 과정을 진행한다.
깊이 영상 전처리부(210a)는 키넥트(10)로부터 입력된 깊이 영상 데이터에 대해 H.265/HEVC 코덱을 적용하여 부호화를 진행하기 위한 전처리 과정을 수행한다. 깊이 영상 전처리부(210a)는 오프셋 보정부(211)와 정규화 처리부(212)를 포함한다.
오프셋 보정부(211)는 키넥트 버전에 따라 나타내는 깊이 영상 데이터의 범위 차이에 대한 오프셋을 보정한다. 즉, 오프셋 보정부(211)는 키넥트 버전에 따라 깊이 영상 데이터에서 0∼4096 또는 500∼4500으로 범위 차이가 발생하는 경우에 오프셋을 영점(0점)으로 맞춰주는 오프셋 보정을 수행한다.
오프셋 보정부(211)는 깊이 영상 데이터의 범위가 500∼4500와 같이 깊이값 500을 최소값으로 가지는 경우에, 오프셋 보정을 아래 수학식 1처럼 수행하여 깊이값을 영점 기준으로 조정한다.
정규화 처리부(212)는 오프셋 보정부(211)를 통해 오프셋 보정 과정을 수행한 후, 보정된 깊이값에 대해 12비트(즉, 4096개 값) 범위 내에 들어오도록 정규화 처리를 수행한다.
즉, 정규화 처리부(212)는 최대값이 12비트(즉, 4096개 값)을 넘지 않는 경우에 그대로 이용하며, 최대값이 12비트(즉, 4096개 값)을 넘는 경우에 정규화 처리를 수행한다.
정규화 처리부(212)는 아래 수학식 2와 같이 깊이값에 대한 정규화 처리를 수행한다.
깊이 영상 부호화부(220a)는 정규화 처리부(212)로부터 정규화된 깊이 영상 데이터에 대한 부호화 과정을 진행하여 깊이 비트 스트림을 출력한다. 이때, 깊이 영상 부호화부(220a)는 H.265/HEVC 코덱을 적용하여 깊이 영상 데이터에 대한 부호화 과정을 진행한다.
이와 같이, RGB 비트 스트림 및 깊이 비트 스트림은 파일로 저장하거나 네트워크를 통해 전송될 수 있다.
도 3을 참조하면, 키넥트 영상 데이터 복호화 장치(100b)는 RGB 비트 스트림 및 깊이 비트 스트림을 복호화한다. 즉, 키넥트 영상 데이터 복호화 장치(100b)는 RGB 비트 스트림 및 깊이 비트 스트림에 대해 역으로 재생하거나 정보를 추출하기 위해 전술한 키넥트 영상 데이터 부호화 장치(100a)의 수행 과정을 반대로 진행한다.
키넥트 영상 데이터 복호화 장치(100b)는 RGB 영상 복호화부(110b), 깊이 영상 복호화부(220b), 깊이 영상 후처리부(210b)를 포함한다.
RGB 비트 스트림은 복호화를 통해 화면에 재생하거나, 깊이 비트 스트림은 복호화를 통해 흑백 화면으로 표현할 수 있다. 이때, 픽셀 별로 0∼255값으로 변환하는 과정을 거친다.
수화 인식 시스템은 깊이 비트 스트림을 복호화하여 특징값(Feature Vector)을 추출하여 기계학습에 사용할 수 있다.
도 4는 본 발명의 일실시예에 따른 키넥트 영상 데이터 부호화/복호화 방법을 나타낸 도면이다.
키넥트 영상 데이터 부호화 장치(100a)는 RGB 영상 데이터에 대한 부호화를 통해 RGB 비트 스트림을 출력한다(S101). 이때, 키넥트 영상 데이터 부호화 장치(100a)는 H.264 코덱을 이용한다.
이와 동시에, 키넥트 영상 데이터 부호화 장치(100a)는 깊이 영상 데이터에 대한 오프셋 보정을 수행한다(S201). 이때, 키넥트 영상 데이터 부호화 장치(100a)는 깊이 영상 데이터의 범위 최소값을 영점 기준으로 조정한다.
이후, 키넥트 영상 데이터 부호화 장치(100a)는 보정된 깊이 영상 데이터에 대한 정규화 처리를 수행한다(S202). 이때, 키넥트 영상 데이터 부호화 장치(100a)는 보정된 깊이값에 대해 표현 가능한 최대 비트(즉, 12비트) 범위 내에 포함되도록 정규화 처리를 수행한다.
그런 다음, 키넥트 영상 데이터 부호화 장치(100a)는 깊이 영상 데이터에 대한 부호화를 통해 깊이 비트 스트림을 출력한다(S203). 이때, 키넥트 영상 데이터 부호화 장치(100a)는 H.265/HEVC 코덱을 이용한다.
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.
10 : 키넥트 110a : RGB 영상 부호화부
210a : 깊이 영상 전처리부 211 : 오프셋 보정부
212 : 정규화 처리부 220a : 깊이 영상 부호화부
110b : RGB 영상 복호화부 210b : 깊이 영상 후처리부
220b : 깊이 영상 복호화부
210a : 깊이 영상 전처리부 211 : 오프셋 보정부
212 : 정규화 처리부 220a : 깊이 영상 부호화부
110b : RGB 영상 복호화부 210b : 깊이 영상 후처리부
220b : 깊이 영상 복호화부
Claims (8)
- 키넥트로부터 입력된 키넥트 버전에 따라 미리 설정되는 깊이 영상 데이터의 범위에 따른 차이에 대한 오프셋을 보정하기 위한 오프셋 보정부;
상기 보정된 깊이 영상 데이터의 깊이값에 대해 표현 가능한 최대 비트 범위 내에 포함되도록 정규화 처리를 수행하기 위한 정규화 처리부; 및
상기 정규화 처리된 깊이 영상 데이터에 대한 부호화 과정을 진행하여 깊이 비트 스트림을 출력하기 위한 깊이 영상 부호화부;를 포함하며,
상기 오프셋 보정부는,
상기 깊이 영상 데이터의 범위에서 최소값을 영점으로 맞춰주며,
상기 표현 가능한 최대 비트는, 12비트이고,
상기 정규화 처리부는 보정된 상기 깊이값이 12비트을 넘지 않는 경우에 그대로 이용하며, 상기 깊이값이 12비트를 넘는 경우에 정규화 처리를 수행하며,
상기 정규화 처리는 수학식을 이용하여 이루어지는 키넥트 영상 데이터 부호화 장치.
- 제 1 항에 있어서,
상기 키넥트로부터 입력된 RGB 영상 데이터에 대한 암호화를 수행하기 위한 RGB 영상 부호화부;
를 더 포함하는 키넥트 영상 데이터 부호화 장치.
- 제 1 항에 있어서,
상기 깊이 영상 부호화부는,
H.265/HEVC 코덱을 이용하여 부호화 과정을 수행하는 것인 키넥트 영상 데이터 부호화 장치.
- 제 2 항에 있어서,
상기 RGB 영상 부호화부는,
H.264 코덱을 이용하여 부호화 과정을 수행하는 것인 키넥트 영상 데이터 부호화 장치.
- 삭제
- 삭제
- 키넥트로부터 입력된 키넥트 버전에 따라 미리 설정되는 깊이 영상 데이터의 범위에 따른 차이에 대한 오프셋을 보정하는 단계;
상기 보정된 깊이 영상 데이터의 깊이값에 대해 표현 가능한 최대 비트 범위 내에 포함되도록 정규화 처리를 수행하는 단계; 및
상기 정규화 처리된 깊이 영상 데이터에 대한 부호화 과정을 진행하여 깊이 비트 스트림을 출력하는 단계;를 포함하며,
상기 보정하는 단계는,
상기 깊이 영상 데이터의 범위에서 최소값을 영점으로 맞춰주며,
상기 표현 가능한 최대 비트는, 12비트이고,
정규화 처리부는 보정된 상기 깊이값이 12비트을 넘지 않는 경우에 그대로 이용하며, 상기 깊이값이 12비트를 넘는 경우에 정규화 처리를 수행하며,
상기 정규화 처리는 수학식을 이용하여 이루어지는 키넥트 영상 데이터 부호화 방법.
- 제 7 항에 있어서,
상기 키넥트로부터 입력된 RGB 영상 데이터에 대한 암호화를 수행하는 단계;
를 더 포함하는 키넥트 영상 데이터 부호화 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180005957A KR102424814B1 (ko) | 2018-01-17 | 2018-01-17 | 키넥트 영상 데이터 부호화 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180005957A KR102424814B1 (ko) | 2018-01-17 | 2018-01-17 | 키넥트 영상 데이터 부호화 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190087764A KR20190087764A (ko) | 2019-07-25 |
| KR102424814B1 true KR102424814B1 (ko) | 2022-07-26 |
Family
ID=67468700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180005957A KR102424814B1 (ko) | 2018-01-17 | 2018-01-17 | 키넥트 영상 데이터 부호화 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102424814B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11475652B2 (en) | 2020-06-30 | 2022-10-18 | Samsung Electronics Co., Ltd. | Automatic representation toggling based on depth camera field of view |
| US20220005215A1 (en) * | 2020-07-01 | 2022-01-06 | Samsung Electronics Co., Ltd. | Efficient encoding of depth data across devices |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3653172B2 (ja) * | 1998-03-18 | 2005-05-25 | 株式会社リコー | 符号化装置、符号化方法、復号化装置及び復号化方法 |
| KR101841914B1 (ko) * | 2011-11-08 | 2018-03-27 | 한국전자통신연구원 | 컬러 영상 및 깊이 영상을 포함하는 다시점 비디오의 부호화 및 복호화 방법, 그리고 부호화 및 복호화 장치 |
| CN103297766B (zh) | 2012-02-23 | 2016-12-14 | 中兴通讯股份有限公司 | 一种三维图像数据中顶点数据的压缩方法及装置 |
| KR101458986B1 (ko) * | 2013-04-22 | 2014-11-13 | 광운대학교 산학협력단 | 키넥트 기반 실시간 다시점 영상 생성 방법 |
-
2018
- 2018-01-17 KR KR1020180005957A patent/KR102424814B1/ko active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 김수현 외, TOF 깊이 카메라와 DSLR을 이용한 복합형 카메라 시스템 구성 방법, 방송공학회논문지 제19권 제4호 (2014.07.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190087764A (ko) | 2019-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11595667B2 (en) | Constraints on locations of reference blocks for intra block copy prediction | |
| KR102287947B1 (ko) | 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치 | |
| JP6029583B2 (ja) | 立体画像及びマルチビュー画像の伝送、処理及びレンダリングのためのシステム及び方法 | |
| US10412413B2 (en) | Image processing device and image processing method | |
| JP7085009B2 (ja) | マルチ符号ビット隠蔽及び残差符号予測を和合する方法及び装置 | |
| CN112673625A (zh) | 混合视频以及特征编码和解码 | |
| US11200639B1 (en) | Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network | |
| EP3738309A1 (en) | Method and apparatus for detecting blocks suitable for multiple sign bit hiding | |
| KR102424814B1 (ko) | 키넥트 영상 데이터 부호화 장치 및 그 방법 | |
| WO2022076051A1 (en) | Method and apparatus in video coding for machines | |
| KR20210075201A (ko) | 인트라 예측을 위한 방법 및 장치 | |
| US20180270493A1 (en) | Image compression | |
| US20230276070A1 (en) | Artificial intelligence (ai) encoding apparatus and method and ai decoding apparatus and method for region of object of interest in image | |
| CN116847087A (zh) | 视频处理方法、装置、存储介质及电子设备 | |
| KR20220063063A (ko) | 인공지능 부호화 및 인공지능 복호화를 수행하기 위한 방법 및 장치 | |
| JP2014090253A (ja) | 動画像符号化装置、動画像符号化方法およびプログラム | |
| KR102421719B1 (ko) | 저복잡도 신경망을 이용한 영상의 ai 부호화 장치 및 방법, ai 복호화 장치 및 방법 | |
| US20240195959A1 (en) | Subblock-based adaptive interpolation filter in digital video coding | |
| KR102421718B1 (ko) | 인공지능 부호화 및 인공지능 복호화를 수행하기 위한 방법 및 장치 | |
| US20240163477A1 (en) | 3d prediction method for video coding | |
| KR20220063061A (ko) | 영상 내 관심 오브젝트 영역을 위한 ai 부호화 장치 및 방법, 및 ai 복호화 장치 및 방법 | |
| US20230145525A1 (en) | Image encoding apparatus and image decoding apparatus both using artificial intelligence, and image encoding method and image decoding method performed by the image encoding apparatus and the image decoding apparatus | |
| KR102569447B1 (ko) | 복호화 장치 및 그 동작방법, 및 ai 업 스케일 장치 및 그 동작방법 | |
| CN116458157A (zh) | 用于图像中感兴趣的对象区域的ai编码装置和方法以及ai解码装置和方法 | |
| WO2012060168A1 (ja) | 符号化装置、復号装置、符号化方法、復号方法、プログラム、記録媒体、および符号化データ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |