KR101684834B1 - Method, device and system for resizing and restoring original depth frame - Google Patents
Method, device and system for resizing and restoring original depth frame Download PDFInfo
- Publication number
- KR101684834B1 KR101684834B1 KR1020160106694A KR20160106694A KR101684834B1 KR 101684834 B1 KR101684834 B1 KR 101684834B1 KR 1020160106694 A KR1020160106694 A KR 1020160106694A KR 20160106694 A KR20160106694 A KR 20160106694A KR 101684834 B1 KR101684834 B1 KR 101684834B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- depth frame
- subpixel
- original depth
- original
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 오리지널 심도 프레임을 리사이징 및 복원하는 방법, 장치 및 시스템을 개시한다. 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 방법은, 오리지널 심도 프레임의 적어도 2개의 픽셀의 2개의 서브 픽셀값을 각각 획득하는 단계 및 상기 서브 픽셀값들을 리사이즈된 심도 프레임의 1개의 픽셀의 2개의 서브 픽셀 내에 각각 대응되게 저장하는 단계를 포함한다. 이 밖에, 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 방법은, 리사이즈된 심도 프레임의 픽셀의 제1 서브 픽셀값을 획득하는 단계와, 제1 서브 픽셀값을 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하는 단계와, 리사이즈된 심도 프레임의 픽셀의 제2 서브 픽셀값을 획득하는 단계 및 제2 서브 픽셀값을 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장하는 단계를 포함한다.The present invention discloses a method, apparatus and system for resizing and restoring an original depth frame. A method of resizing the size of an original depth frame into a resized depth frame comprises the steps of obtaining two subpixel values of at least two pixels of an original depth frame respectively and converting the subpixel values to a single pixel of a resized depth frame And correspondingly storing them in two subpixels. In addition, a method of restoring a resized depth frame to an original depth frame may include obtaining a first sub-pixel value of a pixel of the resized depth frame, and comparing the first sub-pixel value to all of the first pixels of the original depth- Storing in a subpixel, obtaining a second subpixel value of a pixel of the resized depth frame, and storing the second subpixel value in all subpixels of the second pixel of the original depthframe.
Description
본 발명은 오리지널 심도 프레임(original depth frame)을 리사이징 및 복원하는 방법, 장치 및 시스템에 관한 것이다.The present invention relates to a method, apparatus and system for resizing and restoring an original depth frame.
과학기술의 진보와 더불어 현재 전자제품의 발전은 모두 제품의 성능과 품질의 향상을 우선적으로 고려한다. 여기서, 디스플레이 기기의 설치에 있어서, 사용자에게 더욱 또렷하고 쾌적한 디스플레이 화면을 제공하는 것 외에, 각 제조업체는 끊임없이 3D(three-dimension) 디스플레이 기기를 출시하여 사용자들에게 새로운 시각적 느낌을 안겨준다.Along with the advancement of science and technology, the development of current electronic products all take priority to improve the performance and quality of products. Here, in addition to providing a clearer and more comfortable display screen to the user in the installation of the display device, each manufacturer continuously introduces a three-dimensional display device to give a new visual feeling to the users.
현단계에 있어서, 3D 영상 생성 시스템은 오리지널의 2D 영상 데이터, 즉 컬러 프레임(color frame)에 의해 상기 컬러 프레임과 대응되는 심도 프레임(depth frame)을 생성하고, 기존의 전송기기에 의해 컬러 프레임과 심도 프레임을 사용자의 3D 디스플레이 기기에 전송한다. 3D 디스플레이 기기에서 컬러 프레임과 심도 프레임을 수신한 후 연산을 진행함으로써 모든 무안경식 3D 디스플레이 기기에서 사용될 수 있는 2개 이상의 멀티뷰 영상을 얻거나 또는 안경식 3D 디스플레이 기기의 왼눈 영상 및 오른눈 영상을 얻을 수 있다.At this stage, the 3D image generation system generates a depth frame corresponding to the color frame by using the original 2D image data, i.e., a color frame, And transmits the depth frame to the user's 3D display device. After receiving the color frame and the depth frame from the 3D display device, the operation is performed to obtain two or more multi-view images that can be used in all the non-eye-tight 3D display devices, or the left eye image and the right eye image of the spectacle- .
하지만 기존 기술에 의하면, 상기 컬러 프레임과 심도 프레임을 전송하기 전에 데이터량의 감소 또는 압축 효율 강화의 처리를 진행하지 않아, 컬러 프레임과 심도 프레임을 전송할 때 데이터량 또는 처리 시간이력이 배가 된다. However, according to the existing technique, the amount of data or the processing time history is doubled when the color frame and the depth frame are transmitted, since the processing of the reduction of the data amount or the enhancement of the compression efficiency is not performed before transmitting the color frame and the depth frame.
도1에 도시된 바를 참조하면, 도1은 심도 프레임을 오리지널 형식(처리를 거치지 않음)으로 전송할 때의 픽셀 데이터 구조 설명도이다. 오리지널 심도 프레임(O)은 그레이 스케일 프레임이며, 대응되는 컬러 프레임의 각 픽셀이 3개의 서브 픽셀을 구비하는 것을 예로 하기 때문에, 오리지널 심도 프레임(O)의 각 픽셀의 서브 픽셀의 수량도 각각 3개이고, 이는 각각 레드, 그린, 블루 3개의 서브 픽셀(R, G, B)이다. 사실상, 오리지널 심도 프레임(O)은 그레이 스케일 프레임이므로, 매개 서브 픽셀은 각자의 서브 픽셀값(즉, 그레이 스케일 스케일 값)을 가지고 있지만, 사실상 매개 서브 픽셀값은 모두 동일하다.Referring to FIG. 1, FIG. 1 is an explanatory diagram of a pixel data structure when a depth frame is transmitted in an original format (not processed). Since the original depth frame O is a gray scale frame and each pixel of the corresponding color frame has three subpixels, the number of subpixels of each pixel of the original depth frame O is also three , Which are three red, green, and blue subpixels (R, G, B), respectively. In fact, since the original depth frame O is a gray scale frame, the intermediate subpixel has its own subpixel value (i.e., the gray scale scale value), but in fact the intermediate subpixel values are all the same.
상기 시스템에서 효율적인 프레임 압축 및 복원 방식을 제공하여 3D 영상 압축 및 복원 시스템에 적용시킴으로써 기존의 전송 기기 및 전송 대역폭의 부담을 감소시키는 것이 중요한 과제로 되고 있다.It is an important task to reduce the burden of existing transmission equipment and transmission bandwidth by providing an efficient frame compression and decompression method in the system and applying it to a 3D image compression and decompression system.
상기 과제를 감안하여, 본 발명의 목적은 3D 영상 압축 및 복원 시스템에 적용되어 압축 효율이 비교적 높고 데이터량이 비교적 적으며 전송 효율이 비교적 높은 우점을 구비함으로써 기존의 전송 기기 및 전송 대역폭의 부담을 효과적으로 감소시킬 수 있는 효율적인 오리지널 심도 프레임의 압축 및 복원 방법, 장치 및 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION In view of the above problems, an object of the present invention is to provide a 3D image compression and decompression system, which has a relatively high compression efficiency, a relatively small amount of data, and a relatively high transmission efficiency, And to provide a method, apparatus and system for efficiently compressing and restoring original depth-of-field frames.
상기 목적을 달성하기 위하여, 본 발명에 따른 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 방법은, 오리지널 심도 프레임의 적어도 2개의 픽셀의 2개의 서브 픽셀값을 각각 획득하는 단계 및 상기 서브 픽셀값들을 리사이즈된 심도 프레임의 1개의 픽셀의 2개의 서브 픽셀 내에 각각 대응되게 저장하는 단계를 포함한다.In order to achieve the above object, a method for resizing an original depth-of-field frame according to the present invention into a resized depth-frame comprises: obtaining two sub-pixel values of at least two pixels of an original depth- Values corresponding to each of the two sub-pixels of one pixel of the resized depth frame.
상기 목적을 달성하기 위하여, 본 발명에 따른 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 장치는 오리지널 심도 프레임의 적어도 2개의 픽셀의 2개의 서브 픽셀값을 각각 획득하기 위한 픽셀 획득 유닛 및 상기 서브 픽셀값들을 리사이즈된 심도 프레임의 1개의 픽셀의 2개의 서브 픽셀 내에 각각 대응되게 저장하기 위한 픽셀 저장 유닛을 포함한다.According to an aspect of the present invention, there is provided an apparatus for resizing an original depth-of-field frame into a resized depth frame, the apparatus comprising: a pixel acquiring unit for acquiring two subpixel values of at least two pixels of an original depth- And a pixel storage unit for correspondingly storing the subpixel values in two subpixels of one pixel of the resized depth frame.
상기 목적을 달성하기 위하여, 본 발명에 따른 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 시스템은 오리지널 심도 프레임을 저장하기 위한 기억 유닛 및 오리지널 심도 프레임의 적어도 2개의 픽셀의 2개의 서브 픽셀값을 각각 획득하고 상기 서브 픽셀값들을 리사이즈된 심도 프레임의 1개의 픽셀의 2개의 서브 픽셀 내에 각각 대응되게 저장하기 위한 처리 유닛을 포함한다.In order to achieve the above object, a system for resizing an original depth-of-field frame according to the present invention into a resized depth-frame comprises a storage unit for storing an original depth-of-frame and two sub-pixel values of at least two pixels of an original depth- And a processing unit for respectively storing the subpixel values in two subpixels of one pixel of the resized depth frame, respectively.
상기 목적을 달성하기 위하여, 본 발명에 따른 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 방법은, 리사이즈된 심도 프레임의 픽셀의 제1 서브 픽셀값을 획득하는 단계와, 제1 서브 픽셀값을 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하는 단계와, 리사이즈된 심도 프레임의 픽셀의 제2 서브 픽셀값을 획득하는 단계 및 제2 서브 픽셀값을 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장하는 단계를 포함한다.In accordance with another aspect of the present invention, there is provided a method of restoring a resized depth frame into an original depth frame, the method comprising: obtaining a first subpixel value of a pixel of a resized depth frame; Storing in a subpixel of a first pixel of the depth frame, obtaining a second subpixel value of a pixel of the resized depth frame, and storing the second subpixel value in all subpixels of the second pixel of the original depthframe, .
상기 목적을 달성하기 위하여, 본 발명에 따른 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 장치는 리사이즈된 심도 프레임의 픽셀의 적어도 제1 서브 픽셀값과 제2 서브 픽셀값을 획득하기 위한 픽셀 획득 유닛 및 제1 서브 픽셀값을 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하고 제2 서브 픽셀값을 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장하기 위한 픽셀 저장 유닛을 포함한다.In order to achieve the above object, an apparatus for reconstructing a resized depth frame according to the present invention into an original depth frame includes a pixel acquiring unit for acquiring at least a first subpixel value and a second subpixel value of a pixel of a resized depth frame, And a pixel storage unit for storing the first subpixel value in all subpixels of the first pixel of the original depth frame and storing the second subpixel value in all subpixels of the second pixel of the original depthframe.
상기 목적을 달성하기 위하여, 본 발명에 따른 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 시스템은 리사이즈된 심도 프레임을 저장하기 위한 기억 유닛 및 리사이즈된 심도 프레임의 픽셀의 적어도 제1 서브 픽셀값과 제2 서브 픽셀값을 획득하고, 제1 서브 픽셀값을 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하며, 제2 서브 픽셀값을 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장하기 위한 처리 유닛을 포함한다. In order to achieve the above object, a system for restoring a resized depth frame to an original depth frame according to the present invention includes a storage unit for storing a resized depth frame and a storage unit for storing a resized depth frame, 2 subpixel value, storing the first subpixel value in all subpixels of the first pixel of the original depth frame, and storing the second subpixel value in all subpixels of the second pixel of the original depthframe Processing unit.
상기와 같이, 본 발명에 따른 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 방법, 장치 및 시스템에서, 오리지널 심도 프레임의 적어도 2개의 픽셀의 2개의 서브 픽셀값을 각각 획득하고 상기 서브 픽셀값들은 리사이즈된 심도 프레임의 1개의 픽셀의 2개의 서브 픽셀 내에 각각 대응되게 저장한다. 이로써, 리사이즈된 심도 프레임의 데이터량이 단지 오리지널 심도 프레임의 적어도 1/3이 되도록 한다. 따라서, 본 발명은 효율적인 심도 프레임 압축 기술로서 3D 영상 압축 시스템에 적용될 수 있고, 압축 효율이 비교적 높고 데이터량이 비교적 적으며 전송 효율이 비교적 높은 우점을 구비한다. 전송에 적용될 경우, 기존의 전송 기기의 전송 대역폭의 부담을 효과적으로 감소시킨다.As described above, in a method, apparatus and system for resizing the size of an original depth-of-field frame according to the present invention into a resized depth frame, each of the two subpixel values of at least two pixels of an original depth- Correspondingly within two sub-pixels of one pixel of the resized depth frame. This ensures that the amount of data in the resized depth frame is only at least 1/3 of the original depth frame. Accordingly, the present invention can be applied to a 3D image compression system as an effective depth frame compression technique, and has a high compression efficiency, a relatively small amount of data, and a relatively high transmission efficiency. When applied to transmission, it effectively reduces the burden of the transmission bandwidth of the existing transmission equipment.
이 밖에, 본 발명에 따른 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 방법, 장치 및 시스템에서, 리사이즈된 심도 프레임의 픽셀의 제1 서브 픽셀값을 획득하는 단계와, 제1 서브 픽셀값을 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하는 단계와, 리사이즈된 심도 프레임의 픽셀의 제2 서브 픽셀값을 획득하는 단계 및 제2 서브 픽셀값을 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장하는 단계를 포함한다. 이로써, 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 방법, 장치 및 시스템은 기존의 것과 달리 3D 영상 복원 시스템에 적용될 수 있다.In addition, in a method, apparatus and system for restoring a resized depth frame according to the present invention to an original depth frame, obtaining a first sub-pixel value of a pixel of the resized depth frame, Storing in a subpixel of a first pixel of the depth frame, obtaining a second subpixel value of a pixel of the resized depth frame, and storing the second subpixel value in all subpixels of the second pixel of the original depthframe, . Thus, a method, apparatus, and system for restoring a resized depth frame to an original depth frame can be applied to a 3D image restoration system unlike the existing one.
도1은 심도 프레임을 오리지널 형식(처리를 거치지 않음)으로 전송할 때의 픽셀 데이터 구조도이다
도2a는 본 발명의 바람직한 실시예의 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 방법의 흐름도이다.
도2b는 본 발명의 바람직한 실시예의 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 장치의 기능 블록도이다.
도3a는 본 발명의 바람직한 실시예의 오리지널 심도 프레임의 설명도이다.
도3b 및 도3c는 각각 본 발명의 바람직한 실시예의 리사이징한 후의 2가지 리사이즈된 심도 프레임의 설명도이다.
도4a는 본 발명의 바람직한 실시예의 오리지널 심도 프레임의 영상 설명도이다.
도4b는 도4a에서 본 발명의 바람직한 실시예의 방법으로 리사이징한 후의 리사이즈된 심도 프레임의 영상 설명도이다.
도4c는 도4a에서 본 발명의 바람직한 실시예의 방법으로 리사이징한 후의 다른 리사이즈된 심도 프레임의 영상 설명도이다.
도5a는 본 발명의 바람직한 실시예의 다른 오리지널 심도 프레임의 설명도이다.
도5b 및 도5c는 각각 본 발명의 바람직한 실시예의 리사이징한 후의 다른 2가지 리사이즈된 심도 프레임의 설명도이다.
도6a는 본 발명의 바람직한 실시예의 다른 오리지널 심도 프레임의 영상 설명도이다.
도6b는 도6a에서 본 발명의 바람직한 실시예의 방법으로 리사이징한 후의 리사이즈된 심도 프레임의 영상 설명도이다.
도6c는 도6a에서 본 발명의 바람직한 실시예의 방법으로 리사이징한 후의 다른 리사이즈된 심도 프레임의 영상 설명도이다.
도7은 본 발명의 바람직한 실시예의 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 시스템의 기능 블록도이다.
도8은 본 발명의 바람직한 실시예의 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 방법의 흐름도이다.
도9는 본 발명의 바람직한 실시예의 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 장치의 기능 블록도이다.
도10a는 본 발명의 바람직한 실시예의 리사이즈된 심도 프레임의 설명도이다.
도10b 및 도10c는 각각 본 발명의 바람직한 실시예의 복원 후의 2가지 오리지널 심도 프레임의 설명도이다.
도11a는 본 발명의 바람직한 실시예의 리사이즈된 심도 프레임의 영상 설명도이다.
도11b는 상기 도10b의 바람직한 실시예의 방법으로 복원한 후의 오리지널 심도 프레임의 영상 설명도이다.
도11c는 상기 도10c의 바람직한 실시예의 방법으로 복원한 후의 다른 오리지널 심도 프레임의 영상 설명도이다.
도12a 및 도12b는 각각 본 발명의 다른 실시양태의 오리지널 심도 프레임 및 리사이즈된 심도 프레임의 설명도이다.
도12c는 본 발명의 또 다른 실시양태의 리사이즈된 심도 프레임의 설명도이다.
도13a는 본 발명의 바림직한 실시예의 다른 리사이즈된 심도 프레임의 영상 설명도이다.
도13b는 상기 도12b의 바람직한 실시예의 방법으로 복원한 후의 오리지널 심도 프레임의 영상 설명도이다.
도13c는 상기 도12c의 바람직한 실시예의 방법으로 복원한 후의 다른 오리지널 심도 프레임의 영상 설명도이다.
도14는 본 발명의 바람직한 실시예의 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 시스템의 기능 블록도이다.1 is a block diagram of a pixel data structure when a depth frame is transmitted in an original format (not processed)
2A is a flow chart of a method for resizing an original depth frame size of a preferred embodiment of the present invention into a resized depth frame.
FIG. 2B is a functional block diagram of an apparatus for resizing the size of an original depth-of-field frame in a preferred embodiment of the present invention into a resized depth-frame.
3A is an explanatory diagram of an original depth frame of a preferred embodiment of the present invention.
3B and 3C are explanatory diagrams of two resized depth frames after resizing, respectively, of a preferred embodiment of the present invention.
4A is an image explanatory diagram of an original depth frame of a preferred embodiment of the present invention.
FIG. 4B is an explanatory view of an image of a resized depth frame after resizing by the method of the preferred embodiment of the present invention in FIG. 4A. FIG.
FIG. 4C is an image explanatory diagram of another resized depth frame after resizing in the method of the preferred embodiment of the present invention in FIG. 4A. FIG.
5A is an explanatory diagram of another original depth-of-field frame in a preferred embodiment of the present invention.
5B and 5C are explanatory diagrams of two other resized depth frames after resizing, respectively, of a preferred embodiment of the present invention.
6A is an explanatory view of an image of another original depth-of-field frame in a preferred embodiment of the present invention.
FIG. 6B is an image explanatory diagram of the resized depth frame after resizing in the method of the preferred embodiment of the present invention in FIG. 6A. FIG.
FIG. 6C is an image explanatory diagram of another resized depth frame after resizing in the method of the preferred embodiment of the present invention in FIG. 6A. FIG.
7 is a functional block diagram of a system for resizing the size of an original depth frame of a preferred embodiment of the present invention into a resized depth frame.
8 is a flowchart of a method for restoring a resized depth frame of an exemplary embodiment of the present invention into an original depth frame.
9 is a functional block diagram of an apparatus for reconstructing a resized depth frame of an exemplary embodiment of the present invention into an original depth frame.
10A is an explanatory diagram of a resized depth frame of a preferred embodiment of the present invention.
10B and 10C are explanatory diagrams of two original depth-field frames after restoration of the preferred embodiment of the present invention, respectively.
11A is an image explanatory diagram of a resized depth frame of a preferred embodiment of the present invention.
FIG. 11B is an explanatory diagram of an image of an original depth frame after being restored by the method of the preferred embodiment of FIG. 10B.
FIG. 11C is an explanatory view of an image of another original depth-field after being restored by the method of the preferred embodiment of FIG.
12A and 12B are explanatory diagrams of an original depth frame and a resized depth frame of another embodiment of the present invention, respectively.
12C is an illustration of a resized depth frame of another embodiment of the present invention.
13A is an image explanatory diagram of another resized depth frame of a preferred embodiment of the present invention.
FIG. 13B is an explanatory diagram of an image of an original depth frame after restoration by the method of the preferred embodiment of FIG. 12B.
13C is an explanatory view of an image of another original depth-field after being restored by the method of the preferred embodiment of FIG. 12C.
14 is a functional block diagram of a system for restoring a resized depth frame of an exemplary embodiment of the present invention into an original depth frame;
하기 관련 도면을 참조하여 본 발명에 따른 바람직한 실시예의 방법, 장치 및 시스템을 설명한다. 여기서, 동일한 부품은 동일한 부호로 설명한다.The method, apparatus and system of a preferred embodiment according to the present invention will be described with reference to the following related drawings. Here, the same components are denoted by the same reference numerals.
이하, 우선 오리지널 심도 프레임을 리사이즈된 심도 프레임으로 리사이징하는 방법, 장치 및 시스템에 대하여 설명한다.Hereinafter, a method, an apparatus, and a system for resizing an original depth-of-field into a resized depth-frame will be described.
도2a 및 도2b에 도시된 바를 참조하면, 여기서 도2a는 본 발명의 바람직한 실시예의 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 방법의 흐름도이고, 도2b는 본 발명의 바람직한 실시예의 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 장치(1)의 기능 블록도이다.2A and 2B, in which FIG. 2A is a flowchart of a method of resizing an original depth frame of a preferred embodiment of the present invention into a resized depth frame, FIG. 2B is a flowchart of a method of resizing an original Fig. 2 is a functional block diagram of an
도2a에 도시된 바와 같이, 본 실시예의 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 방법은 단계(S01) 내지 단계(S02)를 포함한다. 여기서, 단계(S01)는 오리지널 심도 프레임의 적어도 2개의 픽셀의 2개의 서브 픽셀값을 획득한다. 단계(S02)는 상기 서브 픽셀값들을 리사이즈된 심도 프레임의 1개의 픽셀의 2개의 서브 픽셀 내에 각각 대응되게 저장한다. 이때, 오리지널 심도 프레임은 심도 프레임 카메라를 적용하여 획득한 그레이 스케일 프레임일 수 있다. 또는, 오리지널 멀티뷰 컬러 프레임(original multiview color frame, 복수개의 서로 다른 시각의 2D 컬러 영상, 하기 '오리지널 컬러 프레임'이라 칭함)에 의해 생성된 오리지널 심도 프레임일 수 있다. 따라서, 오리지널 심도 프레임은 오리지널 컬러 프레임과 서로 대응되고, 그레이 스케일 프레임이다. 이 밖에, 단계(S01)에서 오리지널 심도 프레임의 상기 2개의 픽셀들은 오리지널 심도 프레임의 동일한 행에 위치하거나 또는 오리지널 심도 프레임의 상기 2개의 픽셀들은 오리지널 심도 프레임의 동일한 열에 위치하는 바, 하기에서 다시 구체적으로 설명하도록 한다.As shown in Fig. 2A, the method of resizing the size of the original depth-of-field frame of this embodiment into a resized depth-frame includes steps S01 to S02. Here, step S01 obtains two sub pixel values of at least two pixels of the original depth frame. Step S02 stores the subpixel values corresponding respectively to two subpixels of one pixel of the resized depth frame. At this time, the original depth frame may be a gray scale frame obtained by applying the depth frame camera. Or an original depth frame generated by an original multiview color frame (a 2D color image of a plurality of different times, hereinafter referred to as an 'original color frame'). Thus, the original depth frame corresponds to the original color frame, and is a gray scale frame. In addition, in step S01, the two pixels of the original depth frame are located in the same row of the original depth frame, or the two pixels of the original depth frame are located in the same column of the original depth frame, .
이 밖에, 도2b에 도시된 바와 같이, 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 장치(1)(하기 '장치(1)'로 칭함)는 픽셀 획득 유닛(11), 픽셀 저장 유닛(12) 및 제어 유닛(13)을 포함하고, 제어 유닛(13)은 픽셀 획득 유닛(11) 및 픽셀 저장 유닛(12)과 각각 전기적으로 연결된다. 여기서, 픽셀 획득 유닛(11)은 오리지널 심도 프레임의 적어도 2개의 픽셀의 2개의 서브 픽셀값을 각각 획득하는 것이고, 픽셀 저장 유닛(12)은 상기 서브 픽셀값들을 리사이즈된 심도 프레임의 1개의 픽셀의 2개의 서브 픽셀 내에 각각 대응되게 저장하는 것이다. 이때, 픽셀 획득 유닛(11) 및 픽셀 저장 유닛(12)은 소프트웨어 프로그램 방식으로 그 기능을 구현할 수 있거나 하드웨어 또는 펌웨어 방식을 적용하여 픽셀 획득 유닛(11) 및 픽셀 저장 유닛(12)의 기능을 구현할 수 있지만, 본 발명은 이에 의하여 한정되지 않는다. 제어 유닛(13)은 장치(1)의 핵심적 제어 부품을 포함할 수 있고, 예를 들어 중앙 처리 장치(central processing unit, CPU)이거나 또는 기타의 제어 하드웨어, 소프트웨어 또는 펌웨어로 구성된 것일 수도 있다. 여기서, 제어 유닛(13)은 픽셀 획득 유닛(11)을 제어하여 오리지널 심도 프레임의 서브 픽셀값을 획득할 수 있고, 픽셀 저장 유닛(12)을 제어하여 서브 픽셀값을 리사이즈된 심도 프레임의 대응되는 서브 픽셀 내에 저장할 수 있다. 이하, 도3a 및 도3b, 도3c를 참조하여 상기의 방법 및 장치(1) 그리고 상세한 동작 과정에 대하여 설명하도록 한다.In addition, as shown in FIG. 2B, an apparatus 1 (hereinafter referred to as "
도3a 및 도3b에 도시된 바를 참조하면, 도3a 및 도3b는 각각 본 발명의 바람직한 실시예의 오리지널 심도 프레임(O) 및 리사이징한 후의 리사이즈된 심도 프레임(D)의 설명도이다. 이때, 오리지널 심도 프레임(O)은 예를 들면 상기의 도1의 오리지널 심도 프레임(O)과 동일할 수 있는 즉, 그레이 스케일 프레임일 수 있으며, 각 픽셀의 서브 픽셀의 수량은 각각 3개이고 이는 각각 레드, 그린, 블루 3개의 서브 픽셀(R, G, B)이다. 오리지널 심도 프레임(O)은 그레이 스케일 프레임이므로 매 서브 픽셀의 3개의 서브 픽셀값(즉, 그레이 스케일 값)은 모두 동일하다. 이 밖에, 리사이징한 후의 리사이즈된 심도 프레임(D)의 각 픽셀의 서브 픽셀의 수량도 3개이다. 본 실시예의 오리지널 심도 프레임(O)은 3x6＝18개의 픽셀을 포함하는 것을 예로 들기 때문에 9행×6열의 총 54개의 서브 픽셀을 구비한다. 하기 부호로 매 서브 픽셀의 위치 및 그 서브 픽셀값을 표시하도록 한다. 예를 들면, 도3a의 제1행, 제1열의 서브 픽셀은 R(30)로 표시되는데, 이는 서브 픽셀 R을 나타내고, (30)은 그 서브 픽셀값이며, (1,1)로 그 위치를 나타낸다. 제5행, 제3열의 서브 픽셀은 G(33)로 표시되는데, 이는 서브 픽셀 G를 나타내고, (33)은 그 서브 픽셀값이며, (5,3)으로 그 위치를 나타낸다. 상기와 같은 방식으로 유추된다. Referring to FIGS. 3A and 3B, FIGS. 3A and 3B are explanatory diagrams of an original depth-of-field O and a resized depth-frame D after resizing, respectively, according to a preferred embodiment of the present invention. At this time, the original depth-of-field O may be, for example, a gray scale frame which may be the same as the original depth-of-field O of FIG. 1, and the number of subpixels of each pixel is three each, Red, green, and blue subpixels (R, G, B). Since the original depth frame O is a gray scale frame, the three subpixel values (i.e., gray scale values) of each subpixel are all the same. In addition, the number of subpixels of each pixel of the resized depth frame D after resizing is three. Since the original depth-of-field (O) of this embodiment includes 3x6 = 18 pixels, it has a total of 54 subpixels of 9 rows x 6 columns. The position of each subpixel and its subpixel value are displayed by the following code. For example, the sub-pixels in the first row and first column of FIG. 3A are denoted by R (30), which represents subpixel R, (30) is its subpixel value, (1,1) . The subpixels in the fifth row and the third column are denoted by G (33), which represents the subpixel G, (33) the subpixel value, and (5,3) its position. Is inferred in the same manner as described above.
본 실시예의 프레임의 사이즈 리사이징 방법에서, 픽셀 획득 유닛(11)에 의해 오리지널 심도 프레임(O)의 3개의 픽셀의 3개의 서브 픽셀값을 각각 획득하고, 픽셀 저장 유닛(12)에 의해 상기 서브 픽셀값들을 리사이즈된 심도 프레임(D)의 1개의 픽셀의 3개의 서브 픽셀 내에 각각 대응되게 저장한다. 도3a 및 도3b에 도시된 바와 같이, 본 실시예에서는 오리지널 심도 프레임(O)의 픽셀에서 위치(1,1)(서브 픽셀 R)의 서브 픽셀값(30)(오리지널 심도 프레임(O)의 매 픽셀의 3개의 서브 픽셀값은 모두 동일하므로, 위치(2,1)(서브 픽셀 G) 또는 위치(3,1)(서브 픽셀 B)의 서브 픽셀값을 획득하여도 무방함)을 획득하고, 서브 픽셀값(30)을 리사이즈된 심도 프레임(D)의 위치(1,1)(서브 픽셀 R)에 저장하고; 오리지널 심도 프레임(O)의 다른 픽셀에서 위치(1,2)(서브 픽셀 R)의 서브 픽셀값(31)을 획득하고, (31)을 리사이즈된 심도 프레임(D)의 위치(2,1)(서브 픽셀 G) 내에 저장하며; 오리지널 심도 프레임(O)의 또 다른 픽셀에서 위치(1,3)(서브 픽셀 R)의 서브 픽셀값(32)을 획득하고, (32)를 리사이즈된 심도 프레임(D)의 위치(3,1)(서브 픽셀 B) 내에 저장하고; 오리지널 심도 프레임(O)의 또 다른 픽셀에서 위치(1,4)(서브 픽셀 R)의 서브 픽셀값(34)을 획득하고, (34)를 리사이즈된 심도 프레임(D)의 위치(1,2)(서브 픽셀 R) 내에 저장하며; 오리지널 심도 프레임(O)의 또 다른 픽셀에서 위치(1,5)(서브 픽셀 R)의 서브 픽셀값(36)을 획득하고, (36)을 리사이즈된 심도 프레임(D)의 위치(2,2)(서브 픽셀 G) 내에 저장하고; 오리지널 심도 프레임(O)의 또 다른 픽셀 위치(1,6)(서브 픽셀 R)의 서브 픽셀값(35)을 획득하고, (35)를 리사이즈된 심도 프레임(D)의 위치(3,2)(서브 픽셀 B) 내에 저장하며; 오리지널 심도 프레임(O)의 또 다른 픽셀 위치(4,1)(서브 픽셀 R)의 서브 픽셀값(29)을 획득하고, (29)를 리사이즈된 심도 프레임(D)의 위치(4,1)(서브 픽셀 R) 내에 저장하고; 오리지널 심도 프레임(O)의 또 다른 픽셀 위치(4,2)(서브 픽셀 R)의 서브 픽셀값(30)을 획득하고, (30)을 리사이즈된 심도 프레임(D)의 위치(5,1)(서브 픽셀 G) 내에 저장하며…; 오리지널 심도 프레임(O)의 또 다른 픽셀 위치(7,4)(서브 픽셀 R)의 서브 픽셀값(103)을 획득하고, (103)을 리사이즈된 심도 프레임(D)의 위치(7,2)(서브 픽셀 R) 내에 저장하고; 오리지널 심도 프레임(O)의 또 다른 픽셀 위치(7,5)(서브 픽셀 R)의 서브 픽셀값(104)을 획득하고, (104)를 리사이즈된 심도 프레임(D)의 위치(8,2)(서브 픽셀 G) 내에 저장하며, 오리지널 심도 프레임(O)의 또 다른 픽셀 위치(7,6)(서브 픽셀 R)의 서브 픽셀값(106)을 획득하고, (106)를 리사이즈된 심도 프레임(D)의 위치(9,2)(서브 픽셀 B) 내에 저장한다. 따라서, 본 실시예의 리사이즈된 심도 프레임(D)의 사이즈는 행방향(D2)으로는 오리지널 심도 프레임(O)의 적어도 1/3(이때, 1/3인 것을 예로 함)이지만, 열방향(D1)으로의 사이즈는 오리지널 심도 프레임(O)과 동일하므로, 리사이즈된 심도 프레임(D)의 데이터량은 단지 오리지널 심도 프레임(O)의 적어도 1/3(이때, 1/3인 것을 예로 함)이다. 특히 언급해야 할 것은, 상기의 서브 픽셀값을 획득하는 순서는 단지 예시적인 것일 뿐이며, 기타의 실시예에서 사이즈 리사이징 후의 정확성을 제고하기 위하여 상기 서브 픽셀값의 획득 및 저장의 순서는 서로 다를 수 있다(또는 리사이징 후 상대적 위치 관계가 서로 다를 수 있는 것으로 간주할 수 있음). 예를 들면, 도3c에 도시된 바와 같이, 제1열과 도3b의 제1열의 순서는 동일하지만, 제2열의 각 픽셀은 도3b의 각 픽셀의 서브 픽셀값을 시프팅 배열한 것이다. 여기서, 도3b의 각 픽셀에서는 예를 들면 위치(2,1)의 서브 픽셀값(34)을 오른쪽으로 한자리 시프팅하고, 위치(2,2)의 서브 픽셀값(36)을 오른쪽으로 한자리 시프팅하며, 위치(2,3)의 서브 픽셀값(35)을 왼쪽으로 두자리 시프팅하여 제2열 제1행에 위치하도록 함으로써 상기와 같은 방식으로 유추한다. 상기의 서브 픽셀값의 재배열 또는 시프팅은 단지 예시적인 것을 뿐이지 본 발명을 한정하기 위한 것이 아니다. 이로써, 오리지널 심도 프레임에 대응되는 리사이즈된 심도 프레임의 서브 픽셀값의 위치 리사이징 또는 서로 다른 순서의 효과를 발생시켜 오리지널 심도 프레임이 사이즈의 리사이징을 거친 후에도 여전히 정확성을 유지할 수 있도록 한다.In the frame resizing method of the present embodiment, the
도4a, 도4b 및 도4c에 도시된 바를 참조하면, 여기서, 도4a는 본 발명의 바람직한 실시예의 오리지널 심도 프레임의 영상 설명도이고, 도4b 및 도4c는 각각 도4a에서 본 발명의 바람직한 실시예의 방법으로 리사이징한 후의 리사이즈된 심도 프레임의 영상 설명도이다. 여기서, 도4b는 도3b에 대응되고, 도4c는 도3c에 대응된다. 도4b 및 도4c는 각각 도3b 및 도3c의 방법에 대응되어 다소 구별되지만, 육안으로 볼 때, 도4b와 도4c의 영상은 매우 유사하여 구분하기 어렵다.4A, 4B and 4C, FIG. 4A is an explanatory view of an image of an original depth frame of a preferred embodiment of the present invention, FIGS. 4B and 4C are views showing a preferred embodiment Fig. 8 is an image explanatory view of the resized depth frame after resizing in the exemplary method. Here, FIG. 4B corresponds to FIG. 3B, and FIG. 4C corresponds to FIG. 3C. 4B and 4C correspond to the methods of FIGS. 3B and 3C, respectively. However, when viewed from the naked eye, the images of FIGS. 4B and 4C are very similar and difficult to distinguish.
도4a의 그레이 스케일 프레임의 사이즈(해상도)는 1920x810이고, 도4b 및 도4c의 사이즈는 1920x270(270＝810x1/3)이다. 따라서, 도4b 및 도4c의 리사이즈된 심도 프레임의 사이즈는 도4a의 오리지널 심도 프레임(O)의 1/3이다. 따라서, 본 발명은 효율적인 심도 프레임 압축 기술로서 3D 영상 압축 시스템에 적용될 수 있고, 압축 효율이 비교적 높고 데이터량이 비교적 적으며 전송 효율이 비교적 높은 우점을 구비한다. 전송에 적용될 경우, 기존의 전송 기기의 전송 대역폭의 부담을 효과적으로 감소시킨다. 아울러, 본 실시예에서 서브 픽셀값은 위치 조절 또는 상이한 순서 처리를 거칠 수 있으므로, 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 방법은 기타 압축 기술과 결합 사용될 수 있고, 2차 프레임 압축을 진행하더라도 심도 프레임의 정확성을 유지할 수 있다.The size (resolution) of the gray scale frame in Fig. 4A is 1920 x 810, and the sizes of Figs. 4B and 4C are 1920 x 270 (270 = 810 x 1/3). Thus, the size of the resized depth frame in Figs. 4B and 4C is 1/3 of the original depth frame O in Fig. 4A. Accordingly, the present invention can be applied to a 3D image compression system as an effective depth frame compression technique, and has a high compression efficiency, a relatively small amount of data, and a relatively high transmission efficiency. When applied to transmission, it effectively reduces the burden of the transmission bandwidth of the existing transmission equipment. Further, in this embodiment, the subpixel value may undergo position adjustment or different ordering processing, so that the method of resizing the original depth-frame size into a resized depth-frame can be used in combination with other compression techniques, The accuracy of the depth frame can be maintained even when proceeding.
이 밖에, 도5a 및 도5b에 도시된 바를 참조하면, 도5a 및 도5b는 각각 본 발명의 다른 실시양태의 오리지널 심도 프레임(O) 및 리사이징한 후의 리사이즈된 심도 프레임(D)의 설명도이다. 이때, 오리지널 심도 프레임(O)은 여전히 그레이 스케일 프레임이며, 각 픽셀의 서브 픽셀의 수량도 여전히 각각 3개(R, G, B)인 것을 예로 한다. 또한, 매 서브 픽셀의 3개의 서브 픽셀값(그레이 스케일 값)은 모두 동일하다. 이 밖에, 리사이즈된 심도 프레임(D)의 각 픽셀의 서브 픽셀의 수량도 3개이다. 본 실시예의 오리지널 심도 프레임(O)은 여전히 3x6＝18개 픽셀을 포함하는 것을 예로 하기 때문에, 9행×6열, 총 54개의 서브 픽셀을 구비한다. 이하, 여전히 부호 및 숫자로 매 서브 픽셀의 위치 및 그 서브 픽셀값(그레이 스케일 값)을 표시하도록 한다. 예를 들면, 도5a의 제1행, 제1열의 서브 픽셀은 R(12)로 표시되는데, 이는 서브 픽셀 R을 나타내고, (12)는 그 서브 픽셀값이며, (1,1)로 그 위치를 나타낸다. 제3행, 제5열의 서브 픽셀은 B(55)로 표시되는데, 이는 서브 픽셀 B를 나타내고, (55)는 그 서브 픽셀값이며, (3,5)로 그 위치를 나타낸다. 상기와 같은 방식으로 유추한다.5A and 5B are explanatory diagrams of the original depth-of-field O and the resized depth-frame D after resizing, according to another embodiment of the present invention, respectively . At this time, it is assumed that the original depth frame O is still a gray scale frame, and the number of subpixels of each pixel is still three (R, G, B). Also, the three subpixel values (gray scale values) of each subpixel are all the same. In addition, the number of subpixels of each pixel of the resized depth frame D is three. Since the original depth-of-field (O) of this embodiment still includes 3x6 = 18 pixels, it has a total of 54 subpixels, 9 rows by 6 columns. Hereinafter, the position of each subpixel and its subpixel value (grayscale value) are still indicated by signs and numerals. For example, the sub-pixels of the first row and the first column of FIG. 5A are represented by R (12), which represents the subpixel R, (12) is its subpixel value, . The subpixels in the third row and the fifth column are denoted by B (55), which represents subpixel B, (55) the subpixel value, and (3,5) its position. This is analogous to the above.
본 실시예에서, 도5a 및 도5b에 도시된 바와 같이, 오리지널 심도 프레임(O)의 픽셀에서 위치(1,1)의 서브 픽셀값(12)(오리지널 심도 프레임(O)의 매 픽셀의 3개의 서브 픽셀값은 모두 동일하므로, 위치(1,2) 또는 (1,3) 내의 서브 픽셀값을 획득하여도 무방함)을 획득하고, 서브 픽셀값(12)을 리사이즈된 심도 프레임(D)의 위치(1,1) 내에 저장하고; 오리지널 심도 프레임(O)의 다른 픽셀 위치(4,1)의 서브 픽셀값(87)을 획득하고, (87)을 리사이즈된 심도 프레임(D)의 위치(2,1) 내에 저장하며; 오리지널 심도 프레임(O)의 또 다른 픽셀 위치(7,1)의 서브 픽셀값(200)을 획득하고, (200)을 리사이즈된 심도 프레임(D)의 위치(3,1) 내에 저장하고; 오리지널 심도 프레임(O)의 또 다른 픽셀 위치(1,2)의 서브 픽셀값(22)을 획득하고, (22)를 리사이즈된 심도 프레임(D)의 위치(1,2) 내에 저장하며; 오리지널 심도 프레임(O)의 또 다른 픽셀 위치(4,6)의 서브 픽셀값(87)을 획득하고, (87)을 리사이즈된 심도 프레임(D)의 위치(3,6) 내에 저장하고; 오리지널 심도 프레임(O)의 또 다른 픽셀 위치(7,6)의 서브 픽셀값(115)을 획득하고, (115)를 리사이즈된 심도 프레임(D)의 위치(3,6) 내에 저장한다. 따라서, 본실시예의 리사이즈된 심도 프레임(D)의 사이즈는 열방향(D1)으로는 오리지널 심도 프레임(O)의 1/3이고, 행방향(D2)으로의 사이즈는 오리지널 심도 프레임(O)과 동일하다. 따라서, 리사이즈된 심도 프레임(D)의 데이터량은 단지 오리지널 심도 프레임(O)의 1/3이다. 특히 언급해야 할 것은, 상기의 서브 픽셀값을 획득하는 순서는 단지 예시적인 것일 뿐이며, 기타의 실시예에서는 정확성을 제고하기 위하여 순서를 다르게 할 수 있다. 예를 들면, 도5c에 도시된 바와 같이, 제1열과 도5b의 제1열의 순서는 동일하지만, 제2열은 도5b의 서브 픽셀값을 한자리 시프팅한 것이고, 제3열은 도5b의 서브 픽셀값을 두자리 시프팅한 것이다. 이 밖에, 도5c의 제4열과 도5b의 제4행의 순서는 동일하고, 제5열은 도5b의 서브 픽셀값을 한자리 시프팅한 것이고, 제6열은 도5b의 서브 픽셀값을 두자리 시프팅한 것이다. 상기의 서브 픽셀값의 재배열 또는 시프팅은 단지 예시적인 것일 뿐이지 본 발명을 한정하기 위한 것이 아니다. In this embodiment, as shown in Figs. 5A and 5B, in the pixel of the original depth frame O, the subpixel value 12 at position (1,1) (the pixel value of each pixel of the original depth frame O Pixel values in position 1, 2) or (1, 3) can be obtained, and the subpixel value 12 can be obtained from the resized depth frame D, In a position (1,1); Obtains the subpixel value 87 of the other pixel position 4,1 of the original depth frame O and stores 87 in the position 2,1 of the resized depth frame D; Obtains the sub pixel value 200 of another pixel position 7,1 of the original depth frame O and stores 200 in position 3,1 of the resized depth frame D; Obtains the subpixel value 22 of another pixel position 1, 2 of the original depth frame O and stores 22 in the position 1, 2 of the resized depth frame D; Obtains the subpixel value 87 of another pixel position 4,6 of the original depth frame O and stores 87 in the position 3,6 of the resized depth frame D; Obtains the subpixel value 115 of another pixel position 7,6 of the original depth frame O and stores 115 in the position 3,6 of the resized depth frame D. Therefore, the size of the resized depth frame D in this embodiment is 1/3 of the original depth frame O in the column direction D1 and the size in the row direction D2 is the size of the original depth frame O same. Therefore, the data amount of the resized depth frame D is 1/3 of the original depth frame O only. It should be noted that the order of obtaining the above subpixel values is merely exemplary, and in other embodiments the order may be different in order to improve accuracy. For example, as shown in Fig. 5C, the order of the first column and the first column of Fig. 5B is the same, the second column is a one-shifted subpixel value of Fig. 5B, The subpixel value is two-digit shifted. In addition, the fourth column of FIG. 5C and the fourth column of FIG. 5B are the same, the fifth column is a one-shifted subpixel value of FIG. 5B, and the sixth column represents the subpixel value of FIG. Shifted. The rearrangement or shifting of the above subpixel values is merely exemplary and is not intended to be limiting of the present invention.
도6a, 도6b 및 도6c에 도시된 바를 참조하면, 도6a는 본 발명의 바람직한 실시예의 오리지널 심도 프레임의 영상 설명도이고, 도6b 및 도6c는 각각 도6a에서 본 발명의 바람직한 실시예의 방법으로 리사이징한 후의 리사이즈된 심도 프레임의 영상 설명도이다. 여기서, 도6b 및 도6c는 도5b 및 도5c의 방법에 각각 대응된다. 도6b 및 도6c는 각각 도5b 및 도5c의 방법에 대응되어 다소 구별되지만, 육안으로 볼 때, 도6b와 도6c의 영상은 매우 유사하여 구분하기 어렵다. 도6a의 그레이 스케일 프레임의 사이즈(해상도)는 1920x810이고, 도6b 및 도6c의 사이즈는 630 (630＝1920x1/3)x810이다. 따라서, 도6b 및 도6c의 리사이즈된 심도 프레임의 사이즈는 도6a의 오리지널 심도 프레임(O)의 1/3이다. 6A, 6B and 6C, FIG. 6A is an image explanatory view of an original depth frame of a preferred embodiment of the present invention, and FIG. 6B and FIG. 6C are views respectively showing a method of a preferred embodiment of the present invention FIG. 6 is a view illustrating an image of a resized depth frame after resizing the image into a depth-resized image. Here, Figs. 6B and 6C correspond to the methods of Figs. 5B and 5C, respectively. 6B and 6C correspond to the methods of FIGS. 5B and 5C, respectively. However, when viewed from the naked eye, the images of FIGS. 6B and 6C are very similar and difficult to distinguish. The size (resolution) of the gray scale frame in Fig. 6A is 1920 x 810, and the sizes of Figs. 6B and 6C are 630 (630 = 1920 x 1/3) x 810. Thus, the size of the resized depth frame in Figs. 6B and 6C is 1/3 of the original depth frame O in Fig. 6A.
다시 언급해야 할 것은, 상기 오리지널 심도 프레임(O)의 사이즈 및 매 픽셀은 각각 3개의 서브 픽셀을 구비하는 것은 단지 예시적인 것일 뿐이며, 물론 기타의 실시예에서 오리지널 심도 프레임(O)의 사이즈 및 그 서브 픽셀의 수량은 서로 다를 수 있다. 예를 들면, 서브 픽셀의 수량은 2개 또는 4개(또는 그 이상)일 수 있지만, 본 발명은 이에 의하여 한정되지 않는다. Again, it should be noted that the size of the original depth-of-field O and each pixel with three subpixels each are merely illustrative and, of course, in other embodiments, the size of the original depth- The number of subpixels may be different. For example, the number of subpixels may be two or four (or more), but the present invention is not limited thereto.
이 외에, 도7에 도시된 바를 참조하면, 도7은 본 발명의 바람직한 실시예의 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 시스템(2)(하기 '시스템(2)' 이라 칭함)의 기능 블록도이다.7, there is shown a system 2 (hereinafter referred to as "
시스템(2)은 기억 유닛(21) 및 처리 유닛(22)을 포함하고, 기억 유닛(21)과 처리 유닛(22)은 전기적으로 연결된다. 기억 유닛(21)은 오리지널 심도 프레임을 저장하는 것이다. 물론, 기억 유닛(21)은 리사이즈된 심도 프레임을 저장할 수도 있다. 기억 유닛(21)은 비-일시적 컴퓨터-판독가능 저장 매체(non-transitory computer readable storage medium)일 수 있고, 예를 들면 정보를 저장하는 메모리, 메모리 카드, CD, 비디오테이프, 컴퓨터 테이프 또는 이들의 조합일 수 있다. 여기서, 메모리는 읽기 전용 기억 장치(ROM), 랜덤 액세스 메모리(RAM), 플래시(Flash) 메모리 또는 필드 프로그램 가능 게이트 어레이(Field-Programmable Gate array, FPGA) 또는 기타 형식의 메모리일 수 있으며, 이에 대하여 한정하지 않는다.The
처리 유닛(22)은 시스템(2)의 핵심적 제어 부품을 포함할 수 있고, 예를 들어 적어도 하나의 중앙 처리 장치 및 메모리 또는 기타 제어 하드웨어, 소프트웨어 또는 펌웨어를 포함할 수 있다. 여기서, 처리 유닛(22)은 기억 유닛(21)에 저장된 오리지널 심도 프레임의 적어도 2개의 픽셀의 2개의 서브 픽셀값을 각각 획득할 수 있고, 획득한 상기 서브 픽셀값들을 각각 리사이즈된 심도 프레임의 1개의 픽셀의 2개의 서브 픽셀 내에 각각 대응되게 저장할 수 있다. 이 밖에, 리사이즈된 심도 프레임의 사이즈는 행방향(D2)으로는 오리지널 심도 프레임의 1/3이거나 또는 리사이즈된 심도 프레임의 사이즈는 열방향(D1)으로는 오리지널 심도 프레임의 1/3이다.The
이 외에, 시스템(2)에서 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 기타 기술적 특징은 상기의 리사이징 방법 및 장치(1)에 관한 기술 내용을 참조할 수 있는 바, 여기서 더이상 서술하지 않는다. In addition to this, other technical features of resizing the size of the original depth frame into the resized depth frame in the
이어서, 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 방법, 장치 및 시스템에 대하여 설명한다. A method, apparatus and system for restoring a resized depth frame to an original depth frame will now be described.
도8 및 도9를 참조하면, 여기서 도8은 본 발명의 바람직한 실시예의 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 방법의 흐름도이고, 도9는 본 발명의 바람직한 실시예의 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 장치(3)의 기능 블록도이다.8 is a flowchart of a method of restoring a resized depth frame of an exemplary embodiment of the present invention into an original depth frame, and Fig. 9 is a flowchart of a method of restoring a resized depth frame of the preferred embodiment of the present invention to an original depth frame, Fig. 3 is a functional block diagram of an
도8에 도시된 바와 같이, 본 실시예의 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 방법은 단계(P01) 내지 단계(P04)를 포함한다. 여기서, 단계(P01)는 리사이즈된 심도 프레임의 픽셀의 제1 서브 픽셀값을 획득하고, 단계(P02)는 제1 서브 픽셀값을 오리지널 심도 프레임의 제1픽셀의 모든 서브 픽셀 내에 저장하며, 단계(P03)는 리사이즈된 심도 프레임의 상기 픽셀의 제2 서브 픽셀값을 획득하고, 단계(P04)는 제2 서브 픽셀값을 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장한다. 이때, 리사이즈된 심도 프레임은 오리지널 멀티뷰 컬러 프레임에 의해 획득할 수 있다. 이 밖에, 단계(P01) 및 단계(P02)에서 오리지널 심도 프레임의 제1 픽셀 및 제2 픽셀은 오리지널 심도 프레임의 동일한 행에 위치하거나 또는 오리지널 심도 프레임의 제1 픽셀 및 제2 픽셀은 오리지널 심도 프레임의 동일한 열에 위치하는 바, 하기에서 상세하게 설명하도록 한다.As shown in Fig. 8, the method of restoring the resized depth frame of the present embodiment into the original depth frame includes steps P01 to P04. Here, step P01 obtains the first subpixel value of the pixel of the resized depth frame, step P02 stores the first subpixel value in all subpixels of the first pixel of the original depth frame, (P03) obtains the second subpixel value of the pixel of the resized depth frame, and step (P04) stores the second subpixel value in all subpixels of the second pixel of the original depth frame. At this time, the resized depth frame can be obtained by the original multi-view color frame. In addition, in steps P01 and P02, the first pixel and the second pixel of the original depth frame are located in the same row of the original depth frame, or the first pixel and the second pixel of the original depth frame are located in the original depth frame Which are described in detail below.
이 밖에, 도9에 도시된 바와 같이, 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 장치(3)(하기 '장치(3)' 이라 칭함)는 픽셀 획득 유닛(31), 픽셀 저장 유닛(32) 및 제어 유닛(33)을 포함하고, 제어 유닛(33)은 픽셀 획득 유닛(31) 및 픽셀 저장 유닛(32)과 각각 전기적으로 연결된다. 여기서, 픽셀 획득 유닛(31)은 리사이즈된 심도 프레임의 픽셀의 적어도 하나의 제1 서브 픽셀값 및 제2 서브 픽셀값을 획득하고, 픽셀 저장 유닛(32)은 픽셀 획득 유닛(31)에서 획득한 제1 서브 픽셀값을 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장할 수 있고 제2 서브 픽셀값을 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장할 수 있다. 이때, 픽셀 획득 유닛(31) 및 픽셀 저장 유닛(32)은 소프트웨어 프로그램 방식으로 그 기능을 구현할 수 있거나 하드웨어 또는 펌웨어 방식을 적용하여 픽셀 획득 유닛(31) 및 픽셀 저장 유닛(32)의 기능을 구현할 수 있지만, 본 발명은 이에 의하여 한정되지 않는다. 이 밖에, 제어 유닛(33)은 장치(3)의 핵심적 제어 부품을 포함할 수 있고, 예를 들어 중앙 처리 장치이거나 또는 기타의 제어 하드웨어, 소프트웨어 또는 펌웨어로 구성된 것일 수도 있다. 여기서, 제어 유닛(33)은 픽셀 획득 유닛(31)을 제어하여 리사이즈된 심도 프레임의 각 픽셀의 서브 픽셀값을 획득할 수 있고, 픽셀 저장 유닛(32)을 제어하여 획득한 서브 픽셀값을 오리지널 심도 프레임의 대응되는 모든 서브 픽셀 내에 저장할 수 있다. 이하, 도10a 및 도10b, 도10c를 참조하여 상기의 복원 방법 및 장치(3) 그리고 상세한 동작 과정에 대하여 설명하도록 한다.9, an apparatus 3 (hereinafter referred to as "
도10a 및 도10b에 도시된 바를 참조하면, 도10a 및 도10b는 각각 본 발명의 바람직한 실시예의 리사이즈된 심도 프레임(D) 및 오리지널 심도 프레임(O)의 설명도이다. 이때, 리사이즈된 심도 프레임(D)은 그레이 스케일 프레임이고, 각 픽셀의 서브 픽셀의 수량은 3개인 것을 예로 들며, 매 픽셀은 각각 레드, 그린, 블루 3개의 서브 픽셀(R, G, B)을 구비한다. 이 밖에, 오리지널 심도 프레임(O)의 각 픽셀의 서브 픽셀의 수량도 3개이다(매 픽셀도 각각 3개의 서브 픽셀(R, G, B)을 구비함). 본 실시예의 리사이즈된 심도 프레임(D)은 3x2＝6개의 픽셀을 포함하는 것을 예로 들기 때문에 9행×2열의 총 18개의 서브 픽셀을 구비한다. 이하, 동일하게 부호로 매 서브 픽셀의 위치 및 그 서브 픽셀값을 표시하도록 한다. 예를 들면, 도10a의 제1행, 제1열의 서브 픽셀은 R(30)로 표시되는데, 이는 서브 픽셀 R을 나타내고, (30)은 그 서브 픽셀값이며, (1,1)로 그 위치를 나타낸다. 제5행, 제2열의 서브 픽셀은 G(39)로 표시되는데, 이는 서브 픽셀 G를 나타내고, (39)은 그 서브 픽셀값이며, (5,2)로 그 위치를 나타낸다. 상기와 같은 방식으로 유추된다. Referring to FIGS. 10A and 10B, FIGS. 10A and 10B are explanatory diagrams of a resized depth frame D and an original depth frame O, respectively, of a preferred embodiment of the present invention. In this case, it is assumed that the resized depth frame D is a gray scale frame, and the number of subpixels of each pixel is three, and each pixel is divided into three subpixels (R, G, B) Respectively. In addition, the number of subpixels of each pixel of the original depth frame (O) is also three (each pixel also has three subpixels (R, G, B)). Since the resized depth frame D of this embodiment includes 3x2 = 6 pixels as an example, it has a total of 18 sub-pixels of 9 rows x 2 columns. Hereinafter, the positions of the subpixels and their subpixel values are represented by the same reference numerals. For example, the sub-pixels in the first row and the first column of FIG. 10A are denoted by R (30), which represents subpixel R, (30) is its subpixel value, (1,1) . The subpixels in the fifth row and the second column are denoted by G (39), which represents the subpixel G, (39) its subpixel value, and its position by (5,2). Is inferred in the same manner as described above.
본 실시예의 프레임 사이즈의 복원 방법에서, 픽셀 획득 유닛(31)에 의해 리사이즈된 심도 프레임(D)의 픽셀의 제1 서브 픽셀값, 제2 서브 픽셀값 및 제3 서브 픽셀값을 획득하고, 픽셀 저장 유닛(32)에 의해 획득한 제1 서브 픽셀값을 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하고 제2 서브 픽셀값을 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장하며, 그리고 제3 서브 픽셀값을 오리지널 심도 프레임의 제3 픽셀의 모든 서브 픽셀 내에 저장한다.In the frame size restoration method of the present embodiment, the first sub-pixel value, the second sub-pixel value and the third sub-pixel value of the pixel of the depth frame D resized by the
도10a 및 도10b에 도시된 바와 같이, 본 실시예에서는 픽셀 획득 유닛(31)에 의해 리사이즈된 심도 프레임(D)의 픽셀에서 위치(1,1)(서브 픽셀 R)의 제1 서브 픽셀값(30), 위치(2,1)(서브 픽셀 G)의 제2 서브 픽셀값(31) 및 위치(3,1)(서브 픽셀 B)의 제3 서브 픽셀값(32)을 획득하고, 픽셀 저장 유닛(32)에 의해 제1 서브 픽셀값(30)을 오리지널 심도 프레임(O)의 제1 픽셀에서 위치(1,1)(서브 픽셀 R), 위치(2,1)(서브 픽셀 G) 및 위치(3,1)(서브 픽셀 B) 내에 각각 저장하고, 제2 서브 픽셀값(31)을 오리지널 심도 프레임(O)의 제2 픽셀에서 위치(1,2)(서브 픽셀 R), 위치(2,2)(서브 픽셀 G) 및 위치(3,2)(서브 픽셀 B) 내에 각각 저장하며, 그리고 제3 서브 픽셀값(32)을 오리지널 심도 프레임(O)의 제3 픽셀에서 위치(1,3)(서브 픽셀 R), 위치(2,3)(서브 픽셀 G) 및 위치(3,3)(서브 픽셀 B) 내에 각각 저장한다. 이때, 오리지널 심도 프레임(O)의 제1 픽셀, 제2 픽셀 및 제3 픽셀(의 동일한 서브 픽셀)은 오리지널 심도 프레임(O)의 동일한 행에 위치한다.10A and 10B, in this embodiment, in the pixel of the depth frame D resized by the
이 밖에, 리사이즈된 심도 프레임(D)의 다른 픽셀에서 위치(1,2)(서브 픽셀 R)의 제1 서브 픽셀값(34), 위치(2,2)(서브 픽셀 G)의 제2 서브 픽셀값(36) 및 위치(3,2)(서브 픽셀 B)의 제3 서브 픽셀값(35)을 획득하고, 제1 서브 픽셀값(34)을 오리지널 심도 프레임(O)의 제4 픽셀에서 위치(1,4)(서브 픽셀 R), 위치(2,4)(서브 픽셀 G) 및 위치(3,4)(서브 픽셀 B) 내에 각각 저장하고, 제2 서브 픽셀값(36)을 오리지널 심도 프레임(O)의 제5 픽셀에서 위치(1,5)(서브 픽셀 R), 위치(2,5)(서브 픽셀 G) 및 위치(3,5)(서브 픽셀 B) 내에 각각 저장하며, 그리고 제3 서브 픽셀값(35)을 오리지널 심도 프레임(O)의 제6 픽셀에서 위치(1,6)(서브 픽셀 R), 위치(2,6)(서브 픽셀 G) 및 위치(3,6)(서브 픽셀 B) 내에 각각 저장한다.In addition, in the other pixel of the resized depth frame D, the
이어서, 리사이즈된 심도 프레임(D)의 또 다른 픽셀에서 위치(4,1)(서브 픽셀 R)의 제1 서브 픽셀값(29), 위치(5,1)(서브 픽셀 G)의 제2 서브 픽셀값(30) 및 위치(6,1)(서브 픽셀 B)의 제3 서브 픽셀값(33)을 획득하고, 제1 서브 픽셀값(29)을 오리지널 심도 프레임(O)의 제7 픽셀에서 위치(4,1)(서브 픽셀 R), 위치(5,1)(서브 픽셀 G) 및 위치(6,1)(서브 픽셀 B) 내에 각각 저장하고, 제2 서브 픽셀값(30)을 오리지널 심도 프레임(O)의 제8 픽셀에서 위치(4,2)(서브 픽셀 R), 위치(5,2)(서브 픽셀 G) 및 위치(6,2)(서브 픽셀 B) 내에 각각 저장하며, 그리고 제3 서브 픽셀값(33)을 오리지널 심도 프레임(O)의 제9 픽셀에서 위치(4,3)(서브 픽셀 R), 위치(5,3)(서브 픽셀 G) 및 위치(6,3)(서브 픽셀 B)내에 각각 저장한다. 마지막으로, 리사이즈된 심도 프레임(D)의 또 다른 픽셀에서 위치(7,2)(서브 픽셀 R)의 제1 서브 픽셀값(103), 위치(8,2)(서브 픽셀 G)의 제2 서브 픽셀값(104) 및 위치(9,2)(서브 픽셀 B)의 제3 서브 픽셀값(106)을 획득하고, 제1 서브 픽셀값(103)을 오리지널 심도 프레임(O)의 제16 픽셀에서 위치(7,4)(서브 픽셀 R), 위치(8,4)(서브 픽셀 G) 및 위치(9,4)(서브 픽셀 B) 내에 각각 저장하고, 제2 서브 픽셀값(104)을 오리지널 심도 프레임(O)의 제17 픽셀에서 위치(7,5)(서브 픽셀 R), 위치(8,5)(서브 픽셀 G) 및 위치(9,5)(서브 픽셀 B) 내에 각각 저장하며, 그리고 제3 서브 픽셀값(106)을 오리지널 심도 프레임(O)의 제18 픽셀에서 위치(7,6)(서브 픽셀 R), 위치(8,6)(서브 픽셀 G) 및 위치(9,6)(서브 픽셀 B) 내에 각각 저장한다. 따라서, 본 실시예의 오리지널 심도 프레임(O)의 사이즈는 행방향(D2)으로는 리사이즈된 심도 프레임(D)의 3배이고, 열방향(D1)으로의 사이즈는 리사이즈된 심도 프레임(D)과 동일하다. 따라서, 데이터량에 있어서 오리지널 심도 프레임(O)의 데이터량도 리사이즈된 심도 프레임(D)의 3배이다.Subsequently, in another pixel of the resized depth frame D, the
상기의 서브 픽셀값을 획득하는 순서는 단지 예시적인 것일 뿐이며, 기타의 실시예에서 사이즈 복원 후의 정확성을 제고하기 위하여 상기 서브 픽셀값의 획득 및 저장의 순서는 서로 다를 수 있다(또는 리사이징 후 상대적 위치 관계가 서로 다를 수 있는 것으로 간주할 수 있음). 예를 들면, 도10c에 도시된 바와 같이, 제1열, 제2열 및 제3열은 각각 도10b의 제1열, 제2열 및 제3열의 순서와 동일하고, 제4열, 제5열 및 제6열의 각 픽셀은 도10b의 각 픽셀의 서브 픽셀값을 일열로 시프팅하여 배열한다. 여기서, 도10b의 제4열과 도10c의 제5열이 동일하고, 도10b의 제5열과 도10c의 제6열이 동일하며, 도10b의 제6열과 도10c의 제4열이 동일하다. 상기 서브 픽셀값의 재배열 또는 시프팅 자리수는 단지 예시적인 것일 뿐이지 본 발명을 한정할 수 없다. 이로써, 리사이즈된 심도 프레임에 대응되는 오리지널 심도 프레임의 서브 픽셀값의 위치 리사이징 또는 서로 다른 순서의 효과를 발생시켜 리사이즈된 심도 프레임이 사이즈의 리사이징을 거친 후에도 여전히 정확성을 유지할 수 있도록 한다.The order of obtaining the subpixel values is merely exemplary, and in other embodiments, the order of acquisition and storage of the subpixel values may be different to enhance accuracy after resizing (or the relative position after resizing Relationships can be considered to be different). For example, as shown in Fig. 10C, the first column, the second column and the third column are the same as the order of the first column, the second column and the third column in Fig. 10B, Column and the sixth column shifts and arranges the sub-pixel values of each pixel of Fig. 10B in a row. Here, the fourth column of FIG. 10B is the same as the fifth column of FIG. 10C, the fifth column of FIG. 10B is the same as the sixth column of FIG. 10C, and the sixth column of FIG. 10B is the same as the fourth column of FIG. 10C. The rearrangement or shifting digit of the subpixel value is merely exemplary and can not limit the present invention. Thus, the position re-sizing of the sub-pixel values of the original depth frame corresponding to the resized depth frame or the effect of the different order can be generated, so that the accuracy of the resized depth frame can be maintained even after the resizing of the size.
도11a, 도11b 및 도11c에 도시된 바를 참조하면, 여기서, 도11a는 본 발명의 바람직한 실시예의 리사이즈된 심도 프레임의 영상 설명도이고, 도11b는 도11a에서 상기 도10b의 바람직한 실시예의 방법으로 복원한 후의 오리지널 심도 프레임의 영상 설명도이며, 도11c는 다른 리사이즈된 심도 프레임에서 상기 도 10c의 바람직한 실시예의 방법으로 복원한 후의 오리지널 심도 프레임의 영상 설명도이다. 이때, 도11c의 리사이징 전의 다른 리사이즈된 심도 프레임의 영상은 도11a와 유사하므로 나타내지 않았다. 이 밖에, 도11b 및 도11c는 도10b 및 도10c의 방법에 각각 대응된다. 도11b 및 도11c는 도10b 및 도10c의 방법에 각각 대응되어 다소 구별되지만, 육안으로 볼 때, 도11b와 도11c의 영상은 매우 유사하여 구분하기 어렵다. 도11a의 그레이 스케일 프레임의 사이즈는 1920x270이고, 도11b 및 도11c의 사이즈는 1920x810(810＝270x3)이다. 따라서, 도11b 및 도11c의 오리지널 심도 프레임의 사이즈는 도11a의 리사이즈된 심도 프레임의 3배이다. 11A is an image explanatory view of a resized depth frame of a preferred embodiment of the present invention, and FIG. 11B is a diagram illustrating the method of the preferred embodiment of FIG. 10B in FIG. 11A, And FIG. 11C is an explanatory view of the original depth frame after restoration by the method of the preferred embodiment of FIG. 10C in another resized depth frame. FIG. 11C is an image explanatory view of the original depth frame. FIG. At this time, the image of another resized depth frame before resizing in Fig. 11C is not shown since it is similar to Fig. 11A. In addition, Figs. 11B and 11C correspond to the methods of Figs. 10B and 10C, respectively. 11B and 11C correspond to the methods of FIGS. 10B and 10C, respectively, and are slightly distinguished from each other. However, when viewed from the naked eye, the images of FIGS. 11B and 11C are very similar and difficult to distinguish. The size of the gray scale frame in Fig. 11A is 1920 x 270, and the sizes of Figs. 11B and 11C are 1920 x 810 (810 = 270 x 3). Thus, the size of the original depth frame of Figs. 11B and 11C is three times the size of the resized depth frame of Fig. 11A.
이 밖에, 도12a 및 도12b에 도시된 바와 같이, 도12a 및 도12b는 각각 본 발명의 다른 실시양태의 오리지널 심도 프레임(O) 및 복원 후의 리사이즈된 심도 프레임(D)의 설명도이다. 이때, 리사이즈된 심도 프레임(D)은 여전히 그레이 스케일 프레임이며, 각 픽셀의 서브 픽셀의 수량은 여전히 3개인 것을 예로 한다(매 픽셀은 3개의 서브 픽셀(R, G, B)을 각각 구비함). 이 밖에, 오리지널 심도 프레임(O)의 각 픽셀의 서브 픽셀도 3개이다(매 픽셀은 여전히 3개의 서브 픽셀(R, G, B)을 각각 구비함). 본 실시예의 리사이즈된 심도 프레임(D)은 1x6＝6개 픽셀을 포함하는 것을 예로 하기 때문에 3행×6열의 총 18개의 서브 픽셀을 구비한다. 이하, 부호로 매 서브 픽셀의 위치 및 그 서브 픽셀값을 표시하도록 한다. 예를 들면, 도12a의 제1행, 제1열의 서브 픽셀은 R(195)로 표시되는데, 이는 서브 픽셀 R을 나타내고, (195)는 그 서브 픽셀값이며, (1,1)로 그 위치를 나타낸다. 제3행, 제2열의 서브 픽셀은 B(202)로 표시되는데, 이는 서브 픽셀 B를 나타내고, (202)는 그 서브 픽셀값이며, (3,2)로 그 위치를 나타낸다. 상기와 같은 방식으로 유추한다.In addition, as shown in Figs. 12A and 12B, Figs. 12A and 12B are explanatory diagrams of an original depth-of-field O and a resized depth-frame D after restoration, respectively, according to another embodiment of the present invention. At this time, it is assumed that the resized depth frame D is still a gray scale frame, and the number of subpixels of each pixel is still three (each pixel has three subpixels R, G, B) . In addition, there are three subpixels of each pixel of the original depth frame O (each pixel still comprises three subpixels R, G, B). The resized depth frame (D) of this embodiment has 18 subpixels totaling 3 rows x 6 columns because it exemplifies that 1x6 = 6 pixels are included. Hereinafter, the position of each subpixel and the subpixel value thereof are indicated by sign. For example, the sub-pixels in the first row and the first column of FIG. 12A are denoted by
본 실시예에서, 도12a 및 도12b에 도시된 바와 같이, 리사이즈된 심도 프레임(D)의 픽셀에서 위치(1,1)(서브 픽셀 R)의 제1 서브 픽셀값(195), 위치(2,1)(서브 픽셀 G)의 제2 서브 픽셀값(198) 및 위치(3,1)(서브 픽셀 B)의 제3 서브 픽셀값(200)을 획득하고, 제1 서브 픽셀값(195)을 오리지널 심도 프레임(O)의 제1 픽셀에서 위치(1,1)(서브 픽셀 R), 위치(2,1)(서브 픽셀 G) 및 위치(3,1)(서브 픽셀 B) 내에 각각 저장하고, 제2 서브 픽셀값(198)을 오리지널 심도 프레임(O)의 제2 픽셀에서 위치(4,1)(서브 픽셀 R), 위치(5,1)(서브 픽셀 G) 및 위치(6,1)(서브 픽셀 B) 내에 각각 저장하며, 그리고 제3 서브 픽셀값(200)을 오리지널 심도 프레임(O)의 제3 픽셀에서 위치(7,1)(서브 픽셀 R), 위치(8,1)(서브 픽셀 G) 및 위치(9,1)(서브 픽셀 B) 내에 각각 저장한다. 이때, 오리지널 심도 프레임(O)의 제1 픽셀, 제2 픽셀 및 제3 픽셀은 오리지널 심도 프레임(O)의 동일한 열에 위치한다. 이 밖에, 리사이즈된 심도 프레임(D)의 다른 픽셀에서 위치(1,2)(서브 픽셀 R)의 제1 서브 픽셀값(190), 위치(2,2)(서브 픽셀 G)의 제2 서브 픽셀값(197) 및 위치(3,2)(서브 픽셀 B)의 제3 서브 픽셀값(202)을 획득하고, 제1 서브 픽셀값(190)을 오리지널 심도 프레임(O)의 제4 픽셀에서 위치(1,2)(서브 픽셀 R), 위치(2,2)(서브 픽셀 G) 및 위치(3,2)(서브 픽셀 B) 내에 각각 저장하고, 제2 서브 픽셀값(197)을 오리지널 심도 프레임(O)의 제5 픽셀에서，위치(4,2)(서브 픽셀 R), 위치(5,2)(서브 픽셀 G) 및 위치(6,2)(서브 픽셀 B) 내에 각각 저장하며, 그리고 제3 서브 픽셀값(202)을 오리지널 심도 프레임(O)의 제6 픽셀에서 위치(7,2)(서브 픽셀 R), 위치(8,2)(서브 픽셀 G) 및 위치(9,2)(서브 픽셀 B) 내에 각각 저장한다. 마지막으로 리사이즈된 심도 프레임(D)의 또 다른 픽셀에서, 위치(1,6)(서브 픽셀 R)의 제1 서브 픽셀값(28), 위치(2,6)(서브 픽셀 G)의 제2 서브 픽셀값(31) 및 위치(3,6)(서브 픽셀 B)의 제3 서브 픽셀값(35)을 획득하고, 제1 서브 픽셀값(28)을 오리지널 심도 프레임(O)의 제16 픽셀에서 위치(1,6)(서브 픽셀 R), 위치(2,6)(서브 픽셀 G) 및 위치(3,6)(서브 픽셀 B) 내에 각각 저장하고, 제2 서브 픽셀값(31)을 오리지널 심도 프레임(O)의 제17 픽셀에서 위치(4,6)(서브 픽셀 R), 위치(5,6)(서브 픽셀 G) 및 위치(6,6)(서브 픽셀 B) 내에 각각 저장하며, 그리고 제3 서브 픽셀값(35)을 오리지널 심도 프레임(O)의 제18 픽셀에서 위치(7,6)(서브 픽셀 R), 위치(8,6)(서브 픽셀 G) 및 위치(9,6)(서브 픽셀 B) 내에 각각 저장한다. 따라서, 본 실시예의 오리지널 심도 프레임(O)의 사이즈는 열방향(D1)으로는 리사이즈된 심도 프레임(D)의 3배이고, 행방향(D2)으로의 사이즈는 리사이즈된 심도 프레임(D)과 동일하다. 따라서, 데이터량에 있어서, 오리지널 심도 프레임(O)의 데이터량도 리사이즈된 심도 프레임(D)의 3배이다.In this embodiment, as shown in Figs. 12A and 12B, in the pixel of the resized depth frame D, the
특히 언급해야 할 것은, 상기의 서브 픽셀값을 획득하는 순서는 단지 예시적인 것일 뿐이며, 기타의 실시예에서는 사이즈 복원 후의 정확성을 제고하기 위하여 상기 서브 픽셀값의 획득 및 저장의 순서는 서로 다를 수 있다(또는 리사이징 후 상대적 위치 관계가 서로 다를 수 있는 것으로 간주할 수 있음). 예를 들면, 도12c에 도시된 바와 같이, 제1열 및 제4열은 각각 도12b의 제1열 및 제4열의 순서와 동일하고, 제2열 및 제5열은 각각 도12b의 제2열 및 제5열의 각 픽셀값이 1개의 픽셀(3개의 서브 픽셀)을 시프팅한 위치이며, 제3열 및 제6열은 각각 도12b의 제3열 및 제6열의 각 픽셀값이 2개의 픽셀을 시프팅한 위치이다. 이로써, 리사이즈된 심도 프레임에 대응되는 오리지널 심도 프레임의 서브 픽셀값의 위치 리사이징 또는 서로 다른 순서의 효과를 발생시켜 리사이즈된 심도 프레임이 사이즈의 리사이징을 거친 후에도 여전히 정확성을 유지할 수 있도록 한다.It should be noted that the order of obtaining the subpixel values is merely exemplary and in other embodiments the order of acquisition and storage of the subpixel values may be different in order to improve accuracy after resizing (Or may be considered to have a different relative positional relationship after resizing). For example, as shown in FIG. 12C, the first and fourth columns are respectively the same as the first and fourth columns of FIG. 12B, and the second and fifth columns are the same as the second and fourth columns of FIG. Column and the fifth column are positions shifted by one pixel (three sub-pixels), and the third and sixth columns are positions where the pixel values of the third and sixth columns of Fig. 12B are two It is the position where the pixel is shifted. Thus, the position re-sizing of the sub-pixel values of the original depth frame corresponding to the resized depth frame or the effect of the different order can be generated, so that the accuracy of the resized depth frame can be maintained even after the resizing of the size.
상기 서브 픽셀값의 재배열 또는 시프팅은 단지 예시적인 것일 뿐이지 본 발명을 한정하지는 않는다. 이 밖에, 상기 리사이즈된 심도 프레임(D)의 사이즈 및 매 픽셀은 각각 3개의 서브 픽셀을 구비하는 것은 단지 예시적인 것일 뿐이며, 물론 기타의 실시예에서 리사이즈된 심도 프레임(D)의 사이즈 및 그 서브 픽셀의 수량은 서로 다를 수 있다. 예를 들면, 서브 픽셀의 수량은 2개 또는 4개(또는 그 이상)일 수 있지만, 본 발명은 이에 대하여 한정하지 않는다. The rearrangement or shifting of the subpixel values is merely exemplary and does not limit the present invention. In addition, it is to be understood that the size of each of the resized depth frames (D) and each pixel has three subpixels, respectively, is merely exemplary, and in other embodiments the size of the resized depth frame (D) The number of pixels may be different. For example, the number of subpixels may be two or four (or more), but the invention is not limited thereto.
도13a, 도13b 및 도13c에 도시된 바를 참조하면, 여기서, 도13a는 본 발명의 바림직한 실시예의 다른 리사이즈된 심도 프레임의 영상 설명도이고, 도13b는 도13a에서 상기 도12b의 바람직한 실시예의 방법으로 복원한 후의 오리지널 심도 프레임의 영상 설명도이며, 도13c는 다른 리사이즈된 심도 프레임에서 상기 도12c의 바람직한 실시예의 방법으로 복원한 후의 오리지널 심도 프레임의 영상 설명도이다. 이때, 도13c의 리사이징 전의 다른 리사이즈된 심도 프레임의 영상은 도13a와 유사하므로 나타내지 않았다. 이 밖에, 도13b 및 도13c는 도12b 및 도12c의 방법에 각각 대응된다. 도13b 및 도13c는 도12b 및 도12c의 방법에 각각 대응되어 다소 구별되지만, 육안으로 볼 때, 도13b와 도13c의 영상은 매우 유사하여 구분하기 어렵다. 도13a의 그레이 스케일 프레임의 사이즈는 630x810이고, 도13b 및 도13c의 사이즈는 1920x810(1920＝630x3)이다. 따라서, 도13b 및 도13c의 오리지널 심도 프레임의 사이즈는 도13a의 리사이즈된 심도 프레임의 3배이다. 13A is an image explanatory view of another resized depth frame of a preferred embodiment of the present invention, and FIG. 13B is an explanatory view of a preferred embodiment of the present invention in FIG. 13A, FIG. 13C is an explanatory view of an original depth frame after restoration by the method of the preferred embodiment of FIG. 12C in another resized depth frame. FIG. 13C is an image explanatory view of an original depth frame after restoration by the exemplary method. At this time, the image of another resized depth frame before resizing in Fig. 13C is not shown since it is similar to Fig. 13A. 13B and 13C correspond to the methods of Figs. 12B and 12C, respectively. Figs. 13B and 13C correspond to the methods of Figs. 12B and 12C, respectively, and are slightly distinguished from each other. However, when viewed from the naked eye, the images of Figs. 13B and 13C are very similar and difficult to distinguish. The size of the gray scale frame of Fig. 13A is 630 x 810, and the sizes of Figs. 13B and 13C are 1920 x 810 (1920 = 630 x 3). Therefore, the size of the original depth frame in Figs. 13B and 13C is three times the size of the resized depth frame in Fig. 13A.
이 외에, 도14에 도시된 바를 참조하면, 도14는 본 발명의 바람직한 실시예의 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 시스템(4)(하기 '시스템(4)' 이라 칭함)의 기능 블록 설명도이다.14, there is shown a functional block diagram of a system 4 (hereinafter referred to as 'system 4') for restoring a resized depth frame of the preferred embodiment of the present invention into an original depth frame, Fig.
시스템(4)은 기억 유닛(41) 및 처리 유닛(42)을 포함하고, 기억 유닛(41)과 처리 유닛(42)은 전기적으로 연결된다. 기억 유닛(41)은 리사이즈된 심도 프레임을 저장하는 것이다. 물론, 기억 유닛(41)은 오리지널 심도 프레임을 저장할 수도 있다. 기억 유닛(41)은 비-일시적 컴퓨터-판독가능 저장 매체일 수 있고, 예를 들면 정보를 저장하는 메모리, 메모리 카드, CD, 비디오테이프, 컴퓨터 테이프 또는 이들의 조합일 수 있다. 여기서, 메모리는 읽기 전용 기억 장치, 랜덤 액세스 메모리, 플래시 메모리 또는 필드 프로그램 가능 게이트 어레이 또는 기타 형식의 메모리일 수 있으며, 이에 대하여 한정하지 않는다.The
처리 유닛(42)은 시스템(4)의 핵심적 제어 부품을 포함할 수 있고, 예를 들어 적어도 하나의 중앙 처리 장치 및 메모리 또는 기타 제어 하드웨어, 소프트웨어 또는 펌웨어를 포함할 수 있다. 여기서, 처리 유닛(42)은 리사이즈된 심도 프레임의 픽셀의 적어도 하나의 제1 서브 픽셀값 및 제2 서브 픽셀값을 획득할 수 있고, 제1 서브 픽셀값을 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하며 제2 서브 픽셀값을 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장한다. 서로 다른 실시예에서 오리지널 심도 프레임의 제1 픽셀 및 제2 픽셀은 오리지널 심도 프레임의 동일한 행 또는 동일한 열에 위치한다. 이 밖에, 오리지널 심도 프레임의 사이즈는 행방향으로는 리사이즈된 심도 프레임의 3배이거나 또는 열방향으로는 리사이즈된 심도 프레임의 3배이다.The
이 밖에, 시스템(4)에서 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 기타 기술적 특징은 상기의 복원 방법 및 장치(3)에 관한 기술 내용을 참조할 수 있는 바, 여기서 중복 설명을 생략한다. In addition, other technical features for restoring the resized depth frame to the original depth frame in the
상기와 같이, 본 발명의 오리지널 심도 프레임의 사이즈를 리사이즈된 심도 프레임으로 리사이징하는 방법, 장치 및 시스템에서, 오리지널 심도 프레임의 적어도 2개의 픽셀의 2개의 서브 픽셀값을 각각 획득하고 상기 서브 픽셀값들을 리사이즈된 심도 프레임의 1개의 픽셀의 2개의 서브 픽셀 내에 각각 대응되게 저장한다. 이로써, 리사이즈된 심도 프레임의 데이터량이 단지 오리지널 심도 프레임의 1/2이거나 그 이하가 되도록 한다. 예를 들면, 1/3이 되도록 한다. 따라서, 본 발명은 효율적인 심도 프레임 압축 기술로서 3D 영상 압축 시스템에 적용될 수 있고, 압축 효율이 비교적 높고 데이터량이 비교적 적으며 전송 효율이 비교적 높은 우점을 구비한다. 전송에 적용될 경우, 기존의 전송 기기의 전송 대역폭의 부담을 효과적으로 감소시킨다.As described above, in a method, apparatus and system for resizing the size of an original depth frame of the present invention into a resized depth frame, each of the two subpixel values of at least two pixels of an original depth frame is obtained, And correspondingly stored in two sub-pixels of one pixel of the resized depth frame. This ensures that the amount of data in the resized depth frame is only half or less of the original depth frame. For example, 1/3. Accordingly, the present invention can be applied to a 3D image compression system as an effective depth frame compression technique, and has a high compression efficiency, a relatively small amount of data, and a relatively high transmission efficiency. When applied to transmission, it effectively reduces the burden of the transmission bandwidth of the existing transmission equipment.
이 밖에, 본 발명의 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 방법, 장치 및 시스템에서, 리사이즈된 심도 프레임의 픽셀의 제1 서브 픽셀값을 획득하는 단계와, 제1 서브 픽셀값을 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하는 단계와, 리사이즈된 심도 프레임의 픽셀의 제2 서브 픽셀값을 획득하는 단계 및 제2 서브 픽셀값을 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장하는 단계를 포함한다. 이로써, 리사이즈된 심도 프레임을 오리지널 심도 프레임으로 복원하는 방법, 장치 및 시스템은 기존의 것과 달리 3D 영상 복원 시스템에 적용될 수 있다.In addition, in a method, apparatus and system for restoring a resized depth frame of the present invention to an original depth frame, obtaining a first sub-pixel value of a pixel of the resized depth frame, Storing in a subpixel of a first pixel of the frame, obtaining a second subpixel value of a pixel of the resized depth frame, and obtaining a second subpixel value in all subpixels of the second pixel of the original depthframe . Thus, a method, apparatus, and system for restoring a resized depth frame to an original depth frame can be applied to a 3D image restoration system unlike the existing one.
상기는 단지 예시적인 것일 뿐이지 본 발명을 한정하지는 않는다. 본 발명의 사상과 범위 내에서 진행되는 등가적 보정 또는 변경은 모두 본 발명이 보호하고자 하는 범위 내에 포함되어야 할 것이다.The foregoing is merely illustrative and is not intended to limit the present invention. It is intended that all such equivalent modifications and variations are included within the spirit and scope of the present invention as defined by the appended claims.
11: 픽셀 획득 유닛 12: 픽셀 저장 유닛 13: 제어 유닛11: pixel acquiring unit 12: pixel storing unit 13: control unit
Claims (15)
상기 리사이즈된 심도 프레임의 픽셀의 제1 서브 픽셀값을 획득하는 단계와;
상기 제1 서브 픽셀값을 상기 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하고, 상기 제1 서브 픽셀값을 저장하는 단계는 상기 제1 서브 픽셀값을 상기 오리지널 심도 프레임의 상기 제1 픽셀의 3개의 서브 픽셀들 내에 저장하는 단계와;
상기 리사이즈된 심도 프레임의 상기 픽셀의 제2 서브 픽셀값을 획득하는 단계와;
상기 제2 서브 픽셀값을 상기 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장하고, 상기 제2 서브 픽셀값을 저장하는 단계는 상기 제2 서브 픽셀값을 상기 오리지널 심도 프레임의 상기 제2 픽셀의 3개의 서브 픽셀들 내에 저장하는 단계와;
상기 리사이즈된 심도 프레임의 상기 픽셀의 제3 서브 픽셀값을 획득하는 단계와; 및
상기 제3 서브 픽셀값을 상기 오리지널 심도 프레임의 제3 픽셀의 모든 서브 픽셀 내에 저장하고, 상기 제3 서브 픽셀값을 저장하는 단계는 상기 제3 서브 픽셀값을 상기 오리지널 심도 프레임의 상기 제3 픽셀의 3개의 서브 픽셀들 내에 저장하는 단계를 포함하는 오리지널 심도 프레임으로 복원하는 방법.A method for restoring a resized depth frame to an original depth frame,
Obtaining a first sub-pixel value of a pixel of the resized depth frame;
Storing the first subpixel value in all subpixels of a first pixel of the original depth frame and storing the first subpixel value comprises storing the first subpixel value in the first depth pixel of the original depth frame, In three sub-pixels of the sub-pixel;
Obtaining a second sub-pixel value of the pixel of the resized depth frame;
Storing the second subpixel value in all subpixels of the second pixel of the original depth frame and storing the second subpixel value comprises storing the second subpixel value in the second depth In three sub-pixels of the sub-pixel;
Obtaining a third sub-pixel value of the pixel of the resized depth frame; And
Storing the third subpixel value in all subpixels of the third pixel of the original depth frame and storing the third subpixel value comprises storing the third subpixel value in the third depth In three subpixels of the original depth frame.
상기 리사이즈된 심도 프레임의 픽셀의 제1 서브 픽셀값, 제2 서브 픽셀값 및 제3 서브 픽셀값을 각각 획득하는 픽셀 획득 유닛; 및
상기 제1 서브 픽셀값을 상기 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하고 상기 제2 서브 픽셀값을 상기 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장하며, 상기 제3 서브 픽셀값을 상기 오리지널 심도 프레임의 제3 픽셀의 모든 서브 픽셀 내에 저장하는 픽셀 저장 유닛을 포함하고,
상기 픽셀 저장 유닛은 상기 제1 서브 픽셀값을 상기 오리지널 심도 프레임의 상기 제1 픽셀의 3개의 서브 픽셀들 내에 저장하고, 상기 픽셀 저장 유닛은 또한 상기 제2 서브 픽셀값을 상기 오리지널 심도 프레임의 제2 픽셀의 3개의 서브 픽셀들 내에 저장하며, 상기 픽셀 저장 유닛은 또한 상기 제3 서브 픽셀값을 상기 오리지널 심도 프레임의 상기 제3 픽셀의 3개의 서브 픽셀들 내에 저장하는 오리지널 심도 프레임으로 복원하는 장치. An apparatus for restoring a resized depth frame to an original depth frame,
A pixel acquiring unit that acquires a first subpixel value, a second subpixel value, and a third subpixel value, respectively, of a pixel of the resized depth frame; And
Storing the first subpixel value in all subpixels of a first pixel of the original depth frame and storing the second subpixel value in all subpixels of a second pixel of the original depth frame, A pixel storage unit for storing a value in all subpixels of a third pixel of said original depth frame,
Wherein the pixel storage unit stores the first subpixel value in three subpixels of the first pixel of the original depth frame and the pixel storage unit also stores the second subpixel value in the original depthframe Wherein the pixel storage unit also stores the third subpixel value into an original depthframe that stores the third subpixel value in three subpixels of the third pixel of the original depthframe, .
상기 리사이즈된 심도 프레임을 저장하는 기억 유닛; 및
상기 리사이즈된 심도 프레임의 픽셀의 적어도 제1 서브 픽셀값, 제2 서브 픽셀값 및 제3 서브 픽셀값을 각각 획득하고, 상기 제1 서브 픽셀값을 상기 오리지널 심도 프레임의 제1 픽셀의 모든 서브 픽셀 내에 저장하며, 상기 제2 서브 픽셀값을 상기 오리지널 심도 프레임의 제2 픽셀의 모든 서브 픽셀 내에 저장하고, 상기 제3 서브 픽셀값을 상기 오리지널 심도 프레임의 제3 픽셀의 모든 서브 픽셀 내에 저장하는 처리 유닛을 포함하고,
상기 처리 유닛은 상기 제1 서브 픽셀값을 상기 오리지널 심도 프레임의 상기 제1 픽셀의 3개의 서브 픽셀들 내에 저장하고, 상기 처리 유닛은 또한 상기 제2 서브 픽셀값을 상기 오리지널 심도 프레임의 제2 픽셀의 3개의 서브 픽셀들 내에 저장하며, 상기 처리 유닛은 또한 상기 제3 서브 픽셀값을 상기 오리지널 심도 프레임의 상기 제3 픽셀의 3개의 서브 픽셀들 내에 저장하는 오리지널 심도 프레임으로 복원하는 시스템.A system for restoring a resized depth frame to an original depth frame,
A storage unit for storing the resized depth frame; And
Obtaining a first sub-pixel value, a second sub-pixel value, and a third sub-pixel value of a pixel of the resized depth frame, Storing the second subpixel value in all subpixels of the second pixel of the original depth frame and storing the third subpixel value in all subpixels of the third pixel of the original depthframe Unit,
Wherein the processing unit stores the first subpixel value in three subpixels of the first pixel of the original depth frame and the processing unit also stores the second subpixel value in a second pixel of the original depth frame, Wherein the processing unit also restores the third subpixel value to an original depth frame that is stored in three subpixels of the third pixel of the original depthframe.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102135703A TWI603290B (en) | 2013-10-02 | 2013-10-02 | Method, device and system for resizing original depth frame into resized depth frame |
| TW102135708A TWI503788B (en) | 2013-10-02 | 2013-10-02 | Method, device and system for restoring resized depth frame into original depth frame |
| TW102135708 | 2013-10-02 | ||
| TW102135703 | 2013-10-02 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140130339A Division KR101652583B1 (en) | 2013-10-02 | 2014-09-29 | Method, device and system for resizing and restoring original depth frame |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160102953A KR20160102953A (en) | 2016-08-31 |
| KR101684834B1 true KR101684834B1 (en) | 2016-12-08 |
Family
ID=53015330
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140130339A KR101652583B1 (en) | 2013-10-02 | 2014-09-29 | Method, device and system for resizing and restoring original depth frame |
| KR1020160106694A KR101684834B1 (en) | 2013-10-02 | 2016-08-23 | Method, device and system for resizing and restoring original depth frame |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140130339A KR101652583B1 (en) | 2013-10-02 | 2014-09-29 | Method, device and system for resizing and restoring original depth frame |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6283297B2 (en) |
| KR (2) | KR101652583B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ITUB20153633A1 (en) * | 2015-09-15 | 2017-03-15 | Ik Multimedia Production Srl | SOUND RECEIVER, PARTICULARLY FOR ACOUSTIC GUITARS. |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012014171A1 (en) | 2010-07-28 | 2012-02-02 | Sisvel Technology S.R.L. | Method for combining images relating to a three-dimensional content |
| CN102868899A (en) | 2012-09-06 | 2013-01-09 | 华映光电股份有限公司 | Method for processing three-dimensional image |
| US20130076739A1 (en) | 2011-09-27 | 2013-03-28 | Realtek Semiconductor Corp. | Method and apparatus for transmitting three-dimensional image |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101545009B1 (en) * | 2007-12-20 | 2015-08-18 | 코닌클리케 필립스 엔.브이. | Image encoding method for stereoscopic rendering |
-
2014
- 2014-09-29 KR KR1020140130339A patent/KR101652583B1/en active IP Right Grant
- 2014-10-02 JP JP2014203551A patent/JP6283297B2/en active Active
-
2016
- 2016-08-23 KR KR1020160106694A patent/KR101684834B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012014171A1 (en) | 2010-07-28 | 2012-02-02 | Sisvel Technology S.R.L. | Method for combining images relating to a three-dimensional content |
| US20130076739A1 (en) | 2011-09-27 | 2013-03-28 | Realtek Semiconductor Corp. | Method and apparatus for transmitting three-dimensional image |
| CN102868899A (en) | 2012-09-06 | 2013-01-09 | 华映光电股份有限公司 | Method for processing three-dimensional image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150039570A (en) | 2015-04-10 |
| KR20160102953A (en) | 2016-08-31 |
| JP6283297B2 (en) | 2018-02-21 |
| JP2015073272A (en) | 2015-04-16 |
| KR101652583B1 (en) | 2016-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20200049833A (en) | Depth estimation methods and apparatus, electronic devices, programs and media | |
| CN108665415B (en) | Image quality improving method and device based on deep learning | |
| US9774844B2 (en) | Unpacking method, unpacking device and unpacking system of packed frame | |
| US9521428B2 (en) | Method, device and system for resizing original depth frame into resized depth frame | |
| CN109643462B (en) | Real-time image processing method based on rendering engine and display device | |
| US20170180700A1 (en) | Method and apparatus for transmitting image data, and method and apparatus for generating 3d image | |
| KR101684834B1 (en) | Method, device and system for resizing and restoring original depth frame | |
| CN110958442A (en) | Method and apparatus for processing holographic image data | |
| WO2017202079A1 (en) | Stereoscopic image producing method and apparatus | |
| TWI503788B (en) | Method, device and system for restoring resized depth frame into original depth frame | |
| US20130088485A1 (en) | Method of storing or transmitting auto-stereoscopic images | |
| JP5993423B2 (en) | Method, apparatus and system for packing and unpacking color frame and original depth frame | |
| US9832446B2 (en) | Method, device and system for packing color frame and original depth frame | |
| CN108769662B (en) | Multi-view naked eye 3D image hole filling method and device and electronic equipment | |
| CN110809147A (en) | Image processing method and device, computer storage medium and electronic equipment | |
| TWI530155B (en) | Method, device for packing multi-view frame and non-transitory storage medium for storing packed frame | |
| TWI524731B (en) | Non-transitory storage medium for storing resized depth frame | |
| TWI547141B (en) | Unpacking method, device of packed frame and non-transitory storage medium for storing unpacking instructions | |
| KR20230080212A (en) | Method and apparatus for rendering a light field image | |
| TWI512678B (en) | Non-transitory storage medium | |
| CN115701313A (en) | Multi-view image processing system and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |