KR101910446B1 - A Compression Method of Digital Hologram Video using Domain Transforms and 2D Video Compression Technique - Google Patents
A Compression Method of Digital Hologram Video using Domain Transforms and 2D Video Compression Technique Download PDFInfo
- Publication number
- KR101910446B1 KR101910446B1 KR1020160088225A KR20160088225A KR101910446B1 KR 101910446 B1 KR101910446 B1 KR 101910446B1 KR 1020160088225 A KR1020160088225 A KR 1020160088225A KR 20160088225 A KR20160088225 A KR 20160088225A KR 101910446 B1 KR101910446 B1 KR 101910446B1
- Authority
- KR
- South Korea
- Prior art keywords
- compression
- video
- image
- domain
- domain conversion
- Prior art date
Links
- 238000007906 compression Methods 0.000 title claims abstract description 180
- 230000006835 compression Effects 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims abstract description 135
- 238000006243 chemical reaction Methods 0.000 claims abstract description 95
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000011426 transformation method Methods 0.000 claims abstract description 4
- 230000001131 transforming effect Effects 0.000 claims abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 16
- 238000001914 filtration Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000001093 holography Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100381481 Caenorhabditis elegans baz-2 gene Proteins 0.000 description 1
- 101100372762 Rattus norvegicus Flt1 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- QCUPYFTWJOZAOB-HYXAFXHYSA-N ectylurea Chemical compound CC\C(=C\C)C(=O)NC(N)=O QCUPYFTWJOZAOB-HYXAFXHYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0493—Special holograms not otherwise provided for, e.g. conoscopic, referenceless holography
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
도메인 변환 방식, 도메인 변환 단위, 압축 파라미터들의 조건들을 다양하게 변화시켜 테스트를 통해 가장 압축효율이 좋은 최적의 압축조건을 구하고, 구해진 조건을 만족하는 압축방법을 선택하는, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 관한 것으로서, (a) 디지털 홀로그램을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH(Digital Hologram) 영상으로 생성하는 단계; (b) 상기 부분 DH 영상을 다수의 도메인 변환방식 각각에 따라 도메인 변환을 수행하여, 도메인 변환 데이터를 획득하는 단계; (c) 상기 도메인 변환 데이터를 비디오 시퀀스로 생성하는 단계; (d) 비디오 시퀀스를 2차원 비디오 압축기에 따라 압축하되, 상기 2차원 비디오 압축기의 파라미터를 달리 설정하여 각 설정된 파라미터에 따라 비디오 시퀀스를 각각 압축하여 생성하는 단계; (e) 압축된 비디오 시퀀스를 복원하여 도메인 변환 데이터로 복원하고, 복원된 도메인 변환 데이터를 역 도메인 변환하여 부분 DH 영상으로 복원하는 단계; 및, (f) 복원된 부분 DH 영상과, 최초 부분 DH 영상을 대비하여 평가하여, 최적의 도메인 변환방식과, 상기 2차원 비디오 압축기의 파라미터를 선정하는 단계를 포함하는 구성을 마련한다.
상기와 같은 디지털 홀로그램 비디오 압축 방법에 의하여, 도메인 변환 방식, 압축 파라미터, CTU(Coding Tree Unit) 크기, 압축 모드, GOP(group of prediction) 크기 등 압축 파라미터의 최적 조건을 추출하여 압축함으로써, 종래 압축 기술에 비하여 동일한 화질을 가지면서 비디오의 압축률이 최소 2배 이상으로, 월등히 우수한 성능을 가질 수 있다.A domain conversion and a 2D video compression based on a compression method in which optimum compression conditions with the best compression efficiency are obtained by varying the conditions of the domain conversion method, domain conversion unit and compression parameters, and a compression method satisfying the obtained condition is selected. A digital hologram video compression method comprising the steps of: (a) generating a partial DH (Digital Hologram) image by dividing a digital hologram into segments according to a predetermined section; (b) performing domain conversion on the partial DH image according to each of a plurality of domain transformation methods to obtain domain transformation data; (c) generating the domain conversion data as a video sequence; (d) compressing a video sequence according to a two-dimensional video compressor, separately setting a parameter of the two-dimensional video compressor and compressing and generating a video sequence according to each set parameter; (e) reconstructing the compressed video sequence, restoring the reconstructed domain transformed data, inverse domain transforming the reconstructed domain transformed data, and reconstructing the reconstructed partial DH image; And (f) evaluating the reconstructed partial DH image and the initial partial DH image, and selecting an optimal domain conversion method and a parameter of the two-dimensional video compressor.
The digital hologram video compression method extracts and compresses optimal conditions of the compression parameters such as the domain conversion method, the compression parameter, the CTU (Coding Tree Unit) size, the compression mode, and the GOP (group of prediction) Compared to the technology, the compression rate of the video is at least twice as high as the video quality.
Description
본 발명은 국제표준으로 제정된 2차원 동영상 압축기술을 이용하여 홀로그램 동영상을 압축하되, 디지털 홀로그램의 화소 간 상관성을 높이기 위하여 도메인 변환을 사용하여 압축하는, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 관한 것이다.The present invention relates to a digital hologram video compression based on domain conversion and 2D video compression, in which a hologram moving image is compressed using a two-dimensional moving image compression technique established as an international standard, ≪ / RTI >
2009년 말, 3D영화 '아바타'의 상영으로 실감영상에 대한 욕구가 또다시 촉발되었으며, 과거와는 달리 이 사건으로 인해 대중들은 더 높은 실감성을 요구하는 계기가 되었다[비특허문헌 1]. 이에 안경식 스테레오스코픽(stereoscopic) 영상의 안경착용의 불편함과 시점의 제한을 극복하고자 무안경식 다시점(multiple viewpoints) 영상이 연구되어 왔으나[비특허문헌 2], 시점변환의 부자연스러움, 무안경식 3D영상의 어지러움, 다시점을 위한 해상도 등의 문제를 여전히 완전히 해결하지 못하고 있다. 따라서 1940년대부터 꾸준히 연구되어온 홀로그램(hologram)에 대한 관심도가 최근 급상승하고 있다. At the end of 2009, the desire for realistic images was triggered again by the screening of the 3D movie 'Avatar', and unlike the past, this event prompted the public to demand higher realism [Non-Patent Document 1]. Therefore, in order to overcome the inconvenience and limitations of stereoscopic images wearing glasses, multiple viewpoint images have been studied [Non-Patent Document 2], unnaturalness of viewpoint transformation, unobtrusive 3D The problem of image dizziness, resolution for multi-point, and the like are still not completely solved. Therefore, interest in holograms, which have been studied steadily since the 1940s, is growing rapidly.
홀로그램은 물체에서 반사되는 광파(물체파, object wave)에 기준이 되는 광파(기준파, reference wave)를 간섭시켜 그 결과로 발생되는 프린지 패턴(fringe pattern)들로 구성되며, 이 프린지 패턴을 디지털 데이터로 획득한 것이 디지털 홀로그램(digital hologram, DH)이다. 따라서 홀로그램은 2D 데이터이지만 물체파와 기준파의 위상차이로 물체까지의 거리정보까지 포함하는 3D 데이터이다[비특허문헌 3]. 이 홀로그램에 기준파를 조사하면 원 위치의 원 물체 영상이 재현된다. 따라서 홀로그램 영상은, 시야각의 제약은 있지만, 3차원 영상을 디스플레이하기 때문에 궁극적인 3D영상으로 간주되고 있으며, 최근 국내에서도 2020년 상용화를 목표로 범정부차원의 국책과제를 진행하고 있다[비특허문헌 4].The hologram is composed of fringe patterns generated by interfering with a reference wave that is a reference to an object wave reflected from an object, A digital hologram (DH) is obtained as data. Therefore, the hologram is 2D data but includes 3D data including the distance information to the object by the phase difference between the object wave and the reference wave [Non-Patent Document 3]. When the reference wave is irradiated on this hologram, the original image of the original position is reproduced. Therefore, the hologram image is regarded as the ultimate 3D image because it displays the 3D image though there is a limitation of the viewing angle, and the national government has been proceeding with the national government project aiming at commercialization in 2020 in the recent years [ 4].
지금까지의 홀로그램 또는 DH(디지털 홀로그램)에 대한 연구는 홀로그램을 획득 또는 생성하는 분야와 홀로그램 영상을 디스플레이하는 분야에 집중되어 왔고, 홀로그램을 서비스하기 위한 분야에는 상대적으로 적은 연구만 진행되어왔다.Studies on holograms or DHs (digital holograms) so far have been focused on the fields of acquiring or generating holograms and on displaying hologram images, and relatively few studies have been conducted on holograms.
홀로그램을 서비스하기 위한 분야에 대한 기존 연구들을 설명한다.This paper describes existing research on the field of hologram service.
Yoshikawa 등은 DH를 복원한 영상의 해상도가 인간의 시각시스템에 비해 너무 크기 때문에 DH의 해상도를 줄이고, 대신에 영상을 복원할 때 보간법 등을 이용하도록 정보량을 줄이는 방법을 제안하였다[비특허문헌 5][비특허문헌 6]. 또한 DH를 다수개의 1차원적 세그먼트(segment)로 나누고 각각에 이산코사인변환(discrete cosine transform, DCT)를 수행하여 동영상 압축 표준인 MPEG-1과 MPEG-2로 압축한 방법들이 제안되었다[비특허문헌 7][비특허문헌 8]. Javidi 등은 DH를 무손실 부호화 방식으로 압축하는 방법[비특허문헌 9]을 제안하였고, 무손실부호화 방식을 손실부호화 기술과 결합한 형태의 기술[비특허문헌 10]도 제안하였다. 이 팀에서는 또한 실시간 전송을 위해서 비트 패킹 동작에 의한 복소스트림을 양자화하는 압축방식[비특허문헌 11]을 제안하기도 하였다. Yoshikawa et al. Proposed a method of reducing the resolution of the DH because the resolution of the reconstructed image of the DH is too large compared to that of the human visual system, and instead, reducing the amount of information to use interpolation when restoring the image [Non-Patent Document 5 ] [Non-Patent Document 6]. There have also been proposed methods in which DHs are divided into a plurality of one-dimensional segments and compressed to MPEG-1 and MPEG-2 moving picture compression standards by performing discrete cosine transform (DCT) on each one Document 7] [Non-Patent Document 8]. Javidi et al. Proposed a method of compressing DH by lossless coding [Non-Patent Document 9], and proposed a technique of combining lossless coding with lossy coding [Non-Patent Document 10]. The team also proposed a compression scheme [Non-Patent Document 11] for quantizing a complex stream by bit packing operation for real-time transmission.
DH의 압축에 다양한 디지털 신호처리 기술을 사용한 방법들도 제안되었다. DH를 분할하고 각 부분 DH를 상관성이 높은 정보로 DCT 또는 DWT(discrete wavelet transform)한 후 변환된 부분DH를 시퀀스(sequence)로 만들어 MPEG2 또는 MPEG4 H.264/AVC의 손실압축과 ZIP 등의 무손실압축을 혼용한 압축방식[비특허문헌 12]을 제안하였으며, DH 비디오를 대상으로 DCT 또는 DWT된 부분홀로그램을 압축효율이 최적이 되도록 시퀀싱하는 방법[비특허문헌 13]을 제안하기도 하였다. 또한 DCT 변환된 부분DH 영상을 집적영상(integrated image)으로 만들어 그 결과를 H.264/AVC로 압축하는 방법[비특허문헌 14]을 제안하기도 하였다. DH를 부분 홀로그램으로 분할한 후 그 결과를 Fresnel 변환(Fresnel transform, FT)하고, 그 결과를 1차원으로 시퀀스를 만들어 motion-compensated temporal filtering (MCTF) 방법으로 압축하는 방법[비특허문헌 15], Mallat-tree 기반의 DWT와 Bandelet 변환을 사용하여 프린지 패턴의 방향성에 따라 압축을 수행한 방법[비특허문헌 16]이 제안되었다. Liebling 등은 DH를 프렌넬(Fresnel) 회절변환(FT)과 웨이블릿(wavelet) 변환을 결합하여 다해상도 영상으로 분해하는 프레넬릿(Fresenelet) 변환(FLT)방법을 제안[비특허문헌 17]하였는데, [비특허문헌 18]에서는 이 프레넬릿 변환된 각 부대역을 양자화하는 양자화기를 설계하여 압축하는 방법을 제안하였다.Methods using various digital signal processing techniques for DH compression have also been proposed. DH, DCT or DWT (discrete wavelet transform) of each part DH with highly correlated information, and the converted part DH is made into a sequence to make lossless compression of MPEG2 or MPEG4 H.264 / AVC and lossless compression of ZIP [Non-Patent Document 12] has been proposed, and a method of sequencing DCT or DWT partial holograms for DH video to optimize compression efficiency (Non-Patent Document 13) has also been proposed. Also, a method of converting the DCT-converted partial DH image into an integrated image and compressing the result into H.264 / AVC (non-patent document 14) has also been proposed. DH is divided into partial holograms, Fresnel transform (FT) is performed on the result, and the result is formed in a one-dimensional sequence and compressed by a motion-compensated temporal filtering (MCTF) method [Non-Patent Document 15] A method of performing compression according to the direction of a fringe pattern using a Mallat-tree-based DWT and Bandelet transform (Non-Patent Document 16) has been proposed. Liebling et al. Proposed a Fresnelet transform (FLT) method that decomposes DH into a multiresolution image by combining Fresnel diffraction (FT) and wavelet transform (Non-Patent Document 17) [Non-Patent Document 18] proposed a method of designing and compressing a quantizer for quantizing each Frenel-transformed subband.
또한, [비특허문헌 13]~[비특허문헌 16], [비특허문헌 17] 등과 같이, DH 비디오를 도메인 변환하고 그 결과를 2차원 동영상 압축 기술로 압축하는 방법을 예상할 수 있다. 그런데 DH 또는 그 원영상의 특징에 따라 DCT, FT, FLT 등 압축효율이 가장 좋은 도메인 변환과 그 변환 파라미터 및 압축 파라미터들을 찾는 방법이 필요하다.It is also possible to expect a method of domain conversion of the DH video and compressing the result using a two-dimensional moving picture compression technique, such as [Non-Patent Document 13] to [Non-Patent Document 16] and [Non-Patent Document 17]. However, domain conversion with the best compression efficiency such as DCT, FT, and FLT, and a method of finding the conversion parameters and compression parameters are needed depending on the characteristics of the DH or the original image.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 국제표준으로 제정된 2차원 동영상 압축기술을 이용하여 홀로그램 동영상을 압축하되, 디지털 홀로그램의 화소 간 상관성을 높이기 위하여 도메인 변환을 사용하여 압축하는, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 제공하는 것이다.An object of the present invention is to solve the above-mentioned problems, and it is an object of the present invention to compress a hologram moving image by using a two-dimensional moving image compression technique established as an international standard, and to increase the correlation between pixels of a digital hologram, And to provide a digital hologram video compression method based on domain conversion and 2D video compression.
또한, 본 발명의 목적은 도메인 변환 방식, 도메인 변환 단위, 압축 파라미터들의 조건들을 다양하게 변화시켜 테스트를 통해 가장 압축효율이 좋은 최적의 압축조건을 구하고, 구해진 조건을 만족하는 압축방법을 선택하는, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 제공하는 것이다.It is another object of the present invention to provide a method and apparatus for determining optimum compression conditions with the best compression efficiency by varying conditions of a domain conversion method, a domain conversion unit, and compression parameters, and selecting a compression method satisfying the obtained conditions, Domain conversion and a 2D hologram video compression method based on 2D video compression.
특히, 도메인 변환 방식으로는 DCT([비특허문헌 13][비특허문헌 14]에서 DCT가 DWT보다 압축효율이 좋은 결과를 보였으므로 여기서는 DCT만 고려함), FT, 그리고 FLT를 고려하며, 2차원 비디오 압축기술은 가장 최근에 국제표준으로 제정된 H.265/HEVC(high efficient video coding)[비특허문헌 19]를 사용한다.Particularly, considering DCT (DCT is considered here), FT and FLT are considered as the domain conversion method, DCT ([DCT in Non-Patent Document 13] Video compression technology uses H.265 / HEVC (High Efficient Video Coding) [Non-Patent Document 19] recently established as an international standard.
또한, 본 발명의 목적은 DH 또는 그 원영상의 특징에 따라 DCT, FT, FLT 중 압축효율이 가장 좋은 도메인 변환과 그 변환 파라미터 및 압축 파라미터들을 찾되, 도메인 변환 파라미터들을 DCT와 FT는 부분홀로그램의 크기, FLT는 변환 레벨(level)이며, 압축 파라미터는 HEVC CTU의 크기로 설정하는, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 제공하는 것이다.According to another aspect of the present invention, there is provided a method of converting a DCT, a FT, and a FLT into a DCT, a FT, and a FLT, Size, FLT is a conversion level, and the compression parameter is set to the size of the HEVC CTU.
상기 목적을 달성하기 위해 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 관한 것으로서, (a) 디지털 홀로그램을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH(Digital Hologram) 영상으로 생성하는 단계; (b) 상기 부분 DH 영상을 다수의 도메인 변환방식 각각에 따라 도메인 변환을 수행하여, 도메인 변환 데이터를 획득하는 단계; (c) 상기 도메인 변환 데이터를 비디오 시퀀스로 생성하는 단계; (d) 비디오 시퀀스를 2차원 비디오 압축기에 따라 압축하되, 상기 2차원 비디오 압축기의 파라미터를 달리 설정하여 각 설정된 파라미터에 따라 비디오 시퀀스를 각각 압축하여 생성하는 단계; (e) 압축된 비디오 시퀀스를 복원하여 도메인 변환 데이터로 복원하고, 복원된 도메인 변환 데이터를 역 도메인 변환하여 부분 DH 영상으로 복원하는 단계; 및, (f) 복원된 부분 DH 영상과, 최초 부분 DH 영상을 대비하여 평가하여, 최적의 도메인 변환방식과, 상기 2차원 비디오 압축기의 파라미터를 선정하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a digital hologram video compression method based on domain conversion and 2D video compression, comprising: (a) dividing a digital hologram into segments according to a predetermined section to generate a partial DH (Digital Hologram) step; (b) performing domain conversion on the partial DH image according to each of a plurality of domain transformation methods to obtain domain transformation data; (c) generating the domain conversion data as a video sequence; (d) compressing a video sequence according to a two-dimensional video compressor, separately setting a parameter of the two-dimensional video compressor and compressing and generating a video sequence according to each set parameter; (e) reconstructing the compressed video sequence, restoring the reconstructed domain transformed data, inverse domain transforming the reconstructed domain transformed data, and reconstructing the reconstructed partial DH image; And (f) evaluating the reconstructed partial DH image and the initial partial DH image in comparison with each other, and selecting an optimal domain conversion scheme and parameters of the two-dimensional video compressor.
또, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서, 상기 도메인 변환 방식은 2차원 이산 코사인 변환(DCT) 방식, 프레넬 변환(FT) 방식, 및, 프레넬릿 변환(FLT) 방식을 포함하는 것을 특징으로 한다.In the digital hologram video compression method based on the domain conversion and the 2D video compression, the domain conversion method includes a two-dimensional discrete cosine transform (DCT) method, a Fresnel transform (FT) method, and a Fresnel transform (FLT) And a method of using the same.
또, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서, 상기 도메인 변환 데이터를 각 도메인 변환 방식에 의해 변환되는 데이터의 크기를 1/4n(n은 자연수)의 비율로 세분화하여 생성하되, 상기 DCT 방식과 상기 FT 방식인 경우 부분 DH 영상을 분할하여 분할된 각 DH 영상을 각각 도메인 변환하여 해당 크기의 도메인 변환 데이터를 생성하고, 상기 FLT 방식인 경우 부분 DH 영상을 도메인 변환하는 레벨을 조절하여 해당 크기의 도메인 변환 데이터를 생성하고, 세분화된 도메인 변환 데이터는 분활된 각 DH 영상 별로 독립적으로 압축되는 것을 특징으로 한다.According to the present invention, in the digital hologram video compression method based on domain conversion and 2D video compression, the size of data converted by each domain conversion method is divided into a ratio of 1/4 n (n is a natural number) In the case of the DCT method and the FT method, the partial DH images are divided and each divided DH image is subjected to domain conversion to generate domain conversion data of a corresponding size, and in the case of the FLT method, the partial DH image is subjected to domain conversion Level domain to generate domain conversion data of a corresponding size, and the subdivided domain conversion data is compressed independently for each separated DH image.
또, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서, 상기 2차원 비디오 압축기는 HEVC(high efficient video coding) 방식에 의해 비디오 시퀀스를 압축하는 것을 특징으로 한다.According to the present invention, in the digital hologram video compression method based on domain conversion and 2D video compression, the 2D video compressor compresses a video sequence by a high efficient video coding (HEVC) method.
또, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서, 상기 비디오 압축기의 파라미터는 CTU(coding-tree unit) 크기, 압축모드, GOP(group of prediction) 크기를 포함하고, 상기 CTU 크기는 64×64, 32×32, 16×16를 구성되고, 상기 압축모드는 저지연(low delay) 모드와 임의접근(random access) 모드로 구성되고, 상기 GOP 크기는 4와 8로 구성되는 것을 특징으로 한다.In the digital hologram video compression method based on domain conversion and 2D video compression, the parameters of the video compressor include a coding-tree unit (CTU) size, a compression mode, and a GOP (group of prediction) The compressed mode is composed of a low delay mode and a random access mode and the GOP size is composed of 4 and 8 bits, .
또, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에서, 상기 (f)단계에서, 비디오 시퀀스를 압축할 때 각 도메인 변환 방식과 각 파라미터 별로 동일한 압축률로 압축한 경우를 대비하여 평가하되, PSNR(Peak Signal-to-Noise Ratio)을 산출하여 평가하는 것을 특징으로 한다.In addition, in the digital hologram video compression method based on domain conversion and 2D video compression, in the step (f), when the video sequence is compressed, (PSNR) is calculated and evaluated.
또한, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 관한 것으로서, (a) 디지털 홀로그램을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH(Digital Hologram) 영상으로 생성하는 단계; (b) 상기 부분 DH 영상을 프레넬 변환(FT) 방식에 따라 도메인 변환을 수행하여 도메인 변환 데이터를 획득하되, 프레넬 변환을 1-레벨로 수행하여 획득하는 단계; (c) 상기 도메인 변환 데이터를 비디오 시퀀스로 생성하는 단계; 및, (d) 비디오 시퀀스를 HEVC(high efficient video coding) 방식의 2차원 비디오 압축기에 따라 압축하되, 상기 2차원 비디오 압축기의 CTU(coding-tree unit) 크기를 64×64로 설정하고, 압축모드를 임의접근(random access) 모드로 설정하고, GOP(group of prediction) 크기를 4로 설정하여, 비디오 시퀀스를 압축하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a digital hologram video compression method based on domain conversion and 2D video compression, the method comprising the steps of: (a) generating a partial DH (Digital Hologram) image by dividing a digital hologram into segments according to a predetermined section; (b) performing domain conversion on the partial DH image according to a Fourier transform (FT) method to obtain domain conversion data, and performing Fresnel transform on a one-level basis; (c) generating the domain conversion data as a video sequence; And (d) compressing the video sequence according to a two-dimensional video compressor according to a high efficiency video coding (HEVC) scheme, wherein a coding-tree unit (CTU) size of the two-dimensional video compressor is set to 64x64, And setting a GOP (group of prediction) size to 4, thereby compressing the video sequence.
또한, 본 발명은 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.The present invention also relates to a computer-readable recording medium on which a program for performing a domain conversion and a 2D video compression based digital hologram video compression method is recorded.
상술한 바와 같이, 본 발명에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 의하면, 도메인 변환 방식, 압축 파라미터, CTU(Coding Tree Unit) 크기, 압축 모드, GOP(group of prediction) 크기 등 압축 파라미터의 최적 조건을 추출하여 압축함으로써, 종래 압축 기술에 비하여 동일한 화질을 가지면서 비디오의 압축률이 최소 2배 이상으로, 월등히 우수한 성능을 가지는 효과가 얻어진다.As described above, according to the digital hologram video compression method based on the domain conversion and the 2D video compression according to the present invention, a domain conversion method, a compression parameter, a coding tree unit (CTU) size, a compression mode, a group of prediction By extracting and compressing the optimum conditions of the compression parameters, the compression rate of the video is at least twice as high as that of the conventional compression technique, and the effect is remarkably excellent.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명에 따른 디지털 홀로그램의 2DDCT 결과의 예로서, 원 물체 정보의 (a) 빛의 세기, (b) 깊이, 디지털 홀로그램 평면의 (c) 실수, (d) 허수, (e) 크기, (f) 위상, 전체 홀로그램의 2DDCT 결과 평면의 (g) 실수, (h) 허수, (i) 크기, (j) 위상, 1/4 부분홀로그램의 2DDCT 결과 평면의 (k) 실수. (l) 허수, (m) 크기, (n)위상에 대한 예시 영상.
도 3은 본 발명에 따른 도 2의 DH에 대한 FT 결과 영상으로서, 전체 홀로그램을 FT한 결과 평면의 (a) 실수, (b) 허수, (c) 크기, (d) 위상; 1/4 부분홀로그램을 FT한 결과 평면의 (e) 실수, (f) 허수, (g) 크기, (h) 위상에 대한 결과 영상.
도 4는 본 발명에 따른 FLT의 두 형태에 대한 영상으로서, (a) 1-레벨 FLT, (b) 2-레벨 Mallat-tree FLT, (c) 2-레벨 quad-tree FLT에 대한 영상.
도 5는 본 발명에 따른 도 2의 DH에 대한 quad-tree FLT 결과에 대한 영상으로서, 1-레벨 FLT 평면의 (a) 실수, (b) 허수, (c) 크기, (d) 위상, 2-레빌 FLT 평면의 (e) 실수, (f) 허수, (g) 크기, (f) 위상에 대한 예시 영상.
도 6은 본 발명에 따른 1-레벨 FLT 부대역의 에너지 분포를 나타낸 표.
도 7은 본 발명의 일실시예에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 설명하는 흐름도.
도 8은 본 발명의 일실시예에 따른 DH 비디오 데이터 압축, 복호화 및 화질평가 과정을 설명하는 흐름도.
도 9는 본 발명의 일실시예에 따른 비디오 시퀀싱에 대한 설명도로서, (a) DH 전체를 2DDCT 또는 FT한 경우, (b) 부분 DH를 2DDCT 또는 FT한 경우, (c) FLT한 경우에 대한 설명도.
도 10은 본 발명의 실험에 따른 CGH 생성 파리미터를 나타낸 표.
도 11은 본 발명의 실험에 따른 사용한 비디오 데이터를 나타낸 표.
도 12는 본 발명의 실험에 따른 압축 관련 파라미터를 나타낸 표.
도 13은 본 발명의 실험에 따른, 압축결과의 예시 영상으로서, (a)(e)(i) 원 데이터, (b)(f)(j) 200:1로 압축한 결과, (c)(g)(k) 500:1로 압축한 결과, (d)(h)(l) 1000:1로 압축한 결과; (a)(b)(c)(d) 복원한 영상, (e)(f)(g)(h) DH 실수부, (i)(j)(k)(l) DH 허수부에 대한 예시 영상.
도 14는 본 발명의 실험에 따른 도 13의 영상들의 PSNR 값에 대한 표.
도 15는 본 발명의 실험에 따른 부분DH의 크기 또는 변환레벨에 따른 압축결과를 나타낸 그래프로서, 변환종류별의 (a)(b)(c) 2DDCT, (d)(e)(f) FT, (g)(h)(i) FLT, 데이터별의 (a)(d)(g) 복원영상, (b)(e)(h) DH 실수부, (c)(f)(i) DH 허수부에 대해 나타낸 그래프.
도 16은 본 발명의 실험에 따른 HEVC의 CTU 크기에 대한 압축결과 복원영상에 대한 그래프로서, (a) 2DDCT, (b) FT, (c) FLT 영상에 대한 그래프.
도 17은 본 발명의 실험에 따른 HEVC의 압축모드와 GOP에 따른 압축결과 복원영상에 대한 그래프로서, (a) 2DDCT, (b) FT, (c), FLT에 대한 그래프.
도 18은 본 발명의 실험에 따른 각 변환방법에 대한 최적 압축조건을 나타낸 표.
도 19은 본 발명의 실험에 따른 각 변환방법의 최적 압축조건에서의 압축효율 비교를 나타낸 그래프로서, (a) 복원영상, (b) DH 실수부, (c) DH 허수부에 대한 그래프.
도 20은 본 발명의 실험에 따른 기존 연구와의 비교를 나타낸 표.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram showing a configuration of an overall system for carrying out the present invention; Fig.
Figure 2 is an example of a 2DDCT result of a digital hologram according to the present invention, wherein (a) light intensity, (b) depth, (c) real number of digital hologram plane, (d) imaginary, (h) imaginary, (i) magnitude, (j) phase, (k) real number of the 2DDCT result plane of the 1/4 part hologram. (l) imaginary image of imaginary, (m) magnitude, (n) phase.
FIG. 3 is a FT result image for the DH in FIG. 2 according to the present invention, wherein (a) real number, (b) imaginary number, (c) size, (d) phase, and (E) real number, (f) imaginary, (g) size, and (h) phase of the plane resulting from
FIG. 4 shows images of two types of FLTs according to the present invention, which are (a) 1-level FLT, (b) 2-level Mallat-tree FLT, and (c) 2-level quad-tree FLT.
(A) real number, (b) imaginary number, (c) magnitude, (d) phase, and (2) phase of a 1-level FLT plane as a quad-tree FLT result for DH in FIG. 2 according to the present invention. - An example image of (e) real number, (f) imaginary, (g) size, (f) phase of levil FLT plane.
6 is a table showing the energy distribution of a 1-level FLT subband according to the present invention;
FIG. 7 is a flowchart illustrating a digital hologram video compression method based on domain conversion and 2D video compression according to an embodiment of the present invention; FIG.
FIG. 8 is a flowchart illustrating a process of compressing and decoding DH video data and evaluating the quality of an image according to an embodiment of the present invention; FIG.
FIG. 9 is an explanatory view of video sequencing according to an embodiment of the present invention, in which (a) when the entire DH is 2DDCT or FT, (b) when the partial DH is 2DDCT or FT, Explanation for.
10 is a table showing CGH generation parameters according to the experiment of the present invention.
11 is a table showing used video data according to an experiment of the present invention.
12 is a table showing compression-related parameters according to the experiment of the present invention.
13 is an example image of the compression result according to the experiment of the present invention. Fig. 13 (c) shows a result of compressing (a) g) (k) 500: 1 compression result, (d) (h) (l) 1000: 1 compression result; (a) (b) (c) (d) reconstructed image, (e) (f) (g) (h) DH real part, video.
14 is a table of PSNR values of the images of FIG. 13 according to the experiment of the present invention.
FIG. 15 is a graph showing the compression result according to the size or the conversion level of the partial DH according to the experiment of the present invention. FIG. 15 is a graph showing the compression results according to the conversion DHTT, (d) (a) (d) (g) restoration image, (b) (e) (h) DH real part, (c) Fig.
FIG. 16 is a graph of a compression result reconstruction image of the CTU size of HEVC according to the experiment of the present invention, and is a graph of (a) 2DDCT, (b) FT, and (c) FLT image.
FIG. 17 is a graph of the compression mode of the HEVC according to the experiment of the present invention and the restored image according to the GOP, (a) 2DDCT, (b) FT, (c) and FLT.
18 is a table showing optimal compression conditions for each conversion method according to the experiment of the present invention.
FIG. 19 is a graph showing compression efficiency comparisons at optimum compression conditions of each conversion method according to the experiment of the present invention, and is a graph of (a) reconstructed image, (b) DH real part, and (c) DH imaginary part.
FIG. 20 is a table showing comparison with existing studies according to the experiment of the present invention. FIG.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.In the description of the present invention, the same parts are denoted by the same reference numerals, and repetitive description thereof will be omitted.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.First, examples of the configuration of the entire system for carrying out the present invention will be described with reference to Fig.
도 1에서 보는 바와 같이, 본 발명에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법은 DH(디지털 홀로그램) 영상(10)을 입력받아 상기 영상(또는 이미지)에 대하여 압축하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 디지털 홀로그램 비디오 압축 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.1, a digital hologram video compression method based on domain conversion and 2D video compression according to the present invention includes a
한편, 다른 실시예로서, 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 DH 영상을 압축하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 디지털 홀로그램 비디오 압축 장치(30)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.Meanwhile, as another embodiment, the digital hologram video compression method based on the domain conversion and the 2D video compression may be implemented by a single electronic circuit such as an ASIC (application-specific semiconductor) in addition to being operated by a general-purpose computer. Or a
한편, DH 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.On the other hand, the
본 발명에 따른 방법을 설명하기 전에, 본 발명에서 사용되는 도메인 변환 방식에 대하여 도 2 내지 도 6을 참조하여 먼저 설명한다.Before describing the method according to the present invention, the domain conversion method used in the present invention will be described first with reference to FIG. 2 to FIG.
본 발명에서는 DH 비디오의 압축도구로 2D 비디오 압축 기술인 H.265/HEVC를 사용한다. HEVC(high efficient video coding)는 공간적 시간적 중복성을 제거하고 상대적으로 고주파성분이 인간의 시각시스템에 덜 민감하다는 특성을 사용한다. 그러나 DH를 구성하는 간섭현상의 프린지패턴은 원 물체정보의 조그마한 변화에도 상당히 다른 형태의 패턴을 형성한다. 따라서 2D 비디오 압축 기술을 DH 압축에 사용하기 위해서는 DH를 먼저 공간적 시간적 상관성이 높은 데이터로 변환하여야 한다. 이것은 공간 도메인에서 다른 도메인으로 변환하여 얻을 수 있는데, 본 발명에서 사용할 도메인 변환 방식인 DCT, FT, FRLT 각각에 대해 그 변환방법과 변환결과의 특징에 대해서 설명한다.In the present invention, a 2D video compression technique H.265 / HEVC is used as a compression tool of DH video. High efficient video coding (HEVC) eliminates spatial temporal redundancy and uses the property that relatively high frequency components are less sensitive to the human visual system. However, the fringe pattern of the interference phenomenon constituting the DH forms a pattern of a considerably different shape even in a small change of the original object information. Therefore, in order to use the 2D video compression technology for DH compression, the DH must first be converted into data having high temporal spatial correlation. This can be obtained by converting from a spatial domain to another domain. The conversion method and the characteristics of the conversion result will be described for each of the DCT, FT, and FRLT, which are the domain conversion methods to be used in the present invention.
먼저, 2차원 이산 코사인 변환(DCT) 방식에 대하여 설명한다.First, a two-dimensional discrete cosine transform (DCT) method will be described.
DCT는 공간영역의 영상을 코사인의 각 주파수 대역 성분의 값으로 재편하는 변환방식이다. 따라서 가장 저주파 성분은 0 주파수 성분(평균값, DC값)이며, 최고주파 성분은 매 인접하는 데이터가 크고 작음을 반복하는 성분이다. 영상 데이터는 2차원 데이터이므로 영상에 대해서는 DCT를 가로방향과 세로방향의 2차원적으로 DCT를 적용하여 코사인 성분의 주파수 대역 데이터로 변환하는데, 이것을 2차원 코사인 변환(2-dimensional discrete cosine transform, 2DDCT)이라고 한다. 수학식 1은 f(i,j)의 공간영역의 영상을 F(u,v)의 주파수영역으로 2DDCT를 수행하는 식을 보이고 있는데, 여기서 M과 N은 각각 가로방향과 세로방향의 2DDCT 대상 영상의 크기, i와 j는 각각 가로방향과 세로방향의 화소의 위치(정수값), 그리고 u와 v는 각각 i와 j에 해당하는 주파수 도메인에서의 좌표값을 나타낸다. C(u), C(v)는 정수기저(integral basis)값으로, u 또는 v가 0일 때는 
[수학식 1][Equation 1]
도 2는 DH에 대한 2DCCT 결과의 예를 보이고 있다. (a)와 (b)는 원영상정보로서 빛의 세기와 깊이정보를 각각 나타내고 있고, 두 영상의 해상도는 모두 200×200이다. (c)와 (d)는 (a)와 (b)로 획득된 DH의 실수부와 허수부를 각각 나타내고 있는데, 이 홀로그램은 간섭현상을 모델링한 수식[비특허문헌 3]으로 생성된 CGH(computer generated hologram)로, 해상도는 1,024×1,024이다. 도 2에서 디지털 홀로그램과 2DDCT 결과로 실수부-허수부의 쌍((c-d), (g-h), (k-l))과 크기-위상의 쌍((e-f), (i-j), (m-n))을 모두 보였다. 또한 DH 전체에 대한 2DDCT(g~j) 뿐만 아니라 DH를 가로와 세로방향으로 각각 1/2로 나눈 각 부분DH에 2DDCT를 수행한 결과(k~n)도 보이고 있다. (g~j)와 (k~n)을 비교하면 홀로그램이 작아짐에 따라 물체도 크기가 작아짐을 알 수 있고, 홀로그램 크기와 상관없이 2DDCT 결과는 각 홀로그램의 중심이 그 시점임을 알 수 있다. 예를 들어 (k~n)의 좌상위 2DDCT 결과는 (g~j)에 비해 시점이 좌상위로 이동한 결과를 보이고 있다.Figure 2 shows an example of 2DCCT results for DH. (a) and (b) show the intensity and depth information of the original image, respectively, and the resolution of both images is 200 × 200. (c) and (d) show the real part and the imaginary part of DH obtained by (a) and (b), respectively. The hologram is a CGH generated hologram, with a resolution of 1,024 x 1,024. In Fig. 2, the pair ((cd), (gh), (kl)) and the magnitude-phase pair (ef, (ij), (mn)) are shown as a result of the digital hologram and 2DDCT . In addition, 2DDCT (g ~ j) for DH as a whole and DH (DH) for each portion DH divided by half in horizontal and vertical directions are shown (k ~ n). it can be seen that the size of the object becomes smaller as the hologram becomes smaller, and the 2DDCT result regardless of the hologram size indicates that the center of each hologram is at that point. For example, the upper left 2DDCT result of (k ~ n) shows the result that the viewpoint moves up the upper left corner compared to (g ~ j).
다음으로, 프레넬 변환(FT) 방식에 대하여 설명한다.Next, a Fresnel transform (FT) method will be described.
DH를 영상으로 복원하기 위해서는 DH에 기준파를 조사하여 프린지 패턴에 의한 빛의 회절(diffraction)현상을 일으켜야 하는데, 이것은 공간광변조기(spatial light modulator, SLM)와 같은 특별한 장치를 사용하여야 가능하다. 그러나 이 회절현상 또한 모델링되어 특정 거리에서 홀로그램 영상을 복원할 수 있는데, 이것은 시뮬레이션 등의 목적으로 주로 사용되고 있다. 이 식을 프레넬 회절(Fresnel diffraction) 또는 변환(FT)이라고 하며, 디지털 홀로그램 f(x,y)를 G(x,y)로 FT하는 식을 수학식 2에 나타내었다.In order to reconstruct the DH image, it is necessary to diffract the light by the fringe pattern by irradiating the reference wave to the DH. This can be done by using a special device such as a spatial light modulator (SLM). However, this diffraction phenomenon is also modeled to reconstruct the hologram image at a certain distance, which is mainly used for simulation purposes. This equation is referred to as Fresnel diffraction or transformation (FT), and the equation of FT (x, y) as digital hologram f (x, y) is shown in equation (2).
[수학식 2]&Quot; (2) "
여기서, (i,j)와 (x,y)(i,j,x,y 모두 정수)는 DH와 FT된 결과의 화소위치, △i와 △j는 DH의 가로방향과 세로방향 화소크기, △x와 △y는 FT평면의 가로방향과 세로방향의 화소크기, z는 DH평면과 FT평면과의 거리, λ는 사용한 빛의 파장을 각각 나타낸다. 이 식에서 디지털 홀로그램의 해상도는 M×N이다.Here, (i, j) and (x, y) (i, j, x, y are all constants) are the pixel positions of the results of DH and FT, Δi and Δj are the horizontal and vertical pixel sizes of DH, Δx and Δy are the pixel size in the horizontal and vertical directions of the FT plane, z is the distance between the DH plane and the FT plane, and λ is the wavelength of the light used. In this equation, the resolution of the digital hologram is M × N.
도 3은 도 2의 DH를 FT한 결과를 실수, 허수, 크기, 위상평면으로 보이고 있다. (a)~(d)는 전체 DH에 대한 결과이고, (e)~(h)는 1/4 부문DH 각각에 대한 결과이다. 마찬가지로 (e)~(f)의 각 FT 결과는 (a)~(d)의 결과에 비해 해당 DH의 중심으로 시점이동한 결과를 보이고 있다.FIG. 3 shows the results of FT of DH in FIG. 2 as real numbers, imaginary numbers, magnitudes, and phase planes. (a) to (d) are the results for the entire DH and (e) to (h) are the results for the quarter DH. Likewise, the FT results in (e) to (f) show the result of moving the viewpoint to the center of the DH compared to the results in (a) to (d).
다음으로, 프레넬릿 변환(FLT) 방식에 대하여 설명한다.Next, the Fresnel-inversion (FLT) method will be described.
프레넬릿 변환(FLT)는 FT와 DWT를 결합한 변환방식[비특허문헌 17]이다. 따라서 이 변환에서는 저대역 통과 필터링(ZL)과 고대역 통과 필터링(ZH)을 각 방향으로 수행하게 되는데, 이 두 필터링을 수학식 3과 4에, 각 필터링에 사용되는 필터(F0, F1)를 수학식 5와 6에 각각 나타내었다. 또한 수학식 7와 8은 FLT의 역변환에 사용되는 저대역 통과(F0 *)와 고대역 통과(F1 *) 필터를 각각 나나태고 있다. 두 필터링 모두 1차원 필터링을 수행하기 때문에 가로방향과 세로방향으로 해당 필터링을 각각 수행하여 2차원 데이터를 변환한다. DH도 2차원 데이터이기 때문에 양방향으로 필터링을 수행하여야 한다.The Flemnelle transform (FLT) is a conversion method combining FT and DWT [Non-Patent Document 17]. In this conversion, low-pass filtering (Z L ) and high-pass filtering (Z H ) are performed in each direction. These two filtering operations are expressed in
[수학식 3] &Quot; (3) "
[수학식 4] &Quot; (4) "
[수학식 5] &Quot; (5) "
[수학식 6] &Quot; (6) "
[수학식 7] &Quot; (7) "
[수학식 8] &Quot; (8) "
FLT가 원 데이터에 저대역과 고대역 통과 필터링을 각각 수행하기 때문에 필터링 결과를 모두 보유하면 원 데이터의 2배에 해당하는 데이터를 갖게 된다. 따라서 각 통과대역 필터링 결과에서 1/2 서브샘플링(sub-sampling)(decimation)하여야 원 데이터와 동일한 양의 데이터를 가질 수 있다[비특허문헌 12][비특허문헌 17]. DH는 2차원 데이터이므로 가로방향과 세로방향 각각에 대해 필터링을 수행하여야 하는데, 이 경우는 가로와 세로방향 모두 1/2 데시메이션(decimation)을 수행하며, 결과적으로 LL, LH, HL, HH의 4개의 부대역(subband)이 형성된다(도 4(a)). 여기서 부대역 XY(X와 Y는 L 또는 H)는 가로방향으로 F0, 세로방향으로 F1을 각각 통과시킨 결과를 뜻한다. Since the FLT performs low-pass and high-pass filtering on the original data, when the filtering results are all stored, the data corresponding to twice the original data is obtained. Therefore, it is necessary to perform 1/2 sub-sampling in each passband filtering result to have the same amount of data as the original data [Non-Patent Document 12] [Non-Patent Document 17]. Since the DH is two-dimensional data, it is necessary to perform filtering in both the horizontal direction and the vertical direction. In this case, a half decimation is performed in both of the horizontal and vertical directions. As a result, LL, LH, HL and HH Four subbands are formed (Fig. 4 (a)). Here, the subband XY (where X and Y are L or H) is the result of passing F 0 in the horizontal direction and F 1 in the vertical direction, respectively.
FLT의 가로와 세로 한 쌍의 필터링을 한 레벨(level)이라 하며, 두 레벨 이상의 필터링을 수행할 경우 두 가지 형태가 가능하다. 도 4에 이 두 형태를 보이고 있는데, (b)의 말럿 트리(Mallat-tree) FLT는 그 전 레벨의 부대역 중 최저 주파수 대역, 즉 LL 부대역만 레벨 2에서 FLT를 수행하고, (c)의 쿼드트리(quad-tree) FLT는 그 전 레벨의 모든 부대역에 대해 FLT를 수행한다. 도 4(b) 또는 (c)에서 부대역 이름 WXYZ(W, X, Y, Z는 L 또는 H)는 레벨 1에서 가로방향으로 W, 세로방향으로 X, 레벨 2에서 가로방향으로 X, 세로방향으로 Z 필터링을 수행할 결과를 나타낸다. 본 발명에서는 더 세밀한 주파수대역 분할을 위하여 쿼드트리(quad-tree) FLT만을 고려한다. n-레벨 FLT를 수행하면 총 4n개의 부대역이 생성된다. The filtering of FLT horizontally and vertically is referred to as a level, and two types of filtering can be performed in two or more levels. In FIG. 4, the Mallat-tree FLT of (b) performs FLT at the lowest frequency band of the previous level, i.e., the LL subband only at
도 5는 도 2의 DH에 대해 쿼드트리(quad-tree) FLT를 수행한 결과의 예를 보이고 있다. 마찬가지로 실수, 허수, 크기, 위상평면을 모두 보이고 있으며, (a)~(d)는 1-레벨 FLT 결과, (e)~(h)는 쿼드트리(quad-tree) 2-레벨 FLT 결과를 각각 보이고 있다. DCT나 FT와는 달리 1-레벨 FLT 결과와 2-레벨 FLT결과가 모두 동일한 시점을 갖는다는 것을 알 수 있는데, 이것은 모든 부대역이 전체 DH에 대해 가로와 세로의 주파수 대역만 다르기 때문이다.FIG. 5 shows an example of a result of performing a quad-tree FLT on the DH in FIG. (A) to (d) show the 1-level FLT results and (e) to (h) show the quad-tree 2-level FLT results It is showing. It can be seen that unlike DCT or FT, both the 1-level FLT result and the 2-level FLT result have the same point in time because all subbands differ only in the horizontal and vertical frequency bands for the entire DH.
즉, FLT의 경우는 한 번 변환하면 1/4크기의 4개의 부대역으로 나누어지지만, FT나 DCT는 원 홀로그램 크기의 한 변환결과만을 만들어낸다. 따라서 FT나 DCT를 작은 단위로 하려면 원 홀로그램 자체를 나누어서 변환한다. 그런데, 나누어진 각 부분 홀로그램은 그 홀로그램의 중심을 시점으로 볼 수 있으므로, FT나 DCT가 원 홀로그램보다 작은 크기라면 시점의 변화가 생기는 것이다.That is, in case of FLT, once converted, it is divided into four sub-bands of 1/4 size, but FT or DCT produces only one conversion result of the original hologram size. Therefore, if the FT or DCT is a small unit, the original hologram itself is divided and converted. However, since the divided partial hologram can be regarded as the viewpoint of the center of the hologram, if the FT or DCT is smaller than the original hologram, the viewpoint changes.
도 6의 표는 1-레벨 FLT로 생성되는 부대역들의 실수부, 허수부, 크기가 갖는 상대적인 에너지 분포를 보이고 있다. 도 6의 표에서 보는 바와 같이 FLT 결과 값을 복소수로 표현하였을 때 실수평면과 허수평면은 각 부대역의 에너지 분포에 큰 차이가 없으나, 크기와 위상으로 표현하였을 때 크기의 에너지는 LL 부대역에 집중되는 것을 볼 수 있다.The table of FIG. 6 shows the relative energy distribution of the real, imaginary, and magnitudes of the subbands generated by the 1-level FLT. As shown in the table of FIG. 6, when the FLT result is expressed as a complex number, there is no significant difference in the energy distribution between the real and imaginary planes of each subband. However, when expressed in terms of magnitude and phase, You can see the concentration.
다음으로, 본 발명의 일 실시 예에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법을 도 7 내지 도 9를 참조하여 설명한다. 도 7 및 도 8은 본 발명에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법에 대한 전체적인 흐름도를 보여준다.Next, a digital hologram video compression method based on domain conversion and 2D video compression according to an embodiment of the present invention will be described with reference to FIGS. 7 to 9. FIG. FIGS. 7 and 8 show a general flowchart of a digital hologram video compression method based on domain conversion and 2D video compression according to the present invention.
도 7에서 보는 바와 같이, 본 발명에 따른 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법은 (a) 디지털 홀로그램을 세그먼트화하는 단계(S10), (b) 세그먼트화된 디지털 홀로그램 영상에 도메인 변환을 수행하는 단계(S20), (c) 변환된 데이터를 비디오 시퀀스로 생성하는 단계(S30), (d) 비디오 시퀀스를 압축하는 단계(S40), (e) 비디오 시퀀스를 복원하는 단계(S50), 및 (f) 복원된 홀로그램 영상과 최초 홀로그램 영상을 대비하여 평가하는 단계(S50)로 구성된다.As shown in FIG. 7, the digital hologram video compression method based on domain conversion and 2D video compression according to the present invention includes the steps of (a) segmenting a digital hologram (S10), (b) (D) compressing the video sequence (S40), (e) recovering the video sequence (S50), (c) recovering the video sequence, And (f) comparing the restored hologram image and the first hologram image (S50).
세부적인 방법이 도 8에 도시되고 있다.A detailed method is shown in Fig.
즉, 본 발명에 따른 방법은 2D 비디오 압축부호화기를 사용하여 DH 비디오 데이터를 압축부호화하는 방법으로서, 크게는, 도 8과 같이, 압축부호화과정, 복호화과정 및 화질을 평가하는 과정으로 구성된다. 먼저, DH을 필요에 따라 분할하여 부분 DH로 만들고 각 부분 DH를 데이터 상관도를 높이기 위하여 앞에서 설명한 도메인 변환을 수행한다. 그 결과는 비디오 시퀀스로 만들어 2D 비디오 압축기인 H.265/HEVC로 압축을 수행한다. 압축된 결과는 복호화하고 도메인 역변환 과정을 거쳐 분할된 부분DH를 결합하여 원 DH의 크기로 만든다. 화질평가는 DH 자체에 대한 평가와 FT으로 영상을 복원한 결과에 대해 각각 압축률 대비 화질을 평가한다.That is, the method according to the present invention compresses and encodes DH video data using a 2D video compression encoder, and comprises a compression encoding process, a decoding process, and a process of evaluating picture quality, as shown in FIG. First, the DH is divided into DHs as necessary, and the domain conversion described above is performed to increase the data correlation between the DHs. The result is a video sequence, which is compressed into a 2D video compressor, H.265 / HEVC. The compressed result is decoded and domain inversion process is performed to combine the divided DHs to make the size of the original DH. The image quality evaluation evaluates the image quality relative to the compression ratio for the evaluation of the DH itself and the result of restoring the image by the FT.
먼저, 디지털 홀로그램을 세그먼트화 한다(S10). 즉, 디지털 홀로그램(DH) 영상을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH 영상으로 생성한다.First, the digital hologram is segmented (S10). That is, the digital hologram (DH) image is divided into segments according to a predetermined section to generate a partial DH image.
다음으로, 부분 DH 영상을 도메인 변환한다(S20). 이때, 부분 DH영상을 원 DH 영상 또는 최초 DH 영상이라 부르기로 한다.Next, the partial DH image is domain-converted (S20). At this time, the partial DH image is called the original DH image or the first DH image.
앞에서 언급한 바와 같이 DH 데이터가 프린지 패턴으로 구성되어 있어서 데이터의 상관성이 아주 낮기 때문에 HEVC(high efficient video coding)의 화면 내 예측(intra prediction)이나 화면 간 예측(inter prediction)에서 효율이 많이 떨어진다. 따라서 DH의 데이터 상관성을 높이기 위하여 도메인 변환을 먼저 수행한다.As described above, since the DH data is composed of the fringe pattern, the correlation of the data is very low. Therefore, the efficiency is low in intra prediction or inter prediction of HEVC (high efficient video coding). Therefore, domain conversion is performed first to increase the data correlation of DH.
도 9에 보인 바와 같이, 본 발명에서는 2DDCT, FT, FLT의 세 변환 방식을 사용한다. 이 중 2DDCT는 이미 잘 알려진 방식이다[비특허문헌 13][비특허문헌 15].As shown in FIG. 9, three conversion methods of 2DDCT, FT and FLT are used in the present invention. Of these, 2DDCT is a well known method [Non-Patent Document 13] [Non-Patent Document 15].
2DDCT와 FT는 변환결과가 원 데이터와 동일한 크기의 하나의 데이터가 생성된다. 그러나 FLT는 가로방향과 세로방향으로 1/2 데시메이션(decimation)을 수행한다고 가정하면, 한 레벨 FLT는 동일한 크기의 결과 데이터를 만들어내지만 이 데이터는 동일한 크기의 네 주파수 부대역으로 나누어진다. 앞에서 언급한 것과 같이 본 발명에서는 보다 세밀한 주파수대역 분할을 위해서 쿼드 트리(quad-tree) 방식의 FLT를 사용한다. 따라서 n-레벨 쿼드 트리(quad-tree) FLT를 수행하면 2n+1의 동일한 부대역으로 나누어진다. 또한, FLT의 레벨을 증가시키면서, 각 레벨에 대하여 이후 비디어 시퀀스를 생성한다. 이것은 FLT의 레벨을 증가함에 따른 압축효율 변화도 확인하기 위한 것이다. 또한, 2DDCT와 FT도 원 DH를 동일한 크기의 여러 부분 DH로 분할한 후 도메인 변환을 수행하여 부분 DH 크기의 변화에 따른 압축효율의 변화도 확인한다.2DDCT and FT generate one piece of data whose conversion result is the same size as the original data. However, assuming that FLT performs half decimation in the horizontal and vertical directions, one level FLT produces the same size result data, but the data is divided into four frequency subbands of equal size. As described above, in the present invention, a quad-tree type FLT is used for finer frequency band division. Thus, performing an n -level quad-tree FLT divides the same subband of 2 n + 1 . Further, a video sequence is generated for each level while increasing the level of the FLT. This is to confirm the change in the compression efficiency as the FLT level is increased. In addition, 2DDCT and FT also divide the original DH into several parts DH of the same size, and then perform the domain conversion to check the change of the compression efficiency according to the change of the partial DH size.
다음으로, 변환된 데이터로부터 비디오 시퀀스를 형성한다(S30).Next, a video sequence is formed from the converted data (S30).
도메인 변환된 데이터를 HEVC와 같은 2D 비디오 압축기로 압축하기 위해서는 이 데이터를 시퀀스로 만들어야 한다. 먼저, 도 9(a)와 같이 DH 전체를 2DDCT 또는 FT한 경우는 원 DH 비디오 시퀀스대로 시퀀스를 형성한다. 그러나 DH을 부분DH로 분할하여 2DDCT 또는 FT로 변환한 경우에는 동일한 위치의 부분 DH별로 시퀀스를 형성한다. 도 9(b)에 1/4fh 분할되는 경우를 보이고 있는데, 이 경우는 4개의 독립된 시퀀스가 형성된다. [비특허문헌 13]에서 분할된 부분DH에 대해 3차원으로 지그재그(zig-zag) 스캔하는 방법을 제안하였는데, 상기 선행기술의 결과와 본 발명의 결과는 이하 효과에서 비교하기로 한다. 한편, FLT의 경우는 1 레벨 변환만 수행하여도 크기가 1/4인 4개의 부대역이 생성된다. 이 경우는 도 9(c)의 예(1-레벨 FLT)에서 보인 바와 같이 동일한 부대역까리 시퀀스를 형성한다.In order to compress the domain-converted data into a 2D video compressor such as an HEVC, this data must be made into a sequence. 9 (a), when the entire DH is 2DDCT or FT, a sequence is formed according to the original DH video sequence. However, when DH is divided into partial DHs and converted into 2DDCTs or FTs, a sequence is formed by partial DHs at the same positions. In FIG. 9 (b), a case is shown in which 1/4 fh is divided. In this case, four independent sequences are formed. In the
다음으로, 데이터를 압축하여 부호화한다(S40).Next, the data is compressed and encoded (S40).
시퀀스가 형성된 데이터는 2D 비디오 압축기로 압축하였으며, 바람직하게는, HEVC를 사용한다. DH은 HEVC의 인트라 프레임 주기(intra period) 단위로 동일위치의 부분 DH 또는 FLT 부대역 시퀀스를 차례로 입력한다. 이때 압축부호화 모드는 저지연(low delay) 모드와 임의접근(random access) 모드를 모두 고려한다. 또한, CTU(coding-tree unit)는 가능한 모든 크기를 모두 고려한다. 또한, 압축율은 QP(quantization parameter)값을 변경하거나 비트율을 조절하여 조정한다[비특허문헌 19].The data in which the sequence is formed is compressed by a 2D video compressor, and preferably HEVC is used. The DH sequentially inputs the partial DH or FLT subband sequence at the same position in units of the intra-frame period of the HEVC. At this time, the compression encoding mode considers both a low delay mode and a random access mode. Also, the coding-tree unit (CTU) considers all possible sizes. In addition, the compression ratio is adjusted by changing a quantization parameter (QP) value or adjusting a bit rate [Non Patent Document 19].
다음으로, 압축된 시퀀스를 홀로그램 영상으로 복원한다(S50).Next, the compressed sequence is reconstructed into a hologram image (S50).
압축된 데이터는 압축율 대비 화질을 평가하기 위하여 복호화한다. 복호화는 부호화의 역과정, 즉 먼저 HEVC 복호화를 수행하고 그 결과를 도메인 역변환하여 분할된 경우는 결합하여 전체 DH 프레임을 형성한다.The compressed data is decoded in order to evaluate the picture quality with respect to the compression ratio. Decoding is an inverse process of coding, that is, HEVC decoding is first performed, and the result is domain inversely transformed to form an entire DH frame when divided.
다음으로, 복원된 DH 영상을 원 DH 영상과 대비하여, 홀로그램 압축 방법에 대하여 평가한다(S60).Next, the reconstructed DH image is evaluated with respect to the hologram compression method in comparison with the original DH image (S60).
압축률 대비 화질평가는 DH 자체와 복원영상에 대해서 모두 시행한다. DH을 영상으로 복원하는 방법은 DH을 FT하여 수행하는데, 이 때 복원거리는 물체의 중심거리로 한다. The image quality evaluation for compression ratio is performed for both the DH itself and the reconstructed image. The method of restoring DH to image is performed by FT of DH, and the restoration distance is the center distance of object.
다음으로, 본 발명의 효과를 실험을 통해 설명한다.Next, the effects of the present invention will be explained through experiments.
본 발명에 따른 DH의 압축방법의 압축 효율을 판단하기 위하여 다양한 환경에서 실험을 수행하고, 그 결과를 종래기술에 따른 방법과 비교한다. In order to determine the compression efficiency of the DH compression method according to the present invention, experiments are performed in various environments, and the results are compared with methods according to the prior art.
먼저, 실험환경에 대하여 설명한다.First, the experimental environment will be described.
도 8의 모든 과정은 PC에서 수행하였으며, 사용한 PC는 인텔 코어(Intel Core)(TM) i7-3770 CPU를 사용하고 GPU는 NVIDIA GeForce GTX 970 카드 한 장을 사용하였다. 도 8의 과정 중 도메인 변환은 GPU를 사용하였고, HEVC 압축은 HM16.0을 사용하였으며, 나머지는 C/C++로 구현하였다. The entire process of FIG. 8 was performed on a PC, the PC used was an Intel Core (TM) i7-3770 CPU and the GPU used one NVIDIA GeForce GTX 970 card. 8, the domain conversion uses a GPU, the HEVC compression uses HM16.0, and the rest is implemented in C / C ++.
디지털 홀로그램(DH)은 광원+깊이정보의 원 비디오 데이터를 사용하여, 빛의 간섭현상을 모델링한 수식으로 컴퓨터-생성 홀로그램(computer-generated hologram, CGH)[비특허문헌 3]을 만들어 사용하였다. 이 CGH 생성에 사용한 파리미터들을 도 10의 표에 나열하였는데, DH는 단색(monochromatic)으로 원 영상의 Y성분을 추출하여 빛의 세기로, 깊이영상을 깊이정보로 각각 사용하였다.A digital hologram (DH) is a computer-generated hologram (CGH) [Non-Patent Document 3] used as an equation modeling light interference phenomenon by using original video data of light source + depth information. The parameters used for generating the CGH are listed in the table of FIG. 10. DH extracts the Y component of the original image in a monochromatic manner, and uses the intensity of the light and the depth image as depth information, respectively.
CGH로 만든 원 비디오 클립(clip)들은 도 11의 표에 나열하였다. 먼저 본 발명자가 제작한 영상/비디오 획득 시스템[비특허문헌 20]으로 획득한 4개의 비디오를 사용하였다. 이 획득시스템은 수직리그(vertical rig)를 사용하며, 하나의 수직리그에 RGB 카메라와 깊이카메라 각각 1대씩 장착되어 있는데, 깊이카메라의 해상도가 176×144이어서 RGB 영상 또한 깊이카메라로 해상도에 맞춰 사용하였다. 이 외 윈드밀(Windmill)[비특허문헌 21]과 MPEG4 MVC(multiview video coding)의 테스트 시퀀스 중 발레(Ballet)와 브레이크댄서(Breakdancers)를 사용하였다. MPEG 테스트 시퀀스를 제외한 영상들은 배경이 없는 영상들이어서 배경이 있는 영상에 대한 DH 및 그 압축을 실험하기 위하여 MPEG 테스트 영상들을 사용하였으며, DH를 생성하기 위해서는 깊이정보가 필요하기 때문에 MVC 테스트 영상들을 사용하였다. 모든 비디오 클립들은 176×144로 해상도를 맞춰 실험하였으며, 사용한 프레임 수도 200 프레임으로 동일하게 하였다.Original video clips made of CGH are listed in the table of FIG. First, four videos obtained by the video / video acquisition system (non-patent document 20) manufactured by the present inventor were used. This acquisition system uses a vertical rig, one RGB camera and one depth camera, each with a depth camera resolution of 176 × 144, so RGB images can be used with depth camera Respectively. In addition, ballet and breakdancers were used in Windmill (non-patent document 21) and MPEG4 MVC (multiview video coding) test sequences. Since the images excluding the MPEG test sequence are images without background, MPEG test images are used to test the DH and its compression for the background image, and since the depth information is needed to generate the DH, Respectively. All video clips were experimented with 176 × 144 resolution and the same number of frames was used as 200 frames.
도 8의 압축과정과 관련되어 본 발명에서 고려하는 파라미터들을 도 12의 표에 나열하였다. 먼저 도메인 변환에서 2DDCT와 FT는 원 DH(1,024×1,024)부터 64×64 부분 DH(프레임당 256개의 부분 DH)까지 분할하여 실험하였고, FLT의 경우는 3레벨까지(프레임당 64개의 부대역) 실험하였다. HEVC는 CTU(coding-tree unit) 크기를 64×64, 32×32, 16×16의 세 경우를 고려하였다. 압축모드는 저지연모드와 임의접근모드를 모두 고려하였고, 두 모드 모두 GOP(group of prediction)는 4와 8로 수행하였으며, 인트라 프레임 주기는 공히 16프레임으로 하였다. 압축율 조절은 모두 QP(quantization parameter) 값 또는 비트율을 조정하여 수행하였다.The parameters considered in the present invention in connection with the compression process of FIG. 8 are listed in the table of FIG. In the domain conversion, 2DDCT and FT are divided into 64 × 64 part DH (256 part DH per frame) from original DH (1,024 × 1,024). In the case of FLT, up to 3 levels (64 subbands per frame) Respectively. HEVC considers three coding-tree unit (CTU) sizes: 64 × 64, 32 × 32, and 16 × 16. In the compression mode, both the low-delay mode and the random access mode are considered. In both modes, the GOP (group of prediction) is performed with 4 and 8, and the intra frame period is set to 16 frames. All the compression ratios were adjusted by adjusting QP (quantization parameter) or bit rate.
다음으로, 실험결과에 대하여 설명한다.Next, the experimental results will be described.
먼저 압축을 수행한 결과 DH와 복원영상의 예들을 도 13에 보였다. 이 예들은 DH(1,024×1,024)를 1-레벨 FLT하여, CTU 크기를 64×64, 인트라 프레임 간 간격을 16, GOP 4의 저지연 방식으로 압축하였으며, 압축률은 비트율로 조정하였다. 여기에는 원 데이터((a)(e)(i))와 200:1((b)(f)(j)), 500:1((c)(g)(k)), 1000:1((d)(h)(l))로 압축한 데이터를 보이고 있으며, 맨 위 열((a)(b)(c)(d))은 복원한 영상, 가운데 열((e)(f)(g)(h))은 DH의 실수부, 맨 아래 열((i)(j)(k)(l))은 DH의 허수부를 각각 보이고 있다. 원 데이터에 대한 각 영상의 PSNR(Peak Signal-to-noise ratio) 값(각 열의 맨 좌측 영상에 대한)은 도 14의 표에 나열하였다. 압축결과를 보면 복원영상에 비해 DH 데이터의 PSNR이 많이 떨어지는 것을 볼 수 있는데, 이것은 DH이 다량의 프린지 패턴으로 이루어졌으므로 고주파 성분을 다량 포함하고 있기 때문으로 판단된다. 그러나 복원영상들은 1000:1의 고압축에도 PSNR이 40을 넘는 값을 보여 매우 좋은 압축효율을 보이고 있음을 알 수 있다.Figure 13 shows examples of DH and reconstructed images as a result of performing compression first. In these examples, the DH (1,024 × 1,024) is 1-level FLT, the CTU size is compressed by 64 × 64, the inter-frame spacing is reduced by 16, the
모든 실험은 압축 전 도메인 변환을 거친 후 구 결과영상들을 비디오 시퀀스로 형성하여 압축을 진행한다. 따라서 원본 디지털 홀로그램과 압축 후 역 도메인 변환을 거친 디지털 홀로그램 간의 PSNR, 그리고 원본 디지털 홀로그램을 복원한 영상과 압축된 디지털 홀로그램을 복원한 영상 간의 PSNR을 비교한다.In all experiments, after the pre-compression domain conversion, the resulting images are formed into a video sequence, and compression is performed. Therefore, we compare the PSNR between the original digital hologram and the digital hologram after compression, and the PSNR between the reconstructed image of the original digital hologram and the restored reconstructed digital hologram.
PSNR(Peak Signal-to-Noise Ratio)은 기준이 되는 데이터에 비해 특정 데이터가 얼마나 왜곡되어 있나를 측정하는 하나의 지표이다. 영상 또는 동영상 압축에서 손실압축은 데이터의 손실을 감수하고 높은 압축률을 얻고자 수행하는데, 따라서 이 때의 PSNR은 압축 전 원 영상에 비해 압축으로 손실된 데이터 등으로 압축 후 영상이 얼마나 왜곡되었는지를 판단하는 기준이 된다. 즉 PSNR이 높을수록 데이터의 왜곡이 적다.The Peak Signal-to-Noise Ratio (PSNR) is an indicator of how much the specific data is distorted relative to the reference data. Lossy compression in image or moving picture compression is performed to obtain a high compression ratio by taking loss of data. Therefore, PSNR at this time is judged by how much the compressed image is distorted . That is, the higher the PSNR, the less the data distortion.
한편, 디지털 홀로그램은 복소수와 같이, 실수부와 허수부로 이루어져 있다. 이때, 실수들만 모두 모아놓은 것을 홀로그램의 실수부, 허수들을 모두 모아놓은 것을 허수부라고 한다. 그런데 2D 비디오 압축기는 실수 데이터만을 사용하기 때문에, 실수부와 허수부를 서로 독립적인 데이터인 것처럼 분리해서 따로 압축한다. 홀로그램 자체의 PSNR을 구할 때는 원 홀로그램의 실수부와 압축된 홀로그램의 실수부, 원 홀로그램의 허수부와 압축된 홀로그램의 허수부를 각각 대비하여 PSNR을 계산한다. 즉 실수부와 허수부의 모든 데이터에 대해 PSNR을 구하거나 실수부 간의 PSNR과 허수부 간의 PSNR을 각각 계산해서 평균을 구하는 방법으로 PSNR을 계산한다.On the other hand, digital holograms consist of real and imaginary parts like complex numbers. At this time, it is called the imaginary part that all the real numbers are collected, and the real and imaginary parts of the hologram are all collected. However, because 2D video compressors use only real data, the real and imaginary parts are separated as independent data and compressed separately. To obtain the PSNR of the hologram itself, the PSNR is calculated by comparing the real part of the original hologram, the real part of the compressed hologram, the imaginary part of the original hologram, and the imaginary part of the compressed hologram. That is, PSNR is calculated by obtaining the PSNR for all the data of the real part and the imaginary part, or calculating the PSNR between the real part and the imaginary part, and calculating the PSNR.
다음으로, 압축관련 파라미터에 따른 결과를 설명한다.Next, the results according to compression-related parameters will be described.
먼저, DH의 크기 또는 변환레벨에 대한 결과이다.First, it is the result of DH's size or conversion level.
본 발명에서 고려한 압축관련 파라미터들 중 첫 번째로 부분 DH의 크기(2DDCT와 FT) 또는 변환레벨(FLT)에 대한 압축효율을 도 15에 보였다. 이 데이터는 각 변환 후 HEVC로 압축할 때 CTU 크기를 64×64, 인트라 프레임 간 간격을 16, GOP 4의 임의접근방식의 동일한 조건으로 압축한 결과이다. (a)(b)(c)는 2DDCT, (d)(e)(f)는 FT, (g)(h)(i)는 FLT를 사용한 압축결과이며, (a)(d)(g)는 압축 후 복원한 영상, (b)(e)(h)는 압축 후 DH의 실수부, (c)(f)(i)는 압축 후 DH의 허수부에 대한 압축결과인데, 압축률 대비 원본 데이터에 대한 PSNR값들로 나타내었다. 2DDCT나 FT는 원본 DH 자체를 변환할 수 있지만, FLT는 1 레벨 변환하면 4개의 부대역으로 나누어지고, 각 부대역이 원 데이터의 1/4로 크기가 줄어들기 때문에 FLT의 한 레벨 결과 부대역의 크기가 2DDCT 또는 FT의 부분DH 512×512에 해당한다. 따라서 FLT는 3-레벨까지만 수행하였다.The compression efficiency for the size (2DDCT and FT) or the conversion level (FLT) of the partial DH first among the compression-related parameters considered in the present invention is shown in Fig. This data is the result of compressing the CTU size to 64 × 64, intra-frame interval of 16, and
레벨이라는 용어는 FLT에만 적용된다. FLT의 경우, 한 번 변환하면 1/4크기의 4개의 부대역이 만들어진다. 이와 같이, 한 번 변환하는 것을 한 레벨에 해당된다. 따라서 FLT의 경우 n 레벨 변환하면 총 4n 개의 동일한 크기의 부대역으로 나뉜다. 예를 들어 16×16 홀로그램을 1 레벨 FLT하면 4개의 8×8 부대역이 생기고, 여기서 한 레벨 더 변환하면 각 부대역을 다시 4개의 1/4 부대역으로 구분되어 총 16개의 4×4 부대역이 생성된다. 그러나 FT나 DCT는 변환 전과 변환 후의 크기변화가 없다. 그런데 FT나 DCT가 변환되기 전 홀로그램의 크기에 따라 효율이 달라질 수 있다. 따라서 FT나 DCT의 경우, 변환하기 전에 홀로그램을 분할하고, 분할된 각 부분 홀로그램을 변환단위 또는 변환크기로 사용한다. 예를 들어 16×16 디지털 홀로그램을 분할하지 않고 그대로 DCT 또는 FT 하면 16×16 크기의 변환결과 하나가 만들어진다. 그러나 FLT 1레벨 변환하면 4개의 8×8 부대역이 생기는 것을 감안하여 DCT나 FT의 결과도 8×8 크기로 하고 싶으면 처음부터 홀로그램을 4개의 8×8 부분 홀로그램으로 잘라서 변환해야 한다. 일단 변환이 되면 그 다음에는 비디오 시퀀스처럼 변환된 결과를 시퀀스로 만든다. 도 9와 같이, 변환된 부대역의 종류(FLT의 경우)나 동일 위치(DCT, FT)의 변환결과들을 시간축으로 묶어서 시퀀스를 만들고, 그 시퀀스 별로 2D 비디오 압축기에 넣어서 압축한다. The term level applies only to FLT. In the case of FLT, once converted, four subbands of
한편, 세 변환 모두 복원한 영상의 PSNR 값이 DH 자체 데이터보다 훨씬 높은 값을 나타내고 있는데, 이것은 DH 데이터가 프린지 패턴으로 이루어져 있어 고주파 성분이 많기 때문인 것으로 판단된다. 2DDCT와 FT에서는 분할하지 않은 전체 DH를 도메인 변환한 것이 가장 압축효율이 좋았고, FLT는 1-레벨 변환한 것이 가장 좋았다. 부분DH의 크기 또는 변환레벨에 따른 압축효율 변화는 2DDCT가 가장 작았고, FT와 FLT는 비슷한 정도를 보였다. 전체적으로 FT를 이용한 결과가 가장 높은 압축효율을 보였고, 그 다음이 FLT였으며, 2DDCT가 가장 나쁜 결과를 보였다.On the other hand, the PSNR value of the reconstructed image shows much higher value than the DH's own data. This is because DH data is composed of fringe pattern and high frequency component is large. In the 2DDCT and the FT, the domain conversion of the whole DH not divided was the best in compression efficiency, and the FLT was the best in one level conversion. The compression efficiency changes according to the size or conversion level of the partial DH were the smallest in 2DDCT, and the FT and FLT were similar. As a whole, FT results showed the highest compression efficiency, followed by FLT, and 2DDCT showed the worst results.
다음은 HEVC의 CTU 크기에 따른 압축효율이며, 도 16에 그 결과를 보이고 있다. 이 도면에는 복원영상에 대한 데이터만 보이고 있는데, 이것은 DH의 실수부와 허수부에 대한 결과가 복원영상에 대한 데이터와 거의 같기 때문이다. 또한 이 데이터는 도 15에서 실험한 결과 중 가장 좋은 결과를 보인 경우, 즉 2DDCT와 FT는 전체영상을 변환한 경우, FLT는 1-레벨 변환한 경우에 대해서만 나타내었다. 이것은 부분DH 또는 더 높은 레벨에 대해 실험한 결과가 도 15의 결과와 같은 결과를 보였기 때문이다. 도면에서 보듯이 CTU 크기 64×64와 32×32가 근소한 차이를 보이기는 했지만, 세 변환 모두에서 64×64가 가장 좋은 압축효율을 보였다. The following is the compression efficiency according to the CTU size of HEVC, and the result is shown in Fig. In this figure, only the reconstructed image data is shown because the result for the real part and the imaginary part of the DH is almost the same as the reconstructed image data. In addition, this data shows only the case where the best result is shown in FIG. 15, that is, when the 2DDCT and the FT are transformed in the whole image, the FLT is only converted into the one-level transformed case. This is because the result of the experiment for the partial DH or the higher level is the same as the result shown in Fig. As shown in the figure, although the
실험결과에서 보듯이, CTU 크기가 달라지면 압축률, 즉 압축효율이 달라진다. 그러니까 이것을 파라미터로 책정했고, 가장 압축효율이 높은 CTU 크기를 실험을 통해서 검색한다.As shown in the experimental results, when the CTU size is changed, the compression ratio, that is, the compression efficiency is changed. So we set this as a parameter and search through the experiment for the CTU size with the most compression efficiency.
실험결과와 같이, CTU 크기는 가장 큰 경우가 압축효율이 가장 좋다.As shown in the experimental results, the compression efficiency is the best when the CTU size is the largest.
다음은 HEVC 의 압축모드와 GOP 크기에 따른 압축효율로, 도 17에 그 결과를 나타내었다. 이 도면 역시 도 16과 동일한 이유로 복원영상에 대한 실험결과만을 보이고 있다. 압축모드는 임의접근모드와 저지연모드를 고려하였으며, 모든 모드에서 GOP 4와 GOP 8을 고려하였다. 세 변환 모두 압축모드나 GOP 크기에 대해 큰 차이를 보이지는 않았으나, 모든 변환에서 임의접근모드의 GOP 4가 가장 높은 압축효율을 보였다.The following is the compression efficiency according to the HEVC compression mode and the GOP size, and the results are shown in Fig. This figure also shows only the experimental result on the reconstructed image for the same reason as in FIG. The compression mode considers the random access mode and the low-delay mode, and considers
다음으로, 변환 방식에 대한 결과이다.Next, the result of the conversion method is shown.
각 변환 방식에서 최적의 조건에서 압축효율을 비교하기 위해서 위에서 고려한 파라미터들의 최적 압축조건을 도 18의 표에 나타내었고, 그 때 압축률 대비 PSNR 값을 도 19에 다시 나타내었다. 최적의 압축조건에서 FT가 가장 좋은 효율을 보였으며, FLT는 FT와 상대적으로 큰 차이를 보이지 않았으나 2DDCT는 많은 차이를 보였다. 압축률이 증가할수록 세 방식의 차이가 줄어들었으며, 1000:1 압축에서 DH 데이터는 세 방법이 큰 차이를 보이지 않았으나, 복원영상에 대해서는 2DDCT가 상대적으로 많이 떨어지는 것을 볼 수 있다. 가장 효율이 좋은 FT의 경우 1000:1의 압축에서 복원영상이 39.17[dB], DH 실수부가 24.17[dB], 허수부가 23.97[dB]의 높은 PSNR 값을 보이는 것을 알 수 있다.In order to compare the compression efficiency under optimum conditions in each conversion method, the optimal compression conditions of the parameters considered above are shown in the table of FIG. 18, and the PSNR value versus compression ratio is shown again in FIG. FT showed the best efficiency under the optimum compression condition, and FLT did not show a big difference with FT, but 2DDCT showed many differences. As the compression ratio increases, the difference between the three methods is reduced. In the case of the 1000: 1 compression, the DH data has no significant difference in the three methods, but the 2DDCT is relatively decreased in the restored image. In the case of the most efficient FT, PSNR values of 39.17 [dB] for the reconstructed image, 24.17 [dB] for the DH real part and 23.97 [dB] for the imaginary part are shown at 1000: 1 compression.
다음으로, 기존 기술과의 비교에 대하여 설명한다.Next, a comparison with the existing technology will be described.
앞에서 구한 최적의 압축조건과 기존 기술의 압축결과를 도 20의 표에 비교하였다. 참고문헌 중 [비특허문헌 9]~[비특허문헌 15]가 실제 압축을 진행한 기술인데, [비특허문헌 9]~[비특허문헌 11]과 [비특허문헌 14]는 압축률 대비 화질이 많이 떨어지거나 실제 데이터를 싣지 않았기 때문에 여기서는 이들은 제외하고 상대적으로 성능이 우수한 [비특허문헌 12][비특허문헌 13][비특허문헌 15][비특허문헌 16]과 비교한다.Comparisons between the optimum compression conditions obtained in the previous section and the compression results of the existing techniques are compared with the table in FIG. [Non-Patent Documents 9] to [Non-Patent Document 15] are actual compression techniques. [Non-Patent Documents 9] to [Non-Patent Documents 11] and [Non-Patent Document 14] Non-patent document 13] [non-patent document 15] [non-patent document 16], which are relatively excellent in performance, except for these cases.
도 20의 표에서 보는 바와 같이, 각 종래 기술서 제시한 평가 측정값이 달라 본 발명에 따른 방법에 대해서 앞에서 설명한 PSNR 이외에 NC(normal correlation)와 NRMS(normalized root mean square)[비특허문헌 16]값을 모두 계산하여 첫 번째 열에 나열하였다. 표에서 '-'로 표시한 곳은 해당 종래기술에서 값을 제시하지 않았다는 뜻이다. 비교대상 종래기술들에서 제시한 최대 압축률이 200:1이었기 때문에 도 20의 표에는 최대 200:1까지만을 수록하였다. 종래기술에 따라 연속적인 데이터를 제시한 곳도 있지만 대부분 특정 압축률들에 대해서만 데이터를 제시하였기 때문에 여기서는 50:1, 100:1, 200:1의 대표적인 값들만 비교하였으나, 나머지 데이터들은 이들과 매우 유사한 경향을 보였다. 도 20의 표에서 괄호안의 수는 디지털 홀로그램 데이터에 대한 값들이며, 괄호 밖의 값들은 복원한 영상에 대한 값들이다. [비특허문헌 15]의 데이터를 보면 복원영상에 대한 데이터가 디지털 홀로그램에 대한 데이터보다 낮은 성능을 보이고 있는데, 이것은 이 기술에서 영상을 복원할 때 프레넬 변환을 사용하지 않고 광학적으로 복원한 것으로 보인다.As shown in the table of FIG. 20, in addition to the above-described PSNR, the method according to the present invention differs from the evaluation values provided by the prior arts in that NC (normal correlation) and NRMS (normalized root mean square) Were calculated and listed in the first column. A place marked with a "-" in the table means that the prior art did not provide a value. Since the maximum compression ratio proposed in the prior arts to be compared is 200: 1, only up to 200: 1 is recorded in the table of FIG. Although some data have been presented according to the prior art, most of the data have been presented only for specific compression ratios. Therefore, only representative values of 50: 1, 100: 1 and 200: Respectively. In the table of FIG. 20, the numbers in parentheses are values for digital hologram data, and values outside parentheses are values for restored images. The data of the
도 20의 표에서 보듯이 본 발명에 따른 방법이 기존의 방법보다 월등히 좋은 성능을 보이는 것을 알 수 있다. 이것은 본 발명에서 2차원 동영상 압축기술로 H.265/HEVC를 사용한 반면 [비특허문헌 12][비특허문헌 13][비특허문헌 15]에서는 H.264/AVC를 사용한 이유가 어느 정도는 작용한 것으로 보인다. 일반적으로 H.265/HEVC가 H.264/AVC보다 동일 화질에서 1.5배 정도 높은 압축률을 보인다고 알려져 있다. 그러나 [비특허문헌 15]에서 디지털 홀로그램의 PSNR 값이 200:1에서 24.87이었는데, 본 발명에 따른 방법이 이 값을 가지는 압축률은 약 540:1 정도였다. 또한 [비특허문헌 13]이 100:1 압축률에서 NC값 0.946을 보이고 있는데([비특허문헌 12]는 100:1의 데이터를 제시하지 않았고, 50:1 압축률에서 [비특허문헌 13]보다 성능이 떨어지므로 [비특허문헌 12]는 제외하였음), 이 NC값을 가지는 본 발명에 따른 방법의 압축률은 약 850:1 정도였다. 그리고 [비특허문헌 16]에서 100:1 압축률에서 NRMS값이 0.575를 보였는데, 본 발명에 따른 방법으로 1000:1 압축했을 때에도 이보다 낮은 0.438값을 가졌다.As shown in the table of FIG. 20, it can be seen that the method according to the present invention performs much better than the conventional method. This is because H.264 / HEVC is used as a two-dimensional moving picture compression technique in the present invention, while the reason for using H.264 / AVC in [Non-Patent Document 12] and [Non-Patent Document 13] Seems to have done. It is generally known that H.265 / HEVC has a compression ratio 1.5 times higher than H.264 / AVC at the same image quality. However, in the
따라서 본 발명에 따른 방법의 성능은 2차원 동영상 압축기술을 사용한 이유보다 훨씬 우수한 성능을 보이고 있으며, 이것은 본 발명에 따른 방법에서 사용한 압축과정 및 도메인 변환 방법과 압축 파라미터들이 최적으로 선택되었기 때문인 것으로 판단된다. Therefore, the performance of the method according to the present invention is superior to the reason of using the two-dimensional moving picture compression technique. This is because it is because the compression process, domain conversion method and compression parameters used in the method according to the present invention are selected optimally do.
본 발명에서는 디지털 홀로그램 동영상을 효과적으로 압축하는 방법을 설명하였다. 압축기술로는 2차원 동영상 압축기술인 H.265/HEVC를 사용하였으며, 디지털 홀로그램의 화소간 상관도를 높이기 위해 도메인 변환 방식인 2차원 이산 코사인 변환, 프레넬 변환, 프레넬릿 변환을 고려하였다. 또한 H.265/HEVC의 압축 파라미터인 CTU 크기, 압축모드, GOP의 크기를 고려하여 이 중 가장 최적의 파라미터들을 실험을 통해 결정하였다.In the present invention, a method of effectively compressing a digital hologram moving picture has been described. As a compression technique, H.265 / HEVC, a two-dimensional moving picture compression technique, was used. In order to increase the correlation between pixels of a digital hologram, a 2D discrete cosine transform, a Fresnel transform and a Fresnel transform were considered. In addition, the most optimal parameters of H.265 / HEVC were determined experimentally considering the compression parameters such as CTU size, compression mode and GOP size.
도메인 변환 방식으로는 프레넬 변환이 가장 우수한 성능을 보였으며, 압축 파라미터들로는 CTU 크기는 64×64, 압축모드와 GOP 크기는 임의접근 모드의 GOP 4가 가장 우수한 성능을 보였다. 이 변환 방식과 파라미터들로 실험한 결과 1000:1의 압축률에서 PSNR이 39.17[dB]의 높은 화질을 보였다. 기존 기술들과 비교한 결과에서도 동일한 화질을 가질 때 본 발명에 따른 방법의 압축률이 최소 2배 이상으로 나타나 기존의 방법들보다 월등히 우수한 성능을 보였다.The Fresnel transform is the best domain conversion method. The compression parameters are 64 × 64 for the CTU size, and
따라서 본 발명에 따른 방법은 향후 더 고화질의 디지털 홀로그램을 서비스할 때 데이터 압축방법으로 매우 유용하게 사용될 수 있을 것으로 사료되며, 특히 이 방법은 2차원 동영상 압축기술을 사용하므로 현존하는 동영상 서비스 플랫폼을 그대로 사용할 수 있어 더욱 유용하다.Therefore, the method according to the present invention is expected to be very useful as a data compression method when a digital hologram of higher quality is to be served in the future. In particular, this method uses a two-dimensional video compression technique, It is more useful because it can be used.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.Although the present invention has been described in detail with reference to the above embodiments, it is needless to say that the present invention is not limited to the above-described embodiments, and various modifications may be made without departing from the spirit of the present invention.
10 : 홀로그램 영상
20 : 컴퓨터 단말
30 : 프로그램 시스템10: holographic image
20: computer terminal
30: Program system
Claims (8)
(a) 디지털 홀로그램을 사전에 정해진 구간에 따라 세그먼트로 나누어 부분 DH(Digital Hologram) 영상으로 생성하는 단계;
(b) 상기 부분 DH 영상을 다수의 도메인 변환방식 각각에 따라 도메인 변환을 수행하여, 도메인 변환 데이터를 획득하는 단계;
(c) 상기 도메인 변환 데이터를 비디오 시퀀스로 생성하는 단계;
(d) 비디오 시퀀스를 2차원 비디오 압축기에 따라 압축하되, 상기 2차원 비디오 압축기의 파라미터를 달리 설정하여 각 설정된 파라미터에 따라 비디오 시퀀스를 각각 압축하여 생성하는 단계;
(e) 압축된 비디오 시퀀스를 복원하여 도메인 변환 데이터로 복원하고, 복원된 도메인 변환 데이터를 역 도메인 변환하여 부분 DH 영상으로 복원하는 단계; 및,
(f) 복원된 부분 DH 영상과, 최초 부분 DH 영상을 대비하여 평가하여, 최적의 도메인 변환방식과, 상기 2차원 비디오 압축기의 파라미터를 선정하는 단계를 포함하고,
상기 도메인 변환 방식은 2차원 이산 코사인 변환(DCT) 방식, 프레넬 변환(FT) 방식, 및, 프레넬릿 변환(FLT) 방식을 포함하고,
상기 도메인 변환 데이터를 각 도메인 변환 방식에 의해 변환되는 데이터의 크기를 1/4n(n은 자연수)의 비율로 세분화하여 생성하되, 상기 DCT 방식과 상기 FT 방식인 경우 부분 DH 영상을 분할하여 분할된 각 DH 영상을 각각 도메인 변환하여 해당 크기의 도메인 변환 데이터를 생성하고, 상기 FLT 방식인 경우 부분 DH 영상을 도메인 변환하는 레벨을 조절하여 해당 크기의 도메인 변환 데이터를 생성하고, 세분화된 도메인 변환 데이터는 분활된 각 DH 영상 별로 독립적으로 압축되는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.In a digital hologram video compression method based on domain conversion and 2D video compression,
(a) generating a partial DH (Digital Hologram) image by dividing the digital hologram into segments according to a predetermined section;
(b) performing domain conversion on the partial DH image according to each of a plurality of domain transformation methods to obtain domain transformation data;
(c) generating the domain conversion data as a video sequence;
(d) compressing a video sequence according to a two-dimensional video compressor, separately setting a parameter of the two-dimensional video compressor and compressing and generating a video sequence according to each set parameter;
(e) reconstructing the compressed video sequence, restoring the reconstructed domain transformed data, inverse domain transforming the reconstructed domain transformed data, and reconstructing the reconstructed partial DH image; And
(f) evaluating the reconstructed partial DH image and the initial partial DH image to select an optimal domain conversion scheme and a parameter of the two-dimensional video compressor,
The domain conversion method includes a two-dimensional discrete cosine transform (DCT) method, a Fresnel transform (FT) method, and a Fresnel transform (FLT)
And dividing the domain conversion data by a ratio of 1/4 n (n is a natural number) of the data converted by each domain conversion method, and dividing the partial DH image in the case of the DCT method and the FT method, And generates the domain conversion data of the corresponding size by adjusting the level of the domain conversion of the partial DH image in the case of the FLT method to generate the domain conversion data of the corresponding size, Is independently compressed for each of the separated DH images. ≪ Desc / Clms Page number 19 >
상기 2차원 비디오 압축기는 HEVC(high efficient video coding) 방식에 의해 비디오 시퀀스를 압축하는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.The method of claim 1,
Wherein the two-dimensional video compressor compresses a video sequence by a high efficient video coding (HEVC) method.
상기 비디오 압축기의 파라미터는 CTU(coding-tree unit) 크기, 압축모드, GOP(group of prediction) 크기를 포함하고, 상기 CTU 크기는 64×64, 32×32, 16×16를 구성되고, 상기 압축모드는 저지연(low delay) 모드와 임의접근(random access) 모드로 구성되고, 상기 GOP 크기는 4와 8로 구성되는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.5. The method of claim 4,
Wherein the parameters of the video compressor include a coding-tree unit (CTU) size, a compression mode, and a group of prediction (GOP) size, wherein the CTU sizes are 64x64, 32x32, 16x16, Mode is composed of a low delay mode and a random access mode, and the GOP size is comprised of 4 and 8, respectively.
상기 (f)단계에서, 비디오 시퀀스를 압축할 때 각 도메인 변환 방식과 각 파라미터 별로 동일한 압축률로 압축한 경우를 대비하여 평가하되, PSNR(Peak Signal-to-Noise Ratio)을 산출하여 평가하는 것을 특징으로 하는 도메인 변환 및 2D 비디오 압축 기반 디지털 홀로그램 비디오 압축 방법.The method of claim 1,
In the step (f), when the video sequence is compressed, the PSNR (Peak Signal-to-Noise Ratio) is calculated and evaluated. A digital hologram video compression method based on domain conversion and 2D video compression.
A computer-readable recording medium having recorded thereon a program for performing a domain conversion and a 2D video compression based digital hologram video compression method according to any one of claims 1 to 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160088225A KR101910446B1 (en) | 2016-07-12 | 2016-07-12 | A Compression Method of Digital Hologram Video using Domain Transforms and 2D Video Compression Technique |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160088225A KR101910446B1 (en) | 2016-07-12 | 2016-07-12 | A Compression Method of Digital Hologram Video using Domain Transforms and 2D Video Compression Technique |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180007239A KR20180007239A (en) | 2018-01-22 |
| KR101910446B1 true KR101910446B1 (en) | 2018-10-30 |
Family
ID=61094947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160088225A KR101910446B1 (en) | 2016-07-12 | 2016-07-12 | A Compression Method of Digital Hologram Video using Domain Transforms and 2D Video Compression Technique |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101910446B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102022648B1 (en) | 2018-08-10 | 2019-09-19 | 삼성전자주식회사 | Electronic apparatus, method for controlling thereof and method for controlling server |
| KR102617395B1 (en) * | 2021-07-13 | 2023-12-27 | 광운대학교 산학협력단 | A compression coding system for phase component of hologram |
| CN115065817B (en) * | 2022-05-24 | 2024-01-12 | 昆明理工大学 | Hologram compression method, encoder and hologram reproduction module |
-
2016
- 2016-07-12 KR KR1020160088225A patent/KR101910446B1/en active IP Right Grant
Non-Patent Citations (1)
| Title |
|---|
| 서영호 외 "MCTF를 이용하여 디지털 홀로그램의 공간적 상관도를 효율적으로 제거하는 디지털 홀로그램 압축 기법", 한국방송공학회 학술대회 논문집 2008.11, pp.149-152. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180007239A (en) | 2018-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102450688B1 (en) | Methods for full parallax compressed light field 3d imaging systems | |
| EP1825690B1 (en) | Method and system for decomposing multiview videos | |
| Adami et al. | State-of-the-art and trends in scalable video compression with wavelet-based approaches | |
| KR102126886B1 (en) | Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy | |
| US20160050440A1 (en) | Low-complexity depth map encoder with quad-tree partitioned compressed sensing | |
| Seo et al. | Digital hologram compression technique by eliminating spatial correlations based on MCTF | |
| Aggoun | A 3D DCT compression algorithm for omnidirectional integral images | |
| CN108141593A (en) | For be directed to the efficient intraframe coding of deep video based on the discontinuous method of depth | |
| Sakamoto et al. | A study on efficient compression of multi-focus images for dense light-field reconstruction | |
| KR101910446B1 (en) | A Compression Method of Digital Hologram Video using Domain Transforms and 2D Video Compression Technique | |
| Sakamoto et al. | A novel scheme for 4-D light-field compression based on 3-D representation by multi-focus images | |
| Hachicha et al. | 1D directional DCT-based stereo residual compression | |
| KR101246115B1 (en) | Method and apparatus of image encoding/decoding based on 3D wavelet transform | |
| Aggoun et al. | Wavelet-based compression algorithm for still omnidirectional 3D integral images | |
| KR101647344B1 (en) | Method and Device for Encoding Depth Image | |
| KR20180017659A (en) | Method and apparatus for encoding digital hologram data | |
| Aggoun et al. | Data compression of integral images for 3D TV | |
| Liu et al. | Quad-tree partitioned compressed sensing for depth map coding | |
| Velisavljević et al. | View and rate scalable multiview image coding with depth-image-based rendering | |
| WO2002050774A2 (en) | Efficiently adaptive double pyramidal coding | |
| Nayan et al. | Baseline JPEG-like DWT CODEC for disparity compensated residual coding of stereo images | |
| Jang et al. | A Study on the Compression Efficiency of a Digital Hologram Video using Domain Transforms and H. 265/HEVC | |
| KR101530955B1 (en) | A Digital Hologram Compression Device based on Scalable Video Coding | |
| Stepanov et al. | Compression of light fields | |
| Calemme et al. | Depth map coding with elastic contours and 3D surface prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |