KR101483053B1 - Method, apparatus and system for combining plural picutres - Google Patents

Method, apparatus and system for combining plural picutres Download PDF

Info

Publication number
KR101483053B1
KR101483053B1 KR1020130166188A KR20130166188A KR101483053B1 KR 101483053 B1 KR101483053 B1 KR 101483053B1 KR 1020130166188 A KR1020130166188 A KR 1020130166188A KR 20130166188 A KR20130166188 A KR 20130166188A KR 101483053 B1 KR101483053 B1 KR 101483053B1
Authority
KR
South Korea
Prior art keywords
image
guard area
unit
input images
composite image
Prior art date
Application number
KR1020130166188A
Other languages
Korean (ko)
Inventor
최윤식
홍순기
김기열
간저릭
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020130166188A priority Critical patent/KR101483053B1/en
Application granted granted Critical
Publication of KR101483053B1 publication Critical patent/KR101483053B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Disclosed are a method for combining images, a device thereof, and a system using the same. The device for combining images includes: a stream sentence analysis unit which receives bit streams about a plurality of input images, and performs sentence analysis on each of the received bit streams; a parameter and header generation unit which modifies sentences analyzed by the stream sentence analysis unit according to configuration data about predefined combined images, and generates modified sentences; a guard area generation unit which determines the boundary among the input images according to the configuration data about the combined images, is placed around the determined boundary, and generates and encodes a guard area having a predefined thickness and pixel value; and a stream combination unit which inserts the modified sentences generated by the parameter and header generation unit and the guard area replacing the existing sentences in the bit streams and outputs bit streams about the combined images including the input images.

Description

영상 합성 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR COMBINING PLURAL PICUTRES}TECHNICAL FIELD [0001] The present invention relates to an image synthesizing method,

본 발명은 영상 합성 방법, 장치 및 시스템에 관한 것으로, 특히 FMO를 이용한 영상합성 시에 영상간 경계 영역에서 발생하는 오류를 해결할 수 있는 영상 합성 방법, 장치 및 시스템에 관한 것이다.The present invention relates to an image synthesizing method, an apparatus and a system, and more particularly, to an image synthesizing method, apparatus, and system capable of resolving errors occurring in boundary regions between images during image synthesis using FMO.

영상신호 압축을 위한 국제 표준화 기구로는 영상회의와 같은 비디오 응용을 위해 결성된 ITU-T(International Telecommunication Union Telecommunication Standardization Sector)와 비디오 데이터의 저장 또는 방송 등 다양한 응용분야를 위한 ISO/IEC 등이 있다. 그리고 ITU-T와 ISO/IEC가 함께 JVT(Joint Video Team)를 구성하여 기존의 MPEG(Moving Picture Experts Group)-2, H.263, MPEG-4 Visual 비디오 압축 부호화 표준보다 압축 성능이 향상된 H.264/AVC 비디오 부호화 표준을 제정하였다. H.264/AVC는 현재 차세대 동영상 압축 기술로 평가 받고 있다. 특히, 디지털 TV, 위성 및 지상파 DMB(Digital Multimedia Broadcasting) 등 차세대 멀티미디어 서비스와 접목되면서 다채널 고화질의 영상압축, 인터넷, 케이블 모뎀, 이동통신망에서의 영상전달, 디지털 데이터 방송 등과 같은 동영상 멀티미디어 서비스에 널리 이용되고 있다.International standardization organizations for video signal compression include the International Telecommunication Union Telecommunication Standardization Sector (ITU-T), which is established for video applications such as video conferencing, and ISO / IEC for various applications such as video data storage or broadcasting . In addition, ITU-T and ISO / IEC together form JVT (Joint Video Team), which provides compression performance higher than existing Moving Picture Experts Group (MPEG) -2, H.263, and MPEG-4 Visual Video compression coding standards. 264 / AVC video coding standard. H.264 / AVC is currently regarded as a next-generation video compression technology. Especially, it is widely applied to multimedia multimedia services such as multi-channel high-quality image compression, Internet, cable modem, video transmission in mobile communication network, digital data broadcasting, etc., while being combined with next generation multimedia services such as digital TV, satellite and terrestrial DMB (Digital Multimedia Broadcasting) .

H.264/AVC 기반 고속 영상 합성 기법은 각각 독립된 복수개의 영상들을 합쳐 하나의 합성된 영상을 생성하는 기법이다. 종래의 고속 영상 합성 기법 중 한가지가 한국 등록 특허 제10-1053161호(2011년 1월 28일 공개)에 공개되어 있다. 공개된 종래 기술의 특징은 복수개의 영상을 하나의 영상으로 합성한 이후 부호화 과정을 거쳐 송신을 위한 비트스트림을 생성하는 것이 아니라, 이미 부호화되어 생성된 영상들 각각에 대한 복수개의 비트스트림을 수신하고, 수신된 복수개의 비트스트림 각각에서 특정 부분만 추출하여 수정한 후 하나의 합성된 영상에 대한 비트스트림을 생성한다.The H.264 / AVC based high-speed image synthesis technique is a technique of generating a combined image by combining plural independent images. One of the conventional high-speed image synthesis techniques is disclosed in Korean Patent No. 10-1053161 (published Jan. 28, 2011). A feature of the disclosed prior art is that a plurality of images are synthesized into a single image and then a bitstream for transmission is generated through an encoding process, but a plurality of bitstreams for each of the already generated images are received Extracts and corrects only a specific portion of each of the plurality of received bitstreams, and generates a bitstream for one combined image.

즉 H.264/AVC 압축 영역에서의 동영상 합성 기술을 개시하고 있는 상기의 종래 기술은 입력된 복수개의 입력 영상 비트스트림에 대한 복호화를 수행하지 않는다. 대신 복수개의 입력 영상 비트스트림 각각에 포함된 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS) 및 슬라이스 헤더에 대한 구문 분석을 수행한다. 그리고 합성 영상의 디스플레이 형태에 대응하도록 복수개의 입력 영상 비트스트림 각각의 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS) 및 슬라이스 헤더의 파라미터와 변수의 일부를 변경하거나 새로이 설정한다. 즉 종래 기술은 부호화되어 압축된 상태로 인가되는 복수개의 입력 영상 비트스트림을 복호화하지 않고, 부호화된 상태인 압축 영역에서 복수개의 입력 영상 비트스트림의 구문 분석과 파라미터 변경 및 변수 변경을 수행하여 합성 영상에 대한 H.264/AVC 포멧의 비트스트림을 생성하여 출력한다.That is, the conventional art disclosed in the video synthesis technique in the H.264 / AVC compression region does not perform decoding on a plurality of inputted input video bitstreams. Instead, a sequence parameter set (SPS), a picture parameter set (PPS), and a slice header included in each of a plurality of input image bitstreams are parsed. Then, the sequence parameter set (SPS), the picture parameter set (PPS), and the slice header parameters and variables of the plurality of input image bitstreams are changed or newly set so as to correspond to the display form of the composite image. That is, according to the prior art, a plurality of input image bitstreams are parsed, parameters are changed, and parameters are changed in a coded compressed region without decoding a plurality of input image bitstreams that are encoded and compressed, And generates and outputs a bitstream of the H.264 / AVC format.

따라서 복수개의 입력 영상 비트스트림에 대한 복호화 과정과 합성 영상 비트스트림에 대한 부호화 과정을 크게 줄여 저복잡도 및 고속으로 합성 영상을 생성할 수 있도록 하는 장점이 있다.Accordingly, it is possible to greatly reduce the decoding process for a plurality of input image bitstreams and the encoding process for a synthesized image bitstream, thereby generating a composite image at low complexity and high speed.

상기한 고속 영상 합성 기술은 H.264/AVC에서 규정하는 임의 슬라이스 순서(Arbitary Slice Order : 이하 ASO) 기법을 이용하는 것으로 볼 수 있다. ASO는 슬라이스의 배치 순서를 임의로 조절할 수 있는 기술로서, 이를 응용하면, 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS) 및 슬라이스 헤더의 파라미터와 변수를 수정하여 복수개의 입력 영상 각각의 배치를 조절함으로써, 합성 영상을 획득할 수 있다. 이렇게 부호화된 복수개의 비트스트림을 전체 복호화 및 재부호화하지 않고, 일부 파라미터와 변수만을 수정하여 합성 영상을 생성하는 기법을 스티칭(Stitching) 기법이라 한다.The high-speed image synthesis technique described above can be regarded as using an arbitrary slice order (ASO) scheme defined in H.264 / AVC. ASO is a technique capable of arbitrarily adjusting the arrangement order of slices. By applying this, it is possible to modify parameters and variables of a sequence parameter set (SPS), a picture parameter set (PPS) Whereby a composite image can be obtained. A technique of generating a composite image by modifying only a part of parameters and variables without decoding and re-encoding the plurality of coded bitstreams is called a stitching technique.

도1 은 종래의 영상 합성 기법의 문제점을 나타내는 도면이다.1 is a view showing a problem of a conventional image synthesis technique.

도1 에서 (a)는 합성 영상을 생성하기 전 복수개의 입력 영상 중 하나를 나타내고, (b)는 (a)의 입력 영상이 포함된 합성 영상을 나타낸다. 도1 의 (a)에 도시된 바와 같이 합성되기 전 복수개의 입력 영상 각각은 주위에 다른 영상이 존재하지 않는다. 따라서 입력 영상의 경계면의 외곽에는 다른 매크로 블록이 존재하지 않는다. 그러나 도1 의 (b)에 도시된 합성 영상에서는 (a)의 입력 영상이 합성 영상의 우측 하단에 배치되었다. (a)의 입력 영상이 합성 영상에서 우측 하단에 배치됨에 따라 (a)의 입력 영상의 좌측, 좌상측 및 상단 외곽에는 합성되기 이전에는 존재하지 않던 다른 입력 영상이 인접하여 배치되어 매크로 블록이 존재하게 된다. 이를 (a)의 입력 영상의 측면에서 분석하면, 입력 영상의 부호화 시에는 존재하지 않던 매크로 블록이 고속 영상 합성 처리로 인해 발생되는 것으로 볼 수 있다. 그리고 영상 복호화 장치가 고속 영상 합성 기법으로 생성된 합성 영상을 인트라 예측 모드로 복호화하게 되면, 합성 영상에서 일부 매크로 블록들은 부호화시에 고려되지 않은 매크로 블록이 인접하여 배치됨에 따라 오류가 발생하여 화질 저하가 발생하게 된다. 이러한 매크로 블록 불일치로 인한 오류는 영상의 경계에서 발생하지만, 영상의 경계에 발생된 오류를 영상 내부의 매크로 블록들이 재참조함으로써, 합성 영상 전체의 화질을 크게 저하하게 되는 문제가 있다.In FIG. 1, (a) represents one of a plurality of input images before generation of the composite image, and (b) represents a composite image including the input image of (a). As shown in FIG. 1 (a), each of the plurality of input images before being synthesized does not have other images around. Therefore, there is no other macroblock in the boundary of the boundary of the input image. However, in the composite image shown in (b) of FIG. 1, the input image of (a) is arranged at the lower right of the composite image. (a) is arranged at the lower right of the synthesized image, other input images that were not present before being synthesized are arranged adjacent to each other on the left, upper left, and upper edges of the input image of (a) . Analysis of this in terms of the input image of (a) shows that a macroblock that did not exist at the time of encoding the input image is generated due to the high-speed image synthesis processing. If the image decoding apparatus decodes the composite image generated by the high-speed image synthesis method into the intra-prediction mode, some macroblocks in the composite image are arranged in such a manner that macroblocks not considered in encoding are arranged adjacent to each other, . Although the error due to the macroblock mismatch occurs at the boundaries of the image, the macroblocks in the image re-refer to the errors generated at the boundaries of the image, thereby causing a problem that the image quality of the entire synthesized image is greatly deteriorated.

도2 는 인트라 예측 부호화를 위한 9개의 예측 모드을 나타낸다.FIG. 2 shows nine prediction modes for intraprediction encoding.

H.264/AVC에서는 압축률을 향상 시키기 위해 인트라 예측 부호화 시에 도2 와 같이 9 개의 예측 모드를 제공하고, 이중 하나의 모드를 선택하여 예측 블록을 생성하고 부호화한다. 이러한 인트라 예측 모드의 제공은 매크로 블록의 부호화 시에 먼저 부호화된 매크로 블록과의 차이만을 전송할 수 있도록 함으로서 압축 성능을 대폭 개선하였다. 그러나 도2 에 도시된 바와 같이, 인트라 예측 부호화에서 부호화되는 매크로 블록은 좌측, 좌측 상단, 상단 및 우측 상단에 배치된 먼저 부호화된 매크로 블록 중 적어도 하나를 참조하여 부호화된다.In H.264 / AVC, in order to improve the compression ratio, nine prediction modes are provided in intra prediction coding as shown in FIG. 2, and one of the modes is selected to generate and encode a prediction block. The intraprediction mode is provided to transmit only a difference from a macroblock encoded at the time of encoding a macroblock, thereby greatly improving the compression performance. However, as shown in FIG. 2, the macroblocks to be coded in intra prediction coding are coded with reference to at least one of the leftmost, left top, top and rightmost top encoded macroblocks.

도1 의 (a)를 다시 살펴보면, 입력 영상의 좌측 상단 경계에 배치된 (a)의 부호화 대상 매크로 블록은 부호화 시에 인트라 예측 모드로 참조할 매크로 블록이 존재하지 않는다. 그에 비해 도1 의 (b)에서는 인접하여 배치되는 입력 영상에 따라 인트라 예측 모드로 참조할 매크로 블록이 다수 존재한다. 합성 영상 생성시 발생할 수 있는 이러한 부호화의 오류는 영상의 복호화 과정에 반영된다. 즉 영상 복호화기는 참조하지 않아야 할 주변 매크로 블록을 참조하여 복호화 대상 매크로 블록을 복호하게 됨에 따라 화질 저하를 유발하거나, 경우에 따라서는 신택스(Syntax) 정보가 설정된 한계 범위를 초과하게 되어 복호기의 동작을 멈추게 하는 요인이 된다.Referring back to FIG. 1 (a), there is no macroblock to be referred to in the intra-prediction mode at the time of encoding in the macroblock to be coded (a) arranged at the upper left boundary of the input image. On the other hand, in FIG. 1 (b), there exist a plurality of macroblocks to be referred to in the intra-prediction mode according to the adjacent input image. This encoding error, which may occur when the composite image is generated, is reflected in the decoding process of the image. That is, the image decoder refers to the neighboring macroblocks not to be referred to, decodes the macroblock to be decoded, and causes image quality deterioration. In some cases, the syntax information exceeds the set limit, It becomes a factor to stop.

이러한 고속 합성 영상의 생성시 화질 저하 문제는, 종래 기술이 합성 영상 생성시에 매크로 블록 데이터에 대해 충분히 고려하지 않았기 때문에 발생하는 문제로서, 오류없는 합성 영상을 생성하기 위해서는 반드시 수정되어야 한다.The problem of degradation in image quality upon generation of such a high-speed composite image is a problem that occurs due to insufficient consideration of macroblock data at the time of generation of the composite image, which must be corrected in order to generate an errorless composite image.

본 발명의 목적은 화질 저하를 방지하고, 저복잡도 및 고속으로 합성 영상을 생성하는 영상 합성 장치를 제공하는데 있다.It is an object of the present invention to provide an image synthesizing apparatus which prevents deterioration of image quality and generates a composite image at low complexity and high speed.

본 발명의 다른 목적은 상기 목적을 달성하기 위한 영상 합성 시스템을 제공하는데 있다.Another object of the present invention is to provide a video synthesis system for achieving the above object.

본 발명의 또 다른 목적은 상기 목적을 달성하기 위한 영상 합성 방법을 제공하는데 있다.It is still another object of the present invention to provide an image synthesis method for achieving the above object.

상기 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 합성 장치는 복수개의 입력 영상에 대한 비트스트림을 수신하고, 수신된 복수개의 상기 비트스트림 각각에 대한 구문 분석을 수행하는 스트림 구문 분석부; 상기 스트림 구문 분석부에서 분석된 상기 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하는 파라미터 및 헤더 생성부; 상기 합성 영상에 대한 구성 정보에 따라 상기 복수개의 입력 영상의 경계를 판별하고, 상기 판별된 경계의 외곽에 배치되며, 기설정된 두께와 화소값을 갖는 가드 영역을 생성하고 부호화하는 가드 영역 생성부; 및 상기 비트스트림에 포함된 기존 구문을 대체하여 상기 파라미터 및 헤더 생성부에서 생성된 상기 수정 구문과 상기 가드 영역을 삽입하여, 상기 복수개의 입력 영상을 포함하는 상기 합성 영상에 대한 비트스트림을 출력하는 스트림 합성부; 를 포함한다.According to an aspect of the present invention, there is provided a video synthesis apparatus comprising: a stream parsing unit for receiving a bitstream of a plurality of input images and performing a syntax analysis for each of the plurality of received bitstreams; A parameter and a header generating unit for modifying the syntax analyzed by the stream parsing unit according to configuration information for a predetermined composite image to generate a modification syntax; A guard area generation unit for recognizing a boundary of the plurality of input images according to the configuration information of the composite image and generating and encoding a guard area having a predetermined thickness and a pixel value, the guard area being located outside the determined boundary; And inserting the modification syntax and the guard area generated by the parameter and header generation unit in place of the existing syntax included in the bitstream to output a bitstream of the composite image including the plurality of input images A stream synthesizer; .

상기 가드 영역 생성부는 상기 복수개의 입력 영상이 상기 합성 영상에서 배치되는 배치 위치에 따라 상기 입력 영상의 경계면을 판별하는 영상 분석부; 상기 입력 영상의 경계면 외곽으로 상기 가드 영역을 설정하는 가드 영역 설정부; 및 상기 가드 영역을 상기 합성 영상에 대한 비트스트림에 삽입할 수 있도록 부호화하는 가드 영역 부호화부; 를 포함하는 것을 특징으로 한다.Wherein the guard area generation unit comprises: an image analysis unit for determining a boundary surface of the input image according to a placement position in which the plurality of input images are arranged in the composite image; A guard area setting unit for setting the guard area to an outer boundary of the boundary of the input image; And a guard area encoding unit for encoding the guard area so as to be inserted into the bitstream of the composite image; And a control unit.

상기 영상 분석부는 상기 파라미터 및 헤더 생성부에 설정된 상기 합성 영상에 대한 구성 정보에 따라 상기 합성 영상에서 상기 복수개의 입력 영상 각각의 배치 위치를 판별하는 영상 배치 분석부; 및 상기 합성 영상에서 복수개의 입력 영상이 배치되는 위치에 따라 영상의 경계면을 판별하는 영상 경계 판별부; 를 포함하는 것을 특징으로 한다.Wherein the image analyzing unit comprises: an image layout analyzing unit for determining a layout position of each of the plurality of input images in the composite image according to the parameter and the configuration information for the composite image set in the header generating unit; And an image boundary determining unit for determining an image boundary according to a position of the plurality of input images in the composite image. And a control unit.

상기 가드 영역 설정부는 상기 가드 영역의 화소값을 영상 처리 기법에서 사용하는 가상의 매크로 블록인 패딩 블록의 화소값에 대응하여 설정하는 것을 특징으로 한다.And the guard area setting unit sets the pixel value of the guard area in correspondence with the pixel value of the padding block which is a virtual macro block used in the image processing technique.

상기 가드 영역 설정부는 상기 가드 영역의 두께를 상기 입력 영상 각각의 매크로 블록의 크기에 대응하여 설정하는 것을 특징으로 한다.And the guard area setting unit sets the thickness of the guard area in correspondence with the size of each of the macroblocks of the input image.

상기 가드 영역 설정부는 상기 복수개의 입력 영상 중 서로 인접하여 배치된 입력 영상의 사이에만 상기 가드 영역을 설정하는 것을 특징으로 한다.And the guard area setting unit sets the guard area only between input images adjacent to each other among the plurality of input images.

상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 합성 시스템은 각각 서로 다른 원본 영상을 수신하고, 기설정된 부호화 방식으로 부호화하여 비트스트림을 출력하는 복수개의 부호화 장치; 및 복수개의 입력 영상을 상기 복수개의 비트스트림으로 수신하고, 상기 복수개의 비트스트림 각각에 대한 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하여 상기 비트스트림에 포함된 기존 구문을 대체하여 삽입함으로써, 상기 합성 영상에 대한 비트스트림을 생성하며, 상기 합성 영상에 대한 구성 정보에 따라 상기 복수개의 입력 영상의 경계를 판별하고, 판별된 상기 경계의 외곽에 가드 영역을 생성하고 부호화하여 상기 합성 영상에 대한 비트스트림에 삽입하는 영상 합성 장치; 를 포함한다.According to another aspect of the present invention, there is provided an image synthesizing system including: a plurality of encoding devices for receiving different original images, encoding them using a predetermined encoding scheme, and outputting bitstreams; And a modifying unit configured to receive a plurality of input images as the plurality of bitstreams, modify the syntax of each of the plurality of bitstreams according to configuration information for a predetermined synthesized image, A bitstream for the composite image is generated by inserting the syntax into the composite image, a boundary of the plurality of input images is determined according to the configuration information for the composite image, and a guard area is generated at the outline of the determined boundary An image synthesizer for encoding and inserting the encoded image into a bit stream of the synthesized image; .

상기 또 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 합성 방법은 스트림 구문 분석부, 파라미터 및 헤더 생성부, 가드 영역 생성부 및 스트림 합성부를 포함영상 합성 장치의 영상 합성 장치의 영상 합성 방법에 있어서, 상기 스트림 구문 분석부가 복수개의 입력 영상 각각에 대한 복수개의 비트스트림을 수신하고, 수신된 비트 스트림 각각에 대한 구문을 분석하는 단계; 상기 파라미터 및 헤더 생성부가 분석된 상기 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하는 단계; 상기 가드 영역 생성부가 상기 합성 영상에 대한 구성 정보에 따라 상기 복수개의 입력 영상의 경계를 판별하는 단계; 상기 가드 영역 생성부가 상기 판별된 경계의 외곽에 배치되는 가드 영역을 생성하고 부호화하는 단계; 및 상기 스트림 합성부가 상기 비트스트림에 포함된 기존 구문을 대체하여 상기 파라미터 및 헤더 생성부에서 생성된 상기 수정 구문과 부호화된 상기 가드 영역을 삽입하여 상기 복수개의 입력 영상을 포함하는 합성 영상에 대한 비트스트림을 출력하는 단계; 를 포함한다According to another aspect of the present invention, there is provided an image synthesis method, including a stream parsing unit, a parameter and header generating unit, a guard area generating unit, and a stream synthesizing unit, The stream parser receiving a plurality of bit streams for each of a plurality of input images and analyzing a syntax for each of the received bit streams; Generating a modified syntax by modifying the parsed and parsed header according to configuration information for a predetermined composite image; The guard area generating unit discriminating the boundaries of the plurality of input images according to the configuration information of the synthesized image; Generating and encoding a guard area in which the guard area generating unit is arranged outside the determined boundary; And the stream combining unit replaces the existing syntax included in the bitstream and inserts the modified syntax generated in the header and the parameter generating unit and the encoded guard area to generate a bit for a composite image including the plurality of input images, Outputting a stream; And a

따라서, 본 발명의 영상 합성 방법, 장치 및 시스템은 복수개의 입력 영상 비트스트림을 복호화 및 부호화 하지 않고, 부호화된 압축 상태에서 파라미터와 변수를 변경하여 저복잡도 고속 합성 영상 생성 시에 인트라 예측 모드의 인접 매크로 블록 존재로 인해 발생할 수 있는 합성 영상의 오류나 화질 저하를 제거할 수 있도록 한다.Therefore, the image synthesis method, apparatus, and system according to the present invention change parameters and variables in the encoded compressed state without decoding and encoding a plurality of input image bitstreams, Thereby making it possible to eliminate errors and image quality deterioration of a composite image that may occur due to the presence of a macroblock.

도1 은 종래의 영상 합성 기법의 문제점을 나타내는 도면이다.
도2 는 인트라 예측 부호화를 위한 9개의 예측 모드을 나타낸다.
도3 은 본 발명의 일 실시예에 따른 영상 합성 시스템을 개략적으로 나타낸 블록도이다.
도4 는 도3 의 영상 합성 장치의 구성을 나타낸다.
도5 는 도4 의 가드 영역 생성부의 세부 구성을 나타낸다.
도6 은 본 발명의 일 실시예에 따른 영상 합성 방법을 나타낸다.1 is a view showing a problem of a conventional image synthesis technique.
FIG. 2 shows nine prediction modes for intraprediction encoding.
3 is a block diagram schematically illustrating an image synthesis system according to an embodiment of the present invention.
Fig. 4 shows a configuration of the image synthesizing apparatus of Fig.
Fig. 5 shows a detailed configuration of the guard area generating unit of Fig.
6 illustrates an image synthesis method according to an embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the embodiments described. In order to clearly describe the present invention, parts that are not related to the description are omitted, and the same reference numerals in the drawings denote the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "including" an element, it does not exclude other elements unless specifically stated to the contrary. The terms "part", "unit", "module", "block", and the like described in the specification mean units for processing at least one function or operation, And a combination of software.

도3 은 H.264/AVC의 FMO로 규정된 슬라이스 형태의 일예를 나타낸다.Figure 3 shows an example of a slice type defined by the FMO of H.264 / AVC.

H.264/AVC에서는 FMO(Flexible Macroblock Ordering)를 사용할 수 있도록 규정하고 있다. 도3 에 도시한 바와 같이, FMO는 기존에 영상을 가로 방향으로만 분할하는 슬라이스가 다양한 형태로 영상을 분할 할 수 있도록 한다. H.264 / AVC requires the use of FMO (Flexible Macroblock Ordering). As shown in FIG. 3, the FMO allows a slice that divides an image only in the horizontal direction to divide the image into various forms.

그리고 이렇게 다양한 형태로 영상을 분할할 수 있는 슬라이스들은 영상의 특징에 따라 다양한 형태로 분할될 수 있으므로, 영상 합성 시에 복수개의 입력 영상이 다양한 형태로 배치되는 합성 영상을 제공할 수 있다. 즉 FMO는 도1 의 (b)에 도시된 바와 같은 화면 균등 분할 합성 영상 이외에도 여러 형태의 합성 영상을 제공할 수 있도록 한다.Since slices capable of dividing an image into various shapes can be divided into various shapes according to characteristics of an image, it is possible to provide a composite image in which a plurality of input images are arranged in various forms at the time of image synthesis. In other words, the FMO can provide various types of composite images in addition to the screen-even-division-combined image as shown in FIG. 1 (b).

그러나 FMO를 이용하여 고속 영상 합성을 하는 경우에도 상기한 바와 같이 매크로 블록 참조 오류로 인해 화질 저하 문제가 동일하게 발생한다. 다만 인트라 예측 모드에서 참조 매크로 블록 불일치 문제는 입력 영상의 외부의 매크로 블록을 참조하는 영상의 경계에서만 발생한다. 즉 입력 영상의 내부 매크로 블록들은 참조되는 매크로 블록이 영상내의 매크로 블록이므로, 매크로 블록 불일치 문제를 발생하지 않는 반면, 입력 영상의 경계영역에서는 참조되는 매크로 블록이 기존에 존재하지 않았으나 영상 합성 이후에 배치되어 매크로 블록 불일치 문제를 야기한다. However, even in the case of high-speed image synthesis using FMO, the image quality degradation problem occurs due to the macro block reference error as described above. However, in the intra prediction mode, the problem of reference macroblock mismatch occurs only at the boundary of an image that refers to a macroblock outside the input image. That is, since the macroblocks to be referred to in the input macroblock are macroblocks in the image, the macroblock mismatching problem does not occur, while the macroblocks to be referred to in the boundary region of the input image are not existing, Resulting in a macroblock mismatch problem.

도4 는 본 발명의 일 실시예에 따른 영상 합성 시스템을 개략적으로 나타낸 블록도이다. 4 is a block diagram schematically illustrating an image synthesis system according to an embodiment of the present invention.

도4 를 참조하면 본 발명의 영상 합성 시스템은 복수개의 영상 입력 수단(V1 ~ Vn), 복수개의 부호화 장치(D1 ~ Dn) 및 영상 합성 장치(VC)를 포함한다.Referring to FIG. 4, the video synthesis system of the present invention includes a plurality of video input means V1 to Vn, a plurality of video coders D1 to Dn, and a video synthesizer VC.

복수개의 영상 입력 수단(V1 ~ Vn)은 카메라 등으로 구현되어 원본 영상을 생성하여 복수개의 부호화 장치(D1 ~ Dn) 중 대응하는 부호화 장치(D1 ~ Dn)로 전송한다.The plurality of image input means V1 to Vn are implemented by a camera or the like to generate an original image and transmit the original image to the corresponding encoding devices D1 to Dn of the plurality of encoding devices D1 to Dn.

복수개의 부호화 장치(D1 ~ Dn)은 각각 복수개의 영상 입력 수단(V1 ~ Vn) 중 대응하는 영상 입력 수단으로부터 원본 영상을 수신하여 H.264/AVC 포멧에 맞추어 부호화하고, 부호화된 비트스트림(BS1 ~ Bn)을 영상 합성 장치(VC)로 전송한다. 도4 에서는 설명의 편의를 위하여 영상 입력 수단(V1 ~ Vn)의 개수와 부호화 장치(D1 ~ Dn)의 개수를 동일하게 하여, 영상 입력 수단(V1 ~ Vn)과 부호화 장치(D1 ~ Dn)가 1 대 1로 대응하는 것으로 도시하였으나, 복수개의 영상 입력 수단(V1 ~ Vn)과 복수개의 부호화 장치(D1 ~ Dn)의 개수는 서로 상이하여도 무방하다. 복수개의 부호화 장치(D1 ~ Dn) 각각이 원본 영상을 H.264/AVC 포멧의 비트스트림(BS1 ~ Bn)으로 생성하는 기법은 상기한 바와 같이 JVT에 의해 지정된 영상 표준 기술로서 공개된 기술이므로 여기서는 상세한 설명을 생략한다.Each of the plurality of encoding devices D1 to Dn receives an original image from a corresponding one of the plurality of image input means V1 to Vn and encodes the original image in accordance with the H.264 / AVC format, To Bn) to the image synthesizer (VC). 4, the number of image input means (V1 to Vn) and the number of image encoding means (D1 to Dn) are the same for convenience of description, The number of image input means V1 to Vn and the number of the plurality of encoding devices D1 to Dn may be different from each other. Since each of the plurality of encoding apparatuses D1 to Dn generates the original image in the H.264 / AVC format as bit streams BS1 to Bn, as described above, is a technique disclosed as an image standard technology specified by JVT, A detailed description thereof will be omitted.

그리고 복수개의 영상 입력 수단(V1 ~ Vn)은 원본 영상이 별도의 기록 매체나 부호화 장치(D1 ~ Dn)의 메모리 등에 기저장된 경우에는 생략될 수 있다.The plurality of image input means V1 to Vn may be omitted when the original image is stored in a memory of a separate recording medium or the encoding devices D1 to Dn.

영상 합성 장치(VC)는 본 발명의 핵심 구성요소로서, 복수개의 부호화 장치(D1 ~ Dn)에서 출력되는 복수개의 비트스트림(BS)을 수신하고, 수신된 복수개의 비트스트림(BS)를 합성하여, 합성 영상을 생성하고, 합성 영상을 합성 비트스트림(CVBS)으로 출력한다. 이때, 영상 합성 장치(VC)에서 출력되는 합성 비트스트림(CVBS) 또한 H.264/AVC 포멧에 따라 구성된다.The video synthesizer VC is a core component of the present invention. The video synthesizer VC receives a plurality of bit streams BS output from a plurality of coders D1 to Dn and synthesizes the received plurality of bit streams BS , Generates a composite image, and outputs the composite image as a composite bitstream (CVBS). At this time, the composite bitstream (CVBS) output from the video synthesizer VC is also configured according to the H.264 / AVC format.

본 발명의 영상 합성 장치(VC)는 종래의 기술에 설명한, 한국 등록 특허 제10-1053161호와 유사하게 복수개의 부호화 장치(D1 ~ Dn)에서 인가되는 복수개의 비트스트림(BS1 ~ Bn) 전체에 대해 복호화를 수행하지 않고, 부호화된 비트스트림(BS1 ~ Bn) 각각에서 일부만을 추출하여 수정하고, 수정된 영역을 재부호하여 삽입하는 방식으로 합성 비트스트림(CVBS)을 생성한다. 따라서 기존에 복수개의 비트스트림(D1 ~ Dn) 각각을 모두 복호화하여 영상을 복원하고, 복원된 복수개의 영상을 합성한 후 다시 합성 비트스트림(CVBS)으로 부호화하는 기법에 비해 작업량을 크게 줄일 수 있으므로, 저비용 저사양의 하드웨어로도 빠르게 합성 영상을 생성할 수 있다.The image synthesizing apparatus VC of the present invention can be applied to all of a plurality of bit streams BS1 to Bn applied to a plurality of encoding apparatuses D1 to Dn in a similar manner to Korean Patent No. 10-1053161, A composite bitstream CVBS is generated by extracting and modifying only a part of each of the encoded bitstreams BS1 to Bn and re-encoding and inserting the modified area. Therefore, compared to the conventional technique of decoding all of the bit streams D1 to Dn to reconstruct an image, combining a plurality of reconstructed images, and then encoding the combined reconstructed bitstreams into a composite bitstream (CVBS), the workload can be greatly reduced , It is possible to quickly generate composite images even with low-cost and low-cost hardware.

그러나 본 발명에 따른 영상 합성 장치(VC)는 수신된 복수개의 비트스트림(BS1 ~ BSn)이 합성 영상에서 배치되는 배치위치를 고려하여, 복수개의 비트스트림(BS1 ~ BSn) 각각에 대응하는 입력 영상의 경계 외곽에 매크로 블록 불일치 문제를 해결하기 위한 가드 영역(Guard Area)을 삽입한다.However, the image synthesizing apparatus VC according to the present invention may be configured such that an input image corresponding to each of a plurality of bit streams BS1 to BSn is generated in consideration of a placement position in which a plurality of bit streams BS1 to BSn are arranged in a composite image, A guard area for solving the problem of macroblock mismatch is inserted in the border outline of the guard area.

여기서 가드 영역(Guard Area)는 복수개의 입력 영상을 영상 합성하여 합성 영상 생성 시에 복수개의 입력 영상 각각의 경계 외곽에 매크로 블록의 크기에 대응하는 크기로 삽입되고, 디폴트 화소 값을 갖는 영역이다. 상기한 바와 같이 합성 영상 생성 시에 매크로 블록 불일치로 인한 화질 저하 문제는 입력 영상은 존재하지 않는(즉 화소값을 갖지 않는) 매크로 블록을 참조하여 부호화되지만, 영상 합성 이후 합성 영상에서는 특정 화소값을 갖고 인접하여 배치되는 매크로 블록을 참조하여 복호화함으로써 발생한다. 여기서, 존재하지 않지만 참조되는 가상의 매크로 블록을 영상 처리 기법에서 패딩 블록(Padding Block)라 하며, 임의의 화소값이 할당된다. 패딩 블록은 존재하지 않는 매크로 블록이므로 원칙적으로는 영상 신호가 없지만, 영상 처리시에는 참조 값으로 검은색(RGB 코드 : 0) 또는 화이트(RGB 코드 : 127) 중 하나의 화소값이 임의로 설정되는 것이 일반적이다. 본 발명에서는 설명의 편의를 위해, 패딩 블록이 검은색에 대응하는 화소값을 갖는 것으로 가정하여 설명한다.Here, the guard area is a region having a default pixel value inserted into the boundary of each of a plurality of input images at a size corresponding to the size of a macro block at the time of synthesizing a plurality of input images and generating a composite image. As described above, the problem of image quality degradation due to a macroblock mismatch at the time of generating a composite image is encoded by referring to a macroblock having no input image (that is, having no pixel value). However, With reference to macroblocks arranged adjacent to each other. Here, a virtual macro block which is not present but is referred to is referred to as a padding block in an image processing technique, and an arbitrary pixel value is assigned. The padding block is not a macroblock which does not exist, so that there is no video signal in principle. However, in the image processing, one pixel value of black (RGB code: 0) or white (RGB code: 127) It is common. In the present invention, for convenience of explanation, it is assumed that a padding block has a pixel value corresponding to black.

이에 본 발명에서 영상 합성 장치(VC)는 합성 영상에서 복수개의 입력 영상 각각의 경계 외곽에 화소값을 갖지 않는 매크로 블록에 대응하는 디폴트 화소값(예를 들면 RGB 코드 : 0, 0, 0)을 갖는 가드 영역을 설정할 수 있다. 가드 영역이 합성 영상을 구성하는 각각의 입력 영상의 영상 경계 외곽에 설정됨으로써, 복호화 시에 인트라 예측 모드에서 가드 영역을 참조한다. 그리고 입력 영상이 개별적으로 부호화 될 때와 마찬가지로, 가드 영역이 디폴트 화소값을 가지므로, 영상 복호화 시에 합성 영상의 영상 경계 외곽의 매크로 블록에 의한 영향을 받지 않는다. 즉 합성 영상에서 매크로 블록의 불일치 문제를 원천적으로 제거할 수 있다.Accordingly, in the present invention, the image synthesizer VC generates a default pixel value (for example, RGB code: 0, 0, 0) corresponding to a macroblock having no pixel value on the boundary outline of each of a plurality of input images Can be set. The guard area is set to the outside of the image boundary of each input image constituting the composite image, thereby referring to the guard area in the intra prediction mode during decoding. Since the guard area has the default pixel value, the macro block in the periphery of the image boundary of the synthesized image is not affected by the decoded image, as in the case where the input image is separately encoded. That is, the problem of inconsistency of macroblocks in the composite image can be removed originally.

이때 가드 영역의 두께는 도2 에 도시한 바와 같이 매크로블록이 참조하는 화소의 크기에 대응하여 설정될 수 있으나, 매크로 블록의 크기에 대응하여 설정되는 것이 바람직하다. 일 예로 매크로 블록의 크기에 대응하는 두께로 설정될 수 있다.At this time, the thickness of the guard area may be set corresponding to the size of the pixel referred to by the macroblock as shown in FIG. 2, but it is preferably set corresponding to the size of the macroblock. For example, a thickness corresponding to the size of the macro block.

도5 는 도4 의 영상 합성 장치의 구성을 나타낸다.Fig. 5 shows a configuration of the image synthesizing apparatus of Fig.

도5 에서 영상 합성 장치(VC)는 스트림 구문 분석부(100), 파라미터 및 헤더 생성부(200), 가드 영역 생성부(300) 및 스트림 합성부(400)를 포함한다. 여기서 스트림 구문 분석부(100)와 파라미터 및 헤더 생성부(200) 그리고 스트림 합성부(400)는 상기한 종래 기술에 개시된 영상 합성 장치에서 공개된 구성으로 각각의 동작을 간략하게 설명한다.5, the image synthesizing apparatus VC includes a stream parsing unit 100, a parameter and header generating unit 200, a guard area generating unit 300, and a stream synthesizing unit 400. Here, the operations of the stream parsing unit 100, the parameter and header generating unit 200, and the stream synthesizing unit 400 will be briefly described with the configuration disclosed in the above-described conventional image synthesizing apparatus.

우선 스트림 구문 분석부(100)는 복수개의 비트스트림(BS1 ~ BSn)을 NAL(Network Abstraction Layer : 네트워크 추상 계층)단위로 수신하고, 수신된 비트스트림(BS1 ~ BSn)의 NAL 헤더 구문을 분석하여 데이터 타입을 판별한다. 여기서 데이터 타입은 시퀀스 파라미터 셋(Sequence Parameter Set : 이하 SPS), 픽처 파라미터 셋(Picture Parameter Set : 이하 PPS) 및 슬라이스(Slice) 등일 수 있다. 그리고 판별된 데이터 타입에 따라 SPS, PPS 의 파라미터 및 슬라이스의 헤더에 대해 구문 분석을 수행한다. 이때 스트림 구문 분석부(100)는 부호화되어 전송된 비트스트림(BS1 ~ BSn)을 부호화 상태에서 그대로 구문 분석을 수행한다.First, the stream parsing unit 100 receives a plurality of bit streams BS1 to BSn on a network abstraction layer (NAL) basis, analyzes the NAL header syntax of the received bit streams BS1 to BSn Determine the data type. Here, the data type may be a sequence parameter set (SPS), a picture parameter set (PPS), a slice, or the like. Then, the SPS, PPS parameters and slice header are parsed according to the determined data type. At this time, the stream parsing unit 100 parses the encoded bit streams BS1 to BSn as they are in the encoded state.

스트림 구문 분석부(100)는 인가된 데이터 타입에 따라 SPS의 구문을 분석하여, 입력 영상의 크기를 판별할 수 있고, PPS의 구문을 분석하여 각 슬라이스가 배치될 크기 및 위치를 판별할 수 있다. 그리고 슬라이스 헤더를 분석하여 해당 슬라이스의 최초 매크로 블록의 위치를 판별 할 수 있다. 즉 스트림 구문 분석부(100)는 복수개의 비트스트림의 구문을 분석하여 영상의 크기와 영상을 구성하는 슬라이스들의 매크로 블록 위치 정보를 획득할 수 있다.The stream parsing unit 100 can analyze the syntax of the SPS according to the applied data type to determine the size of the input image and analyze the syntax of the PPS to determine the size and position where each slice is to be placed . Then, the position of the first macroblock of the slice can be determined by analyzing the slice header. That is, the stream parsing unit 100 may analyze the syntax of the plurality of bitstreams to obtain the size of the image and the macroblock location information of the slices constituting the image.

파라미터 및 헤더 생성부(200)는 스트림 구문 분석부(100)가 복수개의 비트스트림(BS1 ~ BSn)에서 분석된 SPS, PPS 를 이용하여 합성 영상을 위한 SPS, PPS를 생성한다. 이때 파라미터 및 헤더 생성부(200)가 합성 영상을 위해 생성하는 SPS와 PPS는 입력된 비트스트림(BS1 ~ BSn)에서 분석된 SPS, PPS의 파라미터 및 슬라이스의 헤더가 대부분 그대로 병합되어 이용된다. 즉 파라미터 및 헤더 생성부(200)는 복수개의 입력 영상을 하나의 합성 영상으로 병합하기 위해 입력 영상 각각에 포함되는 복수개의 SPS와 복수개의 PPS의 파라미터를 병합하여 합성 영상에 대응하는 SPS와 PPS로 생성한다. 다만 파라미터 및 헤더 생성부(200)는 SPS, PPS의 파리미터 및 슬라이스의 헤더의 일부 헤더의 변수를 합성 영상에 적합하도록 변경하거나 새롭게 설정한다. 그리고 파라미터 및 헤더 생성부(200)는 SPS, PPS의 파라미터 및 슬라이스의 헤더의 일부를 변경하거나, 새로이 설정하기 위해 합성 영상의 구성 정보가 기설정되어 저장될 수 있다. 또한 경우에 따라서는 외부로부터 사용자 명령을 인가받아 합성 영상의 구성 정보를 저장할 수 있다. 여기서 합성 영상의 구성 정보에는 합성 영상의 전체 크기와 복수개의 입력 영상 각각의 크기 및 배치 위치가 포함될 수 있다.The parameter and header generation unit 200 generates the SPS and PPS for the composite image using the SPS and PPS analyzed by the stream parsing unit 100 in the plurality of bit streams BS1 to BSn. At this time, SPS and PPS generated by the parameter and header generation unit 200 for the combined image are mostly used by merely integrating the SPS, PPS parameters and slice header analyzed in the input bitstreams BS1 to BSn. That is, in order to merge the plurality of input images into one composite image, the parameter and header generation unit 200 merges the parameters of the plurality of SPSs and the plurality of PPSs included in each of the input images into the SPS and the PPS corresponding to the composite image . However, the parameter and header generation unit 200 changes or changes the parameters of SPS, PPS, and some header of the header of the slice to fit the composite image. The parameter and header generation unit 200 may store the configuration information of the composite image in advance so as to change the parameters of the SPS and the PPS and a part of the header of the slice or set a new one. In some cases, the configuration information of the composite image can be stored by receiving a user command from the outside. Herein, the composition information of the composite image may include the total size of the composite image and the size and arrangement position of each of the plurality of input images.

파라미터 및 헤더 생성부(200)가 변경하거나 생성하는 SPS, PPS의 파라미터 및 슬라이스의 헤더를 수정 구문이라 할 수 있으며, 수정 구문을 생성하는 상세한 설명은 종래 기술에 공개되어 있으므로 여기서는 추가적인 설명을 생략한다.The SPS and PPS parameters and the header of the slice that are changed or generated by the parameter and header generation unit 200 can be referred to as a modification syntax. A detailed description for generating a modification syntax is disclosed in the prior art, .

가드 영역 생성부(300)는 기존의 합성 영상 생성 기술이 부호화된 입력 영상을 복호화하지 않고 부호화된 상태에서 그대로 합성하여 도1 에서와 같이 합성 영상에서 매크로 블록 불일치에 의한 오류가 발생하는 것을 방지하기 위해 구비된다. 가드 영역 생성부(300)는 합성 영상에 포함되는 복수개의 입력 영상 각각의 배치를 분석하고, 분석된 입력 영상의 배치로부터 영상 경계를 판별한다. 가드 영역 생성부(300)가 각 입력 영상의 경계를 판별하는 것은 매크로 블록 불일치 오류가 복수개의 입력 영상이 합성 영상으로 합성될 때, 각 입력 영상의 경계에 기존에 존재하지 않던 매크로블록이 추가로 배치되어 발생하기 때문이다.The guard area generating unit 300 synthesizes the input image with the existing synthesized image generating technique without coding the image without decoding it, and prevents an error due to the macroblock mismatch in the synthesized image as shown in FIG. 1 . The guard region generating unit 300 analyzes the arrangement of each of the plurality of input images included in the composite image, and determines the image boundary from the arrangement of the analyzed input images. The guard area generating unit 300 determines the boundary of each input image when a macroblock mismatch error is generated by combining a plurality of input images into a composite image, As shown in FIG.

그리고 가드 영역 생성부(300)는 영상 경계 주변으로 기설정된 두께와 화소값을 갖는 가드 영역을 생성하여 설정한다. 가드 영역 생성부(300)는 상기한 바와 같이, 가드 영역 패딩 블록의 화소값에 대응하는 화소값을 갖도록 설정되고, 입력 영상의 경계 매크로 블록이 참조하는 위치에 대응하는 두께로 생성한다. 가드 영역의 두께는 일 예로 입력 영상에 포함된 매크로 블록과 동일한 크기로 설정될 수 있다. 그리고 가드 영역의 위치는 입력 영상의 경계 매크로 블록이 참조할 수 있도록, 입력 영상 각각의 주변에 생성된다. 가드 영역 생성부(300)는 생성된 가드 영역을 합성 여상에 대한 비트 스트림에 삽입하기 용이하도록 부호화한다.The guard area generating unit 300 generates and sets a guard area having a preset thickness and pixel values around the image boundary. As described above, the guard area generating unit 300 is set to have a pixel value corresponding to the pixel value of the guard area padding block, and is generated with a thickness corresponding to the position referred to by the boundary macroblock of the input image. The thickness of the guard area may be set to the same size as the macroblock included in the input image, for example. The position of the guard region is generated around each input image so that the boundary macroblock of the input image can refer to it. The guard area generating unit 300 encodes the generated guard area so as to be easily inserted into the bit stream for the synthesized image.

스트림 합성부(400)는 복수개의 입력 영상에 파라미터 및 헤더 생성부(200)가 변경하거나 생성한 수정 구문을 수신된 비트스트림의 구문에 대체 삽입하여 합성 영상의 비트 스트림을 생성하여 출력한다. 스트림 합성부(400)에서 생성되는 비트스트림 또한 H.264/AVC에 따라 부호화된 데이터로서, NAL 단위(NALU)를 기본단위로 생성될 수 있다. 여기서 스트림 합성부(400)는 단순히 수정 구문만을 비트스트림에 삽입하는 것이 아니라, 가드 영역 생성부(300)에서 생성되어 부호화된 가드 영역을 비트스트림에 삽입함으로써, 매크로블록 불일치 오류가 제거된 합성 영상을 출력한다.The stream combining unit 400 generates a bit stream of the composite image by substituting the parameter and the modification sentence modified or generated by the header generating unit 200 into the syntax of the received bit stream to generate a bit stream of the composite image. The bit stream generated by the stream synthesizing unit 400 may also be generated based on the NAL unit (NALU) as data encoded according to H.264 / AVC. Here, the stream synthesizing unit 400 inserts the guard region generated and encoded in the guard region generating unit 300 into the bitstream, rather than merely inserting only the correction statement into the bitstream, .

도6 는 도5 의 가드 영역 생성부의 세부 구성을 나타낸다.Fig. 6 shows a detailed configuration of the guard area generating unit of Fig. 5;

도6 에서 가드 영역 생성부(300)는 영상 분석부(310), 가드 영역 설정부(320) 및 가드 영역 부호화부(340)를 포함한다.6, the guard region generating unit 300 includes an image analyzing unit 310, a guard region setting unit 320, and a guard region encoding unit 340. [

영상 분석부(310)는 합성 영상에서 복수개의 입력 영상이 배치되는 배치 위치에 따른 영상 경계를 판별한다.The image analysis unit 310 determines image boundaries according to the arrangement positions where a plurality of input images are arranged in the composite image.

영상 분석부(310)는 영상 배치 분석부(311) 및 영상 경계 판별부(313)를 포함한다. 영상 배치 분석부(311)는 합성 영상의 구성 정보를 통해 복수개의 비트스트림(BS1 ~ BSn) 각각의 입력 영상이 합성 영상에서 배치될 위치를 분석한다. 그리고 영상 경계 판별부(313)는 합성 영상에서 복수개의 입력 영상이 배치되는 위치에 따라 발생하는 영상 경계를 판별한다. 영상 경계 판별부(313)은 영상의 가장자리만을 판별할 수도 있으나, 경우에 따라서는 서로 인접하여 배치된 2개의 영상 사이의 경계를 판별할 수도 있다. 이는 상기한 바와 같이 매크로 블록 불일치 오류가 발생하는 것이 영상 사이의 경계에서 발생하기 때문이다.The image analysis unit 310 includes an image arrangement analysis unit 311 and an image boundary determination unit 313. The image arrangement analyzing unit 311 analyzes the positions where the input images of the plurality of bit streams BS1 to BSn are arranged in the composite image through the composition information of the composite image. The image boundary determining unit 313 determines an image boundary generated according to a position where a plurality of input images are arranged in the composite image. The image boundary determination unit 313 may determine only the edges of the image, but may determine the boundary between two images arranged adjacent to each other. This is because macroblock mismatch error occurs at the boundary between images as described above.

가드 영역 설정부(320)는 판별된 영상 경계의 위치를 분석하고, 영상 경계에 대응하는 위치에 가드 영역을 생성한다. 가드 영역은 상기한 바와 같이 합성 영상에 포함되는 복수개의 입력 영상 각각의 주변에 생성되어 한다. 따라서 가드 영역 설정부(320)는 영상 분석부(310)에서 판별한 영상 경계에 대응하는 위치에 가드 영역을 설정한다. 또한 가드 영역 설정부(320)는 가드 영역의 화소값을 기설정된 패딩 블록의 화소값에 대응하는 화소값으로 설정하며, 입력 영상을 둘러싸는 가드 영역의 두께 또한 기설정된 두께로 설정한다.The guard area setting unit 320 analyzes the position of the determined image boundary, and creates a guard area at a position corresponding to the image boundary. The guard area is generated around each of the plurality of input images included in the composite image as described above. Accordingly, the guard area setting unit 320 sets a guard area at a position corresponding to the image boundary determined by the image analysis unit 310. [ The guard area setting unit 320 sets the pixel value of the guard area to a pixel value corresponding to the pixel value of the predetermined padding block and sets the thickness of the guard area surrounding the input image to a predetermined thickness.

가드 영역 설정부(320)는 입력 영상의 모든 영상 경계에 가드 영역을 설정할 수도 있으나, 경우에 따라서는 영상 사이의 경계에만 가드 영역을 설정할 수도 있다.The guard area setting unit 320 may set a guard area at all image boundaries of an input image, but in some cases, a guard area may be set only at a boundary between images.

가드 영역 부호화부(340)는 가드 영역 설정부에서 설정된 가드 영역(GA)을 합성 영상에 대한 비트스트림에 삽입하기 용이하도록 엔트로피 부호화하여 스트림 합성부(400)로 전송한다.The guard area coding unit 340 entropy-codes the guard area GA set by the guard area setting unit so that it can be easily inserted into the bitstream of the composite image, and transmits the guard area GA to the stream combining unit 400.

즉 본 발명에 따른 영상 합성 시스템 및 영상 합성 장치는 비트스트림(BS1 ~ BSn)으로 인가되는 복수개의 입력 영상에서 입력 영상의 SPS, PPS의 파라미터 및 슬라이스의 헤더를 수정하여 합성 영상을 생성하지만, 영상 경계면을 판별하고, 판별된 영상의 경계면의 주변에 가드 영역을 생성하여 합성 영상에 삽입한다. 따라서 입력 영상의 SPS, PPS의 파라미터 및 슬라이스의 헤더만을 수정하여 합성 영상을 생성하는 종래의 기술에 간단한 공정만을 추가하여 매크로 블록 불일치 오류가 제거된 합성 영상을 제공할 수 있다.That is, the image synthesis system and the image synthesizing apparatus according to the present invention generate a synthesized image by modifying the SPS and PPS parameters of the input image and the header of the slice from a plurality of input images applied to the bitstreams BS1 to BSn, A guard area is generated around the boundary of the discriminated image, and the guard area is inserted into the synthesized image. Therefore, it is possible to provide a composite image from which a macroblock mismatch error has been eliminated by adding only a simple process to a conventional technique of generating a composite image by modifying only SPS, PPS parameters and slice header of the input image.

도7 은 발명의 영상 합성 방법에 따라 생성된 합성 영상의 일예를 나타낸다.7 shows an example of a composite image generated according to the image synthesis method of the invention.

도7 에서 (a)는 QCIF 크기의 4개의 영상을 입력 영상으로 합성 영상을 생성한 것으로서, 일반적으로 영상 처리 시스템의 테스트를 위해 자주 사용되는 Akiyo, Carphone, Foreman, Salseman의 4개 영상을 합성하여 하나의 CIF 합성 영상을 생성한 경우를 나타낸다. (a)에 도시된 바와 같이 본 발명에 따라 가드 영역이 삽입된 합성 영상은 영상의 경계에 매크로 블록 불일치 오류로 인한 화질 저하가 발생하지 않음을 확인할 수 있다.In FIG. 7, (a) shows a synthesized image of four images of QCIF size as an input image. Generally, four images of Akiyo, Carphone, Foreman, and Salseman, which are frequently used for testing an image processing system, are synthesized And a single CIF composite image is generated. (a), it can be confirmed that the composite image in which the guard area is embedded according to the present invention does not suffer image quality deterioration due to a macro block mismatch error at the boundary of the image.

그리고 표1 은 본 발명에 따라 복수개의 입력 영상 각각에 대한 비트스트림 중 일부만을 수정하여 합성 영상을 생성하고 가드 영역을 삽입하는 경우에 합성 영상을 생성하기 위해 소요되는 시간과 복수개의 입력 영상 각각에 대한 비트스트림을 복호화한 후 합성 영상으로 재부호화하는 경우의 부호화 시간차이를 나타낸다.Table 1 shows a time required to generate a composite image by modifying only a part of a bitstream for each of a plurality of input images and to generate a composite image when inserting a guard region, The difference in encoding time when decoding the bitstream for a bitstream and re-encoding the bitstream for a composite image is shown.

Figure 112013119959327-pat00001
Figure 112013119959327-pat00001

도7 에서 (b)는 FMO 기법을 이용하여 5개의 입력 영상을 (a)와 달리 1개는 배경 영상으로 설정하고 나머지 4개의 영상을 전경 영상으로 합성 영상을 생성한 경우로 Full HD 크기의 합성 영상을 생성한 것을 나타낸다. (b)에 도시된 바와 같이, FMO를 이용하여 합성 영상을 생성하면 다양한 배치 구조를 갖는 합성 영상을 생성할 수 있다.In FIG. 7, (b) shows a case in which five input images are set as a background image and one synthesized image is generated as a foreground image using the FMO technique, Indicates that the image is generated. (b), a composite image having various layout structures can be generated by generating a composite image using FMO.

Figure 112013119959327-pat00002
Figure 112013119959327-pat00002

표2 또한 본 발명에 따라 복수개의 입력 영상 각각에 대한 비트스트림 중 일부만을 수정하여 합성 영상을 생성하고 가드 영역을 삽입하는 경우에 합성 영상을 생성하기 위해 소요되는 시간과 복수개의 입력 영상 각각에 대한 비트스트림을 복호화한 후 합성 영상으로 재부호화하는 경우의 부호화 시간차이를 나타낸다. (b)가 Full HD 크기의 합성 영상을 생성하므로, 영상의 크기가 증가하였으며, 이에 따라 부호화 시간이 (a)의 CIF 영상과 비교할 때 60배 이상 증가하여 합성 영상 생성에 자원이 많이 소요됨을 분석할 수 있다. 그에 비해 본 발명에 따른 합성 영상 생성 시에는 6배의 증가에 그치며, 이는 종래의 기술로 CIF 영상을 부호화하는 시간과 유사한 수준이다.Table 2 also shows the time required to generate a composite image by modifying only a part of a bit stream for each of a plurality of input images and to generate a composite image when inserting a guard region, Represents the difference in encoding time when a bitstream is decoded and then re-encoded into a composite image. (b) increases the size of the image due to the generation of the full HD size composite image, and thus the coding time is increased more than 60 times as compared with the CIF image of (a) can do. On the other hand, in the case of generating the composite image according to the present invention, the increase is only six times, which is similar to the time for coding the CIF image according to the conventional art.

또한 (b)에서도 가드 영역이 삽입된 합성 영상은 영상의 경계에 매크로 블록 불일치 오류로 인한 화질 저하가 발생하지 않음을 확인할 수 있다. Also, in (b), it can be seen that the composite image in which the guard area is embedded does not cause deterioration in image quality due to a macroblock mismatch error at the boundary of the image.

도8 은 본 발명의 일 실시예에 따른 영상 합성 방법을 나타낸다.FIG. 8 shows an image synthesis method according to an embodiment of the present invention.

도3 내지 도6 를 참조하여 도8 의 영상 합성 방법을 설명하면, 먼저 복수개의 영상 합성 장치(VC)는 복수개의 입력 영상 각각에 대한 비트스트림(BS1 ~ BSn)을 수신한다(S10). 영상 합성 장치(VC)의 스트림 구문 분석부(100)는 복수개의 비트스트림(BS1 ~ BSn)을 NAL단위로 수신할 수 있다.Referring to FIGS. 3 to 6, the image synthesizing method of FIG. 8 will be described. First, a plurality of image synthesizing apparatuses VC receive bit streams BS1 to BSn for a plurality of input images (S10). The stream parsing unit 100 of the video synthesizer VC may receive a plurality of bit streams BS1 to BSn in NAL units.

그리고 스트림 구문 분석부(100)는 수신된 복수개의 비트스트림 각각에 대한 구문을 분석한다(S20). 스트림 구문 분석부(100)는 우선 NAL단위로 수신되는 복수개의 비트스트림(BS1 ~ BSn)의 NAL 헤더 구문을 분석하여 데이터 타입을 판별하고, 판별된 데이터 타입에 따라 SPS, PPS 의 파라미터 및 슬라이스의 헤더에 대해 구문 분석을 수행하여, 입력 영상의 크기, 각 슬라이스가 배치될 크기 및 위치, 그리고 매크로 블록의 위치를 판별한다.Then, the stream parsing unit 100 analyzes the syntax of each of the plurality of received bitstreams (S20). The stream parsing unit 100 first analyzes the NAL header syntax of a plurality of bit streams BS1 to BSn received in units of NALs to determine a data type, and determines parameters of SPS, PPS, The header is parsed to determine the size of the input image, the size and position where each slice is to be placed, and the location of the macroblock.

이후 파라미터 및 헤더 생성부(200)가 합성 영상을 위한 파라미터 및 슬라이스 헤더를 생성한다(S30). 파라미터 및 헤더 생성부(200)는 입력된 비트스트림(BS1 ~ BSn)에서 분석된 SPS, PPS의 파라미터 및 슬라이스의 헤더를 대부분 그대로 병합하여 이용하지만, SPS, PPS의 파리미터 및 슬라이스의 헤더의 일부 헤더의 변수를 기설정된 합성 영상의 구성 정보에 적합하도록 변경하거나 새롭게 설정한다.Then, the parameter and header generation unit 200 generates a parameter and slice header for the composite image (S30). The parameter and header generation unit 200 merges the SPS and PPS parameters analyzed in the input bitstreams BS1 to BSn and the header of the slice as they are, Is changed or newly set to fit the configuration information of the preset composite image.

그리고 가드 영역 생성부(300)의 영상 분석부(310)는 복수개의 입력 영상 각각의 배치를 분석한다(S40). 입력 영상 각각의 배치가 분석되면, 복수개의 입력 영상 각각의 영상 경계를 판별한다(S50). 이때 영상 경계는 2개 이상의 영상 사이의 경계를 의미할 수 있다. 그리고 영상 경계가 판별되면, 영상 경계의 주위에 삽입될 가드 영역을 설정하고 부호화한다(S60). 가드 영역의 크기 및 화소값은 미리 지정될 수 있다. 경우에 따라서 가드 영역은 영상들 사이의 경계에서만 설정될 수 있다. 예를 들어 입력 영상의 경계면 중 하나 또는 그 이상의 경계면에 다른 입력 영상이 인접하여 배치되지 않는다면, 해당 경계면의 주변에는 가드 영역이 설정되지 않을 수 있다.The image analysis unit 310 of the guard region generation unit 300 analyzes the arrangement of each of the plurality of input images (S40). When the arrangement of each input image is analyzed, the image boundary of each of the plurality of input images is discriminated (S50). In this case, the image boundary may mean a boundary between two or more images. If the image boundary is determined, a guard region to be inserted around the image boundary is set and encoded (S60). The size and pixel value of the guard area can be specified in advance. In some cases, the guard area may be set only at the boundary between the images. For example, if another input image is not disposed adjacent to one or more of the boundary surfaces of the input image, a guard area may not be set around the boundary surface.

그리고 스트림 합성부(400)는 영상 합성 장치(VC)로 수신된 복수개의 비트 스트림(BS1 ~ BSn)에서 파라미터 및 헤더 생성부(200)가 생성한 수정 구문을 삽입하고, 가드 영역 생성부(300)가 생성하여 부호화한 가드 영역을 삽입하여 합성 영상(CVBS)를 비트스트림으로 출력한다(S70).The stream synthesizing unit 400 inserts the parameters and the correction syntax generated by the header generating unit 200 in the plurality of bit streams BS1 to BSn received by the image synthesizing unit VC, And outputs the composite video CVBS as a bitstream (S70).

본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The method according to the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and a carrier wave (for example, transmission via the Internet). The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

Claims (16)

복수개의 입력 영상에 대한 비트스트림을 수신하고, 수신된 복수개의 상기 비트스트림 각각에 대한 구문 분석을 수행하는 스트림 구문 분석부;
상기 스트림 구문 분석부에서 분석된 상기 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하는 파라미터 및 헤더 생성부;
상기 합성 영상에 대한 구성 정보에 따라 상기 복수개의 입력 영상의 경계를 판별하고, 상기 판별된 경계의 외곽에 배치되며, 기설정된 두께와 화소값을 갖는 가드 영역을 생성하고 부호화하는 가드 영역 생성부; 및
상기 비트스트림에 포함된 기존 구문을 대체하여 상기 파라미터 및 헤더 생성부에서 생성된 상기 수정 구문과 상기 가드 영역을 삽입하여, 상기 복수개의 입력 영상을 포함하는 상기 합성 영상에 대한 비트스트림을 출력하는 스트림 합성부; 를 포함하고,
상기 가드 영역 생성부는
상기 복수개의 입력 영상이 상기 합성 영상에서 배치되는 배치 위치에 따라 상기 입력 영상의 경계면을 판별하는 영상 분석부;
상기 입력 영상의 경계면 외곽으로 상기 가드 영역을 설정하는 가드 영역 설정부; 및
상기 가드 영역을 상기 합성 영상에 대한 비트스트림에 삽입할 수 있도록 부호화하는 가드 영역 부호화부; 를 포함하는 것을 특징으로 하는 영상 합성 장치.A stream parsing unit for receiving a bitstream for a plurality of input images and performing a parsing for each of the received plurality of bitstreams;
A parameter and a header generating unit for modifying the syntax analyzed by the stream parsing unit according to configuration information for a predetermined composite image to generate a modification syntax;
A guard area generation unit for recognizing a boundary of the plurality of input images according to the configuration information of the composite image and generating and encoding a guard area having a predetermined thickness and a pixel value, the guard area being located outside the determined boundary; And
A stream for outputting a bitstream of the composite image including the plurality of input images by inserting the modification syntax and the guard area generated by the parameter and header generation unit by replacing existing syntax included in the bitstream, A synthesis section; Lt; / RTI >
The guard area generating unit
An image analyzer for determining a boundary of the input image according to a placement position of the plurality of input images in the composite image;
A guard area setting unit for setting the guard area to an outer boundary of the boundary of the input image; And
A guard area encoding unit encoding the guard area so as to be embedded in the bit stream of the synthesized image; And an image synthesizer for synthesizing the image. 삭제delete 제1 항에 있어서, 상기 영상 분석부는
상기 파라미터 및 헤더 생성부에 설정된 상기 합성 영상에 대한 구성 정보에 따라 상기 합성 영상에서 상기 복수개의 입력 영상 각각의 배치 위치를 판별하는 영상 배치 분석부; 및
상기 합성 영상에서 복수개의 입력 영상이 배치되는 위치에 따라 영상의 경계면을 판별하는 영상 경계 판별부; 를 포함하는 것을 특징으로 하는 영상 합성 장치.The apparatus of claim 1, wherein the image analyzing unit
An image layout analyzer for determining a layout position of each of the plurality of input images in the composite image according to the parameter and the configuration information for the composite image set in the header generation unit; And
An image boundary determining unit for determining an image boundary according to a position of the plurality of input images in the composite image; And an image synthesizer for synthesizing the image. 제3 항에 있어서, 상기 가드 영역 설정부는
상기 가드 영역의 화소값을 영상 처리 기법에서 사용하는 가상의 매크로 블록인 패딩 블록의 화소값에 대응하여 설정하는 것을 특징으로 하는 영상 합성 장치.4. The apparatus of claim 3, wherein the guard area setting unit
And sets the pixel value of the guard area in correspondence with a pixel value of a padding block which is a virtual macro block used in an image processing technique. 제3 항에 있어서, 상기 가드 영역 설정부는
상기 가드 영역의 두께를 상기 입력 영상 각각의 매크로 블록의 크기에 대응하여 설정하는 것을 특징으로 하는 영상 합성 장치.4. The apparatus of claim 3, wherein the guard area setting unit
And sets the thickness of the guard area in correspondence with the size of each of the macroblocks of the input image. 제3 항에 있어서, 상기 가드 영역 설정부는
상기 복수개의 입력 영상 중 서로 인접하여 배치된 입력 영상의 사이에만 상기 가드 영역을 설정하는 것을 특징으로 하는 영상 합성 장치.4. The apparatus of claim 3, wherein the guard area setting unit
Wherein the guard area is set only between input images adjacent to each other among the plurality of input images. 제1 항에 있어서, 상기 파라미터 및 헤더 생성부는
상기 복수개의 비트 스트림의 구문 중 SPS, PPS의 파라미터 및 슬라이스의 헤더를 수정하여 수정 구문을 생성하는 것을 특징으로 하는 영상 합성 장치.The apparatus of claim 1, wherein the parameter and header generation unit
Wherein the correction syntax is generated by modifying SPS, PPS parameters and slice header of the syntax of the plurality of bitstreams. 제1 항에 있어서, 상기 파라미터 및 헤더 생성부는
상기 합성 영상에 대한 구성 정보를 외부에서 인가받아 설정하는 것을 특징으로 하는 영상 합성 장치.The apparatus of claim 1, wherein the parameter and header generation unit
And the configuration information for the composite image is received and set from outside. 각각 서로 다른 원본 영상을 수신하고, 기설정된 부호화 방식으로 부호화하여 비트스트림을 출력하는 복수개의 부호화 장치; 및
복수개의 입력 영상을 상기 복수개의 비트스트림으로 수신하고, 상기 복수개의 비트스트림 각각에 대한 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하여 상기 비트스트림에 포함된 기존 구문을 대체하여 삽입함으로써, 상기 합성 영상에 대한 비트스트림을 생성하며, 상기 복수개의 입력 영상이 상기 합성 영상에서 배치되는 배치 위치에 따라 상기 복수개의 입력 영상의 경계를 판별하고, 판별된 상기 경계의 외곽에 가드 영역을 생성하고, 상기 가드 영역을 상기 합성 영상에 대한 비트스트림에 삽입할 수 있도록 부호화하여 상기 합성 영상에 대한 비트스트림에 삽입하는 영상 합성 장치; 를 포함하는 영상 합성 시스템.A plurality of encoding apparatuses for receiving different original images, encoding them in a predetermined encoding scheme, and outputting bitstreams; And
A plurality of input images are received as the plurality of bit streams, and a syntax for each of the plurality of bit streams is modified according to configuration information for a predetermined composite image to generate a correction syntax, To generate a bitstream for the composite image, determine boundaries of the plurality of input images according to arrangement positions of the plurality of input images in the composite image, An image synthesizer for generating a guard area in the guard area, encoding the guard area so that the guard area can be inserted into the bit stream for the synthesized image, and inserting the guard area into the bit stream for the synthesized image; And an image synthesis system. 제9 항에 있어서, 상기 영상 합성 장치는
상기 복수개의 비트스트림을 수신하여 구문 분석을 수행하는 스트림 구문 분석부;
상기 스트림 구문 분석부에서 분석된 상기 구문을 수정하여 상기 수정 구문을 생성하는 파라미터 및 헤더 생성부;
상기 복수개의 입력 영상의 경계를 판별하고, 판별된 상기 경계의 외곽에 기설정된 두께와 화소값을 갖는 가드 영역을 생성하고 부호화하는 가드 영역 생성부; 및
상기 비트스트림에 포함된 기존 구문을 대체하여 상기 파라미터 및 헤더 생성부에서 생성된 상기 수정 구문과 부호화된 상기 가드 영역을 상기 합성 영상에 대한 비트스트림에 삽입는 스트림 합성부; 를 포함하는 것을 특징으로 하는 영상 합성 시스템.The apparatus as claimed in claim 9, wherein the image synthesizing apparatus
A stream parser for receiving the plurality of bitstreams and performing parsing;
A header and a parameter for modifying the syntax analyzed by the stream parsing unit to generate the modification syntax;
A guard area generation unit for discriminating the boundaries of the plurality of input images, and generating and encoding a guard area having a predetermined thickness and pixel value at an outer periphery of the determined boundary; And
A stream synthesizer for replacing an existing syntax included in the bit stream and inserting the modified syntax generated by the header generator and the encoded guard area into a bit stream for the synthesized image; Wherein the image synthesis system comprises: 제9 항에 있어서, 상기 영상 합성 시스템은
각각 상기 원본 영상을 생성하여 상기 복수개의 부호화 장치 중 대응하는 부호화 장치로 전송하는 복수개의 영상 입력 수단; 을 더 포함하는 것을 특징으로 하는 영상 합성 시스템.10. The system of claim 9, wherein the image synthesis system
A plurality of image input means for generating the original image and transmitting the same to a corresponding one of the plurality of encoding apparatuses; Further comprising the steps of: 제9 항에 있어서, 상기 영상 합성 시스템은
상기 복수개의 원본 영상이 기저장되어 상기 복수개의 부호화 장치 중 대응하는 부호화 장치로 전송하는 적어도 하나의 기록 매체; 를 더 포함하는 것을 특징으로 하는 영상 합성 시스템.10. The system of claim 9, wherein the image synthesis system
At least one recording medium storing the plurality of original images and transmitting the same to a corresponding one of the plurality of encoding apparatuses; Further comprising: an image synthesizer for synthesizing the image data. 스트림 구문 분석부, 파라미터 및 헤더 생성부, 가드 영역 생성부 및 스트림 합성부를 포함하는 영상 합성 장치의 영상 합성 방법에 있어서,
상기 스트림 구문 분석부가 복수개의 입력 영상 각각에 대한 복수개의 비트스트림을 수신하고, 수신된 비트 스트림 각각에 대한 구문을 분석하는 단계;
상기 파라미터 및 헤더 생성부가 분석된 상기 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하는 단계;
상기 가드 영역 생성부가 상기 합성 영상에 대한 구성 정보에 따라 상기 복수개의 입력 영상의 경계를 판별하는 단계;
상기 가드 영역 생성부가 상기 판별된 경계의 외곽에 배치되는 가드 영역을 생성하고 부호화하는 단계; 및
상기 스트림 합성부가 상기 비트스트림에 포함된 기존 구문을 대체하여 상기 파라미터 및 헤더 생성부에서 생성된 상기 수정 구문과 부호화된 상기 가드 영역을 삽입하여 상기 복수개의 입력 영상을 포함하는 합성 영상에 대한 비트스트림을 출력하는 단계; 를 포함하고,
상기 가드 영역을 생성하고 부호화하는 단계는
상기 합성 영상에 대한 구성 정보에 따라 상기 합성 영상에서 상기 복수개의 입력 영상 각각의 배치 위치를 판별하는 단계;
상기 합성 영상에서 복수개의 입력 영상의 경계면을 판별하는 단계;
판별된 상기 경계면의 외곽에 배치될 기설정된 두께와 화소값을 갖는 상기 가드 영역을 생성하는 단계;
생성된 상기 가드 영역을 상기 합성 영상에 대한 비트스트림에 삽입할 수 있도록 부호화하는 단계; 를 포함하는 것을 특징으로 하는 영상 합성 방법.A video synthesis method for a video synthesis apparatus including a stream parsing unit, a parameter and a header generating unit, a guard area generating unit, and a stream synthesizing unit,
Receiving the plurality of bit streams for each of the plurality of input images and analyzing the syntax for each of the received bit streams;
Generating a modified syntax by modifying the parsed and parsed header according to configuration information for a predetermined composite image;
The guard area generating unit discriminating the boundaries of the plurality of input images according to the configuration information of the synthesized image;
Generating and encoding a guard area in which the guard area generating unit is arranged outside the determined boundary; And
Wherein the stream combining unit replaces an existing syntax included in the bitstream, inserting the modified syntax generated in the header generating unit and the encoded guard area to generate a bitstream for a composite image including the plurality of input images, ; Lt; / RTI >
The step of generating and encoding the guard area
Determining placement positions of the plurality of input images in the composite image according to the configuration information on the composite image;
Determining a boundary surface of a plurality of input images in the composite image;
Generating the guard area having a predetermined thickness and a pixel value to be disposed at an outer periphery of the discriminated interface;
Encoding the guard region so that the guard region can be inserted into a bitstream of the composite image; Wherein the image synthesis method comprises: 삭제delete 제13 항에 있어서, 상기 가드 영역을 생성하는 단계는
상기 가드 영역의 화소값을 영상 처리 기법에서 사용하는 가상의 매크로 블록인 패딩 블록의 화소값에 대응하여 설정하는 것을 특징으로 하는 영상 합성 방법.14. The method of claim 13, wherein generating the guard region comprises:
And the pixel value of the guard area is set corresponding to a pixel value of a padding block which is a virtual macro block used in an image processing technique. 제15 항에 있어서, 상기 가드 영역을 생성하는 단계는
상기 복수개의 입력 영상 중 서로 인접하여 배치된 입력 영상의 사이에만 상기 가드 영역을 설정하는 것을 특징으로 하는 영상 합성 방법. 16. The method of claim 15, wherein generating the guard region comprises:
Wherein the guard area is set only between input images adjacent to each other among the plurality of input images.
KR1020130166188A 2013-12-27 2013-12-27 Method, apparatus and system for combining plural picutres KR101483053B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130166188A KR101483053B1 (en) 2013-12-27 2013-12-27 Method, apparatus and system for combining plural picutres

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130166188A KR101483053B1 (en) 2013-12-27 2013-12-27 Method, apparatus and system for combining plural picutres

Publications (1)

Publication Number Publication Date
KR101483053B1 true KR101483053B1 (en) 2015-01-19

Family

ID=52590581

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130166188A KR101483053B1 (en) 2013-12-27 2013-12-27 Method, apparatus and system for combining plural picutres

Country Status (1)

Country Link
KR (1) KR101483053B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021133061A1 (en) * 2019-12-23 2021-07-01 엘지전자 주식회사 Filtering-based image coding device and method
WO2021133060A1 (en) * 2019-12-23 2021-07-01 엘지전자 주식회사 Image coding apparatus and method based on sub-picture
RU2803187C1 (en) * 2019-12-23 2023-09-11 ЭлДжи ЭЛЕКТРОНИКС ИНК. Method and device for image coding based on sub-image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090103414A (en) * 2008-03-28 2009-10-01 엘지전자 주식회사 Method for encoding and decoding video, and apparatus for encoding and decoding video
KR20110009576A (en) * 2009-07-22 2011-01-28 주식회사 엠씨넥스 Method and apparatus for combining plural moving pictures in an h.264/avc compressed domain
JP2013055587A (en) * 2011-09-06 2013-03-21 Sony Corp Image processing apparatus, image processing method, and image processing system
US20130147915A1 (en) * 2010-08-11 2013-06-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-View Signal Codec

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090103414A (en) * 2008-03-28 2009-10-01 엘지전자 주식회사 Method for encoding and decoding video, and apparatus for encoding and decoding video
KR20110009576A (en) * 2009-07-22 2011-01-28 주식회사 엠씨넥스 Method and apparatus for combining plural moving pictures in an h.264/avc compressed domain
US20130147915A1 (en) * 2010-08-11 2013-06-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-View Signal Codec
JP2013055587A (en) * 2011-09-06 2013-03-21 Sony Corp Image processing apparatus, image processing method, and image processing system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021133061A1 (en) * 2019-12-23 2021-07-01 엘지전자 주식회사 Filtering-based image coding device and method
WO2021133060A1 (en) * 2019-12-23 2021-07-01 엘지전자 주식회사 Image coding apparatus and method based on sub-picture
RU2803187C1 (en) * 2019-12-23 2023-09-11 ЭлДжи ЭЛЕКТРОНИКС ИНК. Method and device for image coding based on sub-image
RU2810200C2 (en) * 2019-12-23 2023-12-22 ЭлДжи ЭЛЕКТРОНИКС ИНК. Method and device for image coding based on sub-image
JP7436674B2 (en) 2019-12-23 2024-02-21 エルジー エレクトロニクス インコーポレイティド Video coding device and method based on subpictures
RU2820304C1 (en) * 2019-12-23 2024-06-03 ЭлДжи ЭЛЕКТРОНИКС ИНК. Method and apparatus for encoding image based on sub-picture

Similar Documents

Publication Publication Date Title
CN113168718B (en) Video decoding method, device and storage medium
US20220217410A1 (en) Layer Based Parameter Set NAL Unit Constraints
US10200690B2 (en) Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
RU2653299C2 (en) Method and device for video coding and decoding
RU2659748C2 (en) Syntax and semantics for buffering information to simplify video concatenation
US20150262404A1 (en) Screen Content And Mixed Content Coding
CN113382259B (en) Video decoding method and device and computer equipment
US20220217376A1 (en) Picture Timing And Decoding Unit Information For Temporal Scalability
US11706398B2 (en) Signaling a cancel flag in a video bitstream
US20220060694A1 (en) Hypothetical Reference Decoder For Gradual Decoding Refresh
KR101053161B1 (en) Video Synthesis Method and Device in H.264 / ACC Compression Domain
CN113826391A (en) Range of minimum coding block size in video coding and decoding
CN112292859A (en) Method and apparatus for using end of band outer NAL units in decoding
KR101446074B1 (en) Method, apparatus and system for combining plural picutres
CN115550644A (en) Method and apparatus for video encoding, computer device and storage medium
US20230344999A1 (en) Explicit Address Signaling In Video Coding
US20220217412A1 (en) Scalable nesting sei messages for all layers
CN112118456A (en) Rice parameter selection method and device, computer equipment and storage medium
KR101483053B1 (en) Method, apparatus and system for combining plural picutres
KR101446073B1 (en) Method, apparatus and system for combining plural picutres
CN112073720B (en) Method and apparatus for video decoding, computer device and storage medium
CN114375570A (en) Method and apparatus for video encoding
US20230007305A1 (en) Subpicture partitioning and scaling window information
US20130301723A1 (en) Video encoding apparatus and video encoding method
CN114930828A (en) Content adaptive partition prediction

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200305

Year of fee payment: 6