KR20080016660A - 압축 도메인의 ｄｃｔ-기반 비디오 시퀀스들에 대한 이미지프로세싱 - Google Patents

압축 도메인의 ｄｃｔ-기반 비디오 시퀀스들에 대한 이미지프로세싱 Download PDF

Info

Publication number
KR20080016660A
KR20080016660A KR1020077029767A KR20077029767A KR20080016660A KR 20080016660 A KR20080016660 A KR 20080016660A KR 1020077029767 A KR1020077029767 A KR 1020077029767A KR 20077029767 A KR20077029767 A KR 20077029767A KR 20080016660 A KR20080016660 A KR 20080016660A
Authority
KR
South Korea
Prior art keywords
dct
video sequence
image processing
compressed
image
Prior art date
Application number
KR1020077029767A
Other languages
English (en)
Inventor
지앤궁 루오
페흐미 체빌
아사드 이슬람
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20080016660A publication Critical patent/KR20080016660A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 한 이미지 프로세싱 연산에 상응하여, 모션 보상되고 압축된 DCT 기반 비디오 시퀀스에 콘트라스트 조정 및 밝기 조정 가운데 적어도 한 가지를 적용하는 방법에 관한 것으로, 이 방법은, 모션 보상되고 압축된 DCT 기반 비디오 시퀀스를 제공하는 단계; 및 압축 도메인 상에서 비디오 시퀀스에 대해 이미지 프로세싱 연산을 적용하여, 압축되고 이미지 프로세싱된 비디오 시퀀스를 파생하는 단계를 포함하고, 이 파생하는 단계는 DCT 기반 비디오 시퀀스를 규정하는 DCT 컴포넌트들을 조정함으로써 실행된다.

Description

압축 도메인의 ＤＣＴ-기반 비디오 시퀀스들에 대한 이미지 프로세싱{Image processing of DCT-based video sequences in compressed domain}
본 발명은 비디오 데이터 이미지 프로세싱, 더 상세하게는 압축 도메인 내 비디오 데이터의 이미지 프로세싱 분야에 대한 것이다.
디지털 비디오 카메라들이 시장에서 급속히 확산되고 있다. 최근의 모바일 전화기들에는 사용자들에게 비디오 클립들을 촬영한 후 무선 네트워크들을 통해 전송하도록 하는 사양을 제공하는 비디오 카메라들이 장착되어 있다.
디지털 비디오 시퀀스들은 매우 큰 파일 사이즈를 가진다. 아무리 짧은 비디오 시퀀스라도 수십 개의 이미지들로 이뤄져 있다. 그 결과 비디오는 언제나 압축 형태로 저장 및/또는 전송된다. 그러한 목적에 이용될 수 있는 여러 비디오 코딩 기술들이 존재한다. H.263 및 MPEG-4가 무선 셀룰라 환경에 적합한 표준 압축 포맷들로서 가장 널리 사용되고 있다.
사용자들이 자신들의 단말에서 양질의 비디오를 생성할 수 있도록 하려면, 모바일 전화기 같이, 비디오 카메라를 포함하는 장치들은 비디오 편집 기능을 지원해야만 한다. 비디오 편집은 가능한 비디오 시퀀스들을 새로운 비디오 시퀀스로 전환 및/또는 조직하는 프로세스이다.
모바일 전화기 상의 기존 카메라들은 시장에서 입수가능한 최고 성능의 디지털 카메라들에 비해 성능면에서 비할 바가 못된다. 따라서, 그러한 카메라들로부터 캡처 (capture) 된 비디오는 저하된 밝기 (brightness)와 콘트라스트 (contrast) 레벨만이 아닌 결함 있는 컬러 밸런스까지 파생하는 보정 (calibration)을 겪는다. 그 결과, 비디오 편집시 가장 널리 요구되는 동작들 가운데 하나가 비디오의 시각적 인지 품질의 개선이다. 거기에는 비디오 클립의 밝기 및 콘트라스트 레벨들을 조정하는 동작이 포함된다.
정지 영상의 밝기 및 콘트라스트 조정은 보통 공간 (spatial) 도메인 상에서 수행되는 이미지 계수들의 변경을 요한다. 제약이 있는 모바일 장치들에 있어서, (수백 프레임들로 이뤄진) 비디오의 밝기나 콘트라스트의 조정은 시스템 자원들에 대해 매우 값비싸고 부담스러운 것이 된다. 이것은, 사용자가 원하는 결과를 얻기 전까지 그 조정 레벨로 수차례 시험할 수도 있다는 것을 우리가 고려할 때 훨씬 더 큰 문제가 된다.
대부분의 비디오 편집 도구들은 사용자들로 하여금 이미지 개선 효과들을 이미지 상에 적용할 수 있게 한다. 한 예가, 오리지널 비디오가 너무 어둡거나 너무 밝을 때 그 밝기를 증가하거나 감소시키는 것이다. 비디오 편집 도구들에서, 비디오 클립들에 대한 보다 나은 표현이 나오게 하기 위해 유사한 동작들이 필요로 된다.
여러 상업적 제품들이 그러한 특징들을 지원하지만, 이들은 주로 PC 플랫폼에 맞춰져 있다. 이 제품들은 공간 도메인 안에서 비디오 개선 효과들을 적용함으 로써 수월한 해결방식을 채택한다. 더 구체적으로 말하면, 이들은 우선 비디오 클립들을 그들의 미가공 (raw) 포맷으로 압축해제한 후, 그 미가공 이미지 시퀀스들의 픽셀 값들을 처리한 후, 최종적으로 그 개선된 미가공 이미지 시퀀스들을 압축 상태의 비트스트림으로 압축한다. 이 프로세스를 공간 도메인 비디오 편집이라 부른다.
공간 도메인 비디오 편집은 그러나 메모리, 저장부, 및 계산 능력을 포함하는 상당 수의 자원들을 소모한다. 이러한 것이 오늘날의 데스크 탑 PC들에는 그다지 큰 문제가 되지 않겠지만, 저전력 프로세서들 및 저용량 메모리 및 저장 자원들이 구비된 모바일 장치들에는 그것이 분명 문제가 된다. 이러한 장치들 안에서 디코딩 및 인코딩 프로세스는 긴 시간을 요하고 많은 배터리 전력을 소비한다. 따라서, 공간 도메인 방식은 모바일 장치들에 있어서 실행 가능한 해법이 되지 못한다.
종래 기술에서, 비디오 클립들에 대해 밝기 또는 콘트라스트 조정을 수행하려면, 비디오 클립들이 우선 미가공 (raw) 포맷으로 디코딩된다. 그런 다음, 그 미가공 이미지 시퀀스들이 지정된 밝기나 콘트라스트 레벨로 조정된다. 마지막으로, 개선된 미가공 이미지 시퀀스들이 다시 인코딩된다. 이러한 방식은 상당히 계산 집약적이며, 특히 인코딩 부분에 있어 그러하다.
밝기 및 콘트라스트 조정의 공간 도메인 비디오 편집의 예가 이하에서 도 2를 참조해 주어질 것이다.
밝기 조정은 비디오 클립의 휘도 (luminance) 인텐시티를 일정 값만큼 증가 혹은 감소시키는 경우를 말한다. 콘트라스트 조정은 프레임 내 휘도 인텐시티들 간 차이를 스트레칭 (stretching)하는 경우를 말한다.
공간 도메인에서 이러한 밝기 및 콘트라스트 조정들을 행하기 위해, 일단 비디오가 완전하게 디코딩되고, 다음과 같은 연산이 수행된다:
Figure 112007091539615-PCT00001
식 (1)은 밝기 조정을 나타내고, 식 (2)는 콘트라스트 조정을 나타내며,
Figure 112007091539615-PCT00002
는 디코딩 된 비디오 시퀀스이고,
Figure 112007091539615-PCT00003
은 편집된 비디오이며, x, y는 프레임들 내 픽셀들의 공간 좌표이고 t는 시간 축이다. K는 밝기 조정 값으로, 프레임 내 모든 픽셀들에 대해 일정하다. 양의 K 값은 비디오를 더 밝게 만들고, 음의 K 값은 비디오를 더 어둡게 만들 것이다.
Figure 112007091539615-PCT00004
는 콘트라스트 조정의 스트레칭 팩터로서, 이것은 프레임 내 모든 픽셀들에 대해 일정하다.
Figure 112007091539615-PCT00005
가 1 보다 크면, 그에 따라 비디오가 더 높은 콘트라스트 레벨을 가지지만,
Figure 112007091539615-PCT00006
가 0과 1 사이에 있으면 그에 따른 비디오는 더 낮은 콘트라스트 레벨을 가진다.
Figure 112007091539615-PCT00007
은 이미지의 어떠한 변화도 일으키지 못한다.
Figure 112007091539615-PCT00008
은 특정 프레임 내 픽셀 인텐시티들의 평균 (mean)을 나타낸다. 식 (2)가, 콘트라스트 조정에 있어 픽셀 인텐시티들 이 균일하게 스트레칭되고; 스트레치 중심이 픽셀 인텐시티들의 평균이라는 것을 보인다.
비디오 프레임의 픽셀 값들을 수정한 후, 그에 따른 프레임 결과가 시간 소모적인 프로세스인 재 인코딩을 위해 인코더로 주어진다.
본 발명의 목적은 최근 기술의 결점들을 극복하는, 이산 코사인 변환 (DCT)-기반 비디오 시퀀스의 이미지 프로세싱를 위한 방법 및 장치를 제공하는 데 있다.
본 발명은 압축 도메인 상의 비디오 시퀀스들에 대한 개선 (enhancements)을 수행하는 기술을 제안한다. 압축 도메인에서 조정을 수행하여 모바일 장치들과 관련된 계산상의 비용 문제를 해소한다. 이러한 기술을 통해 달성될 수 있는 비디오 개선 동작은 밝기 (brightness)의 증가나 감소 및 콘트라스트 (contrast) 증가나 감소뿐 아니라 섀도 (shadow) 보상을 포함할 수 있다.
본 발명의 목적은 첨부된 독립 청구항들에 정의된 주요 의제에 의해 해결될 것이다.
본 발명의 제1양태에 따르면, 콘트라스트 조정 및 밝기 조정 가운데 적어도 한가지를 모션 보상되어 압축된 DCT-기반 비디오 시퀀스에 적용하는 방법이 제안된다. 상기 방법은 일반적으로 상기 압축된 DCT-기반 비디오 시퀀스를 제공하고, 압축 도메인에서 상기 비디오 시퀀스에 대해 이미지 프로세싱 연산을 적용하여 이미지 프로세싱된 압축 비디오 시퀀스를 생성하는 단계들을 포함한다. 본 발명에 따른 압축 도메인 상에서의 이미지 프로세싱는 압축 도메인에서의 이미지 개선뿐 아니라 계산 전력 절감 또한 가능하게 하는 효과적 기술을 제공한다. 그러나, 디지털 비디오 시퀀스의 디코딩 및 코딩은 피하게 된다.
본 발명의 다른 실시예에 따르면, 상기 적용은 상기 DCT-기반 비디오 시퀀스를 규정하는 DCT-성분들의 조정을 통해 수행된다. 그에 따라 공간 도메인과 DCT 도메인 간의 바람직한 연결이 주어진다. 따라서, DCT 성분들을 조정함으로써 공간 도메인의 이미지 프로세싱가 행해진다.
본 발명의 다른 실시예에 따르면, DCT 성분들에 대한 상기 조정은 상기 DCT-기반 비디오 시퀀스의 부분적 디코딩 및 인코딩에 의해 주어진다. 그러나, 가끔 부분적 인코딩 및 디코딩이 DCT 기반 비디오 시퀀스의 적절한 이미지 프로세싱를 위해 필요로 된다.
본 발명의 다른 실시예에 따르면, 상기 적용은 상기 DCT-기반 비디오 시퀀스의 콘트라스트 조정을 행한다. 콘트라스트 조정을 수행하여, 사용자가 비디오 시퀀스를 개선하거나 수정할 수 있게 된다. 이에 따라, 본 발명에 따른 이미지 데이터의 편리한 처리가 가능하게 된다.
본 발명의 다른 실시예에 따르면, 상기 콘트라스트 조정은 다음과 같은 식에 기초한다:
Figure 112007091539615-PCT00009
여기서,
- m, n은 주파수 도메인 좌표들이고;
- Y'(n,m)은 편집된 이미지의 DCT 변환이고;
-
Figure 112007091539615-PCT00010
는 콘트라스트 스케일링 팩터이고;
- Y(n,m)은 오리지널 이미지의 DCT 변환이고;
-
Figure 112007091539615-PCT00011
은 이미지 안의 모든 블록들의 DC 계수들의 평균이다.
본 발명의 다른 실시예에 따르면, 상기 적용이 상기 DCT-기반 비디오 시퀀스의 밝기 조정을 가능하게 한다. 밝기 조정을 수행함으로써 사용자는 비디오 시퀀스를 개선하거나 수정할 수 있다. 따라서, 본 발명에 따른 이미지 데이터의 편리한 처리가 가능하게 된다.
본 발명의 다른 실시예에 따르면 상기 밝기 조정은 다음과 같은 식에 기초한다:
Figure 112007091539615-PCT00012
K'는 압축 도메인에서의 밝기 조정 값에 해당하며, 다음과 같이 주어지게 된다:
Figure 112007091539615-PCT00013
위에서,
- m, n은 주파수 도메인 좌표들이고;
- Y'q(n,m)은 편집된 이미지의 DCT 변환이고;
-Yq(n,m)은 오리지널 이미지의 DCT 변환이고;
-QDC는 DC 계수의 양자화 스케일이다.
본 발명의 다른 실시예에서 새도 효과 보상은, 상기 DCT-기반 비디오 시퀀스의 상기 이미지 프로세싱의 상기 적용에 기초해 이뤄진다. 따라서, 추가 이미지 개선 동작이 처리될 수 있다.
본 발명의 다른 실시예에 따르면 상기 섀도 보상은 이전 프레임에서 범위 밖 (out-of-range)의 픽셀들이 검출될 때 잔차들 (residuals)을 보상함으로써 주어진다. 이 방법은 비디오 시퀀스 안에서 새도 효과를 검출 및 보상하는 바람직한 방법은 제공한다.
본 발명의 다른 실시예에 따르면, DC 및 AC 계수들의 문턱치들을 세팅하여, 상기 범위 밖 픽셀들이 DCT-기반 비디오 시퀀스 안에서 검출된다. 그에 따라, DCT-성분들을 조정함에 따른 압축 도메인 상의 처리가 주어져, 코딩이나 디코딩 각각에 대한 계산상의 집약적 연산을 피할 수 있게 된다.
본 발명의 다른 실시예에 따르면 상기 새도 효과 보상은 상기 비디오 시퀀스의 소정 프레임에 대한 부분적 디코딩을 통해 주어지고, 여기서, 바운드 밖 (out-of-bound) 계수들의 가능성이 존재한다. 그로써 복잡하고 계산이 집중된 연산을 피하게 하는 부분 디코딩만이 요구된다.
본 발명의 다른 실시예에 따르면, 상기 비디오 시퀀스는 상기 시퀀스를 표현하는 디지털 H.263 비트 스트림이다.
본 발명의 다른 실시예에 따르면, 픽셀 인텐시티 (intensity) 변화량은, 인트라 코딩(된) 매크로블록들에 대한 상기 시퀀스의 상기 밝기 조정이 H.263 비트 스트림에 기초해 적용될 때, DC 계수의 변화량과 정확히 동일하다.
본 발명의 다른 실시예에 따르면 상기 비디오 시퀀스는 상기 시퀀스를 나타내는 디지털 mpeg-4 비트 스트림이다.
본 발명의 다른 실시예에 따르면, 상기 mpeg-4 비트 스트림으로 표현되는 상기 시퀀스에서의 상기 콘트라스트 조정은 인트라 코딩(된) 매크로블록들에 대한 원-패스 (one-pass) 프로세스로서 주어진다.
본 발명의 다른 실시예에 따르면, 규정된 환경과 관련해, DCT-기반 비디오 시퀀스의 이미지 프로세싱를 위한 컴퓨터 프로그램이 제안되며, 이 프로그램은 컴퓨터, 마이크로프로세서 기반 장치, 단말, 네트워크 장치, 모바일 단말, 또는 휴대형 통신이 가능한 단말에서 실행될 때, 앞에서 언급한 방법들의 단계들을 실행하기 위해 판독가능한 매체에 저장되는 프로그램 코드 섹션들을 포함한다.
본 발명의 다른 실시예에 따르면, 규정된 환경과 관련해 DCT-기반 비디오 시퀀스의 이미지 프로세싱를 위한 컴퓨터 프로그램 생성물이 제안되며, 이 컴퓨터 프로그램 생성물은 컴퓨터, 마이크로프로세서 기반 장치, 단말, 네트워크 장치, 모바일 단말, 또는 휴대형 통신이 가능한 단말에서 실행될 때, 앞에서 언급한 방법들의 단계들을 실행하기 위해 기계어-판독가능 매체에 저장되는 프로그램 코드 섹션들을 포함한다.
본 발명의 다른 실시예에 따르면, 규정된 환경과 관련해 DCT-기반 비디오 시퀀스의 이미지 프로세싱를 위한 소프트웨어 도구가 제안되며, 이 소프트웨어 도구는 컴퓨터, 마이크로프로세서 기반 장치, 단말, 네트워크 장치, 모바일 단말, 또는 휴대형 통신이 가능한 단말에서 구현될 때, 앞에서 언급한 방법들의 동작들을 실행하기 위한 프로그램 부분들을 포함한다.
본 발명의 다른 실시예에 따르면, 반송파를 통해 구현되고, 프로세서에 의해 실행시 상술한 방법들 가운데 어느 하나의 단계들이 실행되게 하는 명령어들을 나타내는 컴퓨터 데이터 신호가 제안된다.
본 발명의 다른 양태에 따르면, 콘트라스트 조정 및 밝기 조정 가운데 한 가지를 이미지 프로세싱 연산에 대응하여 모션 보상되고 압축된 DCT-기반 비디오 시퀀스에 적용하도록 된 모듈이 제안된다. 상기 모듈은 상기 압축된 DCT-기반 비디오 시퀀스를 제공하는 컴포넌트 및 압축 도메인 상의 상기 비디오 시퀀스에 대한 상기 이미지 프로세싱 연산을 적용하여 압축되어 이미지 프로세싱된 비디오 시퀀스를 생성하는 컴포넌트를 포함한다.
본 발명의 다른 실시예에 따르면, 콘트라스트 조정 및 밝기 조정 가운데 한 가지를 이미지 프로세싱 연산에 대응하여 모션 보상되고 압축된 DCT-기반 비디오 시퀀스에 적용하도록 된 모바일 장치가 제안된다. 상기 장치는, 이미지 프로세싱을 위한 적어도 한 모듈, I/O 인터페이스, 메모리 유닛, 통신 인터페이스 및 상기 모바일 장치 안의 모든 개체들을 제어하도록 된 CPU를 포함한다.
본 발명의 이점들은 본 발명의 실시예들에 대한 상세한 설명을 읽으면서 보다 자명해질 것이고, 그러한 설명에 기반하여 본 발명의 개념이 보다 용이하게 파악될 수 있을 것이다.
상세한 설명과 첨부된 도면들에 걸쳐, 동일하거나 유사한 컴포넌트들, 유닛들 혹은 장치들은 간략화할 목적을 위해 동일한 참조 번호로서 나타내어질 것이다.
휴대형 장치 및 모바일 장치라는 표현은 내용 전반에 걸쳐 동의어로서 쓰일 것이다.
본 발명에 대한 더 나은 이해를 제공하도록 도면들이 구비되어, 본 명세서에 병합되고 그 일부를 이루고 있다. 도면들은 본 발명의 실시예들을 도시한 것으로, 상세한 설명과 함께 본 발명의 원리를 설명하는 역할을 한다.
도 1은 본 발명에 따른 이미지 프로세싱 방법의 원리를 도시한 흐름도를 보인다;
도 2는 본 발명에 따른 공간 도메인 상의 비디오 개선 또는 처리 프로세스를 보인다;
도 3은 압축 도메인의 비디오 처리 프로세스를 보인다;
도 4는 본 발명에 따른 이미지 프로세싱 모듈에 해당한다.
도 5는 본 발명에 따른 모바일 장치나 가전 기기를 각각 도시한 것이다.
도 1을 참조할 때, 본 발명에 따른 방법의 원리를 예시하는 흐름도가 그려져 있다. S100 단계에서 동작 시퀀스가 시작된다. 상술한 본 발명의 개념에 대한 내용에 따라, DCT-기반 비디오 시퀀스를 제공하거나 획득하는 단계가 수행되고, 이것이 S110 단계에서 보여진다. DCT-기반 시퀀스는 비디오 카메라 등을 이용해 얻어진 오리지널 시퀀스로부터 나온 것이다. 또 상상할 수 있는 것이 그 비디오 시퀀를 이전에 메모리에 저장했던 경우이다.
S120 단계에서, 압축(된) 비디오 시퀀스에 대한 이미지 프로세싱 연산이 주어진다. 상기 이미지 프로세싱 연산의 이론적 배경에 대해 이하에서 상세히 설명할 것이다. 상기 이미지 프로세싱 연산은 밝기 또는 콘트라스트 정정이나 본 발명에 따라 섀도잉 (shadowing) 보상 알고리즘 같은 상이한 단계들을 포함할 수 있다. 바람직하게도 모든 단계들이 압축 도메인 (DCT-기반 도메인) 상에서 주어지므로 비디오 시퀀스의 각 이미지들에 대한 어떠한 온전한 인코딩도 필요로 되지 않게 된다. 조정 동작 (S120) 후 S130으로 표시되는, 이미지 프로세싱된 새 비디오 시퀀스 제공이 이뤄져서, 추가 프로세싱 또는 저장을 가능하게 한다.
추가 프로세싱이 더 수행되지 않으면, 이 방법은 동작 S150의 종료로 가게 되고, 새로운 회전에 해당하는 것이 다시 시작될 것이다.
도 2를 참조할 때, 공간 도메인 상에서 동작하는 비디오 조정 시스템이 제공된다. 이 시스템은 입력으로서 통상의 DCT-변환된 비디오 클립을 가지며, 이후 도 2에 도시된 것과 같은 여러 동작 블록들이 교차 될 것이다. 도 2의 상위 파트는 일반적으로 디코딩 경로를 나타내고, 하위 파트는 코딩 프로세스에 해당하며, 상기 시스템의 출력부에서 편집된 비디오 클립이 나오게 된다. 이 특정 실시예에서, 상기 편집된 비디오 클립은 DCT나 압축된 형식으로 되어 사용될 것이다.
도 2에 따른 하위 파트에 따라 그려진 비디오 압축 시스템에서, 시간적이고 공간적인 리던던시들 (redundancies) 둘 모두가 활용된다. 시간적 리던던시를 활용하려면, 연속 프레임들 사이의 변화들만이 인코딩된다. 이전 프레임으로부터 현재 프레임의 모션이 추정되거나 예측된다. 그런 다음 모션 보상 혹은 예측된 프레임이 오리지널 프레임으로부터 뺄셈 된다.
예측을 행하는 프로세스를 모션 보상 (S230 및 S260)이라 부른다. 대부분의 비디오 압축 시스템들에서, 모션 보상은 블록 베이스이다. 더 상세히 설명하면, 각 프레임마다 블록들로 분할되고 (매크로블록이라 칭함) 각 매크로블록이나 블록마다 모션 벡터가 할당된다. 매크로블록이나 블록의 모션 벡터는 그 매크로블록과 가장 차이가 적은 이전 인코딩(된) 프레임 내 매크로블록 혹은 블록을 가리킨다. 이러한 모션 벡터들을 찾는 프로세스를 모션 추정이라 한다. 모션 보상 프로세스는 이미지 재구성이나 화상 (picture) 개선 등을 위해 이전에 정해진 모션 벡터들을 이용한다. 모션 보상/추정 프로세스는 고도로 계산 집약적으로, 전체 코딩 프로세스 가운데 큰 몫의 프로세싱 시간을 소비한다.
프레임 안에서의 공간 리던던시는 잔차 (residual) 데이터에 대한 변환을 적용함으로써 활용된다. 대부분의 비디오 압축 표준들이 이용하는 DCT-기반 비디오 코딩 시스템에서, 2D DCT 변환이 8x8 블록들에 적용된다. DCT 변환의 결과, 픽셀 인텐시티들이 DCT 계수들로 전환되고, 그 계수들은 공간 주파수에 걸친 입력 블록 의 에너지 분포를 나타낸다. DCT 변환 후, 8x8 블록의 에너지는 저 주파수 계수들에 크게 집중되고, 고 주파수 계수들은 보통 감소 되어 있다. 따라서, 약간의 계수들만 인코딩되어 전송되면 된다.
DCT 변환 식이 이하에서 주어지고, S270에 의해 도시되어 있다:
Figure 112007091539615-PCT00014
i, j는 블록 내 한 픽셀의 공간 좌표들이고, n, m은 주파수 도메인 좌표들이며, I는 픽셀의 인텐시티이고, Ck는 스케일링 팩터이고, Y(n, m)은 DCT 계수들이다. 최저 주파수 계수 Y(0,0)을 DC 계수라 하며 8x8 블록의 평균 인텐시티를 나타낸다. 나머지 계수들은 AC 계수들이라 부른다.
도 2의 하부 경로에 도시된 인코딩 프로세스에서, 각각의 8x8 블록에 DCT 변환을 적용한 후 (S270), DCT 계수들이 S280 연산에 따라 양자화된다. 양자화 이후, 0이 아닌 DCT 계수들의 개수는 더 줄어든다 (미도시). 0 아닌 계수들은 엔트로피 부호화되어 (S290) 전송 혹은 제공된다. 그러나, 처리되거나 편집된 비디오 클립이 이때 추가 처리 혹은 저장될 수도 있다.
디코딩 프로세스에서, 상기 동작들의 역연산 (즉, 인코딩 프로세스)이 수행된다. 먼저, 비트스트림들에 대해 S200 연산을 참조해 묘사된 엔트로피 부호화가 이뤄지고, 그런 다음 S210 연산에 도시된 바와 같은 역양자화 (de-quantized)가 이 뤄진다. DCT 계수들은 연변환되어 (S220) 잔차 (residual) 프레임을 생성한다. 잔차가, 이전에 디코딩된 프레임으로부터 생성된 재구성 프레임에 더해져서 비압축 미가공 (raw) 프레임을 복구하고, 이것은 S230 및 S240 연산들에 해당한다. 이제 공간 도메인 상의 디코딩된 비디오 시퀀스가 추가 처리될 수 있다. 이 전형적 실시에에서, S250 연산을 참조한 개선 (enhancement) 연산(동작)이 제공된다. 상기 개선은 발기나 콘트라스트 등등과 같은 상이한 연산들을 포함할 수 있다. 공간 도메인 상의 상기 조정된 비디오 시퀀스는 앞에서 언급한 편집된 비디오 클립을 파생하기 위한 상응하는 인코딩 또는 코딩 프로세스의 입력으로서 사용된다.
압축 프로세스시, 모든 블록들이 다 잔차 정보와 함께 코딩되는 것은 아니다. 일부 블록들은 그들의 오리지널 픽셀 값들을 가지고 코딩된다. 이것은, 가령, 이전 프레임이 입수되지 않거나 잔차를 인코딩하는 것이 오리지널 프레임을 인코딩하는 것보다 더 많은 비트들을 요하는 경우 일어나게 된다. 오리지널 픽셀 값들의 인코딩을 인트라 코딩 (Intra-coding)이라 부르고, 잔차 픽셀 값들의 인코딩을 인터 코딩 (Inter-coding)이라 부른다.
비디오 비트스트림들의 완전 디코딩 및 재인코딩을 요하는 공간 도메인 비디오 개선은 매우 복잡한데, 모션 보상/추정과 같은 어떤 계산 집약적인 프로세스들이 일어나야 하기 때문에 그러하다. 반대로, 압축 도메인 비디오 개선은 DCT 계수들을 다루는 것으로, 그러한 복잡한 프로세스들을 피해갈 수 있다. 따라서, 실질적 속도 향상이 이뤄질 수 있다. 이러한 프로세스나 시스템이 도 3을 참조할 때 보여지며, 도 3은 본 발명의 진보한 개념에 따른 압축 도메인 상의 이미지 프로세 싱 시스템을 나타낸 것이다.
입력 비디오 클립은 DCT-기반 비디오 시퀀스이다. 이미 도 2를 참조해 기술된 바와 가팅, 최초 연산(S300)으로 엔트로피 디코딩이 제공되고, 이어서, 역양자화 연산 (S310)이 뒤따른다. 본 발명에 따른 비디오 개선 연산(S350)이 상술한 연산(S310)의 결과로서 나온 역양자화된 계수들에 대해 수행된다.
도 3에 따른 코딩 경로 (하부 경로) 또한 상술한 연산들을 포함한다: 양자화 (S380) 및 엔트로피 인코딩 (S390). 그 결과가 편집된 비디오 클립으로, 이때 본 발명의 진보한 개념의 이점에 따르면 어떠한 압축해제 (decompression) 단계들 없이도 이미지 프로세싱가 이뤄졌다.
이하에서는 반드시 국한된 것은 아니지만 밝기 및 콘트라스트 조정과 관련해 DCT-기반 비디오 처리의 이론적 기초를 설명할 것이다.
상술한 이미지 프로세싱은 밝기 및 콘트라스트 조정 등을 포함할 수 있으나, 본 발명의 진보한 단계에 의해 다른 기술들 역시 마찬가지로 구현될 수 있다.
압축 도메인 밝기 및 콘트라스트 조정의 이론적 토대가 이 섹션에서 보여질 것이다. 이하의 식들은 밝기 및 콘트라스트 조정을 위한 DCT 계수들에 대한 상응하는 처리를 보여준다.
밝기 조정
밝기가 공간 도메인 사의 이미지 I에 적용될 때, 새 이미지 I'가 다음과 같이 정의될 것이다:
I'(i,j)=I(i,j)+K (4)
K는 휘도 인텐시티의 변화를 나타내는 상수이다. 편집된 프레임 I'(n,m)의 DCT Y'(n,m)이 다음과 같이 주어진다:
Figure 112007091539615-PCT00015
Figure 112007091539615-PCT00016
n과 m이둘 다 0이 아닌 AC 계수들에서, 상기 식 (4)의 RHS의 두 번째 항은 0으로 소멸된다는 것을 알아야 한다. 그러나, n=m=0인 DC 계수에 대해 그것은 유니티 (unity)로 된다, 즉,
Y'(0,0)=Y(0,0)+8·K
밝기 조정 전후 Yq 및 Yq'를 양자화된 DC 계수들이라 하자,
Yq'(0,0)=Yq(0,0)+8·K/QDC
QDC는 DC 계수에 대한 양자화 스케일이다.
따라서, 식 (4)는,
Figure 112007091539615-PCT00017
으로 된다.
그에 따라, 압축 도메인 상의 밝기 조정의 값, K'가 다음과 같이 주어진다:
Figure 112007091539615-PCT00018
콘트라스트 조정
다음 식으로 주어진 콘트라스트 조정을 고려할 수 있다:
Figure 112007091539615-PCT00019
Figure 112007091539615-PCT00020
은 이미지의 픽셀 인센시티들의 평균이고
Figure 112007091539615-PCT00021
는 콘트라스트 스케일링 팩터이다.
편집된 이미지 I'(i,j)의 Y'(n,m)은 다음과 같이 주어진다:
Figure 112007091539615-PCT00022
Figure 112007091539615-PCT00023
Figure 112007091539615-PCT00024
가 픽셀 도메인이므로, 해당 압축 도메인 파라미터에 대한 변환이 필요로 된다. 이하의 연역식이
Figure 112007091539615-PCT00025
를 압축 도메인 상의 상응하는 대상으로 전환한다:
Figure 112007091539615-PCT00026
M1 및 M2는 이미지의 수평 및 수직 길이 상의 8x8 블록들의 개수이다.
Figure 112007091539615-PCT00027
는 8x8 블록 (x,y)의 픽셀 인텐시티의 평균이라고 하자:
Figure 112007091539615-PCT00028
그리고, 각각의 8x8 블록마다,
Figure 112007091539615-PCT00029
이때,
Figure 112007091539615-PCT00030
따라서,
Figure 112007091539615-PCT00031
위 식의 RHS를 다음과 같이 쓸 수 있다
Figure 112007091539615-PCT00032
Figure 112007091539615-PCT00033
Figure 112007091539615-PCT00034
는 모두 한 인텐시티를 가진 8x8 블록의 계수 매트릭스이다.
Figure 112007091539615-PCT00035
에 대해
Figure 112007091539615-PCT00036
및
Figure 112007091539615-PCT00037
이다. 상기 식은 다음과 같이 다시 쓸 수 있다:
Figure 112007091539615-PCT00038
여기서
Figure 112007091539615-PCT00039
은 이미지 내 모든 8x8 블록들의 DC 계수들의 평균이다.
압축 도메인에서의 콘트라스트 조정은 다음과 같이 쓸 수 있다:
Figure 112007091539615-PCT00040
상기 이론적 연역에 기초해, 밝기 및 콘트라스트 조정 연산들이 DCT 레벨 상 에서 수행될 수 있다. 다음은 그러한 처리의 상세 내용이다.
상술한 바와 같이, 프레임에는 인트라 코딩(된) 매크로블록 (Intra MB)과 인터 코딩(된) 매크로블록 (Inter MB)인 두 타입의 매크로블록들이 있다. 인트라 MB에서, 오리지널 픽셀들이 인코딩된다. 인터 MB에서는, 시간적 리던던시를 활용하기 위해, 오리지널 픽셀 값들 및 모션 보상된 픽셀 값들의 차이들만이 인코딩된다. 따라서, Inter MB에서의 값들은 이전 프레임에서 현재 프레임으로의 변화를 나타낸다.
인트라 코딩(된) 매크로블록 ( Intra -MB)
Intra MB에서, 오리지널 픽셀들이 인코딩된다. 밝기 조정을 위해, 식 (5) 및 (7)이 적용되어 밝기 및 콘트라스트 조정을 위한 DCT 계수들을 처리할 수 있다.
● 밝기 조정
식 (5)는 변경해야 할 DC 계수만을 보인 것이다.
이하의 섹션 1) 및 2)에서 H.263 및 MPEG-4 비트스트림들이 예로서 주어진다.
1) H.263 비트스트림
H.263에서, DC 양자화기는 8로 고정된다. 따라서, 픽셀 인텐시티의 변화량은 정확히 DC 계수의 변화량과 동일하다.
2) MPEG-4 비트스트림
MPEG-4에서, DC 및 AC 예측이 적용될 수 있다. 양자화된 DC 값은 VLC (Variable Length Code; 가변장 코드) 코딩 전에 상위 혹은 왼쪽 블록으로부터의 예측 DC 값에 의해 뺄셈 된다. DC 및 AC 예측 방향의 적응적 선택은, 디코딩될 블록 주변의 수평 및 수직 DC 그래디언트(gradient)들의 비교에 기반한다. 개선 효과를 적용함에 따른 DC 값의 변화로 인해, DC 예측 방향이 바뀔 것이다. 블록 베이스로, DC 계수 예측을 위한 (수평 및 수평 방향들 가운데에서) 최선의 방향이 AC 계수들 예측 방향을 선택하는데에도 사용된다. 따라서, AC 예측이 적용되는 경우 DC 계수의 변화가 AC 계수들의 인코딩에 영향을 미칠 것이다. 이러한 문제는 본 q라명의 진보한 개념에 따라 AC 예측 플래그 (flag)를0으로 세팅함으로써 AC 예측을 오프시킴으로써 해소될 수 있다. AC 계수들은 개선 효과들을 적용한 뒤에 VLC 재인코딩 된다.
● 콘트라스트 조정
식 (7)이 콘트라스트 레벨을 조정하는데 적용된다.
식 (7)에 따르면, 프레임 내 모든 블록들로부터의 DC 계수들의 평균이 필요로 된다. 그러나, 일반적인 구성에 있어서, 블록들은 하나 씩 처리되 고, 비트스트림은 랜덤 액세싱이 허용되지 않는다, 즉, 블록 i를 디코딩하기 위해 i 이전의 블록들이 먼저 디코딩되어야 한다. 따라서, DC 계수들의 정확한 평균을 얻기 위해, 2 패스 프로세스가 필요로 된다. 첫 번째 패스는 평균을 계산하기 위해 한 프레임 내 모든 블록들의 DC 계수들을 가져온다 (retrieve). 두 번째 패스는 콘트라스트 조정을 적용한다.
2 패스 프로세스가 계산상의 복잡도를 늘릴 것이라는 것이 명확하다. 본 발명에 따르면 1 패스 프로세스가 채택된다. 새 DC 계수들을 점진적으로 더함으로써 평균 DC 계수를 추정하는 접근방식이 적용될 것이다. 이 접근방식은 효율적이면서 구현에 있어 바람직하다. 이 접근방식은 다음과 같은 단계들로 이뤄질 수 있다:
1. 초기 평균 DC 계수가 1024로 세팅되며, 이것은 인텐시티의 중간 레벨에 해당하는 것이다.
2. 인트라 MB에 개선 효과들을 적용하기 전에, 평균 DC 값이 다음과 같이 갱신된다:
Figure 112007091539615-PCT00041
Figure 112007091539615-PCT00042
는 매크로블록 n에 대해 추정된 평균 DC 계수이고, YDC(n,i)는 매크로블록 n 내 블록 i의 DC 계수이다. M은 한 프레임 내 매크로블록들의 개수이다.
3. 추정된 평균 DC 계수
Figure 112007091539615-PCT00043
을 식 (7)에 대입하여, 매크로블록 n에 대한 콘트라스트 조정을 수행한다.
인터 코딩(된) 매크로블록 (Inter-MB)
밝기 또는 콘트라스트 조정시, 개선 효과가 비디오 시퀀스 내 각 프레임에 대해 일정하게 적용된다. 따라서, 밝기 조정시, 이전 프레임과 현재 프레임 내 픽셀 인텐시티들의 변화는 동일하다. 연속된 두 프레임들 간의 차이는 불변 상태로 남는다. 그러므로, 밝기 조정을 위해 Inter-MB에 대한 어떠한 조작의 필요성도 없게 된다.
콘트라스트 조정의 경우, 각각의 프레임은 동일한 스트레칭 (stretching) 팩터를 가진다. 인터 MB 콘트라스트 조정의 공간 도메인 표현이 아래와 같이 주어진다:
t-1과 t 시점에 프레임에 대한 콘트라스트 조정을 수행하면, 다음과 같은 결과가 나온다:
Figure 112007091539615-PCT00044
Figure 112007091539615-PCT00045
이 콘트라스트 조정 후 코딩 시간 t-1 및 t 사이에서의 인텐시티 차라고 하자.
Figure 112007091539615-PCT00046
은 콘트라스트 조정 전 코딩 시간 t-1 및 t 사이에서의 인텐시티 차라고 하자. 인터 MB에 대한 공간 도메인 상에서의 상응하는 처리는 아래와 같다:
Figure 112007091539615-PCT00047
Figure 112007091539615-PCT00048
그러나, 두 연속 프레임들 간의 평균 인텐시티 차,
Figure 112007091539615-PCT00049
는, 대부분의 매크로블록들이 인트라 코딩되는 배경 전환의 경우를 제외하고는, 보통 미소하다. 팩터
Figure 112007091539615-PCT00050
는 보통 미소한 값이다 (1 미만). 따라서, 위 식에서 두 번째 항은 무시될 수 있고, 그에 따른 인터 MB의 처리는 다음과 같다:
Figure 112007091539615-PCT00051
본 발명의 다른 목적이 비디오 시퀀스 안에서의 섀도 (shadow) 효과를 줄이는 데 있다. 이하의 섹션에서 섀도 효과 및 본 발명에 따라 그 효과에 대항하는 방법을 설명할 것이다. 상기 방법은 압축 도메인 상에서 주어진다.
섀도 효과:
압축 도메인 비디오 개선이 적용될 때, 샤프한 에지들 (sharp edges)을 포함하는 영역에서의 변화가 일어날 때 "새도 효과"라 불리는 특수한 효과가 관찰될 수 있다. 섀도 효과의 이유는 비디오가 재생될 때 클리핑(clipping)이 행해진다는 것이다.
디지털 비디오 시스템에서, 한 픽셀은 소정 수의 비트들로 재현된다. 대중적인 재현은 8-비트이다. 더 상세히 말하면, 픽셀 휘도가 28=256개의 가능한 값들 (0~255)를 가질 수 있다. 비디오 개선 효과들을 적용하여 그 결과에 따른 픽셀 값 들이 범위 밖, 즉 255 위나 0 아래에 오게 될 때, 일반적인 방식은 그것을 0~255 안에 한정하는 것이다. 이러한 프로세스가 클리핑이다.
공간 도메인 비디오 개선시, 클립핑은 완전히 디코딩된 이미지 시퀀스가 재인코딩 되기 전에는 그것에 적용되지 않기 때문에 문제가 되지 않는다. 편집된 비디오 비트스트림은 범위 밖에 있는 어떠한 픽셀도 포함하지 않는다.
압축 도메인 상에서, 도 3에 이미 도시된 바와 같이 개선 효과가 DCT 레벨로 적용된다. DCT 계수들은 편집 뒤에 범위 밖의 픽셀 값들에 해당할 수 있다. 이 값들이 디코딩 프로세스시 클리핑 될 것이다.
섀도 효과는 클리핑으로 인해 도입된다. 상기 섀도 효과는 어두운 배경 등에 있는 흰색 글자들 같이, 샤프 에지들이나 변화가 존재하는 영역들에서 발생할 것이다. 섀도 효과 보상 없이는 각 에지가 어지러운 섀도를 가지게 될 것이다.
한 영역이 샤프 에지를 포함할 때, 두 인접 영역들의 휘도 차는 매우 크다. 이 영역에 개선 효과를 적용하는 것이 이 영역의 한 부분 내 픽셀이 범위 밖으로 나가게 만들고, 한편 그 영역 내 다른 부분은 계속해서 범위 밖에 있게 될 수 있다. 한 예에서, 디지트들 (혹은 글자들)의 픽셀들은 화이트로, 이것은 255에 가까운 값에 해당한다. 한편, 배경 픽셀들은 블랙으로, 이것은 0에 가까운 값에 해당한다. 밝기가 양의 값으로 조정될 때, 화이트 디지트들의 픽셀들은 255 보다 크게 되고, 한편 배경의 블랙 픽셀들은 계속 범위 안에 있게 될 것이다. 디코딩 프로세스 중에 클리핑이 적용될 때, 범위 밖 픽셀들은 클리핑 되고, 나머지는 그대로 유지될 것이다. 다음 프레임에서, 이 영역 내 블록들이 인터-코딩되면, 연속 프레임 들간 차이들만이 복구된다. 이전 프레임의 클리핑에 대한 이러한 잔차들 (residuals)이 보상된다. 따라서, 잔차들이 이전 프레임에 더해질 때, 이전 프레임의 그 클리핑된 픽셀들로부터 재구성된 픽셀들은 그들의 정해진 휘도 레벨들보다 더 어둡거나 더 밝아졌음을 보일 것이다.
이러한 문제를 해결하기 위한, 본 발명의 진보적 개념에 따른 제안이, 이전 프레임에서 범위 밖 픽셀들이 검출될 때 잔차들을 보상하는 것이다. DCT 계수들은 완전히 디코딩하지 않고 바로 처리되기 때문에, 공간 도메인 내 대역 밖 픽셀들은 식별될 수 없다. DCT 레벨에서의 상응하는 검출이 활용될 수 있다. 이것은 DC 계수 및 일부 AC 계수들에 대해 문턱들을 세팅함으로써 행해질 수 있다. DC 계수가 너무 크거나 너무 작을 때, 그리고 AC 계수들의 절대값이 클 때, 그것은 보통 블록이 샤프 콘트라스트 에지를 포함하고 픽셀들의 일부가 대부분 범위 밖에 있어서 개선 효과들을 적용할 때 확실히 범위 밖에 오게 될 것이라는 것을 의미한다. 이 경우, 이 블록은 완전히 디코딩되어 저장될 것이다. 다음 프레임에서, 이 블록에 해당하는 잔차들이 보상되고 재인코딩될 것이다.
이 방법은 일부 블록들의 완전 디코딩 및 재인코딩을 필요로 한다. 그러나, 그것은 범위 밖 픽셀들을 포함하는 블록들에만 적용된다. 실제 비디오 시퀀스들에서, 이러한 상황은 흔히 일어나지 않는다. 따라서, 이러한 정정 방식이 계산상의 복잡성을 심각하게 증가시키지는 않을 것이다.
도 4를 참조할 때, 압축 DCT-기반 비디오 시퀀스의 이미지 프로세싱을 위한 모듈 (M400)이 도시된다. 상기 모듈은 본 발명에 따른 압축 DCT-기반 비디오 시퀀 스를 제공하는 컴포넌트 (M410) 및 이미지 프로세싱 연산 수행 컴포넌트 (M420)의 두 메인 컴포넌트를 포함한다. 두 컴포넌트들은 서로 연결되어, M410의 출력이 상기 이미지 프로세싱 컴포넌트의 입력이 된다. 그 제공 컴포턴트 (M410)는 디지털 데이터 스트림으로 재현된 비디오 시퀀스를 수신하고, 미가공 이미지 데이터를 DCT-기반 및 압축 비디오 시퀀스로 변환하도록 되어 있다. 이 데이터는 이미지 프로세싱 컴포넌트에 대응하는 M420의 입력으로서 사용될 수 있다.
상기 이미지 프로세싱 연산을 수행한 후, 데이터는 추가 사용 혹은 메모리 컴포넌트에 저장되는 등의 작업에 제공될 것이다. 이미지 프로세싱 모듈이나 컴포넌트 (M420)의 토대는 첨부된 도면들을 참조해 앞에서 설명하였다.
도 5는 본 발명과 함께 사용될 수 있는 어떤 종류의 휴대형 가전 (CE, consumer electronic) 기기를 예로서 나타낸 것일 수 있는 휴대형 가전 기기나 모바일 장치의 주요 구조 컴포넌트들을 도시한 것이다. 본 발명은 도시된 CE 기기(550)나 어떤 다른 특정 유형의 휴대형 CE 기기에 한정되는 것은 아님을 알아야 한다.
예시된 휴대형 CE 장치(550)는 전형적으로, 보통 이미지 캡처 센서를 통해 이미지 및 비디오 클립을 캡처하는 기능을 가진 셀룰라 폰을 가리키는, 카메라 폰으로서 실행된다. 특히, 장치(550)는 프로세서 기반이거나 마이크로 콘트롤러 기반의 장치로서 구현되고, 중앙 처리 유닛 (CPU), 데이터 스토리지(520), 어플리케이션 스토리지 (미도시), 라디오 주파수 안테나(500) 및 가입자 식별 모듈 (SIM)(570)과 함께 셀룰라 라디오 주파수 인터페이스 (I/F)(580)를 포함하는 셀룰 라 통신 수단들, 오디오 입/출력 (I/O) 수단(540) (보통 마이크 및 확성기), 키 입력 제어기 (Ctrl) (미도시)가 있는 키들, 키패드 및/또는 키보드, 그리고 디스플레이 제어기 (Ctrl)(미도시)가 있는 디스플레이를 포함하는 사용자 인터페이스 입/출력 수단, 보통 이미지 프로젝션을 위한 광학계를 가진 CCD (charge-coupled device) 센서 (미도시)를 포함하는 이미지 캡처 센서(510), 전형적으로 몇몇 종속 및 비종속 모듈들의 구성을 나타내는 이미지 프로세싱 모듈 (M400) (도 4도 참조) 및 본 발명에 따른 이미지 프로세싱에 필요한 컴포넌트들을 포함한다.
CE 장치(550)의 동작은 보통 운영 시스템에 기초한 중앙 처리 유닛 (CPU)이나, CE 장치의 사양 및 기능에 대한 용도를 장치 사용자에게 제공하여 그 사양 및 기능을 제어하는 기본 제어 어플리케이션에 의해 제어된다. 디스플레이 및 디스플레이 제어기 (Ctrl)는 중앙 처리 유닛 (CPU)에 의해 제어되어 사용자에게 정보를 제공한다. 키패드 및 캐패드 제어기 (Ctrl)이 주어져서 사용자로 하여금 정보를 입력할 수 있도록 한다. 키패드를 통해 입력된 정보는 키패드 제어기 (Ctrl)에 의해 중앙 처리 유닛 (CPU)으로 제공되고, 중앙 처리 유닛은 그 입력 정보에 따라 지시 및/또는 제어될 것이다. 오디오 입/출력 (I/O) 수단(540)은 적어도 오디오 신호를 재생하기 위한 스피커와, 오디오 신호를 레코딩하기 위한 마이크를 포함한다. 중앙 처리 유닛(CPU)은 오디오 데이터의 오디오 출력 신호들로의 전환 및, 오디오 입력 신호들의 오디오 데이터로의 전환을 제어할 수 있고, 이때, 이를테면 오디오 데이터는 전송되거나 저장되기 위한 적절한 포맷을 가진다. 디지털 오디오의 오디오 신호들로의 오디오 신호 전환 및 그 반대로의 전환이 일반적으로 디지털-아날로 그 및 아날로그-디지털 회로에 의해 지원된다.
부가하여, 도 5에 도시된 특정 실시예에 따른 휴대형 CE 장치(550)는 옵션으로서 라디오 주파수 안테나(500)에 연결되는 셀룰라 인터페이스 (I/F)(580)를 포함하고, 가입자 식별 모듈 (SIM)(570)과 상호 작용한다. 셀룰라 인터페이스 (I/F)(580)는 셀룰라 안테나로부터 신호들을 수신하는 셀룰라 트랜시버로서 구성되어, 신호들을 디코딩하고, 이들을 복조하며 또한 이들을 기저대역 주파수로 변형한다. 셀룰라 인터페이스(580)는 공공 지상 모바일 네트워크 (PLMN, public land mobile network)의 라디오 액세스 네트워크 (RAN, radio access network)의 대응하는 베이스 스테이션 (BS)과 셀룰라 통신하기 위한 가입자 식별 모듈 (SIM)(570)과 연계하여 기능하는 전파공간 인터페이스를 지원한다. 셀룰라 인터페이스 (I/F)(580)의 출력은 따라서 중앙 처리 유닛 (CPU)에 의해 추가 처리를 요할 수 잇는 데이터 스트림으로 이뤄진다. 셀룰라 트랜시버로 구성된 셀룰라 인터페이스 (I/F)(580)는 전파공간 인터페이스를 통해 라디오 액세스 네트워크 (RAN)의 베이스 스테이션 (BS)으로 전송되어야 하는 데이터를 중앙 처리 유닛 (CPU)에서 수신하도록 또한 되어 있다. 따라서, 셀룰라 인터페이스 (I/F)(580)는 데이터 구현 신호들을 인코딩하고 변조하며 사용될 라디오 주파수로 샹향 변환 (up convert)한다. 그런 다음 셀룰라 안테나가 그러한 결과에 따른 라디오 주파수 신호들을 공공 지상 모바일 네트워크 (PLMN)의 라디오 액세스 네트워크의 해당 베이스 스테이션 (BS)으로 전송한다.
이미지 캡처 센서(510)는 보통 CCD (charge-coupled device) 및 광학계를 통 해 구현된다. 픽셀들의 그리드(grid)들을 포함하는 CCD들은 디지털 카메라, 디지털 광 스캐너, 디지털 비디오 카메라에서 광 센싱 장치들로서 디지털 이미지 캡처를 위해 사용된다. 각 커패시터가 그 위치에서의 광 인텐시티에 비례하는 전하 (electric charge)를 축적하게 하는 커패시터 어레이 (CCD) 상의 광학계 (한 렌즈나 하나 이상의 렌즈들로 된 구성)을 통해 이미지가 투사된다. 디지털 비디오 및 디지털 정지 카메라들에 사용되는 2 차원 어레이가 전체 이미지 혹은 그 직사각형의 일부를 캡처한다. 어레이가 이미지에 대해 노출되었으면, 제어 회로가 각 커패시터로 하여금 각자의 콘텐츠를 그 이웃에게 전달하게 한다. 어레이 상의 마지막 커패시터는 자신의 전하를 증폭기로 비우고, 증폭기는 그 전하를 전압으로 변환한다. 이러한 프로세스를 반복하여, 제어 회로가 어레이의 전체 콘텐츠를 가변 전압으로 변환하고, 샘플링하고, 디지털화하고, 이미지 프로세싱 모듈(M400)에 의한 추가 처리를 위해 미가공 이미지 데이터를 제공한다. 이미지 프로세싱 모듈(M400)은 CE 장치(550)의 사용자가 정지 디지털 이미지들 및 비디오 시퀀스들을 촬영할 수 있게 한다. 일반적으로, 미가공 이미지 데이터는 이미지 프로세싱 모듈(M400)에 의해 압축되어 데이터 스토리지에 저장된다. 이미지 프로세싱 모듈(M400)은 다른 무엇보다 코덱들, 즉 정지 디지털 이미지 프로세싱 및 비디오 (이미지 시퀀스) 프로세싱에 필요한 코딩 및 인코딩 모듈들을 구현하고, 여기서 이미지 프로세싱 모듈(M400)의 구성 컴포넌트들은 특정 하드웨어 구성을 통해 동작이 지원될 수 있는 소프트웨어 어플리케이션 컴포넌트들임이 바람직하고, 이것이 이미지 프로세싱 모듈(M400)의 사양과 기능의 처리를 개선하는 데 유리하다.
본 발명은 위에서 첨부된 도면들에 따른 실시예들을 참조해 설명되었으나, 본 발명이 거기에 국한되는 것이 아니고 첨부된 청구항들의 범위 안에서 여러 방식으로 변형될 수 있다는 것은 당연하다.

Claims (19)

  1. 한 이미지 프로세싱 연산에 상응하여, 모션 보상되고 압축된 DCT 기반 비디오 시퀀스 (a compressed, motion compensated DCT-based video sequence)에 콘트라스트 (contrast) 조정 및 밝기 (brightness) 조정 가운데 적어도 한 가지를 적용하는 방법에 있어서,
    - 상기 모션 보상되고 압축된 DCT 기반 비디오 시퀀스를 제공하는 단계; 및
    - 압축 도메인 상에서 상기 비디오 시퀀스에 대해 상기 이미지 프로세싱 연산을 적용하여, 압축되고 이미지 프로세싱된 비디오 시퀀스를 파생하는 단계로서, 상기 DCT 기반 비디오 시퀀스를 규정하는 DCT 컴포넌트들을 조정함으로써 실행되는 단계를 포함함을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 DCT 컴포넌트들의 조정은 상기 DCT 기반 비디오 시퀀스를 부분 디코딩 및 인코딩함으로써 지원됨을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 DCT 기반 비디오 시퀀스의 상기 이미지 프로세싱 연산의 적용에 기초하여 섀도 효과 (shadow effect) 보상이 제공됨을 특징으로 하는 방법.
  4. 제3항에 있어서, 상기 섀도 보상은 이전 프레임에서 범위 밖 (out-of-range) 픽셀들이 검출될 때 잔차들 (residuals)을 보상함으로써 지원됨을 특징으로 하는 방법.
  5. 제4항에 있어서, DC 및 AC 계수들의 문턱치들을 세팅함으로써 상기 범위 밖 픽셀들이 DCT 기반 비디오 시퀀스에서 검출됨을 특징으로 하는 방법.
  6. 제4항에 있어서, 상기 섀도 효과 보상은 프레임의 소정 블록들의 부분적 디코딩을 통해 지원되고, 이때 바운드 밖 (out-of-bound) 계수들의 가능성이 존재함을 특징으로 하는 방법.
  7. 제1항에 있어서, 상기 비디오 시퀀스는 상기 시퀀스를 나타내는 디지털 H.263 비트스트림이고, 상기 H.263 비트스트림은 VLC 디코딩되고, 상기 비트스트림 내 DCT 계수들은 역양자화 (de-quantized)되고, 이미지 프로세싱 연산들이 상기 DCT 계수들에 적용됨을 특징으로 하는 방법.
  8. 제1항에 있어서, 픽셀 인텐시티 (intensity) 변화량은, 상기 시퀀스가 상기 H.263 비트스트림에 해당하는 경우 인트라 코딩된 (intra-coded) 매크로블록들에 대해 상기 시퀀스의 상기 밝기 조정을 적용함에 따른 DC 계수의 변화량과 정확히 같음을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 비디오 시퀀스는 상기 시퀀스를 나타내는 디지털 MPEG-4 비트스트림이고, 상기 MPEG-4 비트스트림은 VLC 디코딩되고, 상기 비트스트림 내 DCT 계수들은 역양자화되며, 상기 이미지 프로세싱 연산들이 상기 DCT 계수들에 적용됨을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 MPEG-4 비트스트림에 의해 나타내어진 상기 시퀀스의 상기 콘트라스트 조정은, 인트라 코딩된 매크로블록들에 대한 1 패스 (one-pass) 프로세스로서 제공됨을 특징으로 하는 방법.
  11. 정해진 환경과 관련하여, 모션 보상되고 압축된 DCT 기반 비디오 시퀀스에 대해 콘트라스트 조정 및 밝기 조정 가운데 적어도 한 가지를 적용하기 위한 컴퓨터 프로그램 생성물에 있어서,
    제1항의 단계들을 실행하기 위한 판독가능 매체에 저장되는 프로그램 코드 섹션들을 구비하고,
    상기 프로그램 코드 섹션들은 컴퓨터, 마이크로프로세서 기반 장치, 단말, 네트워크 장치, 모바일 단말, 또는 휴대형 통신 기능 단말에서 실행됨을 특징으로 하는 컴퓨터 프로그램 생성물.
  12. 정해진 환경과 관련하여 DCT 기반 비디오 시퀀스의 이미지 프로세싱을 하기 위한 컴퓨터 프로그램 생성물에 있어서,
    제1항의 단계들을 실행하기 위한 기계 판독가능 매체에 저장되는 프로그램 코드 섹션들을 구비하고,
    상기 프로그램 생성물은 컴퓨터, 마이크로프로세서 기반 장치, 단말, 네트워크 장치, 모바일 단말, 또는 휴대형 통신 기능 단말에서 실행됨을 특징으로 하는 컴퓨터 프로그램 생성물.
  13. 정해진 환경과 관련하여, 모션 보상되고 압축된 DCT 기반 비디오 시퀀스에 대해 콘트라스트 조정 및 밝기 조정 가운데 적어도 한 가지를 적용하기 위한 소프트웨어 툴 (tool)에 있어서,
    제1항의 단계들을 실행하기 위한 프로그램 부분들을 구비하고,
    상기 프로그램 부분들은 마이크로프로세서 기반 장치, 프로세싱 장치, 단말 장치, 네트워크 장치, 모바일 단말, 또는 휴대형 통신 기능 단말에서 실행되는 컴퓨터 프로그램 안에서 구현됨을 특징으로 하는 소프트웨어 툴.
  14. 한 이미지 프로세싱 연산에 상응하여, 모션 보상되고 압축된 DCT 기반 비디오 시퀀스 (a compressed, motion compensated DCT-based video sequence)에 콘트라스트 (contrast) 조정 및 밝기 (brightness) 조정 가운데 적어도 한 가지를 적용하도록 된 모듈에 있어서,
    - 상기 압축된 DCT 기반 비디오 시퀀스를 제공하는 컴포넌트; 및
    - 압축 도메인 상에서 상기 비디오 시퀀스에 대해 상기 이미지 프로세싱 연 산을 적용하여, 압축되고 이미지 프로세싱된 비디오 시퀀스를 파생하는 컴포넌트로서, 상기 DCT 기반 비디오 시퀀스를 규정하는 DCT 컴포넌트들을 조정함으로써 실행되는 컴포넌트를 포함함을 특징으로 하는 모듈.
  15. 제14항에 있어서, 상기 콘트라스트 조정은 다음 식에 기초하고,
    Figure 112007091539615-PCT00052
    여기서,
    - m, n은 주파수 도메인 좌표들이고;
    - Y'(n,m)은 편집된 이미지의 DCT 변환이고;
    -
    Figure 112007091539615-PCT00053
    는 콘트라스트 스케일링 팩터이고;
    - Y(n,m)은 오리지널 이미지의 DCT 변환이고;
    -
    Figure 112007091539615-PCT00054
    은 이미지 안의 모든 블록들의 DC 계수들의 평균임을 특징으로 하는 모듈.
  16. 제14항에 있어서, 상기 밝기 조정은 다음 식에 기초하고,
    Figure 112007091539615-PCT00055
    여기서 K'는 압축 도메인 상의 밝기 조정의 값에 해당하고, 다음과 같이 주어지며,
    Figure 112007091539615-PCT00056
    여기서,
    - m, n은 주파수 도메인 좌표들이고;
    - Yq'(n,m)은 편집된 이미지의 DCT 변환이고;
    - Yq(n,m)은 오리지널 이미지의 DCT 변환이고;
    -QDC는 DC 계수에 대한 양자화 스케일임을 특징으로 하는 모듈.
  17. 제14항에 있어서, 상기 비디오 시퀀스는 상기 시퀀스를 나타내는 디지털 MPEG-4 비트스트림이고, 상기 MPEG-4 비트스트림은 VLC 디코딩되고, 상기 비트스트림 내 DCT 계수들은 역양자화되며, 상기 이미지 프로세싱 연산들이 상기 DCT 계수들에 적용됨을 특징으로 하는 모듈.
  18. 제14항에 있어서, 상기 MPEG-4 비트스트림에 의해 나타내어진 상기 시퀀스의 상기 콘트라스트 조정은, 인트라 코딩된 매크로블록들에 대한 1 패스 (one-pass) 프로세스로서 제공됨을 특징으로 하는 모듈.
  19. 한 이미지 프로세싱 연산에 상응하여, 모션 보상되고 압축된 DCT 기반 비디오 시퀀스 (a compressed, motion compensated DCT-based video sequence)에 콘트라스트 (contrast) 조정 및 밝기 (brightness) 조정 가운데 적어도 한 가지를 적용하도록 된 전자 장치에 있어서,
    - 제14항에 따른 이미지 프로세싱을 위한 적어도 한 모듈;
    - I/O 인터페이스;
    - 메모리 유닛; 및
    - 상기 전자 장치 내 모든 개체들을 제어하도록 된 프로세서를 포함함을 특징으로 하는 전자 장치.
KR1020077029767A 2005-06-21 2006-04-25 압축 도메인의 ｄｃｔ-기반 비디오 시퀀스들에 대한 이미지프로세싱 KR20080016660A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/159,392 US7760808B2 (en) 2005-06-21 2005-06-21 Image processing of DCT-based video sequences in compressed domain
US11/159,392 2005-06-21

Publications (1)

Publication Number Publication Date
KR20080016660A true KR20080016660A (ko) 2008-02-21

Family

ID=37570151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077029767A KR20080016660A (ko) 2005-06-21 2006-04-25 압축 도메인의 ｄｃｔ-기반 비디오 시퀀스들에 대한 이미지프로세싱

Country Status (6)

Country Link
US (1) US7760808B2 (ko)
EP (2) EP1894413B1 (ko)
KR (1) KR20080016660A (ko)
CN (1) CN101208955A (ko)
ES (1) ES2425569T3 (ko)
WO (1) WO2006136886A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170053369A (ko) * 2015-11-06 2017-05-16 한화테크윈 주식회사 카메라의 자동 노광 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583844B2 (en) * 2005-03-11 2009-09-01 Nokia Corporation Method, device, and system for processing of still images in the compressed domain
US7864982B2 (en) * 2005-08-22 2011-01-04 Samsung Electronics Co., Ltd. Displacement and tilt detection method for a portable autonomous device having an integrated image sensor and a device therefor
US7809214B2 (en) 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
US7808478B2 (en) * 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Autonomous handheld device having a drawing tool
KR100668344B1 (ko) * 2005-09-20 2007-01-12 삼성전자주식회사 영상 부호화장치 및 방법, 영상 복호화장치 및 방법과 이를채용한 디스플레이 구동회로 및 방법
US20070147510A1 (en) * 2005-12-27 2007-06-28 Islam Asad Method and module for altering color space parameters of video data stream in compressed domain
JP5080132B2 (ja) * 2006-06-12 2012-11-21 三星電子株式会社 データ補償回路及びこれを有する表示装置
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US10015507B2 (en) 2013-05-20 2018-07-03 Cinova Media Transform system and method in video and image compression
CN103905824A (zh) * 2014-03-26 2014-07-02 深圳先进技术研究院 视频语义检索与压缩同步的摄像***与方法
CN104239420B (zh) * 2014-10-20 2017-06-06 北京畅景立达软件技术有限公司 一种基于视频指纹的视频相似度匹配方法
US10462477B2 (en) 2015-02-25 2019-10-29 Cinova Media Partial evaluator system and method
US10460700B1 (en) 2015-10-12 2019-10-29 Cinova Media Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems
US10944971B1 (en) 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
US10452885B1 (en) * 2018-04-17 2019-10-22 Zebra Technologies Corporation Optimized barcode decoding in multi-imager barcode readers and imaging engines
KR102388807B1 (ko) * 2018-12-17 2022-04-20 엘지전자 주식회사 고주파 제로잉을 기반으로 변환 계수 스캔 순서를 결정하는 방법 및 장치
CN111223438B (zh) * 2020-03-11 2022-11-04 Tcl华星光电技术有限公司 像素补偿表的压缩方法及装置
US20240080463A1 (en) * 2022-09-02 2024-03-07 Tencent America LLC Cross component sample clipping

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6452969B1 (en) 1998-09-28 2002-09-17 Thomson Licensing S.A. Transform domain inverse motion compensation having fractional pel accuracy
CN1255021A (zh) 1998-11-23 2000-05-31 惠普公司 不用重新计算运动矢量就可修改压缩图象的装置和方法
US6633673B1 (en) 1999-06-17 2003-10-14 Hewlett-Packard Development Company, L.P. Fast fade operation on MPEG video or other compressed data
US20020057739A1 (en) * 2000-10-19 2002-05-16 Takumi Hasebe Method and apparatus for encoding video
US6785335B1 (en) * 2000-11-09 2004-08-31 Intervideo Inc. Method for adjusting the brightness and color of MPEG encoded video streams
US6891892B2 (en) 2001-03-30 2005-05-10 Koninklijke Philips Electronics N.V. MPEG-2 decoder with an embedded contrast enhancement function and methods therefor
US6996249B2 (en) * 2002-01-11 2006-02-07 Nec Laboratories America, Inc. Applying informed coding, informed embedding and perceptual shaping to design a robust, high-capacity watermark
US20050129111A1 (en) 2003-12-16 2005-06-16 Nokia Corporation Transform-domain video editing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170053369A (ko) * 2015-11-06 2017-05-16 한화테크윈 주식회사 카메라의 자동 노광 방법

Also Published As

Publication number Publication date
EP1894413A1 (en) 2008-03-05
US7760808B2 (en) 2010-07-20
EP1894413A4 (en) 2012-09-05
EP2688301A1 (en) 2014-01-22
WO2006136886A1 (en) 2006-12-28
ES2425569T3 (es) 2013-10-16
US20060285587A1 (en) 2006-12-21
EP1894413B1 (en) 2013-07-31
CN101208955A (zh) 2008-06-25

Similar Documents

Publication Publication Date Title
KR20080016660A (ko) 압축 도메인의 ｄｃｔ-기반 비디오 시퀀스들에 대한 이미지프로세싱
US11694125B2 (en) Image encoder using machine learning and data processing method of the image encoder
KR101168841B1 (ko) 크로마 및 루마 비디오 블록들의 인코딩을 위한 양자화 파라미터 선택들
US10091500B2 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
JP4847521B2 (ja) 複数の映像規格に従った映像符号化の際のブロックノイズ除去フィルタリング技術
KR101553850B1 (ko) 동영상 부호화/복호화 장치 및 그를 위한 적응적 가중치를 사용하는 적응 중첩 블록 움직임 보상 방법 및 장치
KR100643819B1 (ko) 페이딩 보정을 위한 파라미터화
TW201931853A (zh) 具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制
JP2008527827A (ja) 垂線流れに動的に基づいた量子化ステップ・サイズを用いてビデオ信号を処理する方法
CN116195254A (zh) 用于通用视频编码的模板匹配预测
KR100305485B1 (ko) 화질을최적화하기위한화상처리방법및디지탈비디오부호화기시스템
WO2015030967A1 (en) Methods and apparatuses for adjusting macroblock quantization parameters to improve visual quality for lossy video encoding
WO2007074357A1 (en) Method and module for altering color space parameters of video data stream in compressed domain
TW201811028A (zh) 用於循環樣本處理之視訊寫碼工具
JP2023085337A (ja) イントラ予測のためのクロスコンポーネント線形モデリングの方法、装置、デコーダ、エンコーダおよびプログラム
KR20040015477A (ko) 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치
CN114430904A (zh) 利用环内子图像级可控噪声生成进行的视频压缩
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
KR20130078569A (ko) 관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치
CN117478881A (zh) 视频信息处理方法、***、设备和存储介质
JP2024000443A (ja) 映像符号化装置及びプログラム
WO2023172851A1 (en) Model adjustment for local illumination compensation in video coding
CN116830575A (zh) 用于对具有不同位深度的视频信号进行哈达玛变换域滤波的方法和装置
JP2019004304A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
KR20170126817A (ko) 고속 영상 부호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee