KR20050019807A - 공간적인 스케일러블 압축 - Google Patents

공간적인 스케일러블 압축 Download PDF

Info

Publication number
KR20050019807A
KR20050019807A KR10-2004-7021452A KR20047021452A KR20050019807A KR 20050019807 A KR20050019807 A KR 20050019807A KR 20047021452 A KR20047021452 A KR 20047021452A KR 20050019807 A KR20050019807 A KR 20050019807A
Authority
KR
South Korea
Prior art keywords
stream
pixels
gain
video stream
predetermined
Prior art date
Application number
KR10-2004-7021452A
Other languages
English (en)
Inventor
윌헬머스 에이치. 에이. 브룰스
저라드 제이. 엠. 버부르트
레이니어 비. 엠. 클레인구니웩
마크 제이. 알. 옵드빅
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority to KR10-2004-7021452A priority Critical patent/KR20050019807A/ko
Publication of KR20050019807A publication Critical patent/KR20050019807A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 스트림의 공간적인 스케일러블 압축을 제공하기 위한 방법 및 장치가 개시된다. 비디오 스트림은 비디오 스트림의 해상도를 감소시키기 위해 다운샘플링된다. 다운샘플링된 비디오 스트림은 베이스 스트림을 생성하기 위해 인코딩된다. 베이스 스트림은 재구성된 비디오 스트림을 생성하기 위해 디코딩 및 업컨버팅된다. 재구성된 비디오 스트림은 잔여 스트림을 생성하기 위해 비디오 스트림으로부터 감산된다. 이 후, 각 프레임내의 어느 픽셀들 또는 세그먼트들이 미리 결정된 특성들을 가질 미리 결정된 가능성을 갖는지 결정된다. 각각의 세그먼트 또는 픽셀의 콘텐트에 대한 이득값이 계산되며, 여기서, 미리 결정된 특성을 가질 미리 결정된 가능성을 갖는 픽셀들에 대한 이득은 1로 편향되며, 다른 픽셀들에 대한 이득은 0으로 편향된다. 잔여 스트림과 이득값들은 승산되어 미리 결정된 특성들에 대응하지 않는 비트들을 잔여 스트림으로부터 제거한다. 결과의 잔여 스트림은 인코딩되어 인핸스먼트 스트림으로서 출력된다.

Description

공간적인 스케일러블 압축{Spatial scalable compression}
본 발명은 비디오 인코더/디코더에 관한 것이다.
디지털 비디오내의 고유한 대량의 데이터로 인하여, 풀-모션(full-motion)인, 고선명도 디지털 비디오 신호들의 전송은 고선명도 텔레비전의 개발에서 심각한 문제이다. 특히, 각각의 디지털 이미지 프레임은 특정 시스템의 디스플레이 해상도에 따라 픽셀들의 어레이로부터 형성된 정지된 이미지이다. 결과로서, 고선명도 비디오 시퀀스들에 포함된 미가공 디지털 정보량들(amounts of raw digital information)은 대규모이다. 전송되어야 하는 데이터량을 감소시키기 위해, 압축 체계들이 데이터를 압축하기 위해 사용된다. MPEG-2, MPEG-4, 및 H.263을 포함하는 다양한 비디오 압축 표준들 또는 처리들이 확립되었다.
하나의 스트림내의 다양한 해상도들 및/또는 품질들에서 비디오가 이용될 수 있는, 많은 응용들이 허용되었다. 이를 성취하기 위한 방법들은 스케일러빌러티 기술들(scalability techniques)로서 유연하게 지칭된다. 스케일러빌러티를 전개할 수 있는 세개의 축들이 있다. 제 1 축은 시간적인 스케일러빌러티로서 종종 지칭되는 시간축상의 스케일러빌러티이다. 제 2 축은 신호 대 노이즈(SNR) 스케일러빌터티(signal-to-noise scalability) 또는 미립자 스케일러빌러티(fine-grain scalability)로서 종종 참조되는, 품질축(양자화)상의 스케일러빌러티이다. 제 3 축은 공간적인 스케일러빌러티로서 종종 지칭되는 해상도축(이미지의 픽셀들의 수)이다. 레이어된 코딩에서, 비트 스트림은 두개 또는 그 이상의 스트림들 또는 레이어들로 나눠진다. 각각의 레이어는 단일 고품질 신호를 형성하기 위해 조합될 수 있다. 예를 들어, 베이스 레이어는 보다 낮은 품질의 비디오 신호를 제공할 수 있는 반면, 인핸스먼트 레이어는 베이스 레이어 이미지를 강화할 수 있는 부가적인 정보를 제공한다.
특히, 공간적인 스케일러빌러티는 다른 비디오 표준들 또는 디코더 성능들 사이에 호환성을 제공할 수 있다. 공간적인 스케일러빌러티와 함께, 베이스 레이어 비디오는 입력 비디오 스퀀스 저해상도를 가질 수 있으며, 이 경우에, 인핸스먼트 레이어는 베이스 레이어의 해상도를 입력 시퀀스 레벨에 재저장할 수 있는 정보를 운반한다.
도 1은 알려진 공간적인 스케일러블 비디오 인코더(100)을 도시한다. 도시된 인코딩 시스템(100)은 레이어 압축을 성취하며, 이것에 의해, 채널의 일부는 저해상도 베이스 레이어를 제공하는데 사용되며, 잔여 부분은 에지 인핸스먼트 정보를 전송하는데 사용되며, 이것에 의해, 두개의 신호들은 시스템을 고해상도로 이끌도록 재조합될 수 있다. 고해상도 비디오 입력(Hi-Res)은 스플리터(102)에 의해 분리되며, 이것에 의해, 데이터는 저역 통과 필터(104)와 감산 회로(106)로 보내진다. 저역 통과 필터(104)는 비디오 데이터의 해상도를 감소시켜, 베이스 인코더(108)로 공급한다. 일반적으로, 저역 통과 필터들과 인코더들은 본 기술에서 잘 알려져있으며, 간략화를 위해 여기서 상세히 설명하지 않는다. 인코더는, 베이스 스트림이 고선명도로서 고려되는 해상도를 제공하지 않을지라도, 방송, 수신될 수 있는 저해상도 베이스 스트림을 생성하며, 이는 디코더를 통해 디스플레잉될 수 있다.
또한, 인코더(108)의 출력은 시스템(100)내의 디코더(112)에 공급된다. 거기로부터, 디코딩된 신호는 보간 및 업샘플 회로(114)에 제공된다. 일반적으로, 보간 및 업샘플 회로(114)는 디코딩된 비디오 스트림으로부터 필터링된 해상도를 재구성하며, 고해상도 입력과 동일한 해상도를 갖는 비디오 데이터 스트림을 제공한다. 그러나, 인코딩 및 디코딩으로부터 연유한 손실들과 필터링 때문에, 정보의 손실은 재구성된 스트림에 존재한다. 상기 손실은 재구성된 고해상도 스트림을 본래의, 수정되지 않은 고해상도 스트림에서 감산함으로써 감산 회로(106)에서 결정된다. 감산 회로(106)의 출력은 상당한 품질 인핸스먼트 스트림을 출력하는 인핸스먼트 인코더(116)에 제공된다.
이러한 레이어된 압축 체계들이 매우 잘 되어질지라도, 이러한 체계들은 여전히 인핸스먼트 레이어가 고 비트레이트를 필요로하는 문제를 가진다. 인핸스먼트 레이어의 효율을 개선하기 위한 한 방법은 "적응성 콘텐트 필터링을 사용하는 공간적인 스케일러블 압축 체계(Spatial Scalable Compression Scheme Using Adaptive Content Filtering)"로 제목된 2002년 10월에 출원된 PCT 출원 IB02/04297에 개시되어 있다. 간략히, 픽셀기반 디테일 메트릭(pixel based digital metric)에 의해 구동되는 픽처 분석기는 인핸스먼트 인코더의 전면에서 승수 이득(multiplier gain)을 제어한다. 적은 디테일의 영역들에 대해서, 이득(1-α)은 0으로 편향되며, 이러한 영역들은 잔여 스트림으로서 인코딩되지 않는다. 보다 큰 디테일 영역들에 대해서, 이득은 1로 편향되며, 잔여 스트림으로서 인코딩된다.
사람의 눈은 다른 사람들에게 끌리며, 따라서 사람의 눈은 사람과 특히 그들의 얼굴들을 따라감을 실험들이 보여준다. 따라서, 이것은 이러한 영역들이 가능한한 잘 인코딩되어져야 함을 따른다. 불행히도, 디테일 메트릭은 대개 얼굴들의 사소한 디테일들(subtle details)에는 그다지 관심없으므로, 보통, 알파값은 상대적으로 높을 것이며, 얼굴들은 베이스 스트림의 저해상도에서 대부분 인코딩될 것이다. 따라서, 전체 이미지의 어느 섹션들이 사람의 뷰잉 행동(human viewing behavior)을 기초로 인핸스먼트 레이어에서 인코딩되어야 하는지를 결정하기 위한 방법 및 장치가 필요하다.
도 1은 알려진 레이어된 비디오 인코더를 표시하는 블록도.
도 2는 본 발명의 일 실시예에 따라 레이어된 비디오 인코더의 블록도.
도 3은 본 발명의 일 실시예에 따라 레이어된 비디오 디코더의 블록도.
도 4는 본 발명의 일 실시예에 따라 레이어된 비디오 디코더의 블록도.
본 발명은, 바람직하게는 사람의 뷰잉 행동을 기초하여, 이미지의 다른 섹션들을 디엠퍼시스(deemphasize)하는 반면 잔여 스트림의 이미지의 일정한 셕션들을 엠퍼시스(emphasize)하기 위해 오브젝트 세그먼테이션을 이용함으로써 다른 알려진 레이어된 압축 체게들의 결함들의 적어도 일부를 극복한다.
본 발명의 일 실시예에 따라, 비디오 스트림의 공간적인 스케일러블 압축을 제공하기 위한 방법 및 장치를 개시한다. 비디오 스트림은 비디오 스트림의 해상도를 감소시키기 위해 다운샘플링된다. 다운샘플링된 비디오 스트림은 베이스 스트림을 생성하기 위해 인코딩된다. 베이스 스트림은 재구성된 비디오 스트림을 생성하도록 디코딩 및 업컨버팅된다. 재구성된 비디오 스트림은 잔여 스트림을 생성하기 위해 비디오 스트림으로부터 감산된다. 이 후, 각 프레임내의 어느 세그먼트들 또는 픽셀들이 미리 결정된 특성들을 가진 미리 결정된 가능성을 갖는지 결정된다. 각각의 세그먼트 또는 픽셀의 콘텐트에 대한 이득값이 계산되며, 여기서, 미리 결정된 특성을 가질 미리 결정된 가능성을 갖는 픽셀들에 대한 이득은 1로 편향되며, 다른 픽셀들에 대한 이득은 0으로 편향된다. 잔여 스트림과 이득값들은 승산되어 미리 결정된 특성들에 대응하지 않는 비트들을 잔여 스트림으로부터 제거한다. 결과의 잔여 스트림은 인코딩되어 인핸스먼트 스트림으로서 출력된다.
본 발명의 상기 및 다른 관점들은 이 후에 설명된 실시예들을 참조하여 분명하고 명확해질 것이다.
본 발명은 첨부된 도면들을 참조하여 예시적인 방식에 의해 이제 설명될 것이다.
도 2는 본 발명의 일 실시예에 따라 레이어된 비디오 인코더/디코더(200)의 블록도이다. 인코더/디코더(200)은 인코딩 섹션(201)과 디코딩 섹션을 포함한다. 고해상도 비디오 스트림(202)은 인코딩 섹션(201)에 입력된다. 비디오 스트림(202)은 스플리터(204)에 의해 분리되며, 이것에 의해, 비디오 스트림은 저역 통과 필터(206) 및 제 2 스플리터(211)로 보내진다. 저역 통과 필터 또는 다운샘플링 유닛(206)은 비디오 스트림의 해상도를 감소시켜, 베이스 인코더(208)로 보낸다. 베이스 인코더(208)는 알려진 방식으로 다운샘플링된 비디오 스트림을 인코딩하여 베이스 스트림(209)으로 출력한다. 이 실시예에서, 베이스 인코더(208)는 로컬 디코더 출력을 업컨버팅 유닛(210)으로 출력한다. 업컨버팅 유닛(210)은 로컬 디코딩된 비디오 스트림으로부터 필터링된 해상도를 재구성하며, 알려진 방식으로 고해상도 입력 비디오 스트림과 기본적으로 동일한 해상도 포맷을 갖는 재구성된 비디오 스트림을 제공한다. 대안으로는, 베이스 인코더(208)는 인코딩된 출력을 업컨버팅 유닛(210)으로 출력할 수 있으며, 업컨버팅 유닛(210)에 제공된 디코더 또는 개별 디코더(도시 없음) 중 하나는 인코딩된 신호가 업컨버팅되기 이전에 인코딩된 신호를 먼저 디코딩할 것이다.
스플리터(211)는 고해상도 입력 비디오 스트림을 분리하며, 이것에 의해, 입력 비디오 스트림(202)은 감산 유닛(212) 및 픽처 분석기(214)에 보내진다. 부가적으로, 재구성된 비디오 스트림은 픽처 분석기(214) 및 감산 유닛(212)에 또한 입력된다. 본 발명의 일 실시예에 따라, 픽처 분석기(214)는 적어도 하나의 컬러 톤 검출기/메트릭(230)과 알파 변경자 제어 유닛(232)을 포함한다. 이 도시된 예에서, 컬러 톤 검출기/메트릭(230)은 스킨-컬러 톤 검출기이다. 검출기(230)는 본래의 이미지 스트림을 분석하며, 어느 픽셀 또는 픽셀들의 그룹이 그들의 컬러 톤에 기초한 사람의 얼굴 및/또는 몸의 일부가 되는지를 결정하고/결정하거나 어느 픽셀 또는 픽셀들의 그룹이 그들의 컬러 톤에 기초한 사람의 얼굴 또는 몸의 일부가 되는 적어도 하나의 미리 결정된 가능성을 갖는지를 결정한다. 미리 결정된 가능성은 미리 결정된 특성을 가진 픽셀들의 그룹 또는 픽셀의 확률의 정도를 나타낸다. 검출기(230)는 이 픽셀 정보를 제어 유닛(232)에 보낸다. 그러면, 제어 유닛(232)은 픽셀들에 대한 알파값을 제어하여, 알파값은 스킨 톤을 가진 픽셀들에 대해 0으로 편향되고, 스킨 톤을 갖지 않은 픽셀들에 대해 1로 편향된다. 결과로서, 잔여 스트림은 이미지에 얼굴들과 다른 몸의 일부들을 포함할 것이며, 이것에 의해, 얼굴들과 다른 몸의 일부들이 디코딩된 비디오 스트림에서 강화된다.
몇 개의 다른 톤 검출기들이 픽처 분석기(214)에서 사용될 수 있다는 것이 이해될 것이다. 예를 들어, 자연 식물 검출기는 인핸스먼트를 위한 이미지에서 자연 식물을 검출하는데 사용될 수 있다. 더욱이, 제어 유닛(232)은 각각의 검출기로부터 어떻게 상기 정보를 다루는지는 여러 가지 방법들로 프로그래밍될 수 있다. 예를 들어, 스킨-톤 검출기에 의해 검출된 픽셀들과 자연 식물 검출기에 의해 검출된 픽셀들은 동일하게 다루어질 수 있거나, 미리 결정된 방식으로 가중될 수 있다.
상기 언급된 바와 같이, 재구성된 비디오 스트림과 고해상도 입력 비디오 스트림은 감산 유닛(212)에 입력된다. 감산 유닛(212)은 잔여 스트림을 생성하기 위해 재구성된 비디오 스트림을 입력 비디오 스트림으로부터 감산한다. 픽처 분석기(214)로부터의 이득값들은 잔여 스트림의 감쇠를 제어하기 위해 사용되는 승산기(216)으로 보내진다. 감쇠된 잔여 신호는 인핸스멘트 스트림(219)을 생성하기 위해 인핸스먼트 인코더(218)에 의해 인코딩된다.
도 3에 도시된 디코더 섹션(205)에서, 베이스 스트림(209)은 디코더(220)에 의해 알려진 방식으로 디코딩되며, 인핸스먼트 스트림(219)은 디코더(222)에 의해 알려진 방식으로 디코딩된다. 그러면, 디코딩된 베이스 스트림은 업컨버팅 유닛(224)에서 업컨버팅된다. 업컨버팅된 베이스 스트림과 디코딩된 인핸스먼트 스트림은 출력 비디오 스트림(228)을 생성하기 위해 연산 유닛(226)에서 조합된다.
본 발명의 다른 실시예에 따라, 더 높은 해상도의 영역은 깊이(depth)와 세그멘테이션 정보를 이용하여 결정된다. 이미지의 전경에서 더 큰 오브젝트는 먼 또는 배경 장면의 더 작은 오브젝트들 보다 시청자인 사람의 눈에 의해 더 쉽게 트랙킹(track)된다. 따라서, 전경에서 오브젝트의 픽셀들 또는 픽셀들의 그룹들의 알파값은 0으로 편향되어, 픽셀들은 잔여 스트림의 부분이 된다.
도 4는 본 발명의 일 실시예에 따른 인코더(400)을 도시한다. 인코더(400)는 도 2에 도시된 인코더(200)과 유사하다. 유사한 요소들에 대해 사용된 유사한 참조 숫자들과 유사한 요소들의 전체 설명은 간결함을 위해 반복하지 않을 것이다. 픽처 분석기(402)는 다른 요소들 중에서, 깊이 계산기(404), 세그멘테이션 유닛(406), 및 알파 수정기 제어 유닛(232)을 포함한다. 본래의 입력 신호는 깊이 계산기(404)로 공급된다. 깊이 계산기(404)는 알려진 방식으로 각 픽셀 또는 픽셀의 그룹의 깊이를 계산하는데, 즉, 깊이는 카메라와 오브젝트에 속한 픽셀 사이의 거리이며, 정보를 세그멘테이션 유닛(406)으로 보낸다. 그러면, 세그멘테이션 유닛(406)은 깊이 정보를 기초로 이미지의 다른 세그멘트들을 결정한다. 부가적으로, 베이스 인코더 또는 인핸스먼트 인코더 중 하나로부터 모션 벡터들(408)의 형식의 모션 정보는 세그멘테이션 분석이 용이하도록 돕기 위해 세그멘테이션 유닛(406)으로 제공될 수 있다. 세그멘테이션 분석기의 결과들은 알파 수정기 제어 유닛(232)으로 공급된다. 알파 수정기 제어 유닛(232)은 픽셀들 또는 픽셀들의 그룹들에 대한 알파값들을 제어하여, 알파값은 이미지의 전경에서 더 큰 오브젝트들 또는 픽셀들에 대해 0으로 편향된다. 결과로서, 결과 잔여 스트림은 전경에서 더 큰 오브텍트들을 포함할 것이다.
다른 요소들이 픽처 분석기(402)에 부가될 수 있음이 이해될 것이다. 예를 들어, 도 4에 도시된 바와 같이, 픽처 분석기(402)는 디테일 메트릭(410), 스킨-톤 검출기/메트릭(230), 및 자연 식물 검출기/메트릭(412)을 포함할 수 있지만, 픽처 분석기는 거기에 제한되지 않는다. 상기 언급된 바와 같이, 제어 유닛(232)은, 각 픽셀 또는 픽셀들의 그룹에 대해 알파값을 어떻게 편향시킬지 결정할 때, 각각의 검출기로부터 수신된 정보를 어떻게 다루는지는 여러 가지 방법들로 프로그래밍될 수 있다. 예를 들어, 각각의 검출기로부터의 정보는 다양한 방식들로 조합될 수 있다. 예를 들어, 스킨 톤 검출기/메트릭(230)으로부터의 정보는 이미지의 전경에서 얼굴들과 다른 몸의 부분들을 식별하기 위해 세그멘테이션 유닛(406)에 의해 사용될 수 있다.
본 발명의 상기 설명된 실시예들은 인코딩에 앞서 잔여 스트림으로부터 불필요한 비트들을 제거하기 위한 적응 콘텐트 필터링을 이용함에 의해 인핸스먼트 레이어의 비트레이트를 낮춤으로써 알려진 공간적인 스케일러블 압축 체계들의 효율을 강화한다.
상기 언급된 실시예들은 본 발명을 오히려 제한하며, 본 기술의 숙련된 기술자는 첨부된 청구 범위로부터 벗어남 없이 많은 대안적인 실시예들을 설계할 수 있음이 주목된다. 청구항들에서, 괄호 사이에 위치한 임의의 참조 부호들은 청구항을 제한하는 것으로 해석되지 않을 것이다. '포함한다'라는 단어는 청구항에 리스트된것 외의 다른 요소들 또는 단계들의 존재를 배제하지 않는다. 본 발명은 여러 가지 구별 요소들을 포함하는 하드웨어의 수단에 의해, 적절히 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 여러 가지 수단을 나열하는 디바이스 청구항에서, 이러한 여러가지 수단은 하드웨어의 동일한 아이템에 의해 실시될 수 있다. 일정한 방법들이 상호 다른 종속항들에서 인용되는 단순한 사실은 이러한 방법들의 조합이 이점으로 사용되지 않음을 나타내지 않는다.

Claims (15)

  1. 다수의 프레임들에서 캡처링된 비디오 정보의 공간적인 스케일러블 압축(spatial scalable compression)을 실행하기 위한 장치로서,
    비트 스트림을 인코딩하기 위한 베이스 레이어 인코더와,
    상기 베이스 레이어 보다 더 높은 해상도를 갖는 잔여 신호(residual signal)를 인코딩하기 위한 인핸스먼트 레이어 인코더(enhancement layer encoder)와,
    상기 잔여 신호를 감쇠하기 위한 승산기 유닛으로서, 상기 잔여 신호는 상기 베이스 레이어로부터 업스케일된 프레임들과 본래(original)의 프레임들간 차이인, 상기 승산기 유닛과,
    세그멘테이션을 실행하고, 각 프레임내의 픽셀들의 어느 그룹이 미리 결정된 특성을 가질 적어도 하나의 미리 결정된 가능성을 갖는지를 결정하고, 각 픽셀의 콘텐트에 대한 이득값을 계산하기 위한 픽처 분석기를 포함하며, 상기 미리 결정된 특성을 가질 상기 적어도 하나의 미리 결정된 가능성을 갖는 픽셀들에 대한 이득은 1로 편향(biased)되며, 다른 픽셀들에 대한 이득은 0으로 편향되며, 상기 승산기는 상기 잔여 신호를 감쇠하기 위해 상기 이득값을 사용하는, 공간적인 스케일러블 압축 실행 장치.
  2. 제 1 항에 있어서, 세그멘테이션 사이즈는 한 픽셀인, 공간적인 스케일러블 압축 실행 장치.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 픽처 분석기는 미리 결정된 컬러 톤(color tone)을 가진 픽셀들을 검출하기 위한 컬러-톤 검출기를 포함하는, 공간적인 스케일러블 압축 실행 장치.
  4. 제 3 항에 있어서, 상기 컬러-톤 검출기는 스킨-톤 검출기(skin-tone detector)인, 공간적인 스케일러블 압축 실행 장치.
  5. 제 3 항에 있어서, 상기 컬러-톤 검출기는 자연 식물 컬러 검출기(natural vegetation color detector)인, 공간적인 스케일러블 압축 실행 장치.
  6. 제 1 항에 있어서, 상기 픽처 분석기는,
    상기 프레임내의 각 픽셀의 깊이를 결정하기 위한 깊이 계산 유닛과,
    어느 픽셀들이 각 프레임내의 이미지들의 다양한 세그먼트들을 포함하는지를 결정하기 위한 세그멘테이션 유닛을 포함하며, 각 프레임내의 상기 이미지의 전경에서 오브젝트들의 부분인 픽셀들에 대한 이득은 1로 편향되는, 공간적인 스케일러블 압축 실행 장치.
  7. 제 6 항에 있어서, 상기 픽처 분석기는 적어도 하나의 컬러-톤 검출기를 더 포함하며, 미리 결정된 컬러-톤을 갖는 픽셀들 또는, 상기 프레임내의 상기 이미지의 전경에서 오브젝트들의 부분인 픽셀들에 대한 이득은 1로 편향되는, 공간적인 스케일러블 압축 실행 장치.
  8. 비디오 스트림을 인코딩 및 디코딩하기 위한 레이어된 인코더로서,
    상기 비디오 스트림의 해상도를 감소시키기 위한 다운샘플링 유닛과,
    저해상도 베이스 스트림을 인코딩하기 위한 베이스 인코더와,
    재구성된 비디오 스트림을 생성하기 위해 상기 베이스 스트림의 상기 해상도를 디코딩 및 증가시키기 위한 업컨버팅 유닛과,
    잔여 신호를 생성하기 위해 상기 본래의 비디오 스트림으로부터 상기 재구성된 비디오 스트림을 감산하기 위한 감산기 유닛과,
    세그멘테이션을 실행하고, 각 프레임내의 픽셀들의 어느 그룹들이 미리 결정된 특성을 가질 적어도 하나의 미리 결정된 가능성을 갖는지를 결정하고, 각 픽셀의 콘텐트에 대한 이득값을 계산하기 위한 픽처 분석기를 포함하며, 상기 미리 결정된 특성을 가질 상기 적어도 하나의 미리 결정된 가능성을 갖는 픽셀들에 대한 이득은 1로 편향되며, 다른 픽셀들에 대한 이득은 0으로 편향되는, 픽처 분석기와,
    상기 미리 결정된 특성을 가질 상기 미리 결정된 가능성을 갖지 않는 비트들을 상기 잔여 신호로부터 제거하도록 상기 잔여 신호와 상기 이득값들을 곱하는 제 1 승산기 유닛과,
    상기 승산기로부터의 결과 잔여 신호를 인코딩하여 인핸스먼트 스트림(enhancement stream)을 출력하기 위한 인핸스먼트 인코더를 포함하는, 레이어된 인코더.
  9. 제 8 항에 있어서, 세그멘테이션 사이즈는 한 픽셀인, 레이어된 인코더.
  10. 제 8 항 또는 제 9 항에 있어서, 상기 픽처 분석기는 미리 결정된 컬러 톤을 가진 픽셀들을 검출하기 위한 컬러-톤 검출기를 포함하는, 레이어된 인코더.
  11. 제 10 항에 있어서, 상기 컬러-톤 검출기는 스킨-톤 검출기인, 레이어된 인코더.
  12. 제 10 항에 있어서, 상기 컬러-톤 검출기는 자연 식물 컬러 검출기인, 레이어된 인코더.
  13. 제 8 항에 있어서, 상기 픽처 분석기는,
    상기 프레임내의 각 픽셀의 깊이를 결정하기 위한 깊이 계산 유닛과,
    어느 픽셀들이 각 프레임내의 이미지들의 다양한 세그먼트들을 포함하는지를 결정하기 위한 세그멘테이션 유닛을 포함하며, 각 프레임내의 상기 이미지의 전경에서 오브젝트들의 부분인 픽셀들에 대한 이득은 1로 편향되는, 레이어된 인코더.
  14. 제 13 항에 있어서, 상기 픽처 분석기는 적어도 하나의 컬러-톤 검출기를 더 포함하며, 미리 결정된 컬러-톤을 갖는 픽셀들 또는, 상기 프레임내의 상기 이미지의 전경에서오브젝트들의 부분인 픽셀들에 대한 이득은 1로 편향되는, 레이어된 인코더.
  15. 비디오 스트림의 적응 콘텐트 필터링을 사용하여 공간적인 스케일러블 압축을 제공하기 위한 방법으로서,
    상기 비디오 스트림의 해상도를 감소시키기 위해 상기 비디오 스트림을 다운샘플링하는 단계와,
    베이스 스트림을 생성하기 위해 상기 다운 샘플링된 비디오 스트림을 인코딩하는 단계와,
    재구성된 비디오 스트림을 생성하기 위해 상기 베이스 스트림을 디코딩 및 업컨버팅하는 단계와,
    잔여 스트림을 생성하기 위해 상기 비디오 스트림으로부터 상기 재구성된 비디오 스트림을 감산하는 단계와,
    각 프레임내의 어느 픽셀들 또는 세그먼트들이 미리 결정된 특성을 가질 적어도 하나의 미리 결정된 가능성을 갖는지를 결정하는 단계와,
    각 세그먼트 또는 픽셀의 상기 콘텐트에 대한 이득값을 계산하는 단계로서, 상기 미리 결정된 특성을 가질 상기 적어도 하나의 미리 결정된 가능성을 갖는 픽셀들에 대한 이득은 1로 편향되며, 다른 픽셀들에 대한 이득은 0으로 편향되는, 상기 계산 단계와,
    상기 미리 결정된 특성을 가질 상기 미리 결정된 가능성을 갖지 않는 비트들을 상기 잔여 스트림으로부터 제거하도록 상기 잔여 스트림과 상기 이득값들을 곱하는 단계와,
    상기 결과 잔여 스트림을 인코딩하여 인핸스먼트 스트림을 출력하는 단계를 포함하는, 공간적 스케일러블 압축 실행 방법.
KR10-2004-7021452A 2002-06-28 2003-06-26 공간적인 스케일러블 압축 KR20050019807A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2004-7021452A KR20050019807A (ko) 2002-06-28 2003-06-26 공간적인 스케일러블 압축

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02077568.0 2002-06-28
EP02080635.2 2002-12-20
KR10-2004-7021452A KR20050019807A (ko) 2002-06-28 2003-06-26 공간적인 스케일러블 압축

Publications (1)

Publication Number Publication Date
KR20050019807A true KR20050019807A (ko) 2005-03-03

Family

ID=41784014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7021452A KR20050019807A (ko) 2002-06-28 2003-06-26 공간적인 스케일러블 압축

Country Status (1)

Country Link
KR (1) KR20050019807A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058470A1 (en) * 2005-11-15 2007-05-24 Electronics And Telecommunications Research Institute A method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
US8351502B2 (en) 2005-04-19 2013-01-08 Samsung Electronics Co., Ltd. Method and apparatus for adaptively selecting context model for entropy coding
WO2007058470A1 (en) * 2005-11-15 2007-05-24 Electronics And Telecommunications Research Institute A method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same

Similar Documents

Publication Publication Date Title
US20040258319A1 (en) Spatial scalable compression scheme using adaptive content filtering
CA2134696C (en) Method of and system for enhancing distorted graphical information
JP3943333B2 (ja) 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置
US5974172A (en) Method and apparatus for coding segmented regions which may be transparent in video sequences for content-based scalability
US6035060A (en) Method and apparatus for removing color artifacts in region-based coding
US20070160300A1 (en) Spatial scalable compression scheme with a dead zone
US20200322616A1 (en) Encoding device, decoding device, and image processing method
US9036715B2 (en) Video coding
US20060133472A1 (en) Spatial scalable compression
US20150350514A1 (en) High dynamic range video capture control for video transmission
US20070285729A1 (en) Image processing apparatus and image processing method
WO2006131866A2 (en) Method and system for image processing
KR20050019807A (ko) 공간적인 스케일러블 압축
Ho et al. Content-based scalable H. 263 video coding for road traffic monitoring
JPH0681308B2 (ja) フレ−ム間符号化における量子化雑音抑圧方式
US7899112B1 (en) Method and apparatus for extracting chrominance shape information for interlaced scan type image
US20070274397A1 (en) Algorithm for Reducing Artifacts in Decoded Video
JPH04192695A (ja) 動画像復号化装置
JP2023162141A (ja) 点群符号化装置、点群復号装置、点群符号化方法、点群復号方法及びプログラム
KR20040035007A (ko) 얼굴형상추출과 비주요부분 블러링을 이용한 화상통화동영상 전처리기법
Pronina et al. Improving MPEG performance using frame partitioning
JPH0795420A (ja) 画像データ圧縮方法
JPH01209876A (ja) フレーム間符号化方式
JPS62195989A (ja) フレ−ム間符号化復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application