KR20040091689A - 비디오 품질 - Google Patents

비디오 품질 Download PDF

Info

Publication number
KR20040091689A
KR20040091689A KR10-2004-7013798A KR20047013798A KR20040091689A KR 20040091689 A KR20040091689 A KR 20040091689A KR 20047013798 A KR20047013798 A KR 20047013798A KR 20040091689 A KR20040091689 A KR 20040091689A
Authority
KR
South Korea
Prior art keywords
data stream
information
video data
quality
video
Prior art date
Application number
KR10-2004-7013798A
Other languages
English (en)
Inventor
요한 하. 아. 겔리센
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040091689A publication Critical patent/KR20040091689A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 송신된 비디오 데이터 스트림의 이미지 품질을 더 잘 인식하도록 하기 위해 정보를 제공하는 방법, 디바이스 및 신호 포맷에 관한 것이다. 디바이스(20)에서 비디오 및 정보 송신 유닛(28)은 적어도 하나의 프레임을 포함하는 신호로 비디오 데이터 스트림에 관련된 주 품질에 관한 정보 및 비디오 데이터 스트림을 송신하며, 상기 프레임은 헤더 부분, 움직임 벡터 부분 및 압축된 이미지 부분을 갖는다. 비디오 데이터 스트림(32)을 처리하는 디바이스는 신호를 수신하는 비디오 및 정보 수신 유닛(34)과, 비디오 데이터 스트림을 디코딩하는 디코딩 유닛(38)과, 이미지 품질을 더 잘 인식하도록 하기 위해 비디오 데이터 스트림을 처리할 때 주 품질에 관한 정보의 이용을 제어하는 제어 유닛(36)을 포함한다.

Description

비디오 품질{QUALITY OF VIDEO}
압축된 이미지 및 움직임 벡터의 형태로 정상적으로 제공된 비디오 데이터 스트림은 상이한 방식으로 가능하게 디코딩될 수 있다. 스트리밍된 비디오가 표현될 때, 프레임 속도, 해상도 및 양자화 깊이와 같은 비-프로그램 콘텐트 특징은 인식된 품질에 따라 상이한 중요성을 갖는다. 그러나, 이는 오늘날의 비디오 디코더에 고려되지 않는다.
그래픽 3-D 응용에서 복잡성 파라미터를 제공하는 것이 알려져 있다. 이 정보는 복잡성이 높은 경우 디코딩의 품질을 감소시키는데 사용될 수 있다. 이는, 화상이 복잡한 경우 디코더가 이용가능한 시간 내에 3-D 화상을 생성시킬 수 있게 하기 위해 이루어진다.
US 5,027,206은 비트 스트림 내에 포함된 영화 모드 신호 발신 비트를 기재한다. 그러나, 그러한 문서는, 그것이 영화라는 것 외에 어떤 것도 나타내지 않고, 예를 들어 영화의 종류가 무엇인지와 같이 영화의 주 품질에 관한 정보를 나타내지 않는다. 그 결과, 영화가 많은 움직임을 갖는 소위 액션 영화 뿐 아니라 움직임이덜한 드라마 또는 야생 생물 영화(wildlife movies)일 수 있기 때문에, 이것은 최적의 디코딩에 사용될 수 없다.
본 발명은 송신된 비디오 데이터 스트림의 이미지 품질을 더 우수하게 인식하도록 하는 것에 관한 것이다.
도 1은 본 발명의 일실시예에 따라 비디오 파라미터 신호 발신의 주 품질을 포함하는 비디오 데이터 스트림을 도시한 도면.
도 2는 비디오의 주 품질에 관한 정보를 수신 유닛으로 송신하는 장치, 및 비디오 정보의 주 품질을 수신하는 수신 유닛의 블록도.
도 3은 비디오 파라미터의 주 품질을 송신하는 방법을 도시한 흐름도.
도 4는 비디오 파라미터의 주 품질을 수신하는 방법을 도시한 흐름도.
본 발명의 목적은, 디코더 및/또는 후치 프로세서의 한정된 디코딩 성능에 관련하여 송신된 비디오 스트림의 이미지 화질을 더 우수하게 인식하도록 하는 것이다. 이 때문에, 본 발명은 독립항에 기재된 바와 같이 방법, 디바이스, 신호 포맷 및 저장 매체를 제공한다. 유리한 실시예는 종속항에 한정되어 있다.
프레임, 프레임의 그룹 또는 씬(scene)과 같은 비디오 스트림에서의 상이한 요소에 대해, 비디오 콘텐트가 표현되는 환경에 대한 비-프로그램 콘텐트 특성의 다른 요구조건이 존재한다. 예를 들어, 칼라가 야생 생화 콘텐트를 보여주는 비디오 스트림에 더 중요한 반면, 대상의 움직임에 관한 정보는 비디오 스트림이 액션 영화인 경우 더 중요하다. 오늘날, 이러한 상이한 양상은 비디오 스트림을 처리할 때를 고려하지 않으며, 이는 오늘날 비디오 디코더 및 후치 프로세서서가 최적으로 사용되지 않도록 한다. 또한 오늘날의 비디오 디코더에서 처리 성능이 한정되고, 이는, 최종 사용자에게 표현될 비디오 데이터 스트림을 디코딩할 때 상이한 비-프로그램 콘텐트 특성에 관한 절충이 이루어져야 한다는 것을 의미한다.
본 발명의 목적은, 대상이 비디오 디코더에서 상이한 디코딩 성능의 더 우수한 사용을 위한 비디오 데이터 스트림에서 보여주는 상이한 배경의 더 나은 지식을 제공함으로써 달성된다.
본 발명의 하나의 양상에 따라, 이는, 송신된 비디오 데이터 스트림의 이미지 품질을 더 우수하게 인식되도록 하기 위한 정보를 제공하는 방법에 의해 달성되며, 상기 방법은, 코딩된 비디오 데이터 스트림을 수신 디바이스로 송신하는 단계와, 비디오 데이터 스트림을 처리할 때 수신 디바이스가 상기 정보를 사용할 수 있도록 하기 위해 비디오 데이터 스트림에 관련된 주 품질에 관한 정보를 수신 디바이스로 송신하는 단계를 포함한다.
이러한 양상에 따라, 문제는 송신된 비디오 데이터 스트림의 이미지 품질을 더 우수하게 인식되도록 하는 정보를 제공하는 디바이스에 의해 또한 해결되는데, 상기 디바이스는 비디오 데이터 스트림을 수신 디바이스로 송신하는 비디오 송신 유닛과, 비디오 데이터 스트림을 처리할 때 수신 디바이스가 주 품질에 관한 정보를 사용할 수 있도록 하기 위해 비디오 데이터 스트림에 관련된 주 품질에 관한 정보를 수신 디바이스로 송신하는 정보 송신 유닛을 포함한다.
본 발명의 다른 양상에 따라, 이 문제는 비디오 데이터 스트림을 처리하는 방법에 의해 또한 해결되며, 상기 방법은 비디오 데이터 스트림을 수신하는 단계와, 비디오 데이터 스트림에 관련된 주 품질에 관한 정보를 수신하는 단계와, 이미지 품질을 더 우수하게 인식하도록 하기 위해 비디오 데이터 스트림을 처리할 때 주 품질에 관한 정보를 사용하는 단계를 포함한다.
이러한 양상에 따라, 문제는 비디오 데이터 스트림을 처리하는 디바이스에 의해 또한 해결되며, 상기 디바이스는, 비디오 데이터 스트림을 수신하는 비디오 수신 유닛과, 비디오 데이터 스트림에 관련된 주 품질에 관한 정보를 수신하는 정보 수신 유닛과, 비디오 데이터 스트림을 디코딩하는 디코딩 유닛과, 이미지 품질을 더 우수하게 인식하도록 하기 위해 비디오 데이터 스트림을 처리할 때 주 품질에 관한 정보의 사용을 제어하는 제어 유닛을 포함한다.
본 발명의 추가 양상에 따라, 이 문제는 더욱이 적어도 하나의 프레임을 포함하는 비디오 데이터 스트림을 송신하는데 사용하기 위한 신호 포맷에 의해 해결되며, 상기 프레임은 헤더 부분과, 움직임 벡터 부분과, 압축된 이미지 부분을 갖고, 여기서 상기 부분 중 적어도 하나는 비디오 데이터 스트림을 처리할 때 수신 디바이스가 주 품질에 관한 정보를 사용할 수 있도록 하기 위해 비디오 데이터 스트림에 관련된 주 품질에 관한 정보를 포함한다.
처음에 언급된 양상의 바람직한 변형은 비디오 데이터 스트림에서 주 품질에 관한 정보를 제공함으로써 추가 이점을 제공한다.
본 발명의 상이한 양상의 바람직한 변형에 따라, 주 품질에 관한 정보는 디코더에서 비-콘텐트 프로그램 특성의 우선 순위를 매길 수 있게 한다.
본 발명의 하나의 변형에 따라, 주 품질에 관한 정보는 후치 프로세서를 또한 더 잘 사용할 수 있게 한다.
주 품질이라는 용어는 액션 영화 또는 씬 또는 그러한 씬의 프레임 또는 프레임 그룹과 같은 것을 의미한다. 따라서, 이것은, 얼마나 많은 움직임, 칼라 또는 아마 세부사항이 비디오 시퀀스 또는 전체 비디오 데이터 스트림에 있는 지와 같은 것에 관련된다. 프로그램 콘텐트는 비디오 데이터 스트림에서 실제로 보여준 물체 또는 사람과 같은 대상을 의미한다. 주 품질은 이에 따라 비디오 데이터 스트림에서의 대상이 제공되는 배경에 관련된다.
포함하는이라는 용어는 한정된 것으로 해석되어서는 안 된다.
2001년 4월 10일에 출원된 PCT 출원 EP01/11565는 비트 스트림에 추가된 품질 태그를 기재한다. 이러한 태그는 비트 스트림에서의 위치에 관련된 이미지 품질을 나타낸다. 언급된 하나의 품질 수단은 왜곡이다. 이는 본 발명에 따른 주 품질과 매우 다르다.
본 발명의 기본 개념은 이에 따라 주 품질에 관한 정보를 제공하는 것인데, 이 정보는 디코딩할 때 상이한 비-프로그램 콘텐트 특성 사이의 우선 순위를 매기는데 필요한 도구를 갖는 디코더를 제공한다.
본 발명의 추가 이점은 다음 설명에서 명백해 질 것이다.
본 발명은 첨부 도면을 참조하여 더 구체적으로 이제 설명될 것이다.
도 1은 본 발명에 따른 비디오 신호(10)를 도시한다. 비디오 신호는 MPEG-2, MPEG-4 또는 그 이상의 응용가능한 MPEG-21 신호와 같은 임의의 알려진 표준에 따른 비디오 신호일 수 있다. 비디오 신호(10)는 압축된 이미지 부분(12), 움직임 벡터 부분(14), 헤더 부분(16)을 포함하는 비디오 데이터의 프레임을 포함한다. 헤더 부분(16)에는 본 발명에 따라 비디오 파라미터(18)의 주관적임 품질을 포함한다. 이러한 정보는 각 프레임에 삽입되고, 프레임 그룹 중 한 프레임, 또는 다수의 프레임 그룹을 포함하는 씬의 시작부에 삽입될 수 있다. 정보는 예를 들어 특정 씬이 많은 움직임을 갖거나 사실상 느린 경우와 같이 프로그램 콘텐트의 유형의 표식(indication)으로서 또한 알게 될 것이다. 그러한 스트림에 삽입된 정보량은 사실상 비디오 스트림 생성기에 의해 삽입되기를 원하는 작업량에 좌우된다. 도 1은 비디오 데이터 스트림의 제 1 프레임만을 도시한다. 일반적으로, 스트림은 프레임의 그룹으로 그룹화된 다수의 프레임을 포함하며, 여기서 비디오 파라미터의 주 품질은 프레임, 프레임 그룹 또는 씬 레벨에서 재개될 때까지 유효하다.
도 2는 이미지 품질을 더 우수하게 인식하도록 하기 위해 정보를 제공하는 비디오 코더 또는 디바이스(20)의 블록도를 도시하며, 상기 비디오 코더는 물리적 채널(30)을 통해 비디오 데이터 스트림을 처리하는 디바이스(32) 또는 수신 디바이스에 연결된다. 물리적 채널(30)은 예를 들어 구리선, 광섬유 또는 무선과 같이 임의의 유형의 채널일 수 있다. 비디오 코더(20)는 비디오 데이터 스트림을 코딩하는 소스 인코더(22)를 포함한다. 코더(20)는 주 파라미터 메모리(24)를 또한 포함한다. 소스 인코더(22) 및 주 파라미터 메모리(24) 모두 멀티플렉서(26)에 연결되며, 상기 멀티플렉서는 소스 코딩되고 압축된 비디오 데이터 스트림에서 프레임의 헤더 내에서 주 파라미터(18)를 멀티플렉싱한다. 멀티플렉서(26)는 비디오 및 정보 송신유닛 또는 송신기(28)에 연결되며, 상기 송신기(28)는 포맷팅 또는 잠재적인 채널 코딩을 포함할 수 있다. 송신기(28)는 다시 물리적 채널(30)에 연결된다. 물리적 채널은 수신 디바이스(32)의 비디오 및 정보 수신 유닛 또는 주 파라미터 추출기(34)에 연결된다. 주 파라미터 추출기(34)는 디코딩 유닛 또는 소스 디코더(38)에 연결된다. 제어 유닛(36)은 파라미터 추출기(34)에 연결되고, 소스 인코더(38)에 연결된다. 마지막으로, 후치 프로세서(40)는 소스 디코더(38)에 연결된다. 제어 유닛(36)은 후치 프로세서(40)에 또한 연결된다.
이제, 본 발명의 바람직한 실시예는 도 1 및 도 2와 관련하여 설명될 것이다. 비디오 데이터 스트림의 제 1 프레임 그룹 중 제 1 프레임은 소스 인코더(22)에서 생성된다. 이 스트림은 비디오 파라미터의 주 품질을 아직 갖지 않는다. 이러한 제 1 프레임에 대해, 주 파라미터 메모리(24)는 2개의 값을 제공하는데, 처음 값은 다음 프레임 그룹에 존재할 움직임 종류를 나타내고, 두 번째 값은 다음 프레임 그룹에 존재할 칼라의 중요성을 나타낸다. 이러한 2개의 값은 상이한 중요성을 가지도록 설정되는데, 즉 하나의 값은 다른 값보다 더 중요할 수 있다. 일단 파라미터가 프레임에 삽입되었으면, 프레임은 물리적 채널(30)을 통해 신호(10)로서 수신 디바이스(32)로 송신하기 위한 송신기(28)로 전달된다. 파라미터는 비디오 데이터 스트림의 다음 프레임 수의 주 품질을 나타낸다. 새로운 파라미터는 이후 다음 프레임 그룹에 삽입되며, 나머지도 이와 같이 이루어진다. 이는 전체 비디오 데이터 스트림에 대해 계속된다.
수신 디바이스(32)는 신호(10)의 형태로 프레임을 수신한다. 수신 디바이스(32)가 프레임을 수신할 때, 먼저 디멀티플렉싱하고, 주 파라미터 추출기(34)에서 파라미터를 비디오 데이터 스트림으로부터 추출한다. 추출된 파라미터는 제어 유닛(36)으로 전달되는 한편, 비디오 데이터 스트림의 나머지 부분은 소스 디코더(38)로 전달된다. 제어 유닛(36)은 수신된 제 1 및 제 2 파라미터에 종속하여 제 1 및 제 2 제어 신호를 생성하고, 소스 디코더로 하여금 비디오 데이터 스트림을 디코딩할 때 이들 제어 신호에 따라 비-프로그램 콘텐트 특성을 설정하도록 한다. 제 1 파라미터에 종속하여 설정된 제 1 제어 신호는 디코딩할 때 사용될 프레임 율을 설정하는 한편, 제 2 파라미터는 칼라 깊이를 설정한다. 이러한 파라미터는 시간적으로 이 지점에서 바람직한 파라미터의 예이다. 그 대신 더 만족스럽고 복잡한 파라미터를 사용할 수 있다. 제어 유닛(36)은 2개의 파라미터 사이의 우선 순위 구성을 또한 사용하며, 상기 2개의 파라미터에서 하나의 파라미터는 다른 파라미터보다 더 중요하다. 이는, 제 1 파라미터가 프로그램이 대량의 움직임을 포함한다는 것을 나타내고 제 2 파라미터가 칼라의 더 낮은 중요성을 나타낸 경우, 제어 유닛은 높은 프레임 율을 가지면서, 일반적으로 해상도에 사용되는 비트보다 더 적은 비트를 사용하기 위해 소스 디코더(38)를 제어한다. 비디오 데이터 스트림의 제 1 프레임을 디코딩한 후, 소스 디코더(38)는 디코딩된 비디오 데이터를 후치 프로세서(40)로 전달하고, 상기 후치 프로세서는 디코딩된 비디오 데이터 스트림의 일부를 후치 처리한다. 여기서, 제어 유닛(36)은 최적으로 인식된 이미지 품질을 달성하기 위해 수신된 파라미터에 기초하여 후치 프로세서(40)에서 설정 또는 성능에 영향을 미친다. 바람직한 실시예에서, 움직임 보상에 영향을 미친다. 그러나, 또한 잡음 감소,프레임/필드 상향 변환 등과 같은 것에 영향을 미칠 수 있다. 디코더는, 후속하는 프레임 그룹의 다음 첫 번째 프레임이 수신될 때까지 동일한 우선 순위 구성을 이용하여 제 1 프레임 그룹에서 후속하는 프레임을 계속해서 디코딩하고, 그 다음에 전술한 추출 및 우선 순위 매김이 반복된다. 이는 전체 데이터 스트림이 디코딩될 때까지 전술한 방식으로 계속된다.
이제, 비디오 데이터 스트림 처리 방법은 상기 방법의 흐름도를 도시한 도 5를 참조하여 설명될 것이다. 먼저, 비디오 데이터 스트림은 단계(48)에서 수신된다. 그 후에, 제 1 및 제 2 파라미터의 형태로 주관적임 품질에 관한 정보는 단계(50)에서 스트림에서의 제 1 프레임 그룹의 제 1 프레임으로부터 추출된다. 이 후에, 제 1 프레임 그룹에서의 데이터의 나머지 부분의 디코딩이 수행되고, 여기서 디코딩의 비-프로그램 콘텐트 특성은 단계(52)에서 수신된 정보에 따라 우선 순위가 매겨진다. 이는, 비-프로그램 콘텐트 특성이 우선 순위 매김으로 인해 상이한 주의(attention)를 수신한다. 예를 들어 양자화 깊이 및 해상도는 프레임 율이 결과로서 원하는 레벨까지 유지될 수 있는 동안 과부하 상태로 저하될 수 있다. 이는 또한 주 품질 정보가 비디오 데이터 스트림을 디코딩할 때 사용된다는 것을 의미한다. 그 후에, 후치 처리는 또한 단계(54)에서 주관 적인 품질에 관한 수신된 정보에 따라 제어된다. 그 후에 전술한 단계는 각 프레임 그룹에 대해 반복된다.
본 발명의 설명된 바람직한 실시예에서, 한정된 리소스의 환경에서 비디오 데이터 스트림을 더 잘 디코딩하는 방법을 설명하였다. 본 발명에 따라, 주 비디오 품질에 관한 정보는 디코더로 송신되고, 상기 디코더는 디코딩할 때 비-프로그램콘텐트 특성의 우선 순위를 매길 때 이 주 정보를 사용한다. 그러한 특성은 예를 들어 프레임 율, 해상도 및 양자화 깊이인데, 이것은 비디오 데이터 스트림이 이들 특성에 대한 상이한 정련(refinery) 레벨로 디코딩되도록 우선 순위가 매겨질 수 있다. 그 다음에 하나의 특성이 프레임, 프레임 그룹 또는 씬에 대한 다른 특성보다 더 높은 주위를 취한다. 이러한 방식으로, 많은 움직임 정보를 갖는 프레임은 예를 들어 마찬가지로 표시될 수 있어서, 프레임 율과 같이 움직임에 대해 중요한 비-프로그램 특성은 더 높은 우선 순위를 취할 수 있는 한편, 움직임의 더 낮은 콘텐트를 갖는 프레임은 해상도 및 양자화 깊이의 우선 순위를 매길 수 있어서, 예를 들어 칼라는 더 높은 해상도를 취한다. 본 발명의 바람직한 실시예에서, 비디오 데이터 스트림의 상이한 부분은 파라미터 세트를 서로 다르게 가질 수 있으며, 이는 심지어 다른 종류의 씬이 동일한 스트림에서 보여줄 때조차 시청자를 위해 양호하게 인식된 품질을 갖는 비디오 데이터 스트림을 디코딩할 수 있다.
본 발명은 많은 방식으로 변형될 수 있다. 먼저, 2개의 파라미터를 제공하는 것이 설명되었다. 본 발명은 2개의 파라미터에 한정되지 않고, 하나 또는 2개 이상이 제공될 수 있다. 또한 파라미터와 비-콘텐트 특성 사이에 1:1 대응이 이루어질 필요가 없다. 더욱이, 프레임 율, 해상도 및 양자화 깊이는 본 발명에 따라 우선 순위가 매겨질 수 있는 가능한 비-프로그램 콘텐트 특성 중 단지 일부분이다. 따라서, 확장 가능(scalable) 디코더의 성능을 제어할 수 있는 다수의 파라미터가 존재한다.
본 발명에 따라, 비디오 파라미터의 주 품질에 기초한 후치 처리에서의 몇몇특성의 제어가 또한 수행된다. 이것은 디코딩 제어 외에 이루어지는 것으로 설명되었다. 그러나, 이러한 제어는 또한 비디오 디코더의 비-프로그램 콘텐트 특성의 제어 대신에 이루어질 수 있다. 본 발명의 다른 변형은, 비디오 파라미터의 주 품질이 각 프레임 그룹 또는 프레임 그룹의 제 1 프레임에서 한번만 제공될 필요가 없다는 것을 의미한다. 이것은 프레임 그룹의 임의의 프레임에서, 각 프레임에서 각 씬 또는 전체 비디오 데이터 스트림에 대해 한번만 동일하게 제공될 수 있다. 전체 스트림에 대해 한번만 제공되는 경우, 우선 순위 매김은 전체 비디오 데이터 스트림에 대해 한번만 이루어진다. 이 경우에, 상이한 씬, 비디오 데이터 스트림의 프레임 또는 프레임ㅋ 그룹에 대해 조절되지 않고, 동일한 우선 순위 매김이 전체 비디오 데이터 스트림에 대해 적용된다. 이러한 특수한 경우에서, 정보는 또한 실제 비디오 데이터 스트림에 제공될 필요가 없지만, 예를 들어 전자 프로그램 가이드로부터 수신될 수 있다. 더욱이, 심지어 씬, 프레임 또는 프레임 그룹이 이 정보를 사용하여 제어되는 경우조차 분리된 정보 스트림 또는 분리된 정보 신호에서 비디오 파라미터의 주 품질을 제공할 수 있다. 그러나, 디코딩 제어가 디코딩 동안 변화되는 경우, 비디오 데이터 스트림은 비디오 파라미터의 주 품질을 포함하는 신호로 동기화되어야 한다. 이 경우에, 비디오 데이터 스트림 및 정보 스트림은 동시에 수신될 수 있다. 대안으로서, 비디오 파라미터의 주 품질은 미리 수신되거나 다운로딩될 수 있고, 비디오 데이터 스트림과 동일한 소스로부터 수신되거나 다운로딩될 필요는 없다. 그 다음에, 제어 유닛은 다운로딩되거나 수신된(2차 스트림을 통해) 파라미터에 따라 비디오 스트림의 상이한 디코딩을 적용하기 위해 양쪽 정보소스 사이에 동기화할 필요가 있다.
전술한 실시예가 본 발명을 한정하기보다는 예시하고, 첨부된 청구항의 범주에서 벗어나지 않고도 많은 대안적인 실시예를 당업자가 설계할 수 있음을 주의해야 한다. 청구항에서, 괄호 사이에 위치한 임의의 참조번호는 청구항에 한정되는 것으로 구성되지 않는다. '포함하는'이라는 용어는 청구항에 기술된 것과 다른 요소 또는 단계의 존재를 배제하지 않는다. 본 발명은 수 개의 별도의 요소를 포함하는 하드웨어, 및 적합하게 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 수 개의 수단을 열거하는 장치 청구항에서, 이들 수단의 몇몇은 동일한 하드웨어 아이템에 의해 구현될 수 있다. 특정 수단이 상호 상이한 종속항에 언급된다는 단순한 사실은 이들 수단의 조합이 유리하게 하는데 사용될 수 없다는 것을 나타내지 않는다.
상술한 바와 같이, 본 발명은, 디코더 및/또는 후치 프로세서의 한정된 디코딩 성능에 관련하여 송신된 비디오 스트림의 이미지 화질을 더 우수하게 인식하도록 하는 것에 이용된다.

Claims (24)

  1. 송신된 비디오 데이터 스트림의 더 양호하게 인식되는 이미지 품질을 달성하도록 하기 위해 정보를 제공하는 방법으로서,
    - 코딩된 비디오 데이터 스트림을 수신 디바이스로 송신하는 단계와,
    - 비디오 데이터 스트림에 관련된 주 품질에 관한 정보를 상기 수신 디바이스로 송신하여, 상기 수신 디바이스가 상기 비디오 데이터 스트림을 처리할 때 정보를 사용할 수 있도록 하는 정보 송신 단계를
    포함하는, 정보 제공 방법.
  2. 제 1항에 있어서, 주 품질에 관한 정보가 상기 비디오 데이터 스트림으로부터 추출될 수 있도록, 콘텐트 품질의 관점에서 비-프로그램 콘텐트 특성을 처리하는 중요성을 나타내기 위해 주 품질에 관한 정보를 상기 데이터 스트림에 삽입하는 단계를 더 포함하는, 정보 제공 방법.
  3. 제 1항 또는 제 2항에 있어서, 주 품질에 관한 정보는 전자 프로그램 가이드로부터의 프로그램 정보를 포함하는, 정보 제공 방법.
  4. 제 1항 또는 제 2항에 있어서, 주 품질에 관한 정보는 프레임당, 프레임 그룹 당 또는 씬(scene)당 콘텐트 유형에 관한 정보를 포함하는, 정보 제공 방법.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서, 주 품질에 관한 정보는 상기 수신 디바이스에서 비-콘텐트 프로그램의 우선 순위 매김을 가능하게 하는, 정보 제공 방법.
  6. 비디오 데이터 스트림 처리 방법으로서,
    - 비디오 데이터 스트림을 수신하는 단계와,
    - 상기 비디오 데이터 스트림에 관련된 주 품질에 관한 정보를 수신하는 단계와,
    -더 양호하게 인식되는 이미지 품질을 달성하기 위해 상기 비디오 데이터 스트림을 처리할 때 주 품질에 관한 상기 정보를 사용하는 단계를
    포함하는, 비디오 데이터 스트림 처리 방법.
  7. 제 6항에 있어서, 상기 사용 단계는 상기 비디오 데이터 스트림을 디코딩할 때 비-프로그램 콘텐트 특성의 제어를 위해 주 품질에 관한 정보를 사용하는 단계를 포함하는, 비디오 데이터 스트림 처리 방법.
  8. 제 6항 또는 제 7항에 있어서, 상기 사용 단계는 디코딩 이후 상기 비디오 데이터 스트림을 후치 처리하기 위해 주 품질에 관한 정보를 사용하는 단계를 포함하는, 비디오 데이터 스트림 처리 방법.
  9. 제 6항 내지 제 8항 중 어느 한 항에 있어서, 주 품질에 관한 상기 정보는 콘텐트 품질의 관점에서 비-프로그램 콘텐트 특성에 대한 처리의 중요성을 나타내기 위해 비디오 데이터 스트림에 포함되고, 상기 코딩된 비디오 데이터 스트림으로부터 주 품질에 관한 정보를 추출하는 단게를 더 포함하는, 비디오 데이터 스트림 처리 방법.
  10. 제 6항 내지 제 9항 중 어느 한 항에 있어서, 상기 품질에 관한 상기 정보는 전자 프로그램 가이드로부터의 프로그램 정보를 포함하는, 비디오 데이터 스트림 처리 방법.
  11. 제 9항에 있어서, 주 품질에 관한 상기 정보는 프레임당, 프레임 그룹당 또는 씬당 콘텐트 유형의 정보를 포함하는, 비디오 데이터 스트림 처리 방법.
  12. 제 7항 내지 제 11항 중 어느 한 항에 있어서, 상기 비-프로그램 콘텐트 특성은 특성 프레임 율, 해상도, 칼라 깊이 또는 움직임 추정인 중 임의의 하나인, 비디오 데이터 스트림 처리 방법.
  13. 제 7항 내지 제12항 중 어느 한 항에 있어서, 상기 사용 단계는 주 품질에 관한 상기 정보에 기초하여 상이한 비-프로그램 콘텐트 특성의 우선 순위를 매기는(prioritizing) 단계와, 이루어진 상기 우선 순위 매김에 따라 상기 비디오 데이터 스트림의 디코딩을 제어하는 단계를 포함하는, 비디오 데이터 스트림 처리 방법.
  14. 송신된 비디오 데이터 스트림의 더 양호하게 인식되는 이미지 품질을 달성하기 위해 정보를 제공하는 디바이스로서,
    - 비디오 데이터 스트림을 수신 디바이스로 송신하는 비디오 송신 유닛과,
    - 상기 비디오 데이터 스트림에 관한 주 품질에 관한 정보를 상기 수신 디바이스로 송신하여, 상기 수신 디바이스가 상기 비디오 데이터 스트림을 처리할 때 주 품질에 관한 정보를 사용할 수 있도록 하는 정보 송신 유닛을
    포함하는, 정보 제공을 위한 디바이스.
  15. 제 14항에 있어서, 상기 비디오 송신 유닛 및 상기 정보 송신 유닛은 동일한 송신 유닛 내에 병합되어, 주 품질에 관한 상기 정보는 콘텐트 품질의 관점에서 주어진 비-프로그램 콘텐트 특성에 대한 처리 중요성을 나타내기 위해 상기 비디오 데이터 스트림에 포함되는, 정보 제공을 위한 디바이스.
  16. 제 14항 또는 제 15항에 있어서, 주 품질에 관한 상기 정보는 상기 수신 디바이스에서 비-콘텐트 프로그램 특성의 우선 순위 매김을 가능하게 하는, 정보 제공을 위한 디바이스.
  17. 비디오 데이터 스트림 처리 디바이스로서,
    - 비디오 데이터 스트림을 수신하는 비디오 수신 유닛과,
    - 상기 비디오 데이터 스트림에 관련된 주 품질에 관한 정보를 수신하는 정보 수신 유닛과,
    - 상기 비디오 데이터 스트림을 디코딩하는 디코딩 유닛과,
    - 더 양호하게 인식되는 이미지 품질을 달성하기 위해 상기 비디오 데이터 스트림을 처리할 때 주 품질에 관한 정보의 사용을 제어하는 제어 유닛을
    포함하는, 비디오 데이터 스트림 처리 디바이스.
  18. 제 17항에 있어서, 상기 제어 유닛은, 상기 비디오 데이터 스트림을 디코딩할 때 비-프로그램 콘텐트 특성의 제어를 위해 주 품질에 관한 상기 정보를 사용하도록 배치되는, 비디오 데이터 스트림 처리 디바이스.
  19. 제 17항 또는 제 18항에 있어서, 주 품질에 관한 상기 정보는 상기 비디오 데이터 스트림 내에 포함되고, 상기 비디오 및 정보 수신 유닛은 동일한 수신 유닛에서 병합되고, 상기 제어 유닛은 상기 비디오 데이터 스트림으로부터 상기 비디오 데이터 스트림에 관련된 주 품질에 관한 정보를 추출하도록 배치되는, 비디오 데이터 스트림 처리 디바이스.
  20. 제 17항 내지 제 19항 중 어느 한 항에 있어서, 상기 제어 유닛은 주 품질에대한 상기 정보에 기초하여 상이한 비-프로그램 콘텐트 특성의 우선 순위를 매기고, 이루어진 상기 우선 순위 매김에 따라 상기 비디오 데이터 스트림의 디코딩을 제어하도록 추가로 배치되는, 비디오 데이터 스트림 처리 디바이스.
  21. 제 17항 내지 제 20항 중 어느 한 항에 있어서, 상기 디코딩된 비디오 데이터 스트림의 후치 처리를 위한 후치 프로세서를 더 포함하며, 상기 제어 디바이스는 상기 후치 프로세서의 제어를 위해 주 품질에 관한 상기 정보를 사용하도록 배치되는, 비디오 데이터 스트림 처리 디바이스.
  22. 적어도 하나의 프레임을 포함하는 비디오 데이터 스트림을 송신하는데 사용하기 위한 신호 포맷으로서,
    상기 프레임은,
    - 헤더 부분과,
    -움직임 벡터 부분과,
    - 압축된 영상 부분을 포함하며,
    상기 부분의 적어도 하나는 상기 비디오 데이터 스트림에 관련된 주 품질에 관한 정보를 포함하여, 수신 디바이스로 하여금 상기 비디오 데이터 스트림을 처리할 때 주 품질에 관한 상기 정보를 사용할 수 있도록 하는, 신호 포맷.
  23. 제 21항에 있어서, 상기 품질에 관한 상기 정보는 상기 수신 디바이스에서비-콘텐트 프로그램 특성의 우선 순위를 매길 수 있게 하는 정보를 포함하는, 신호 포맷.
  24. 제 23항 또는 제 24항에 기재된 신호 포맷이 저장되는, 저장 매체.
KR10-2004-7013798A 2002-03-08 2003-02-12 비디오 품질 KR20040091689A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02075935 2002-03-08
EP02075935.3 2002-03-08
PCT/IB2003/000482 WO2003077562A1 (en) 2002-03-08 2003-02-12 Quality of video

Publications (1)

Publication Number Publication Date
KR20040091689A true KR20040091689A (ko) 2004-10-28

Family

ID=27798854

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7013798A KR20040091689A (ko) 2002-03-08 2003-02-12 비디오 품질

Country Status (8)

Country Link
US (1) US20050114887A1 (ko)
EP (1) EP1486074A1 (ko)
JP (1) JP2005520416A (ko)
KR (1) KR20040091689A (ko)
CN (1) CN1640139A (ko)
AU (1) AU2003202771A1 (ko)
BR (1) BR0303361A (ko)
WO (1) WO2003077562A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677545B1 (ko) * 2004-12-29 2007-02-02 삼성전자주식회사 복수개의 데이터 처리 장치를 이용한 데이터 처리 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체
KR100909373B1 (ko) * 2007-11-19 2009-07-24 영남대학교 산학협력단 문맥정보를 이용한 제이펙 2000 압축 영상 품질 평가 방법
KR101414435B1 (ko) * 2010-04-30 2014-07-01 톰슨 라이센싱 비디오 스트림 품질 평가 방법 및 장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100510138B1 (ko) * 2003-05-01 2005-08-26 삼성전자주식회사 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치
US7379769B2 (en) 2003-09-30 2008-05-27 Sunnybrook Health Sciences Center Hybrid imaging method to monitor medical device delivery and patient support for use in the method
DE102005001286A1 (de) * 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Übertragung von skalierbaren Daten
US20080187291A1 (en) * 2007-02-05 2008-08-07 Microsoft Corporation Prioritization for video acquisition
US8155417B2 (en) 2007-03-27 2012-04-10 Hologic, Inc. Post-acquisition adaptive reconstruction of MRI data
US7940047B2 (en) 2007-11-23 2011-05-10 Sentinelle Medical, Inc. Microcontroller system for identifying RF coils in the bore of a magnetic resonance imaging system
US8570438B2 (en) 2009-04-21 2013-10-29 Marvell World Trade Ltd. Automatic adjustments for video post-processor based on estimated quality of internet video content
US8747331B2 (en) 2009-06-23 2014-06-10 Hologic, Inc. Variable angle guide holder for a biopsy guide plug
EP3960075A1 (en) 2009-11-27 2022-03-02 Hologic, Inc. Systems and methods for tracking positions between imaging modalities and transforming a displayed three-dimensional image corresponding to a position and orientation of a probe
US8639772B2 (en) * 2010-02-16 2014-01-28 Iboard Incorporated Centralized application resource manager
EP2577959A1 (en) 2010-05-26 2013-04-10 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
US9913596B2 (en) 2010-11-25 2018-03-13 Invivo Corporation Systems and methods for MRI guided trans-orifice and transperineal intervention apparatus with adjustable biopsy needle insertion
US9076246B2 (en) 2012-08-09 2015-07-07 Hologic, Inc. System and method of overlaying images of different modalities
CN105210083B (zh) 2013-03-15 2019-05-21 霍罗杰克股份有限公司 用于查验和分析细胞学标本的***和方法
US9306987B2 (en) * 2014-04-29 2016-04-05 Cisco Technology, Inc. Content message for video conferencing
KR102310241B1 (ko) * 2015-04-29 2021-10-08 삼성전자주식회사 소스 디바이스, 그의 제어 방법, 싱크 디바이스 및 그의 화질 개선 처리 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68925011T2 (de) * 1988-09-16 1996-06-27 Philips Electronics Nv Hochauflösungs-Fersehsystem.
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
KR100248404B1 (ko) * 1997-09-04 2000-03-15 정선종 다중 객체 환경에서 우선 순위 정보를 이용한 순화적 계산량 감소 방법
SG116400A1 (en) * 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
US6067118A (en) * 1997-12-16 2000-05-23 Philips Electronics North America Corp. Method of frame-by-frame calculation of quantization matrices
EP0939545A2 (en) * 1998-02-27 1999-09-01 Hitachi, Ltd. Video service system
US6636487B1 (en) * 1998-12-16 2003-10-21 At&T Corp. Apparatus and method for providing multimedia conferencing services with an unspecified bit rate quality of service class over an asynchronous transfer mode network
US6741569B1 (en) * 2000-04-18 2004-05-25 Telchemy, Incorporated Quality of service monitor for multimedia communications system
US6876381B2 (en) * 2001-01-10 2005-04-05 Koninklijke Philips Electronics N.V. System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics
US7010159B2 (en) * 2001-04-25 2006-03-07 Koninklijke Philips Electronics N.V. Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677545B1 (ko) * 2004-12-29 2007-02-02 삼성전자주식회사 복수개의 데이터 처리 장치를 이용한 데이터 처리 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체
KR100909373B1 (ko) * 2007-11-19 2009-07-24 영남대학교 산학협력단 문맥정보를 이용한 제이펙 2000 압축 영상 품질 평가 방법
KR101414435B1 (ko) * 2010-04-30 2014-07-01 톰슨 라이센싱 비디오 스트림 품질 평가 방법 및 장치

Also Published As

Publication number Publication date
CN1640139A (zh) 2005-07-13
JP2005520416A (ja) 2005-07-07
US20050114887A1 (en) 2005-05-26
AU2003202771A1 (en) 2003-09-22
WO2003077562A1 (en) 2003-09-18
EP1486074A1 (en) 2004-12-15
BR0303361A (pt) 2004-03-30

Similar Documents

Publication Publication Date Title
KR20040091689A (ko) 비디오 품질
JP4708263B2 (ja) 画像復号化装置および画像復号化方法
US20100033484A1 (en) Personal-oriented multimedia studio platform apparatus and method for authorization 3d content
JP2006505024A (ja) データ処理方法及び装置
CN102771109A (zh) 通过盖写视频数据进行视频传递和控制
JP2005527885A (ja) Ｍｐ４においてａｖｃをサポートするための方法及び装置
US10341631B2 (en) Controlling modes of sub-title presentation
KR100211055B1 (ko) 내용기반으로 분할된 영상객체들의 스케러블 전송방법
JP2005524128A (ja) Ｍｐ４においてａｖｃをサポートするための方法及び装置
US10432946B2 (en) De-juddering techniques for coded video
US20100186464A1 (en) Laundry refresher unit and laundry treating apparatus having the same
JP2004537931A (ja) シーンを符号化する方法及び装置
US20120008693A1 (en) Substituting Embedded Text for Video Text Images
WO2019193012A1 (en) Creating different video stream representations
EP4380156A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and electronic device and storage medium
KR100944540B1 (ko) 프레임 스키핑을 이용한 부호화 방법 및 장치
KR100322729B1 (ko) 캡션을사용하는디지탈오디오/비디오코덱방법및장치
KR20050030955A (ko) 디지털 비디오 신호를 엔코딩하는 방법 및 엔코더
Hosur et al. Enhanced Frame-based Video Coding to Support Content-based Functionalities
JP2005159878A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid