KR101289603B1 - 참조 및 비참조 비디오 프레임을 검출하고 은닉하는 방법및 장치 - Google Patents

참조 및 비참조 비디오 프레임을 검출하고 은닉하는 방법및 장치 Download PDF

Info

Publication number
KR101289603B1
KR101289603B1 KR1020087001961A KR20087001961A KR101289603B1 KR 101289603 B1 KR101289603 B1 KR 101289603B1 KR 1020087001961 A KR1020087001961 A KR 1020087001961A KR 20087001961 A KR20087001961 A KR 20087001961A KR 101289603 B1 KR101289603 B1 KR 101289603B1
Authority
KR
South Korea
Prior art keywords
frame
block
video bitstream
particular frame
picture order
Prior art date
Application number
KR1020087001961A
Other languages
English (en)
Other versions
KR20080030623A (ko
Inventor
제뉴 우
프레데릭 란다이스
푸르빈 비브하스 판디트
질 맥도날드 보이스
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20080030623A publication Critical patent/KR20080030623A/ko
Application granted granted Critical
Publication of KR101289603B1 publication Critical patent/KR101289603B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

참조 및 비참조 비디오 프레임을 검출하고 은닉하는 방법 및 장치가 제공된다. 비디오 디코더는 엔트로피 디코더(110), 에러 검출기(176) 및 에러 컨실러(178)를 포함한다. 엔트로피 디코더(110)는 고정된 프레임 레이트를 갖게 될 비디오 비트스트림을 압축 해제하고, 이 압축 해제된 비디오 비트스트림을 분석하여 압축 해제된 비디오 비트스트림의 프레임들에 대한 POC를 찾기 위한 것이다. 에러 검출기(176)는 압축 해제된 비디오 비트스트림의 특정 프레임이 손실되었는지 여부를 POC에 기초해 결정하기 위한 것이다. 에러 컨실러(178)는 특정 프레임을 은닉하기 위한 것이다. 본 방법은 비디오 비트스트림을 압축 해제 및 분석하여 압축 해제된 비디오 비트스트림의 프레임들에 대한 POC를 찾는 단계, 압축 해제된 비디오 비트스트림의 특정 프레임이 손실되었는지 여부를 연관된 POC의 비교에 기초해 결정하는 단계(224, 228), 및 특정 프레임을 은닉하는 단계(244)에 의해 달성된다.
엔트로피 디코더, 에러 검출기, 에러 컨실러, 비트스트림, POC

Description

참조 및 비참조 비디오 프레임을 검출하고 은닉하는 방법 및 장치{METHOD AND APPARATUS FOR DETECTION AND CONCEALMENT OF REFERENCE AND NON-REFERENCE VIDEO FRAMES}
관련 출원에 대한 상호 참조
본 출원은 "VIDEO DECODER DETECTION AND CONCEALMENT OF REFERENCE AND NON-REFERENCE FRAMES"란 명칭으로 2005년 7월 25일에 출원된 미국 가특허 출원 제60/702,233호의 우선권을 주장하며, 상기 출원은 본 명세서에 참조 인용되어 있다.
본 발명은 전반적으로 비디오 인코딩 및 디코딩에 관한 것으로, 보다 구체적으로는, 손실된 비참조 비디오 프레임(lost non-reference video frame)을 검출하고, 손실된 참조 및 비참조 비디오 프레임을 은닉하는 방법 및 장치에 관한 것이다.
에러가 발생하기 쉬운 통신 채널을 통해 전송되는 비디오 콘텐츠는 전송 중에 이러한 에러가 발생하고는 한다. 많은 애플리케이션 기반 내에서, 전송 에러는 애플리케이션에 의해 수신될 데이터의 손실을 흔히 야기한다. 예를 들어 3GPP 네트워크와 같은 저속 비트의 비디오 전송 애플리케이션에서는, 각각의 손실된 데이터 유닛이 대개 애플리케이션 레이어에서의 코딩된 프레임의 손실에 대응한다. 비 디오 디코더에 제공되는 이러한 오류 비트스트림이 적절히 처리되지 않는다면 디코딩 프로세스를 실패하게 하거나, 심지어 고장낼 수도 있다. 따라서, 이러한 손실을 검출하기 위한 메커니즘이 디코더 내에 적절히 배치되어야 한다.
비디오 프레임은 H.264 비트스트림에서 2가지 타입, 즉 참조 프레임(reference frame)과 비참조 프레임(non-reference frame)으로 나뉠 수 있다. 현재의 H.264 디코더 JM 소프트웨어는 각각의 참조 프레임에 할당된 변수("frame_num"이라 지칭됨)를 체크함으로써 손실된 참조 프레임을 검출할 수 있다. "frame_num"은 그 다음 참조 프레임에 대해 1씩 증가하고, 2개의 연속하는 "frame_num" 간의 갭이 1보다 클 때, 디코더는 참조 프레임 손실이 발생하였다는 것을 알게 된다. 이 경우, 현재의 디코더 JM 소프트웨어는 임의의 추가 디코딩을 중단시킨다.
또한, 현재의 H.264 디코더 JM 소프트웨어는 비참조 프레임의 손실을 검출할 수 없다. 이러한 디코더는 비트스트림에서 다음으로 이용가능한 프레임을 단순히 디코딩하며, 손실된 프레임을 스킵한다. 이에 따라, 출력 비디오 시퀀스는 더 적은 프레임을 가지게 되고, 이는 최종 시청에 영향을 주는 표시 속도 지터(display speed jitter)를 야기할 수 있다.
발명의 개요
손실된 비참조 비디오 프레임을 검출하고, 손실된 참조 및 비참조 비디오 프레임을 은닉하는 방법 및 장치에 관한 것인 본 발명에 따르면 이러한 종래 기술의 문제점들을 해결할 수 있다.
본 발명의 일 측면에 따르면, 비디오 디코더가 제공된다. 이 비디오 디코더는 엔트로피 디코더, 에러 검출기 및 에러 컨실러를 포함한다. 엔트로피 디코더는 고정된 프레임 레이트를 갖게 될 비디오 비트스트림을 압축 해제하고, 이 압축 해제된 비디오 비트스트림을 분석하여 압축 해제된 비디오 비트스트림의 프레임들에 대한 POC를 찾기 위한 것이다. 에러 검출기는 압축 해제된 비디오 비트스트림의 특정 프레임이 손실되었는지 여부를 POC에 기초해 결정하기 위한 것이다. 에러 컨실러는 특정 프레임을 은닉하기 위한 것이다.
본 발명의 다른 측면에 따르면, 고정된 프레임 레이트를 갖게 될 비디오 비트스트림을 디코딩하는 방법이 제공된다. 이 방법은 비디오 비트스트림을 압축 해제하는 단계, 압축 해제된 비디오 비트스트림을 분석하여 이 압축 해제된 비디오 비트스트림의 프레임들에 대한 POC를 찾는 단계, 압축 해제된 비디오 비트스트림의 특정 프레임이 손실되었는지 여부를 POC에 기초해 결정하는 단계, 및 특정 프레임을 은닉하는 단계를 포함한다.
본 발명의 이러저러한 측면, 특징 및 이점들은 첨부된 도면과 함께 다음의 상세한 설명을 통해 알 수 있을 것이다.
도 1은 본 발명의 원리가 적용될 수 있는 비디오 디코더의 일례를 나타내는 블록도.
도 2는 본 발명의 원리에 따라 비디오 시퀀스를 디코딩하는 방법의 일례를 나타내는 순서도.
첨부된 도면을 통해 본 발명을 보다 잘 이해할 수 있을 것이다.
본 발명은 손실된 비참조 비디오 프레임을 검출하고, 손실된 참조 및 비참조 비디오 프레임을 은닉하는 방법 및 장치에 관한 것이다.
따라서, 본 발명의 원리에 따르면, 디코더 및/또는 디코딩 방법은 비참조 프레임의 손실을 검출하도록 구현될 수 있으며, 대응하는 기능들은 손실된 비참조 프레임을 은닉할 수 있다. 또한, 본 발명의 원리에 따르면, 디코더 및/또는 디코딩 방법은 참조 프레임 또한 은닉하도록 구현될 수 있다. 이러한 손실된 비디오 프레임의 검출 및/또는 은닉은 보다 안정된 비디오 품질 및 비트 속도를 달성하게 하며, 보는 이가 더 큰 만족을 느끼게 한다.
본 란은 본 발명의 원리에 대해 설명하고 있다. 따라서, 당업자들이라면, 본 명세서에 명확히 개시되어 있지 않을지라도, 본 발명의 원리를 구현하고 본 발명의 사상과 범주 내에 속하는 여러 다른 구성들을 도출해 낼 수 있을 것이라는 점을 알아야 한다.
본 명세서에서 인용되는 예들과 조건어 모두는 본 발명의 원리뿐만 아니라 본 기술분야를 향상시키는데 이바지한 본 발명자의 개념에 대한 독자들의 이해를 돕기 위한 것이므로, 특별히 인용된 예들과 조건어에 국한되는 것으로 해석되어서는 안된다.
또한, 본 발명의 원리, 측면 및 실시예들을 인용하는 언급과 그 특정한 예들 모두는 그 구조적이고 기능적으로 균등한 것들을 포함한다. 덧붙여, 이러한 균등물은 현재 알려져 있는 균등물뿐만 아니라 장래 개발될 균등물, 즉 구조에 상관없이 동일한 기능을 수행하도록 개발된 임의의 요소를 포함하는 것으로 의도된다.
따라서, 당업자들이라면, 본 명세서에서 제시되는 블록도가 본 발명의 원리를 구현하는 예시 회로의 개념도를 나타내고 있다는 점을 알 것이다. 마찬가지로, 임의의 플로우차트, 순서도, 상태 천이도, 의사 코드 등은 실질적으로 컴퓨터 판독가능 매체에 표시될 수 있고, 컴퓨터 혹은 프로세서가 도시되어 있든 없든 이러한 컴퓨터 혹은 프로세서에 의해 실행될 수 있는 여러 프로세스를 나타내고 있다는 점을 알 것이다.
도면들에 도시되어 있는 여러 구성요소들의 기능은 전용 하드웨어뿐만 아니라 적합한 소프트웨어 연관 하드웨어를 통해서도 제공될 수 있다. 프로세서에 의해 제공되는 기능들은 하나의 전용 프로세서, 하나의 공유 프로세서, 또는 그 중 일부가 공유되는 복수의 프로세서에 의해 제공될 수도 있다. 또한, "프로세서" 또는 "제어기"라는 용어를 명시적으로 사용한다고 하여 이것이 소프트웨어를 실행할 수 있는 하드웨어만을 지칭한다고 해석되어서는 안되며, DSP 하드웨어, 소프트웨어 기억용 ROM, RAM 및 비휘발성 기억 장치를 제한 없이 내재적으로 포함할 수 있다.
종래의 통상적인 그 밖의 하드웨어가 또한 포함될 수도 있다. 또한, 도면들에 도시되어 있는 임의의 스위치들은 단지 개념적인 것이다. 이러한 기능들은 프로그램 로직의 동작, 전용 로직, 프로그램 제어와 전용 로직의 상호작용, 또는 구현자에 의해 선택될 수 있는 수동의 특정한 기법을 통해서도 실행될 수 있다.
본 청구범위에서는, 특정한 기능을 수행하는 수단으로 표현되는 임의의 구성요소가, a)그 기능을 수행하는 회로 요소들의 조합, 또는 b)소프트웨어가 그 기능을 수행하도록 하기 위해 적합한 회로와 결합되는 펌웨어, 마이크로코드 등을 포함하는 임의 형태의 소프트웨어 등을 포함한 기능들을 어떤 식으로든 수행하는 것을 포함하는 것으로 의도된다. 이러한 청구범위에 의해 규정되는 본 발명은, 인용된 여러 수단들에 의해 제공되는 기능들이 청구항에서 요구되는 식으로 결합되고 통합된다는 점에 그 특징이 있다. 따라서, 이러한 기능들을 제공할 수 있는 임의의 수단은 본 명세서에 개시된 수단들과 균등한 것으로 간주되어야 한다.
도 1을 참조하면, 비디오 디코더가 참조 부호 100에 의해 표시되어 있다. 이 비디오 디코더(100)는 비디오 시퀀스를 수신하기 위한 엔트로피 디코더(110)를 포함한다. 엔트로피 디코더(110)의 제1 출력은 역 양자화기/변환기(120)의 입력과 신호 통신하게 접속되어 있다. 역 양자화기/변환기(120)의 출력은 합산점(140)의 제1 입력과 신호 통신하게 접속되어 있다. 합산점(140)의 출력은 디블록 필터(deblock filter : 190)와 신호 통신하게 접속되어 있다. 디블록 필터(190)의 출력은 참조 화상 기억 장치(150)와 신호 통신하게 접속되어 있다. 참조 화상 기억 장치(150)는 움직임 보상기(160)의 제1 입력과 신호 통신하게 접속되어 있다. 움직임 보상기(160)의 출력은 합산점(140)의 제2 입력과 신호 통신하게 접속되어 있다. 엔트로피 디코더(110)의 제2 출력은 움직임 보상기(160)의 제2 입력과 신호 통신하게 접속되어 있다. 엔트로피 디코더(110)의 제3 출력은 에러 검출기(176)의 입력과 신호 통신하게 접속되어 있다. 에러 검출기(176)의 출력은 에러 컨실러(error concealer : 186)의 입력과 신호 통신하게 접속되어 있다. 에러 컨실러(186)의 출력은 움직임 보상기(160)의 제3 입력과 신호 통신하게 접속되어 있다. 디블록 필터(190)의 출력은 비디오 디코더(100)의 출력으로 이용될 수 있다.
전술한 바와 같이, 손실된 비참조 비디오 프레임을 검출하고, 손실된 참조 및 비참조 비디오 프레임을 은닉하는 방법 및 장치가 제공된다. 바람직하게도, 본 발명의 원리에 따라 손실된 비참조 비디오 프레임을 검출함으로써, 표시 속도 지터를 야기할 수 있고, 최종 시청에 영향을 줄 수 있는 손실된 프레임을 디코더가 단순히 스킵하는 경우를 예방한다. 또한, 손실된 참조 비디오 프레임과 손실된 비참조 비디오 프레임 중 어떠한 것도 본 발명의 원리에 따라 은닉될 수 있다.
H.264 비트스트림의 정규 디코딩 프로세스 동안에, 디코더는 참조 및 비참조 화상 모두를 포함하는 코딩된 화상 각각에 대해 POC(picture order count) 변수를 유지한다. POC는 시간적 직접 방식(temporal direct mode)에서 움직임 벡터를 유도하거나, 또는 B 슬라이스에서 가중 예측을 유도하는 등의 소스 디코딩 목적을 위해 원래 고안되었다. 그러나, 본 발명의 원리에 따르면, POC는 코딩된 비디오 비트스트림이 고정된 프레임 레이트를 이용한다면 손실된 비참조 프레임을 검출하는데도 또한 이용될 수 있다.
유효 H.264 비트스트림에서, 각각의 프레임은 화상 그룹(GOP)의 IDR(instantaneous decoding refresh) 프레임에 대해 0부터 시작하는 그 자신의 POC 값을 갖는다. 한 쌍의 POC 값들 간의 POC 갭을 다음과 같이 규정한다.
POC Gap = POCFrame 1 - POCFrame 2
각각의 GOP 내에서, POC 갭은 일반적으로 2개의 시간적으로 연속한 프레임 1과 2에 대해 동일하게 유지된다. 따라서, POC 갭이 디코더에 지정되고 알려져 있다면, 이 디코더는 프레임이 손실되었는지 여부를 체크할 수 있다. 디코딩 프로세스 후, 이 체크는, B 화상에 대한 부적절한 코딩의 가능성으로 인해, 디코더가 디코딩된 프레임을 파일 또는 디스플레이로 출력할 준비가 될 때마다 행해진다. 디코더는 2개의 시간적으로 인접한 디코딩 프레임들 간의 POC 갭을 계산한다. 이 값이 지정된 POC 갭과 같지 않다면, 디코더는 2개의 프레임들 간에 손실된 프레임(들)이 있다는 것을 알게 된다. 손실된 참조 프레임이 "frame_num" 변수에 의해 검출되기 때문에, POC 갭에 기초한 이 방법은 비참조 프레임에 대해서만 이용된다.
프레임이 손실될 때, "움직임-복사(motion-copy)" 동작이 호출되어 손실된 프레임을 은닉할 수 있다. "움직임-복사"에서는, 지정된 참조 프레임의 움직임 필드가 손실된 프레임에 복사된다. 예컨대, 참조 프레임으로부터의 각 매크로블록(MB) 또는 MB 파티션의 움직임 벡터는 손실된 프레임에서의 공통 배치 구조(co-located structure)로 복사된다. 또한, H.264에서는 복수의 참조 프레임이 허용되기 때문에, 참조 프레임에서의 각 움직임 벡터와 연관된 참조 인덱스 또한 복사된다. 이러한 단계들 후에, 디코더에서는 정규의 움직임 보상 프로시저가 호출되어 손실된 프레임을 재구성한다.
"움직임-복사"와 관련하여 발생하는 한 가지 쟁점은 참조 프레임에서 얼마간 의 MB 또는 MB 파티션이 인트라 모드에서 코딩될 수 있다는 점이다. 이러한 일이 발생할 때에는, 이들 영역들과 연관된 어떠한 움직임 벡터 또는 참조 인덱스도 있을 수 없다. 사실상, 이들 영역들은 움직임 벡터가 복사될 움직임 필드에서 "홀"을 생성한다. 이러한 문제점을 해결하는 한 가지 방안은 손실된 프레임에서의 이들 손실된 움직임 벡터에 (0,0) 값을 할당하는 것이다. 그러나, 이 필드가 많은 움직임을 포함할 때에는, 에러 전파로 인해 장래의 프레임뿐만 아니라 은닉 프레임에도 은닉 아티팩트(들)를 발생시킬 수 있다. 이는 디코딩된 비디오 품질을 저하시킨다.
본 발명의 원리에 따르면, 공간적으로 이용가능한 인접 영역들에 기초해 이들 영역들의 손실된 움직임 정보를 예측한다. 구체적으로 말하면, 이러한 영역의 움직임 정보는 SKIP 모드와 동일한 디코딩 프로시저에 따라 얻어진다. 즉, 이러한 영역의 움직임 벡터는 공간적으로 인접한 특정 영역의 움직임 벡터를 중간값 필터링(median filtering)함으로써 예측된다. 동시에, 손실된 프레임에서의 이러한 영역의 움직임 벡터의 참조 인덱스는 SKIP 모드 디코딩과 동일한 바로 이전의 참조 프레임에 할당된다.
"움직임-복사"에서, 참조 프레임은 움직임 정보를 전하는 디코더 버퍼에서 이용가능한 임의의 프레임일 수 있다. 따라서, IDR 프레임이 손실되더라도, 비트스트림에서의 제1 프레임이 아닌 한, 이전의 GOP에 기인할 수 있는 IDR 프레임은 디코더 버퍼에서 이용가능한 참조 프레임을 특정함으로써 "움직임-복사"로 여전히 은닉될 수 있다.
도 2를 참조하면, 비디오 시퀀스를 디코딩하는 방법이 참조 부호 200으로 표시되어 있다. 이 방법(200)은 비참조 프레임뿐만 아니라 참조 프레임을 검출할 수 있으며, 손실된 프레임을 은닉할 수 있다. 프레임이 손실될 때, 이 방법은 수정된 "움직임-복사" 동작을 이용해 이를 은닉한다. 현재의 디코딩 방안에 비해, 본 발명에 의해 제안된 두 가지 개선점, 즉 POC 갭의 계산과, 참조 프레임에서의 인트라-코딩 영역에 대한 움직임 정보의 예측에 의해 초래되는 추가적인 복잡함은 그다지 중요하지 않다.
이 방법은 루프 리미트 블록(loop limit block : 208)으로 진행하는 시작 블록(204)을 포함한다. 루프 리미트 블록(208)에서는 비디오 시퀀스에서의 각 프레임에 대해 루프를 시작하고, 결정 블록(212)으로 진행한다. 결정 블록(212)에서는 새로운 프레임의 프레임 수에서 구(바로 전) 프레임의 프레임 수를 뺀 값이 1인지 여부에 대해 결정한다. 그 값이 1이면, 블록(216)으로 진행하고, 1이 아니면 루프 리미트 블록(236)으로 진행한다.
블록(216)에서는 현재 프레임의 정규 디코딩을 수행하고, 결정 블록(220)으로 진행한다. 결정 블록(220)에서는 현재 프레임이 표시를 위해 출력될 준비가 되어있는지 여부에 대해 결정한다. 준비가 되어있다면, 블록(224)으로 진행하고, 준비가 되어있지 않다면, 루프 리미트 블록(232)으로 진행하여 각 프레임에 대해 이 루프를 종료한다.
블록(224)에서는 POC 갭을 계산하고, 결정 블록(228)으로 진행한다. 결정 블록(228)에서는 POC 갭이 올바른지 여부에 대해 결정한다. 올바르다면, 루프 리 미트 블록(232)으로 진행하고, 올바르지 않다면, 루프 리미트 블록(236)으로 진행한다.
루프 리미트 블록(236)에서는 손실된 프레임에서의 각 매크로블록에 대해 루프를 시작하고, 결정 블록(240)으로 진행한다. 결정 블록(240)에서는 참조 프레임에서의 공통 배치 영역이 인트라 코딩되는지 여부에 대해 결정한다. 인트라 코딩된다면, 블록(244)으로 진행하고, 인트라 코딩되지 않는다면, 블록(276)으로 진행한다.
블록(244)에서는 SKIP 모드 디코딩에 따라 그 영역의 움직임 벡터를 예측하고, 블록(248)으로 진행한다. 블록(248)에서는 영역의 참조 인덱스를 그 전 참조 프레임에 설정하고, 루프 리미트 블록(252)으로 진행한다.
결정 블록(240)이 블록(276)으로 진행하면, MV는 참조 프레임에서의 공통 배치 영역의 MV로 설정되고, 블록(280)으로 진행한다. 블록(280)에서는 그 영역의 참조 인덱스를 참조 프레임에서의 공통 배치 영역의 참조 인덱스로 설정한 후, 루프 리미트 블록(252)으로 진행한다.
루프 리미트 블록(252)에서는 손실된 프레임에서의 각 매크로블록에 대한 루프를 종료하고, 블록(256)으로 진행한다. 블록(256)에서는 움직임 보상을 수행하여 손실된 프레임을 재구성하고, 결정 블록(260)으로 진행한다. 결정 블록(260)에서는 손실된 프레임이 참조 프레임인지 여부에 대해 결정한다. 참조 프레임이라면, 블록(264)으로 진행하고, 참조 프레임이 아니라면, 블록(272)으로 진행한다. 블록(272)에서는, 은닉 프레임에 대한 POC가 갱신되고, 루프 리미트 블록(232)으로 진행한다.
블록(264)에서는 은닉 프레임에 대한 frame_num을 갱신하고, 블록(268)으로 진행한다. 블록(268)에서는 은닉 프레임을 디코더 버퍼에 두고, 루프 리미트 블록(232)으로 진행한다.
루프 리미트 블록(232)은 종료 블록(284)으로 진행한다.
이제, 본 발명의 여러 부수적인 이점/특징들(그 중 일부에 대해서는 전술함) 에 대해 설명한다. 본 발명의 한가지 이점/특징을 예로 들면 엔트로피 디코더, 에러 검출기 및 에러 컨실러를 포함하는 비디오 디코더라는 점이다. 엔트로피 디코더는 고정된 프레임 레이트를 갖게 될 비디오 비트스트림을 압축 해제하고, 이 압축 해제된 비디오 비트스트림을 분석하여 압축 해제된 비디오 비트스트림의 프레임들에 대한 POC를 찾기 위한 것이다. 에러 검출기는 압축 해제된 비디오 비트스트림의 특정 프레임이 손실되었는지 여부를 POC에 기초해 결정하기 위한 것이다. 에러 컨실러는 특정 프레임을 은닉하기 위한 것이다.
본 발명의 다른 이점/특징은, 압축 해제된 비디오 비트스트림의 시간적으로 인접한 프레임들 간의 POC 갭에 기초해 특정 프레임이 손실되었는지 여부를 에러 검출기가 결정하는 전술한 바와 같은 비디오 디코더라는 점에 있다. 본 발명의 또 다른 이점/특징은, 시간적으로 인접한 프레임들 간의 POC 갭을 결정하고, 이 POC 갭이 임계값보다 클 때 특정 프레임이 손실된 것으로 표시함으로써 특정 프레임이 손실되었는지 여부를 에러 검출기가 결정하는 전술한 바와 같은 비디오 디코더라는 점에 있다. 또한, 본 발명의 또 다른 이점/특징은, 에러 컨실러가 프레임 반복 프 로시저를 이용해 특정 프레임을 은닉하는 전술한 바와 같은 비디오 디코더라는 점에 있다. 본 발명의 또 다른 이점/특징은, 이전 코딩된 프레임에서의 공통 배치 블록으로부터 특정 프레임에서의 블록에 관한 움직임 정보를 유도함으로써 에러 컨실러가 특정 프레임을 은닉하는 전술한 바와 같은 비디오 디코더라는 점에 있다. 또한, 본 발명의 또 다른 이점/특징은, 전술한 바와 같이, 이전 코딩된 프레임에서의 공통 배치 블록으로부터 특정 프레임에서의 블록에 관한 움직임 정보를 유도하는 비디오 디코더로서, 에러 컨실러가 이전 코딩된 프레임에서의 공통 배치 블록의 참조 인덱스로부터 특정 프레임에서의 블록에 이용하기 위한 참조 인덱스를 유도한다는 점에 있다. 본 발명의 또 다른 이점/특징은, 전술한 바와 같이, 이전 코딩된 프레임에서의 공통 배치 블록으로부터 특정 프레임에서의 블록에 관한 움직임 정보를 유도하는 비디오 디코더로서, 이전 코딩된 프레임에서의 공통 배치 블록이 인트라 코딩될 때, 에러 컨실러가, 이전 코딩된 프레임에서의 공통 배치 블록의 공간적으로 이용가능한 인접 블록의 움직임 벡터로부터 특정 프레임에서의 블록에 관한 움직임 정보를 대신 유도함으로써 특정 프레임을 은닉한다는 점에 있다. 또한, 본 발명의 또 다른 이점/특징은, 전술한 바와 같이, 이전 코딩된 프레임에서의 공통 배치 블록이 인트라 코딩될 때, 이전 코딩된 프레임에서의 공통 배치 블록의 공간적으로 이용가능한 인접 블록의 움직임 벡터로부터 특정 프레임에서의 블록에 관한 움직임 정보를 대신 유도하는 비디오 디코더로서, 에러 컨실러가, 이전 코딩된 프레임에서의 공통 배치 블록의 공간적으로 이용가능한 인접 블록의 움직임 벡터에 중간값 필터를 적용함으로써 특정 프레임에서의 블록에 관한 움직임 정보를 유도한 다는 점에 있다. 본 발명의 또 다른 이점/특징은, 전술한 바와 같이, 이전 코딩된 프레임에서의 공통 배치 블록이 인트라 코딩될 때, 이전 코딩된 프레임에서의 공통 배치 블록의 공간적으로 이용가능한 인접 블록의 움직임 벡터로부터 특정 프레임에서의 블록에 관한 움직임 정보를 대신 유도하는 비디오 디코더로서, 특정 프레임에서의 블록에 관한 움직임 정보가 SKIP 모드 디코딩을 이용해 얻어진다는 점에 있다. 본 발명의 또 다른 이점/특징은, 전술한 바와 같이, 이전 코딩된 프레임에서의 공통 배치 블록이 인트라 코딩될 때, SKIP 모드 디코딩을 이용해 특정 프레임에서의 블록에 관한 움직임 정보를 대신 유도하는 비디오 디코더로서, SKIP 모드 디코딩이 ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 표준에 따라 수행된다는 점에 있다. 본 발명의 또 다른 이점/특징은, 에러 검출기가 특정 프레임의 POC를 갱신하는 전술한 바와 같은 비디오 디코더라는 점에 있다. 이러한 이점/특징들 중 하나 이상은 본 발명의 다양한 실시예들과 연관될 수 있다.
당업자들이라면, 본 명세서에 개시된 내용을 토대로 본 발명의 이러한 이점 및 특징들을 쉽게 알 수 있을 것이다. 또한, 본 발명의 개시 내용은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서 또는 이들의 조합과 같은 다양한 형태로 구현될 수 있다는 점을 알아야 한다.
가장 바람직하게는, 본 발명의 개시 내용이 하드웨어와 소프트웨어의 조합으로 구현되는 것이다. 또한, 이러한 소프트웨어는 프로그램 기억 장치에 유형적으로 합체된 애플리케이션 프로그램으로 구현될 수도 있다. 애플리케이션 프로그램 은 임의의 적합한 아키텍처를 포함하는 기계에 업로드되어 실행될 수 있다. 바람직하게는, 이 기계가 하나 이상의 CPU, RAM 및 입/출력(I/O) 인터페이스와 같은 하드웨어를 구비한 컴퓨터 플랫폼상에 구현되는 것이다. 컴퓨터 플랫폼은 운영 시스템과 마이크로 명령 코드를 또한 포함할 수 있다. 본 명세서에서 설명된 다양한 프로세스와 기능들은, CPU에 의해 실행될 수 있는, 마이크로 명령 코드의 일부, 또는 애플리케이션 프로그램의 일부, 또는 이들의 임의 조합일 수 있다. 또한, 추가의 데이터 기억 유닛 및 인쇄 유닛 등의 여러 그 밖의 주변 유닛들이 컴퓨터 플랫폼에 연결될 수 있다.
첨부된 도면에 도시되어 있는 시스템 구성요소 및 방법들의 일부가 바람직하게 소프트웨어로 구현되기 때문에, 시스템 구성요소들 간의 실제 접속 또는 프로세스 기능 블록들은 본 발명이 프로그램되는 방식에 따라 달라질 수 있다는 점을 알아야 한다. 당업자들이라면, 본 명세서의 개시 내용을 통해, 본 발명의 이러한 구현 또는 구성, 및 이와 유사한 구현 또는 구성을 생각해 낼 수 있을 것이다.
본 명세서에서는 첨부된 도면을 참조하여 바람직한 실시예들에 대해 설명하였지만, 본 발명은 이러한 실시예들에 국한되지 않으며, 당업자들이라면 본 발명의 사상과 범주를 벗어나지 않고서 다양한 변경 및 수정을 가할 수 있을 것이라는 점에 유의하여야 한다. 따라서, 이러한 변경 및 수정 모두는 다음의 청구범위에 의해 규정되는 바와 같은 본 발명의 범주 내에 속하는 것으로 의도되어 진다.

Claims (22)

  1. 비디오 디코더로서,
    비디오 비트스트림을 압축 해제하고, 상기 압축 해제된 비디오 비트스트림을 분석(parse)하여 상기 압축 해제된 비디오 비트스트림의 프레임들에 대한 픽쳐 오더 카운트(picture order count: POC)들을 찾는 엔트로피 디코더(110);
    상기 픽쳐 오더 카운트들의 비교에 기초하여, 상기 압축 해제된 비디오 비트스트림의 특정 프레임이 손실되었는지 여부를 결정하는 에러 검출기(176); 및
    이전 코딩된 프레임 내의 같은 곳에 배치된 블록(co-located block)으로부터 상기 특정 프레임 내의 블록에 관한 움직임 정보를 도출함으로써 상기 특정 프레임을 은닉하는 에러 컨실러(error concealer : 186)
    를 포함하는 비디오 디코더.
  2. 제1항에 있어서,
    상기 에러 검출기(176)는, 상기 압축 해제된 비디오 비트스트림의 시간적으로 인접한 프레임들 간의 픽쳐 오더 카운트들의 갭에 기초하여 상기 특정 프레임이 손실되었는지를 결정하는 비디오 디코더.
  3. 제1항에 있어서,
    상기 에러 검출기(176)는, 시간적으로 인접한 프레임들 간의 픽쳐 오더 카운트 갭을 결정하고 상기 픽쳐 오더 카운트 갭이 임계값보다 클 때 상기 특정 프레임이 손실된 것으로 표시함으로써 상기 특정 프레임의 손실을 결정하는 비디오 디코더.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 에러 컨실러(186)는 이전 디코딩된 프레임 내의 같은 곳에 배치된 블록의 참조 인덱스로부터 상기 특정 프레임 내의 블록에 이용하기 위한 참조 인덱스를 도출하는 비디오 디코더.
  7. 제1항에 있어서,
    상기 에러 컨실러(186)는, 상기 이전 코딩된 프레임 내의 같은 곳에 배치된 블록이 인트라 코딩될 때, 상기 이전 코딩된 프레임 내의 같은 곳에 배치된 블록의 공간적으로 이용가능한 이웃들(neighbors)의 움직임 벡터들로부터 상기 특정 프레임 내의 블록에 관한 움직임 정보를 대신 도출함으로써 상기 특정 프레임을 은닉하는 비디오 디코더.
  8. 제7항에 있어서,
    상기 에러 컨실러(186)는 상기 이전 코딩된 프레임 내의 같은 곳에 배치된 블록의 공간적으로 이용가능한 이웃들의 움직임 벡터들에 중간값 필터(median filter)를 적용함으로써 상기 특정 프레임 내의 블록에 관한 움직임 정보를 도출하는 비디오 디코더.
  9. 제7항에 있어서,
    상기 특정 프레임 내의 블록에 관한 움직임 정보는 SKIP 모드 디코딩을 이용해 얻어지는 비디오 디코더.
  10. 제9항에 있어서,
    상기 SKIP 모드 디코딩은 ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 표준에 따라 수행되는 비디오 디코더.
  11. 제1항에 있어서,
    상기 에러 검출기(176)는 상기 특정 프레임의 픽쳐 오더 카운트를 갱신하는 비디오 디코더.
  12. 비디오 비트스트림을 디코딩하는 방법으로서,
    상기 비디오 비트스트림을 압축 해제하는 단계;
    상기 압축 해제된 비디오 비트스트림을 분석하여 상기 압축 해제된 비디오 비트스트림의 프레임들에 대한 픽쳐 오더 카운트를 찾는 단계;
    연관된 픽쳐 오더 카운트들의 비교에 기초하여, 상기 압축 해제된 비디오 비트스트림의 특정 프레임이 손실되었는지를 결정하는 단계(224, 228); 및
    이전 코딩된 프레임 내의 같은 곳에 배치된 블록으로부터 상기 특정 프레임 내의 블록에 관한 움직임 정보를 도출함으로써 상기 특정 프레임을 은닉하는 단계(244)
    를 포함하는 비디오 비트스트림의 디코딩 방법.
  13. 제12항에 있어서,
    상기 결정 단계(224, 228)는, 상기 압축 해제된 비디오 비트스트림의 시간적으로 인접한 프레임들 간의 픽쳐 오더 카운트들의 갭에 기초하여 상기 특정 프레임이 손실되었는지를 결정하는 비디오 비트스트림의 디코딩 방법.
  14. 제12항에 있어서,
    상기 결정 단계(224, 228)는, 시간적으로 인접한 프레임들 간의 픽쳐 오더 카운트 갭을 결정하고 상기 픽쳐 오더 카운트 갭이 임계값보다 클 때 상기 특정 프레임이 손실된 것으로 표시함으로써 상기 특정 프레임의 손실을 결정하는 비디오 비트스트림의 디코딩 방법.
  15. 삭제
  16. 삭제
  17. 제12항에 있어서,
    상기 은닉 단계(244)는 이전 디코딩된 프레임 내의 같은 곳에 배치된 블록의 참조 인덱스로부터 상기 특정 프레임 내의 블록에 이용하기 위한 참조 인덱스를 도출하는 비디오 비트스트림의 디코딩 방법.
  18. 제12항에 있어서,
    상기 은닉 단계(244)는, 상기 이전 코딩된 프레임 내의 같은 곳에 배치된 블록이 인트라 코딩될 때, 상기 이전 코딩된 프레임 내의 같은 곳에 배치된 블록의 공간적으로 이용가능한 이웃들의 움직임 벡터들로부터 상기 특정 프레임 내의 블록에 관한 움직임 정보를 대신 도출함으로써 상기 특정 프레임을 은닉하는 비디오 비트스트림의 디코딩 방법.
  19. 제18항에 있어서,
    상기 은닉 단계(244)는 상기 이전 코딩된 프레임 내의 같은 곳에 배치된 블록의 공간적으로 이용가능한 이웃들의 움직임 벡터들에 중간값 필터를 적용함으로써 상기 특정 프레임 내의 블록에 관한 움직임 정보를 도출하는 비디오 비트스트림의 디코딩 방법.
  20. 제18항에 있어서,
    상기 특정 프레임 내의 블록에 관한 움직임 정보는 SKIP 모드 디코딩을 이용해 얻어지는 비디오 비트스트림의 디코딩 방법.
  21. 제20항에 있어서,
    상기 SKIP 모드 디코딩은 ITU-T H.264 표준에 따라 수행되는 비디오 비트스트림의 디코딩 방법.
  22. 제12항에 있어서,
    상기 특정 프레임의 픽쳐 오더 카운트를 갱신하는 단계(272)를 더 포함하는 비디오 비트스트림의 디코딩 방법.
KR1020087001961A 2005-07-25 2006-06-06 참조 및 비참조 비디오 프레임을 검출하고 은닉하는 방법및 장치 KR101289603B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US70223305P 2005-07-25 2005-07-25
US60/702,233 2005-07-25
PCT/US2006/021890 WO2007018709A2 (en) 2005-07-25 2006-06-06 Method and apparatus for the concealment of missing video frames

Publications (2)

Publication Number Publication Date
KR20080030623A KR20080030623A (ko) 2008-04-04
KR101289603B1 true KR101289603B1 (ko) 2013-07-24

Family

ID=37137156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087001961A KR101289603B1 (ko) 2005-07-25 2006-06-06 참조 및 비참조 비디오 프레임을 검출하고 은닉하는 방법및 장치

Country Status (10)

Country Link
US (1) US8428147B2 (ko)
EP (1) EP1908300B1 (ko)
JP (2) JP2009504001A (ko)
KR (1) KR101289603B1 (ko)
CN (1) CN101288315B (ko)
BR (1) BRPI0613522B1 (ko)
ES (1) ES2674908T3 (ko)
MX (1) MX2008001155A (ko)
TW (1) TW200723888A (ko)
WO (1) WO2007018709A2 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090296826A1 (en) * 2007-01-04 2009-12-03 Thomson Licensing Methods and apparatus for video error correction in multi-view coded video
US8605779B2 (en) 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
WO2009002310A1 (en) * 2007-06-27 2008-12-31 Thomson Licensing Method and apparatus for identification of lost coded video frames
JP4950133B2 (ja) * 2008-06-11 2012-06-13 日本放送協会 受信エラー補完型受信機及びプログラム
US20100158130A1 (en) * 2008-12-22 2010-06-24 Mediatek Inc. Video decoding method
CN102148985B (zh) * 2010-02-05 2013-06-12 宏碁股份有限公司 视讯译码装置
TWI442778B (zh) * 2010-02-05 2014-06-21 Acer Inc 視訊解碼裝置
CN107071464A (zh) 2011-01-19 2017-08-18 寰发股份有限公司 为当前块的运动矢量导出运动矢量预测子的方法及装置
US9807386B2 (en) * 2011-09-29 2017-10-31 Telefonaktiebolaget Lm Ericsson (Publ) Reference picture list handling
US9398293B2 (en) * 2013-01-07 2016-07-19 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
KR101645235B1 (ko) * 2014-04-04 2016-08-04 고려대학교 산학협력단 정보 은닉 기법을 이용한 재압축-재압축 해제 장치, 방법 및 이를 저장한 저장매체
CN104883372B (zh) * 2015-06-19 2018-11-16 中国电子科技集团公司第五十四研究所 一种基于无线自组织网的防欺骗和抗攻击的数据传输方法
MX2018010753A (es) * 2016-03-07 2019-01-14 Fraunhofer Ges Forschung Método de ocultamiento híbrido: combinación de ocultamiento de pérdida paquete de dominio de frecuencia y tiempo en códecs de audio.
CN107231563B (zh) 2016-03-24 2020-06-23 腾讯科技（深圳）有限公司 视频处理方法和装置
US10304468B2 (en) * 2017-03-20 2019-05-28 Qualcomm Incorporated Target sample generation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004075554A1 (en) 2003-02-18 2004-09-02 Nokia Corporation Picture decoding method
WO2005046072A1 (en) 2003-10-09 2005-05-19 Thomson Licensing Direct mode derivation process for error concealment
US20060271990A1 (en) 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724369A (en) * 1995-10-26 1998-03-03 Motorola Inc. Method and device for concealment and containment of errors in a macroblock-based video codec
KR100247978B1 (ko) * 1997-08-08 2000-03-15 윤종용 픽쳐 디코딩 동기화 회로 및 그 방법
JP3349964B2 (ja) * 1998-11-02 2002-11-25 沖電気工業株式会社 画像復号化装置
JP3411234B2 (ja) * 1999-04-26 2003-05-26 沖電気工業株式会社 符号化情報受信復号装置
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US8194751B2 (en) * 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
US7403660B2 (en) * 2003-04-30 2008-07-22 Nokia Corporation Encoding picture arrangement parameter in picture bitstream
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US7567584B2 (en) * 2004-01-15 2009-07-28 Panasonic Corporation Multiplex scheme conversion apparatus
US7751324B2 (en) * 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004075554A1 (en) 2003-02-18 2004-09-02 Nokia Corporation Picture decoding method
WO2005046072A1 (en) 2003-10-09 2005-05-19 Thomson Licensing Direct mode derivation process for error concealment
US20060271990A1 (en) 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
I.G Richardson "Frame and Picture Management" Jan. 2004,pages 1-7, XP002435299, URL:http://www.rgu.ac.uk/files/avc_picmanagement_draft1.pdf *

Also Published As

Publication number Publication date
ES2674908T3 (es) 2018-07-04
WO2007018709A2 (en) 2007-02-15
EP1908300A2 (en) 2008-04-09
WO2007018709A3 (en) 2007-08-16
CN101288315A (zh) 2008-10-15
CN101288315B (zh) 2012-05-30
KR20080030623A (ko) 2008-04-04
JP5536174B2 (ja) 2014-07-02
US8428147B2 (en) 2013-04-23
MX2008001155A (es) 2008-03-13
JP2009504001A (ja) 2009-01-29
BRPI0613522A2 (pt) 2011-01-18
JP2013021729A (ja) 2013-01-31
EP1908300B1 (en) 2018-05-16
BRPI0613522B1 (pt) 2019-09-17
US20090175344A1 (en) 2009-07-09
TW200723888A (en) 2007-06-16

Similar Documents

Publication Publication Date Title
KR101289603B1 (ko) 참조 및 비참조 비디오 프레임을 검출하고 은닉하는 방법및 장치
US5724369A (en) Method and device for concealment and containment of errors in a macroblock-based video codec
US11057546B2 (en) Video encoding and decoding
JP6348188B2 (ja) ビデオにおけるピクチャのロバストな符号化および復号化
US8340510B2 (en) Implementing channel start and file seek for decoder
JP5593440B2 (ja) 動きベクトル予測方法
US20160073135A1 (en) Method and apparatus for video error concealment using reference frame selection rules
JPH08154247A (ja) 圧縮画像データ処理装置及び方法
US20130272420A1 (en) Video encoding and decoding with improved error resilience
US20130230108A1 (en) Method and device for decoding a bitstream
JP3852594B2 (ja) ディジタル画像復号装置及びディジタル画像復号方法
KR20050089457A (ko) 동영상 복호화 시 에러 은닉 방법
KR20050099080A (ko) 동영상 복호화 시 영상 품질 향상 방법
KR20050089454A (ko) 동영상 복호화 시 에러 은닉 방법
JP2003070003A (ja) 動き補償フレーム間予測符号化方法／復号化方法および動き補償フレーム間予測符号化／復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160616

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190716

Year of fee payment: 7