KR100873638B1 - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR100873638B1
KR100873638B1 KR1020070004964A KR20070004964A KR100873638B1 KR 100873638 B1 KR100873638 B1 KR 100873638B1 KR 1020070004964 A KR1020070004964 A KR 1020070004964A KR 20070004964 A KR20070004964 A KR 20070004964A KR 100873638 B1 KR100873638 B1 KR 100873638B1
Authority
KR
South Korea
Prior art keywords
interest
depth
feature
index
clue
Prior art date
Application number
KR1020070004964A
Other languages
English (en)
Other versions
KR20080067544A (ko
Inventor
김윤경
문영수
김준모
유용석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070004964A priority Critical patent/KR100873638B1/ko
Priority to US11/882,272 priority patent/US8542929B2/en
Publication of KR20080067544A publication Critical patent/KR20080067544A/ko
Application granted granted Critical
Publication of KR100873638B1 publication Critical patent/KR100873638B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상의 화질 개선, 입체감 증강 처리를 위한 영상 처리 방법 및 장치에 관한 것으로, 입력 영상으로부터 영상 내에 존재하는 깊이 감 추정 단서를 기초로 관심 특징 지수를 추출하고, 추출된 관심 특징 지수 및 깊이 감 추정 단서에 대한 관심 중요도를 기초로 관심 특징 지수 통합 맵을 계산하고, 계산된 관심 특징 지수 통합 맵을 기초로 영상에 대한 차별 처리를 수행함으로써, 관심 객체 영역 분할 및 정확한 깊이 정보와 객체 모델 없이 깊이 감 추정 단서가 존재할 확률에 기반하여 입체감 및 실감 증강 처리를 할 수 있다.
깊이 감 추정 단서, 관심 특징 지수, 관심 중요도

Description

영상 처리 방법 및 장치{Image processing method and apparatus}
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 개략적인 구성을 도시한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 처리 장치의 개략적인 구성을 도시한 블록도이다.
도 3은 본 발명의 또 다른 실시예에 따른 도 1에 도시된 관심 특징 지수 추출부(100)의 구성을 도시한 블록도이다.
도 4는 본 발명의 또 다른 실시예에 따른 영상 처리 장치의 개략적인 구성을 도시한 블록도이다.
도 5는 본 발명의 또 다른 실시예에 따른 영상 처리 장치의 개략적인 구성을 도시한 블록도이다.
도 6은 본 발명의 또 다른 실시예에 따른 도 1에 도시된 깊이 감 증강 처리부(120)의 구성을 도시한 블록도이다.
도 7은 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 관심 특징 지수 추출부 110: 관심 특징 지수 통합 맵 계산부
120: 깊이 감 증강 처리부 200: 장르 모드 결정부
210: 장르 모드 해석부 220: 깊이 감 추정 단서 선택부
300: 제 1~N 깊이 감 추정 단서의 관심 특징 지수 추출부
400: 관심 특징 지수 신뢰도 계산부 410: 비교부
500: 관심 중요도 계산부 600: 처리 단서 결정부
610: 차별 처리 수행부
본 발명은 영상 처리 방법 및 장치에 관한 것으로, 더 상세하게는 영상의 화질 개선, 입체감 증강 처리를 위한 영상 처리 방법 및 장치에 관한 것이다.
디지털 비디오 신호 처리에 관련된 영역 분할(segmentation)은 꾸준히 주요 연구 분야로서 관심의 대상이 되어왔다. 이 분야에 대한 효율적인 분석과 표현은 나날이 새로운 기술이 적용되고 있으며, 오늘날 많은 멀티미디어 적용분야에 있어서 없어서는 안 될 중요한 분야가 되었다.
이러한 비디오 신호의 영역 분할은 다양한 응용분야가 있으며, 이러한 영역 분할 결과를 이용하여 화질 처리, 동영상 부호화, 객체 인식 등에 효과적으로 이용될 수 있다.
특히, 화질 처리분야에서는 동영상에서 전경(foreground, 이하 'FG'라 칭함)과 배경(background, 이하 'BG'라 칭함)을 분리할 수 있으면 전경과 배경을 차별적으로 처리하는 방식으로 입체감/실감을 증감시킬 수 있다. 여기서 전경은 영상 화면 내에서 중요한 부분, 예를 들면 화면의 중심 인물, 사물을 포함하는 의미하는 것이며, 배경은 화면 내에서 중요도가 떨어지는 예를 들면 뒷 배경, 산, 나무 등을 포함하는 의미이다.
이러한 영상의 영역 분할 또는 깊이 정보에 기초한 화질 처리에 관하여 다수의 기술이 공지되어 있다.
필립스의 미국특허 제 6,252,982호는 한 장의 영상에 대해 중요 부분을 정의하고, 영역별로 차별 처리하여 깊이 감을 증가시키고, 직접적인 깊이 정보를 활용하는 기술에 대해 개시하고 있다.
또한, AT&T의 미국특허 제 6,157,733호는 입력 영상의 관심 물체 영역에 대해 단안 단서, 예를 들면 그림자 추가, 밝기 증감, 배경 흐림 및 가리어짐 효과 등을 조합 적용하여 깊이 감을 증감시키는 기술에 대해 개시하고 있다.
또한, 필립스의 미국특허 제6,903,782호는 동영상의 각 화소에 대하여 특정 객체 영역에 속할 확률 분포를 구한 후에, 확률에 기반하여 영역 분할 및 영상 화질 개선을 수행하는 기술에 대해 개시하고 있다.
하지만, 전술한 종래기술들은 깊이 감 증강을 위해서 정확한 관심 영역 분할을 전제하고 있거나 또는 화소별 정확한 깊이 정보 추출을 전제로 하고 있다. 그러나 동영상에서 관심 영역을 추출하거나 또는 직접적인 깊이 정보 복원에 기반한 실감 처리 기술은 현실적으로 많은 구현상의 어려움이 있다.
특히, 관심 영역 추출을 위해서는 영상 의미 추출과 같은 복잡하고 높은 수준의 영상 처리 기법이 필요하게 되며, 또한 직접적 깊이 정보 입력을 위해서는 스테레오 카메라 시스템과 같은 별도의 깊이 정보 취득 장치를 필요로 하는 문제점이 있다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위해 안출된 것으로, 관심 영역 분할 및 정확한 깊이 정보를 추출하지 않고도, 영상 내 다양하게 존재하는 깊이 감 추정 단서들로부터 확률 개념의 관심 특징 지수를 계산한 후, 이를 기반으로 적응적 차별 영상 처리를 수행하는 효과적인 영상 처리 방법 및 영상 처리 장치를 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제를 달성하기 위한 영상 처리 방법은 입력 영상으로부터 상기 영상 내에 존재하는 깊이 감 추정 단서를 기초로 관심 특징 지수를 추출하는 단계; 상기 추출된 관심 특징 지수 및 상기 깊이 감 추정 단서에 대한 관심 중요도를 기초로 관심 특징 지수 통합 맵을 계산하는 단계; 및 상기 계산된 관심 특징 지수 통합 맵을 기초로 상기 영상에 대한 차별 처리를 수행하는 단계를 포함한다.
본 발명의 다른 기술적 과제를 달성하기 위한 영상 처리 장치는 입력 영상으로부터 상기 영상 내에 존재하는 깊이 감 추정 단서를 기초로 관심 특징 지수를 추출하는 관심 특징 지수 추출부; 상기 추출된 관심 특징 지수 및 상기 깊이 감 추정 단서에 대한 관심 중요도를 기초로 관심 특징 지수 통합 맵을 계산하는 관심 특징 지수 통합 맵 계산부; 및 상기 계산된 관심 특징 지수 통합 맵을 기초로 상기 영상에 대한 차별 처리를 수행하는 깊이 감 증강 처리부를 포함한다.
본 발명의 또 다른 기술적 과제를 달성하기 위한 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
본 발명의 세부 및 개선 사항은 종속항에 개시된다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 개략적인 구성을 도시한 블록도이다.
도 1을 참조하면, 영상 처리 장치는 관심 특징 지수 추출부(100), 관심 특징 지수 통합 맵 계산부(110) 및 깊이 감 증강 처리부(120)를 포함한다.
먼저, 비디오 카메라, 디지털 카메라, 카메라 폰 등의 동영상 촬영 수단 등을 포함하는 영상 신호 입력 장치(도시되지 않음)로부터 촬영한 영상, 예를 들면, TV 방송 영상, 개인 컨텐츠 영상, 저장 미디어 재생 영상 등을 입력한다. 여기서, 영상은 정지 영상 또는 동영상을 포함하며, 아날로그 영상 또는 디지털 영상을 모두 포함하지만, 디지털 영상 신호로 변환되어 입력되는 것을 전제로 한다. 이렇게 디지털 신호로 변환된 영상 신호들(sequences)이 순차적으로 입력된다.
관심 특징 지수 추출부(100)는 입력 영상으로부터 깊이 감 추정 단서별로 관심 특징 지수를 추출한다.
여기서, 영상의 깊이 감을 추정할 수 있는 단서로는 알고 있는 물체, 예를 들면 사람 또는 사물의 크기(familiar size), 상대적인 크기(relative size), 원근감 또는 투시화법(perspective), 수평선으로부터 떨어진 거리, 색상, 상대적인 밝기, 국부적으로 두드러지는 특징(locally salient feature), 그림자 및 음영의 변화, 가리어짐에 의한 상대적인 깊이 정보, 움직임 시차(motion parallax), 움직임 불연속성(motion discontinuity), 흐려보이는 것(blur) 또는 전체적인 분위기(atmosphere), 양안 시차(binocular disparity), 또는 수렴성(convergence) 등을 포함한다.
예를 들면, 텍스처(texture)의 크기와 밀도로부터 영상의 깊이 정보를 얻을 수 있고, 또한 붉은 색이 푸른 색보다 더 가까워 보이고, 밝은 곳이 더 가까워 보인다는 사실로부터 깊이 정보를 얻을 수 있다.
관심 특징 지수란 전술한 깊이 감 추정 단서들이 영상에서 얼마나 두드러지게 나타나는지를 각 화소별로 나타낸 확률적 개념이다.
관심 특징 지수 통합 맵 계산부(110)는 관심 특징 지수 추출부(100)로부터 깊이 감 추정 단서별로 관심 특징 지수를 입력받아 관심 중요도를 기반으로 관심 특징 지수 통합 맵을 계산한다.
여기서, 관심 중요도는 관심 특징 지수 통합 맵을 구하기 위하여 각 관심 특 징 지수에 곱해지는 가중치를 의미한다. 즉, 관심 특징 지수 추출부(100)에서 추출된 관심 특징 지수가 관심 특징 지수 통합 맵에 얼마나 반영될지를 결정하는 척도이다.
깊이 감 추정 단서별 관심 중요도는 오프라인으로 작성된 매핑 테이블을 참조하여 계산될 수 있다.
관심 특징 지수 통합 맵 계산부(110)는 매핑 테이블을 참조하여 구해진 관심 중요도와 관심 특징 지수 추출부(100)에서 추출된 각각 깊이 감 추정 단서의 관심 특징 지수를 조합하여 관심 특징 지수 통합 맵을 계산한다.
깊이 감 증강 처리부(120)는 계산된 관심 특징 지수 통합 맵에 대해 깊이 감 증강 처리를 수행한다. 즉 관심 특징 지수가 높은 부분은 밝게 처리하여 입체감을 높이는 것이다.
바람직하게, 깊이 감 증강 처리는 밝기(Brightness)처리, 선명(Sharpeness) 처리, 대비(Contrast) 처리 등을 포함할 수 있다.
도 2는 본 발명의 다른 실시예에 따른 장르 모드 결정부(200)의 구성을 도시한 블록도이다.
도 2를 참조하면, 장르 모드 결정부(200)는 장르 모드 해석부(210) 및 깊이 감 추정 단서 선택부(220)를 포함한다.
도 1에 도시된 관심 특징 지수 추출은 미리 장르 모드를 구분한 다음에 수행될 수 있다. 즉 장르 모드의 결정은 본 발명의 바람직한 실시예에 따라 선택적으로 수행될 수 있다.
장르 모드 결정부(200)는 보다 효과적인 깊이 감 증강 처리를 위하여 장르 별로 다른 깊이 감 추정 정보를 구하여 이에 적응적인 깊이 감 처리 기법을 적용하는 것이다. 장르 모드 결정은 장르 모드 해석 과정과 깊이 감 추정 단서 선택 과정으로 이루어진다.
장르 모드 해석부(210)는 입력 영상 정보를 이용하여 입력 영상의 장르 모드를 해석한다. 또한, 선택적으로 외부로부터 장르 모드에 관한 해석 정보를 제공받을 수도 있다.
구체적으로, 비디오 인덱싱(Video indexing)에 관한 기법들은 "Multimodal video indexing: a review of the state-of-the-art", Cees G.M. Snoek and Marcel Worring, Multimedia Tools and Applications, 25, 5-35, 2005에 개시되어 있다.
깊이 감 추정 단서 선택부(220)는 장르가 구분된 입력 영상에 대해서 장르에 따라 중요도가 높은 깊이 감 추정 단서를 선택한다. 예를 들면, 드라마와 같은 장르에서는 깊이 감 추정 단서로서 사람 및 두드러진 특징(salient feature)을 선택하며, 자연 풍경이 많은 장면에서는 소실점 및 두드러진 특징(salient feature) 등을 깊이 감 추정 단서로서 선택한다.
다음 표 1은 깊이 감 추정 단서 선택부(220)에서 구분된 장르 모드에 따라 깊이 감 추정 단서를 선택하는 예시적인 테이블을 도시하고 있다.
entertainment information commercial ....
talk show sitcom/ soap sport music news documentary
familiar size/ relative size Face/ people V V V V
Object/ animal V V
perspecctive V
focus/defocus V V V V V
motion discontinuity V V V
local salient feature V V V
....
깊이 감 추정 단서 선택부(220)는 상기 표 1을 참조하여 장르 모드 해석부(210)에서 입력 영상의 장르 모드에 따라 깊이 감 추정 단서들을 선택한다. 예를 들면, 입력 영상의 장르가 토크쇼라면 얼굴과 포커스/디포커스를 깊이 감 추정 단서로 선택하게 된다.
관심 특징 지수 추출부(100)는 깊이 감 추정 단서 선택부(220)에서 선택된 깊이 감 추정 단서들에 따라 관심 특징 지수를 추출한다.
예를 들면, 깊이 감 추정 단서로서 얼굴을 사용할 때, 얼굴이라고 판단되는 유사도와 얼굴의 크기 정보가 관심 특징 지수로서 사용할 수 있다. 여기서, 얼굴을 검색하는 기법은 "Robust real-time object detection", P. Viola et.al., IJCV, 2002에 개시되어 있다.
또한, 깊이 감 추정 단서로서 소실점(vanishing point)을 사용할 때, 영상 전반에 걸쳐 에지(edge)를 검출하여 주요 라인 성분을 추출해 낸 뒤, 라인들이 만나는 점을 추정하여 소실점을 계산할 수 있다. 소실점과 수평선 등을 검출하여 소실점이 존재하는 위치는 가장 멀고, 소실점으로부터 떨어질수록 가깝다고 판정하여 깊이 감을 추정해 낼 수 있다. 이때, 소실점에서 만나는 라인의 개수 등을 관심 특징 지수로서 사용할 수 있다.
심도가 낮게 영상을 취득할 때 관심 있는 물체에 초점을 맞추고 배경은 흐리게 표현한다. 이때 초점이 맞은 정도로서 관심 특징 지수를 나타낼 수 있다.
움직임 불연속성(motion discontinuity)을 깊이 감 추정 단서로서 사용할 경우, 관심 특징 지수로서 움직임 벡터(motion vector)의 절대값의 역수가 사용될 수 있다. 영상을 관찰해 본 결과, 관심 객체가 이동하고 있다고 하더라도 카메라가 관심 객체를 트레킹하기 때문에, 관심 객체에 해당하는 화소의 움직임 벡터의 크기가 작다. 반면에, 배경 및 비관심 대상의 경우는 움직임 벡터의 크기가 크게 나타난다.
따라서 움직임 벡터의 크기가 작은 경우 관심 특징일 확률이 높으며, 움직임 벡터 크기의 역수를 관심 특징 지수로 사용할 수 있다.
국부적 두드러진 특징을 깊이 감 추정 단서로 사용하는 경우, 밝기, 색상, 방향 두드러짐(orientation saliency) 및 선명도(sharpness) 등이 관심 특징 지수로 사용할 수 있다.
도 3은 본 발명의 또 다른 실시예에 따른 도 1에 도시된 관심 특징 지수 추출부(100)의 구성을 도시한 블록도이다.
도 3을 참조하면, 제1, 2,...N 깊이 감 추정 단서의 관심 특징 지수 추출부(300)가 도시되어 있다.
관심 특징 지수 추출부(100)는 깊이 감 추정 단서, 예를 들면, 사람 또는 사물의 크기(familiar size), 상대적인 크기(relative size), 원근감(perspective), 포커스/디포커스, 움직임 불연속성(motion discontinuity), 국부적으로 두드러지는 특징(locally salient feature) 등에 대한 관심 특징 지수를 병렬적으로 검출하는 것이다.
도 2에 도시된 장르 모드 구분을 수행하는 경우에는, 각각의 장르에 따라 선택된 깊이 감 추정 단서들의 관심 특징 지수만을 추출하고, 장르 모드 구분을 수행하지 않는 경우에는, 입력 영상이 바로 관심 특징 지수 추출부(100)에 입력되고, 모든 깊이 감 추정 단서들에 대해 관심 특징 지수를 추출한다.
도 4는 도 1에 도시된 관심 특징 지수 추출부(100)의 또 다른 실시예를 도시한 블록도이다.
도 4를 참조하면, 관심 특징 지수 신뢰도 계산부(400), 비교부(410) 및 관심 특징 지수 추출부(100)가 도시되어 있다.
관심 특징 지수 신뢰도 계산부(400)는 깊이 감 추정 단서들로부터 구해진 관심 특징 지수의 신뢰도를 계산한다. 여기서, 관심 특징 지수의 신뢰도는 깊이 감 추정 단서에 의해 구해진 관심 특징 지수를 관심 특징 지수 통합 맵을 계산하기 위한 입력으로서 사용할지 여부를 결정하는 척도로서 사용된다. 또한, 관심 특징 지수의 신뢰도는 깊이 감 추정 단서마다 다르게 계산될 수 있다.
비교부(410)는 관심 특징 지수 신뢰도 계산부(400)에서 구해진 특정 깊이 감 추정 단서들의 관심 특징 지수의 신뢰도가 소정의 문턱치와 비교한다.
관심 특징 지수 추출부(100)는 비교부(410)의 비교 결과, 깊이 감 추정 단서들의 관심 특징 지수의 신뢰도가 문턱치보다 큰 경우에, 해당하는 깊이 감 추정 단서들의 세트에 대해 관심 특징 지수를 추출한 뒤, 관심 특징 지수들의 세트를 관심 특징 지수 통합 맵 계산부(110)에 출력한다.
다음 표 2는 관심 특징 지수 세트를 예시적으로 도시한 것이다.
familiar size/ relative size perspecctive focus/ defocus motion discontinuity local salient feature ..
Face/ people Object/ animal
세트1 X V V
세트2 X V V
세트3 X V
..
..
표 2에서, V는 세트에 속할 깊이 감 추정 단서들이고, X는 세트에 속하는 깊이 감 추정 단서들 중에서 신뢰도를 계산할 깊이 감 추정 단서를 의미한다.
예를 들면, 깊이 감 추정 단서로서 얼굴을 사용하였을 경우, i번째 줄 j번째 열에 해당하는 화소의 관심 특징 지수를 pij라고 하자. 이때 관심 특징 지수의 신뢰도를 관심 특징 지수가 문턱치를 넘는 화소의 개수라고 설정한다. 관심 특징 지수의 문턱치를 pth라고 하면 pij를 포함하여 i번째 줄 j열 화소 주위의 화소들의 관심 특징 지수가 pth를 넘는 경우에, 0으로 초기화된 Np의 값을 1 증가시키며 이를 신뢰도 문턱치 Nth과 비교한다.
반면 깊이 감 추정 단서로서 소실점을 사용하였을 경우, 에지의 개수 및 분포 등이 관심 특징 지수의 신뢰도로 사용할 수 있다.
여기서, 깊이 감 추정 단서들은 상호 배타적인 관계가 아니며, 하나의 깊이 감 추정 단서의 관심 특징 지수가 높게 나온 화소에 대해서 다른 깊이 감 추정 단서의 관심 특징 지수가 높게 나올 수도 있다.
예를 들면, 사람의 얼굴이 영상에서 검출되었다고 할 때, 사람의 얼굴에 포커스가 맞춰져 있을 경우 "포커스/디포커스" 라는 깊이 감 추정 단서에 의한 관심 특징 지수도 높게 나오며 동시에 "국부적으로 두드러진 특징(local salient feature)" 과 "움직임 불연속성(motion discontinuity)"에 의한 관심 특징 지수 역시 높게 나올 수 있다.
도 5는 도 1에 도시된 관심 특징 지수 통합 맵 계산부(110)의 또 다른 실시예를 도시한 블록도이다.
도 5를 참조하면, 관심 중요도 계산부(500) 및 관심 특징 지수 통합 맵 계산부(110)가 도시되어 있다.
바람직한 실시예에 따라, 깊이 추정 단서별로 관심 중요도를 계산하는 부분과 계산된 관심 중요도와 관심 특징 지수를 조합하여 관심 특징 지수 통합 맵을 계산하는 과정으로 구분된다.
관심 중요도 계산부(500)는 깊이 추정 단서별로 관심 특징 지수의 분포를 바탕으로 관심 중요도를 계산한다. 여기서, 관심 중요도란 각 깊이 감 추정 단서로부터 구해진 관심 특징 지수가 관심 특징 지수 통합 맵에 얼마나 반영될지 결정하는 척도를 의미한다.
깊이 추정 단서별 관심 중요도는 외부적으로 입력받거나 내부에서 계산에 의해 구해질 수도 있다. 외부에서 입력받을 경우, 오프라인으로 작성된 매핑 테이블을 참조하여 계산될 수 있다.
관심 중요도는 각 깊이 감 추정 단서가 사람의 지각에 미치는 영향이 얼마나 큰지에 따라 조정되며, 관심 특징 지수가 영상 내에서 어떻게 분포하는지도 관심 중요도에 영향을 미치게 된다.
또한, 깊이 감 추정 단서 간 중요도에 따라서 관심 중요도를 조정할 수 있다. 영상 내 사람이 존재할 경우 일반적으로 사람에 많이 주목한다. 또한, 로컬 대비(local contrast)가 높은 부분과 객체 크기가 클 경우 주목할 확률이 높다.
예를 들면, k번째 깊이 감 추정 단서가 얼굴에 의해 추정된 단서이며 k+1번째 깊이 감 추정 단서가 소실점에 의해 추정된 단서라고 하면, 일반적으로 영상 내 사람이 존재할 경우 사람에 주목하므로 관심 중요도를 ak >ak +1 로 설정할 수 있다.
또한, 영상 내에서 관심 특징 지수가 어떻게 분포하느냐에 따라 관심 중요도가 조정될 수 있다.
예를 들면, 국부적으로 두드러진 특징(local salient feature)의 관심 특징 지수의 크기가 크다고 하더라도 영상 전반에 걸쳐서 균일하게 분포되어 있다면 전역적으로 두드러진 특징이라고 할 수 없다. 따라서 이와 같이 영상 전체에 균일하게 분포된 관심 특징 지수에 대해서는 관심 중요도를 낮게 설정한다.
관심 특징 지수 통합 맵 계산부(510)는 관심 특징 지수 추출부(100)로부터 입력된 관심 특징 지수와 관심 중요도 계산부(500)로부터 계산된 관심 중요도를 조합하여 관심 특징 지수 통합 맵을 계산한다.
깊이 감 추정 단서별로 관심 특징 지수를 0~1 사이 값으로 정규화한 뒤, 정규화된 관심 특징 지수와 관심 중요도를 다음 수학식 1과 같이 조합하여 관심 특징 지수 통합 맵을 계산할 수 있다.
F = sum( ai * fi ) / sum(ai) i=1…N
여기서, i번째 깊이 감 추정 단서를 통하여 계산된 정규화된 관심 특징 지수를 fi라고 하고, 해당 깊이 감 추정 단서의 관심 중요도가 ai라고 할 때, F는 계산된 관심 특징 지수 통합 맵이다.
도 6은 본 발명의 또 다른 실시예에 따른 도 1에 도시된 깊이 감 증강 처리부(120)의 구성을 도시한 블록도이다.
도 6을 참조하면, 깊이 감 증강 처리부(120)는 처리 단서 결정부(600) 및 차별 처리 수행부(610)를 포함한다.
깊이 감 증강 처리부(120)는 계산된 관심 특징 지수 통합 맵에 최적의 깊이 감 증강 처리 기법, 예를 들면 밝기, 대비, 선명도, 기억색 처리 등을 수행한다. 또한, 관심 특징 지수에 따라 깊이 감 처리 파라미터를 조정하여 적응적 입체감 처리를 수행할 수 있다.
처리 단서 결정부(600)는 관심 특징 지수 통합 맵을 구하기 위하여 사용된 깊이 감 추정 단서들의 세트를 분석하여 세트별로 깊이 감 처리 기법을 선택적으로 적용한다.
차별 처리 단서 결정부에서는 관심 특징 지수 통합 맵을 구하기 위하여 사용된 깊이 감 추정 단서들의 세트를 분석하여 세트별로 깊이 감 처리 기법을 선택적으로 적용한다.
예를 들면, 깊이 감 추정 단서 세트 중에서 사람이 포함되어 있는 경우, 밝기/대비/선명도 처리를 하고, 소실점이 포함되어 있는 경우는 밝기/대비/선명도 처리 및 엷은 효과(aerial effect)를 추가로 수행할 수 있다.
차별 처리 수행부(610)는 다양한 깊이 감/실감 증강 처리 기법, 예를 들면, 밝기, 대비, 선명도, 기억색 처리들을 활용하여 적응적 입체감 처리를 수행한다.
예를 들면, 밝기 처리를 수행하는 경우, 관심 특징 지수가 높은 부분은 밝게 처리하여 입체감 증강 처리를 한다고 가정하자. F가 관심 특징 지수 맵이라고 할 때, 다음 수학식 2와 같이 영상 처리를 할 수 있다.
[ R, G, B ]T = (1+F) * [ R, G, B ]T
상기 수학식 2와 같이 처리함으로써 관심 특징 지수가 높은 부분은 원 영상에 비하여 색조(hue)와 채도(saturation)를 유지시키면서 밝게 할 수 있다.
또한, 깊이 감 추정 단서로서 얼굴이 선택되었다면, 밝기, 대비, 선명도 증강 처리 및 기억색 처리가 입체감 처리 변수로서 선택될 수 있다. 만일 깊이 감 추정 단서로서 소실점이 선택되었다면, 관심 특징이 높은 곳에 대해 밝기, 대비, 선명도 증강 처리를 입체감 처리 변수로서 선택할 수도 있으며, 거리가 먼 곳은 안개(fog) 및 흐릿함(blur)과 같은 효과를 입체감 처리 변수로서 선택할 수도 있다.
도 7은 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 영상 처리 장치는, 단계 700에서, 입력 영상 내에 깊이 감 추정 단서를 기반으로 관심 특징 지수를 추출한다. 단계 702에서, 깊이 감 추정 단서별로 관심 중요도를 계산하고, 이를 기반으로 관심 특징 지수 통합 맵을 계산한다. 단계 704에서, 관심 특징 지수 통합 맵에 따라 깊이 감 증강 처리를 수행하여 깊이 감에 따라 차별 처리된 영상을 출력한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
이상 본 발명의 바람직한 실시예들을 기초로 설명되었지만, 당업자들은 본 발명이 속하는 기술분야의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 한정되며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명에 따른 입력 영상으로부터 영상 내에 존재하는 깊이 감 추정 단서를 기초로 관심 특징 지수를 추출하고, 추출된 관심 특징 지수 및 깊이 감 추정 단서에 대한 관심 중요도를 기초로 관심 특징 지수 통합 맵을 계산하고, 계산된 관심 특징 지수 통합 맵을 기초로 영상에 대한 차별 처리를 수행함으로써, 관심 객체 영역 분할 및 정확한 깊이 정보와 객체 모델 없이 깊이 감 추정 단서가 존재할 확률에 기반하여 입체감 및 실감 증강 처리를 할 수 있다.
또한, 높은 수준의 영상 해석과정을 요구하지 않고, 영상 내에 존재하는 다 양한 깊이 감 추정 단서들을 해석할 수 있으므로 빠르고 구현이 간단하다.

Claims (20)

  1. (a) 입력 영상으로부터 상기 영상 내에 존재하는 깊이 감 추정 단서에 따른 관심 특징 지수를 추출하는 단계;
    (b) 상기 추출된 관심 특징 지수와, 상기 추출된 관심 특징 지수의 반영 정도를 결정하는 관심 중요도를 조합하여 관심 특징 지수 통합 맵을 계산하는 단계; 및
    (c) 상기 계산된 관심 특징 지수 통합 맵에 반영된 관심 특징 지수에 따라 상기 영상에 대한 깊이 감 증강 처리를 수행하는 단계를 포함하는 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계에서,
    상기 영상 내에 존재하는 적어도 하나 이상의 깊이 감 추정 단서를 선택하여 깊이 감 추정 단서별로 관심 특징 지수를 추출하는 것을 특징으로 하는 영상 처리 방법.
  3. 제 1 항에 있어서,
    상기 (a) 단계는,
    상기 입력 영상의 장르 모드를 결정하는 단계를 더 포함하고,
    상기 결정된 장르 모드에 따라 상기 관심 특징 지수를 추출하는 것을 특징으로 하는 영상 처리 방법.
  4. 제 3 항에 있어서,
    상기 장르 모드 결정 단계는,
    상기 입력 영상의 장르 모드를 해석하는 단계; 및
    상기 해석된 장르 모드에 따라 깊이 감 추정 단서를 선택하는 단계를 포함하고,
    상기 선택된 깊이 감 추정 단서에 따라 상기 관심 특징 지수를 추출하는 것을 특징으로 하는 영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 (a) 단계는,
    상기 관심 특징 지수의 신뢰도를 계산하는 단계; 및,
    상기 계산된 신뢰도와 소정의 문턱치를 비교하는 단계를 더 포함하고,
    상기 신뢰도가 상기 문턱치 보다 큰 경우, 상기 관심 특징 지수를 추출하는 것을 특징으로 하는 영상 처리 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 깊이 감 추정 단서에 대한 관심 중요도를 계산하는 단계를 더 포함하고,
    상기 계산된 관심 중요도에 따라 상기 관심 특징 지수 통합 맵을 계산하는 것을 특징으로 하는 영상 처리 방법.
  8. 제 7 항에 있어서,
    상기 관심 중요도는,
    상기 영상에 존재하는 깊이 감 추정 단서들 사이의 중요도 또는 상기 영상 내의 관심 특징 지수의 분포에 따라 결정되는 것을 특징으로 하는 영상 처리 방법.
  9. 제 1 항에 있어서,
    상기 (c) 단계는,
    상기 깊이 감 추정 단서에 따라 소정의 깊이 감 증강 처리 기법을 선택하는 단계를 더 포함하고,
    상기 선택한 깊이 감 증강 처리 기법을 이용하여 상기 영상에 대한 차별 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 깊이 감 증강 처리 기법은,
    밝기 처리, 대비 처리, 선명도 처리 및 기억색 처리 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 방법.
  11. 삭제
  12. 제 1 항에 있어서,
    상기 깊이 감 추정 단서는,
    사람 또는 사물의 크기(familiar size), 상대적인 크기(relative size), 원근감 또는 투시화법(perspective), 수평선으로부터 떨어진 거리, 색상, 상대적인 밝기, 국부적으로 두드러지는 특징(locally salient feature), 그림자 및 음영의 변화, 가리어짐에 의한 상대적인 깊이 정보, 움직임 시차(motion parallax), 움직임 불연속성(motion discontinuity), 흐려보이는 것(blur) 또는 전체적인 분위기(atmosphere), 양안 시차(binocular disparity), 또는 수렴성(convergence) 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 방법.
  13. 제 1 항 내지 제 5 항, 제 7 항 내지 제 10 항, 제 12 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키는 프로그램을 기록한 기록매체.
  14. 입력 영상으로부터 상기 영상 내에 존재하는 깊이 감 추정 단서에 따른 관심 특징 지수를 추출하는 관심 특징 지수 추출부;
    상기 추출된 관심 특징 지수와, 상기 추출된 관심 특징 지수의 반영 정도를 결정하는 관심 중요도를 조합하여 관심 특징 지수 통합 맵을 계산하는 관심 특징 지수 통합 맵 계산부; 및
    상기 계산된 관심 특징 지수 통합 맵에 반영된 관심 특징 지수에 따라 상기 영상에 대한 깊이 감 증강 처리를 수행하는 깊이 감 증강 처리부를 포함하는 영상 처리 장치.
  15. 제 14 항에 있어서,
    상기 영상 내에 존재하는 적어도 하나 이상의 깊이 감 추정 단서를 선택하여 깊이 감 추정 단서별로 관심 특징 지수를 추출하는 것을 특징으로 하는 영상 처리 장치.
  16. 제 14 항에 있어서,
    상기 입력 영상의 장르 모드를 결정하는 장르 모드 결정부를 더 포함하고,
    상기 관심 특징 지수 추출부는,
    상기 결정된 장르 모드에 따라 상기 관심 특징 지수를 추출하는 것을 특징으로 하는 영상 처리 장치.
  17. 제 16 항에 있어서,
    상기 장르 모드 결정부는,
    상기 입력 영상의 장르 모드를 해석하는 장르 모드 해석부; 및
    상기 해석된 장르 모드에 따라 깊이 감 추정 단서를 선택하는 깊이 감 추정 단서 선택부를 포함하고,
    상기 관심 특징 지수 추출부는,
    상기 선택된 깊이 감 추정 단서에 따라 상기 관심 특징 지수를 추출하는 것을 특징으로 하는 영상 처리 장치.
  18. 제 14 항에 있어서,
    상기 관심 특징 지수의 신뢰도를 계산하는 신뢰도 계산부; 및
    상기 계산된 신뢰도와 소정의 문턱치를 비교하는 비교부를 더 포함하고,
    상기 관심 특징 지수 추출부는,
    상기 신뢰도가 상기 문턱치 보다 큰 경우, 상기 관심 특징 지수를 추출하는 것을 특징으로 하는 영상 처리 장치.
  19. 제 14 항에 있어서,
    상기 깊이 감 추정 단서에 대한 관심 중요도를 계산하는 관심 중요도 계산부를 더 포함하고,
    상기 관심 특징 지수 통합 맵 계산부는,
    상기 계산된 관심 중요도에 따라 상기 관심 특징 지수 통합 맵을 계산하는 것을 특징으로 하는 영상 처리 장치.
  20. 제 14 항에 있어서,
    상기 깊이 감 증강 처리부는,
    상기 깊이 감 추정 단서에 따라 소정의 깊이 감 증강 처리 기법을 선택하는 처리 단서 결정부; 및
    상기 선택한 깊이 감 증강 처리 기법을 이용하여 상기 영상에 대한 깊이 감 증강 처리를 수행하는 차별 처리 수행부를 포함하는 것을 특징으로 하는 영상 처리 장치.
KR1020070004964A 2007-01-16 2007-01-16 영상 처리 방법 및 장치 KR100873638B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070004964A KR100873638B1 (ko) 2007-01-16 2007-01-16 영상 처리 방법 및 장치
US11/882,272 US8542929B2 (en) 2007-01-16 2007-07-31 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070004964A KR100873638B1 (ko) 2007-01-16 2007-01-16 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080067544A KR20080067544A (ko) 2008-07-21
KR100873638B1 true KR100873638B1 (ko) 2008-12-12

Family

ID=39617408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070004964A KR100873638B1 (ko) 2007-01-16 2007-01-16 영상 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US8542929B2 (ko)
KR (1) KR100873638B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101783608B1 (ko) * 2010-12-02 2017-10-10 엘지전자 주식회사 전자 장치 및 입체감 조정 방법
US11847771B2 (en) 2020-05-01 2023-12-19 Samsung Electronics Co., Ltd. Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131098B2 (en) * 2007-07-06 2012-03-06 Panasonic Corporation Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit
KR101497659B1 (ko) * 2008-12-04 2015-03-02 삼성전자주식회사 깊이 영상을 보정하는 방법 및 장치
KR101525626B1 (ko) * 2009-01-05 2015-06-04 삼성전자주식회사 아웃 포커싱 장치 및 방법
JP5387399B2 (ja) * 2009-12-28 2014-01-15 ソニー株式会社 情報処理装置および情報処理方法
US8358833B2 (en) * 2010-04-27 2013-01-22 Indian Institute Of Technology Madras Recovering 3D structure using blur and parallax
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
JP5050094B2 (ja) * 2010-12-21 2012-10-17 株式会社東芝 映像処理装置及び映像処理方法
KR101789071B1 (ko) 2011-01-13 2017-10-24 삼성전자주식회사 깊이 영상의 특징 추출 방법 및 장치
KR101660808B1 (ko) * 2011-11-24 2016-09-29 에스케이플래닛 주식회사 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
US9286658B2 (en) * 2012-03-22 2016-03-15 Qualcomm Incorporated Image enhancement
US9218685B2 (en) * 2012-06-05 2015-12-22 Apple Inc. System and method for highlighting a feature in a 3D map while preserving depth
KR20140088465A (ko) * 2013-01-02 2014-07-10 삼성전자주식회사 디스플레이 방법 및 디스플레이 장치
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US9852537B2 (en) 2015-05-01 2017-12-26 Otoy Inc. Rendering via ray-depth field intersection
US10823950B2 (en) 2016-01-07 2020-11-03 Digital Surigcals PTE. LTD. Camera system with balanced monocular cues for use in digital stereo microscopes
CN109147023A (zh) * 2018-07-27 2019-01-04 北京微播视界科技有限公司 基于人脸的三维特效生成方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980702922A (ko) 1995-03-22 1998-09-05 마누엘쿠베로 깊이 모델링 및 이동 물체의 깊이 정보 제공방법 및 장치
KR20030010530A (ko) 2001-07-26 2003-02-05 캐논 가부시끼가이샤 이미지 처리 방법, 장치 및 시스템
KR20040062732A (ko) 2003-01-03 2004-07-09 엘지전자 주식회사 오브젝트 기반 비트율 제어방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100345591B1 (ko) 1994-08-08 2002-11-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이정보처리를위한영상처리시스템
US6157733A (en) 1997-04-18 2000-12-05 At&T Corp. Integration of monocular cues to improve depth perception
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
KR100618493B1 (ko) 2000-10-20 2006-08-31 주식회사 씨알이에스 3차원 영상 자동 생성 장치 및 그 방법
US6903782B2 (en) 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image
KR100450836B1 (ko) 2001-12-11 2004-10-01 삼성전자주식회사 이차원 영상의 입체화 장치 및 방법
ITRM20030345A1 (it) 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per ricavare una mappa di profondita'
KR100540732B1 (ko) 2004-02-02 2006-01-10 한양대학교 산학협력단 2차원 영상신호를 3차원 영상신호로 변환하는 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980702922A (ko) 1995-03-22 1998-09-05 마누엘쿠베로 깊이 모델링 및 이동 물체의 깊이 정보 제공방법 및 장치
KR20030010530A (ko) 2001-07-26 2003-02-05 캐논 가부시끼가이샤 이미지 처리 방법, 장치 및 시스템
KR20040062732A (ko) 2003-01-03 2004-07-09 엘지전자 주식회사 오브젝트 기반 비트율 제어방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101783608B1 (ko) * 2010-12-02 2017-10-10 엘지전자 주식회사 전자 장치 및 입체감 조정 방법
US11847771B2 (en) 2020-05-01 2023-12-19 Samsung Electronics Co., Ltd. Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation

Also Published As

Publication number Publication date
US20080170067A1 (en) 2008-07-17
KR20080067544A (ko) 2008-07-21
US8542929B2 (en) 2013-09-24

Similar Documents

Publication Publication Date Title
KR100873638B1 (ko) 영상 처리 방법 및 장치
US9426449B2 (en) Depth map generation from a monoscopic image based on combined depth cues
Guo et al. Fast background subtraction based on a multilayer codebook model for moving object detection
KR100846498B1 (ko) 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
US6342904B1 (en) Creating a slide presentation from full motion video
KR100829581B1 (ko) 영상 처리 방법, 기록매체 및 장치
JP5420199B2 (ja) 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム
US20090196492A1 (en) Method, medium, and system generating depth map of video image
KR100846513B1 (ko) 영상 처리 방법 및 장치
CN107430780B (zh) 用于基于视频内容特性的输出创建的方法
Zhu et al. Joint depth and alpha matte optimization via fusion of stereo and time-of-flight sensor
JP2006092559A (ja) 少なくとも１つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体
Omidyeganeh et al. Video keyframe analysis using a segment-based statistical metric in a visually sensitive parametric space
Yeh et al. Relative features for photo quality assessment
Li et al. An efficient spatiotemporal attention model and its application to shot matching
Lee et al. Stereo image defogging
CN113255423A (zh) 从视频提取配色方案的方法及装置
Al-Zubaidy et al. Removal of atmospheric particles in poor visibility outdoor images
Dittrich et al. Saliency detection for stereoscopic video
KR101337833B1 (ko) 컨텐츠에 대한 관객 반응의 판단 방법
JP4080276B2 (ja) オブジェクト抽出方法および装置ならびにプログラム
Lefèvre et al. Caption localisation in video sequences by fusion of multiple detectors
CN116740601B (zh) 一种两阶段的学术视频关键帧提取方法
KR101629414B1 (ko) 휴먼 팩터에 기초한 스테레오스코픽 이미지 추출 방법 및 장치
Tang et al. Video classification based on spatial gradient and optical flow descriptors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121115

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141119

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151116

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161118

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20171120

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20191119

Year of fee payment: 12