KR20120071286A - 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법 - Google Patents

다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법 Download PDF

Info

Publication number
KR20120071286A
KR20120071286A KR1020110037420A KR20110037420A KR20120071286A KR 20120071286 A KR20120071286 A KR 20120071286A KR 1020110037420 A KR1020110037420 A KR 1020110037420A KR 20110037420 A KR20110037420 A KR 20110037420A KR 20120071286 A KR20120071286 A KR 20120071286A
Authority
KR
South Korea
Prior art keywords
image
camera
sub
cluster
main
Prior art date
Application number
KR1020110037420A
Other languages
English (en)
Other versions
KR101781158B1 (ko
Inventor
김호원
강현
이승욱
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/335,859 priority Critical patent/US20120162412A1/en
Publication of KR20120071286A publication Critical patent/KR20120071286A/ko
Application granted granted Critical
Publication of KR101781158B1 publication Critical patent/KR101781158B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

다중 카메라를 이용한 영상 매팅 장치는 주 카메라에서 미리 정해진 카메라앵글로 대상체를 촬영하여 생성된 주영상을 획득하고, 부 카메라에서 서로 다른 카메라앵글로 대상체를 촬영하여 생성된 부영상들을 획득하는 다중 카메라부, 주영상과 부영상들을 이용하여 주영상에 촬영된 대상체를 구성하는 클러스터 별로 주 카메라와 대상체 사이의 거리에 해당하는 깊이값을 추정하는 깊이 추정부, 깊이 추정부에서 추정된 깊이값을 이용하여 주영상의 알파맵을 추정하는 알파맵 추정부, 그리고 알파맵 추정부에서 추정된 알파맵을 이용하여 주영상에서 전경영역을 추출하고, 추출된 전경영역을 이용하여 영상 매팅을 수행하는 영상 매팅부를 포함한다.

Description

다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법{APPARATUS FOR IMAGE MATTING USING MULTI CAMERA, AND METHOD FOR GENERATING ALPHA MAP}
본 발명은 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법에 관한 것이다. 보다 상세하게, 다중 카메라를 이용하여 영상의 알파맵을 추정하고, 추정된 알파맵을 기반으로 영상에서 관심영역을 분리하기 위한 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법에 관한 것이다.
영상 매팅(image matting)은 영상의 각 픽셀이 관심영역인 전경영역(foreground)에 포함되는지, 비관심영역인 배경영역(background)에 포함되는지를 가중치의 표현으로 나타낸 알파맵(alpha map)을 추정하고, 추정된 알파맵을 이용해 관심영역을 다른 배경에 합성하여 새로운 영상을 생성하기 위해 사용되는 기술이다.
영상 매팅은 티오에프(Time Of Flight, TOF) 센서나 스테레오 카메라 등과 같이 깊이 정보를 제공하는 능동장치를 이용하는 방법, 블루 스크린(blue screen)과 같이 특정한 배경정보를 이용하는 방법, 그리고 그래픽 사용자 인터페이스(Graphical User Interface, 이하에서는 'GUI'라고도 함)를 통한 사용자의 입력에 의한 방법으로 분류할 수 있다.
방송이나 영화 등과 같이 실시간, 고정밀의 영상 매팅이 필요한 분야에서는 블루 스크린과 같이 배경정보가 미리 결정된 크로마키(chroma-key) 환경에서 영상의 관심영역을 분리하는 방법을 사용하고 있다.
하지만, 자연환경과 같은 일상환경에서 얻어진 영상에 대해서는 크로마키 환경의 조건을 적용하기 어렵기 때문에, 사용자가 직접 GUI를 통해 특정 영역을 전경영역 또는 배경영역으로 정의하여 관심영역을 분리하여야 하는 단점이 있다.
또한, 크로마키 환경의 조건을 적용하기 어려운 상황에서 실시간 혹은 사용자 도움 없이 전경부분을 분리해야 할 경우, 깊이 정보를 제공하는 깊이 센서를 이용해 특정 깊이에 있는 픽셀의 컬러값을 전경영역의 컬러로 그 외의 컬러값을 배경영역의 컬러로 분류하여 전체 영상에서 관심영역을 분리할 수도 있다.
하지만, 현재 상용화 단계에 있는 깊이 센서가 적고, 낮은 해상도의 깊이 정보를 제공하는 제품이 대부분이기 때문에, 고해상도의 영상에 대한 관심영역 분리에 적용하기 어려운 단점이 있다.
본 발명의 목적은, 크로마키 환경을 적용하기 어려운 환경에서 영상의 알파맵을 추출하여 영상 매팅을 수행할 수 있는 장치 및 방법을 제공하는 것이다.
본 발명의 특징에 따른 다중 카메라를 이용한 영상 매팅 장치는 다중 카메라부, 깊이 추정부, 알파맵 추정부 및 영상 매팅부를 포함한다. 다중 카메라부는 주 카메라에서 미리 정해진 카메라앵글로 대상체를 촬영하여 생성된 주영상을 획득하고, 부 카메라에서 서로 다른 카메라앵글로 대상체를 촬영하여 생성된 부영상들을 획득한다. 깊이 추정부는 주영상과 부영상들을 이용하여 주영상에 촬영된 대상체를 구성하는 클러스터 별로 주 카메라와 대상체 사이의 거리에 해당하는 깊이값을 추정한다. 알파맵 추정부는 깊이 추정부에서 추정된 깊이값을 이용하여 주영상의 알파맵을 추정한다. 영상 매팅부는 알파맵 추정부에서 추정된 알파맵을 이용하여 주영상에서 전경영역을 추출하고, 추출된 전경영역을 이용하여 영상 매팅을 수행한다.
본 발명의 특징에 따른 알파맵 생성 방법은 장치가 영상 매팅을 위한 알파맵을 생성하는 알파맵 생성 방법으로써, 주 카메라에서 미리 정해진 카메라앵글로 대상체를 촬영하여 생성된 주영상에 대해 컬러값이 동일하고 물리적으로 인접한 픽셀들을 클러스터링하여 주영상에 촬영된 대상체를 구성하는 클러스터들을 생성하는 단계, 부 카메라에서 서로 다른 카메라앵글로 대상체를 촬영하여 생성된 부영상들을 이용하여 클러스터 별로 주 카메라와 대상체 사이의 거리에 해당하는 깊이값을 추정하는 단계, 추정된 깊이값에 따라 주영상에서 깊이값이 동일하고 물리적으로 인접한 클러스터들을 주영상에 촬영된 대상체에 대응되는 클러스터 그룹으로 분류하는 단계, 그리고 클러스터 그룹의 깊이값에 따라 주영상을 전경영역 또는 배경영역으로 분류하여 주영상의 알파맵을 생성하는 단계를 포함한다.
본 발명의 특징에 따르면, 다중 카메라의 카메라앵글을 제어하여 영상에 대한 알파맵을 생성함으로써, 크로마키 환경을 적용하기 어려운 환경에서 영상의 알파맵을 추출하여 영상 매팅을 수행할 수 있는 효과가 있다.
또한, 영상에서 픽셀 단위가 아닌 클러스터 단위로 깊이값을 추정하여 알파맵을 생성함으로써, 알파맵의 생성 속도를 향상시켜 영상 매팅의 속도를 향상시킬 수 있다.
또한, 카메라앵글을 제어하여 생성된 영상을 이용해 깊이값을 계산함으로써, 다중 카메라를 이용하여 영상에 대한 알파맵을 생성할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상 매팅 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 다중 카메라부의 동작을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 알파맵 생성부의 구성을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 깊이값 계산 방법을 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 영상 매팅 방법을 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 알파맵 생성 방법을 도시한 도면이다.
도 7은 본 발명의 제1 실시 예에 따른 주영상 및 부영상을 도시한 도면이다.
도 8은 본 발명의 제2 실시 예에 따른 주영상 및 부영상을 도시한 도면이다.
도 9는 본 발명의 제3 실시 예에 따른 주영상 및 부영상을 도시한 도면이다.
본 발명을 첨부된 도면을 참고하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 고지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 해당 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이제 도면을 참고하여 본 발명의 실시 예에 따른 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법에 대해 설명한다.
먼저, 도 1을 참고하여 본 발명의 실시 예에 따른 영상 매팅 장치에 대해 설명한다.
도 1은 본 발명의 실시 예에 따른 영상 매팅 장치의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 영상 매팅 장치(100)는 피사체(subject)(10)를 촬영한 영상에 투영된 대상체를 분류하고, 대상체가 분류된 영상에서 관심영역을 분리하여 영상 매팅을 수행하며, 다중 카메라부(110), 알파맵 생성부(130) 및 영상 매팅부(150)를 포함한다.
피사체(10)는 영상 매팅을 수행하기 위한 영상의 대상으로, 적어도 하나의 대상체를 포함한다.
다중 카메라부(110)는 복수 개의 카메라들을 이용해 피사체(10)를 촬영하여 피사체(10)에 대한 복수 개의 영상들을 생성하며, 주 카메라(111), 부 카메라(113) 및 회전각 제어부(115)를 포함한다.
주 카메라(111)는 미리 정해진 카메라앵글(camera angle)로 피사체(10)를 촬영하여 주영상을 생성한다. 이하에서, 카메라앵글은 해당 카메라의 렌즈의 각도를 나타낸다.
부 카메라(113)는 주 카메라(111)의 위치를 기준으로 주 카메라(111)의 카메라앵글과 직교한 방향에 배치되며, 배치된 위치에서 회전각 제어부(115)의 제어에 따라 카메라앵글을 변경하면서 피사체(10)를 촬영하여 복수 개의 부영상들을 생성한다.
회전각 제어부(115)는 부 카메라(113)의 카메라앵글을 변경시킨다.
알파맵 생성부(130)는 주 카메라(111)가 피사체(10)를 촬영하여 생성된 주영상과 부 카메라(113)가 카메라앵글을 변경하면서 피사체(10)를 촬영하여 생성된 복수 개의 부영상들을 이용하여 주영상의 알파맵을 생성한다.
영상 매팅부(150)는 알파맵 생성부(130)에서 생성된 알파맵을 이용해 주영상에서 관심영역에 해당하는 전경영역을 추출하고, 추출된 전경영역을 이용하여 영상 매팅(image matting)을 수행한다.
다음은, 도 2를 참고하여 본 발명의 실시 예에 따른 영상 매팅 장치의 다중 카메라부의 동작에 대해 설명한다.
도 2는 본 발명의 실시 예에 따른 다중 카메라부의 동작을 도시한 도면이다.
여기서, 도 2는 다중 카메라부(110)와 피사체(10)에 대한 평면도에 해당한다.
도 2에 도시된 바와 같이, 다중 카메라부(110)는 주 카메라(111)와 부 카메라(113)를 이용해 피사체(10)를 촬영하여 피사체(10)에 대한 복수 개의 영상들을 획득한다. 여기서, 피사체(10)는 복수 개의 대상체들을 포함할 수 있으며, 제1 대상체(11), 제2 대상체(12), 제3 대상체(13) 및 제4 대상체(14)를 포함할 수 있다. 이때, 제4 대상체(14)는 배경에 해당할 수 있다.
주 카메라(111)는 배치된 위치에서 미리 정해진 카메라앵글로 피사체(10)를 촬영하여 주영상을 생성한다.
부 카메라(113)는 주 카메라(111)의 카메라앵글과 직교한 방향에 배치되며, 배치된 위치에서 회전각 제어부(115)의 제어에 따라 카메라앵글을 변경하면서 피사체(10)를 촬영하여 부영상을 생성한다. 여기서, 부 카메라(113)는 최초에 주 카메라(111)의 카메라앵글과 동일한 카메라앵글로 피사체(10)를 촬영하고, 이후에 회전각 제어부(115)가 회전함에 따라 변경되는 카메라앵글로 피사체(10)를 촬영할 수 있다.
회전각 제어부(115)는 부 카메라(113)의 하단에 위치하며, 부 카메라(113)의 위치를 변경시키지 않고 부 카메라(113)의 카메라앵글을 변경시킨다.
부 카메라(113)의 카메라앵글이 변경됨에 따라, 주 카메라(111)의 카메라앵글과 부 카메라(113)의 카메라앵글이 교차하는 교차점이 생성될 수 있다. 여기서, 카메라앵글들의 교차점을 지나고 주 카메라(111)의 카메라앵글과 직교하는 가상의 라인을 영시차 깊이라인이라고 정의한다.
이때, 영시차 깊이라인에 위치하는 대상체는 주영상 및 부영상에서 촬영된 위치가 동일하고, 촬영된 위치에서 픽셀들의 컬러가 동일하다.
다음은, 도 3을 참고하여 본 발명의 실시 예에 따른 영상 매팅 장치의 알파맵 생성부에 대해 설명한다.
도 3은 본 발명의 실시 예에 따른 알파맵 생성부의 구성을 도시한 도면이다.
도 3에 도시된 바와 같이, 알파맵 생성부(130)는 원경 제어부(131), 클러스터 생성부(132), 영시차 추정부(133), 깊이 추정부(134), 그룹 생성부(135) 및 알파맵 추정부(136)를 포함한다.
원경 제어부(131)는 주 카메라(111)와 부 카메라(113)의 카메라앵글이 평행상 상태에서 주 카메라(111) 및 부 카메라(113)가 피사체(10)를 촬영하여 생성된 두 개의 영상을 이용해 영상에서 원경(distant view)에 해당하는 배경를 필터링한다.
클러스터 생성부(132)는 원경 제어부(131)에 의해 필터링된 영상에 대해 픽셀들 각각의 컬러값과 물리적 인접성 정보를 바탕으로 클러스터링을 수행하여, 적어도 하나의 클러스터를 생성한다. 여기서, 클러스터 생성부(132)는 영상의 픽셀들 각각의 컬러값에 따라 동일한 컬러값을 가진 픽셀들 중 물리적으로 인접한 픽셀들을 하나의 클러스터로 클러스터링할 수 있다. 이때, 클러스터 생성부(132)는 미리 정해진 범위에 포함되는 컬러값들을 동일한 컬러값으로 판단할 수 있다.
영시차 추정부(133)는 주영상에 포함된 클러스터의 영시차 깊이라인에 대응되는 부 카메라(113)의 카메라앵글의 각도를 추정한다. 여기서, 영시차 추정부(133)는 복수 개의 부영상들 중에서 주영상에 촬영된 대상체에 대응되는 클러스터에 대해 영시차를 갖는 부영상을 검색하고, 검색된 부영상을 촬영한 부 카메라(113)의 카메라앵글을 이용하여 해당 클러스터의 영시차 깊이라인에 대응되는 부 카메라(113)의 카메라앵글의 각도를 추정할 수 있다.
깊이 추정부(134)는 주영상에 포함된 클러스터의 깊이값을 추정한다. 여기서, 깊이 추정부(134)는 클러스터에 대해 주영상과 부영상이 영시차를 가지는 경우, 부영상을 촬영한 부 카메라(113)의 카메라앵글의 각도, 그리고 주 카메라(111)와 부 카메라(113) 사이의 거리를 이용하여, 주영상에서 클러스터의 깊이값을 추정한다. 이때, 클러스터에 대해 주영상과 부영상이 영시차를 가지는 경우는 클러스터가 주영상과 부영상에서 컬러값이 동일하고 물리적으로 위치가 동일한 경우이다.
깊이 추정부(134)는 주 카메라(111) 및 부 카메라(113)의 카메라앵글에 대응되는 영시차 깊이라인과 주 카메라(111) 사이의 거리를 깊이값으로 추정할 수 있다.
그룹 생성부(135)는 주영상에 포함된 복수 개의 클러스터들 각각의 깊이값을 이용하여 하나 이상의 클러스터를 포함하는 클러스터 그룹을 생성한다. 여기서, 그룹 생성부(135)는 깊이값이 동일하고 물리적으로 인접한 클러스터들을 하나의 클러스터 그룹으로 분류할 수 있다. 이때, 그룹 생성부(135)에서 생성된 클러스터 그룹은 주영상에 촬영된 대상체로 추정될 수 있다.
알파맵 추정부(136)는 그룹 생성부(135)에서 생성된 클러스터 그룹의 깊이값에 따라 주영상을 전경영역 또는 배경영역으로 분류하여 주영상의 알파맵을 생성한다.
여기서, 깊이 추정부(134)는 부 카메라(113)의 카메라앵글, 그리고 주 카메라(111)과 부 카메라(113)간의 거리를 이용하여 주 카메라(111)로부터 영시차 깊이라인까지의 거리에 해당하는 깊이값을 계산할 수 있다.
또한, 깊이 추정부(134)는 부 카메라(113)의 카메라앵글, 그리고 주 카메라(111)과 부 카메라(113)간의 거리를 이용하여 주 카메라(111)로부터 카메라앵글의 교차점까지의 거리에 해당하는 깊이값을 계산할 수도 있다. 여기서, 카메라앵글의 교차점은 주 카메라(111)의 카메라앵글과 부 카메라(113)의 카메라앵글이 교차하는 지점에 해당한다.
여기서, 다중 카메라부(110)의 회전각 제어부(115)는 영시차 추정부(133)에서 추정된 부 카메라(113)의 카메라앵글의 각도를 기반으로 부 카메라(113)의 카메라앵글을 미세하게 조정함으로써, 주영상에서 클러스터의 깊이값을 추정할 때 속도를 향상시킬 수 있다. 또한, 사용자가 선택한 특정 클러스터에 대해서만 깊이값을 추정할 경우, 또는 움직이는 대상체를 추적하여 깊이값을 추정할 경우에도 깊이값 추정 속도를 향상시킬 수 있다.
다음은, 도 4를 참고하여 본 발명의 실시 예에 따른 알파맵 생성부의 깊이 추정부가 깊이값을 계산하는 방법에 대해 설명한다.
도 4는 본 발명의 실시 예에 따른 깊이값 계산 방법을 도시한 도면이다.
도 4에 도시된 바와 같이, 깊이 추정부(134)는 주 카메라(111)의 위치에 해당하는 제1 지점(A), 부 카메라(113)의 위치에 해당하는 제2 지점(B), 그리고 주 카메라(111)의 카메라앵글과 부 카메라(113)의 카메라앵글의 교차점에 해당하는 제3 지점(C)을 연결한 직각삼각형의 특성을 이용한다.
깊이 추정부(134)는 직각삼각형의 특성을 이용하여 주 카메라(111)의 위치(A)에서 교차점(C)까지의 거리에 해당하는 깊이값(b)을 계산한다.
여기서, 주 카메라(111)와 부 카메라(113) 사이의 거리(a)는 주 카메라(111) 및 부 카메라(113)를 배치할 때 결정된다. 또한, 각도(α)는 주 카메라(111)의 위치, 부 카메라(113)의 위치, 그리고 부 카메라(113)의 카메라앵글에 따라 결정된다.
깊이 추정부(134)는 직각삼각형의 특성을 이용하여 수 1에 따라 깊이값(b)을 계산할 수 있다.
Figure pat00001
다음은, 도 5를 참고하여 본 발명의 실시 예에 따른 영상 매팅 장치가 영상 매팅을 수행하는 방법에 대해 설명한다.
도 5는 본 발명의 실시 예에 따른 영상 매팅 방법을 도시한 도면이다.
도 5에 도시된 바와 같이, 먼저, 알파맵 생성부(130)는 주 카메라(111)에서 생성된 주영상의 알파맵을 생성한다(S100).
다음, 영상 매팅부(150)는 생성된 알파맵을 이용하여 주영상에서 관심영역에 해당하는 전경영역을 추출한다(S110).
이후, 영상 매팅부(150)는 추출된 전경영역을 새로운 영상에 합성하여 합성 영상을 생성한다(S120). 여기서, 새로운 영상은 추출된 전경영역에 대한 배경 영상에 해당한다.
다음은, 도 6을 참고하여 본 발명의 실시 예에 따른 알파맵 생성부가 알파맵을 생성하는 방법에 대해 설명한다.
도 6은 본 발명의 실시 예에 따른 알파맵 생성 방법을 도시한 도면이다.
도 6에 도시된 바와 같이, 먼저, 알파맵 생성부(130)는 다중 카메라부(110)로부터 주영상을 획득한다(S200). 여기서, 주영상은 주 카메라(111)에서 미리 정해진 카메라앵글로 피사체(10)를 촬영하여 생성된 영상에 해당한다.
다음, 알파맵 생성부(130)의 클러스터 생성부(132)는 주영상에 대해 클러스터링을 수행하여, 주영상에서 하나 이상의 클러스터를 생성한다(S205). 여기서, 클러스터 생성부(132)는 주영상의 픽셀 별 컬러값에 따라 주영상의 픽셀들 중 컬러값이 동일하고 물리적으로 인접한 픽셀들을 하나의 클러스터로 분류하여, 주영상에 촬영된 대상체를 구성하는 하나 이상의 클러스터를 생성할 수 있다.
이후, 알파맵 생성부(130)의 클러스터 생성부(132)는 주영상에 포함된 클러스터 별 속성값을 생성한다(S210). 여기서, 속성값은 해당 클러스터의 컬러값, 그리고 영상에서 해당 클러스터가 투영된 픽셀들에 대한 픽셀값을 포함한다. 이때, 미리 정해진 컬러값 범위에 속하면 컬러값이 동일하다고 판단하는 경우, 클러스터 생성부(132)는 해당 컬러값 범위에 대한 대표컬러값을 해당 클러스터의 컬러값으로 결정할 수 있다. 또한, 클러스터 생성부(132)는 주영상에 포함된 클러스터들 각각의 속성값을 생성할 수 있다.
다음, 알파맵 생성부(130)는 다중 카메라부(110)로부터 부영상을 획득한다(S215). 여기서, 최초에 획득되는 부영상은 부 카메라(113)에서 제1 각도의 카메라앵글로 피사체(10)를 촬영하여 생성된 영상에 해당하고, 이후에 획득하는 부영상은 부 카메라(113)에서 이전의 카메라앵글을 미리 정해진 각도로 회전한 카메라앵글로 피사체(10)를 촬영하여 생성된 영상에 해당한다.
이후, 알파맵 생성부(130)의 클러스터 생성부(132)는 부영상에 대해 클러스터링을 수행하여, 부영상에서 하나 이상의 클러스터를 생성한다(S220). 여기서, 클러스터 생성부(132)는 부영상의 픽셀 별 컬러값에 따라 컬러값이 동일하고 물리적으로 인접한 픽셀들을 하나의 클러스터로 분류하여, 부영상에 촬영된 대상체를 구성하는 하나 이상의 클러스터를 생성할 수 있다.
다음, 알파맵 생성부(130)의 클러스터 생성부(132)는 부영상에 포함된 클러스터 별 속성값을 생성한다(S225). 여기서, 속성값은 해당 클러스터의 컬러값, 그리고 영상에서 해당 클러스터가 투영된 픽셀들에 대한 픽셀값을 포함한다. 이때, 미리 정해진 컬러값 범위에 속하면 컬러값이 동일하다고 판단하는 경우, 클러스터 생성부(132)는 해당 컬러값 범위에 대한 대표컬러값을 해당 클러스터의 컬러값으로 결정할 수 있다. 또한, 클러스터 생성부(132)는 부영상에 포함된 클러스터들 각각의 속성값을 생성할 수 있다.
이후, 알파맵 생성부(130)의 영시차 추정부(133)는 주영상에 포함된 클러스터 별 속성값과 부영상에 포함된 클러스터 별 속성값을 비교하여, 주영상 및 부영상이 속성값이 동일한 클러스터에 해당하는 영시차 클러스터를 포함하는지 판단한다(S230). 여기서, 영시차 추정부(133)는 속성값이 동일한 클러스터를 검색할 수 있다. 또한, 영시차 추정부(133)는 컬러값이 동일하고 물리적으로 위치가 동일한 클러스터를 검색할 수도 있다. 이때, 영시차 추정부(133)는 주영상에 포함된 클러스터들 각각의 속성값과 부영상에 포함된 클러스터들 각각의 속성값을 비교할 수 있다.
S230의 판단결과, 영시차 클러스터를 포함하는 경우, 깊이 추정부(134)는 해당 부영상을 촬영한 부 카메라(113)의 카메라앵글, 그리고 주 카메라(111)와 부 카메라(113) 사이의 거리를 이용하여, 주영상에 대한 영시차 클러스터의 깊이값을 추정한다(S235).
다음, 알파맵 생성부(130)는 주영상에 포함된 클러스터에 대한 깊이값 추정을 종료할지를 판단한다(S240).
S240의 판단결과, 모든 클러스터의 깊이값이 추정된 경우, 알파맵 생성부(130)의 그룹 생성부(135)는 주영상에 포함된 클러스터 별 깊이값에 따라 하나 이상의 클러스터를 클러스터 그룹으로 분류하여, 주영상에서 하나 이상의 클러스터 그룹을 생성한다(S245). 여기서, 그룹 생성부(135)는 주영상에서 깊이값이 동일하고 물리적으로 인접한 클러스터들을 하나의 클러스터 그룹으로 분류할 수 있다.
이후, 알파맵 추정부(136)는 주영상에 포함된 클러스터 그룹의 깊이값에 따라 주영상의 알파맵을 추정한다(S250). 여기서, 알파맵 추정부(136)는 주영상에 포함된 클러스터 그룹의 깊이값에 따라 주영상을 전경영역 또는 배경영역으로 분류하여 주영상의 알파맵을 생성할 수 있다. 또한, 알파맵 추정부(136)는 클러스터 그룹을 주영상에 촬영된 대상체로 추정하여, 클러스터 그룹을 포함하는 주영상에 대한 알파맵으로부터 대상체가 촬영된 주영상에 대한 알파맵을 추정할 수 있다.
S230의 판단결과, 영시차 클러스터를 포함하지 아니하는 경우, 알파맵 생성부(130)는 S215 단계에 따라 다중 카메라부(110)로부터 부영상을 획득하여 S215 단계 이후의 단계를 수행한다.
S240의 판단결과, 모든 클러스터의 깊이값이 추정되지 아니한 경우, 알파맵 생성부(130)는 S215 단계에 따라 다중 카메라부(110)로부터 부영상을 획득하여 S215 단계 이후의 단계를 수행한다.
다음은, 도 7 내지 도 9을 참고하여 본 발명의 실시 예에 따른 영상 매팅 장치가 클러스터의 영시차 깊이라인을 추정하는 과정에 대해 설명한다.
도 7은 본 발명의 제1 실시 예에 따른 주영상 및 부영상을 도시한 도면이다.
도 7에 도시된 바와 같이, 다중 카메라부(110)는 복수 개의 대상체들로 구성된 피사체(10)를 촬영하여 주영상(111a) 및 부영상(113a)를 생성한다.
피사체(10)는 서로 다른 깊이로 배치되어 있는 제1 대상체(11), 제2 대상체(12), 제3 대상체(13) 및 제4 대상체(14)를 포함한다. 여기서, 제1 대상체(11)의 정면은 컬러값에 따라 복수 개의 클러스터로 분류되는 표면을 가진다. 이때, 제4 대상체(14)는 다른 대상체들과 상당한 거리를 가지는 배경에 해당한다.
주 카메라(111)는 미리 정해진 카메라앵글로 피사체(10)를 촬영하여, 제1 대상체(11), 제2 대상체(12) 및 제3 대상체(13)가 7에 도시된 바와 같이 투영된 주영상(111a)을 생성할 수 있다. 여기서, 주영상(111a)에 투영된 제1 대상체(11)는 복수 개의 클러스터들로 구성될 수 있고, 제1 대상체(11)를 구성하는 복수 개의 클러스터들은 제1 클러스터(11a)를 포함할 수 있다.
부 카메라(113)는 주 카메라(111)와 동일한 카메라앵글로 피사체(10)를 촬영하여, 제1 대상체(11), 제2 대상체(12) 및 제3 대상체(13)가 7에 도시된 바와 같이 투영된 부영상(113a)을 생성할 수 있다. 여기서, 부영상(113a)에 투영된 제1 대상체(11)는 복수 개의 클러스터로 구성될 수 있고, 제1 대상체(11)를 구성하는 복수 개의 클러스터들은 제1 클러스터(11a)를 포함할 수 있다.
제1 클러스터(11a)는 주영상(111a)과 부영상(113a)에서 각각 서로 다른 위치에 투영되기 때문에, 주영상(111a)과 부영상(113a)을 중첩시켰을 때 제1 클러스터(11a)의 시차가 다르게 나타난다.
이렇게 시차가 다르게 나타나는 이유는, 주 카메라(111)의 카메라앵글과 부 카메라(113)의 카메라앵글이 제1 대상체(11)의 깊이에 대응되는 영시차 깊이라인에서 교차하지 않기 때문이다.
도 8은 본 발명의 제2 실시 예에 따른 주영상 및 부영상을 도시한 도면이다.
도 8에 도시된 바와 같이, 다중 카메라부(110)는 복수 개의 대상체들로 구성된 피사체(10)를 촬영하여 주영상(111b) 및 부영상(113b)를 생성한다.
피사체(10)는 서로 다른 깊이로 배치되어 있는 제1 대상체(11), 제2 대상체(12), 제3 대상체(13) 및 제4 대상체(14)를 포함한다. 여기서, 제1 대상체(11)의 정면은 컬러값에 따라 복수 개의 클러스터로 분류되는 표면을 가진다. 이때, 제4 대상체(14)는 다른 대상체들과 상당한 거리를 가지는 배경에 해당한다.
주 카메라(111)는 미리 정해진 카메라앵글로 피사체(10)를 촬영하여, 제1 대상체(11), 제2 대상체(12) 및 제3 대상체(13)가 8에 도시된 바와 같이 투영된 주영상(111b)을 생성할 수 있다. 여기서, 주영상(111b)에 투영된 제1 대상체(11)는 복수 개의 클러스터들로 구성될 수 있고, 제1 대상체(11)를 구성하는 복수 개의 클러스터들은 제1 클러스터(11a)를 포함할 수 있다.
부 카메라(113)는 제1 각도의 카메라앵글로 피사체(10)를 촬영하여, 제1 대상체(11), 제2 대상체(12) 및 제3 대상체(13)가 8에 도시된 바와 같이 투영된 부영상(113b)을 생성할 수 있다. 여기서, 부영상(113b)에 투영된 제1 대상체(11)는 복수 개의 클러스터로 구성될 수 있고, 제1 대상체(11)를 구성하는 복수 개의 클러스터들은 제1 클러스터(11a)를 포함할 수 있다.
제1 클러스터(11a)는 주영상(111b)과 부영상(113b)에서 각각 서로 다른 위치에 투영되기 때문에, 주영상(111b)과 부영상(113b)을 중첩시켰을 때 제1 클러스터(11a)의 시차가 다르게 나타난다.
이렇게 시차가 다르게 나타나는 이유는, 주 카메라(111)의 카메라앵글과 부 카메라(113)의 카메라앵글이 제1 대상체(11)의 깊이에 대응되는 영시차 깊이라인에서 교차하지 않기 때문이다.
주영상(111b)과 부영상(113b)을 중첩시키면, 주영상(111b)에 투영된 제1 클러스터(11a)와 부영상(113b)에 투영된 제1 클러스터(11a)가 일부 중첩되어 동일한 컬러값을 가지는 픽셀들이 존재한다.
여기서, 픽셀 단위로 깊이값을 추정할 경우, 동일한 컬러값을 가지는 픽셀들이 실제 깊이값 보다 큰 깊이값을 할당받는 오류가 발생하지만, 클러스터 단위로 깊이값을 추정할 경우, 이와 같은 오류가 발생하지 않는다.
도 9는 본 발명의 제3 실시 예에 따른 주영상 및 부영상을 도시한 도면이다.
도 9에 도시된 바와 같이, 다중 카메라부(110)는 복수 개의 대상체들로 구성된 피사체(10)를 촬영하여 주영상(111c) 및 부영상(113c)를 생성한다.
피사체(10)는 서로 다른 깊이로 배치되어 있는 제1 대상체(11), 제2 대상체(12), 제3 대상체(13) 및 제4 대상체(14)를 포함한다. 여기서, 제1 대상체(11)의 정면은 컬러값에 따라 복수 개의 클러스터로 분류되는 표면을 가진다. 이때, 제4 대상체(14)는 다른 대상체들과 상당한 거리를 가지는 배경에 해당한다.
주 카메라(111)는 미리 정해진 카메라앵글로 피사체(10)를 촬영하여, 제1 대상체(11), 제2 대상체(12) 및 제3 대상체(13)가 9에 도시된 바와 같이 투영된 주영상(111c)을 생성할 수 있다. 여기서, 주영상(111c)에 투영된 제1 대상체(11)는 복수 개의 클러스터들로 구성될 수 있고, 제1 대상체(11)를 구성하는 복수 개의 클러스터들은 제1 클러스터(11a)를 포함할 수 있다.
부 카메라(113)는 제2 각도의 카메라앵글로 피사체(10)를 촬영하여, 제1 대상체(11), 제2 대상체(12) 및 제3 대상체(13)가 9에 도시된 바와 같이 투영된 부영상(113c)을 생성할 수 있다. 여기서, 부영상(113c)에 투영된 제1 대상체(11)는 복수 개의 클러스터로 구성될 수 있고, 제1 대상체(11)를 구성하는 복수 개의 클러스터들은 제1 클러스터(11a)를 포함할 수 있다.
이때, 주 카메라(111)의 카메라앵글과 부 카메라(113)의 카메라앵글은 제1 대상체(11)의 영시차 깊이라인에서 교차하고, 제1 클러스터(11a)는 주영상(111b)과 부영상(113b)에서 동일한 위치에 투영되기 때문에, 제1 클러스터(11a)의 깊이값이 정확하게 추정될 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 피사체 11-14: 대상체
100: 영상 매팅 장치 110: 다중 카메라부
111: 주 카메라 113: 부 카메라
115: 회전각 제어부 130: 알파맵 생성부
131: 원격 제어부 132: 클러스터 생성부
133: 영시차 추정부 134: 깊이 추정부
135: 그룹 생성부 136: 알파맵 추정부
150: 영상 매팅부

Claims (15)

  1. 주 카메라에서 미리 정해진 카메라앵글로 대상체를 촬영하여 생성된 주영상을 획득하고, 부 카메라에서 서로 다른 카메라앵글로 상기 대상체를 촬영하여 생성된 부영상들을 획득하는 다중 카메라부;
    상기 주영상과 상기 부영상들을 이용하여 상기 주영상에 촬영된 대상체를 구성하는 클러스터 별로 상기 주 카메라와 상기 대상체 사이의 거리에 해당하는 깊이값을 추정하는 깊이 추정부;
    상기 깊이 추정부에서 추정된 깊이값을 이용하여 상기 주영상의 알파맵을 추정하는 알파맵 추정부; 및
    상기 알파맵 추정부에서 추정된 알파맵을 이용하여 상기 주영상에서 전경영역을 추출하고, 추출된 전경영역을 이용하여 영상 매팅을 수행하는 영상 매팅부를 포함하는 다중 카메라를 이용한 영상 매팅 장치.
  2. 청구항 1에 있어서,
    상기 주영상의 픽셀 별 컬러값에 따라 상기 주영상의 픽셀들을 클러스터링하여 상기 주영상에 촬영된 대상체에 대응되는 클러스터를 생성하는 클러스터 생성부를 더 포함하는 다중 카메라를 이용한 영상 매팅 장치.
  3. 청구항 2에 있어서,
    상기 클러스터 생성부는
    상기 주영상의 픽셀들 중에서 컬러값이 동일하고 물리적으로 인접한 픽셀들을 클러스터링하는 다중 카메라를 이용한 영상 매팅 장치.
  4. 청구항 2에 있어서,
    상기 복수 개의 부영상들 중에서 상기 클러스터에 대해 영시차를 갖는 부영상을 검색하고, 검색된 부영상에 대응되는 카메라앵글을 추정하는 영시차 추정부를 더 포함하고,
    상기 깊이 추정부는
    상기 영시차 추정부에서 추정된 카메라앵글을 이용하여 상기 클러스터의 깊이값을 계산하는 다중 카메라를 이용한 영상 매팅 장치.
  5. 청구항 4에 있어서,
    상기 깊이 추정부는
    상기 주 카메라와 상기 부 카메라 사이의 거리를 더 이용하여 상기 클러스터의 깊이값을 계산하는 다중 카메라를 이용한 영상 매팅 장치.
  6. 청구항 2에 있어서,
    상기 클러스터 생성부는
    상기 주영상의 픽셀들 중에서 컬러값이 미리 정해진 범위에 속하고 물리적으로 인접한 픽셀들을 클러스터링하는 다중 카메라를 이용한 영상 매팅 장치.
  7. 청구항 1에 있어서,
    상기 깊이 추정부에서 추정된 깊이값에 따라 깊이값이 동일하고 물리적으로 인접한 클러스터들을 상기 주영상에 촬영된 대상체에 대응되는 클러스터 그룹으로 분류하는 그룹 생성부를 더 포함하고,
    상기 알파맵 추정부는
    상기 클러스터 그룹의 깊이값을 이용하여 상기 주영상의 알파맵을 추정하는 다중 카메라를 이용한 영상 매팅 장치.
  8. 청구항 1에 있어서,
    상기 알파맵 추정부는
    상기 주영상을 전경영역 또는 배경영역으로 분류하여 상기 주영상의 알파맵을 생성하는 다중 카메라를 이용한 영상 매팅 장치.
  9. 청구항 1에 있어서,
    상기 다중 카메라부는
    상기 부 카메라의 카메라앵글을 변경시키는 회전각 제어부를 포함하는 다중 카메라를 이용한 영상 매팅 장치.
  10. 장치가 영상 매팅을 위한 알파맵을 생성하는 알파맵 생성 방법에 있어서,
    주 카메라에서 미리 정해진 카메라앵글로 대상체를 촬영하여 생성된 주영상에 대해 컬러값이 동일하고 물리적으로 인접한 픽셀들을 클러스터링하여 상기 주영상에 촬영된 대상체를 구성하는 클러스터들을 생성하는 단계;
    부 카메라에서 서로 다른 카메라앵글로 상기 대상체를 촬영하여 생성된 부영상들을 이용하여 클러스터 별로 상기 주 카메라와 상기 대상체 사이의 거리에 해당하는 깊이값을 추정하는 단계;
    추정된 깊이값에 따라 상기 주영상에서 깊이값이 동일하고 물리적으로 인접한 클러스터들을 상기 주영상에 촬영된 대상체에 대응되는 클러스터 그룹으로 분류하는 단계; 및
    상기 클러스터 그룹의 깊이값에 따라 상기 주영상을 전경영역 또는 배경영역으로 분류하여 상기 주영상의 알파맵을 생성하는 단계를 포함하는 알파맵 생성 방법.
  11. 청구항 10에 있어서,
    상기 깊이값을 추정하는 단계는
    상기 부 카메라에서 제1 카메라앵글로 상기 대상체를 촬영하여 생성된 제1 부영상에 대해 컬러값이 동일하고 물리적으로 인접한 픽셀들을 클러스터링하여 상기 제1 부영상에 촬영된 대상체를 구성하는 클러스터들을 생성하는 단계;
    상기 주영상과 상기 제1 부영상에서 컬러값이 동일하고 물리적으로 위치가 동일한 클러스터를 검색하는 단계; 및
    상기 제1 카메라앵글을 이용하여 검색된 클러스터의 깊이값을 계산하는 단계를 포함하는 알파맵 생성 방법.
  12. 청구항 11에 있어서,
    상기 깊이값을 추정하는 단계는
    상기 주영상에 포함된 클러스터들 각각의 컬러값과 픽셀값을 이용하여 상기 주영상에 포함된 클러스터들 각각의 속성값을 생성하는 단계;
    상기 제1 부영상에 포함된 클러스터들 각각의 컬러값과 픽셀값을 이용하여 상기 제1 부영상에 포함된 클러스터들 각각의 속성값을 생성하는 단계; 및
    상기 주영상에 포함된 클러스터들 각각의 속성값과 상기 제1 부영상에 포함된 클러스터들 각각의 속성값을 비교하여 컬러값이 동일하고 물리적으로 위치가 동일한 클러스터를 검색하는 단계를 더 포함하는 알파맵 생성 방법.
  13. 청구항 11에 있어서,
    상기 깊이값을 계산하는 단계는
    상기 주 카메라와 상기 부 카메라 사이의 거리를 더 이용하여 상기 검색된 클러스터의 깊이값을 계산하는 알파맵 생성 방법.
  14. 청구항 11에 있어서,
    상기 제1 부영상에 촬영된 대상체를 구성하는 클러스터들을 생성하는 단계는
    상기 제1 부영상의 픽셀 별 컬러값에 따라 컬러값이 미리 정해진 범위에 속하고 물리적으로 인접한 픽셀들을 클러스터링하는 알파맵 생성 방법.
  15. 청구항 10에 있어서,
    상기 주영상에 촬영된 대상체를 구성하는 클러스터들을 생성하는 단계는
    상기 주영상의 픽셀 별 컬러값에 따라 컬러값이 미리 정해진 범위에 속하고 물리적으로 인접한 픽셀들을 클러스터링하는 알파맵 생성 방법.
KR1020110037420A 2010-12-22 2011-04-21 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법 KR101781158B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/335,859 US20120162412A1 (en) 2010-12-22 2011-12-22 Image matting apparatus using multiple cameras and method of generating alpha maps

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100132864 2010-12-22
KR20100132864 2010-12-22

Publications (2)

Publication Number Publication Date
KR20120071286A true KR20120071286A (ko) 2012-07-02
KR101781158B1 KR101781158B1 (ko) 2017-09-25

Family

ID=46706364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110037420A KR101781158B1 (ko) 2010-12-22 2011-04-21 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법

Country Status (1)

Country Link
KR (1) KR101781158B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180032320A (ko) * 2016-09-22 2018-03-30 주식회사 케이티 알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말, 셋톱 박스 및 방법
CN111726515A (zh) * 2019-03-22 2020-09-29 爱唯秀股份有限公司 一种深度相机***
CN113095116A (zh) * 2019-12-23 2021-07-09 深圳云天励飞技术有限公司 身份识别方法及相关产品

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180032320A (ko) * 2016-09-22 2018-03-30 주식회사 케이티 알파맵(Alpha Map) 분석을 통한 양방향 서비스를 제공하는 사용자 단말, 셋톱 박스 및 방법
CN111726515A (zh) * 2019-03-22 2020-09-29 爱唯秀股份有限公司 一种深度相机***
CN113095116A (zh) * 2019-12-23 2021-07-09 深圳云天励飞技术有限公司 身份识别方法及相关产品
CN113095116B (zh) * 2019-12-23 2024-03-22 深圳云天励飞技术有限公司 身份识别方法及相关产品

Also Published As

Publication number Publication date
KR101781158B1 (ko) 2017-09-25

Similar Documents

Publication Publication Date Title
US10867430B2 (en) Method and system of 3D reconstruction with volume-based filtering for image processing
WO2015165222A1 (zh) 全景图像的获取方法和装置
US9374571B2 (en) Image processing device, imaging device, and image processing method
US8928736B2 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
US8787656B2 (en) Method and apparatus for feature-based stereo matching
CN105279372B (zh) 一种确定建筑物高度的方法和装置
KR101804205B1 (ko) 영상 처리 장치 및 방법
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
EP2350973A1 (en) Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus
WO2014068472A1 (en) Depth map generation from a monoscopic image based on combined depth cues
JP5672112B2 (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
EP3629570A2 (en) Image capturing apparatus and image recording method
US20120162412A1 (en) Image matting apparatus using multiple cameras and method of generating alpha maps
JP2018124890A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2019127518A1 (zh) 避障方法、装置及可移动平台
KR101853269B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
KR20190044439A (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 방법
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Mirante et al. A fast image segmentation algorithm using color and depth map
US8908012B2 (en) Electronic device and method for creating three-dimensional image
KR101781158B1 (ko) 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법
JP2013093836A (ja) 撮像装置、画像処理装置およびその方法
Huang et al. Image registration among UAV image sequence and Google satellite image under quality mismatch
KR101281003B1 (ko) 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법
KR101457888B1 (ko) 기준점 보정을 이용한 3차원 영상 생성방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant