KR20110043833A - 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치 - Google Patents

퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치 Download PDF

Info

Publication number
KR20110043833A
KR20110043833A KR1020090100539A KR20090100539A KR20110043833A KR 20110043833 A KR20110043833 A KR 20110043833A KR 1020090100539 A KR1020090100539 A KR 1020090100539A KR 20090100539 A KR20090100539 A KR 20090100539A KR 20110043833 A KR20110043833 A KR 20110043833A
Authority
KR
South Korea
Prior art keywords
dynamic range
determining
channel
feature value
histogram
Prior art date
Application number
KR1020090100539A
Other languages
English (en)
Inventor
차준혁
문영수
이시화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090100539A priority Critical patent/KR20110043833A/ko
Priority to US12/805,453 priority patent/US20110096085A1/en
Publication of KR20110043833A publication Critical patent/KR20110043833A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치가 제공된다. 다이나믹 레인지 확장모드 결정 방법은 선정된 측정기준에 따라 프리뷰 영상에 관한 특징값을 결정하고, 결정된 특징값이 매칭되는 퍼지룰을 이용하여 다이나믹 레인지 확장모드를 결정함으로써, 디지털 카메라의 촬영모드를 지능적으로 제어할 수 있다. 특히, 다이나믹 레인지 확장모드 결정 방법은 다양한 측정기준에 따라 프리뷰 영상에 관한 특징값을 결정함으로써, 최적의 촬영모드를 도출할 수 있도록 한다.
퍼지룰, 측정기준, 다이나믹 레인지, 확장모드, 촬영모드

Description

퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치{DYNAMIC RANGE EXTENDED MODE OF DIGITAL CAMERA DECISION METHOD USING FUZZY RULE AND APPARATUS FOR PERFORMING THE METHOD}
아래의 실시예들은 퍼지룰을 이용하여 디지털 카메라의 다이나믹 레인지 확장모드를 결정하기 위한 기술에 관한 것이다.
디지털 카메라로 고대비 장면을 촬영하는 경우, 디지털 카메라의 다이나믹 레인지(dynamic range) 제한으로 인해 영상의 일부 디테일들이 손실되는 경우가 발생한다. 예컨대, 디지털 카메라의 다이나믹 레인지보다 촬영하려는 장면의 다이나믹 레인지가 큰 경우, 카메라의 노출 범위를 벗어난 부분은 영상의 암부나 명부에 디테일이 거의 없이 나타나게 된다.
이러한 문제를 개선하기 위해 영상의 대비를 향상시키기 위한 다양한 방법들이 제안되었다. 하지만, 단순히 대비를 향상시키는 방법은 영상 내의 디테일을 어느 정도 개선하는 효과는 있으나, 입력된 영상의 다이나믹 레인지를 확장시키지는 못한다.
또한, 영상의 다이나믹 레인지를 확장시키기 위한 방법으로는 노출이 다른 여러 장의 영상을 이용하여 1장의 다이나믹 레인지가 큰 영상을 만드는 방법들이 제안되었다.  하지만, 다이나믹 레인지를 확장하기 위한 후처리를 하는 경우, 촬영 과정 혹은 후처리 과정의 복잡도가 증가하고, 인위적인 대비 향상으로 인해 영상의 자연스러움을 잃어버릴 가능성이 있기 때문에, 무조건 다이나믹 레인지를 증가시키는 것이 적절한 자동 노출로 촬영한 사진보다 영상 품질이 좋은 것은 아니다.
따라서, 영상의 다이나믹 레인지 확장이 필요한가 그렇지 않은가를 판단하거나, 후처리 과정에서 어떤 방법을 사용해야 최적의 결과 영상을 얻을 수 있는가를 판단하는 것은 지금까지 고급 사용자들의 몫이었다.
본 발명의 일실시예에 따른 다이나믹 레인지 확장모드 결정 방법은 선정된 측정기준에 따라 프리뷰 영상에 관한 특징값을 결정하는 단계, 및 상기 결정된 특징값이 매칭되는 퍼지룰을 이용하여 다이나믹 레인지의 확장 여부를 판단하는 단계를 포함한다.
이때, 상기 프리뷰 영상에 관한 특징값을 결정하는 단계는 레드(R) 채널의 정규화 표준편차, 그린(G) 채널의 정규화 표준편차, 블루(B) 채널의 정규화 표준편차 중, 최대값을 가지는 정규화 표준편차가 선정된 제1 문턱값보다 큰지 판단하는 단계, 상기 제1 문턱값보다 큰 정규화 표준편차를 제1 측정기준으로 정의하는 단계, 및 상기 정의된 제1 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정하는 단계를 포함한다.
이때, 상기 프리뷰 영상에 관한 특징값을 결정하는 단계는 상기 프리뷰 영상의 평균 휘도를 계산하는 단계, 상기 계산된 평균 휘도의 분포영역을 제2 측정기준으로 정의하는 단계, 및 상기 정의된 제2 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정하는 단계를 포함한다.
이때, 상기 프리뷰 영상에 관한 특징값을 결정하는 단계는 휘도 히스토그램 Bin수의 상대평균이 선정된 제3 문턱값보다 큰지 판단하는 단계, 상기 제3 문턱값보다 큰 휘도 히스토그램 Bin수의 상대평균을 제3 측정기준으로 정의하는 단계, 및 상기 정의된 제3 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정하는 단 계를 포함한다.
이때, 상기 프리뷰 영상에 관한 특징값을 결정하는 단계는 휘도 히스토그램에서 선정된 영역에 분포하는 픽셀수가 제4 문턱값보다 큰지 판단하는 단계, 상기 판단결과에 따라 제4 측정기준을 정의하는 단계, 및 상기 정의된 제4 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정하는 단계를 포함한다.
이때, 상기 프리뷰 영상에 관한 특징값을 결정하는 단계는 레드(R) 채널의 히스토그램, 그린(G) 채널의 히스토그램, 또는 블루(B) 채널의 히스토그램에서 선정된 기준크기의 구간 내에 존재하는 픽셀수가 제5 문턱값보다 작은지 판단하는 단계, 상기 판단결과에 따라 제5 측정기준을 정의하는 단계, 및 상기 정의된 제5 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정하는 단계를 포함한다.
이때, 상기 퍼지룰을 이용하여 다이나믹 레인지의 확장 여부를 판단하는 단계는 상기 다이나믹 레인지의 확장 여부에 따라, 촬영모드를 자동 노출 모드, 대비 향상 모드 또는 HDR 영상 모드 중 어느 하나로 결정하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 다이나믹 레인지 확장모드 결정 방법은 자동 노출로 촬영된 프리뷰 영상에 대한 특징값을 결정하는 단계, 상기 결정된 특징값을 선정된 측정기준에 반영하여 다이나믹 레인지의 확장 여부를 판단하는 단계, 및 상기 판단결과에 따라 촬영모드를 결정하는 단계를 포함한다.
본 발명의 일실시예에 따른 다이나믹 레인지 확장모드 결정 장치는 다양한 측정기준에 따라 프리뷰 영상에 관한 특징값을 결정하는 특징값 결정부, 및 상기 결정된 특징값을 상기 다양한 측정기준에 매핑시켜 퍼지룰을 구성하는 퍼지룰 구성 부를 포함한다.
본 발명의 실시예들에 따르면, 일반 사용자들이 디지털 카메라로 다양한 장면을 촬영하는데 있어서, 디지털 카메라의 다이나믹 레인지 제한으로 인한 촬영 실패를 막는 데 있다.
또한, 본 발명의 실시예들에 따르면, 종래 디지털 카메라의 시스템을 바꾸지 않더라도 제안한 발명을 간단히 구현할 수 있으며, 장면에 맞는 적절한 후처리만을 수행할 수 있어 효과적인 사진 촬영 및 후처리가 가능하도록 해줄 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 실시예들을 상세하게 설명한다.  다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.  각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 다이나믹 레인지 확장모드 결정 방법을 나타낸 동작 흐름도이다.
도 1을 참고하면, 다이나믹 레인지 확장모드 결정 방법은 자동 노출로 촬영된 프리뷰 영상을 입력한다(110).
다이나믹 레인지 확장모드 결정 방법은 선정된 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정한다(120).
일반적으로, 디지털 카메라의 다이나믹 레인지(dynamic range)보다 촬영하려는 장면의 다이나믹 레인지가 큰 경우, 다이나믹 레인지의 제한으로 인해 영상의 일부 디테일들이 손실되는 경우가 발생한다.
이러한, 영상의 손실을 최소화하기 위해, 다이나믹 레인지 확장모드 결정 방법은 결정된 특징값이 매칭되는 퍼지룰을 이용하여 다이나믹 레인지의 확장 여부를 판단할 수 있다(130).
구체적인 실시예를 설명하기 위해, 이하 도 2를 참고하여 설명한다.
도 2는 영상에 대한 히스토그램의 일례를 도시한 도면이다.
도 2를 참고하면, 자동 노출 모드(210)에서는 영상의 다이나믹 레인지가 적절하게 분포한 경우이고, 픽셀의 밝기 분포가 중간영역에 집중되거나 고르게 분포하면서 평균 밝기값이 도 3의 'R1' 영역에 위치하는 것이 일반적이다.
이와 달리, 대비 향상 모드(220)에서는 다이나믹 레인지의 확장을 위한 다중노출 영상 정합이 필요한 수준은 아니지만, 평균 밝기값이 도 3의 'R2' 영역에 위치하고 픽셀의 밝기가 대부분 어두운 쪽에 모여있기 때문에 대비 확장 모드가 필요한 경우이다.
그러나, HDR 영상 모드(230)에서는 심각한 고대비 장면의 예로 픽셀의 밝기 분포가 히스토그램의 양끝 부분에 집중되어 있는데, 이 경우 명부와 암부의 디테일이 손실된다.
따라서, 다이나믹 레인지 확장모드 결정 방법은 프리뷰 영상에 대해 적정한 노출이 이루어진 경우와 그렇지 않은 경우를 다양한 측정기준으로 판단하여, 그 결과를 퍼지 방법(퍼지룰)으로 조합함으로써, 다이나믹 레인지의 확장여부를 판단하는 과정이 수행되어야 한다.
다이나믹 레인지 확장모드 결정 방법은 다음과 같이, 총 5개의 측정기준을 정의할 수 있다.
제1 측정기준( M1 )
다이나믹 레인지 확장모드 결정 방법은 레드(Red) 채널의 정규화 표준편차, 그린(Green) 채널의 정규화 표준편차, 블루(Blue) 채널의 정규화 표준편차 중, 최대값을 제1 측정기준으로 정의할 수 있다.
실시예로, 다이나믹 레인지 확장모드 결정 방법은 상기 레드 채널의 정규화 표준편차, 상기 그린 채널의 정규화 표준편차, 상기 블루 채널의 정규화 표준편차 중, 최대값을 가지는 정규화 표준편차가 선정된 제1 문턱값보다 큰지 판단하고, 상기 제1 문턱값보다 큰 정규화 표준편차를 제1 측정기준으로 정의함으로써, 상기 정의된 제1 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정할 수 있다.
더욱 상세하게는, 수학식 1 및 수학식 2를 통해 설명한다.
Figure 112009064648315-PAT00001
여기서, VarR은 레드 채널의 정규화 표준편차, N은 총 픽셀수, Rh(i)는 레드 채널의 히스토그램의 Bin수, mR은 레드 채널의 평균이다. 다이나믹 레인지 확장모드 결정 방법은 수학식 1을 이용하여 레드 채널의 정규화 표준편차(VarR), 그린 채 널의 정규화 표준편차(VarG), 블루 채널의 정규화 표준편차(VarB)를 구할 수 있다.
Figure 112009064648315-PAT00002
여기서, M1은 제1 측정기준, VarR은 레드 채널의 정규화 표준편차, VarG는 그린 채널의 정규화 표준편차, VarB는 블루 채널의 정규화 표준편차이고, THM1은 선정된 제1 문턱값이다. 따라서, 다이나믹 레인지 확장모드 결정 방법은 최대값을 가지는 정규화 표준편차가 선정된 제1 문턱값보다 큰 경우, 상기 특징값을 'O', 작은 경우, 상기 특징값을 'X'로 결정할 수 있다.
제2 측정기준( M2 )
다이나믹 레인지 확장모드 결정 방법은 평균 휘도의 분포영역을 제2 측정기준으로 정의할 수 있다.
실시예로, 다이나믹 레인지 확장모드 결정 방법은 상기 프리뷰 영상의 평균 휘도를 계산하고, 상기 계산된 평균 휘도의 분포영역을 제2 측정기준으로 정의함으로써, 상기 정의된 제2 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정할 수 있다.
Figure 112009064648315-PAT00003
여기서, Ymean은 상기 평균 휘도, N은 총 픽셀수, R(i)는 i번째 픽셀의 레드 컬러값, G(i)는 i번째 픽셀의 그린 컬러값, B(i)는 i번째 픽셀의 블루 컬러값이다. 따라서, 다이나믹 레인지 확장모드 결정 방법은 수학식 3을 이용하여 상기 프리뷰 영상의 평균 휘도를 계산할 수 있다.
Figure 112009064648315-PAT00004
여기서, M2는 상기 제2 측정기준, R1, R2, R3은 상기 평균 휘도의 분포영역이고, R11, R12, R21, R22는 선정된 구간범위이다.
도 3은 제2 측정기준에서 사용하는 평균 휘도의 분포영역에 대한 일례를 도시한 도면이다.
도 3을 참고하면, 다이나믹 레인지 확장모드 결정 방법은 상기 평균 휘도(Y)가 R11에서 R12 구간범위인 경우, 상기 특징값을 'R1'으로 결정하고, 상기 평균 휘도가 R21에서 R11 구간범위이거나, R12 에서 R22 구간범위인 경우, 상기 특징값을 'R2'로 결정하며, 상기 평균 휘도가 상기 구간범위 내에 포함되지 않는 경우, 상기 특징값을 'R3'으로 결정할 수 있다.
제3 측정기준( M3 )
다이나믹 레인지 확장모드 결정 방법은 휘도 히스토그램의 Bin수의 상대평 균을 제3 측정기준으로 정의할 수 있다.
실시예로, 다이나믹 레인지 확장모드 결정 방법은 휘도 히스토그램 Bin수의 상대평균이 선정된 제3 문턱값보다 큰지 판단하고, 상기 제3 문턱값보다 큰 휘도 히스토그램 Bin수의 상대평균을 제3 측정기준으로 정의함으로써, 상기 정의된 제3 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정할 수 있다.
Figure 112009064648315-PAT00005
여기서, Yrel은 휘도 히스토그램 Bin수의 상대평균, Yh(i)는 휘도 히스토그램의 i번째 Bin수, Ymax는 Bin의 최대값이다. 따라서, 다이나믹 레인지 확장모드 결정 방법은 수학식 5를 이용하여 상기 휘도 히스토그램 Bin수의 상대평균을 계산할 수 있다.
Figure 112009064648315-PAT00006
여기서, M3은 상기 제3 측정기준, THM3은 상기 선정된 제3 문턱값이다. 이 경우, 다이나믹 레인지 확장모드 결정 방법은 상기 계산된 휘도 히스토그램 Bin수의 상대평균이 상기 제3 문턱값보다 크거나 같은 경우, 상기 특징값을 'O'로 결정하고, 상기 계산된 휘도 히스토그램 Bin수의 상대평균이 상기 제3 문턱값보다 작은 경우, 상기 특징값을 'X'로 결정할 수 있다.
제4 측정기준( M4 )
다이나믹 레인지 확장모드 결정 방법은 휘도 히스토그램의 영역별 픽셀수를 제4 측정기준으로 정의할 수 있다.
도 4는 제4 측정기준에서 사용하는 휘도 히스토그램의 영역별 픽셀수에 대한 일례를 도시한 도면이다.
도 4를 참고하면, 다이나믹 레인지 확장모드 결정 방법은 도시한 휘도 히스토그램에서 선정된 영역 'A', 'B'에 분포하는 픽셀수가 제4 문턱값보다 큰지 판단하고, 상기 판단결과에 따라 제4 측정기준을 정의함으로써, 상기 정의된 제4 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정할 수 있다.
예컨대, 다이나믹 레인지 확장모드 결정 방법은 좌우의 'A' 영역의 픽셀수가 상기 제4 문턱값다 큰 것이 존재하는 경우, 상기 특징값을 'A'로 결정하고, 'A' 영역의 픽셀수가 상기 제4 문턱값보다 작으면서 'B' 영역의 픽셀수가 상기 제4 문턱값보다 큰 경우, 상기 특징값을 'B'로 결정하며, 그렇지 않은 경우에는 상기 특징값을 'X'로 결정할 수 있다.
제5 측정기준( M5 )
다이나믹 레인지 확장모드 결정 방법은 레드(R) 채널의 히스토그램, 그린(G) 채널의 히스토그램, 또는 블루(B) 채널의 히스토그램에서 선정된 기준크기의 구간 내에 픽셀의 공백이 존재하는지 여부를 제5 측정기준으로 정의할 수 있다.
실시예로, 다이나믹 레인지 확장모드 결정 방법은 레드(R) 채널의 히스토그 램, 그린(G) 채널의 히스토그램, 또는 블루(B) 채널의 히스토그램에서 선정된 기준크기의 구간 내에 존재하는 픽셀수가 제5 문턱값보다 작은지 판단하고, 상기 판단결과에 따라 제5 측정기준을 정의함으로써, 상기 정의된 제5 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정할 수 있다.
Figure 112009064648315-PAT00007
여기서, RRange(i)는 레드 채널의 히스토그램에서 선정된 기준크기의 구간 내에 존재하는 픽셀수, Rm5는 선정된 기준크기, Rh(j)는 레드 채널의 히스토그램이다. 따라서, 다이나믹 레인지 확장모드 결정 방법은 수학식 7을 이용하여 그린(G) 채널의 히스토그램, 또는 블루(B) 채널의 히스토그램을 구할 수 있다.
Figure 112009064648315-PAT00008
여기서, M5는 상기 제5 측정기준, THM5는 선정된 제5 문턱값이다. 예컨대, 다이나믹 레인지 확장모드 결정 방법은 채널의 히스토그램, 그린(G) 채널의 히스토그램, 또는 블루(B) 채널의 히스토그램에서 선정된 기준크기의 구간 내에 존재하는 픽셀수가 제5 문턱값보다 크거나 같은 경우, 상기 특징값을 'O'로 결정하고, 작은 경우, 상기 특징값을 'X'로 결정할 수 있다.
이로써, 다이나믹 레인지 확장모드 결정 방법은 도 5와 같은 퍼지룰을 구성할 수 있다.
도 5는 다이나믹 레인지 확장모드 판단을 위해 구성된 퍼지룰의 일례를 도시한 도면이다.
도 5를 참고하면, 다이나믹 레인지 확장모드 결정 방법은 퍼지룰을 참고하여 제1 내지 제5 측정기준(M1 ~ M5)을 따라 상기 프리뷰 영상의 특징값이 해당하는 촬영모드(AE, CE, HDR)를 판단함으로써, 디지털 카메라의 다이나믹 레인지의 확장 여부를 결정할 수 있다.
예컨대, 다이나믹 레인지 확장모드 결정 방법은 상기 다이나믹 레인지의 확장 여부에 따라, 촬영모드를 '자동 노출 모드(AE)', '대비 향상 모드(CE)' 또는 'HDR 영상 모드(HDR)' 중 어느 하나로 결정할 수 있다.
'자동 노출 모드'로 촬영모드가 결정된 경우, 다이나믹 레인지 확장모드 결정 방법은 자동 노출 모드에 따라 영상을 촬영할 수 있다(141, 142).
또는, '대비 향상 모드'로 촬영모드가 결정된 경우, 다이나믹 레인지 확장모드 결정 방법은 대비 향상 모드에 따라 영상을 촬영하고, 대비 향상을 수행할 수 있다(151, 152, 153).
또는, 'HDR 영상 모드'로 촬영모드가 결정된 경우, 다이나믹 레인지 확장모드 결정 방법은 HDR 영상 모드에 따라 영상을 촬영하고, Radiance Map을 생성하며, Tone Mapping을 수행할 수 있다(161, 162, 163, 164).
최종적으로, 다이나믹 레인지 확장모드 결정 방법은 각 촬영모드에 따라 촬 영된 영상을 저장할 수 있다(170).
도 6은 본 발명의 일실시예에 따른 다이나믹 레인지 확장모드 결정 장치를 나타낸 블록도이다.
도 6을 참고하면, 다이나믹 레인지 확장모드 결정 장치(600)는 특징값 결정부(610), 퍼지룰 구성부(620), 측정기준 정의부(630), 확장모드 판단부(640), 및 촬영 제어부(650)를 포함할 수 있다.
특징값 결정부(610)는 다양한 측정기준에 따라 프리뷰 영상에 관한 특징값을 결정한다.
상기 다양한 측정기준을 정의하기 위해, 측정기준 정의부(630)는 (1)레드 채널의 정규화된 표준편차, 그린 채널의 정규화된 표준편차, 블루 채널의 정규화된 표준편차 중 최대값, (2)평균 휘도의 분포영역, (3)휘도 히스토그램의 Bin수의 상대평균, (4)휘도 히스토그램의 영역별 픽셀수, (5)레드 채널의 히스토그램, 그린 채널의 히스토그램, 또는 블루 채널의 히스토그램에서 선정된 기준크기의 구간 내에 픽셀 공백 존재 여부 중 어느 하나를 측정기준으로 정의한다.
이 경우, 특징값 결정부(610)는 상기 정의된 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정할 수 있다.
퍼지룰 구성부(620)는 상기 결정된 특징값을 상기 다양한 측정기준에 매핑시켜 퍼지룰을 구성한다. 퍼지룰 구성부(620)는 도 5와 같이, 상기 다양한 측정기준에 매칭되는 특징값을 포함하는 퍼지룰을 구성할 수 있다.
확장모드 판단부(640)는 상기 구성된 퍼지룰을 이용하여 다이나믹 레인지의 확장 여부를 판단한다.
촬영 제어부(650)는 상기 판단결과에 따라 촬영모드를 결정하고, 결정된 촬영모드에 따라 영상을 촬영하도록 제어한다. 예컨대, 촬영 제어부(650)는 상기 판단결과에 따라 촬영모드를 자동 노출 모드, 대비 향상 모드 또는 HDR 영상 모드 중 어느 하나로 결정할 수 있다.
도 6에 도시된 다이나믹 레인지 확장모드 결정 장치는 도 1 내지 도 5를 통해 설명된 내용이 그대로 적용될 수 있으므로, 상세한 설명을 생략한다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 다이나믹 레인지 확장모드 결정 방법을 나타낸 동작 흐름도이다.
도 2는 영상에 대한 히스토그램의 일례를 도시한 도면이다.
도 3은 제2 측정기준에서 사용하는 평균 휘도의 분포영역에 대한 일례를 도시한 도면이다.
도 4는 제4 측정기준에서 사용하는 휘도 히스토그램의 영역별 픽셀수에 대한 일례를 도시한 도면이다.
도 5는 다이나믹 레인지 확장모드 판단을 위해 구성된 퍼지룰의 일례를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 다이나믹 레인지 확장모드 결정 장치를 나타낸 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
600: 다이나믹 레인지 확장모드 결정 장치
610: 특징값 결정부
620: 퍼지룰 구성부
630: 측정기준 정의부
640: 확장모드 판단부
650: 촬영 제어부

Claims (19)

  1. 선정된 측정기준에 따라 프리뷰 영상에 관한 특징값을 결정하는 단계; 및
    상기 결정된 특징값이 매칭되는 퍼지룰을 이용하여 다이나믹 레인지의 확장 여부를 판단하는 단계
    를 포함하는 다이나믹 레인지 확장모드 결정 방법.
  2. 제1항에 있어서,
    상기 프리뷰 영상에 관한 특징값을 결정하는 단계는,
    레드(R) 채널의 정규화 표준편차, 그린(G) 채널의 정규화 표준편차, 블루(B) 채널의 정규화 표준편차 중, 최대값을 가지는 정규화 표준편차가 선정된 제1 문턱값보다 큰지 판단하는 단계; 및
    상기 제1 문턱값보다 큰 정규화 표준편차를 제1 측정기준으로 정의하는 단계;
    상기 정의된 제1 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정하는 단계
    를 포함하는 다이나믹 레인지 확장모드 결정 방법.
  3. 제2항에 있어서,
    수학식 1
    Figure 112009064648315-PAT00009
    수학식 2
    Figure 112009064648315-PAT00010
    상기 각 채널의 정규화 표준편차는 수학식 1을 이용하여 산출하고,
    수학식 1에서 VarR은 레드 채널의 정규화 표준편차, N은 총 픽셀수, Rh(i)는 레드 채널의 히스토그램의 Bin수, mR은 레드 채널의 평균이고,
    수학식 2에서 M1은 제1 측정기준, VarR은 레드 채널의 정규화 표준편차, VarG는 그린 채널의 정규화 표준편차, VarB는 블루 채널의 정규화 표준편차이고, THM1은 선정된 제1 문턱값인, 다이나믹 레인지 확장모드 결정 방법.
  4. 제1항에 있어서,
    상기 프리뷰 영상에 관한 특징값을 결정하는 단계는,
    상기 프리뷰 영상의 평균 휘도를 계산하는 단계;
    상기 계산된 평균 휘도의 분포영역을 제2 측정기준으로 정의하는 단계; 및
    상기 정의된 제2 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정 하는 단계
    를 포함하는 다이나믹 레인지 확장모드 결정 방법.
  5. 제4항에 있어서,
    수학식 3
    Figure 112009064648315-PAT00011
    수학식 4
    Figure 112009064648315-PAT00012
    상기 평균 휘도는 수학식 3을 이용하여 계산하고,
    수학식 3에서 Ymean은 상기 평균 휘도, N은 총 픽셀수, R(i)는 i번째 픽셀의 레드 컬러값, G(i)는 i번째 픽셀의 그린 컬러값, B(i)는 i번째 픽셀의 블루 컬러값이고,
    수학식 4에서 M2는 상기 제2 측정기준, R1, R2, R3은 상기 분포영역이고, R11, R12, R21, R22는 선정된 구간범위인, 다이나믹 레인지 확장모드 결정 방법.
  6. 제1항에 있어서,
    상기 프리뷰 영상에 관한 특징값을 결정하는 단계는,
    휘도 히스토그램 Bin수의 상대평균이 선정된 제3 문턱값보다 큰지 판단하는 단계;
    상기 제3 문턱값보다 큰 휘도 히스토그램 Bin수의 상대평균을 제3 측정기준으로 정의하는 단계; 및
    상기 정의된 제3 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정하는 단계
    를 포함하는 다이나믹 레인지 확장모드 결정 방법.
  7. 제6항에 있어서,
    수학식 5
    Figure 112009064648315-PAT00013
    수학식 6
    Figure 112009064648315-PAT00014
    상기 휘도 히스토그램 Bin수의 상대평균은 수학식 5를 이용하여 계산하고,
    수학식 5에서 Yrel은 상기 휘도 히스토그램 Bin수의 상대평균, Yh(i)는 휘도 히스토그램의 i번째 Bin수, Ymax는 Bin의 최대값이고,
    수학식 6에서 M3은 상기 제3 측정기준, THM3은 상기 선정된 제3 문턱값인, 다이나믹 레인지 확장모드 결정 방법.
  8. 제1항에 있어서,
    상기 프리뷰 영상에 관한 특징값을 결정하는 단계는,
    휘도 히스토그램에서 선정된 영역에 분포하는 픽셀수가 제4 문턱값보다 큰지 판단하는 단계;
    상기 판단결과에 따라 제4 측정기준을 정의하는 단계; 및
    상기 정의된 제4 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정하는 단계
    를 포함하는 다이나믹 레인지 확장모드 결정 방법.
  9. 제1항에 있어서,
    상기 프리뷰 영상에 관한 특징값을 결정하는 단계는,
    레드(R) 채널의 히스토그램, 그린(G) 채널의 히스토그램, 또는 블루(B) 채널의 히스토그램에서 선정된 기준크기의 구간 내에 존재하는 픽셀수가 제5 문턱값보다 작은지 판단하는 단계;
    상기 판단결과에 따라 제5 측정기준을 정의하는 단계; 및
    상기 정의된 제5 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정하는 단계
    를 포함하는 다이나믹 레인지 확장모드 결정 방법.
  10. 제9항에 있어서,
    수학식 7
    Figure 112009064648315-PAT00015
    수학식 8
    Figure 112009064648315-PAT00016
    상기 선정된 기준크기의 구간 내에 존재하는 픽셀수는 수학식 7을 이용하여 산출하고,
    수학식 7에서 RRange(i)는 레드 채널의 히스토그램에서 선정된 기준크기의 구간 내에 존재하는 픽셀수, Rm5는 선정된 기준크기, Rh(j)는 레드 채널의 히스토그램이고,
    수학식 8에서 M5는 상기 제5 측정기준, THM5는 선정된 제5 문턱값인, 다이나믹 레인지 확장모드 결정 방법.
  11. 제1항에 있어서,
    상기 퍼지룰을 이용하여 다이나믹 레인지의 확장 여부를 판단하는 단계는,
    상기 다이나믹 레인지의 확장 여부에 따라, 촬영모드를 자동 노출 모드, 대 비 향상 모드 또는 HDR 영상 모드 중 어느 하나로 결정하는 단계
    를 포함하는 다이나믹 레인지 확장모드 결정 방법.
  12. 자동 노출로 촬영된 프리뷰 영상에 대한 특징값을 결정하는 단계;
    상기 결정된 특징값을 선정된 측정기준에 반영하여 다이나믹 레인지의 확장 여부를 판단하는 단계; 및
    상기 판단결과에 따라 촬영모드를 결정하는 단계
    를 포함하는 다이나믹 레인지 확장모드 결정 방법.
  13. 제12항에 있어서,
    상기 선정된 측정기준은,
    (1)레드 채널의 정규화된 표준편차, 그린 채널의 정규화된 표준편차, 블루 채널의 정규화된 표준편차 중 최대값,
    (2)평균 휘도의 분포영역,
    (3)휘도 히스토그램의 Bin수의 상대평균,
    (4)휘도 히스토그램의 영역별 픽셀수,
    (5)레드 채널의 히스토그램, 그린 채널의 히스토그램, 또는 블루 채널의 히스토그램에서 선정된 기준크기의 구간 내에 픽셀의 공백이 존재하는지 여부
    중 어느 하나인, 다이나믹 레인지 확장모드 결정 방법.
  14. 제12항에 있어서,
    상기 다이나믹 레인지를 확장할 것인지 판단하는 단계는,
    상기 결정된 특징값을 선정된 측정기준에 매핑시켜 퍼지룰을 구성하는 단계; 및
    상기 구성된 퍼지룰을 이용하여 다이나믹 레인지를 확장 여부를 판단하는 단계
    를 포함하는 다이나믹 레인지 확장모드 결정 방법.
  15. 제1항 내지 제14항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  16. 다양한 측정기준에 따라 프리뷰 영상에 관한 특징값을 결정하는 특징값 결정부; 및
    상기 결정된 특징값을 상기 다양한 측정기준에 매핑시켜 퍼지룰을 구성하는 퍼지룰 구성부
    를 포함하는 다이나믹 레인지 확장모드 결정 장치.
  17. 제16항에 있어서,
    상기 구성된 퍼지룰을 이용하여 다이나믹 레인지의 확장 여부를 판단하는 확장모드 판단부; 및
    상기 판단결과에 따라 촬영모드를 결정하고, 결정된 촬영모드에 따라 영상을 촬영하도록 제어하는 촬영 제어부
    를 더 포함하는 다이나믹 레인지 확장모드 결정 장치.
  18. 제17항에 있어서,
    상기 촬영 제어부는,
    상기 판단결과에 따라 촬영모드를 자동 노출 모드, 대비 향상 모드 또는 HDR 영상 모드 중 어느 하나로 결정하는, 다이나믹 레인지 확장모드 결정 장치.
  19. 제16항에 있어서,
    (1)레드 채널의 정규화된 표준편차, 그린 채널의 정규화된 표준편차, 블루 채널의 정규화된 표준편차 중 최대값,
    (2)평균 휘도의 분포영역,
    (3)휘도 히스토그램의 Bin수의 상대평균,
    (4)휘도 히스토그램의 영역별 픽셀수,
    (5)레드 채널의 히스토그램, 그린 채널의 히스토그램, 또는 블루 채널의 히스토그램에서 선정된 기준크기의 구간 내에 픽셀의 공백이 존재하는지 여부 중 어느 하나로 측정기준을 정의하는 측정기준 정의부
    를 더 포함하고,
    상기 특징값 결정부는,
    상기 정의된 측정기준에 따라 상기 프리뷰 영상에 관한 특징값을 결정하는, 다이나믹 레인지 확장모드 결정 장치.
KR1020090100539A 2009-10-22 2009-10-22 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치 KR20110043833A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090100539A KR20110043833A (ko) 2009-10-22 2009-10-22 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치
US12/805,453 US20110096085A1 (en) 2009-10-22 2010-07-30 Apparatus and method determining image dynamic range extended mode using fuzzy rule

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090100539A KR20110043833A (ko) 2009-10-22 2009-10-22 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20110043833A true KR20110043833A (ko) 2011-04-28

Family

ID=43898045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090100539A KR20110043833A (ko) 2009-10-22 2009-10-22 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치

Country Status (2)

Country Link
US (1) US20110096085A1 (ko)
KR (1) KR20110043833A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011055299A1 (de) 2011-05-11 2012-11-15 Hyundai Motor Co. Auf Turbolader basierendes Motorsystem und Kraftstoffverhältnis-Verbesserungs-Verfahren davon
CN117939751A (zh) * 2024-03-25 2024-04-26 济宁医学院附属医院 一种紫外线的灯光控制***

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584733B2 (en) * 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US9172889B2 (en) * 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images
US9338372B2 (en) 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
TWI464526B (zh) * 2013-08-08 2014-12-11 Quanta Comp Inc 高動態範圍影像曝光時間控制方法
US20160073015A1 (en) * 2014-09-06 2016-03-10 Anne Elizabeth Bressler Implementing an automated camera setting application for capturing a plurality of images
WO2017035750A1 (zh) * 2015-08-31 2017-03-09 华为技术有限公司 一种拍摄图片的方法及装置
US10375317B2 (en) * 2016-07-07 2019-08-06 Qualcomm Incorporated Low complexity auto-exposure control for computer vision and imaging systems
CN111586292B (zh) * 2020-04-23 2021-10-22 浙江大华技术股份有限公司 一种摄像状态的切换方法、装置和计算机设备
CN112804464B (zh) * 2020-12-30 2023-05-09 北京格视科技有限公司 一种hdr图像生成方法、装置、电子设备及可读存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3412174B2 (ja) * 1992-05-21 2003-06-03 松下電器産業株式会社 自動露光制御装置
US5929908A (en) * 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
JP3630905B2 (ja) * 1997-02-28 2005-03-23 キヤノン株式会社 撮像方法及び撮像装置
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP4245699B2 (ja) * 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
JP3458741B2 (ja) * 1998-12-21 2003-10-20 ソニー株式会社 撮像方法及び撮像装置、画像処理方法及び画像処理装置
CN1463534A (zh) * 2001-05-31 2003-12-24 松下电器产业株式会社 图像处理装置和图像处理方法
US7218353B2 (en) * 2001-12-26 2007-05-15 Nikon Corporation Electronic camera that selectively performs different exposure calculation routines
EP1345172A1 (en) * 2002-02-26 2003-09-17 Sony International (Europe) GmbH Contrast enhancement for digital images
JP4051674B2 (ja) * 2003-01-17 2008-02-27 富士フイルム株式会社 撮像装置
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US7239805B2 (en) * 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
US7433514B2 (en) * 2005-07-13 2008-10-07 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
US20070047803A1 (en) * 2005-08-30 2007-03-01 Nokia Corporation Image processing device with automatic white balance
US7944485B2 (en) * 2006-08-30 2011-05-17 Micron Technology, Inc. Method, apparatus and system for dynamic range estimation of imaged scenes
JP4854581B2 (ja) * 2007-04-24 2012-01-18 キヤノン株式会社 撮像装置及びその制御方法
CN101803366B (zh) * 2007-07-25 2015-01-14 坎德拉微***(S)私人有限公司 用于成像***的曝光控制
US20090086074A1 (en) * 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011055299A1 (de) 2011-05-11 2012-11-15 Hyundai Motor Co. Auf Turbolader basierendes Motorsystem und Kraftstoffverhältnis-Verbesserungs-Verfahren davon
CN117939751A (zh) * 2024-03-25 2024-04-26 济宁医学院附属医院 一种紫外线的灯光控制***
CN117939751B (zh) * 2024-03-25 2024-06-04 济宁医学院附属医院 一种紫外线的灯光控制***

Also Published As

Publication number Publication date
US20110096085A1 (en) 2011-04-28

Similar Documents

Publication Publication Date Title
KR20110043833A (ko) 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치
US8305487B2 (en) Method and apparatus for controlling multiple exposures
JP5398156B2 (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
KR101812807B1 (ko) 영역별 가중치를 기반으로 한 적응형 자동 노출 제어 방법
CN102946513B (zh) 一种启动拍摄装置高动态范围功能的方法、装置及终端
JP4978378B2 (ja) 画像処理装置
US20070195171A1 (en) Face importance level determining apparatus and method, and image pickup apparatus
JP5665436B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN105007430B (zh) 用于确定曝光设置的方法和装置
KR102243292B1 (ko) 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체
CN103797782A (zh) 图像处理装置、程序
JP2018006912A (ja) 撮像装置、画像処理装置及びそれらの制御方法、プログラム
JP4154128B2 (ja) 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記録した記録媒体
JP2007329619A (ja) 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。
KR101349968B1 (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
JP2009124264A (ja) 画像処理装置および画像処理方法
JP2018050149A (ja) 画像処理装置
US8031966B2 (en) Method and apparatus for determining whether backlight exists
JP2002368982A (ja) 画像処理装置および画像処理方法および記録媒体
JP6541416B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2007174015A (ja) 画像管理プログラム、および画像管理装置
JP2014120813A (ja) 撮像装置及び撮像方法
JP6300514B2 (ja) 撮像装置、および撮像装置の制御方法
CN115696027A (zh) 拍摄方法、装置、控制器、设备和计算机可读存储介质
CN110072050B (zh) 曝光参数的自适应调整方法、装置及一种拍摄设备

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid