KR100682898B1 - 적외선을 이용한 영상 장치 및 그의 영상 식별 방법 - Google Patents

적외선을 이용한 영상 장치 및 그의 영상 식별 방법 Download PDF

Info

Publication number
KR100682898B1
KR100682898B1 KR1020040090917A KR20040090917A KR100682898B1 KR 100682898 B1 KR100682898 B1 KR 100682898B1 KR 1020040090917 A KR1020040090917 A KR 1020040090917A KR 20040090917 A KR20040090917 A KR 20040090917A KR 100682898 B1 KR100682898 B1 KR 100682898B1
Authority
KR
South Korea
Prior art keywords
image
component
unit
infrared
extracted
Prior art date
Application number
KR1020040090917A
Other languages
English (en)
Other versions
KR20060042311A (ko
Inventor
박규태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040090917A priority Critical patent/KR100682898B1/ko
Priority to US11/269,549 priority patent/US20060097172A1/en
Publication of KR20060042311A publication Critical patent/KR20060042311A/ko
Application granted granted Critical
Publication of KR100682898B1 publication Critical patent/KR100682898B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)

Abstract

적외선을 이용한 영상 장치 및 그의 영상 식별 방법이 개시된다. 이 장치는, 영상의 스펙트럼에서 가시광선 성분과 적외선 성분을 함께 광학적으로 센싱하고, 센싱한 영상을 전기적인 신호로 변환하는 영상 센싱부 및 영상 센싱부로부터 입력한 전기적인 신호로부터 영상에서 관심의 대상이 되는 객체 성분을 인식하는 영상 처리부를 구비하는 것을 특징으로 한다. 그러므로 종래보다 공정상으로 훨씬 더 쉽게 적외선 성분 셀을 구현할 수 있고, 구현된 적외선 필터를 이용하여 센싱된 영상의 적외선 성분을 이용하므로 객체의 주변 조명에 영향을 덜 받으면서 객체 성분을 더 정확하게 식별할 수 있고, 적외선 성분과 가시광선 성분을 함께 투과시키는 영상 센싱부를 이용하여 한 대의 카메라만으로 홍채 식별의 기능뿐만 아니라 컬러 영상을 획득하는 기능을 모두 수행할 수 있어, 즉, 두 가지의 기능들을 한 대의 카메라만으로 통합하여 수행할 수 있으므로 장비를 소형화시킬 수 있는 효과를 갖는다.

Description

적외선을 이용한 영상 장치 및 그의 영상 식별 방법{Imaging apparatus using infrared ray and image discrimination method thereof}
도 1은 광학적으로 센싱한 영상을 전기적인 신호로 변환하여 출력하는 본 발명에 의한 영상 장치의 실시예의 블럭도이다.
도 2는 도 1에 도시된 영상 어레이의 본 발명에 의한 실시예를 설명하기 위한 도면이다.
도 3 (a) ~ (f)들은 도 2에 도시된 단위 셀들이 배열될 수 있는 패턴들의 실시예들을 나타내는 도면들이다.
도 4 (a) 및 (b)는 도 2에 도시된 단위 셀들이 배열될 수 있는 패턴들의 다른 실시예들을 나타내는 도면들이다.
도 5는 본 발명에 의한 적외선을 이용한 영상 장치의 블럭도이다.
도 6은 도 5에 도시된 영상 처리부의 본 발명에 의한 실시예의 블럭도이다.
도 7은 도 6에 도시된 영상 제어부의 본 발명에 의한 실시예의 블럭도이다.
도 8은 도 6에 도시된 영상 식별부의 본 발명에 의한 실시예의 블럭도이다.
도 9는 도 8에 도시된 객체 성분 추출부의 본 발명에 의한 실시예의 블럭도이다.
도 10은 도 8에 도시된 인식부의 본 발명에 의한 실시예의 블럭도이다.
도 11은 본 발명에 의한 영상 식별 방법의 실시예를 설명하기 위한 플로우차트이다.
도 12는 도 11에 도시된 제186 단계에 대한 실시예를 설명하기 위한 플로우차트이다.
본 발명은 휴대폰 등과 같은 상업용 이동 단말 장치, 사용자 인증을 요구하는 전자 지갑, 인물을 감시하는 감시 장비, 스테레오 비젼, 3차원 얼굴 인식 장치, 홍채 인식 장치, 졸음 방지용 차량 센서, 차간 거리 알림용 차량 센서, 전방에 사람이 있음을 경고하는 차량 센서 등에서 영상을 센싱하는 장치에 관한 것으로서, 특히, 영상의 스펙트럼에서 가시광선 성분뿐만 아니라 적외선 성분도 센싱하며, 센싱된 결과를 이용하여 영상을 식별할 수 있는 적외선을 이용한 영상 장치 및 그의 영상 식별 방법에 관한 것이다.
지금까지 영상을 촬영하는 종래의 방법들은 영상의 해상도를 향상시키는 데 목표를 두어왔다. 컬러 필터 어레이(CFA:Color Filter Array) 패턴을 이용하여 영상을 촬영하는 종래의 대표적인 방법이 미국 특허 번호 US3,971,065에 "Color imaging array"라는 제목으로 개시되어 있다. 여기에 개시된 종래의 방법은 영상의 스펙트럼에서 3가지 가시광선 성분들 즉, 적색 성분(R:Red), 녹색 성분(G:Green) 및 청색 성분(B:Blue)을 센싱하는 것을 목적으로 한다.
사실상, 영상의 적외선 성분(IR:InfraRed)은 영상의 화질을 저하시키기 때문에, 전술한 종래의 방법뿐만 아니라 대개의 종래의 영상 촬영 방법들은 영상에서 적외선 성분을 가급적이면 제거함으로써 사람의 시각과 같은 깨끗하고 선명한 칼라 영상을 구현하려고 해 왔다.
종래의 다른 영상 촬영 방법이 "Electronic Color Infrared Camera"라는 제목으로 출원된 미국 특허 번호 US6,292,212에 개시되어 있다. 여기에 개시된 종래의 방법은 일반적인 카메라를 그대로 이용하면서 적외선 성분 제거 필터 또는 옐로우 성분(Y:Yellow) 투과 필터를 선택적으로 부착한다. 만일, 옐로우 성분 투과 필터가 부착될 경우, 영상에서 3가지의 성분들 즉, R, G 및 IR이 촬영된다. 그러나 적외선 성분 제거 필터가 부착될 경우, 영상에서 3가지의 성분들 즉, R, G 및 B이 촬영된다. 이러한 종래의 방법은 R, G, B 및 IR을 모두 촬영할 수 없다.
한편, 전술한 종래의 방법들과 달리 적외선 성분을 촬영하는 종래의 방법들 중 하나가 "Pre-subtracting architecture for enabling multiple spectrum image sensing"라는 제목으로 출원된 미국 특허 번호 US6,657,663에 개시되어 있다. 여기에 개시된 종래의 방법은 적색 성분(R)을 투과시키는 R 필터와 청색 성분(B)을 투과시키는 B 필터를 오버랩하여 적외선 성분을 투과시키는 적외선 필터를 구현하였다. 따라서, 이러한 종래의 방법은 적외선 필터를 구현하기 위해, 두 개의 R 및 B 필터들을 오버랩해야 하므로, 이를 위한 공정상의 과정을 더 요구하는 문제점을 갖는다.
한편, 가시 광선을 이용하여 얼굴을 인식하는 종래의 방법이 'W. Zhao', 'R. Chellappa', 'P.J. Phillips' 및 'A. Rosenfeld'에 의해 저술되고 "Face Recognition - A Literature Survey"라는 제목으로 ACM Computing Surveys의 Vol. 35, No. 4. 2003년 12월호에 실린 조사 논문(survey paper)의 페이지 399-458쪽에 개시되어 있다. 여기에 개시된 종래의 방법은 얼굴을 인식할 때 얼굴 주변의 조명에 매우 민감하게 영향을 받으므로, 얼굴을 정확하게 인식할 수 없는 문제점을 갖는다.
게다가, 적외선을 이용하여 홍채를 인식하는 종래의 방법이 "Biometric personal identification system based on iris analysis"라는 제목의 미국 특허 번호 US5,291,560에 개시되어 있다. 여기에 개시된 종래의 방법은 영상을 촬영하는 카메라 이외에 홍채를 인식하기 위한 별도의 카메라를 요구한다. 따라서, 이러한 종래의 방법을 이용하여 홍채를 인식하는 기능과 영상을 촬영하는 기능을 모두 수행하기 위해서는 두 대의 카메라들이 요구되므로, 부피가 증가되는 문제점이 있다. 특히, 카메라 기능을 내장한 휴대폰과 같은 이동 단말 장치에서 이러한 종래의 홍채 인식 방법을 채택할 경우, 부피 증가의 문제는 더욱 대두된다.
본 발명이 이루고자 하는 기술적 과제는, 영상의 스펙트럼에서 적어도 하나의 가시 광선 성분과 적외선 성분을 간단히 센싱할 수 있는 적외선을 이용한 영상 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 영상의 적외선 성분을 센싱한 결과를 이용하여 영상에서 관심의 대상이 되는 객체를 정확하게 식별할 수 있는 적 외선을 이용한 영상 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는, 영상의 적외선 성분을 센싱한 결과를 이용하여 영상에서 관심의 대상이 되는 객체를 정확하게 식별할 수 있는 적외선을 이용한 영상 장치의 영상 식별 방법을 제공하는 데 있다.
상기 과제를 이루기 위해, 광학적으로 센싱한 영상을 전기적인 신호로 변환하여 출력하는 본 발명에 의한 영상 장치는, 상기 영상을 광학적으로 센싱하는 단위 셀들이 반복되는 형태를 갖는 영상 어레이로 구성되고, 상기 단위 셀들은 상기 영상의 스펙트럼에서 해당하는 가시광선 성분을 투과시키는 적어도 하나의 색 성분 셀 및 상기 스펙트럼에 존재하는 적외선 성분만을 투과시키는 적외선 성분 셀로 구성되는 것이 바람직하다.
상기 다른 과제를 이루기 위한 본 발명에 의한 적외선을 이용한 영상 장치는, 영상의 스펙트럼에서 가시광선 성분과 적외선 성분을 함께 광학적으로 센싱하고, 상기 센싱한 영상을 전기적인 신호로 변환하는 영상 센싱부 및 상기 영상 센싱부로부터 입력한 전기적인 신호로부터 상기 영상에서 관심의 대상이 되는 객체 성분을 인식하는 영상 처리부로 구성되는 것이 바람직하다.
상기 또 다른 과제를 이루기 위한 본 발명에 의한 적외선을 이용한 영상 장치의 영상 식별 방법은, 영상을 인증할 것인가를 판단하는 단계와, 상기 영상을 인증할 것으로 판단되면, 상기 영상의 스펙트럼에서 가시광선 성분과 적외선 성분을 함께 광학적으로 센싱하고, 상기 센싱한 영상을 전기적인 신호로 변환하는 단계와, 상기 전기적인 신호로부터 상기 영상에서 관심의 대상이 되는 객체 성분이 추출되는가를 판단하는 단계와, 상기 영상에서 상기 객체 성분이 추출된다고 판단되면, 상기 추출된 객체 성분이 사전에 등록된 허용된 객체 성분인가를 판단하는 단계와, 상기 객체 성분이 상기 허용된 객체 성분인 것으로 판단되면, 상기 영상이 인증된 영상인 것으로 결정하는 단계 및 상기 객체 성분이 상기 허용된 객체 성분이 아니라고 판단되거나 상기 객체 성분이 추출되지 않는다고 판단되면, 상기 영상이 인증된 영상이 아닌 것으로 결정하는 단계로 이루어지는 것이 바람직하다.
이하, 광학적으로 센싱한 영상을 전기적인 신호로 변환하여 출력하는 본 발명에 의한 영상 장치의 구성 및 동작을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 광학적으로 센싱한 영상을 전기적인 신호로 변환하여 출력하는 본 발명에 의한 영상 장치의 실시예의 블럭도로서, 영상 어레이(image array)(10) 및 성분 분리부(12)로 구성된다.
도 1에 도시된 본 발명에 의한 영상 장치의 영상 어레이(10)는 영상을 광학적으로 센싱하며, 단위 셀(cell)들이 반복되는 형태를 갖는다. 이때, 단위 셀들은 적어도 하나의 색 성분 셀과 적외선 성분 셀로 구성된다. 여기서, 색 성분 셀은 영상의 스펙트럼에서 해당하는 가시광선 성분을 투과시키는 역할을 하고, 적외선 성분 셀은 영상의 스펙트럼에 존재하는 적외선 성분만을 투과시키는 역할을 한다. 예를 들면, 단위 셀들은 가시 광선 성분들 중 적색 성분, 녹색 성분 및 청색 성분들을 각각 투과시키는 복수개의 색 성분 셀들을 가질 수 있다. 본 발명에 의하면 적외선 성분 셀은 두 개의 색 성분 셀들을 오버랩하여 적외선 성분 셀을 구현하는 미국 특허 번호 US6,657,663에 개시된 종래의 방법과 달리 적외선 성분을 통과시키는 하나의 셀로 구현된다.
도 2는 도 1에 도시된 영상 어레이(10)의 본 발명에 의한 실시예를 설명하기 위한 도면으로서, 영상 어레이(10)의 일부(20)를 확대한 모습을 나타낸다.
도 2를 참조하면, 영상 어레이(10)는 단위 셀들이 반복되는 형태를 가지며, 단위 셀들은 4개의 셀들(A, B, C 및 D)로 이루어진다.
본 발명의 일 실시예에 의하면, 도 2에 도시된 4개의 셀들(A, B, C 및 D)은 영상의 스펙트럼에 포함된 가시광선 성분들 중에서 적색 성분, 녹색 성분, 청색 성분 및 적외선 성분들을 투과시킬 수 있다. 이때, 단위 셀들은 도 2에 도시된 바와 같이 패턴에 국한되지 않고 여러 가지 패턴(tiling)을 가질 수 있다.
도 3 (a) ~ (f)들은 도 2에 도시된 단위 셀들이 배열될 수 있는 패턴들의 실시예들을 나타내는 도면들으로서, R은 적색 성분을 투과시키는 셀을 나타내고, G은 녹색 성분을 투과시키는 셀을 나타내고, B는 청색 성분을 투과시키는 셀을 나타내고, IR은 적외선 성분을 투과시키는 셀을 나타낸다.
예를 들어, 도 2에 도시된 단위 셀들(A, B, C 및 D)이 적색 성분, 녹색 성분, 청색 성분 및 적외선 성분들을 투과시킬 경우, 영상 어레이(10)는 도 3 (a) ~ (f)에 도시된 6가지의 패턴들중 한 가지 패턴을 취할 수 있다.
도 4 (a) 및 (b)는 도 2에 도시된 단위 셀들이 배열될 수 있는 패턴들의 다른 실시예들을 나타내는 도면들로서, IR은 적외선 성분을 투과시키는 셀을 나타내 고, W는 가시광선 성분들중 하나 즉, 단색(monochrome) 성분을 투과시키는 셀을 나타낸다.
본 발명의 다른 실시예에 의하면, 도 4 (a)에 도시된 바와 같이, 4개의 셀들(A, B, C 및 D)로 이루어진 단위 셀들중에서 두 개의 셀들은 영상의 스펙트럼에 포함된 적외선 성분(IR)을 투과시키고, 나머지 두 개의 셀들은 가시광선 성분들중에서 임의의 단색 성분(W)을 투과시킬 수 있다. 또는, 도 4 (b)에 도시된 바와 같이, 4개의 셀들(A, B, C 및 D)로 이루어진 단위 셀들중에서 하나의 셀은 영상의 스펙트럼에 포함된 적외선 성분(IR)을 투과시키고, 나머지 세 개의 셀들은 가시광선 성분들중에서 임의의 단색 성분(W)을 투과시킬 수 있다.
전술한 실시예들의 경우, 도 1에 도시된 영상 장치에서 성분 분리부(12)는 마련되지 않는다. 왜냐하면, 단위 셀들 각각이 하나의 성분만을 투과시키기 때문이다.
본 발명의 또 다른 실시예의 경우, 영상 어레이(10)를 구현하는 단위 셀들중에서 색 성분 셀은 적외선 성분도 투과시키고, 적외선 성분 셀은 적어도 하나의 가시광선 성분들도 투과시킬 수 있다. 이 때, 도 1에 도시된 영상 장치는 성분 분리부(12)를 더 마련할 수 있다. 여기서, 성분 분리부(12)는 영상 어레이(10)로부터 투과되는 성분들을 연산하여 가시광선 성분과 적외선 성분을 각각 분리하고, 분리된 가시광선 성분 및 적외선 성분을 출력단자 OUT1을 통해 출력한다.
예를 들어, 도 2에 도시된 영상 어레이(10)에서 단위 셀 A는 영상의 스펙트럼에 포함된 가시 광선의 성분들중 적색 성분과 적외선 성분을 투과시키고, 단위 셀 B는 영상의 스펙트럼에 포함된 가시 광선의 성분들중에서 녹색 성분과 적외선 성분을 투과시키고, 단위 셀 C는 영상의 스펙트럼에 포함된 가시 광선의 성분들중에서 청색 성분과 적외선 성분을 투과시키고, 단위 셀 D는 영상의 스펙트럼에 포함된 가시 광선의 성분들중 적색, 녹색, 청색 및 적외선 성분들을 모두 투과시킨다. 이 때, 성분 분리부(12)는 다음 수학식 1과 같은 연산을 통해 가시광선 성분과 적외선 성분을 분리할 수 있다.
Figure 112004051824806-pat00001
Figure 112004051824806-pat00002
Figure 112004051824806-pat00003
Figure 112004051824806-pat00004
여기서, TA는 단위 셀 A를 투과한 적색 성분(R)과 적외선 성분(IR)을 나타내고, TB는 단위 셀 B를 투과한 녹색 성분(G)과 적외선 성분(IR)을 나타내고, TC는 단위 셀 C를 투과한 청색 성분(B)과 적외선 성분(IR)을 나타내고, TD는 단위 셀 D를 투과한 적색, 녹색 및 청색 성분들(R, G 및 B)과 적외선 성분(IR)을 나타낸다.
결국, 전술한 도 2에 도시된 본 발명에 의한 영상 장치는 종래의 전하 결합 소자(CCD:Charge Coupled Device) 방식, 상보형 모스(CMOS:Complementary Metal Oxide Semiconductor) 방식 또는 적외선(Infrared ray) 방식 등의 이미지 센싱부( 미도시)의 역할을 하며, 이들을 대신하여 이용될 수 있다.
이하, 영상을 센싱하고 센싱된 영상을 이용하여 영상을 식별하는 본 발명에 의한 적외선을 이용한 영상 장치의 구성 및 동작을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 5는 본 발명에 의한 적외선을 이용한 영상 장치의 블럭도로서, 영상 센싱부(40) 및 영상 처리부(42)로 구성된다.
도 5에 도시된 영상 센싱부(40)는 영상의 스펙트럼에서 가시광선 성분과 적외선 성분을 함께 광학적으로 센싱하고, 광학적으로 센싱한 영상을 전기적인 신호로 변환하며, 변환된 결과를 영상 처리부(42)로 출력한다.
도 5에 도시된 영상 센싱부(40)는 도 1에 도시된 영상 장치로 구현될 수 있다. 즉, 영상 센싱부(40)는 영상 어레이(10)로 구현될 수도 있고, 영상 어레이(10) 및 성분 분리부(12)로 구현될 수도 있다. 따라서, 도 1에 도시된 영상 장치 및 도 2에 도시된 단위 셀들에 대한 전술한 실시예들은 도 5에 도시된 영상 센싱부(40)에도 적용될 수 있다.
전술한 실시예에 부가하여, 도 5에 도시된 영상 센싱부(40)의 구성 요소인 영상 어레이(10)를 구현하는 단위 셀들중에서 색 성분 셀은 적외선 성분도 투과시킬 수 있고, 적외선 성분 셀은 적외선 성분만을 투과시킬 수 있다. 이 때, 영상 센싱부(40)는 도 1에 도시된 성분 분리부(12)를 더 마련할 수 있다. 여기서, 성분 분리부(12)는 영상 어레이(10)로부터 투과되는 성분들을 연산하여 가시광선 성분과 적외선 성분을 분리하고, 분리된 가시광선 성분과 적외선 성분을 출력단자 OUT1을 통해 출력한다.
예를 들어, 도 2에 도시된 단위 셀 A는 영상의 스펙트럼에 포함된 가시 광선의 성분들중 적색 성분과 적외선 성분을 투과시키고, 단위 셀 B는 영상의 스펙트럼에 포함된 가시 광선의 성분들중 녹색 성분과 적외선 성분을 투과시키고, 단위 셀 C는 영상의 스펙트럼에 포함된 가시 광선의 성분들중 청색 성분과 적외선 성분을 투과시키고, 단위 셀 D는 영상의 스펙트럼에 포함된 적외선 성분만을 투과시킨다. 이 때, 성분 분리부(12)는 다음 수학식 2와 같은 연산을 통해 가시광선 성분과 적외선 성분을 분리할 수 있다.
Figure 112004051824806-pat00005
Figure 112004051824806-pat00006
Figure 112004051824806-pat00007
Figure 112004051824806-pat00008
여기서, TA는 단위 셀 A를 투과한 적색 성분(R)과 적외선 성분(IR)을 나타내고, TB는 단위 셀 B를 투과한 녹색 성분(G)과 적외선 성분(IR)을 나타내고, TC는 단위 셀 C를 투과한 청색 성분(B)과 적외선 성분(IR)을 나타내고, TD는 단위 셀 D를 투과한 적외선 성분(IR)을 나타낸다.
한편, 도 5에 도시된 영상 처리부(42)는 영상 센싱부(40)로부터 입력한 전기 적인 신호로부터 영상에서 관심의 대상이 되는 객체 성분을 인식하고, 인식된 결과를 출력단자 OUT2를 통해 출력한다.
전술한 설명에서, 도 1에 도시된 성분 분리부(12)는 영상 센싱부(40)에 마련되는 것으로 기술하였다. 그러나, 성분 분리부(12)는 영상 센싱부(40) 대신에 영상 처리부(42)에 마련될 수도 있다.
이하, 본 발명의 이해를 돕기 위해, 성분 분리부(12)는 영상 센싱부(40)에 마련되는 것으로 가정하면서 본 발명의 영상 장치를 설명하지만 본 발명은 이에 국한되지 않는다.
도 6은 도 5에 도시된 영상 처리부(42)의 본 발명에 의한 실시예(42A)의 블럭도로서, 영상 제어부(60), 주 제어부(62), 영상 식별부(64), 표시부(66), 사용자 조작부(68) 및 발광부(70)로 구성된다.
본 발명의 일 실시예에 의하면, 도 6에 도시된 영상 처리부(42A)는 영상 제어부(60), 주 제어부(62) 및 영상 식별부(64)만으로 구현될 수 있다.
영상 제어부(60)는 입력단자 IN1을 통해 영상 센싱부(40)로부터 입력한 전기적인 신호를 입력하여 영상 처리하고, 영상 처리된 결과를 영상 신호로서 주 제어부(62)로 출력한다.
도 7은 도 6에 도시된 영상 제어부(60)의 본 발명에 의한 실시예(60A)의 블럭도로서, 제어 신호 발생부(90), 백색 밸런싱(white balancing) 처리부(92) 및 성분 선택부(94)로 구성된다.
제어 신호 발생부(90)는 입력단자 IN2를 통해 주 제어부(62)로부터 제1 제어 신호(C1)를 입력하고, 입력한 제1 제어 신호(C1)를 영상 센싱부(40)로 출력한다. 이 때, 도 6을 참조하면, 영상 제어부(60)는 제1 제어 신호(C1)를 출력단자 OUT3을 통해 영상 센싱부(40)로 출력한다. 영상 센싱부(40)는 영상 제어부(60A)의 제어 신호 발생부(90)로부터 입력한 제1 제어 신호(C1)에 응답하여 영상을 센싱한다. 즉, 제1 제어 신호(C1)를 통해 영상의 센싱이 요구된다고 인식되면, 영상 센싱부(40)는 영상을 센싱한다. 또한, 제어 신호 발생부(90)는 주 제어부(62)로부터 제2 및 제3 제어 신호들(C2 및 C3)을 입력하고, 제2 제어 신호(C2)를 백색 밸런싱 처리부(92)로 출력하고, 제3 제어 신호(C3)를 성분 선택부(94)로 출력한다.
백색 밸런싱 처리부(92)는 전기적인 신호에 포함된 가시 광선 성분을 입력단자 IN3을 통해 영상 센싱부(40)로부터 입력하고, 입력한 가시 광선 성분을 제어 신호 발생부(90)로부터 입력한 제2 제어 신호(C2)에 응답하여 백색 밸런싱 처리하고, 백색 밸런싱 처리된 결과를 성분 선택부(94)로 출력한다. 이 때, 백색 밸런싱 처리부(92)는 제2 제어 신호(C2)에 응답하여 백색 밸런싱의 여부 및 백색 밸런싱의 정도를 결정한다.
성분 선택부(94)는 전기적인 신호에 포함된 적외선 성분을 입력단자 IN4를 통해 영상 센싱부(40)로부터 입력하고, 백색 밸런싱 처리부(92)로부터 백색 밸런싱 처리된 결과를 입력한다. 이 때, 성분 선택부(94)는 백색 밸런싱 처리된 결과 및 적외선 성분중 하나를 제어 신호 발생부(90)로부터 입력한 제3 제어 신호(C3)에 응답하여 선택하고, 선택된 결과를 영상 신호로서 출력단자 OUT5를 통해 주 제어부(62)로 출력한다.
한편, 도 6에 도시된 영상 식별부(64)는 주 제어부(62)를 통해 영상 제어부(60)로부터 영상 신호를 입력하고, 입력한 영상 신호로부터 관심의 대상이 되는 객체 성분을 추출하며, 추출된 객체 성분을 인식한다. 나아가, 본 발명에 의하면, 영상 식별부(64)는 인식된 객체 성분이 허용된 객체 성분인가를 인증할 수도 있다.
도 8은 도 6에 도시된 영상 식별부(64)의 본 발명에 의한 실시예(64A)의 블럭도로서, 객체 성분 추출부(110), 데이타 베이스(112), 인식부(114), 등록부(116) 및 인증부(118)로 구성된다.
도 8에 도시된 객체 성분 추출부(110)는 입력단자 IN5를 통해 주 제어부(62)를 통해 영상 제어부(60)로부터 입력한 영상 신호로부터 객체 성분을 추출하고, 추출된 객체 성분을 인식부(114)로 출력한다. 객체 성분 추출부(110)는 객체의 추출 여부를 나타내는 객체 추출 여부 신호를 등록부(116) 및 출력단자 OUT7을 통해 주 제어부(62)로 출력할 수도 있다.
인식부(114)는 객체 성분 추출부(110)에서 추출된 객체 성분의 스코어를 데이타 베이스(112)에 저장된 템플릿들을 이용하여 산출하고, 산출된 스코어를 인증부(118)로 출력한다. 본 발명에 의하면, 도 5에 도시된 영상 처리부(42)에서 추출된 객체 성분은 사람의 얼굴 및 홍채중 적어도 하나가 될 수 있다. 예를 들어, 객체 성분이 얼굴일 경우, 인식부(14)의 동작은 "Method and apparatus for extracting feature vector used for face recognition and retrieval"라는 제목으로 미국에 2003년 10월 15일자로 출원된 미국 출원 일련 번호(serial number)10/685,002을 갖는 건에 개시되어 있다.
도 8에 도시된 데이타 베이스(112)는 사전에 허용된 객체 성분의 템플릿을 저장한다.
이하, 도 8에 도시된 객체 성분 추출부(110) 및 인식부(114)의 이해를 돕기 위해, 객체 성분이 얼굴 및 홍채라고 가정하지만, 본 발명은 이에 국한되지 않는다.
도 9는 도 8에 도시된 객체 성분 추출부(110)의 본 발명에 의한 실시예(110A)의 블럭도로서, 저장부(130), 얼굴 추출부(132) 및 눈 추출부(134)로 구성된다.
도 9에 도시된 저장부(130)는 주 제어부(62)를 통해 영상 제어부(60)로부터 입력단자 IN6을 통해 입력한 영상 신호를 저장한다. 즉, 저장부(130)는 일종의 버퍼링 역할을 한다. 이 때, 저장부(130)는 저장하고 있는 영상 신호에서 적외선 성분을 인식부(114)로 출력단자 OUT8을 통해 출력한다.
얼굴 추출부(132)는 저장부(130)로부터 입력한 저장된 영상 신호로부터 얼굴을 추출하고, 추출된 얼굴을 인식부(114)로 출력단자 OUT9를 통해 출력한다. 이 때, 얼굴 추출부(132)는 영상 신호로부터 얼굴이 추출되었는가의 여부를 나타내는 얼굴 추출 여부 신호를 출력단자 OUT10을 통해 등록부(116)로 출력하는 한편, 저장부(130)로도 출력한다. 여기서, 얼굴 추출 여부 신호는 전술한 객체 추출 여부 신호에 해당한다. 얼굴 추출부(132)로부터 입력한 얼굴 추출 여부 신호를 통해 얼굴이 추출되지 않은 것으로 인식되면, 저장부(130)는 다음 프레임에 대한 영상 신호 를 얼굴 추출부(132)로 출력한다.
눈 추출부(134)는 얼굴 추출부(132)로부터 입력한 추출된 얼굴로부터 눈을 추출하고, 추출된 눈을 출력단자 OUT11을 통해 인식부(114)로 출력한다. 이 때, 눈 추출부(134)는 추출된 얼굴로부터 눈이 추출되었는가의 여부를 나타내는 눈 추출 여부 신호를 출력단자 OUT12를 통해 등록부(116)로 출력하는 한편, 저장부(130)로도 출력한다. 여기서, 눈 추출 여부 신호는 전술한 객체 추출 여부 신호에 해당한다. 눈 추출부(134)로부터 입력한 눈 추출 여부 신호를 통해 눈이 추출되지 않은 것으로 인식되면, 저장부(130)는 다음 프레임에 대한 영상 신호를 얼굴 추출부(132)로 출력한다.
도 10은 도 8에 도시된 인식부(114)의 본 발명에 의한 실시예(114A)의 블럭도로서, 얼굴 정규화부(150), 얼굴 템플릿 추출부(152), 얼굴 스코어 산출부(154), 홍채 분리부(160), 홍채 정규화부(162), 홍채 템플릿 추출부(164) 및 홍채 스코어 산출부(166)로 구성된다.
도 10에 도시된 얼굴 정규화부(150)는 얼굴 추출부(132)로부터 입력단자 IN7을 통해 입력한 추출된 얼굴과 저장부(130)로부터 입력단자 IN7을 통해 입력한 적외선 성분을 이용하여 얼굴 영상을 정규화하고, 정규화된 얼굴 영상을 얼굴 템플릿 추출부(152)로 출력한다. 예를 들면, 얼굴 정규화부(150)는 적외선 성분을 이용하여 얼굴의 히스토그램을 등화(histogram equalization)시키는 작업등을 통해 정규화된 얼굴 영상을 생성할 수 있다. 얼굴 템플릿 추출부(152)는 얼굴 정규화부(150)로부터 입력한 정규화된 얼굴 영상에서 얼굴의 템플릿을 추출하고, 추출된 얼굴의 템플릿을 얼굴 스코어 산출부(154)로 출력하는 한편, 출력단자 OUT13을 통해 등록부(116)로도 출력한다. 이 때, 얼굴 스코어 산출부(154)는 입력단자 IN8을 통해 데이타 베이스(112)로부터 입력한 템플릿과 얼굴 템플릿 추출부(152)에서 추출된 얼굴의 템플릿을 비교하고, 추출된 얼굴의 템플릿에 대한 스코어를 비교된 결과에 상응하여 산출하며, 산출된 스코어를 출력단자 OUT14를 통해 인증부(118)로 출력한다.
홍채 분리부(160)는 눈 추출부(134)로부터 입력단자 IN9를 통해 입력한 추출된 눈과 저장부(130)로부터 입력단자 IN9를 통해 입력한 적외선 성분을 이용하여 눈 영상으로부터 홍채 영상을 분리하고, 분리된 홍채 영상을 홍채 정규화부(162)로 출력한다. 홍채 정규화부(162)는 홍채 분리부(160)로부터 입력한 분리된 홍채 영상을 정규화하고, 정규화된 홍채 영상을 홍채 템플릿 추출부(164)로 출력한다. 예를 들면, 홍채 정규화부(162)는 홍채의 엣지를 강조(enhancement)하고 홍채의 히스토그램을 등화시키는 작업을 통해 정규화된 홍채 영상을 구할 수 있다. 홍채 템플릿 추출부(164)는 홍채 정규화부(162)로부터 입력한 정규화된 홍채 영상에서 홍채의 템플릿을 추출하고, 추출된 홍채의 템플릿을 홍채 스코어 산출부(166)로 출력하는 한편, 출력단자 OUT15를 통해 등록부(116)로도 출력한다. 홍채 스코어 산출부(166)는 입력단자 IN10을 통해 데이타 베이스로부터 입력한 템플릿과 홍채 템플릿 추출부(164)에서 추출된 홍채의 템플릿을 비교하고, 추출된 홍채의 템플릿에 대한 스코어를 비교된 결과에 상응하여 산출하며, 산출된 스코어를 출력단자 OUT16을 통해 인증부(118)로 출력한다.
한편, 등록부(116)는 객체 성분 추출부(110)에서 초기 상태에서 추출된 객체 성분의 템플릿을 인식부(114)로부터 입력하고, 인식부(114)로부터 입력한 객체 성분의 템플릿을 데이타 베이스(112)에 등록시킨다.
본 발명의 일 실시예에 의하면, 등록부(116)는 객체 성분 추출부(110)로부터 입력한 객체 추출 여부 신호를 통해 객체 성분이 추출되었다고 인식되면, 인식부(114)로부터 입력한 추출된 템플릿들을 데이타 베이스(112)에 등록할 수 있다.
본 발명의 다른 실시예에 의하면, 등록부(116)는 추출된 객체 성분의 템플릿들중에서 유효한 객체 성분의 템플릿들만을 데이타 베이스(112)에 등록할 수도 있다. 이를 위해, 초기 상태에서 인증부(118)는 인식부(114)로부터 입력한 스코어를 임계값과 비교하고, 추출된 객체 성분의 템플릿이 유효한 객체 성분의 템플릿인가를 비교된 결과에 응답하여 인증하고, 인증된 결과를 등록부(116)로 출력한다. 이 때, 등록부(116)는 인증부(118)로부터 입력한 인증된 결과를 통해 인식부(114)에서 추출된 템플릿이 유효한 템플릿인 것으로 인식되면, 추출된 템플릿을 유효한 객체 성분의 템플릿으로서 결정한다.
또는, 정상 상태에서, 인증부(118)는 인식부(114)로부터 입력한 스코어를 임계값과 비교하고, 추출된 객체 성분이 사전에 허용된 객체 성분인가를 비교된 결과에 응답하여 인증하며, 인증된 결과를 출력단자 OUT6을 통해 주 제어부(62) 및 표시부(66)로 각각 출력한다.
전술한 바와 같이, 도 6에 도시된 주 제어부(62)는 영상 제어부(60)를 통해 제1 제어 신호(C1)를 이용하여 영상 센싱부(40)를 제어하고, 제2 및 제3 제어 신호들(C2 및 C3)을 이용하여 영상 제어부(60)를 제어한다. 또한, 주 제어부(62)는 영상 식별부(64)의 동작도 제어할 수 있다.
본 발명의 다른 실시예에 의하면, 도 6에 도시된 영상 처리부(42A)는 표시부(66), 사용자 조작부(68) 및 발광부(70)를 더 마련할 수 있다.
표시부(66)는 주 제어부(62)로부터 영상 신호를 입력하고, 입력한 영상 신호에 상응하는 영상을 사용자에게 보여주는 주된 역할을 한다. 게다가, 표시부(66)는 영상 식별부(64)에서 영상을 식별한 결과를 사용자에게 표시할 수도 있다. 사용자 조작부(68)는 사용자에 의해 조작되어 사용자 신호를 발생하고, 발생된 사용자 신호를 주 제어부(62)로 출력한다. 이를 위해, 사용자 조작부(68)는 키 버튼(Button)(미도시) 따위로 구현될 수 있다. 이 때, 주 제어부(62)는 사용자 조작부(68)로부터 입력한 사용자 신호에 응답하여, 영상 제어부(60), 영상 센싱부(40), 영상 식별부(64) 및 발광부(70)를 제어할 수 있다.
본 발명의 일 실시예에 의하면, 주 제어부(62)는 사용자 조작부(68)로부터 입력한 사용자 신호에 응답하여 제1, 제2 및 제3 제어 신호들(C1, C2 및 C3)을 발생할 수 있다.
본 발명의 다른 실시예에 의하면, 주 제어부(62)에서 발생되는 제1, 제2 및 제3 제어 신호들(C1, C2 및 C3)은 소정값이 될 수도 있다.
이 때, 발광부(70)는 주 제어부(62)의 제어하에, 적외선 및 가시광선중 적어도 하나를 출력단자 OUT4를 통해 영상으로 발광한다. 예를 들어,도 5에 도시된 본 발명에 의한 영상 처리부(42)에서 식별되는 영상의 객체 성분이 홍채일 경우, 발광부(70)는 적외선 성분을 영상으로 발광한다.
예를 들어, 본 발명에 의하면, 카메라와 컴퓨터가 연결된 상황에서 본 발명이 적용될 경우, 도 5에 도시된 영상 센싱부(40) 및 도 6에 도시된 영상 제어부(60)는 카메라 등에 속하고, 주 제어부(62), 영상 식별부(64), 표시부(66), 사용자 조작부(68) 및 발광부(70)는 컴퓨터에 속할 수 있다. 또는, 카메라와 컴퓨터가 일체화된 독립형(standalone) 장치에서 본 발명이 적용될 경우, 도 5에 도시된 영상 센싱부(40) 및 영상 처리부(42 또는 42A)는 독립형 장치에 속할 수 있다.
이하, 영상을 센싱하고 센싱된 영상을 이용하여 영상을 식별하는 본 발명에 의한 적외선을 이용한 영상 식별 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 11은 본 발명에 의한 영상 식별 방법의 실시예를 설명하기 위한 플로우차트로서, 영상을 인증하고자 할 때 영상을 센싱하는 단계(제180 및 제182 단계들), 추출된 객체 성분이 허용된 객체 성분인가를 검사하는 단계(제184 ~ 제190 단계들) 및 영상을 촬영하고 저장(grab)하는 단계(제192 단계)로 이루어진다.
본 발명의 이해를 돕기 위해, 도 11에 도시된 영상 식별 방법은 도 5에 도시된 영상 장치가 정상 상태일 때 수행되며, 이를 위해 초기 상태에서, 허용된 객체 성분의 템플릿이 데이타 베이스(112)에 사전에 등록된다고 가정한다.
먼저, 영상을 인증할 것인가를 판단한다(제180 단계). 도 5에 도시된 영상 장치는 영상을 인증하는데 이용될 수도 있고 영상을 촬영하는데 이용될 수도 있다. 만일, 영상을 인증할 것으로 판단되면, 영상의 스펙트럼에서 가시광선 성분과 적외선 성분을 함께 광학적으로 센싱하고, 센싱한 영상을 전기적인 신호로 변환한다(제182 단계). 예를 들면, 제182 단계에서, 객체 성분이 홍채일 경우, 도 6에 도시된 발광부(70)는 주 제어부(62)의 제어하에 적외선 성분을 영상으로 발광하고, 주 제어부(62)는 영상 센싱부(40)에서 원하는 영상이 센싱되었는가를 검사하고, 원하는 영상이 센싱되었다고 인식되면, 발광부(70)의 발광 동작을 중지시킨다.
도 11에 도시된 제180 및 제182 단계들의 이해를 돕기 위해 예를 들면, 사용자 조작부(68)는 영상을 인증하고자 하는 사용자 또는 영상을 촬영하고자 하는 사용자에 의해 조작되어, 사용자 신호를 발생하고, 발생된 사용자 신호를 주 제어부(62)로 출력한다. 이 때, 주 제어부(62)는 사용자 신호에 응답하여 제1 제어 신호(C1)를 영상 제어부(60)를 통해 영상 센싱부(40)로 출력한다. 따라서, 영상 센싱부(40)는 주 제어부(62)로부터 영상 제어부(60)를 통해 입력한 제1 제어 신호(C1)에 응답하여 제182 단계를 수행한다.
제182 단계후에, 영상 처리부(42)는 영상 센싱부(40)로부터 입력한 전기적인 신호로부터 영상에서 관심의 대상이 되는 객체 성분이 추출되는가를 판단한다(제184 단계). 이를 위해, 주 제어부(62)는 영상 식별부(64) 예를 들면 도 8에 도시된 객체 성분 추출부(110)로부터 출력되는 객체 추출 여부 신호를 입력하고, 입력한 객체 추출 여부 신호를 통해 제184 단계를 수행할 수 있다. 또는, 인식부(114)는 객체 성분 추출부(110)로부터 추출된 객체 성분이 입력될 때 객체 성분이 추출된 것으로 판단할 수 있다.
예를 들어, 객체 성분이 얼굴 및 홍채인 경우, 제182 단계후에, 전기적인 신호로부터 얼굴이 추출되었는가를 판단하고, 전기적인 신호로부터 얼굴이 추출되었다고 판단되면 추출된 얼굴로부터 눈이 추출되었는가를 판단한다(제184 단계). 만일, 영상에서 객체 성분이 추출되었다고 판단되면, 영상 처리부(42)는 추출된 객체 성분이 사전에 등록된 허용된 객체 성분인가를 판단한다(제186 단계).
도 12는 도 11에 도시된 제186 단계에 대한 실시예를 설명하기 위한 플로우차트로서, 스코어를 구하는 단계(제200 단계) 및 스코어를 임계값과 비교하는 단계(제202 단계)로 이루어진다.
도 8에 도시된 인식부(114)는 객체 성분 추출부(110)에서 객체 성분이 추출되는가를 검사한다. 이 때, 객체 성분 추출부(110)에서 객체 성분이 추출되어 입력된다고 인식되면, 전술한 바와 같이 인식부(114)는 추출된 객체 성분의 템플릿을 추출하고, 추출된 템플릿을 사전에 저장된 객체 성분의 템플릿과 비교하여, 추출된 객체 성분의 스코어를 구한다(제200 단계).
제200 단계후에, 인증부(118)는 인식부(114)에서 산출된 스코어를 이용하여 객체 성분이 허용된 객체 성분인가를 판단한다. 즉, 인증부(118)는 스코어가 임계값 보다 큰가를 판단한다(제202 단계). 여기서, 스코어가 임계값보다 크다는 것은, 객체 성분이 사전에 허용된 객체 성분이라는 것을 의미한다.
예를 들어, 객체 성분이 홍채 및 얼굴이라고 가정할 경우, 제202 단계에서, 인증부(118)는 홍채의 스코어를 홍채에 대한 임계값과 비교하고 얼굴의 스코어를 얼굴에 대한 임계값과 비교하는 동작을 동시에 수행할 수도 있다. 또는, 인증부 (118)는 홍채의 스코어를 홍채에 대한 임계값과 비교하는 동작을 얼굴의 스코어를 얼굴에 대한 임계값과 비교하는 동작보다 먼저 수행할 수도 있다. 또는, 인증부(118)는 홍채의 스코어를 홍채에 대한 임계값과 비교하는 동작을 얼굴의 스코어를 얼굴에 대한 임계값과 비교하는 동작보다 나중에 수행할 수도 있다.
만일, 추출된 객체 성분이 허용된 객체 성분인 것으로 판단되면, 영상이 인증된 영상인 것으로 결정한다(제188 단계). 그러나, 객체 성분이 허용된 객체 성분이 아니라고 판단되거나 객체 성분이 추출되지 않는다고 판단되면, 영상이 인증된 영상이 아닌 것으로 결정한다(제190 단계). 본 발명에 의하면, 제188 및 제190 단계들은 도 6에 도시된 주 제어부(62)에서 수행될 수 있다. 즉, 주 제어부(62)는 인증부(118)로부터 출력단자 OUT6을 통해 출력되는 인증된 결과를 입력하고, 입력한 인증된 결과를 통해 객체 성분이 허용된 객체 성분인 것으로 인식되면, 제188 단계를 수행한다. 그러나, 주 제어부(62)는 입력한 인증된 결과를 통해 객체 성분이 허용된 객체 성분이 아니라고 인식되면 제190 단계를 수행한다. 또한, 주 제어부(62)는 객체 성분 추출부(110)로부터 입력한 객체 추출 여부 신호를 통해 객체 성분이 추출되지 않는다고 인식되면, 제190 단계를 수행할 수도 있다.
만일, 영상을 인증하지 않고 영상을 촬영할 것으로 판단되면, 영상을 촬영하고 저장한다(제192 단계). 이를 위해, 영상 센싱부(40)는 영상을 센싱하고, 영상 처리부(42A)의 영상 제어부(60)는 센싱된 결과를 이용하여 영상 신호를 생성하여 주 제어부(62)로 출력한다. 이 때, 주 제어부(62)는 영상 신호를 표시부(66)로 출력하고, 표시부(66)는 주 제어부(62)로부터 입력한 영상 신호에 해당하는 영상을 디스플레이한다.
전술한 도 5에 도시된 본 발명에 의한 적외선을 이용한 영상 장치 및 그의 실시예들과 도 11에 도시된 영상 식별 방법은 전술한 바와 같이 객체 성분 예를 들면 얼굴 및/또는 홍채를 인식 및/인증하기 위해 적용 가능함을 알 수 있다. 또는, 전술한 본 발명에 의한 영상 장치는 컬러 영상과 적외선 영상을 함께 촬영하는 컬러 및 적외선 카메라에 적용 가능함을 알 수 있다.
게다가, 홍채를 인식하는 카메라와 컬러 영상을 촬영하는 카메라를 별도로 마련하는 종래와 달리, 본 발명에 의한 영상 장치는 한 대의 카메라만으로 객체 성분을 인식할 수도 있고 컬러 영상을 촬영할 수도 있다. 따라서, 본 발명에 의한 영상 장치는 휴대폰과 같은 이동 단말 장치, 범인들의 얼굴과 범인들의 인적 사항을 서로 비교하는 범인 식별 장치 또는 공항에서 여권과 얼굴을 서로 대조하는 공항 이용객 식별 장치, 생체 인증을 통한 출입문 단말 장치 등에 범용적으로 적용될 수 있으며, 이 경우 객체 대상인 홍채 및 얼굴중 적어도 하나를 통해 사용자를 인증할 수 있다. 또한, 본 발명에 의한 영상 장치는, 적외선 성분을 이용하여 영상의 객체가 사진속의 영상인가 실물의 영상인가를 구분하는 데 적용될 수도 있다.
적외선 조명과 센서가 사람 또는 동물을 대상으로 영상을 사용해서 인식할 때, 조명에 강인한 인식 시스템을 구현하기 위해서 전술한 본 발명에 의한 적외선을 이용한 영상 장치 및 그의 영상 식별 방법이 사용될 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의한 적외선을 이용한 영상 장치 및 그의 영상 식별 방법은 종래보다 공정상으로 훨씬 더 쉽게 적외선 성분 셀을 구현할 수 있고, 적외선 성분을 이용하지 않고 영상의 객체 성분 예를 들면 얼굴등을 식별하는 종래의 방법이 얼굴 주변의 조명에 영향을 많이 받는 것에 대비할 때, 구현된 적외선 필터를 이용하여 센싱된 영상의 적외선 성분을 이용하므로 객체의 주변 조명에 영향을 덜 받으면서 객체 성분을 더 정확하게 식별할 수 있고, 홍채를 인식하기 위해 영상 촬영 카메라 이외에 홍채 인식용 카메라를 별도로 요구하는 종래와 달리, 적외선 성분과 가시광선 성분을 함께 투과시키는 영상 센싱부(40)를 이용하여 한 대의 카메라만으로 홍채 식별의 기능 뿐만 아니라 컬러 영상을 획득하는 기능을 모두 수행할 수 있어, 즉, 두 가지의 기능들을 한 대의 카메라만으로 통합하여 수행할 수 있으므로 장비를 소형화시킬 수 있는 효과를 갖는다.

Claims (16)

  1. 광학적으로 센싱한 영상을 전기적인 신호로 변환하여 출력하는 영상 장치에 있어서,
    상기 영상을 광학적으로 센싱하는 단위 셀들이 반복되는 형태를 갖는 영상 어레이를 구비하고,
    상기 단위 셀들은
    상기 영상의 스펙트럼에서 해당하는 가시광선 성분을 투과시키는 적어도 하나의 색 성분 셀; 및
    상기 스펙트럼에 존재하는 적외선 성분만을 투과시키는 적외선 성분 셀을 구 비하는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  2. 제1 항에 있어서, 상기 영상 장치는
    상기 영상 어레이로부터 투과되는 성분들을 연산하여 상기 가시광선 성분과 상기 적외선 성분을 분리하는 성분 분리부를 더 구비하고,
    상기 색 성분 셀은 상기 적외선 성분도 투과시키고, 상기 적외선 성분 셀은 상기 적어도 하나의 가시광선 성분들도 투과시키는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  3. 영상의 스펙트럼에서 가시광선 성분과 적외선 성분을 함께 광학적으로 센싱하고, 상기 센싱한 영상을 전기적인 신호로 변환하는 영상 센싱부; 및
    상기 영상 센싱부로부터 입력한 전기적인 신호로부터 상기 영상에서 관심의 대상이 되는 객체 성분을 인식하는 영상 처리부를 구비하는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  4. 제3 항에 있어서, 상기 영상 센싱부는
    상기 영상을 광학적으로 센싱하는 단위 셀들이 반복되는 형태를 갖는 영상 어레이를 구비하고,
    상기 단위 셀들은
    상기 영상의 스펙트럼에서 해당하는 가시광선 성분을 투과시키는 적어도 하 나의 색 성분 셀; 및
    상기 스펙트럼에 존재하는 적외선 성분만을 투과시키는 적외선 성분 셀을 구비하는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  5. 제4 항에 있어서, 상기 영상 센싱부는
    상기 영상 어레이로부터 투과되는 성분들을 연산하여 상기 가시광선 성분과 상기 적외선 성분을 분리하는 성분 분리부를 더 구비하고,
    상기 색 성분 셀은 상기 적외선 성분도 투과시키는 것을 특징으로 하는 영상 처리 장치.
  6. 제5 항에 있어서, 상기 적외선 성분 셀은 상기 적어도 하나의 가시광선 성분들도 투과시키는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  7. 제3 항에 있어서, 상기 영상 처리부는
    상기 전기적인 신호를 입력하여 영상 처리하고, 처리된 결과를 영상 신호로서 출력하는 영상 제어부;
    상기 영상 신호로부터 관심의 대상이 되는 객체 성분을 추출하고, 추출된 객체 성분을 식별하는 영상 식별부; 및
    상기 영상 제어부, 상기 영상 센싱부 및 상기 영상 식별부를 제어하는 주 제어부를 구비하는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  8. 제7 항에 있어서, 상기 영상 식별부는 상기 식별된 객체 성분이 허용된 객체 성분인가를 인증하는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  9. 제7 항에 있어서, 상기 영상 처리부는
    사용자에 의해 조작되어 사용자 신호를 발생하고, 발생된 사용자 신호를 상기 주 제어부로 출력하는 사용자 조작부;
    상기 영상 식별부에서 상기 영상을 식별한 결과를 상기 사용자에게 표시부; 및
    상기 주 제어부의 제어하에, 상기 가시광선 및 상기 적외선중 적어도 하나를 상기 영상으로 발광하는 발광부를 더 구비하고,
    상기 주 제어부는 상기 사용자 신호에 응답하여, 상기 영상 제어부, 상기 영상 센싱부, 상기 영상 식별부 및 상기 발광부를 제어하는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  10. 제7 항에 있어서, 상기 영상 제어부는
    상기 주 제어부로부터 입력한 제1 제어 신호를 상기 영상 센싱부로 출력하고, 상기 주 제어부로부터 제2 및 제3 제어 신호들을 입력하여 출력하는 제어 신호 발생부;
    상기 전기적인 신호에 포함된 상기 가시광선 성분을 상기 제2 제어 신호에 응답하여 백색 밸런싱 처리하고, 백색 처리된 결과를 출력하는 백색 밸런싱 처리부; 및
    상기 전기적인 신호에 포함된 적외선 성분 및 상기 백색 밸런싱 처리부로부터 입력한 상기 백색 처리된 결과중 하나를 상기 제3 제어 신호에 응답하여 선택하고, 선택된 결과를 상기 영상 신호로서 출력하는 성분 선택부를 구비하고,
    상기 영상 센싱부는 상기 제1 제어 신호에 응답하여 상기 영상을 센싱하는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  11. 제8 항에 있어서, 상기 영상 식별부는
    상기 영상 신호로부터 상기 객체 성분을 추출하는 객체 성분 추출부;
    사전에 허용된 객체 성분의 템플릿들을 저장하는 데이타 베이스;
    상기 추출된 객체 성분의 스코어를 상기 데이타 베이스에 저장된 상기 템플릿들을 이용하여 산출하는 인식부;
    상기 사전에 허용된 객체 성분의 템플릿을 상기 데이타 베이스에 등록하는 등록부; 및
    상기 스코어를 임계값과 비교하고, 상기 인식된 객체 성분이 상기 사전에 허용된 객체 성분인가를 비교된 결과에 응답하여 인증하는 인증부를 구비하는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  12. 제11 항에 있어서, 상기 객체 성분은 사람의 얼굴 및 홍채 중 적어도 하나인 것을 특징으로 하는 적외선을 이용한 영상 장치.
  13. 제11 항에 있어서, 상기 객체 성분 추출부는
    상기 영상 신호를 저장하고, 상기 저장된 영상 신호에서 상기 적외선 성분을 상기 인식부로 출력하는 저장부;
    상기 저장된 영상 신호로부터 상기 얼굴을 추출하고, 상기 추출된 얼굴을 상기 인식부로 출력하는 얼굴 추출부; 및
    상기 추출된 얼굴로부터 눈을 추출하고, 상기 추출된 눈을 상기 인식부로 출력하는 눈 추출부를 구비하는 적외선을 이용한 영상 장치.
  14. 제13 항에 있어서, 상기 인식부는
    상기 추출된 얼굴과 상기 적외선 성분을 이용하여 얼굴 영상을 정규화하는 얼굴 정규화부;
    상기 정규화된 얼굴 영상에서 상기 얼굴의 템플릿을 추출하는 얼굴 템플릿 추출부;
    상기 추출된 얼굴의 템플릿을 상기 데이타 베이스에 저장된 템플릿과 비교하여, 상기 추출된 얼굴의 템플릿에 대한 상기 스코어를 비교된 결과에 상응하여 산출하는 얼굴 스코어 산출부;
    상기 추출된 눈과 상기 적외선 성분을 이용하여 상기 홍채 영상을 분리하는 홍채 분리부;
    상기 분리된 홍채 영상을 정규화하는 홍채 정규화부;
    상기 정규화된 홍채 영상에서 상기 홍채의 템플릿을 추출하는 홍채 템플릿 추출부; 및
    상기 추출된 홍채의 템플릿을 상기 데이타 베이스에 저장된 템플릿과 비교하여, 상기 추출된 홍채의 템플릿에 대한 상기 스코어를 비교된 결과에 상응하여 산출하는 홍채 스코어 산출부를 구비하는 것을 특징으로 하는 적외선을 이용한 영상 장치.
  15. 영상을 인증할 것인가를 판단하는 단계
    상기 영상을 인증할 것으로 판단되면, 상기 영상의 스펙트럼에서 가시광선 성분과 적외선 성분을 함께 광학적으로 센싱하고, 상기 센싱한 영상을 전기적인 신호로 변환하는 단계;
    상기 전기적인 신호로부터 상기 영상에서 관심의 대상이 되는 객체 성분이 추출되는가를 판단하는 단계;
    상기 영상에서 상기 객체 성분이 추출된다고 판단되면, 상기 추출된 객체 성분이 사전에 등록된 허용된 객체 성분인가를 판단하는 단계;
    상기 객체 성분이 상기 허용된 객체 성분인 것으로 판단되면, 상기 영상이 인증된 영상인 것으로 결정하는 단계; 및
    상기 객체 성분이 상기 허용된 객체 성분이 아니라고 판단되거나 상기 객체 성분이 추출되지 않는다고 판단되면, 상기 영상이 인증된 영상이 아닌 것으로 결정 하는 단계를 구비하는 것을 특징으로 하는 적외선을 이용한 영상 장치의 영상 식별 방법.
  16. 제15 항에 있어서, 상기 객체 성분이 상기 사전에 허용된 객체 성분인가를 판단하는 단계는
    상기 추출된 객체 성분의 템플릿을 사전에 저장된 객체 성분의 템플릿과 비교하여, 상기 추출된 객체 성분의 스코어를 구하는 단계; 및
    상기 스코어가 임계값보다 큰가를 판단하는 단계를 구비하고,
    상기 스코어가 상기 임계값보다 큰 것으로 판단되면, 상기 객체 성분이 상기 사전에 허용된 객체 성분인 것에 해당하는 것을 특징으로 하는 적외선을 이용한 영상 장치의 영상 식별 방법.
KR1020040090917A 2004-11-09 2004-11-09 적외선을 이용한 영상 장치 및 그의 영상 식별 방법 KR100682898B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040090917A KR100682898B1 (ko) 2004-11-09 2004-11-09 적외선을 이용한 영상 장치 및 그의 영상 식별 방법
US11/269,549 US20060097172A1 (en) 2004-11-09 2005-11-09 Imaging apparatus, medium, and method using infrared rays with image discrimination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040090917A KR100682898B1 (ko) 2004-11-09 2004-11-09 적외선을 이용한 영상 장치 및 그의 영상 식별 방법

Publications (2)

Publication Number Publication Date
KR20060042311A KR20060042311A (ko) 2006-05-12
KR100682898B1 true KR100682898B1 (ko) 2007-02-15

Family

ID=36315373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040090917A KR100682898B1 (ko) 2004-11-09 2004-11-09 적외선을 이용한 영상 장치 및 그의 영상 식별 방법

Country Status (2)

Country Link
US (1) US20060097172A1 (ko)
KR (1) KR100682898B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100983346B1 (ko) 2009-08-11 2010-09-20 (주) 픽셀플러스 Ｉｒ조명을 이용한 얼굴인식 시스템 및 방법

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7057256B2 (en) 2001-05-25 2006-06-06 President & Fellows Of Harvard College Silicon-based visible and near-infrared optoelectric devices
US7442629B2 (en) 2004-09-24 2008-10-28 President & Fellows Of Harvard College Femtosecond laser-induced formation of submicrometer spikes on a semiconductor substrate
CN101490738A (zh) * 2006-08-02 2009-07-22 松下电器产业株式会社 视频显示装置和视频显示方法
US8494227B2 (en) * 2007-04-17 2013-07-23 Francine J. Prokoski System and method for using three dimensional infrared imaging to identify individuals
US9019066B2 (en) * 2007-08-02 2015-04-28 Ncr Corporation Terminal
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
US8212870B2 (en) 2007-09-01 2012-07-03 Hanna Keith J Mirror system and method for acquiring biometric data
US9002073B2 (en) 2007-09-01 2015-04-07 Eyelock, Inc. Mobile identity platform
US9036871B2 (en) * 2007-09-01 2015-05-19 Eyelock, Inc. Mobility identity platform
WO2009029757A1 (en) 2007-09-01 2009-03-05 Global Rainmakers, Inc. System and method for iris data acquisition for biometric identification
KR102559017B1 (ko) 2007-09-24 2023-07-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
JP2011029810A (ja) * 2009-07-23 2011-02-10 Sony Ericsson Mobile Communications Ab 撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置
US9911781B2 (en) 2009-09-17 2018-03-06 Sionyx, Llc Photosensitive imaging devices and associated methods
US9673243B2 (en) 2009-09-17 2017-06-06 Sionyx, Llc Photosensitive imaging devices and associated methods
US8692198B2 (en) 2010-04-21 2014-04-08 Sionyx, Inc. Photosensitive imaging devices and associated methods
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9918023B2 (en) 2010-04-23 2018-03-13 Flir Systems, Inc. Segmented focal plane array architecture
EP2583312A2 (en) 2010-06-18 2013-04-24 Sionyx, Inc. High speed photosensitive devices and associated methods
WO2012112788A2 (en) 2011-02-17 2012-08-23 Eyelock Inc. Efficient method and system for the acquisition of scene imagery and iris imagery using a single sensor
WO2012158825A2 (en) * 2011-05-17 2012-11-22 Eyelock Inc. Systems and methods for illuminating an iris with visible light for biometric acquisition
US9496308B2 (en) 2011-06-09 2016-11-15 Sionyx, Llc Process module for increasing the response of backside illuminated photosensitive imagers and associated methods
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
CN103828343B (zh) 2011-06-10 2017-07-11 菲力尔***公司 基于行的图像处理和柔性存储***
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
KR101808375B1 (ko) 2011-06-10 2017-12-12 플리어 시스템즈, 인크. 저전력 소형 폼 팩터 적외선 이미징
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
CA2838992C (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
EP2732402A2 (en) * 2011-07-13 2014-05-21 Sionyx, Inc. Biometric imaging devices and associated methods
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
CN104011521B (zh) * 2011-12-21 2016-09-21 阿克佐诺贝尔国际涂料股份有限公司 使用移动设备的颜色变体选择方法
US9064764B2 (en) 2012-03-22 2015-06-23 Sionyx, Inc. Pixel isolation elements, devices, and associated methods
CN111178332A (zh) 2012-05-18 2020-05-19 苹果公司 用于操纵用户界面的设备、方法和图形用户界面
TW201401183A (zh) * 2012-06-18 2014-01-01 tian-xiang Chen 深度攝影的人臉或頭部偵測方法
US10452894B2 (en) 2012-06-26 2019-10-22 Qualcomm Incorporated Systems and method for facial verification
WO2014014957A1 (en) 2012-07-16 2014-01-23 Flir Systems, Inc. Methods and systems for suppressing noise in images
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9423303B2 (en) * 2012-11-30 2016-08-23 Robert Bosch Gmbh MEMS infrared sensor including a plasmonic lens
US10996542B2 (en) 2012-12-31 2021-05-04 Flir Systems, Inc. Infrared imaging system shutter assembly with integrated thermister
EP2763397A1 (de) * 2013-02-05 2014-08-06 Burg-Wächter Kg Fotosensor
US9762830B2 (en) 2013-02-15 2017-09-12 Sionyx, Llc High dynamic range CMOS image sensor having anti-blooming properties and associated methods
US9939251B2 (en) 2013-03-15 2018-04-10 Sionyx, Llc Three dimensional imaging utilizing stacked imager devices and associated methods
WO2014209421A1 (en) 2013-06-29 2014-12-31 Sionyx, Inc. Shallow trench textured regions and associated methods
US9996726B2 (en) 2013-08-02 2018-06-12 Qualcomm Incorporated Feature identification using an RGB-NIR camera pair
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
KR102157338B1 (ko) * 2013-11-12 2020-09-17 삼성전자주식회사 복수의 센서 기능을 수행하는 전자 장치 및 방법
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
US9848113B2 (en) * 2014-02-21 2017-12-19 Samsung Electronics Co., Ltd. Multi-band biometric camera system having iris color recognition
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
US9794542B2 (en) * 2014-07-03 2017-10-17 Microsoft Technology Licensing, Llc. Secure wearable computer interface
US20160295133A1 (en) * 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
KR20190026253A (ko) * 2017-09-04 2019-03-13 삼성전자주식회사 디스플레이 장치, 컨텐츠 관리 장치, 컨텐츠 관리 시스템 및 컨텐츠 관리 방법
KR102143148B1 (ko) 2017-09-09 2020-08-10 애플 인크. 생체측정 인증의 구현
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
JP2020170071A (ja) * 2019-04-02 2020-10-15 凸版印刷株式会社 固体撮像素子用フィルター、固体撮像素子、固体撮像素子用フィルターの製造方法、および、固体撮像素子の製造方法
FR3137521A1 (fr) * 2022-07-04 2024-01-05 Valeo Comfort And Driving Assistance Dispositif de capture d’image et système de surveillance d’un conducteur d’un véhicule

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6292212B1 (en) * 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
US6700613B1 (en) * 1998-06-16 2004-03-02 Eastman Kodak Company Data-reading image capture apparatus, camera, and method of use
US6920236B2 (en) * 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
JP4177598B2 (ja) * 2001-05-25 2008-11-05 株式会社東芝 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
US7027619B2 (en) * 2001-09-13 2006-04-11 Honeywell International Inc. Near-infrared method and system for use in face detection
US20050063569A1 (en) * 2003-06-13 2005-03-24 Charles Colbert Method and apparatus for face recognition
US7483058B1 (en) * 2003-08-04 2009-01-27 Pixim, Inc. Video imaging system including a digital image sensor and a digital signal processor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100983346B1 (ko) 2009-08-11 2010-09-20 (주) 픽셀플러스 Ｉｒ조명을 이용한 얼굴인식 시스템 및 방법

Also Published As

Publication number Publication date
US20060097172A1 (en) 2006-05-11
KR20060042311A (ko) 2006-05-12

Similar Documents

Publication Publication Date Title
KR100682898B1 (ko) 적외선을 이용한 영상 장치 및 그의 영상 식별 방법
WO2019134536A1 (zh) 基于神经网络模型的人脸活体检测
US8055067B2 (en) Color segmentation
JP4679121B2 (ja) 赤外線を用いた人間識別装置およびその方法
WO2019137178A1 (zh) 人脸活体检测
JP6443842B2 (ja) 顔検出装置、顔検出システム、及び顔検出方法
US20150356362A1 (en) Personal electronic device for performing multimodal imaging for non-contact identification of multiple biometric traits
WO2015191631A1 (en) Personal electronic device for performing multimodal imaging for non-contact identification of multiple biometric traits
JP2007515010A (ja) アイリス認証のための方法及び装置
CN103379279B (zh) 被摄体区域检测装置及其方法、图像摄取装置及显示装置
KR101919090B1 (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
JP2005339425A (ja) 本人認証装置
EP1665124A1 (en) Apparatus and method for feature recognition
JP4640416B2 (ja) 顔認証装置、システム、方法及びプログラム
KR20180134280A (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
KR20090086891A (ko) 적외선을 이용한 얼굴인식 시스템 및 방법
CN109492509A (zh) 身份识别方法、装置、计算机可读介质及***
KR20150069799A (ko) 얼굴 인증 방법 및 그 장치
CN112507986B (zh) 基于神经网络的多通道人脸活体检测方法及装置
WO2021166289A1 (ja) データ登録装置、生体認証装置、および記録媒体
JP2013118574A (ja) 撮像装置
US11341224B2 (en) Handheld multi-sensor biometric imaging device and processing pipeline
CN103729627B (zh) 应用于人脸识别通关管制***的活体侦测方法
JP6471924B2 (ja) 顔認証装置及び顔認証方法
WO2015080309A1 (ko) Ｕｓｂ 홍채 인식기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150129

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee