KR101584822B1 - 동작 검출 시스템 및 방법 - Google Patents

동작 검출 시스템 및 방법 Download PDF

Info

Publication number
KR101584822B1
KR101584822B1 KR1020107004615A KR20107004615A KR101584822B1 KR 101584822 B1 KR101584822 B1 KR 101584822B1 KR 1020107004615 A KR1020107004615 A KR 1020107004615A KR 20107004615 A KR20107004615 A KR 20107004615A KR 101584822 B1 KR101584822 B1 KR 101584822B1
Authority
KR
South Korea
Prior art keywords
delete delete
plane
speckle pattern
imaging
sequence
Prior art date
Application number
KR1020107004615A
Other languages
English (en)
Other versions
KR20100076944A (ko
Inventor
지브 자레브스키
자비에르 가르시아
Original Assignee
바 이란 유니버시티
유니버스티타트 데 발렌시아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바 이란 유니버시티, 유니버스티타트 데 발렌시아 filed Critical 바 이란 유니버시티
Publication of KR20100076944A publication Critical patent/KR20100076944A/ko
Application granted granted Critical
Publication of KR101584822B1 publication Critical patent/KR101584822B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02094—Speckle interferometers, i.e. for detecting changes in speckle pattern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/02083—Interferometers characterised by particular signal processing and presentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G01H9/002—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means for representing acoustic field distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

물체를 영상화하는 방법이 제공된다. 상기 방법은, 물체로부터 떨어져 있는 평면에 초점이 맞추어지는 영상화 시스템을 사용하여, 상기 물체로부터 전파하는 간섭성 스페클 패턴을 영상화하는 단계를 포함한다.

Description

동작 검출 시스템 및 방법{MOTION DETECTION SYSTEM AND METHOD}
본 발명은 동작 검출 및 인식 분야에 속한다. 본 발명은, 예를 들어 심장 박동 및 발성(speech)과 같은 다양한 소리와 연관된 동작의 검출 및 인식에 특히 유용하다.
동작 식별은, 예를 들어 제조 생산 제어, 감시, 및 생물의학 분야를 포함하는 매우 광범위한 분야에 있어서 유용하다. 기계적, 전자적, 광학적 및 음향적 동작 검출을 포함하여, 동작을 자동으로 식별할 수 있는 다양한 방법들이 개발되었다.
예를 들면, 광학적 동작 검출은 전자 스페클 패턴 간섭법(electronic speckle-pattern interferometry, ESPI)와 같은 스페클기반(speckle-based) 기술에 의하여 이루어질 수 있다. ESPI는 변위(displacement) 측정, 및 진동의 진폭, 기울기 및 모드(mode)에 대한 진동 분석에 이용되고 있다. 스페클기반 기술도 변위 측정에 이용되고 있다. 움직이는 물체를 둘러싼 환경이 음향의 전파를 방해하거나 예측할 수 없을 정도로 변화시키는 경우에는 광학적 검출만이 유일하게 실행가능한 선택이다.
음향적 검출은 움직이는 물체로부터 관찰자로의 빛의 진행을 방해하는 환경에서 특히 유용하다. 음향적 검출의 경우에 있어서, 검출될 동작은 음향과 관련이 있어야 한다. 그러나 움직이는 물체의 환경이 일정 거리 이상으로 음향이 전파되는 것을 막을 수 있다. 구체적으로, 이러한 상황은, 음향이 창(window) 뒤에서(예를 들면, 실내)에서 생성되는 경우에 일어난다. 비슷하게, 검출대상인 동작이, 멀리 떨어져 있거나 약한 음향과 관련된 것일 수 있다. 어떠한 이유로든 음향이 원격지의 관측자에게 도달하기 전에 쇠약해지면, 음향 검출은 간접적인 것이 된다. 이러한 간접적인 검출은 광학적 수단에 기초할 수 있다.
보다 상세하게는, 창 뒤에서 발생한 음향의 예를 고려해 보면, 상기 음향은 창으로부터 레이저 빔 반사를 탐지함으로써 검출될 수 있다. 상기 레이저 빔을 반사시키기 위하여, 상기 레이저 빔이 상기 창으로 투사될 수 있다. 반사 검출은 광학 간섭계를 사용하여 이루어질 수 있다. 그리고 상기 간섭계의 출력 전자신호를 처리하여 음향이 추출(인식)될 수 있다. 음향이 창을 진동시키고 상기 레이저 빔이 반사된 것의 위상을 변조하기 때문에, 상기 간섭계의 출력신호는 상기 창의 뒤에서 발생한 음향을 나타낸다. 그러나 이러한 간섭기반 음향 검출 기술에서는, 창을 진동시키는 모든 음향들이 상기 위상변조(phase-modulation)에 참여하게 된다. 결과적으로, 상기 모든 음향들이 합으로서(즉, 중첩되어서) 검출되고, 이들을 분리하기 위해서는 블라인드 소스 분리 과정(blind source separation procedure)을 거쳐야 한다. 또한, 이러한 기술에서는, 투사 레이저 및 검출 간섭계 모듈을 정반사된 빔이 상기 검출 모듈쪽으로 향하도록 배치되어야 한다. 이러한 간섭기반 기술은, 작동 중의 작동 및 오차 제어를 하기 전에 복잡한 보정을 필요로 한다.
동작 검출은 생물의학 분야에서 유용하다. 예를 들면, 관상동맥심질환(Coronary Heart Disease, CHD)을 검출하고 조절하는 데 이용될 수 있다. 울혈성심부전증과 함께, CHD는 심장의 좌심실(left ventricle, LV)의 국소적 및 전체적 동작과 관련이 있고: CHD는 전형적으로 심벽의 동작 이상을 초래한다. 예를 들면, LV 벽의 일부분이 약하게 움직이는 경우, 이러한 증상은 운동감소증(hypokinesia)이라 알려져 있고; 전혀 움직이지 않는 경우는 운동불능증(akinesia)이며; 심장의 나머지 부분과 불일치하게 움직이는 경우는 운동이상증(dyskinesia)이라 한다. 심장의 여러 부분 또는 전체에서의 움직임이 절충되는 경우가 종종 있다. LV의 박동은 여러 가지 방법으로 영상화될 수 있다. 이러한 방법들 중 가장 일반적인 방법은 심장초음파도(echocardiogram)-심장이 움직이는 영상을 생성하기 위하여 음파를 사용하는 테스트-이다. 상기 테스트에서, 환자의 흉골 근처의 갈비뼈에 위치하고 심장을 향하는 트랜스듀서에서 고주파 음파가 방사된다. 상기 음파의 반향(echo)이 수집되고 전기적 임펄스로 변환되어 심장초음파 기계(echocardiography machine)로 전송된다. 상기 심장초음파 기계는 상기 임펄스를 심장이 움직이는 영상으로 변환시킨다.
심장 박동은, 특히 자세한 사진이 필요하지 아니한 경우에는 다른 방법으로 감시될 수 있다. 예를 들면, 심박수와 심장 박동을 검출하기 위하여 다음과 같은 세가지 주요 기술: (1) 적외선 센서를 사용하여 손가락 또는 귓불의 모세혈관 내의 혈류량을 검출하는 방법; (2) 손 부위에서 심전도 전기적 신호를 검출하는 방법; 그리고 (3) 일반적으로 가슴 둘레를 감는 탄성이 있는 끈에 부착되는 가슴 전극을 사용하여 심전도 전기적 신호를 검출하는 방법이 사용된다. 타이밍 회로(timing circuit)가 각 박동 간의 시간간격을 측정하고, 짧은 시간 동안의 시간간격들의 평균을 구하며 이 값을 분당 박동수로 표현되는 심박수로 변환한다. 전형적으로, 심박수 감시기의 사용자는, 측정하는 동안에, 움직이지 말고 손가락을 센서에 고정시킨 채로 움직이지 말아야 한다.
본 발명이 속하는 기술분야에서는, 음향 및 발성을 간접적으로 검출할 수 있는, 새로운 광학적 동작 검출 기술이 요구되고 있다. 본 발명자들에 의하여 개발되고 광학적 영상화에 기초하는 새로운 기술인 본 발명은 전술한 바와 같은 검출에 유용한 수정(adaptation)(버전, 실시태양)을 갖는다. 상기 기술은 틸트 구성요소(tilt component)를 포함하는 동작의 검출에 유용하다.
본 발명은 물체 또는 대상물 또는, 일반적으로 대상 표면(surface of interest)에 의하여 형성된 간섭성(coherent) 스페클 패턴을 영상화하는 것을 포함한다. 상기 패턴은 레이저 또는 다른 광원의 간섭광(coherent light)에 의한 정지 또는 움직이는 대상 표면에 대한 조사(illumination)에 의하여 형성된다. 바람직하게는, 표면 움직임(이동)은 틸트 구성요소를 포함한다. 예를 들어 상기 표면 움직임은 진동형(vibration type)일 수 있다. 상기 진동은 음향에 의하여 발생할 수 있거나 진동 그 자체가 음향을 생성시킬 수 있으므로, 대상의 표면의 동작(움직임)을 상기 음향과 연관시킨다. 대상 표면의 동작은 본 명세서에서 대상 동작( motion of interest)이라 칭한다.
본 발명에서의 영상화는, 상기 움직이는 표면과 영상화 장치(광 검출 표면) 사이에 존재하는 평면 또는 표면, 또는 상기 움직이는 표면 뒤에 존재하는 평면 또는 표면 위에 초점을 맞추는 방법을 사용한다. 본 명세서에서 상기 평면 또는 표면을 변위 평면( displaced plane )이라 한다. 본 명세서에서 상기 움직이는 표면과 상기 영상화 장치 사이에 존재하는 평면을 전방 변위(전방으로 떨어져 있는) 평면( forward displaced plane )이라 하고; 상기 움직이는 표면 뒤에 존재하는 평면을 하방 변위(하방으로 떨어져 있는) 평면( downward displaced plane )이라 한다. 일부 실시태양에 있어서, 상기 영상화는 상기 움직이는 표면으로부터 원거리장(far field)에 존재하는 전방 변위 평면 위에 초점을 맞추는 방법을 이용한다. 이러한 평면을 본 명세서에서는 원거리장 하방 변위 평면( far field downward displaced plane )이라 한다. 아래에 기재된 일부 고려사항들이 전방 변위 평면 또는 원거리장 전방 변위 평면에 초점을 맞추는 것을 이용하는 영상화의 경우를 직접적으로 언급하고 있는 반면에, 이러한 고려사항들은 하방 변위 평면 또는 원거리장 하방 변위 평면에 초점을 맞추는 것을 사용하는 경우에도 적절하게 적용될 수 있다.
본 발명자들은 전방 변위 평면에서 대상 표면과 연관된 간섭성 스페클 패턴이 일반적으로 정적(stationary)으로 되고, 원거리장 전방 변위 평면에서는 상기 간섭성 스페클 패턴이 보다 더 정적으로(실질적으로 정적인 상태) 된다는 사실을 알아내었다. 상기 정상성(stationarity)은 사실상 준정상성(quasi-stationarity) (유사정상성(approximate stationarity))이고; 상기 정상성은, 움직이는 동안 대상 표면이 그 형태를 유지하거나 비교적 서서히 그 형태가 변화하는 경우에 전방 변위 평면에서 나타난다. 상기 스페클 패턴의 (준)정상성은, 대상 동작에 대응하는 시프트(shifting)에 대한 스페클 패턴의 변화를 효과적으로 제한한다. 이러한 효과는 상기 원거리장 전방 변위 평면에서 가장 명백하다. 이러한 효과는, 대상 표면에 초점을 맞추는 것을 이용하는 전형적인 영상화 기술에서는 사용되지 아니한다.
본 발명의 기술은, 대상 표면의 특정 영역만이 그 형태를 일정하게 유지하거나 그 형태가 준정적(quasi-stationary)으로 변화하는 경우에서도 동작의 추출에 사용될 수 있고: 검출하려는 동작 또는 음향이 대상의 전체 표면과 관련된 경우에는, 이러한 동작 또는 음향은 이 영역의 동작으로부터 추출될 수 있다는 점에 주목해야 한다.
또한, 상기 정상성은 하방 변위 평면 및 원거리장 하방 변위 평면에 대해서도 나타난다. 물체가 스페클 패턴의 기원(speckle pattern's origin)으로부터 분리되기 때문에 상기 스페클 패턴은 상기 평면들에 도달하지 아니할 수 있다; 예를 들면, 상기 (대상) 물체(의 표면)가 불투명한 경우에는 상기 스페클 패턴이 상기 평면들에 도달하지 아니할 것이다. 그러나 이러한 점이 상기 하방 변위 평면 및 원거리장 하방 변위 평면 중 하나에 대한 초점을 맞추어 영상화하는 것을 배제하지는 아니한다. 하방 변위 평면에 초점을 맞춘 영상화 장치는 여전히 상기 하방 변위 평면이 아닌 상기 물체에서 기원하는(유래하는) 스페클 패턴을 수용할 것이다. 사실 상기 스페클 패턴이 상기 간섭광이 조사되는 지점(즉, 스페클 패턴의 발생 지점)으로부터 기원함에도 불구하고, 이러한 패턴은, 상기 하방 변위 평면에서 기원하고, 상기 스페클 패턴의 진정한 발생 지점(birth spot)을 통하여 전파하며, 상기 발생 지점으로부터 시작하여 갈라져 나오는 수렴(converging) 스페클 패턴이 될 것이다.
상기 영상화 장치가 대상 표면에 너무 근접한 경우: 즉, 상기 영상화 장치가 지나치게 특수화된 항목(specialized details)(예를 들면, 렌즈)을 필요로 하는 경우 및/또는 상기 영상화 표면이 상기 대상 물체의 원거리장(far field)에 존재하지 아니하는 경우에는 하방 변위 평면 또는 원거리장 하방 변위 평면에 초점을 맞추는 것이 매우 유용하다는 점에 주목해야 한다. 그러면, 상기 영상화 장치는 대상 표면의 원거리장에 존재하는 하방 변위 평면에 초점을 맞출 수 있고; 빛의 가역성 이론(principle of reversibility of light)에 기인하여 정상성 특성이 나타날 것이다.
상기 정상성을 사용하는 것을 고려할 때, 대상 동작 (또는 대상 표면의 특정 부분의 동작)이 스페클의 시공 궤적(spatio-temporal trajectory)으로부터 추출될 수 있다. 상기 추출은 블록 정합 알고리즘(block matching algorithm (BMA)), 매개변수/동작 모델(parametric/motion model), 광류(optical flow) 및 화소-반복 기술(pel-recursive technique)에 기초하는 것들을 포함하는 동작 추정 기술(motion estimation (ME) technique)에 기반할 수 있다. 상기 스페클 패턴의 정상성 때문에 상기 추출이 용이해진다. 스페클 패턴의 정상성이 존재하는 경우에는, 다른 프레임(frame)에서 대상 표면 (또는 대상 표면의 적어도 한 영역)을 식별하고 이러한 대상 표면 (또는 대상 표면의 적어도 한 영역)을 강체의 동작으로서 고려하는 것이 가능해진다. 따라서 상기 정상성으로 인하여 대상 표면의 특정 영역 또는 대상 표면 전체를 추적하는(tracking) 것이 가능하고, 그 동작으로부터 특별한 형태의 동작, 예를 들면, 음향과 연관된 진동 동작(oscillatory motion)을 추출하는 것이 가능하다. 대상 동작은 다양한 동작의 중첩이고, 상기 다양한 동작 중 하나 이상이 상기 표면이 사용되는 응용분야와 관련한 특별한 형태, 예를 들면, 진동 형태라는 점이 매우 빈번하게 발생한다는 사실에 주목해야 한다.
예를 들며, 본 발명의 기술은 원격지의 발생원에서 생성된 음향의 검출을 가능하게 한다. 상기 음향은 관측 지점에 도착할 때 왜곡되거나 약할 수 있고, 상기 관측 지점에 전혀 도달하지 아니할 수도 있다. 상기 음향은 표면과 연관될 수 있고, 상기 표면의 동작은 음향 진동 이외의 움직임도 포함한다. 또한, 상기 기술은 여러 가지 음향을 별도로 검출할 수 있게 하는데, 이는 두가지 이상의 음향이 동시에 발생하는 경우에 유용하다. 사실상, 다른 음향은 영상화 장치의 화소 감지기 배열(pixel detector array, PDA) 중 다른 부위에 의하여 영상화될 수 있다. 그러므로 상기 기술은, 예를 들어, 동시에 말하는 여러 사람의 발성을 추출하는데 유용하다. 따라서 음향 기술에서 전형적으로 존재하는, 블라인드 소스 분리에 대한 필요성이 줄거나 없어진다. 마찬가지로, 본 발명의 기술은, 예를 들어 나이트클럽 또는 각 날씨 상황에 따라 존재하는 시끄러운 환경에서 한 사람만의 발성을 추출하는 데에도 유용하다.
본 발명의 기술은 간섭현상에 기반하지만 간섭계를 필요로 하지 아니한다: 레이저 빔 조사등에 의하여 조사되는 표면에서 생성되는 스페클 패턴(소위 "이차 스페클 패턴(secondary speckle pattern))"은 실제로는 국소 자기간섭 패턴(localized self-interfering pattern)이다. 간섭성 스페클 패턴에 있어서, 각각의 개별 스페클은, 빛의 위상에 있어서의 변화가 추적될 수 있는 기준점으로서 기능한다.
또한, 본 발명의 기술은, 움직이는 표면 (예를 들면, 음원의 표면 도는 음향으로 인한 진동이 있는 물체의 표면)에 대하여 상대적으로 영상화 장치의 위치를 정할 수 있는 여유를 제공한다. 상기 여유는 상기 스페클 패턴의 발산에 기인한다: 스페클은 반사를 확산시키게 되고 공간적으로 작게(최초에는 이들의 크기가 광학적 파장 정도이다) 형성되기 때문에, 이들의 회절이 광범위한 각도(약 2π 스테라디안)에서 발생한다. 결과적으로, 상기 영상화 장치는 그 위치와 별개로, 올바르게 방향을 잡고 있다면, 스페클을 수집할 수 있다. 그러나 동작을 추출하기 위해서는, 상기 영상화 장치의 위치는 대상 표면의 원거리장에 있는 것이 바람직하다.
본 발명자들은 본 발명의 기술을, 발성 및 심장박동과 같이 음향과 관련된 것들을 포함하는 다양한 동작의 검출 위한 본 발명의 기술의 적용분야를 고려하였다. 발성을 검출하기 위하여, 본 발명자들은 인체, 특히 인간의 머리, 볼(cheek), 광대뼈 또는 인후로부터 나오는 간섭성 적외선광의 반사에 의하여 형성되는 스페클 패턴을 영상화하였다. 발성 검출을 용이하게 하기 위하여, 상기 영상화 장치는 10 KHz의 샘플링 속도, 즉 발성에 대한 평균 나이퀴스트(Nyquist) 주파수인 8 KHz 보다 큰 샘플링 속도로 작동하였다. 상기 발성에 대한 나이퀴스트 주파수가 낮은 것일 수 있기 때문에, 본 기술의 다양한 실시태양에 있어서, 상기 영상화 장치의 샘플링 속도는, 예를 들면 2 KHz와 4 KHz 사이, 또는 4 KHz와 8 KHz 사이, 또는 8KHz 이상일 수 있다.
동작 검출 시스템은 영상화 장치, 조사 장치(illumination unit)(예를 들어, 레이저), 및 추출 장치(예를 들어, 스페클 패턴의 시공 궤적으로부터 발성 또는 심박 진동을 추출하도록 프로그램된 컴퓨터, 또는 진동을 추출하도록 구성된 특정용도 집적회로(application-specific integrated circuit, ASIC)을 포함할 수 있다. 상기 영상화 장치는 PDA 및 관련된 스페클 패턴을 영상화하기 위한 광학장치를 포함할 수 있다. 상기 PDA 및 광학장치는, 예상 물체 거리(expected object distance)에 의하여 결정되거나 제한되는 분해능(resolution), 화소 크기, 구경 크리(aperture size) 및 초점 거리와 같은 특성들 중 하나 이상을 갖는다.
예를 들면, 발성과 연관된 표면이 비교적 멀리 위치한 경우에는, 초점이 맞는(in-focus) 전방 변위 평면 또는 원거리장 전방 변위 평면에 도달하는 스페클 패턴이 클 수 있고: 대상 표면에서 생성된 스페클 패턴의 스케일(scale)이 상기 대상 표면으로부터의 거리에 비례하여 증가한다. 상기 영상화 장치의 대물 렌즈(예를 들어 하나 이상의 렌즈)는 상기 스페클 패턴을 상기 PDA 위로 투사하고, 전형적으로는 상기 스페클 패턴의 스케일을 축소시킨다. 상기 영상화 장치는, 충분한 수량의 스페클을 상기 영상화된 스페클 패턴 내로 수집하고 상기 수집된 패턴 내의 스페클을 분해(resolve)하도록 구성된다. 따라서 상기 영상화 장치의 대물 렌즈의 구경은 원격지의 대상 표면으로부터 전파하는 스페클 패턴으로부터 적어도 몇개의 스페클을 수집할 수 있을 정도로 충분히 큰 것이 선택되어야 한다. 상기 대물 렌즈의 초점 거리는 충분히 큰 것이 선택되어야 하고 상기 PDA의 화소 크기는 상기 수집된 스페클 패턴의 스페클을 분해할 수 있을 정도로 충분히 작은 것이 선택되어야 한다. 상기 광학장치 및 PDA 매개변수들에 대한 가능한 선택은 상기 동작 검출 시스템의 응용분야에 따라 결정된다.
또한, 상기 영상화 장치의 매개변수의 선택은 대상 표면 위에 간섭적으로 조사되는 지점의 크기, 원하는 PDA 프레임 속도 및 감도, 사용가능한 PDA 크기 또는 화소수(pixel count)와 같은 추가적인 인자들에 의존할 수 있다. 예를 들면, 대상 표면 위에 간섭적으로 조사되는 지점의 크기는 PDA 프레임 속도 및 PDA 화소수와 관련이 있다. 사실상, 대상 표면이 두개의 프레임 사이를 너무 빠르게 이동하면, 대상 표면 중에서 상기 두개의 프레임 사이에서 조사되고 영상화되는 영역이 없을 수 있고: 두번째 프레임을 영상화하는 도중에 상기 조사광(illuminating light)이 상기 대상 표면의 완전히 새로운 영역으로 조사되거나 전혀 조사되지 아니할 수 있으며, 또는 두번째 프레임을 영상화하는 도중에 상기 두개의 조사된 영역들 간의 교점으로부터 반사된 스페클이 상기 영상화 장치에 도달하지 아니할 수 있다. 후자의 경우는, 예를 들어, 조사된 두 영역의 교점으로부터의 반사가 상기 PDA의 외부로 이동하는 경우에 발생할 수 있다. 따라서 상기 PDA 프레임 속도가 더 커지면, 조사빔(illuminating beam)의 단면적에 의존하는, 간섭적으로 조사된 지점의 크기는 더 작아질 수 있다. 일반적으로, 대상 동작의 예상 속도가 더 크면, 상기 두개의 매개변수의 곱(product)이 더 크다. 이와 유사하게, 일반적으로 대상 동작의 예상 진폭 또는 예상 영역이 더 크면, 상기 PDA 화소수가 더 커야 한다. 그러나 일부 실시태양에 있어서, 상기 조사빔 및/또는 영상화 장치는 대상 표면의 특정 영역 및/또는 상기 특정 영역에서 생성된 스페클을 추적할 수 있도록 작동될 수 있다.
전술한 바에 따라서, 상기 동작 검출 시시템의 매개변수는 다양한 응용분야에 대하여 최적화될 수 있다. 예를 들면, 비교적 높은 프레임 속도를 갖는 PDA가 상기 영상화 장치에 필요한 경우에는, 상기 동작 검출 시스템의 작동 파장은 비교적 짧게, 즉 적외선 보다는 가시광선 영역일 수 있다. 이러한 점은, 전형적으로, 적외선광용 PDA가 가시광선용 PDA 보다 더 느리다는 사실과 관련이 있다. 또한, 적외선광용 광학장치가 전형적으로 더 크다.
또한, 상기 동작 검출 시스템의 작동 파장을 선택하는 것은 상기 조사빔에 대한 원하는 커버트니스(covertness) 및 상기 조사빔의 사용에 대한 원하는 안전도에 기초하여 결정될 수 있다. 예를 들면, 조사광의 파장은 가시광선 영역 밖의 것으로 선택될 수 있다.
본 발명의 기술에 의하여 검출될 수 있는 동작의 형태를 고려하면, 다음의 사항을 유념해야 한다. 일반적으로, 표면의 동작은 횡축, 종축 및 틸트(대상 표면과 영상화 장치를 연결하는 축) 동작의 성분으로 나뉠 수 있다. 본 발명의 기술은 상기 틸트에 대한 감도가 향상되고, 이로써 영상장치 감지 평면(imager sensing plane, PDA) 상에 스페클 패턴 시프트가 주로 일어나게 한다. 대상 표면의 횡축 동작은 스페클 패턴 영상의 시프트 및 변화를 초래하지만, 영상화에서 변위(예를 들면, 전방 변위 또는 하방 변위) 평면 상에 초점을 맞추는 경우에는 이렇게 유발된 시프트가 종종 틸트에 의한 시프트의 경우보다 현저히 작다. 더욱이, 상기 변위 (예를 들어, 전방 변위) 평면이 상기 스페클 패턴 소스 지점(speckle pattern source spot)의 원거리장 내에 있는 경우에는 이러한 시프트가 억제되고: 상기 횡축 동작의 영향은 대부분 상기 스페클 패턴 위상의 변화로 제한된다. 세번째 동작 성분이 종축 동작은 상기 스페클 패턴의 스케일링(scaling)을 초래한다. 그러나 많은 분야에 있어서, 대상 표면의 종축 좌표는 상기 영상화 장치와 상기 대상 표면과의 종축 거리에 비하여 매우 작게 변화하고; 따라서 종축 동작은 상기 스페클 패턴 영상에 현저히 영향을 주거나 주지 아니할 수 있다. 이러한 결과로서, 대상 표면의 궤적을 결정하는 것을 배제하지는 아니하더라도, 대상 동작이 세가지 성분을 모두 갖는 경우에서조차, 본 발명의 기술은 주로 상기 틸트 동작(tilting motion)을 추출하는데 유용하다.
이러한 점에서, 어떤 응용분야에 있어서는 모든 동작 성분을 추출하는 것이 필요하지 아니하다는 점을 이해하여야 한다. 예를 들면, 본 발명자들은 인간의 발성에 대한 추출을 실험하였다. 대부분의 경우에 있어서, 비록 스페클 패턴이 틸트의 결과로서만 이동하였다는 가정(상기 가정이 실제로 필요한 것은 아니었다)을 사용하여 상기 추출과정을 수행하였음에도 불구하고, 이렇게 얻어진 발성은 인식할 수 있는 것이었다.
또한, 본 발명자들은 신체의 일부분의 진동에 대하여 실험하였다. 이러한 실험에서, 실험 참가자들의 심장 박동을 비접촉식으로 검출하였다. 이렇게 얻어진 심장 박동은 동일 참가자에 대하여 반복가능하였고 참가자마다 서로 달랐다. 그래서 본 발명자들은 광학 심장도(optical cardiogram, OCG)이라는 개념을 개발하였다. 상기 OCG는 거짓말 탐지기에서 인증(authentification)으로서 건강 상태를 측정하는데 사용될 수 있다.
따라서 본 발명의 하나의 넓은 측면에 따라 물체를 영상화하는 방법이 제공된다. 상기 물체의 영상화 방법은, 상기 물체로부터 변위된 평면 상에 초점을 맞추는 영상화 시스템에 의하여 상기 물체로부터 전파되는 간섭성 스페클 패턴을 영상화하는 단계를 포함한다.
상기 변위 평면은 상기 영상화 시스템과 상기 물체 사이에 위치할 수 있거나; 상기 물체보다는 상기 영상화 시스템으로부터 떨어져 있는 곳에 위치할 수 있다.
예를 들면, 상기 변위 평면은 상기 물체로부터 D 2/4λ 보다 더 멀리 위치할 수 있다(D 및 λ는 각각 상기 물체에서의 상기 스페클 패턴의 크기 및 파장). 따라서 상기 평면은 상기 물체의 원거리장에 위치한다.
본 발명의 일부 실시태양에 있어서, 간섭성 스페클 패턴을 형성하기 위하여 간섭광을 상기 물체에 조사한다.
상기 영상화 방법은 움직이는 물체를 영상화하는데 사용될 수 있다. 상기 움직임은, 예를 들어 생체의 일부분의 진동과 연관될 수 있다.
상기 진동은 발성, 심장 박동의 시퀀스(sequence), 심장 박동의 구조(heart beat's structure)로 분해된(resolved) 심장 박동은 물론, 생체 상의 옷감(피복, 의류)의 진동에도 상응할 수 있다.
상기 생체의 일부분은 손목관절, 흉곽, 인후, 측두와(temporal fossa), 위장, 광대뼈, 머리 중 적어도 하나일 수 있다.
본 발명의 일부 실시태양에 있어서, 운송수단(vehicle)(예를 들어 운송수단)의 부품의 진동이 검출된다. 상기 운송수단의 부품은 내장 부품, 예를 들어 운송수단의 엔진의 부품; 또는 외장 부품일 수 있다.
바람직하게는, 최소한 두개의 스페클 패턴 영상의 시퀀스를 얻기 위하여 상기 영상화 단계가 최소한 2회 반복된다.
예를 들면, 상기 방법은, 생체의 일부분에 대한 영상의 시퀀스로부터 발성을 추출하는 단계, 심장 박동의 시퀀스를 추출하는 단계, 심장 박동의 구조를 추출하는 단계를 포함할 수 있다. 상기 방법은 추출된 심장 박동의 구조를 동일 심장에 대한 심장 박동의 구조와 비교하는 단계; 추출된 심장 박동의 구조를 다른 심장에 대한 심장 박동의 구조와 비교하는 단계를 포함할 수 있다.
상기 방법은 동작 검출에 사용될 수 있다. 이러한 목적을 위하여, 물체의 첫번째 영상과 두번째 영상에 나타나는 물체의 영역간의 시프트를 결정한다. 이러한 영역들 각각은, 상기 물체의 동일 영역에서 유래된 빛에 의하여 형성되고, 상기 물체로부터 떨어져(변위되어) 있고 상기 물체의 원거리장 내에 위치한 평면 위에 초점을 맞추어 영상화한 정적인 스페클 패턴을 포함한다.
바람직하게는, 상기 시프트 결정단계를 최소 2회 반복하여 시프트의 시퀀스를 얻는다. 본 발명의 일부 실시태양에 있어서, 얻어진 시프트의 시퀀스는 다른 시프트의 시퀀스와 비교된다.
본 발명의 또 다른 넓은 측면에 따라, 동작 검출에 사용하기 위한 방법이 제공된다. 상기 방법은 물체의 첫번째 및 두번째 영상에 나타나는, 상기 물체의 영역들 간의 시프트를 결정하는 단계를 포함하고, 상기 영역들 각각은 상기 물체의 동일 영역에서 유래된 빛에 의하여 형성되고, 상기 물체로부터 떨어져(변위되어) 있고 상기 물체의 원거리장 내에 위치한 평면 위에 초점을 맞추어 영상화한 정적인 스페클 패턴을 포함한다.
본 발명의 또 다른 넓은 측면에 따라, 동작 검출에 사용하기 위한 시스템이 제공된다. 상기 시스템은 간섭광 빔의 발생원 및 영상화 시스템을 포함하고, 상기 영상화 시스템은 상기 빔과 상기 영상화 시스템의 관측장(field of view)의 교점으로부터 변위된 평면 상에 초점을 맞출 수 있고 상기 교점으로부터의 원거리장 내에 위치할 수 있다.
상기 초점(이 맞는) 평면은 상기 영상화 시스템과 상기 교점 사이에 위치하거나; 상기 교점 보다 상기 영상화 시스템으로부터 더 멀리 위치할 수도 있다.
상기 검출 시스템은 상기 영상화 시스템과 연관된 처리장치(processing unit)을 포함할 수 있다. 상기 처리장치는 상기 교점에서 기원하는 스페클 패턴의 두개의 영상들 간의 시프트를 결정할 수 있도록 구성되고 작동된다.
본 발명의 또 다른 측면에서, 본 발명은, 대상물에서 기원하는 정적인 간섭성 스페클 패턴에 대한 영상의 시퀀스를 나타내는 데이터를 포함하는 (테크니컬) 메모리((technical) memory)를 제공하고, 상기 데이터는 상기 대상물의 심장 박동 및/또는 심장 박동의 구조를 나타내고, 이로써 상기 시퀀스는 최소한 하나의 생리학적 매개변수를 결정하는데 사용될 수 있다.
상기 최소한 하나의 생리학적 매개변수는 심장박동수, 심장 박동 구조, 및 광학적 심장도 중 최소한 하나를 포함할 수 있다.
저장된 데이터는 상기 대상물로부터 기원하는 정적인 간섭성 스페클 패턴에 대한 영상의 시퀀스; 또는 상기 대상물로부터 기원하는 정적인 간섭성 스페클 패턴에 대한 영상의 시퀀스에서의 영상들 간의 시프트값(shift value)에 대한 시퀀스를 포함할 수 있고, 상기 시퀀스값은 상기 대상물의 심장박동수를 나타낸다.
상기 시퀀스는 손목 관절, 흉곽, 인후 및 측와두 중 최소한 하나의 영상을 포함할 수 있다.
본 발명의 또 다른 측면에 있어서, 대상물로부터 기원하는 정적인 스페클 패턴에 대한 영상의 시퀀스를 나타내는 데이터를 포함하는 메모리가 제공되고, 상기 시퀀스는 상기 대상물의 발성을 나타낸다.
저장된 데이터는 상기 정적인 스페클 패턴에 대한 영상의 시퀀스; 또는 상기 정적인 간섭성 스페클 패턴의 영상들 간의 시프트값의 시퀀스를 포함할 수 있고, 상기 시퀀스는 상기 발성을 나타낸다. 상기 시퀀스는 2 KHz 내지 4 KHz의 속도; 4 KHz 내지 8 KHz의 속도; 8 KHz 이상의 속도로 얻을 수 있다. 상기 시퀀스는 인후, 광대뼈, 머리 중 최소한 하나의 영상을 포함할 수 있다.
또한, 운송수단에서 기원하는 정적인 스페클 패턴에 대한 영상의 시퀀스를 나타내는 데이터를 포함하는 메모리가 제공되고, 상기 영상은 상기 운송수단과 관련된 진동을 나타내며 상기 시퀀스는 상기 운송수단의 동작을 나타낸다.
저장된 데이터는 상기 운송수단의 내장 부품, 예를 들어 엔진의 일부분에 대한 영상; 및/또는 상기 운송수단의 외장 부분에 대한 영상을 나타낼 수 있다.
또한 본 발명은 전술한 메모리, 및 정적인 스페클 패턴에 대한 영상의 시퀀스 내의 영상들 간의 시프트값의 시퀀스를 결정하도록 구성된 하나 이상의 프로세서(처리 장치)를 포함하는 장치; 및/또는 상기 정적인 스페클 패턴에 대한 영상의 시퀀스 내의 영상들 간의 시프트값의 시퀀스에 대한 스펙트로그램(spectrogram)을 제공한다. 상기 장치는 컴퓨터로서 구성되거나 컴퓨터(예를 들면, 프로그램되어 있는 컴퓨터)를 포함할 수 있다.
본 발명을 이해하고 이것이 어떻게 실시되는지 알기 위하여, 비제한적인 예들만으로 다음의 도면을 참조하여, 실시태양이 기재될 것이다:
도 1은 본 발명의 원리를 이용하는 영상화 시스템에 대한 개념도이다.
도 2A 내지 2D는 각각 (A) 라우드스피커의 영상; (B) 좌측 라우드스피커로부터 얻은 스페클 패턴 포지션(speckle pattern position)의 전개에 대한 그래프; (C) 좌측 라우드스피커에 대한 재구성된 스펙트로그램; (D) 우측 라우드스피커에 대한 재구성된 스펙트로그램이다.
도 3A 내지 3G는 (A)-(B) 연속적으로 얻은 두개의 스페클 패턴; (C) 실험 참가자 및 참가자의 인후로부터 전파하는 스페클 패턴에 대한 초점을 흐리게 한 영상; (D) 스페클 패턴 포지션의 전개에 대한 두개의 예; (E) 상기 스페클 패턴 포지션의 전개에 대하여 매끄럽게 한 그래프와, 상기 두개의 예를 확대한 것; (F) 상기 스페클 패턴 포지션의 전개에 대한 상기 예로부터 추출한 진동; (G) 상기 예의 진동에 대응하는 발성 신호(speech signal)(비명(scream))에 대한 스펙트로그램이다.
도 4A 및 4B는 (A) 심장 박동에 의한 스페클 패턴 포지션의 진동; (B) 도 3A의 신호에 대한 스펙트로그램이다.
도 5A 내지 5F는 본 발명의 기술에 따라 얻은, 주파수 도메인에서의 다양한 광학적 심장도이다(중간 마크는 0 주파수에 대응한다).
도 6A 내지 6F는 본 발명의 기술에 따라 얻은, 시간 도메인에서의 다양한 광학적 심장도이다.
도 1을 보면, 움직이는 확산성(diffusive) 물체의 표면에서 생성된 이차 스페클 패턴의 영상화 방법이 도시되어 있다. 영상화는 두가지 경우, 즉 상기 확산성 물체가 DO1의 위치 및 방향인 경우 및 상기 확산성 물체가 DO2의 위치 및 방향인 경우에서 영상화 장치(10)를 사용하여 수행된다. 상기 영상화 장치(10)는 영상화 렌즈(L) 및 화소 검출기 배열(PDA)을 포함한다. 상기 영상화 장치는 전방 변위 평면(IF)에 초점이 맞도록 구성된다. 두 경우 모두에서, 스페클 패턴은 간섭광 빔(LB)(예를 들어 레이저 빔)으로서 형성된다. 상기 스페클 패턴은 초점이 맞은 평면으로 전파하고, 여기에서 상기 스페클 패턴은 첫번째 경우에서는 SPIF ,1 형태를 취하고 두번째 경우에서는 SPIF ,2 형태를 취한다. 상기 스페클 패턴은 계속해서 전파하고: 상기 초점이 맞은 평면을 가로질러 상기 영상화 장치에 도달함으로써, 상기 스페클 패턴의 일부분이 상기 영상화 렌즈에 의하여 수집된다. 다른 경우에서 영상화된 스페클 패턴 간의 변화를 평가하고 사용하기 위하여, 본 발명자들은 레이저 빔 지점에 의하여 조사된 물체 표면 형상이 두개의 프레임 사이의 시간 간격 내에서 변하지 아니한다(즉, 두개의 연속한 영상화 경우에서 변하지 아니한다)는 것에 따른 모델을 사용하였다. 다시 말하면, 상기 물체 표면 형상은 정적인(즉, 단단한(rigid)) 것으로 가정하였다.
스페클 패턴에 대하여 다음을 유념해야 한다. 스페클 패턴은, 비교적 무작위적인 진폭과 위상 분포를 갖는 자기간섭된 무작위 패턴(self-interfered random pattern)이다. 조사광을 디퓨저(diffuser) 또는 간유리(ground glass)를 통과시킴으로써, 소위 "일차(primary) 스페클 패턴"이 생성될 수 있다. 물체의 확산 표면으로부터 조사광을 반사시킴으로써, 소위 "이차 스페클 패턴"이 생성될 수 있다.
단단한 물체 표면의 움직임은 세가지 형태의 기본적인 움직임, 즉 횡축(transverse), 종축(axial) 및 틸트(tilt)의 중첩으로서 표현될 수 있다. 전형적으로, 이러한 세가지의 성분 모두 상기 중첩 내에서 표현될 것이다. 그러나 이러한 움직임은 상기 PDA 평면 상에서는 다르게 변환된다(translated). 본 발명자들은, 상기 영상화 장치의 초점이 맞은 평면의 전방 변위 위치에 기인하여, 틸트가 상기 스페클 패턴에 대하여 주요 영향을 미치는 경향이 있고 이러한 영향은 스페클 패턴 시프트에 미치는 경향이 있다.
사실상, 상기 세가지 성분의 영향을 하나씩 고려해 보면, 다음 사항을 알 수 있다. 상기 물체의 움직임에서 첫번째 성분인 횡축 성분은 스페클 패턴의 형성의 횡축 시프트에서 나타난다. 이러한 시프트는, 상기 스페클 패턴을 상기 영상 평면(PDA 평면) 위로 투사한 후에 상기 영상화 장치에 의하여 축소된다. 상기 PDA 평면에 투사된 스페클 패턴의 횡축 시프트는 이러한 시프트를 일으키는 상기 물체의 횡축 시프트 ΔX에 의하여 표현될 수 있고: 상기 패턴의 시프트는 ΔX/M이며, 여기에서 축소화 인자(demagnification factor) M은 (Z 2+Z 3-F)/F이고, Z 2는 상기 물체와 상기 초점이 맞는 평면 간의 거리이며, Z 3는 상기 초점이 맞는 평면과 상기 렌즈 간의 거리이고, F는 상기 렌즈의 초점 거리이다. 또한, 상기 시프트는 Δ XF/(Z t -F)로 표현될 수 있으며, Z t =Z 2+Z 3는 상기 렌즈로부터 상기 물체까지의 총거리이다. 상기 영상화 장치가 원래의 스페클 패턴 지점의 원거리장 내에 있는 평면에서 초점이 맞추어진 경우에는, 상기 횡축 성분의 영향이 상기 스페클 패턴의 위상 변화로 줄어든다.
상기 물체의 움직임의 두번째 성분인 종축 성분은 영상화된 스페클 패턴의 스케일 변화로 나타난다. 상기 영상화 장치에 의하여 축소되기 때문에, 이러한 변화는 비교적 작다. 도 1을 보면, DO1 위치에 있는 물체에 대한 축소화 인자 M=(Z 2+Z 3-F)/F이고, DO2 위치에 있는 물체에 대한 축소화 인자는 (Z 2+Z 3+ΔZ-F)/F이며, ΔZ는 DO1 위치와 DO2 위치 사이의 종축 시프트이다. 상기 축소화 이자의 상대적 변화는 (Z 2+Z 3+ΔZ-F)/(Z 2+Z 3-F)-1이다. 상기 상대적 변화는 (Z t +ΔZ-F)/(Z t -F)-1=ΔZ/(Z t -F)로도 표현될 수 있다.
그리고, 상기 물체의 동작에 대한 세번째 성분인 틸트 성분은 상기 횡축 성분과 유사하게 스페클 패턴에 영향을 미치는데, 상기 틸트의 결과로서 상기 PDA 평면에서의 상기 스페클 패턴이 시프트된다. 그러나 상기 횡축 성분에 의한 시프트와 차별을 두지 않는 경우에, 상기 영상화 장치가 상기 영상화 장치에 보다 가깝고 상기 물체로부터 더 멀리 떨어져 있는 평면에 상기 영상화 장치가 초점을 맞출 때 상기 틸트에 의한 시프트는 더 중요해지는데, 이는 틸트에 의한 시프트가 Z 2 Δα/M IF =Z 2 FΔα/(Z 3-F)이고, Δα는 상기 틸트이며, M IF 는 IF 평면에 대한 축소화 인자이다. 또한, 이러한 시프트는 (Z t -Z 3)FΔα/(Z 3-F)로 표현될 수 있다.
전술한 바로부터 전방 변위 평면상에 초점을 맞추어 영상화하는 것과 상기 물체에 초점을 맞추어 상기 스페클 패턴을 영상화하는 것은 다른 결과가 나온다는 것을 알 수 있다. 후자의 경우에서, 동작이 세가지 성분 모두를 갖더라도 관련 조건이 Z 3
Figure 112010013032712-pct00001
Z t 이기 때문에 원격지의 물체의 동작(즉, 이 경우에는 Z t >>F)이 스페클 패턴에 대한 의미있는 동작으로 변환되지 않을 수 있고, 전자의 경우에는, 관련 조건이 Z 3<Z t 이기 때문에 동작이 틸트 성분을 갖는 경우에는 상기 PDA 평면상의 스페클 패턴이 검출에 적합한 거리만큼 이동한다. 다시 말하면, 움직임이 틸트 성분을 포함하고, 물체가 영상화 장치로부터 충분히 떨어져 있으며, 초점이 맞는 평면이 상기 영상화 장치에 충분히 가까이 있으면, 물체의 매우 작은 움직임조차도 상기 PDA 평면 내에서 주목할 만한 시프트로 확대될 수 있다. 물체가 움직일 때, 상기 물체에 초점을 맞추어 스페클 패턴을 영상화하면 스페클 패턴이 시프트하기 보다는 상기 스페클 패턴의 변화가 일어난다.
영상화 장치가 물체로 초점이 맞추어지는 경우에 있어서, 초점 거리 F를 물체 거리 Z t 까지 증가시키면 상기 PDA 평면 내의 측면 시프트(lateral shift)가 주목할 만한 값으로 증가한다. 그러나 이러한 경우는 전형적으로 대물 렌즈 거리(objective length)를 과도하게 큰 값으로 증가시켜야 한다. 실제로, 단일 렌즈로 구성된 대물 렌즈의 경우에 있어서, 상기 대물 렌즈 거리, 즉 렌즈 L과 화소 검출기 배열 PDA와의 거리는 Z t F/(Z t -F)이다. 초점 거리 F가 대물 렌즈 거리 Z t 에 근접하는 경우에는, 상기 대물 렌즈는 비교적 멀리 떨어지게 되고 상기 대물 렌즈 거리는 매우 클 필요가 있다.
영상화 장치가 전방 변위 평면에 초점을 맞추는 경우에 있어서, 측면 시프트를 확대하는 작업은, 상기 전방 변위 영상화 평면의 위치를 초점 평면에 근접하게 선택함으로써(즉, Z 3
Figure 112010013032712-pct00002
F), 다소 유사하게 수행될 수 있다. 그러나 이 경우에 있어서 상기 초점 거리가 대물 렌즈 거리 Z t 에 근접해야 할 필요가 없고; 따라서 상기 대물 렌즈 거리를 증가시키는 것이 필요할지라도, 이러한 증가는 일반적으로 보다 작아진다.
영상화 장치가 하방 변위 평면에 초점을 맞추는 경우는 영상화 장치가 전방 변위 평면에 초점을 맞추는 경우와 유사하게 고려될 수 있다.
위에 기술한 내용으로부터 명백한 바와 같이, 본 발명자들의 기술은 물체의 표면에서 생성된 스페클 패턴의 시프트를 측정하기에 편리한 수단을 제공한다. 상기 시프트는, 상기 영상화 장치를 상기 물체보다 상기 영상화 장치에 더 가까운 평면에 초점을 맞추거나 상기 물체보다 상기 영상화 장치로부터 더 멀리 있는 평면에 초점을 맞춤으로서 제공될 수 있다. 보다 상세하게는, 상기 영상화 장치가 상기 물체의 원거리장에 존재하는 평면에 초점이 맞추어질 수 있다. 또한, 본 발명자들은 상기 검출 시스템의 다른 매개변수들의 선택에 관하여도 고려하였다.
예를 들면, 본 발명의 동작 검출 기술은 다수개의 영상(프레임)을 통하여 스페클 패턴 또는 스페클 패턴의 한 영역을 추적하는 과정을 이용할 수 있다. 상기 추적 과정은 상기 스페클 패턴의 세기 최대값(intensity maxima)를 추적할 수 있다. 이러한 경우에 있어서 상기 세기 최대값은 상기 영상화 시스템에 의하여 분해될 필요가 있다.
알려진 바와 같이, 크기 D의 스페클형성 지점으로부터의 거리 Z 2에서 평균 스페클 크기는 λ Z 2/D가 된다. 여기에서 λ는 빛의 파장이다.
센서 평면(즉, PDA 평면)에서 영상화된 스페클 패턴의 분해능(resolution)은 다음 식 (1)과 같다(전제거 평면(front removal plane)에 초점을 맞추어 영상화하는 경우):
Figure 112010013032712-pct00003
일부 실시태양에 있어서, 이러한 분해능은 영상화 장치의 광학적 및 기하학적 분해능보다 더 크다(따라서 영상화 장치의 광학적 및 기하학적 분해능에 의하여 제한되지 아니한다). 보다 상세하게는, 일부 실시태양에 있어서, 상기 PDA는 상기 평균 스페클 δx 또는 이의 절반보다 작은 화소 크기 p를 갖는다. 만일 상기 화소 크기 p가 상기 평균 스페클보다 K배 작다면, 전형적인 스페클은 상기 PDA 평면 내의 K 화소에 의하여 감지될 것이다. 후자의 조건은 다음 식 (2)로 표현될 수 있다:
Figure 112010013032712-pct00004
일부 실시태양에 있어서, 상기 식 (2)는 다음 식 (3)으로 근사화될 수 있다:
Figure 112010013032712-pct00005
후자에 대한 근사값은, 대물 렌즈 거리가 비교적 작게 선택된 경우, 예를 들면, 초점 거리 F보다 약간 더 큰 경우에 특히 유용하다.
또한, 일부 실시태양에 있어서, 상기 식 (2)는 다음 식 (4)와 같이 근사화될 수 있다:
Figure 112010013032712-pct00006
근사값에 대한 식 (4)는, 가능한 가장 높은 배율을 요하지만 대물 렌즈 거리에 있어서는 현저한 증가가 없는, 비교적 작은 물체의 틸트를 검출할 수 있도록 구성되는 경우에 유용하다.
동일한 스페클을 4개를 초과하는 화소를 사용하여 영상화하는 것은 불필요하다. 따라서 일부 실시태양에 있어서, 상기 화소 크기는 평균 스페클 크기의 1/4보다 크다.
스페클 패턴 추적(tracking)을 위하여, 모든 차원(every dimension)에서 상기 PDA에 의하여 수집된 다수개의 스페클은 너무 작아서는 않되고, 그렇지 않으면 다른 프레임으로부터의 스페클 패턴 간의 대응관계가 성립되지 아니할 수 있다. 상기 PDA의 단일 차원(single dimension)에서 수집된 스페클의 수는 다음 식 (5)와 같다:
Figure 112010013032712-pct00007
상기 식 (5)에서 A는 각 차원에서 렌즈의 구경이고; F #은 렌즈의 F-수이다. 후자의 관계는 상기 스페클 패턴의 큰 발산(divergence)에 기인하고, 상기 렌즈의 구경을 스페클로 채운다. 일부 실시태양에 있어서, 스페클의 수 N은 2보다 크고 4보다 작다. 또 다른 일부 실시태양에 있어서, 스페클의 수 N은 8보다 크고 10보다 작다. 또 다른 일부 실시태양에 있어서, 스페클의 수 N은 10보다 크고 16보다 작다. 또 다른 일부 실시태양에 있어서, 스페클의 수 N은 16보다 크고 20보다 작거나, 20보다 크다.
상기 PDA의 화소수는, 어떤 차원에서도, KN보다 클 필요가 있을 수 있다. 예를 들면, 일부 실시태양에 있어서, 상기 화소수는 20보다 두배 크다(즉, 40보다 크다).
상기 스페클 패턴이 정적이거나 준정적인 경우, 즉 상기 스페클 패턴의 토폴로지(topology) 및 스케일이 현저하게 변화하지 않은 채로 상기 스페클 패턴이 상기 PDA 평면 내에서 대부분 시프트하는 경우에는, 상기 스페클 패턴의 추적이 용이해질 수 있다. 초점이 맞은 평면(in-focus plane)이 스페클형성 광 스폿의 원거리장 내에 있는 경우에는, (준)정상성이 제공될 수 있다. 예를 들면, 상기 스페클형성 광 스폿과 상기 초점이 맞은 평면 간의 거리 Z 2가 D 2/4λ보다 크면, 준정상성이 제공될 수 있다.
원거리장 조건의 기원은 스페클 패턴의 영상화를 스페클형성 지점으로부터 근접한 곳 및 멀리 떨어져 있는 곳에 초점을 맞추는 것을 비교함으로써 명확해질 수 있다. 상기 스페클 패턴에 의하여 형성된 장(field)을 자세히 살펴볼 필요가 있다. 상기 물체의 표면이 간섭성 조사장(coherent illuminating field)의 위상에 무작위 위상 분포 φ(x,y)를 더하는 것으로 가정할 수 있으며, (x,y)는 확산성 물체의 표면에서의 좌표이다.
스페클형성 지점에 근접한 평면에 초점을 맞추는 영상화 장치의 경우를 먼저 고려하면, 물체의 근거리장(close field)에 있는 평면(상기 물체로부터 가까운 거리 Z 1에서)에 대하여, 광 장분포(light field distribution)는 다음 식 (6)과 같다:
Figure 112010013032712-pct00008
상기 장(field) T m (x 0,y 0)는 공간적으로 불균일한(non-uniform) 진폭 A m (x 0,y 0) 및 위상 ψ(x 0,y 0)을 가지며, (x 0,y 0)는 상기 물체에 근접한 평면에서의 좌표이다. 상기 장 T m (x 0,y 0)는, 확산적으로 반사하는 물체의 표면에 의하여 도입되는, 무작위 위상 φ에 대한 프레스넬 적분(Fresnel integral)으로서 계산된다.
식 (6)은 근축 근사(paraxial approximation)에 기초한다(식 (6)의 두번째 지수에서의 편각은 2차(quadratic)이다). 또한, 식 (6)은, 물체 표면의 조사된 영역에서 균일한 반사율 분포를 갖는다는 가정에 의존한다. 상기 두가지 가정은 편의상 만들어진 것이고; 이들은 본 발명의 영상화 기술을 불필요하게 제한하지 아니한다.
상기 분포식 (6)은 상기 영상화 장치에 의하여 영상화될 수 있다. 상기 영상 평면에서의 공간 세기 분포(spatial intensity distribution)은 다음 식 (7)과 같다:
Figure 112010013032712-pct00009
식 (7)에서 h는 영상화 장치의 공간 임펄스 응답(spatial impulse response)이고, (x S ,y S )는 (광감지) 센서 평면 내의 좌표이며, M은 영상화 장치의 축소율(역확대)이다. 상기 공간 임펄스 응답 h는 광학적 및 센서(예를 들어 PDA) 블러링(blurring)을 고려한다. 상기 공간 임펄스 응답은 센서 평면상에서 정의된다.
물체 표면이 틸트를 겪는 경우에는, 물체 평면에 근접한 광 장(light field)은 다음 식 (8)에 따라 변한다:
Figure 112010013032712-pct00010
식 (8)에서, α x 및 α y 는 x축 및 y축에 대한 틸트 성분이고; β x 및 β y 에서의 인자 4는 검출기까지의 경로에서 빛이 이동한 광학 거리(optical length)에 대한 틸트의 이중기여(double contribution)을 설명해주는 인자 2를 포함한다. 예를 들어 상기 검출기에 도달하는 대상 표면의 일부분에 대하여, 첫째, 빛이 상기 대상 표면으로 향하는 도중에 보다 더 이동하여야 하고, 둘째, 상기 대상 표면으로 향하는 도중에 상기 대상 표면에서의 반사 후에 보다 더 이동하여야 하기 때문에, 상기 광학 거리는 이중으로 영향을 받는다.
(상기 틸트에 의한) 물체 평면에 근접한 곳에서의 스페클 패턴의 변화는 상기 영상 평면에서의 공간 세기 분포의 변화를 초래한다. 큰 확대 인자를 갖는 영상화 장치의 임펄스 응답과 작은 스페클의 블러링 때문에, 후자의 변화가 커진다. 상기 확대율 M은 수백 정도까지 커질 수 있다. 기본적으로, 렌즈는 물체 또는 물체에 근접한 평면에 초점이 맞추어지고, 상기 물체의 틸트(그리고 상기 물체의 틸트를 포함하는 동작)에 의해 상기 스페클 패턴의 영상이 무작위로 변경된다. 그러므로 상기 물체의 표면 또는 이에 매우 근접한 평면에 초점을 맞춘 영상화 장치를 사용하여 이차 스페클 패턴을 영상화함으로써 물체의 동작을 추적하는 것은 어려운 것이다.
추가로, 대상 물체에 매우 근접한 평면상에 초점을 맞추는 것은 영상화된 스페클 패턴을 분해하는 것을 막을 수 있다. 작은 거리 Z 1에 대하여, 영상화 평면에서의 평균 스페클은 작다. 이것은 식 (1)로부터 알 수 있고, 여기에서 거리 Z 1은 Z 2를 대체한다. 상기 평균 스페클 크기가 너무 작으면, 스페클 패턴은 센서에 의하여 분해되지 않을 수 있다. 따라서 물체의 표면이 아니라 렌즈의 구경과 관련된 스페클 패턴이 지배적일 수 있다. 후자의 스페클 패턴의 평균 스페클은 λF #이다. 이것은 상기 구경의 블러링 폭(blurring width of aperture)과 일치한다.
그러나 물체의 표면으로부터 멀리 떨어져 있는 평면상에 초점을 맞추는 것을 고려할 때, 상기 물체에 의하여 생성된 이차 스페클 패턴이 지배적이고 정적으로 된다. 물체의 평면과 관련하여, 초점을 흐리는 것(defocusing)은 확대율 M을 감소하게 한다(상기 감소는 1 이상의 차수만큼으로 감소할 수 있다). 또한, 초점을 흐리게 하는 것은 영상화된 평면을 원거리장으로 만든다.
식 (6) 및 식 (7)은 원거리장에서 다음 식 (9) 및 식 (10)과 같이 된다:
Figure 112010013032712-pct00011
그리고
Figure 112010013032712-pct00012
식 (9)에서, (x,y) 좌표에서의 2차 지수는 적분식으로부터 생략되었는데, 이는 상기 지수가 모든 (x 0,y 0) 점들에서 위상과 진폭에 영향을 주기 때문이다. 식 (9) 및 (10)에 따르면, 횡축 움직임으로는 스페클 패턴이 거의 변하거나 시프트하지 아니한다. 실제로는, 상기 횡축 움직임이 식 (9)의 푸리에 변환의 진폭에 영향을 주지 아니한다. 또한, 식 (10)에서 블러링 함수 h의 확대율은 물체에 초점을 맞추는 경우에서 보다 작다. 또한, 종축 움직임은 상기 스페클 패턴에 거의 영향을 주지 못한다. 식 (9)에는 일정한 위상만이 추가되었고 상기 스페클 패턴의 확대율은 약간만 변화하였다.
원거리장에서, (앞에서 언급한 바와 같이) 틸트는 스페클 패턴의 시프트를 초래한다. 이것은 식 (8)과 유사한 다음의 식 (11)에 의하여 확인된다:
Figure 112010013032712-pct00013
식 (11)에 따르면, 틸트는 좌표시스템 (x 0,y 0)의 원점의 시프트에 의하여 보상될 수 있다. 다시 말하면, 틸트는 (x,y) 좌표에 선형인 위상을 식 (11)의 적분식에 도입하고; 상기 위상은 푸리에 평면 (x 0,y 0)에서 시프트를 초래한다. 대상 표면, 레이저 조사 각도 및 스페클 패턴 검출에 관하여, 식 (8) 및 (11)은 광 장을 정상에 보다 근접하도록 보다 정확하게 기술하는 경향이 있다.
본 발명자들은 본 발명의 동작 검출 시스템에 대한 몇가지 실시태양을 실험하였다. 첫번째 일련의 실험에 있어서, 본 발명자들은 라우드스피커에서 생성된 음향을 광학적으로 검출하고 추출하였다. 상기 라우드스피커에 대한 사진은 도 2A에 나타나 있다. 상기 라우드스피커는 카메라(영상화 장치)와 간섭성 광원 양자로부터 약 1 m 정도 떨어져 있었고; 이들은 움직이지 아니하였다. 상기 카메라는 Basler A312f이었고; 비교적 작은 대상 윈도우에서 초당 400 프레임을 찍을 수 있다. 레이저는 532 nm의 파장에서 30 mW의 출력을 갖는 주파수배가(frequency-doubled) Nd:YAG 레이저이었다. 상기 조사 레이저광은 상기 카메라에 나란히 위치한 (핀홀이 있는) X10 렌즈를 통과하였다. 상기 조사 지점의 직경은 약 5 nm이었다. 두개의 라우드스피커 모두 연속하여 레이저로써 조사되었다. 이렇게 얻는 스페클 패턴을, 초점 거리가 16 mm이고 F-수가 5.6 내지 8이 TV 렌즈가 장착된 카메라를 사용하여 영상화하였다. 상기 카메라는 상기 라우드스피커의 후방 20 m 정도에 위치한 하방 변위 표면상에 초점을 맞추었다. 상기 카메라 PDA의 화소 크기는 8.3 X 8.3 마이크론이었다. 상기 카메라는 Matlab을 사용하여 제어되었다.
상기 실험에서, 본 발명자들은 좌측 라우드스피커에 시간주파수(temporal frequency)가 점점 상승하는 여기 신호(excitation signal)을 보냈고, 우측 라우드스피커에는 시간주파수가 점점 감소하는 여기 신호를 보냈다. 상기 카메라는 12.207초에 500 프레임의 시퀀스를 획득하였다. 상기 카메라의 프레임 속도는 초당 409.6 프레임(409.6 fps)이었고, 이 값은 205 Hz의 나이퀴스트 주파수에 해당한다. 상기 시퀀스의 첫번째 프레임에서, 본 발명자들은 라우드스피커의 플라스틱 덮개(라우드스피커의 멤브레인이 아님)에 상응하는 영역으로부터 10 X 10 화소(샘플)를 갖는 두개의 영역을 선정하였다. 상기 샘플들을 좌측 및 우측 라우드스피커 모두에서 취하였다. 양 샘플에 대하여, 다른 프레임에서의 이들의 위치를 추출하였다. 그리고나서, 이러한 위치 시퀀스로부터 상기 라우드스피커의 음향에 대한 스펙트로그램을 계산하였다. 따라서 음향의 추출은 상기 라우드스피커의 덮개벽의 진동 동작에 의존하였다. 진동운 덮개의 틸트를 변화시켰다.
하나의 축을 따라 샘플 위치에 대한 전형적인 시간 시퀀스(temporal sequence)가 도 2B에 나타나 있다. 상기 좌측 라우드스피커의 덮개의 동작 때문에 상기 샘플 위치가 변화하였다. 상기 PDA 평면에서의 상기 샘플의 위치를 연속 프레임(sequential frame)의 상관관계를 사용하여 추출하였다. 상기 위치를 편리하게 플롯을 작성하기 위하여 정규화하였다. 삽입도에서, 상기 샘플 위치의 시간 시퀀스의 일부분이 확대되어 나타나 있다.
도 2B에서의 위치 시간 시퀀스(position temporal sequence)는, 연속 프레임 사이에서 선택된 샘플의 시프트를 탐색함으로써 얻었다. 각 연속 프레임 쌍에 대하여, 가능한 다양한 시프트값으로 스윕(sweep)을 수행하였고; 상기 시프트값은 상기 쌍의 두개의 프레임 간의 시프트가 되도록 선택하였으며, 첫번째 프레임 내의 선택된 샘플과 이로부터 두번째 프레임 내에서의 시프트값 10 X 10 영역 만큼 시프트된 것 사이에서 최대 상관관계를 생성하였다. 노이즈 때문에 상기 선택된 샘플을 모든 프레임에서 발견할 수는 없었고: 일부 경우에서는 높은 상관관계 피크를 갖는 선택된 샘플과 대응하는, 두번째 프레임 내에서의 10 X 10 영역이 없었다. 이전 또는 이후의 프레임에서 높은 상관관계 피크를 보이지 아니한 프레임들은, 높은 주파수에 대응하고 상기 실험을 위하여 제거될 수 있는 시프트를 보였다.
좌측 및 우측 라우드스피커의 덮개의 위치 시간 시퀀스로부터, 본 발명자들은 스펙트로그램을 계산하였다. 이를 위하여 Matlab 함수인 "specgram"을 사용하였다. 상기 함수는 "순간적인(instantaneous)" 스펙트럼을 계산하기 위하여(즉, 근사값을 구하기 위하여) 256 프레임의 디폴트 윈도우(default window)를 사용하였다. 도 2C에, 상기 좌측 라우드스피커로부터 재구성한 스펙트로그램이 나타나 있다. 상기 스펙트로그램은 분석된 신호 시간 시퀀스(signal temporal sequence)의 시간-주파수 표현(time-frequency representation)이고: 상기 스펙트로그램에서, 가로축은 시간을 나타내고 세로축은 주파수를 나타낸다. 상기 스펙트로그램의 얇은 세로 조각들 각각은, 진폭을 나타내는 백색도(whiteness)를 사용하여 짧은 시간 동안의 스펙트럼을 보여준다. 더 하얀 부분은, 단순 성분 파동(simple component wave)이 더 높은 진폭을 갖는 주파수를 보여준다. 도 2C에 나타난 재구성된 스펙트로그램은 상기 라우드스피커의 주파수가 점점 증가하는 여기 신호와 정합한다.
도 2D에는, 우측 라우드스피커를 포함하는 영상 시퀀스로부터 재구성된 스펙트로그램이 나타나 있다. 상기 재구성을 위하여, 앞의 예에서와 같은 동일한 디지털 처리과정을 사용하였다. 여기에서 상기 스펙트로그램은 상기 라우드스피커로 보낸 여기 신호와 정합한다.
다른 일련의 실험에서, 본 발명자들은 라우드스피커에서 나오는 인간의 목소리 신호(본 발명자들 중 한 명이 노래를 함)를 추출하기 위하여 본 발명의 기술을 적용하였다. 앞의 일련의 실험에서와 같이, 상기 라우드스피커를 간섭광으로 조사하였고 제거된 평면에 초점이 맞추어진 카메라를 사용하여 영상화하였다.
얻어진 두개의 영상 시퀀스를 적절히 프로그램된 컴퓨터상에서 수행되는 여러 단계를 거쳐 처리하였다. 첫번째 단계에서, 샘플을 선택하고 영상(PDA) 평면에서 이의 위치의 시간 의존성을 결정하였다(두개의 시퀀스 각각에 대하여). 두번째 단계에서, 저역 필터링(low pass filtering)을 샘플의 위치 시간 의존성에 적용하였고 상기 필터링된 신호를 상기 의존성으로부터 공제하였으며(두개의 시퀀스 각각에 대하여); 본 발명자의 목소리에 대응하는 주파수를 구별되게 유지하였다. 상기 신호의 잡음을 제거하였고; 영상에서 샘플을 찾을 가능성(likelihood)이 높은(신호-대-잡음비, 10 이상) 영상들만을 보관하였다. 각 신호에 대한 시프트 탐색을 하기 전에 내삽하고 더 큰 샘플을 사용함으로써 상기 신호가 향상될 수 있다. 마찬가지로, 높은 SNR의 샘플을 찾는 과정을 반복하고, 상기 반복과정에서 샘플의 화소 크기를 증가시킴으로써 상기 신호를 향상시킬 수도 있다. 유사하게, 시프트 탐색도 반복할 수 있다. 추가적인 향상 없이도, 얻어진 샘플의 진동은 발성자의 목소리 음향을 나타내었다. 상기 재구성된 신호를 적절한 전기적 신호로 변환하고, 상기 라우드스피커를 전기적 신호를 사용하여 여기시키며, 생성된 음향을 청취함으로써 이러한 것을 확인하였다.
또 다른 일련의 실험에서, 본 발명자들은, 실험 참가자(본 발명자들 중 한 명)에 의하여 생성된 인간의 발성 신호를 광학적으로 검출하고 추출하였다. 상기 참가자는 실험 도중에 말을 하였을 뿐만 아니라 이동을 하였다(이전의 실험에서의 라우드스피커는 음향의 생성과 무관한 이유로 움직이지 아니하였다). 다양한 실험에서 음향을 검출하기 위하여, 상기 참가자의 인후, 얼굴(특히 광대뼈), 뒷머리 및 머리의 다른 부분에서 기원하는 스페클 패턴을 영상화하였다. 영상화 장치(카메라)를, 상기 스페클 패턴의 발생원 보다 상기 카메라에 보다 근접한 전방 변위 평면에 초점을 맞추었다. 실험에서, 본 발명자들은 782X582 화소의 매트릭스를 갖는 동일한 Basler A312f 카메라를 사용하였다. 셔터 속도는 40 μs 내지 100 μs이었고(주파수로는 25 KHz 내지 10 KHz), 게인(카메라의 내부 매개변수)은 192였다. 상기 카메라에는 초점 거리가 55 mm이고 F-수가 2.8인 Computar 텔레센트릭 렌즈(telecentric lens)를 사용하였다. 상기 카메라의 속도는 상기 매트릭스의 사용 영역내의 화소수와 거의 무관하였다. 본 발명자들은 크기 20X20 화소 및 20X40 화소의 샘플을 사용하였다. 출력 1 mW 내지 20 mW, 파장 532 nm의 Suwtech 이중 Nd-YAG 레이저를 사용하여 스페클 패턴을 만들었다.
도 3A 및 3B에서, 연속적으로 취한 두개의 스페클 패턴의 20X20 샘플이 나타나 있다. 도 3C에서, 본 발명자에 대한 초점이 흐려진 영상이 나타나 있다. 상기 카메라가 전방 변위 평면에 초점이 맞추어져 있었기 때문에, 상기 영상의 초점이 맞지 않았다. 상기 스페클 패턴은 본 발명자의 인후에서 나온 것이다.
스페클 패턴 영상을 샘플의 시프트 탐색과 연속적으로 상관지었다. 상기 샘플에 대하여 찾아진 미분 변위(differential displacement)을 축적시켰다. 도 3D에서, 영상화 평면(즉, PDA)상에서의 샘플의 궤적에 대한 R1과 R2 두개의 예가 나타나 있다. 상부 궤적의 일부분과 이의 슬라이딩 평균(sliding average)이 도 3E의 상세도에 나타나 있다. 선은 각각 R1 및 A1으로 표시하였다. 상기 슬라이딩 평균된 실제 궤적, 즉 궤적 A1은 사람의 주요 움직임(대부분 틸트)에 대응한다. 필터링된 궤적 A1 주변의 실제 궤적 R1의 진동은 사람의 발성에 대응한다.
도 3F에서, 스페클 패턴의 실제 궤적과 평탄화된(smoothed) 궤적 간의 차이점이 나타나 있다. 슬라이딩 평균으로부터의 상기 궤적의 편차는 사람의 음향적 움직임(틸트 진동)에 완전히 또는 부분적으로 대응한다. 따라서 실제 궤적과 평탄화된 궤적 간의 차이에 대한 슬라이딩 목소리 스펙트럼(sliding voice spectrum)은 사람의 발성을 나타낸다. 상기 슬라이딩 스펙트럼은, 편차 시간 의존성(deviation temporal dependence)을 주파수 도메인으로 슬라이딩 변화시키고 상기 도메인으로부터 목소리 주파수 대역(예를 들면, 약 300 Hz 내지 3400 Hz 범위의 전화통신에서의 목소리 주파수 대역)을 선택함으로써 찾을 수 있다. 상기 변환이 수행되는 슬라이딩 시간 간격은 10 ms일 수 있다. 발성을 검출하고 추출하기 위하여, 상기 PDA 평면상의 어느 방향으로든지 스페클 패턴의 시프트를 이용할 수 있다.
도 3G에서, 상기 PDA 상의 스페클 패턴 위치에 대한 시간 전개로부터 계산된 스펙트로그램이 나타나 있다. 세로축은 음향의 주파수를 Hz로 나타낸다. 가로축은 0.1초 간격으로 시간을 나타낸다. 영상화하는 동안에 상기 참가자가 소리쳤고; 상기 소리는 상기 스펙트로그램에서 비교적 높은 주파수(약 120 Hz)에 있는 대역 S에 의하여 반사된 것이다.
본 발명자들은 발성 검출 설비를 몇개 더 설계하기 위하여 시뮬레이션을 수행하였다. 상기 시뮬레이션에서, 조사 지점(illumination spot)의 직경을 2 cm로 하였다(D=2 cm).
400 nm의 파장, F=10 mm의 초점 거리(매우 작은 값) 그리고 F #=1의 F-수에 대하여, 최대 대상 거리(maximal object distance)가 약 Z 2 ( max )=500 m로 계산되었다. 적절한 초점이 맞은 카메라 평면 거리(camera-in-focus plane distance)는 20 cm 내지 6 m로 계산되었다. 상기 계산은 원거리장 조건이 유지되도록 수행하였다. 2 μm의 파장 및 F #=1의 F-수에 대하여, 본 발명자들은 약 100 m의 최대 대상 거리 Z 2 (max)를 얻었다. 상기 초점이 맞는 평면 거리 Z 3에 대한 적절한 간격은 변하지 않았다.
400 nm의 파장, F=1000 mm의 초점 거리(매우 큰 값) 그리고 F #=1의 F-수(즉, 구경 φ=1000 mm)에 대하여, 계산된 최대 대상 거리 Z 2 ( max )가 약 50 km였고, 계산된 최소 초점 맞은 평면 거리 Z 3 ( min )는 약 3 km였다. 다시, 상기 값들을, 원거리장 근사에 사용하기 위하여 보존하였다. 또한, 원거리장 조건이 유지되도록 최대 초점 맞은 평면 거리가 추산되었다. 2 μm의 파장에 대하여, 본 발명자들은 동일 조건(D=2 cm 및 φ=1000 mm)에 대하여 최대 대상 거리가 Z 2 ( max )=10 km을 얻었다.
본 발명의 또 다른 일련의 실시태양에서, 본 발명의 발명자들은 보조원들의 심장 박동을 감지하는 기술을 사용하였다. 이를 위해, 본 발명의 발명자들은 의류로 가려진 보조원들의 가슴으로부터 나오는 스페클 패턴을 영상화하였다. 도 4A에는, 상관관계에 의해 추출된 샘플 시프트의 시간 의존성이 도시되어 있다. 상기 시간 축은 20초에 상응하는 5,000 단위로 되어 있다. 상기 신호(상기 상관관계 피크(correlation peak)의 이동)는 화소(pixels)(또는 화소 단위)로 측정된다. 도 4B에는, 상기 신호의 스펙트럼 사진이 도시되어 있다. 상기 심장박동을 잘 구별할 수 있다. 따라서, 본 발명의 기술은 인간의 심박수(심장 박동 속도)의 비접촉식 관찰을 가능하게 한다. 이러한 비접촉식 모니터링은 환자를 관찰하기 위해 병원에서 사용될 수 있고, 사고 희생자의 생존확인을 위해 구조 작업에서 사용될 수 있으며, 스포츠 및 체력 훈련에서도 사용될 수 있다. 또한 상기 심장 박동은 손목에서 발생되는 스페클 패턴의 영상화에 의해서도 비접촉식으로 감지될 수 있다.
본 발명자들의 기술은 실제 심장 박동의 감지뿐만 아니라, 심박수(즉, 펄스) 및 혈압과 같은 의학적 요인의 결정 및 개체(인간 또는 동물)가 겪는 신체 변형의 특성을 밝히는 데 사용될 수 있다. 이러한 기술은 의학, 수의학 및 농업 분야에서도 유용하다. 게다가, 본 발명자들의 기술은 광학 심장도(OCG)를 얻는데 사용될 수 있다. OCG는, 이러한 영상들이 심장의 진동과 관련된 진동을 나타내고 상기 시퀀스는 심장 박동을 나타내는 고정된 스페클 패턴 영상의 시퀀스로부터 만들어질 수 있다. 후자의 조건은 바람직하게는, 상기 시퀀스가 심장 박동에 대한 나이퀘스트 속도(Nyquist rate)를 초과하는 속도를 취해야 한다는 것을 의미한다. OCG가 개별적으로 반복할 수 있는 특성을 나타내는 것처럼, OCG는 건강상태를 결정하는 것뿐만 아니라, 확인하는 데 사용될 수 있다.
본 발명자들은 펄스의 결정 및 신체 변형의 특성화를 위해 OCG를 사용하여 일련의 실험을 수행하였다. 상기 실험에서, 본 발명자들은 532 nm의 파장에서 작용하는 Nd:YAG 레이저를 실험 참가자의 신체 일부에 방사하였고, 반사된 간섭성 스페클 패턴을 디지털 카메라(모델명: Pixel Link A741)로 영상화하였다. 상기 카메라 및 레이저는 나란히 배치되었다. 상기 참가자들은 상기 카메라로부터 약 1m 거리에 떨어져 있었다. 상기 카메라는 약 20m 까지 떨어져 있는 범위에 초점이 맞추어 졌다. 진동 추출을 위해 128 화소로 128의 공간적 영역(샘플)이 이용되었다. 상기 상관관계 평면(correlation plane)은 256×256 화소이고; 상기 상관관계 피크는 거의 중심에 가깝게 나타났다.
도 5A에서는, 스페클 패턴 영상의 시퀀스에서 발견되는 동일한 샘플 좌표의 시간 의존성의 주파수 표현(푸리에 변환)을 보여준다. 즉, 주파수 도메인에서 OCG의 푸리에 변환 또는 OCG를 보여준다. 스페클 패턴은 대상물의 손목으로부터 발생되었다. 영상들은 20Hz 속도로 얻어졌다. 5,000개의 영상(프레임)이 얻어졌고, 상기 결과로 얻은 분광 해상도(분해능)(spectral resolution)가 1/(500/20)=0.04 Hz였다. 상기 푸리에 변환은 490개의 프레임 시퀀스 이상으로 수행되었고; 상기 해상도 단위는 도 5A에서 주파수 축으로 사용되었다. 상기 플롯(plot)에서 245 단위로 배치되어 있는 상기 푸리에 변환의 중심, 최고점, 피크에서 상기 주파수는 0이다. (상기 푸리에 변환은 상기 플롯 단위로 구성되어 있기 때문에, 0점으로부터 이동되었다.) 상기 시간 신호(temporal signal)가 실제이기 때문에, 상기 플롯은 대칭이다. 다음으로 가장 높은 분광 정점은 279를 기록하는 위치에 있다. 상기 정점은 0.04 (279-245) Hz=1.36 Hz의 속도로 발생하는 심장 박동에 상응한다. 제어 측정(control measurement)은 폴라 클럭(Polar Clock)으로 수행되었고; 그 결과는 1.33 pulses/sec이었다.
동일한 대상물(#1)에 대해 신체 변형 상태에서 상기 펄스 속도 측정을 반복하였다. 상기 각각의 푸리에 변환이 도 5B에 나타나 있다. 이때 최고 비중심 피크는 287을 기록하였고 펄스 속도는 0.04 (287-245) Hz=1.68 Hz였다. 상기 각각의 폴라 클럭 크기는 1.783(초당 펄스)였다.
다음 네 번의 측정은 속도 100 Hz로 수행되었고; 10초의 시간대에 1,000개의 영상을 얻었다. 상기 네 번의 측정 중 최초 측정에서, 정지 상태의 대상물 #2에 대해, 상기 제어 폴라 클럭 측정은 초당 1,033 펄스의 결과가 나왔다. 상기 분광 해상도는 1/(1000/100)=0.1 Hz이고 900개의 프레임이 상기 분광 산출에 참여하였기 때문에, 상기 피크는 1.033/0.1+495=505.3으로 나타나야 했다. 실제로, 도 5C에서 상기 피크는 506으로 나타났다. 신체적 활동 후에 신체 변형을 경험한 대상물 #3에 대해 수행된 두 번째 측정에서, 상기 폴라 클럭 측정은 초당 1.433 펄스였고; 따라서 상기 피크는 1.433/0.1+495=509.3로 나타나야 했다. 상기 피크는 509로 나타났다(도 5D). 다음의 측정에서, 정지 상태의 대상물 #3에 대해, 상기 폴라 클럭 결과는 1.216 Hz였고; 따라서 상기 피크는 1.216/0.1+495=507.2를 기록할 것으로 예상되었다. 상기 피크는 507에서 얻어졌다(도 5E, 이 때 상기 스페클 패턴은 대상물의 목소리로부터 발생되었다). 상기 네 번의 측정 중 마지막 측정에서, 대상물 #3에 대해 신체 변형에서, 상기 폴라 클럭 측정은 초당 1.5 펄스였고, 따라서 상기 피크는 1.5/0.1+495=510를 기록할 것으로 예상되었다. 실제로, 본 발명자들은 상기 피크를 510에서 얻었다(도 5F, 상기 스페클 패턴은 대상물의 목소리로부터 발생되었다).
따라서, 본 발명자들의 기술이 비접촉식 심박수 측정에 사용될 수 있다는 것을 알 수 있다.
추가로, 본 발명자들은 OCG가 고도의 개별적 특성이라는 것을 보여주는 일련의 실험을 수행하였다. 상기 실험은 도 5C 내지 도 5F의 예에서 사용된 배치와 동일한 배치로 수행되었다. 상기 영상화 속도는 100 Hz였다. 도 6A에서는 단일 주기의 OCG의 확대 삽입도를 포함하여 대상물 #4의 시간 도메인에서 OCG가 도시되어 있다. OCG가 일반적으로 다른 주기에서도 그 자체로 반복되고 있어서, 상기 단일 주기는 시그너쳐(signature)로서 사용하기에 충분할 수 있다. 도 6B에서는 대상물 #5의 OCG가 도시되어 있다. 또한 상기 OCG는 일반적으로 그 자체로 반복한다. 대상물 #4 및 #5의 서명이 다르게 보이고; 일반적으로 대상물 #5의 박동은 서로 높은 상관관계를 가지고 있고, 대상물 #4의 박동과는 낮은 상관관계를 가지고 있다. 각 대상물의 박동은 그들의 독특한 시간 형태(temporal shape)를 유지한다. 도 6C 및 6D에서는 다른 날에 정지 상태의 대상물 #6의 OCG를 보여주고 있다. 상기 측정들 사이에서 경과된 시간에도 불구하고, 상기 시그너쳐는 매우 유사하다. 도 6E 및 6F에서는 대상물 #7 및 #8의 OCG를 보여주고 있다. 서로 다른 대상물들은 실제로 서로 다른 시그너쳐를 갖는다.
그러므로, 예를 들어 지문 또는 망막과 같이 OCG는 사람의 독특한 시그너쳐를 갖는다는 것을 보여준다. 그러므로 OCG는 보안 구역의 출입용 열쇠로서 사용될 수 있다. 다른 한편으로는, 또한 OCG는 사람의 건강 진단 및/또는 변형 상태에 관한 정보를 가지고 있다. 예를 들어, OCG는 거짓말 탐지기에 사용될 수 있다: 사람이 거짓말을 할 때, 그 사람의 OCG가 변할 것이고 본 발명의 기술로써 OCG가 탐지될 수 있다.
상기 예시와 마찬가지로, 본 발명자들의 기술은 태아의 생체의료적 영상화에 사용될 수 있다. 초음파에 의해 태아의 진동이 일어날 수 있다. 음향뿐만 아니라 추가로 본 발명자들의 기술에 의해 태아로부터 반사된 음파가 영상화될 수 있다.
상기 OCG 예와 다소 유사하게, 운송수단의 진단 및 인식 또는 인증에 본 발명자들의 기술이 사용될 수 있다. 자동차 엔진 작동의 결함은 엔진의 특유한 결함음 또는 음향의 분열을 발생시키고; 많은 운전자 및 정비공들은 이러한 특성을 이용하여 상기 결함의 원인을 찾는다. 그러나, 인간의 제한된 청력 및 엔진에 의해 발생된 일부 소음때문에, 이와 같이 청각에 의해 진단하기는 어렵다. 또한 상기 음향의 원인이 되는 위치를 쉽게 알아 낼 수 없다. 본 발명자들의 기술을 사용하여, 인간의 귀에는 들리지 않을 정도로 아주 약한 다양한 엔진 및 운송수단음을 탐지하고 특성화할 수 있다. 또한 본 발명자들의 기술을 사용하여 상기 음향의 원인이 되는 위치를 알아낼 수 있다. 또한, 상기 광학적 탐지는 상기 음향적 탐지 이상의 높은 정밀도를 달성할 수 있다. 따라서, 본 발명자들의 기술은 고장의 원인을 찾아낼 뿐만 아니라, 초기 단계에서 이를 방지하는데 유용할 수 있다. 이로써 운송수단을 우수하게 유지할 수 있다.
상기 언급된 예시들을 비추어 보면, 본 발명자들의 기술의 운송수단의 진단에 대한 응용은 하나 또는 그 이상의 고정된 스페클 패턴의 영상들의 시퀀스를 사용할 수 있는데, 이러한 영상들은 운송수단과 연관된 진동을 나타내고 상기 시퀀스는 운송수단 운전을 나타낸다. 이러한 영상들은 운송 수단의 엔진 부품들의 (흐린)영상일 수 있다. 또한 상기 영상들은 운송 수단의 휠 시스템(wheel system) 또는 전동장치의 (흐린)영상일 수 있다. 상기 운송 수단은 엔진 공회전과 함께 작동될 수 있고; 상기 운송 수단은 엔진에 의해 회전될 수도 또는 그렇지 않을 수도 있는 휠을 포함할 수 있다. 상기 시퀀스는 범용 컴퓨터의 메모리 또는 특수화된 장치의 메모리 또는 메모리 캐리어(memory carrier)와 같은 메모리에 저장될 수 있다(예를 들어, 작동 메모리(operative memory), 비디오 메모리, 컴펙트 디스크, 광학 디스크, 하드드라이브 디스크, 플래시 메모리 장치 등). 상기 운송 수단 자체는 자동차, 선박, 기관차, 비행기, 헬리콥터 또는 엔진 작동이 기계적 진동과 연관된 기타 장치일 수 있다. 또한 상기 운송 진단은 상이한 엔진 속도에서 얻어진 영상 시퀀스 집합을 활용할 수 있거나 다른 운송 수단 부분에 대해 활용할 수 있다.
또한 본 발명자들의 기술은 거주 지역 보안 분야에 사용될 수 있다. 예를 들면, 운송 수단, 예를 들어 자동차를 구분하는데 활용될 수 있다(이러한 목적을 위해 현재 번호판이 사용되고 있다). 특히, 위장 운송 수단을 찾는데 활용될 수 있다. 유사하게 보이는 차량은 예를 들어, 상이한 진동 시그너쳐를 갖는 이들의 엔진에 의해 구별될 수 있다. 동작 중에, 상기 엔진이 상기 운송 수단 내부에 숨겨져 있더라도, 진동이 상기 운송 수단의 외부로 전달되고, 따라서 상기 진동이 운송 수단의 외관(예를 들어, 후드, 본체, 윈드 쉴드(wind shields))에 형성된 스페클 패턴의 흐린 영상에 의해 발견될 수 있다.
당업자들은 첨부된 청구항에 의해 정의된 범위에서 벗어나지 않는 다양한 수정 및 변경이 상기에 설명된 본 발명의 실시 태양에 적용될 수 있다는 것을 쉽게 알 수 있을 것이다.

Claims (62)

  1. 물체로부터 떨어져 있는 평면에 초점을 맞추는 영상화 시스템에 의하여 상기 물체로부터 유래되고 전파된, 간섭성 스페클 패턴을 영상화하는 단계, 및 상기 물체로부터 D 2/4λ 이상 떨어져 있는 원거리장 평면에 초점을 맞추는 영상화 시스템으로부터 얻어진, 적어도 두 개의 상기 스페클 패턴 영상의 시퀀스를 얻는 단계를 포함하고, D와 λ는 각각, 물체에서 조광 점을 형성하는 스페클의 크기 및 상기 스페클 패턴의 파장인, 물체 영상화 방법.
  2. 제1항에 있어서, 상기 떨어져 있는 평면이 상기 영상화 시스템과 물체 사이에 위치하는 것임을 특징으로 하는 물체 영상화 방법.
  3. 제1항에 있어서, 상기 떨어져 있는 평면이 물체 보다 영상화 시스템으로부터 더 멀리 떨어져 있는 위치에 있는 것임을 특징으로 하는 물체 영상화 방법.
  4. 제1항 또는 제2항에 있어서, 간섭광으로 상기 물체를 비춤으로써 상기 간섭성 스페클 패턴을 형성하는 것을 특징으로 하는 물체 영상화 방법.
  5. 제1항 또는 제2항에 있어서, 상기 물체가 움직이고 있는 것임을 특징으로 하는 물체 영상화 방법.
  6. 제5항에 있어서, 상기 움직임이 진동에 관련된 것임을 특징으로 하는 물체 영상화 방법.
  7. 제6항에 있어서, 상기 진동이 생체 부위의 진동임을 특징으로 하는 물체 영상화 방법.
  8. 제6항에 있어서, 상기 진동이 발성하는 것에 대응하는 것임을 특징으로 하는 물체 영상화 방법.
  9. 제7항에 있어서, 상기 진동이 발성하는 것에 대응하는 것임을 특징으로 하는 물체 영상화 방법.
  10. 제9항에 있어서, 상기 생체 부위가 손목관절, 흉곽, 인후, 측두와 중 어느 하나인 것임을 특징으로 하는 물체 영상화 방법.
  11. 제1항에 있어서, 상기 시퀀스로부터 발성을 추출하는 물체 영상화 방법.
  12. 제6항에 있어서, 상기 진동이 생체 부위 피복의 것임을 특징으로 하는 물체 영상화 방법.
  13. 제7항에 있어서, 상기 진동이 심장 박동의 시퀀스에 대응하는 것임을 특징으로 하는 물체 영상화 방법.
  14. 제8항에 있어서, 상기 진동이 심장 박동의 시퀀스에 대응하는 것임을 특징으로 하는 물체 영상화 방법.
  15. 제13항에 있어서, 심장 박동의 시퀀스를 추출하는 단계를 포함하는 물체 영상화 방법.
  16. 제14항에 있어서, 심장 박동의 구조를 추출하는 단계를 포함하는 물체 영상화 방법.
  17. 제16항에 있어서, 추출된 심장 박동 구조를 동일한 심장의 심장 박동 구조와 비교하는 단계를 물체 영상화 방법.
  18. 제16항에 있어서, 추출된 심장 박동 구조를 또 다른 심장의 심장 박동 구조와 비교하는 단계를 포함하는 물체 영상화 방법.
  19. 제7항에 있어서, 상기 생체 부위가 인후, 광대뼈, 머리 중 적어도 하나인 것임을 특징으로 하는 물체 영상화 방법.
  20. 제7항에 있어서, 상기 생체 부위가 위장인 것을 특징으로 하는 물체 영상화 방법.
  21. 제6항에 있어서, 상기 진동이 운송수단 부품의 것임을 특징으로 하는 물체 영상화 방법.
  22. 제21항에 있어서, 상기 운송수단 부품이 내부 부품인 것을 특징으로 하는 물체 영상화 방법.
  23. 제22항에 있어서, 상기 내부 부품이 엔진인 것을 특징으로 하는 물체 영상화 방법.
  24. 제21항에 있어서, 상기 운송수단 부품이 외부 부품인 것을 특징으로 하는 물체 영상화 방법.
  25. 제21항에 있어서, 상기 운송수단이 자동차인 것을 특징으로 하는 물체 영상화 방법.
  26. 제1항 또는 제2항에 있어서, 상기 물체의 적어도 두 개의 영상에 나타나는 물체의 영역 간의 시프트를 결정하고, 상기의 각 영역은 물체의 동일한 영역에서 유래되는 빛에 의하여 형성되며 상기 물체의 원거리장에 위치하고 물체로부터 떨어져 있는 상기 평면에 초점을 맞추어 영상화되는 정적인 스페클 패턴을 포함하는, 동작 검출에 사용하기 위한 물체 영상화 방법.
  27. 제26항에 있어서, 상기 평면이 상기 물체보다 영상화 시스템으로부터 더 멀리 떨어져 위치하는 것임을 특징으로 하는 물체 영상화 방법.
  28. 제26항에 있어서, 상기 평면이 영상 시스템과 상기 물체 사이에 위치하는 것임을 특징으로 하는 물체 영상화 방법.
  29. 제26항에 있어서, 상기 영상화가 적어도 두 번 이상 반복되고, 따라서 상기 시프트 시퀀스를 얻는 물체 영상화 방법.
  30. 제29항에 있어서, 상기에서 얻어진 시프트 시퀀스를 또 다른 시프트 시퀀스와 비교하는 단계를 포함하는 물체 영상화 방법.
  31. 삭제
  32. 간섭광 빔의 발생원;
    장면 필드를 가지는 영상화 시스템; 및
    상기 영상화 시스템과 연동되는 처리 장치를 포함하고, 상기 영상화 시스템은 상기 간섭광 빔과 상기 영상화 시스템의 상기 장면 필드의 교차점에서 떨어져 있는 평면에 초점을 맞춘 적어도 두 개의 영상의 시퀀스를 얻기 위하여 구성되고 작동하며, 상기 교차점으로부터 원거리장에 있는 것이고, 상기 적어도 두 개의 영상은 상기 교차점의 위치에서 유래되고 전파된 스페클 패턴 영상이며, 상기 처리 장치는 상기 교차점 위치에서 유래되는 적어도 두 개의 스페클 패턴 영상 간의 시프트를 정하도록 구성되고 작동되는 것인, 동작 검출에 사용하는 시스템.
  33. 제32항에 있어서, 상기 평면이 영상화 시스템과 교차점 위치 사이에 있는 것임을 특징으로 하는, 동작 검출에 사용하는 시스템.
  34. 제32항에 있어서, 상기 평면이 상기 교차점 위치보다 영상화 시스템으로부터 더 멀리 있는 것임을 특징으로 하는, 동작 검출에 사용하는 시스템.
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
KR1020107004615A 2007-07-26 2008-07-21 동작 검출 시스템 및 방법 KR101584822B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL184868 2007-07-26
IL184868A IL184868A0 (en) 2007-07-26 2007-07-26 Motion detection system and method

Publications (2)

Publication Number Publication Date
KR20100076944A KR20100076944A (ko) 2010-07-06
KR101584822B1 true KR101584822B1 (ko) 2016-01-13

Family

ID=39884727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107004615A KR101584822B1 (ko) 2007-07-26 2008-07-21 동작 검출 시스템 및 방법

Country Status (8)

Country Link
US (1) US8638991B2 (ko)
EP (1) EP2183543B1 (ko)
KR (1) KR101584822B1 (ko)
AU (1) AU2008278642B2 (ko)
CA (1) CA2697625C (ko)
ES (1) ES2710859T3 (ko)
IL (2) IL184868A0 (ko)
WO (1) WO2009013738A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CZ302803B6 (cs) * 2009-02-04 2011-11-16 Univerzita Palackého Zpusob detekce pohybu pole koherencní zrnitosti a zarízení k provádení tohoto zpusobu
US8918209B2 (en) * 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US9226673B2 (en) * 2011-01-10 2016-01-05 East Carolina University Methods, systems and computer program products for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
US9636041B2 (en) * 2011-01-28 2017-05-02 Bar Ilan University Method and system for non-invasively monitoring biological or biochemical parameters of individual
EP2667778B1 (en) 2011-01-28 2021-04-28 Bar Ilan University Method and system for non-invasively monitoring biological or biochemical parameters of individual
WO2014020611A1 (en) 2012-08-01 2014-02-06 Bar Ilan University Method and system for non-invasively monitoring biological or biochemical parameters of individual
DE102011089195A1 (de) * 2011-06-30 2013-01-03 Johnson Controls Gmbh Vorrichtung und Verfahren zur berührungslosen Erfassung von Gegenständen und/oder Personen und von diesen ausgeführten Gesten und/oder Bedienvorgängen
US9569680B2 (en) * 2012-02-02 2017-02-14 Xerox Corporation Automated running-engine detection in stationary motor vehicles
EP2872032B1 (en) 2012-07-10 2016-06-08 DeLaval Holding AB Registering of physiological parameters based on image analysis of light reflection
EP2728886A1 (en) 2012-10-31 2014-05-07 EyeTrackShop AB Registering of timing data in video sequences
GB2516277A (en) * 2013-07-17 2015-01-21 Cambridge Consultants Optical apparatus and methods
GB2516281A (en) * 2013-07-17 2015-01-21 Cambridge Consultants Optical apparatus and methods
JP6287360B2 (ja) * 2014-03-06 2018-03-07 オムロン株式会社 検査装置
JP2016038343A (ja) 2014-08-08 2016-03-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2016039574A (ja) 2014-08-08 2016-03-22 ソニー株式会社 撮像装置および撮像素子
JP6361927B2 (ja) 2014-08-13 2018-07-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016040541A (ja) 2014-08-13 2016-03-24 ソニー株式会社 信号処理装置、信号処理方法、並びにプログラム
US10206576B2 (en) * 2014-09-10 2019-02-19 Samsung Electronics Co., Ltd. Laser speckle interferometric system and method for mobile devices
TWI564754B (zh) * 2014-11-24 2017-01-01 圓剛科技股份有限公司 空間運動感測器與空間運動感測方法
US9671218B2 (en) * 2014-12-22 2017-06-06 National Chung Shan Institute Of Science And Technology Device and method of quick subpixel absolute positioning
JP2018503106A (ja) * 2014-12-27 2018-02-01 ガーディアン オプティカル テクノロジーズ リミテッドＧｕａｒｄｉａｎ Ｏｐｔｉｃａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｔｄ． 表面振動を検出するためのシステムおよび方法
IL239113A (en) * 2015-06-01 2016-12-29 Elbit Systems Land & C4I Ltd A system and method for determining audio characteristics from a body
US10318798B2 (en) * 2015-07-10 2019-06-11 Booz Allen Hamilton Inc. Device and method for detecting non-visible content in a non-contact manner
CN108780004A (zh) 2016-02-25 2018-11-09 康廷尤斯生物测定有限公司 用于监测运动对象的参数的方法和***
CN108882882B (zh) * 2016-04-05 2022-05-03 索尼公司 散斑测量设备和散斑测量方法
JP2019519269A (ja) * 2016-05-05 2019-07-11 コンティンユーズ バイオメトリクス リミテッドＣｏｎｔｉｎＵｓｅ Ｂｉｏｍｅｔｒｉｃｓ Ｌｔｄ． 組織モニタリング及び分析のためのシステム及び方法
WO2017203525A1 (en) 2016-05-23 2017-11-30 ContinUse Biometrics Ltd. System and method for use in depth characterization of objects
US11406294B2 (en) 2016-11-10 2022-08-09 ContinUse Biometrics Ltd. System and method for improved monitoring of a sample
JP7008702B2 (ja) 2016-11-10 2022-02-10 マジック リープ， インコーポレイテッド スペックルパターンを使用した眼追跡のための方法およびシステム
US10856739B2 (en) 2016-11-21 2020-12-08 ContinUse Biometrics Ltd. System and method for monitoring of objects with increased sensitivity
US10989517B2 (en) 2016-12-22 2021-04-27 ContinUse Biometrics Ltd. Vibration sensing system with wavelength encoding
WO2018150427A1 (en) 2017-02-15 2018-08-23 ContinUse Biometrics Ltd. System and method for use in remote sensing
CA3052240C (en) * 2017-02-16 2020-12-22 Magna Exteriors Inc Voice activation using a laser listener
IL258470A (en) 2017-04-06 2018-06-28 Continuse Biometrics Ltd System and method for monitoring glucose level
IL258461A (en) 2017-04-06 2018-06-28 Continuse Biometrics Ltd Blood pressure monitoring system
IL253799B (en) 2017-08-02 2018-06-28 Igal Igor Zlochin Retroreflective interferometer
IL253862B (en) 2017-08-06 2021-04-29 Elbit Systems Land & C4I Ltd Enhanced photoacoustic excitation sensing using cross-correlation of defocused speckle images
WO2019111246A1 (en) 2017-12-04 2019-06-13 Bar Ilan University System and method for calculating a characteristic of a region of interest of an individual
US11202040B2 (en) 2018-04-23 2021-12-14 ContinUse Biometrics Ltd. System and method for monitoring a sample
IL278243B2 (en) 2018-05-02 2024-06-01 Univ Bar Ilan System and method for remote monitoring
US11957441B2 (en) 2018-05-10 2024-04-16 ContinUse Biometrics Ltd. System and method for depth flow inspection
IL261039B (en) 2018-08-07 2020-10-29 Elbit Systems Land & C4I Ltd A two-stage system and method for sensing photoacoustic excitation
EP3886686A4 (en) * 2018-11-27 2022-07-20 Continuse Biometrics Ltd. SYSTEM AND METHOD FOR REMOTE MONITORING OF BIOMEDICAL PARAMETERS
IL273248B2 (en) * 2019-03-19 2023-05-01 Continuse Biometrics Ltd System and method for optical monitoring based on symmetry conditions of the optical field
IL278987A (en) * 2019-12-05 2021-06-30 Continuse Biometrics Ltd System and method for passively monitoring a sample
EP4035588A1 (en) * 2021-01-28 2022-08-03 Koninklijke Philips N.V. Mri system, in particular a method and system for generating a cardiac trigger signal
US11908478B2 (en) 2021-08-04 2024-02-20 Q (Cue) Ltd. Determining speech from facial skin movements using a housing supported by ear or associated with an earphone

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005090908A1 (en) * 2004-03-23 2005-09-29 Oy Optoinspection Ltd. High-speed optical profiler
US20060215244A1 (en) 2003-12-02 2006-09-28 Jacob Yosha Vehicle display system
US20070071295A1 (en) 2005-09-27 2007-03-29 Siemens Medical Solutions Usa, Inc. Orientation-based assessment of cardiac synchrony in medical imaging

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3804521A (en) * 1972-02-22 1974-04-16 Itek Corp Optical device for measuring surface roughness
US3952583A (en) 1975-01-02 1976-04-27 The United States Of America As Represented By The Secretary Of The Army Apparatus and method for the remote detection of vibrations of diffuse surfaces
US5481356A (en) * 1994-04-25 1996-01-02 Northwestern University Apparatus and method for nondestructive testing using additive-subtractive phase-modulated interferometry
US5616839A (en) * 1996-01-29 1997-04-01 Ford Motor Company Apparatus and method for measuring contact force distribution of a tire
GB0009311D0 (en) * 2000-04-17 2000-05-31 Logica Uk Ltd Vibration analysis
US20040061680A1 (en) * 2002-07-10 2004-04-01 John Taboada Method and apparatus for computer control
US7089796B2 (en) * 2004-03-24 2006-08-15 Hrl Laboratories, Llc Time-reversed photoacoustic system and uses thereof
US8023669B2 (en) * 2005-06-13 2011-09-20 Technion Research And Development Foundation Ltd. Shielded communication transducer
WO2007054861A2 (en) * 2005-11-08 2007-05-18 Koninklijke Philips Electronics, N.V. Ultrasonic diagnosis of myocardial synchronization
IL174713A0 (en) 2006-04-02 2007-05-15 Abraham Aharoni System and method for optical sensing of surface motions
US7813537B2 (en) * 2006-05-15 2010-10-12 Siemens Medical Solutions Usa, Inc. Motion-guided segmentation for cine DENSE images
JP5770733B2 (ja) * 2009-09-16 2015-08-26 モナシュ ユニバーシティ イメージング方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215244A1 (en) 2003-12-02 2006-09-28 Jacob Yosha Vehicle display system
WO2005090908A1 (en) * 2004-03-23 2005-09-29 Oy Optoinspection Ltd. High-speed optical profiler
US20070071295A1 (en) 2005-09-27 2007-03-29 Siemens Medical Solutions Usa, Inc. Orientation-based assessment of cardiac synchrony in medical imaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D.A. Gregory, "Basic physical principles of defocused speckle photography: a tilt topology inspection technique", Optics & Laser Technology, October 1976, vol 8, Issue 5, pages 201-213*

Also Published As

Publication number Publication date
WO2009013738A1 (en) 2009-01-29
AU2008278642A1 (en) 2009-01-29
CA2697625A1 (en) 2009-01-29
KR20100076944A (ko) 2010-07-06
EP2183543B1 (en) 2018-09-19
IL203262A (en) 2015-06-30
US8638991B2 (en) 2014-01-28
US20100226543A1 (en) 2010-09-09
EP2183543A1 (en) 2010-05-12
ES2710859T3 (es) 2019-04-29
CA2697625C (en) 2016-06-14
AU2008278642B2 (en) 2014-05-08
IL184868A0 (en) 2008-03-20

Similar Documents

Publication Publication Date Title
KR101584822B1 (ko) 동작 검출 시스템 및 방법
KR102061434B1 (ko) 스푸프 검출 및 라이브니스 분석을 위한 시스템들 및 방법들
Davis et al. The visual microphone: Passive recovery of sound from video
US10129658B2 (en) Method and apparatus for recovering audio signals from images
US9560992B2 (en) Methods and systems for observation of tympanic function
US11523737B2 (en) System and method for determining audio characteristics from within a body
JP2022508237A (ja) 生物医学的パラメータを遠隔監視するためのシステムおよび方法
US20140114188A1 (en) Acousto-optic vibrometer
Dobrev et al. Full-field transient vibrometry of the human tympanic membrane by local phase correlation and high-speed holography
US9916433B2 (en) Condition authentication based upon temporal-spatial analysis of vibrational responsivity
Huang et al. Real-time high sensibility vibration detection based on phase correlation of line speckle patterns
US20200401082A1 (en) Coherent Optical Holographic Imaging
JP6391086B2 (ja) ディジタルホログラフィによる音場３次元画像計測方法および音再生方法
JP2006043146A (ja) 脈波解析方法及び装置
Kirsten et al. Imaging the tympanic membrane oscillation ex vivo with Doppler optical coherence tomography during simulated Eustachian catarrh
Razavi Development of high-speed digital holographic shape and displacement measurement methods for middle-ear mechanics in-vivo
Fuse et al. Sound recovery using vibration modes of the object in a video
US20200302620A1 (en) System and method for optical monitoring using symmetry condition of light field
Csapó et al. Comparison of acoustic-to-articulatory and brain-to-articulatory mapping during speech production using ultrasound tongue imaging and EEG
Tang High-speed Shape and Displacement Measurements by Holography and Applications in Middle Ear Research
WO2022249115A2 (en) Systems and methods for an imaging device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200114

Year of fee payment: 5