KR20140109858A - 타겟 오브젝트 상의 디스크레펀시들을 추적하고 검출하기 위한 자동화된 시스템 및 방법 - Google Patents

타겟 오브젝트 상의 디스크레펀시들을 추적하고 검출하기 위한 자동화된 시스템 및 방법 Download PDF

Info

Publication number
KR20140109858A
KR20140109858A KR1020147011725A KR20147011725A KR20140109858A KR 20140109858 A KR20140109858 A KR 20140109858A KR 1020147011725 A KR1020147011725 A KR 1020147011725A KR 20147011725 A KR20147011725 A KR 20147011725A KR 20140109858 A KR20140109858 A KR 20140109858A
Authority
KR
South Korea
Prior art keywords
target object
camera
image
orientation
discrepancy
Prior art date
Application number
KR1020147011725A
Other languages
English (en)
Other versions
KR102000309B1 (ko
Inventor
게리 이. 조지슨
제임스 제이. 트로이
스캇 더블유. 레아
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20140109858A publication Critical patent/KR20140109858A/ko
Application granted granted Critical
Publication of KR102000309B1 publication Critical patent/KR102000309B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/952—Inspecting the exterior surface of cylindrical bodies or wires
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

타겟 오브젝트 좌표계를 갖는 타겟 오브젝트; 타겟 오브젝트의 위치 및/또는 지향을 모니터하고, 타겟 오브젝트의 위치 및/또는 지향을 나타내는 타겟 오브젝트 위치 신호를 생성하도록 구성된 추적 유닛; 타겟 오브젝트의 이미지를 캡쳐하도록 배치된 카메라; 타겟 오브젝트에 대한 카메라의 지향을 제어하기 위하여 카메라에 연결된 지향기구; 및 이미지에서의 디스크레펀시를 검출하기 위하여 이미지를 분석하고, 이미지에 디스크레펀시가 존재하는 경우에, 적어도 타겟 오브젝트 위치 신호 및 카메라의 지향을 기초로 하여 타겟 오브젝트 좌표계에 대한 디스크레펀시의 위치를 결정하고, 이후에 디스크레펀시를 겨냥하고 가리켜 보이기 위하여 카메라 및 레이저를 지향시키도록 구성된 프로세서;를 포함하는 검출 시스템.

Description

타겟 오브젝트 상의 디스크레펀시들을 추적하고 검출하기 위한 자동화된 시스템 및 방법{AUTOMATED SYSTEM AND METHOD FOR TRACKING AND DETECTING DISCREPANCIES ON A TARGET OBJECT}
본 발명은 일반적으로 검출 시스템에 관한 것이고, 더욱 구체적으로는, 타겟 오브젝트가 움직일 때조차도 타겟 오브젝트 상의 디스크레펀시들의 위치를 알아내고 검출하는 시스템들 및 방법들에 관한 것이다.
디스크레펀시들, 예를 들어, 이물질(foreign object debris)은 복합구조물(composite structure)들(예컨대, 항공기 스킨(aircraft skin))의 수선 또는 제조 동안 고가의 힘든 문제를 야기할 수 있다. 디스크레펀시(discrepancy)를 검출하고 제거하는 것에 대한 실패는 복합구조물들의 구조적 완전성(structural integrity)의 감소를 초래할 수 있다. 게다가, 만일 디스크레펀시들이 복합구조물 제조 프로세스에 있어서 충분히 조기에 검출되지 않는다면, 결과적으로 얻어지는 복합구조물들은 버려지거나(disposed) 수리될(repaired) 수 있고, 몇몇 경우들에 있어서는, 엔지니어링 분석 및 자격검증(engineering analysis and qualification)을 통해서 승인될(approved) 수 있다. 각각의 옵션은 비용이 많이 들 수 있다.
게다가, 몇몇 디스크레펀시들은 사이즈가 작거나 접합선(bond line) 근처에 있을 수 있는데, 이는 검출 실패(detection failure)를 초래할 수 있다. 디스크레펀시들에 대해 시기적절하게 검출하는 것의 실패는 구조물에 대해 상당한 손상을 초래할 수 있는데, 이것은 수리에 비용이 많이 들 수 있다. 그래서, 이들이 복합구조물들에 부착되자마자 디스크레펀시들을 검출하고 제거할 필요성이 존재한다.
디스크레펀시 검출을 위한 현재의 방법들은 인간(human) 또는 시각(visual) 기반 검출 시스템들을 포함하는데, 이들은 비번하게 오류(error)를 낳을 수 있다. 음향의(acoustic), 레이저-기반의(laser-based), 자기의(magnetic), RFID, GPS, 및 모션 캡쳐-기반의(motion capture-based) 시스템들을 통해서 디스크레펀시들을 검출하기 위하여, 컴퓨터화된(computerized) 검출 시스템들이 채용되어 왔다. 하지만, 이러한 시스템들은 전형적으로 정지된(stationary) 타겟 오브젝트 상에서만 작동하고, 제조 프로세스 동안 항공기 동체(aircraft fuselage)를 회전시키는 것과 같이 움직이는(moving) 오브젝트들 상의 디스크레펀시들을 성공적으로 가리켜 보이지는(point out) 못한다.
따라서, 타겟 오브젝트가 움직일 때조차도, 타겟 오브젝트를 추적할 수 있고, 타겟 오브젝트 상의 디스크레펀시들의 위치들을 검출할 수 있고, 이후에 이러한 디스크레펀시들을 정확하게 나타낼 수 있는 로컬 포지셔닝-기반 시스템(local positioning-based system)에 대한 필요성이 존재한다.
본 발명은 타겟 오브젝트가 움직일 때조차도 타겟 오브젝트 상의 디스크레펀시들의 위치를 알아내고 검출하는 시스템들 및 방법들을 제공하는 것을 목적으로 한다.
하나의 실시 예에 있어서, 본 발명의 검출 시스템은, 타겟 오브젝트 좌표계를 갖는 타겟 오브젝트; 타겟 오브젝트의 위치 및/또는 지향을 모니터하고, 타겟 오브젝트의 위치 및/또는 지향을 나타내는 타겟 오브젝트 위치 신호를 생성하도록 구성된 추적 유닛; 타겟 오브젝트의 이미지를 캡쳐하도록 배치된 카메라; 타겟 오브젝트에 대한 카메라의 지향을 제어하기 위하여 카메라에 연결된 지향기구; 및 이미지에서의 디스크레펀시를 검출하기 위하여 이미지를 분석하고, 이미지에 디스크레펀시가 존재하는 경우에, 적어도 타겟 오브젝트 위치 신호, 카메라의 지향, 및 이미지에서의 디스크레펀시의 위치를 기초로 하여 타겟 오브젝트 좌표계에 대한 디스크레펀시의 위치를 결정하도록 구성된 프로세서;를 포함할 수 있다. 검출 시스템에 있어서, 상기 추적 유닛은 인코더를 더 포함한다. 검출 시스템에 있어서, 상기 지향기구는 상기 프로세서에 의해 제어될 수 있다. 검출 시스템에 있어서, 상기 지향기구는 팬-틸트(pan-tilt) 메커니즘을 더 포함할 수 있다. 검출 시스템은 상기 타겟 오브젝트에 결합된 모션 액츄에이터를 더 포함할 수 있고, 상기 모션 액츄에이터는 상기 타겟 오브젝트의 상기 위치 및 상기 지향 중의 적어도 하나를 제어하도록 상기 프로세서에 의해 제어될 수 있고(controllable), 상기 모션 액츄에이터는 전기 모터를 포함한다.
다른 실시 예에 있어서, 본 발명의 검출 시스템은, 타겟 오브젝트 좌표계를 갖는 타겟 오브젝트; 타겟 오브젝트의 위치 및/또는 지향을 제어하기 위하여 타겟 오브젝트에 연결된 모션 액츄에이터; 타겟 오브젝트의 위치 및/또는 지향을 모니터하고, 타겟 오브젝트의 위치 및/또는 지향을 나타내는 타겟 오브젝트 위치 신호를 생성하도록 구성된 추적 유닛; 타겟 오브젝트에 대해 배치된 로컬 포지셔닝 시스템(local positioning system)("LPS") 계기, LPS 계기는 타겟 오브젝트의 이미지를 캡쳐하도록 구성된 카메라를 포함함; 타겟 오브젝트 상으로 레이저 빔을 비추도록 구성된 레이저 발광 장치; 카메라의 지향 및 레이저 발광 장치의 지향을 제어하기 위하여 카메라 및 레이저 발광 장치에 연결된 지향기구; 및 이미지에서의 디스크레펀시를 검출하기 위하여 이미지를 분석하고, 이미지에 디스크레펀시가 존재하는 경우에, 적어도 타겟 오브젝트 위치 신호 및 카메라의 지향을 기초로 하여 타겟 오브젝트 좌표계에 대한 디스크레펀시의 위치를 결정하도록 구성된 프로세서;를 포함할 수 있고, 프로세서는 타겟 오브젝트 좌표계에 대한 디스크레펀시의 위치를 기초로 하여 레이저 발광 장치의 지향을 제어함으로써 디스크레펀시 상으로 레이저 빔을 비추도록 더 구성된다.
또 다른 실시 예에 있어서, 본 발명은 타겟 오브젝트 좌표계를 갖는 타겟 오브젝트 상의 디스크레펀시를 검출하기 위한 방법이다. 본 방법은, (1) 카메라, 레이저 발광 장치, 및 카메라와 레이저 발광 장치를 타겟 오브젝트에 대해 지향시키기 위한 지향기구를 포함하는 로컬 포지셔닝 시스템 계기를 제공하는 단계, (2) 타겟 오브젝트를 선택적으로 움직이도록 구성된 모션 액츄에이터를 제공하는 단계, (3) 타겟 오브젝트의 위치 및 지향 중의 적어도 하나를 모니터하도록 구성된 추적 유닛을 제공하는 단계, (4) 타겟 오브젝트에 대해 로컬 포지셔닝 시스템 계기의 최초 위치를 결정하는 단계, (5) 타겟 오브젝트를 제1 타겟 오브젝트 위치 또는 지향으로 이동시키는 단계, (6) 타겟 오브젝트에 대해 카메라를 제1 카메라 지향으로 지향시키는 단계, (7) 타겟 오브젝트가 제1 타겟 오브젝트 위치 내에 있고 카메라가 제1 카메라 지향에 있는 경우에, 타겟 오브젝트의 표면 상의 영역의 이미지를 캡쳐하는 단계, (8) 캡쳐된 이미지에서 디스크레펀시가 존재하는지 여부를 결정하기 위하여 캡쳐된 이미지와 해당 참조 이미지를 비교하는 단계, (9) 이미지에 디스크레펀시가 존재하는 경우에, 타겟 오브젝트 좌표계에서 디스크레펀시의 좌표들을 결정하는 단계, 및 (10) 디스크레펀시를 겨누도록 레이저를 움직이는 단계;를 포함할 수 있다.
본 발명에 따른 자동화된 검출 시스템 및 방법의 다른 태양들은 이하의 상세한 설명, 첨부도면들, 및 첨부된 청구항들로부터 명백하게 될 것이다.
도 1은 본 발명에 따른 검출 시스템의 하나의 실시 예의 개략적 투시도이고;
도 2는 본 발명에 따른 검출 시스템의 다른 실시 예의 개략적 투시도이고;
도 3은 본 발명에 따른 검출 방법의 하나의 실시 예의 흐름도이다.
도 1을 참조하면, 일반적으로 참조번호 10으로 표시되는 본 발명의 로컬 포지셔닝 기반 자동 검출 시스템(local positioning-based automated detection system)의 하나의 실시 예는 프로세서(processor)(20), 메모리(54), 추적 유닛(tracking unit)(37), 제어가능한 모션 액츄에이터(controllable motion actuator)(39), 카메라(12), 및 레이저 발광 장치(laser emitting device)(14)를 포함할 수 있다. 본 발명의 로컬 포지셔닝 기반 자동 검출 시스템(10)은 카메라(12)를 지지하기 위한 지지체(support)(28) 및 타겟 오브젝트(target object)(18)에 대해 카메라(12) 및 레이저 발광 장치(14)를 지향시키기 위한 지향기구(orienting mechanism)(16)를 더 포함할 수 있다.
그래서, 카메라(12), 레이저 발광 장치(14), 지향기구(16), 및 지지체(28)는 본 발명의 로컬 포지셔닝 기반 자동 검출 시스템(10)의 로컬 포지셔닝 시스템 계기(local positioning system instrument)(17)를 포함할 수 있다. 로컬 포지셔닝 시스템 계기(17)는 좌표계(44)를 가질 수 있다.
레이저 발광 장치(14)는 레이저 빔(laser beam)을 방출할 수 있고, 로컬 포지셔닝 시스템 계기(17)와 타겟 오브젝트(18) 사이의 거리를 결정하기 위한 레이저 거리 측정기(laser range meter)로서 기능할 수 있다. 이와 달리, 별도의 레이저 거리 측정기가 위치 포지셔닝 시스템 계기(17)의 일부로서 포함될 수 있다. 본 기술분야에서의 통상의 기술자는, 로컬 포지셔닝 시스템 계기(17)와 타겟 오브젝트(18) 사이의 거리를 결정할 수 있는 레이저 거리 측정기의 이용이 후술하는 캘리브레이션 프로세스(calibration process)에 도움이 될 수 있다는 점을 이해할 것이다.
본 발명의 로컬 포지셔닝 기반 자동 검출 시스템(10)은, (1) 타겟 오브젝트(18)의 위치 및/또는 지향(orientation)을 추적하기 위하여, (2) 타겟 오브젝트(18)의 표면(surface)(19) 상의 디스크레펀시(discrepancy)(26)를 검출하기 위하여, (3) 타겟 오브젝트(18)의 좌표계(46)에 대한 디스크레펀시(26)의 위치를 결정하기 위하여, 및 (4) 타겟 오브젝트(18) 상의 디스크레펀시(26)의 시각적 표시(visual indication)(예컨대, 레이저 포인트(laser point))를 제공하기 위하여 채용될 수 있다.
본 명세서에서 사용될 때, "디스크레펀시(discrepancy)"는 타겟 오브젝트(18)의 의도된 구성요소(component) 또는 특징(feature)이 아닌 임의의 타입의 불일치(inconsistency), 차이(difference), 또는 이상(irregularity)을 지칭한다. "디스크레펀시들(discrepancies)"의 예들은 이물질(예컨대, 먼지(dust), 파편(scrap)), 손상된 영역들(예컨대, 흠(blemish)들, 덴트(dent)들), 잘못 놓인(mislaid) 또는 잘못 형성된(malformed) 구성요소들(예컨대, 잘못 놓인 플라이들(mislaid plies)), 없어진 구성요소들(예컨대, 없어진 플라이들(missing plies)) 등을 포함하되 이에 한정되지는 않는다.
그래서, 디스크레펀시(26)는 타겟 오브젝트(18) 상의 하나 이상의 관심 지점(30)들에 의해 정의될 수 있고, 디스크레펀시 경계(discrepancy boundary)(29)를 정의할 수 있다.
프로세서(20)는, 카메라(12)로부터 데이터를 수신하고, 수신된 데이터를 기초로 하여 타겟 오브젝트(18) 상의 디스크레펀시(26)의 위치를 알아내도록(locate) 구성될 수 있다. 프로세서(20)는 또한 적어도 타겟 오브젝트(18)에 대한 카메라(12)의 위치, 타겟 오브젝트(18)의 위치/지향, 및 카메라(12)의 지향을 기초로 하여 타겟 오브젝트(18)의 좌표계(46)에 대한 디스크레펀시(26)의 위치를 결정하도록 구성될 수 있다. 프로세서(20)는, 레이저 발광 장치(14)가 타겟 오브젝트(18) 상의 디스크레펀시(26)의 위치의 시각적 표시를 제공할 수 있도록 레이저 발광 장치(14)를 제어하는 명령 신호(command signal)를 생성할 수 있다.
프로세서(20)는 프로세서-레이저 경로(processor-laser pathway)(38)에 의해서 레이저 발광 장치(14)와 통신할 수 있다. 프로세서(20)와 레이저 발광 장치(14) 간의 통신은 단방향 통신(예컨대, 프로세서(20)로부터 레이저 발광 장치(14)로) 또는 양방향 통신(예컨대, 프로세서(20)로부터 레이저 발광 장치(14)로, 그리고 레이저 발광 장치(14)로부터 프로세서(20)로)일 수 있다.
프로세서(20)는 프로세서-카메라 경로(processor-camera pathway)(40)에 의해서 카메라(12)와 통신할 수 있다. 프로세서(20)와 카메라(12) 간의 통신은 단방향 통신(예컨대, 카메라(12)로부터 프로세서(20)로) 또는 양방향 통신(예컨대, 프로세서(20)로부터 카메라(12)로, 그리고 카메라(12)로부터 프로세서(20)로)일 수 있다.
프로세서(20)는 프로세서-기구 경로(processor-mechanism pathway)(42)에 의해서 지향기구(16)와 통신할 수 있다. 프로세서(20)와 지향기구(16) 간의 통신은 단방향 통신(예컨대, 프로세서(20)로부터 지향기구(16)로) 또는 양방향 통신(예컨대, 프로세서(20)로부터 지향기구(16)로, 그리고 지향기구(16)로부터 프로세서(20)로)일 수 있다.
프로세서(20)는 프로세서-추적기 경로(processor-tracker pathway)(36)에 의해서 추적 유닛(37)과 통신할 수 있다. 프로세서(20)와 추적 유닛(37)간의 통신은 단방향 통신(예컨대, 추적 유닛(37)으로부터 프로세서(20)로)일 수 있다.
프로세서(20)는 타겟 오브젝트(18)를 병진시키거나(translate) 회전시키기 위하여(rotate) 프로세서-액츄에이터 경로(processor-actuator pathway)(43)에 의해서 제어가능한 모션 액츄에이터(39)와 통신할 수 있다. 프로세서(20)와 모션 액츄에이터(39) 간의 통신은 단방향 통신(예컨대, 프로세서(20)로부터 모션 액츄에이터(39)로) 또는 양방향 통신(예컨대, 프로세서(20)로부터 모션 액츄에이터(39)로, 그리고 모션 액츄에이터(39)로부터 프로세서(20)로)일 수 있다.
프로세서-레이저 경로(38), 프로세서-카메라 경로(40), 프로세서-기구 경로(42), 프로세서-추적기 경로(36), 및 프로세서-액츄에이터 경로(43)는 데이터를 전송하는 임의의 방식을 포함할 수 있다. 하나의 예로서, 경로들(36, 38, 40, 42, 43)은 전기 케이블, 광 케이블 등과 같은 유선(wired) 경로들일 수 있다. 다른 예로서, 경로들(36, 38, 40, 42, 43)은 블루투쓰(Bluetooth), 근거리 무선 통신(near-field communication), 적외선 통신(infrared communication) 등과 같은 무선(wireless) 경로들일 수 있다.
프로세서(20)는 프로그래밍 명령어(programming instruction)들, 코드(code)들, 이진 프로그래밍(binary programming) 등을 실행할 수 있는 임의의 유형의 계산 또는 처리 장치일 수 있다. 프로세서(20)는 추가로 컨트롤러(controller), 마이크로프로세서(microprocessor), 마이크로컨트롤러(microcontroller), 또는 상태 기계(state machine)일 수 있고, 그 안에 저장된 프로그램 코드 또는 프로그램 명령어들의 실행을 직접적 또는 간접적으로 용이하게 할 수 있는 신호 프로세서, 디지털 프로세서, 내장 프로세서, 마이크로프로세서, 또는 코프로세서(co-processor)(예컨대, 수학적 코프로세서, GPU(gr?hical processing unit), 통신 코프로세서) 등과 같은 임의의 변형물들을 포함하거나 그 자체일 수 있다. 프로세서(20)는 추가로 다중 처리 코어(multiple processing core)들을 더 포함하거나, 분산 처리 시스템(distributed processing system)을 형성하도록 구성된 처리 유닛(processing unit)들의 집합일 수 있다. 게다가, 프로세서(20)는 복수의 프로그램들, 쓰레드(thread)들, 및 코드들의 실행을 가능하게 할 수 있다.
프로세서(20)는 추가로 퍼스널 컴퓨터(personal computer)들, 태블릿 컴퓨터(tablet computer)들, 스마트폰(smartphone)들 등을 포함하되 이에 한정되지 않는 전자 장치 내에 들어 있을(encompassed) 수 있다. 프로세서(20)는 이와 달리 카메라(12) 및 레이저 발광 장치(14)를 포함하는 본 발명에서 설명되는 다른 구성요소들 중의 하나 안에 들어 있을 수 있다.
프로세서(20)는 이미지 처리(image processing) 기능을 포함할 수 있다. 이미지 처리 기능은 이미지 처리 소프트웨어 또는 하드웨어일 수 있고, 카메라(12)로부터 이미지(또는 일련의 이미지들)을 수신하고 이미지를 분석해서 디스크레펀시(26)들을 검출하고 위치를 알아내도록 구성될 수 있다. 이미지 처리 동안, 카메라(12)로부터 수신된 이미지들은 참조 이미지(reference image)와 비교될 수 있고, 참조 이미지는 단일 이미지, 일련의 이미지들, 또는 이미지들의 모자익(mosaic of images)일 수 있다. 비교 과정은 프로세서(20)로 하여금 카메라의 시야(field of view)(24) 내에서 타겟 오브젝트(18) 상의 디스크레펀시(26)들을 검출하는 것을 가능하게 할 수 있다.
참조 이미지는, 타겟 오브젝트(18)를 전형적으로 구체화하는 공지의(known) 3차원 모델들의 데이터베이스로부터 메모리(54)에 저장된 이미지이거나, 카메라(12)에 의해 사전에 획득되어 메모리(54)에 저장된 이미지이거나, 또는 다른 수단에 의해 획득되어 메모리(54)에 저장된 이미지일 수 있다.
프로세서(20)는 참조 이미지들, 좌표들, 방법들, 코드들, 명령어들, 및 프로그램들과 같은 데이터를 저장하기 위한 메모리(54)를 포함할 수 있다. 프로세서(20)는 인터페이스(interface)를 통해서 메모리(54)에 액세스할 수 있다. 메모리(54)는 CD-ROM, DVD, 블루레이(Blu-ray), 메모리, 하드 디스크(hard disk), 플래시 드라이브(flash drive), RAM, ROM, 캐시(cache), 및 이들의 임의의 조합 중의 하나 이상을 포함하되 이에 한정되지 않는 임의의 전자적 저장 장치(electronic storage device)일 수 있다.
추적 유닛(37)은 타겟 오브젝트(18)의 위치 및/또는 지향을 감지하거나 이와 달리 모니터링(monitoring)할 수 있는 임의의 장치 또는 시스템일 수 있다. 예를 들어, 추적 유닛(37)은 로터리 인코더(rotary encoder)와 같은 위치 인코더(position encoder)일 수 있고, 지지 구조물(support structure)(35)에 대한 타겟 오브젝트(18)의 회전 위치/지향을 추적할 수 있다. 추적 유닛(37)에 의해 수집된 데이터는 프로세서-추적기 경로(36)에 의해서 프로세서(20)에 전달될 수 있다.
예를 들어, 타겟 오브젝트(18)는 정지되어 있지 않을 수 있고, 오히려 화살표 22에 의해서 보이는 바와 같이 타겟 오브젝트(18)가 축 A 둘레로 회전하도록 지지 구조물(35)에 연결된 샤프트(shaft)(33)에 부착되어 있을 수 있다. 추적 유닛(37)은 타겟 오브젝트(18)의 회전 위치 및/또는 지향을 추적할 수 있고, 프로세서-추적기 경로(36)에 의해서 위치/지향 데이터를 프로세서(20)에 전달할 수 있다.
이러한 점에 있어서, 본 기술분야에서의 통상의 기술자는, 추가적인 레이어(layer)들(예컨대, 플라이들(plies))이 타겟 오브젝트(18)에 적용되는 때와 같이, 처리 동안 타겟 오브젝트(18)가 성장할 수 있다는 점을 이해할 것이다. 타겟 오브젝트(18)의 이러한 성장은 타겟 오브젝트(18)와 로컬 포지셔닝 시스템 계기(17) 사이의 거리를 감소시킬 수 있다. 하지만, 레이저 발광 장치(14)의 레이저 거리 측정기 기능은 이러한 성장을 검출할 수 있고, 이에 따라서 시스템을 재조정할(recalibrate) 수 있다.
제어가능한 모션 액츄에이터(39)는 타겟 오브젝트(18)의 병진(translation) 또는 회전(rotation)과 같은 움직임에 영향을 줄 수 있는 임의의 장치 또는 시스템일 수 있다. 적절한 제어가능한 모션 액츄에이터(39)들의 예들은 모터들(예컨대, 전기 모터들), 유압 펌프(hydraulic pump)들, 에어 실린더(air cylinder)들, 선형 액츄에이터(linear actuator)들 등을 포함하되 이에 한정되지 않는다.
하나의 구성에 있어서, 제어가능한 모션 액츄에이터(39)는 축 A 둘레로 타겟 오브젝트(18)를 선택적으로 회전하게 하기 위하여 샤프트(33)에 결합될 수 있다. 제어가능한 모션 액츄에이터(39)는 예를 들어, 벨트(belt), 도르레(pulley), 또는 스크류(screw)에 의해서 샤프트(33)에 결합될 수 있다. 다른 구성에 있어서, 제어가능한 모션 액츄에이터(39)는 축 A 둘레로 타겟 오브젝트(18)를 선택적으로 회전시키기 위하여 타겟 오브젝트(18)에 직접 연결될 수 있다.
그래서, 타겟 오브젝트(18)의 3차원 모델이 프로세서(20)에 제공되는 경우와 같이 타겟 오브젝트(18)의 형상이 알려져 있는 경우에, 로컬 포지셔닝 시스템 계기(17)의 최초 위치 및 지향이 결정될 수 있다. 이후, 로컬 포지셔닝 시스템 계기(17)의 최초 위치 및 지향이 알려져 있으면, 추적 유닛(37)으로부터 수신된 위치/지향 데이터 뿐만 아니라 지향기구(16)로부터 수신된 위치/지향 데이터는 프로세서(20)가 타겟 오브젝트(18)의 좌표계(46)에 대한 디스크레펀시(26)들의 위치를 결정하는 것을 가능하게 할 수 있다.
추적 유닛(37)으로부터 수신된 위치/지향 데이터를 기초로 하여, 프로세서(20)는 타겟 오브젝트(18)를 재배치할(reposition) 필요가 있는지 여부를 결정할 수 있다. 만일 재배치가 필요하다면, 프로세서(20)는 경로(43)에 의해서 신호들을 제어가능한 모션 액츄에이터(39)에 보낼 수 있다. 제어가능한 모션 액츄에이터(39)는 프로세서(20)로부터 신호들을 수신할 수 있고, 이 신호들을 기초로 하여, 지지 구조물(35)에 대해 타겟 오브젝트(18)를 재배치할(예컨대, 회전시킬) 수 있다.
카메라(12)는, 시야(24)(즉, 카메라(12)에 의해 수신된 이미지의 가시적인 수평 및 수직 범위)를 갖고 시야(24) 내에서 타겟 오브젝트(18)의 이미지들을 수집할 수 있는 임의의 장치일 수 있다. 예를 들어, 카메라(12)는 디지털 SLR(single lens reflex) 카메라, 스톱-모션(stop-motion) 카메라, 움직이는 비디오 이미지들을 찍기 위한 비디오 카메라, 3차원(3D) 카메라, 디지털 카메라, 필름(film) 카메라, 웹(web) 카메라, 스테레오(stereo) 카메라 등 또는 이들의 임의의 조합일 수 있다.
카메라(12)는 렌즈(lens)(13)를 포함할 수 있고, 일반적으로 타겟 오브젝트(18)의 표면(19)을 보기 위하여 구체적으로 적용된 시스템의 일부일 수 있다. 카메라(12)는 캡쳐된(captured) 이미지들을 저장하기 위한 메모리 등과 같은 저장 매체뿐만 아니라 임의의 유형의 기록 메커니즘(recording mechanism)을 더 포함할 수 있다. 카메라(12)는 또한 줌(zoom) 기능에 의해 제어되는 시야각과 같이 시야(24) 및 레인지(range)를 제어하기 위한 수단을 포함할 수 있다.
선택적으로, 카메라(12)의 시야(24)는 프로세서(20)에 연결된 임의의 적절한 뷰잉 디바이스(viewing device)(21)(예컨대, 모니터, 프로젝터(projector) 등) 상에서 보일 수 있다.
카메라(12)는 지지체(28) 상에서 지지될 수 있다. 로컬 포지셔닝 시스템 계기(17)는 카메라(12)가 타겟 오브젝트(18) 상의 관심 영역을 볼 수 있도록(보도록 지향될 수 있도록) 하는 타겟 오브젝트(18)로부터의 거리에 배치될 수 있다. 예를 들어, 로컬 포지셔닝 시스템 계기(17)는 타겟 오브젝트(18)로부터 약 40 피트(feet) 떨어지게 배치될 수 있다. 이러한 점에 있어서, 본 기술분야에서의 통상의 기술자는 타겟 오브젝트(18)로부터의 로컬 포지셔닝 시스템 계기(17)의 실제 거리가 캘리브레이션 동안 정밀하게 결정될 수 있다는 점을 이해할 것이다.
지향기구(16)는 타겟 오브젝트(18)에 대한 카메라(12)의 지향을 조정함으로써, 타겟 오브젝트(18)에 대한 시야(24)를 이동시킬 수 있다. 지향기구(16)는 (예컨대, 다수의 서보(servo)들 또는 다른 유사한 장치들에 의해서 구동되어) 완전히 자동으로 또는 수동으로 조정될 수 있다.
하나의 구현예에 있어서, 지향기구(16)는 하나의 축을 따른 카메라(12)의 이동을 용이하게 할 수 있다. 예를 들어, 지향기구(16)는 유니트랙(uni-track) 시스템, 슬라이더(slider) 비디오 시스템 등일 수 있고, 카메라(12)가 타겟 오브젝트(18)의 회전축과 평행한(하지만, 회전축으로부터 이격된) 축을 따라서 왕복운동하는 것을 가능하게 할 수 있다.
다른 구현예에 있어서, 지향기구(16)는 팬-틸트 메커니즘(pan-tilt mechanism)일 수 있다. 팬-틸트 메커니즘은 카메라(12)를 수직의 방위각(azimuth)(팬) 축(50) 및 수평의 고도각(elevation)(틸트) 축(52) 둘레에서 선택된 각도들에 맞추어 위치적으로 조종할 수 있다. 롤 축(roll axis)과 같은 다른 축들을 따른 이동을 용이하게 하는 지향기구들이 또한 고려된다.
로컬 포지셔닝 시스템 계기(17)와 연관된 좌표계(44)에 대한 카메라(12)의 지향을 기술하는 방향 벡터는 타겟 오브젝트(18)의 표면(19) 상의 디스크레펀시(26)의 위치와 같이 관심 지점(point of interest)(30)에 겨냥될 때 카메라(12)의 시야(24)에 존재할 수 있는 십자형 마커(crosshair marker)(도시되지 않음)의 중앙뿐만 아니라 방위각 및 고도각으로부터 결정될 수 있다. 십자형 마커의 위치는 임의의 위치일 수 있고, 반드시 카메라(12)의 시야(24)의 중심에 존재하지 않을 수 있다. 이러한 방향 벡터는, 카메라(12)의 렌즈(13)로부터 연장되어(extending) 타겟 오브젝트(18)의 표면(19) 상의 위치(30)에서 만나는(intersecting) 라인(line)(32)으로 여겨질 수 있다.
지향기구(16)에 의한 카메라(12)의 동작 및 카메라(12)의 이동(예컨대, 타겟 오브젝트(18)를 가로질러 시야(24)를 스캐닝(scanning)하는 것)은 프로세서(20)로부터 수신된 일련의 명령들에 의해서 제어될 수 있다. 이와 달리, 프로세서(20)는 키보드, 마우스, 조이스틱, 다른 유사한 주변장치(peripheral), 또는 이들의 임의의 조합과 같은 수동으로 제어되는 입력 장치(23)에 의해서 카메라(12) 또는 지향기구(16)를 제어할 수 있다.
그래서, 로컬 포지셔닝 시스템 계기(17)의 지향기구(16)는 타겟 오브젝트(18) 상의 다양한 위치들에 카메라(12)의 시야(24)를 배치하도록 프로세서(20)에 의해 제어될 수 있다. 예를 들어, 도 1에서 도시된 바와 같이, 지향기구(16)는 타겟 오브젝트가 화살표 22에 의해 표시되는 방향으로 점증적으로(incrementally) 회전할 때 타겟 오브젝트(18)를 따라서 수평적으로 시야(26)를 찍을(pan) 수 있다. 그러므로, 타겟 오브젝트(18)의 표면(19) 전체가 카메라(12)에 의해 이미지화될 수 있다.
메모리(54)는 3D 로컬라이제이션(three-dimensional localization) 소프트웨어 프로그램을 포함할 수 있다. 3D 로컬라이제이션 소프트웨어는 타겟 오브젝트(18)에 대한 로컬 포지셔닝 시스템 계기(17)의 최초 위치 및 지향을 결정하기 위하여 타겟 오브젝트(18)의 표면(19) 상의 거리에서 하나 이상의 캘리브레이션 포인트(calibration point)(27)들을 이용할 수 있다. 캘리브레이션에 대한 더 높은 정확성을 획득하기 위하여, 캘리브레이션 포인트(27)들은 타겟 오브젝트(18)의 표면(19)의 연장부(extent)들 위로 퍼져 있을(spread out) 수 있다. 이와 달리, 캘리브레이션 포인트(27)들은 타겟 오브젝트(18)를 지지하는 지지 구조물(35) 위와 같이 타겟 오브젝트(18) 위가 아닌 다른 어딘가에 위치해 있을 수 있다.
3D 로컬라이제이션 소프트웨어는 타겟 오브젝트(18)에 대해 로컬 포지셔닝 시스템 계기(17)의 상대적 위치 및 지향을 정의하기 위하여 레이저 발광 장치(14)와 통신하여 획득된 거리 데이터(예컨대, 로컬 포지셔닝 시스템 계기(17)로부터 캘리브레이션 포인트(27)들까지의 거리), 및 지향기구(16)와 통신하여 획득된 지향 데이터(예컨대, 팬(pan) 및 틸트(tilt) 데이터)와 함께 캘리브레이션 포인트(27)들을 이용할 수 있다. 캘리브레이션 포인트(27)들은 3D CAD 모델 또는 다른 측정 기술로부터 결정된 바와 같은 타겟 오브젝트(18)의 로컬 좌표계(local coordinate system)(46)에서 알려진 위치의 시각적 특징(visible feature)들일 수 있다. 캘리브레이션 포인트(27)들은 타겟 오브젝트(18)에 대한 카메라 위치 및 지향에 대해 해결하기 위하여 지향기구(16)로부터의 지향 데이터(예컨대, 방위각 및 고도각) 및 레이저 발광 장치(14)(레이저 거리 측정기)로부터의 거리 데이터와 함께 이용될 수 있다.
일단 타겟 오브젝트(18)에 대한 카메라(12)의 위치 및 지향이 결정되면, 프로세서(20)는 카메라(12)가 타겟 오브젝트(18)의 이미지들을 수집하길 시작하도록 지시할 수 있다. 캡쳐된 각각의 이미지에 대해서, 카메라(12)의 지향(이것은 방위각 축(50) 및 고도각 축(52)을 따른 카메라(12)의 각도를 포함할 수 있음)은 메모리(54)에 기록될 수 있다. 지향기구(16)로부터의 방위각 및 고도각과 캘리브레이션 프로세스에서 결정된 카메라(12)의 상대적 위치 및 지향을 이용함으로써, 타겟 오브젝트(18)의 좌표계(46)에 대한 각각의 이미지의 위치가 결정될 수 있다.
카메라(12)에 의해 캡쳐된 각각의 이미지에 대해서, 프로세서(20)는 메모리(54)로부터 참조 이미지를 검색할 수 있고, 참조 이미지를 캡쳐된 이미지와 비교하기 위하여 이미지 처리 기능을 이용할 수 있다. 만일 프로세서(20)가 캡쳐된 이미지와 참조 이미지 간에 충분한 차이가 존재한다고 결정하면, 프로세서(20)는 캡쳐된 이미지 내에 디스크레펀시(26)가 존재한다고 결론을 내릴 수 잇다. 이후, 프로세서(20)는 타겟 오브젝트(18)의 좌표계(46)에 대한 디스크레펀시(26)의 위치를 메모리(54)에 저장할 수 있다.
이러한 점에 있어서, 본 기술분야에서의 통상의 기술자는 프로세서(20)가 캡쳐된 이미지 내의 참조 포인트(reference point)(예컨대, 중앙 포인트(center point))에 대해 카메라(12)에 의해 캡쳐된 각각의 이미지의 (타겟 오브젝트(18)의 좌표계(46)에 대한) 위치를 결정할 수 있다는 점을 이해할 것이다. 캡쳐된 이미지 내에서 디스크레펀시(26)가 발견되면, 프로세서(20)는 참조 포인트의 알려진(known) 위치에 대한 디스크레펀시(26)의 위치를 결정함으로써 디스크레펀시(26)의 (타겟 오브젝트(18)의 좌표계(46)에 대한) 위치를 결정할 수 있다
(1) 타겟 오브젝트의 위치/지향을 추적하고, (2) 타겟 오브젝트(18)의 이미지들을 수집하고, (3) 타겟 오브젝트(18) 상의 디스크레펀시(26)들을 검출하기 위해 캡쳐된 이미지를 분석하고, (4) 타겟 오브젝트(18)의 좌표계(46)에 대한 디스크레펀시(26)들의 위치를 결정하는 프로세스는 타겟 오브젝트(18) 전체가 이미지화되고 모든 디스크레펀시들이 검출될 때까지 반복될 수 있다.
레이저 발광 장치(14)는, 카메라 렌즈(13)와 동일한 방향을 가리키고 카메라(12)의 방향 벡터(32)와 유사한 방향 벡터(34)를 가지도록 카메라(12)에 설치될 수 있다. 프로세서(20)는 카메라(12) 및 레이저 발광 장치(14)의 상대적 위치들을 측정함으로써 벡터들(34, 32)에서의 차이들을 계산할 수 있다.
이와 달리, 레이저 발광 장치(14)는, 카메라의 방향 벡터(32)와 실질적으로 동일한 방향 벡터(34)를 가지도록 카메라(12)에 설치될 수 있다. 이러한 경우에 있어서, 카메라와 레이저 발광 장치(14)는 동일한 광경로(optical path)를 가지고, 벡터들(32, 34)에서의 차이들에 대한 아무런 계산이 필요하지 않을 수 있다.
알려진 디스크레펀시(26)들로서 메모리(54)에 저장된 관심 지점(30)들의 위치를 알아낼 필요가 있을 때, 프로세서(20)는 메모리(54)로부터 좌표들을 검색할 수 있다. 타겟 오브젝트(18)에 대해 카메라(12)를 지향시키고 관심 지점(30)의 위치를 알아내기 위한 상술한 프로세스와 유사하게, 프로세서(20)는 지향기구(16)가 관심 지점(30)(즉, 디스크레펀시(26))의 저장된 위치에 레이저 발광 장치(14)를 겨냥하거나 회전시키도록 지시할 수 있다. 이러한 위치에서, 레이저 발광 장치(14)의 지향(이것은 방위각 축(50) 및 고도각 축(52)을 따르는 레이저 발광 장치(14)의 각도를 포함할 수 있음)은 메모리(54)에 저장되어 있는 좌표들까지 움직이도록 조정될 수 있다. 지향기구(16)로부터의 방위각 및 고도각과 캘리브레이션 프로세스에서 결정된 레이저 발광 장치(14)의 상대적 위치 및 지향을 이용함으로써, 레이저 발광 장치(14)는 타겟 오브젝트(18)의 표면(19) 상의 관심 지점(30)을 직접 겨냥하도록 배치될 수 있다.
타겟 오브젝트(18)가 축 A 둘레로 회전한 때에, 프로세서(20)는 또한 관심 지점(30)의 좌표들을 더 계산하기 위하여 추적 유닛(37)으로부터 위치/지향 데이터를 획득할 수 있다.
일단 관심 지점에 적절하게 적절하게 겨냥되면, 레이저 발광 장치(14)는 레이저 빔을 방출하도록 프로세서(20)에 의해 지시받을 수 있다. 레이저 빔은, 광학 기기(optical apparatus)의 도움을 가지거나 또는 도움 없이, 인간의 눈에 보이는 방식으로 관심 지점(30)을 마킹(marking)하거나 이와 달리 "가리켜 보이기(pointing out)" 위해 적절한 임의의 타입의 레이저일 수 있다.
대안적인 구현예에 있어서, 검출 시스템은 웹 가능 애플리케이션(Web-enabled application)과 같이 인터넷에 연결된 애플리케이션으로 통합될 수 있는데, 이것은 유선 또는 무선일 수 있다. 이러한 타입의 애플리케이션에 있어서, 원격 사용자들 또는 다른 자동화 소프트웨어 에이전트(automated software agent)들은 카메라(12), 레이저 발광 장치(14), 또는 지향기구(16)를 작동시킬 수 있고, 이후에 시스템의 가시 거리(visual range) 내에서 오브젝트들을 위해 처리된 로컬라이제이션 데이터(localization data)를 수신한다. 원격 사용자들은 또한 이후에 카메라(12)에 의해 발견된 디스크레펀시(26)들을 레이저 발광 장치(14)가 나타내도록 지시할 수 있다.
도 2를 참조하면, 일반적으로 참조번호 200으로 표시된 본 발명의 로컬 포지셔닝 기반 자동 검출 시스템의 제2 실시 예는, 제1 로컬 포지셔닝 시스템 계기(202), 제2 로컬 포지셔닝 시스템 계기(204), 프로세서(206), 추적 유닛(208), 및 제어가능한 모션 액츄에이터(210)를 포함할 수 있다. 그러므로, 검출 시스템(200)에 있어서, 제1 로컬 포지셔닝 시스템 계기(202)는 제2 로컬 포지셔닝 시스템 계기(204)와는 독립적으로 작동될 수 있지만, 계기들 둘 다(202, 204)는 동일한 타겟 오브젝트(242)에 대해 캘리브레이팅될(calibrated) 수 있다.
제1 로컬 포지셔닝 시스템 계기(202)는 좌표계(212)를 가질 수 있으며, 카메라와 레이저 발광 장치(214로서 총체적으로 도시됨), 지향기구(216), 및 지지 구조물(218)을 포함할 수 있다. 카메라와 레이저 발광 장치(214)들은 경로(220)에 의해 프로세서(206)와 통신할 수 있고, 지향기구(216)는 경로(222)에 의해 프로세서(206)와 통신할 수 있다.
제2 로컬 포지셔닝 시스템 계기(204)는 좌표계(224)를 가질 수 있고, 카메라와 레이저 발광 장치(226으로서 총체적으로 도시됨), 지향기구(228), 및 지지 구조물(230)을 포함할 수 있다. 카메라와 레이저 발광 장치(226)들은 경로(232)에 의해 프로세서(206)와 통신할 수 있고, 지향기구(228)는 경로(234)에 의해 프로세서(206)와 통신할 수 있다.
프로세서(206)는 추가적으로 경로(236)에 의해 추적 유닛(208)과 통신할 수 있고, 경로(238)에 의해 제어가능한 모션 액츄에이터(210)와 통신할 수 있다. 프로세서(206)는 또한 메모리(240)에 대한 접근권(access)을 가질 수 있다.
따라서, 타겟 오브젝트(242)에 대한 제1 로컬 포지셔닝 시스템 계기(202)의 위치 및 지향은 프로세서(206)에 알려져 있어야 하며 이에 의해 계산되어야 하고, 메모리(240)에 저장되어야 하고, 타겟 오브젝트(242)에 대한 제2 로컬 포지셔닝 시스템 계기(204)의 위치 및 지향은 프로세서(206)에 알려져 있어야 하며 이에 의해 계산되어야 하고, 메모리(240)에 저장되어야 한다.
두 개의 로컬 포지셔닝 시스템 계기들(202, 204)이 동일한 타겟 오브젝트(242)에 대해 캘리브레이팅되는 경우에, 각각의 계기(202, 204)에 의해 가리켜 보여지는 위치는 동일한 지점이고, 레이저 빔들(244, 248)은 타겟 오브젝트(242)의 표면(243) 상에서 교차한다. 두 개의 계기들(202, 204)의 상이한 위치들 외에, 모든 다른 관점들은 상술한 바와 같이 그대로 유지될 수 있다.
따라서, 이러한 멀티-시스템(multi-system) 구성은 더 큰 타겟 오브젝트들의 추가적인 커버리지(coverage)를 제공할 수 있고, 또한 하나의 시스템으로부터의 빔이 가려진 상황들에서 리던던시(redundancy)를 제공하기 위해 이용될 수 있다.
도 3을 참조하면, 본 발명은 또한 일반적으로 참조번호 100으로 표시되는 타겟 오브젝트 상의 디스크레펀시를 검출하고 나타내기 위한 방법이다. 방법(100)은, 타겟 오브젝트 상의 디스크레펀시들을 검출하기 위하여 카메라 및 레이저 발광 장치뿐 아니라 모션 액츄에이터, 추적 유닛, 및 이미지 처리 기능을 갖는 로컬 포지셔닝 시스템 계기를 채용할 수 있다. 추가적으로, 방법(100)은 타겟 오브젝트의 좌표계에 대해 검출된 디스크레펀시들의 위치를 결정하기 위하여 3차원 로컬라이제이션 소프트웨어를 채용할 수 있다.
방법(100)은 캘리브레이션 프로세스를 수행하는 단계를 가지는 블록 105에서 시작할 수 있다. 타겟 오브젝트에 대한 로컬 포지셔닝 시스템(local positioning system: LPS) 계기의 위치 및 지향은, 캘리브레이션 포인트들을 검출하는 것, 또는 타겟 오브젝트 상의 알려진 위치까지의 거리를 측정하기 위해 레이저를 이용하는 것과 같은 다양한 캘리브레이션 기술들을 이용해서 결정될 수 있다. 다른 캘리브레이션 기술들 또한 고려된다.
블록 110에서, 데이터는 이미지 처리 기능에 의해서 획득될 수 있다. 데이터는 카메라를 위한 스캔 패턴(scan pattern) 및 타겟 오브젝트를 위한 모션 액츄에이터 데이터를 포함할 수 있다. 블록 115에서 도시된 바와 같이, 카메라는 카메라의 시야가 타겟 오브젝트의 일부분 위에 있도록 지향될 수 있고, 모션 액츄에이터는 타겟 오브젝트를 최초 지향으로 움직이게 할 수 있다.
블록 120에서, 타겟 오브젝트의 일부분의 이미지가 카메라에 의해서 캡쳐될 수 있다. 블록 125에서, 캡쳐된 이미지가 참조 이미지(reference image) 또는 비교 이미지(comparison image)인지 여부에 대한 결정이 만들어질 수 있다. 만일 이미지가 참조 이미지이면, 블록 160에서 도시된 바와 같이, 이미지는 장래의 이용을 위해 메모리에 저장될 수 있다.
만일 블록 120으로부터의 캡쳐된 이미지가 비교 이미지이면, 참조 이미지는 메모리로부터 검색될 수 있고(블록 130), 디스크레펀시들을 검출하기 위해 두 개의 이미지들이 비교될 수 있다(블록 135). 블록 140에서 도시된 바와 같이, 디스크레펀시들이 검출된 경우에, 비교 이미지에서의 디스크레펀시들의 픽셀 위치(pixel location)들에 대한 결정이 만들어질 수 있다.
블록 145에서, 타겟 오브젝트의 좌표계에 대해 디스크레펀시의 위치가 결정될 수 있다. 타겟 오브젝트의 좌표계에 대해 디스크레펀시의 위치를 결정하는 단계는, 픽셀 값(pixel value)들을 3차원 좌표들로 변환할 수 있는 3차원 로컬라이제이션 소프트웨어를 채용할 수 있다.
블록 150에서, 타겟 오브젝트의 좌표계에 대한 디스크레펀시의 위차가 메모리에 저장될 수 있다. 디스크레펀시의 위치는 좌표 데이터로서 메모리에 저장될 수 있다.
그래서, 원하는 경우에, 레이저 발광 장치는 디스크레펀시에 레이저 빔을 겨누도록(point) 작동될 수 있다. 블록 155에서와 같이, 레이저 발광 장치는 메모리에 저장된 좌표 데이터를 기초로 하여 디스크레펀시에 레이저 빔을 비추도록(project) 타겟 오브젝트에 대해 지향될 수 있다.
추가적인 액션(action)이 필요하다면, 블록 165에서와 같이, 타겟 오브젝트 상의 다른 위치에 카메라가 겨누어질 수 있고, 만일 필요하다면, 블록 170에서와 같이 타겟 오브젝트를 새로운 위치로 움직이게 하도록 모션 액츄에이터가 지시받을 수 있다. 이 프로세스는 블록 120에서와 같이 새로운 이미지를 획득함으로써 반복될 수 있다.
따라서, 본 발명의 검출 시스템 및 방법은 타겟 오브젝트 상의 디스크레펀시들을 검출하기 위한 간편하고 정확한 방법을 제공하고, 이후, 원한다면, 디스크레펀시들을 처리(예컨대, 수리 또는 제거)하기 위한 조치가 취해질 수 있도록 디스크레펀시들을 가리켜 보인다.
본 발명의 로컬 포지셔닝 기반 자동 검출 시스템의 다양한 태양들이 도시되고 설명되었지만, 본 명세서를 읽을 때 본 기술분야에서의 통상의 기술자에게 변형물들이 떠오를 수 있다. 본 출원은 이러한 변형물들을 포함하고, 청구항들의 범위에 의해서만 제한된다.

Claims (15)

  1. 검출 시스템(detection system)으로서,
    타겟 오브젝트 좌표계를 갖는 타겟 오브젝트(target object);
    상기 타겟 오브젝트의 위치 및 지향(orientation) 중의 적어도 하나를 모니터하고, 상기 타겟 오브젝트의 위치 및 지향 중의 적어도 하나를 나타내는 타겟 오브젝트 위치 신호를 생성하도록 구성된 추적 유닛(tracking unit);
    상기 타겟 오브젝트의 이미지를 캡쳐(capture)하도록 배치된 카메라;
    상기 타겟 오브젝트에 대한 상기 카메라의 지향을 제어하기 위하여 상기 카메라에 연결된 지향기구(orienting mechanism); 및
    상기 이미지에서의 디스크레펀시(discrepancy)를 검출하기 위하여 상기 이미지를 분석하고, 상기 이미지에 상기 디스크레펀시가 존재하는 경우에, 적어도 상기 타겟 오브젝트 위치 신호 및 상기 카메라의 지향을 기초로 하여 상기 타겟 오브젝트 좌표계에 대한 상기 디스크레펀시의 위치를 결정하도록 구성된 프로세서(processor);를 포함하는 것을 특징으로 하는 검출 시스템.
  2. 청구항 1에 있어서,
    상기 타겟 오브젝트는 지지 구조물(support structure) 상에 설치되고, 회전축 둘레로 상기 지지 구조물에 대해 회전하는 것을 특징으로 하는 검출 시스템.
  3. 청구항 1에 있어서,
    메모리를 더 포함하고, 상기 프로세서는 상기 디스크레펀시의 위치를 좌표 데이터로서 상기 메모리에 저장하는 것을 특징으로 하는 검출 시스템.
  4. 청구항 3에 있어서,
    상기 프로세서는 상기 이미지를 참조 이미지와 비교함으로써 상기 이미지에서 상기 디스크레펀시를 검출하도록 상기 이미지를 분석하고, 상기 참조 이미지는 상기 메모리에 저장되어 있는 것을 특징으로 하는 검출 시스템.
  5. 청구항 1에 있어서,
    상기 타겟 오브젝트 상으로 레이저 빔을 비추도록 배치된 레이저 발광 장치(laser emitting device)를 더 포함하는 것을 특징으로 하는 검출 시스템.
  6. 청구항 5에 있어서,
    상기 레이저 발광 장치는 상기 지향기구가 상기 타겟 오브젝트에 대한 상기 레이저 발광 장치의 지향을 제어하도록 상기 지향기구에 연결되어 있는 것을 특징으로 하는 검출 시스템.
  7. 청구항 6에 있어서,
    상기 레이저 발광 장치의 지향은 상기 디스크레펀시 상으로 상기 레이저 빔을 비추도록 상기 프로세서에 의해 제어될 수 있는 것을 특징으로 하는 검출 시스템.
  8. 청구항 5에 있어서,
    상기 레이저 발광 장치는 레이저 거리 측정기(laser range meter)로서 구성되는 것을 특징으로 하는 검출 시스템.
  9. 청구항 1에 있어서,
    상기 타겟 오브젝트에 결합된 모션 액츄에이터(motion actuator)를 더 포함하고, 상기 모션 액츄에이터는 상기 타겟 오브젝트의 위치 및 지향 중의 적어도 하나를 제어하도록 상기 프로세서에 의해 제어될 수 있는 것을 특징으로 하는 검출 시스템.
  10. 타겟 오브젝트 상의 디스크레펀시를 검출하기 위한 방법으로서,
    상기 타겟 오브젝트는 타겟 오브젝트 좌표계를 가지고, 상기 방법은:
    카메라, 레이저 발광 장치, 및 상기 카메라와 상기 레이저 발광 장치를 상기 타겟 오브젝트에 대해 지향시키기 위한 지향기구를 포함하는 로컬 포지셔닝 시스템 계기(local positioning system instrument)를 제공하는 단계;
    상기 타겟 오브젝트를 선택적으로 움직이도록 구성된 모션 액츄에이터를 제공하는 단계;
    상기 타겟 오브젝트의 위치 및 지향 중의 적어도 하나를 모니터하도록 구성된 추적 유닛을 제공하는 단계;
    상기 타겟 오브젝트에 대해 상기 로컬 포지셔닝 시스템 계기의 최초 위치 및 최초 지향 중의 적어도 하나를 결정하는 단계;
    상기 타겟 오브젝트를 제1 타겟 오브젝트 위치 또는 지향으로 움직이는 단계;
    상기 타겟 오브젝트에 대해 상기 카메라를 제1 카메라 지향으로 지향시키는 단계;
    상기 타겟 오브젝트가 제1 타겟 오브젝트 위치 또는 지향에 있고 상기 카메라가 상기 제1 카메라 지향에 있는 경우에, 상기 타겟 오브젝트의 이미지를 캡쳐하는 단계;
    캡쳐된 이미지에 상기 디스크레펀시가 존재하는지 여부를 결정하기 위하여 캡쳐된 이미지를 참조 이미지와 비교하는 단계; 및
    캡쳐된 이미지에 상기 디스크레펀시가 존재하는 경우에, 상기 타겟 오브젝트 좌표계에서 상기 디스크레펀시의 좌표들을 결정하는 단계;를 포함하는 것을 특징으로 하는 방법.
  11. 청구항 10에 있어서,
    상기 타겟 오브젝트의 다음 이미지를 캡쳐하는 단계를 더 포함하고, 상기 다음 이미지는:
    상기 타겟 오브젝트를 다음 타겟 오브젝트 위치 또는 지향으로 움직이는 단계; 및
    상기 타겟 오브젝트에 대해 상기 카메라를 다음 카메라 지향으로 지향시키는 단계;
    중의 적어도 하나 이후에 캡쳐되는 것을 특징으로 하는 방법.
  12. 청구항 10에 있어서,
    상기 좌표들을 결정하는 단계는:
    상기 디스크레펀시의 픽셀 위치(pixel location)들을 결정하는 단계; 및
    상기 픽셀 위치들을 상기 좌표들로 변환하는 단계;를 포함하는 것을 특징으로 하는 방법.
  13. 청구항 10에 있어서,
    상기 좌표들을 메모리에 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 청구항 10에 있어서,
    상기 디스크레펀시 상으로 레이저 빔을 비추도록 상기 타겟 오브젝트에 대해 상기 레이저 발광 장치를 지향시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 청구항 10에 있어서,
    상기 이미지에 상기 디스크레펀시가 존재하는 경우에, 상기 이미지에 상기 디스크레펀시가 존재할 때 경보기를 작동시키는 단계를 더 포함하는 것을 특징으로 방법.
KR1020147011725A 2012-01-25 2012-11-28 타겟 오브젝트 상의 디스크레펀시들을 추적하고 검출하기 위한 자동화된 시스템 및 방법 KR102000309B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/357,768 US9310317B2 (en) 2012-01-25 2012-01-25 Automated system and method for tracking and detecting discrepancies on a target object
US13/357,768 2012-01-25
PCT/US2012/066747 WO2013112229A1 (en) 2012-01-25 2012-11-28 Automated system and method for tracking and detecting discrepancies on a target object

Publications (2)

Publication Number Publication Date
KR20140109858A true KR20140109858A (ko) 2014-09-16
KR102000309B1 KR102000309B1 (ko) 2019-07-15

Family

ID=47522894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147011725A KR102000309B1 (ko) 2012-01-25 2012-11-28 타겟 오브젝트 상의 디스크레펀시들을 추적하고 검출하기 위한 자동화된 시스템 및 방법

Country Status (6)

Country Link
US (1) US9310317B2 (ko)
EP (1) EP2807472B1 (ko)
JP (1) JP6144282B2 (ko)
KR (1) KR102000309B1 (ko)
CN (1) CN104067111B (ko)
WO (1) WO2013112229A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011103003A1 (de) * 2011-05-24 2012-11-29 Lufthansa Technik Ag Verfahren und Vorrichtung zur Rissprüfung eines Flugzeug- oder Gasturbinen-Bauteils
EP2800964A4 (en) * 2012-08-31 2015-03-18 Systèmes Pavemetrics Inc METHOD AND DEVICE FOR DETECTING FOREIGN BODIES
WO2015039210A1 (en) * 2013-09-18 2015-03-26 Matter and Form Inc. Device, system and method for three-dimensional modeling
US9488589B2 (en) 2013-10-29 2016-11-08 The Boeing Company Mapping damaged regions on objects
US9575004B2 (en) * 2014-11-17 2017-02-21 The Boeing Company Automated low cost method for illuminating, evaluating, and qualifying surfaces and surface coatings
US10049493B1 (en) * 2015-10-22 2018-08-14 Hoyt Architecture Lab, Inc System and methods for providing interaction with elements in a virtual architectural visualization
CN105293070B (zh) * 2015-12-04 2017-06-16 博格华纳汽车零部件（江苏）有限公司 涡轮部件焊缝检测设备及检测方法
FR3046848B1 (fr) * 2016-01-14 2018-01-05 Donecle Procede et systeme de determination de la position d'un engin mobile
JP6534457B2 (ja) 2016-02-04 2019-06-26 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
CN106126933B (zh) * 2016-06-24 2018-11-30 清华大学 一种基于动态数据协调降低测量参数噪音的方法
CN107968677B (zh) * 2016-10-20 2021-03-19 株式会社理光 定向传播无线信号的中继装置、方法和***
US10435173B2 (en) * 2017-01-16 2019-10-08 The Boeing Company Remote optical control surface indication system
US10156439B2 (en) * 2017-03-03 2018-12-18 The Boeing Company Inspection system for alignment in restricted volumes
US11238675B2 (en) * 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
JP2019211998A (ja) * 2018-06-04 2019-12-12 富士通株式会社 点検支援プログラム、点検支援方法および点検支援装置
US11070708B2 (en) * 2018-09-28 2021-07-20 Brainbaby, Inc. Self-contained low profile cross shooting video apparatus
DE102019201164A1 (de) * 2019-01-30 2020-07-30 Siemens Aktiengesellschaft Verfahren zum Erfassen einer aus einem ersten Werkstoff gebildeten Beschichtung eines Bauteils, insbesondere einer Maschine
US10488185B1 (en) * 2019-03-14 2019-11-26 The Boeing Company Methods and systems for characterizing a surface of a structural component
CN111929319B (zh) * 2020-10-14 2021-04-09 天津文洲机械有限公司 一种间接式高精度丝网破损视觉检测机
CN116745725A (zh) * 2020-12-30 2023-09-12 深圳市大疆创新科技有限公司 使用无人机确定物***置的***和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100193494B1 (ko) * 1993-07-23 1999-06-15 신형인 Ccd카메라와 레이저 거리계를 이용한 타이어 형상 변화 측정 방법
US20070263229A1 (en) * 2006-05-10 2007-11-15 Marsh Bobby J Laser and photogrammetry merged process
KR20080042255A (ko) * 2006-11-09 2008-05-15 삼성전자주식회사 패턴 결함 검출 방법 및 장치
WO2010042628A2 (en) * 2008-10-07 2010-04-15 The Boeing Company Method and system involving controlling a video camera to track a movable target object

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4895448A (en) 1988-01-13 1990-01-23 Laird Richard P Method and apparatus for determining the surface quality of an object
JPH02311961A (ja) * 1989-05-29 1990-12-27 Mitsubishi Heavy Ind Ltd 画像処理技術を利用した検査方法
US6064429A (en) 1997-08-18 2000-05-16 Mcdonnell Douglas Corporation Foreign object video detection and alert system and method
JP2003065736A (ja) * 2001-08-24 2003-03-05 Sanyo Electric Co Ltd ３次元モデリング装置
CA2463570C (en) 2001-10-11 2012-06-19 Laser Projection Technologies, Inc. Method and system for visualizing surface errors
US7220978B2 (en) * 2003-04-15 2007-05-22 The University Of South Carolina System and method for detecting defects in semiconductor wafers
US7236625B2 (en) 2003-07-28 2007-06-26 The Boeing Company Systems and method for identifying foreign objects and debris (FOD) and defects during fabrication of a composite structure
US20050205781A1 (en) * 2004-01-08 2005-09-22 Toshifumi Kimba Defect inspection apparatus
US7424902B2 (en) 2004-11-24 2008-09-16 The Boeing Company In-process vision detection of flaw and FOD characteristics
US20060108048A1 (en) 2004-11-24 2006-05-25 The Boeing Company In-process vision detection of flaws and fod by back field illumination
US7307001B2 (en) * 2005-01-05 2007-12-11 Taiwan Semiconductor Manufacturing Company, Ltd. Wafer repair method using direct-writing
US7480037B2 (en) * 2005-12-02 2009-01-20 The Boeing Company System for projecting flaws and inspection locations and associated method
US7835567B2 (en) 2006-01-24 2010-11-16 Ingersoll Machine Tools, Inc. Visual fiber placement inspection
US8050486B2 (en) 2006-05-16 2011-11-01 The Boeing Company System and method for identifying a feature of a workpiece
US9052294B2 (en) 2006-05-31 2015-06-09 The Boeing Company Method and system for two-dimensional and three-dimensional inspection of a workpiece
US7495758B2 (en) 2006-09-06 2009-02-24 Theo Boeing Company Apparatus and methods for two-dimensional and three-dimensional inspection of a workpiece
US7904845B2 (en) * 2006-12-06 2011-03-08 Kla-Tencor Corp. Determining locations on a wafer to be reviewed during defect review
DE102007036271A1 (de) 2007-07-31 2009-02-05 Baumer Hübner GmbH Drehgeber mit Überwachung des Lagerverschleißes sowie Verfahren hierzu
US7859655B2 (en) 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
US8044991B2 (en) * 2007-09-28 2011-10-25 The Boeing Company Local positioning system and method
CN101614677A (zh) * 2008-06-25 2009-12-30 沈阳利泰自控技术有限责任公司 机翼夹板蜂窝结构的高精度激光全息自动检测***
US8198617B2 (en) 2008-12-15 2012-06-12 The Boeing Company Locating a component underneath a surface of a target object and locating an access panel for accessing the component
FR2945630B1 (fr) * 2009-05-14 2011-12-30 Airbus France Procede et systeme d'inspection a distance d'une structure
US8493444B2 (en) * 2009-09-29 2013-07-23 United States Postal Service System and method of detecting a blocked aperture in letter or flat mail image sensor
US8249832B2 (en) 2009-12-05 2012-08-21 The Boeing Company Correlation of inspection information and computer-aided design data for structural assessment
US8279412B2 (en) 2009-12-17 2012-10-02 The Boeing Company Position and orientation determination using movement data
EP2567188A1 (en) 2010-05-04 2013-03-13 Creaform Inc. Object inspection with referenced volumetric analysis sensor
US9149929B2 (en) 2010-05-26 2015-10-06 The Boeing Company Methods and systems for inspection sensor placement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100193494B1 (ko) * 1993-07-23 1999-06-15 신형인 Ccd카메라와 레이저 거리계를 이용한 타이어 형상 변화 측정 방법
US20070263229A1 (en) * 2006-05-10 2007-11-15 Marsh Bobby J Laser and photogrammetry merged process
KR20080042255A (ko) * 2006-11-09 2008-05-15 삼성전자주식회사 패턴 결함 검출 방법 및 장치
WO2010042628A2 (en) * 2008-10-07 2010-04-15 The Boeing Company Method and system involving controlling a video camera to track a movable target object

Also Published As

Publication number Publication date
US9310317B2 (en) 2016-04-12
WO2013112229A1 (en) 2013-08-01
JP6144282B2 (ja) 2017-06-07
EP2807472A1 (en) 2014-12-03
KR102000309B1 (ko) 2019-07-15
JP2015506480A (ja) 2015-03-02
CN104067111A (zh) 2014-09-24
EP2807472B1 (en) 2020-05-06
CN104067111B (zh) 2017-03-01
US20130188059A1 (en) 2013-07-25

Similar Documents

Publication Publication Date Title
KR102000309B1 (ko) 타겟 오브젝트 상의 디스크레펀시들을 추적하고 검출하기 위한 자동화된 시스템 및 방법
US11423566B2 (en) Variable measuring object dependent camera setup and calibration thereof
ES2541805T3 (es) Métodos y sistemas para el automatizado de la capa límite e inspección de orientación
KR101988083B1 (ko) 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법
EP3052926B1 (en) Method of inspecting an object with a camera probe
JP6203275B2 (ja) 患者モニタ装置
US9488589B2 (en) Mapping damaged regions on objects
US20140132729A1 (en) Method and apparatus for camera-based 3d flaw tracking system
EP3170367B1 (en) Stadium lighting aiming system and method
CN109079775A (zh) 使用方位对准反馈来控制机器人末端执行器的方位的方法
US9885573B2 (en) Method, device and computer programme for extracting information about one or more spatial objects
KR20060127174A (ko) 검사경로의 계획방법 및 검사영역의 결정방법
JP2010117230A (ja) 建設機械
JP2007120993A (ja) 物体形状測定装置
JP2007142517A (ja) 移動型自動監視装置
CN104917957B (zh) 用于控制摄像机成像的设备及其***
JP7353757B2 (ja) アーチファクトを測定するための方法
US20140123388A1 (en) Automated initial setup positioning for speeding patient throughput
JP2015072197A (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
KR20140114594A (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
JP2013113610A (ja) 放射線測定方法および装置
KR101735325B1 (ko) 점군 정합 장치
US20210325171A1 (en) Method for designing packaging plants
US20220307833A1 (en) Surveying system, point cloud data acquiring method, and point cloud data acquiring program
RU2641604C1 (ru) Способ измерения абсолютного положения конечного звена многозвенного механизма промышленного робота

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant