KR102174035B1 - 증강 현실을 이용한 대상물 검사 방법 - Google Patents

증강 현실을 이용한 대상물 검사 방법 Download PDF

Info

Publication number
KR102174035B1
KR102174035B1 KR1020190043559A KR20190043559A KR102174035B1 KR 102174035 B1 KR102174035 B1 KR 102174035B1 KR 1020190043559 A KR1020190043559 A KR 1020190043559A KR 20190043559 A KR20190043559 A KR 20190043559A KR 102174035 B1 KR102174035 B1 KR 102174035B1
Authority
KR
South Korea
Prior art keywords
assembly
augmented reality
assembly position
tracking
component
Prior art date
Application number
KR1020190043559A
Other languages
English (en)
Other versions
KR20200121053A (ko
Inventor
강문호
Original Assignee
선문대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선문대학교 산학협력단 filed Critical 선문대학교 산학협력단
Priority to KR1020190043559A priority Critical patent/KR102174035B1/ko
Publication of KR20200121053A publication Critical patent/KR20200121053A/ko
Application granted granted Critical
Publication of KR102174035B1 publication Critical patent/KR102174035B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 대상물의 특징점 데이터를 추출하는 제1 단계; 상기 제1 단계후 증강 현실 앱을 구동하는 제2 단계; 상기 제2 단계후 상기 대상물을 트래킹하는 제3 단계; 상기 제3 단계후 상기 대상물 트래킹후 대상물 부품 조립 위치를 설정하는 제4 단계; 상기 제4 단계후 부품 조립 여부를 검지하는 제5 단계; 상기 제5 단계후 부품 조립 실수 여부를 판단하는 제6 단계; 상기 제6 단계후 단말기의 대상물 이미지에 증강 현실 컨텐츠를 투영하는 제7 단계; 상기 제7 단계후 조립 실수가 확인되면 작업자에게 알려주는 제8 단계를 포함하는 증강 현실을 이용한 대상물 검사 방법이 제공될 수 있다.

Description

증강 현실을 이용한 대상물 검사 방법{Object inspection method using an augmented-reality}
본 발명은 증강 현실을 이용한 대상물 검사방법에 관한 것이다.
각종 작업 현장에서 사소한 실수가 제품의 결함으로 직결될 수 있기 때문에,작업자의 작업을 돕고 실수를 방지하기 위한 여러 방식들이 사용되고 있다.
부품 조립의 경우, 일반적으로 픽업(pick-up) 광센서나 비젼센서 등이 활용되는데, 전자의 경우는 부품 박스마다 유선으로 센서를 설치해야 하고, 후자의 경우, 설비가 고가이며, 실시간으로 오조립을 검출하기가 쉽지 않다.
초음파 센서를 이용하여 작업자 손의 위치를 추적하며 정해진 위치에 부품을 조립하도록 지원하는 장치들도 발표되고 있는데, 장치가 비교적 복잡하고 성능이 충분히 검증되어있지 않다.
본 발명은 대상물의 부품 조립 작업을 보조하고 조립 실수를 실시간으로 검지하기 위한 증강 현실을 이용한 대상물 검사 방법을 제공하는 것이다.
대상물의 특징점 데이터를 추출하는 단계;
증강 현실 앱을 구동하는 단계;
상기 대상물을 트래킹하는 단계;
상기 대상물 트래킹후 부품 조립 위치를 설정하는 단계;
부품 조립 여부를 검지하는 단계;
대상물 이미지에 증강 현실 컨텐츠를 투영하는 단계;
조립 실수가 확인되면 작업자에게 알려주는 단계;
를 포함하는 증강 현실을 이용한 대상물 검사 방법이 제공될 수 있다.
본 발명은, 네비게이션과 교육 분야에서 주로 활용되던 증강 현실(Augmented reality:AR) 기법을 산업분야에 적용한 것이다. 실제 작업 현장 위에 작업 지원을 위한 가상의 컨텐츠들을 투영하여 보임으로써, 유비쿼터스한 작업지원을 실현할 수 있다.
증강 현실을 이용한 애플리케이션이 제공되므로, 예를 들어 차량 부품 조립시 발생하는 실수를 방지할 수 있다.
본 발명에 따르면, 부품 조립 작업을 보조하고, 조립 실수를 실시간으로 검지하기 위하여, 가상 현실 기반 모바일 안드로이드 앱을 제공할 수 있다.
본 발명은 증강 현실을 통해 대상물의 부품 조립 작업시, 부품 조립 실수를 실시간으로 검지하고 작업자에게 알려줄 수 있다.
부품 조립 실수를 실시간으로 확인할 수 있기 때문에, 제품의 불량률을 현저히 감소시킬 수 있다.
도 1은 본 발명에 따른 증강 현실을 이용한 대상물 검사 방법을 나타낸 플로우챠트이다.
도 2는 대상물의 형상 및 부품 조립 위치를 나타낸 도면이다.
도 3은 대상물의 부품 조립위치(POIt) 추출과정을 나타낸 설명도이다.
도 4는 대상물의 부품 조립 지원을 위한 증강 현실 컨텐츠를 나타낸 도면이다.
도 5는 대상물에 붉은색 마크를 도시한 도면이다.
도 6 내지 도 9는 대상물 부품 조립시 조립 실수 여부를 확인해주는 영상을 나타낸 도면이다.
이하, 본 발명을 실시하기 위한 구체적인 내용을 첨부된 예시 도면에 의거 상세하게 설명한다.
본 발명은 대상물의 부품 조립 작업을 보조하고 조립 실수를 실시간으로 검지하기 위한 증강 현실을 이용한 대상물 검사 방법이다.
도 1은 본 발명에 따른 증강 현실을 이용한 대상물 검사 방법을 나타낸 플로우챠트이다.
도 1을 참조하면, 본 발명의 검사 방법은 대상물의 특징점 데이터를 추출하는 전처리 단계로서 제1 단계(S1), 증강 현실 앱을 구동하는 제2 단계(S2), 대상물을 트래킹하는 제3 단계(S3), 대상물 트래킹후 대상물 부품 조립 위치를 설정하는 제4 단계(S4), 부품 조립 여부를 검지하는 제5 단계(S5), 부품 조립 실수 여부를 판단하는 제6 단계(S6), 단말기의 대상물 이미지에 증강 현실 컨텐츠를 투영하는 제7 단계(S7), 조립 실수가 확인되면 음성으로 작업자에게 알려주는 제8 단계(S8)를 포함할 수 있다.
대상물을 트래킹하는 제3 단계(S3)에서 부품 조립 위치를 설정하는 제4 단계(S4)로 넘어가는 과정에서, 증강 현실 앱이 부품 조립 위치 설정을 확정하지 않은 상태이면, 제4 단계(S4)로 넘어갈 수 있고, 대상물의 부품 조립 위치를 새롭게 설정할 수 있다.
대상물을 트래킹하는 제3 단계(S3)에서 부품 조립 위치를 설정하는 제4 단계(S4)로 넘어가는 과정에서, 증강 현실 앱이 부품 조립 위치 설정을 이미 확정한 상태이면, 부품 조립 위치를 새로 설정하는 제4 단계를 생략하고 부품 조립 여부를 검지하는 제5 단계(S5)로 진행될 수 있다.
부품 조립 여부를 검지하는 제5 단계(S5)에서 판단한 결과는 제7 단계(S7)에서 단말기의 대상물 이미지에 증강 현실 컨텐츠를 투영할 수 있다.
만약, 부품 조립이 잘못되었으면 음성으로 작업자에게 알리는 제8 단계(S8)가 수행될 수 있다.
제8 단계(S8)후 다시 제2 단계(S2) 이후로 되돌아가서 제3 단계(S3)를 수행하는 제9 단계(S9)를 포함할 수 있다.
도 2 내지 도 3을 참조하여 본 발명의 실시 예를 설명한다.
본 발명의 실시 예로서, 대상물인 자동차 밸브 바디(10)의 부품 조립에 적용한 예를 다음과 같이 설명한다.
제1 단계(S1)에서는, 단말기, 예를 들어 스마트폰의 카메라로 부품 조립 대상인 상용차 밸브 바디(10) 사진을 찍어 2D 밸브 바디 이미지(타겟 이미지)를 생성하고, 타겟(target) 이미지를 실시간 추적하기 위해 사용할 특징점(feature points) 데이터 셋을 추출할 수 있다.
제1 단계(S1)에서 수행하는 특징점 추출 과정은 전처리 과정으로 수행될 수 있다. 즉, 앱을 구동하기 전에 오프라인(off-line)으로 한번만 수행될 수 있다.
제2 단계(S2)에서 증강 현실 앱이 수행된 이후, 하나씩 반복 투입되는 대상물마다 그 대상물에 대한 부품 조립 위치를 각각 설정할 수 있고, 그 대상물에 대한 부품 조립 실수를 판단할 수 있다.
스마트폰의 카메라를 대상물인 밸브 바디(10)가 보이는 위치에 설치한 후, 증강 현실 앱을 구동하고, 전처리 과정인 제1 단계에서 구한 특징점 데이터 셋을 기준으로, 대상물인 밸브 바디의 포즈를 알아낼 수 있다. 대상물은 여러 개가 차례로 투입될 수 있으므로 새롭게 투입되는 대상물마다 포즈를 알아내는 제3 단계(S3)의 대상물 트래킹 단계가 반복 수행될 수 있다. 대상물 트래킹 단계는 증강 현실 앱이 구동되는 동안 대상물마다 계속해서 반복될 수 있다.
제3 단계에서 카메라에 대한 대상물의 자세나 위치를 포함하는 정보인 대상물의 포즈를 알았으면, 그 대상물 내에서 부품 조립 위치를 알 필요가 있다. 우리가 알아야 할 부품 조립 위치는 도 2에 도시된다. 각 부품 조립 위치의 타겟 좌표와 터치 좌표를 알 필요가 있다. 제1 부품(part1)의 제1 부품 조립 위치의 타겟 좌료(POIt1)를 알 필요가 있고, 제1 부품 조립 위치의 터치 좌표(POIc)도 알 필요가 있다.
한편, 스마트폰이 촬영한 대상물인 밸브 바디의 이미지 위에 부품 조립 위치를 포함한 정보인 증강 현실 컨텐츠를 투영할 필요가 있다. 증강 현실 컨텐츠를 투영하기 위해서 부품 조립 위치를 미리 알아야 하는데, 대상물인 밸브 바디의 이미지에서 각 부품의 위치 데이터가 주어지지 않기 때문에 예를 들면 5개의 부품에 대한 조립 위치를 파악할 필요가 있다. 이는 제4 단계이다.
도 3은 제4 단계를 설명한다. 대상물인 밸브 바디의 부품 조립 위치의 추출 과정을 나타낸 설명한다. 도 3을 참조하면, 앱이 수행되어 대상물인 밸브 바디 추적에 성공하면 타겟 포즈 행렬이 생성될 수 있다. 타겟 포즈 행렬로부터 카메라 좌표계를 기준으로 표현된 모델-뷰 행렬(model-view matrix)을 구한 후 모델-뷰 행렬은 원근-투사 행렬(perspective projection matrix)과 함께 저장할 수 있다.
원근-투사 행렬은 지면에 대하여 카메라가 어느 위치 또는 어떤 각도로 설치되었는지 지면에 대한 카메라의 설치 함수를 표현하는 것으로 볼 수 있다.
모델-뷰 행렬은 지면 위의 특정 위치에 특정 각도로 카메라가 고정되었을 때, 지면 위의 어느 위치에 어떤 각도로 각각의 대상물이 놓여졌는지 지면에 대한 대상물의 적재 함수를 표현하는 것으로 볼 수 있다.
대상물 트래킹이 완료된 이후, 사용자가 스마트폰 화면에 표시되는 대상물 이미지에서 부품 조립 위치를 찾아 터치하면, 각 부품 조립 위치의 터치 좌표가 생성될 수 있고, 앱은 화면위의 터치 좌표(POIc)를 추출한 후, 앞서 저장한 모델-뷰 행렬과 원근-투사 행렬의 역행렬들을 구하고, 이 역행렬들을 이용하여 터치 좌표에 해당하는 타겟 좌표(POIs)를 계산할 수 있다. 타켓 좌표는 대상물을 기준으로 한 대상물 좌표계에서 각 부품 조립 위치의 좌표일 수 있다.
전처리 단계인 제1 단계에서 대상물인 밸브 바디의 특징점을 추출하는데, 특징점은 예를 들면 밸브 바디의 외곽선 또는 지면과 밸브 다이의 경계선일 수 있다. 그 밖에도 특징점은 밸브 바디의 구멍이나 돌출된 부분의 에지일 수 있다. 이미지 처리가 용이한 특징점을 활용하면, 카메라 이미지의 여러 픽셀 중에서 대상물에 해당하는 픽셀을 인식할 수 있다. 이는 곧 카메라 이미지에서 대상물의 위치 또는 각도를 인식하는 것과 동등하다.
제1 단계가 수행된 후에는 특징점 데이터 셋이 구해진 이후이고 모델-뷰 행렬과 원근-투사 행렬이 구해진 이후일 수 있다. 모델-뷰 행렬의 역행렬과 원근-투사 행렬의 역행렬도 당연히 구할 수 있다. 제1 단계가 수행된 이후에 다른 대상물로 교체된 경우, 대상물이 다른 위치에 놓여져도 대상물이 카메라의 시야각(Field of view)내에 놓여졌는지 여부, 시야각에 놓여졌다면 대상물의 위치나 각도를 파악할 수 있다. 이는 제1 단계에서 전처리 과정으로 구한 모델-뷰 행렬과 원근-투사 행렬을 기준으로 새로 놓여진 대상물의 이미지가 어떤 특징점의 차이를 갖는지 판단하는 방법으로 구할 수 있다. 새로운 대상물에 대하여 제2 단계인 대상물 트래킹 과정에서 그 대상물에 상응하는 새로운 모델-뷰 행렬과 원근-투사 행렬을 구할 수 있다. 이는 새로운 대상물의 위치나 각도를 포함하는 대상물의 포즈를 자동 인식하는 것과 동등하다고 할 수 있다.
대상물에 대한 부품 조립 위치는 카메라 또는 증강 현실 앱에 입력되어 있지 않으므로 사용자의 티칭(teaching)에 의하여 구할 수 있다. 사용자가 카메라의 대상물 이미지에서 부품 조립 위치를 터치하면, 터치 좌표가 생성될 수 있다. 증강 현실 앱은 모델-뷰 행렬의 역행렬과 원근-투사 행렬의 역행렬을 이용하여 부품 조립 위치의 타겟 좌표를 산출할 수 있다.
구해진 타겟 좌표는 화면에 표시되어 사용자가 확인할 수 있고, 증강 현실 앱에 기록되어 부품의 조립 위치를 설정하거나 정위치 조립 여부를 판단할 수 있다. 한편, 부품 조립 위치 설정 과정은 초기화 루틴에서 한번만 수행될 수 있다.
다음으로 증강 현실 컨텐츠를 생성하는 과정을 설명한다.
도 4를 참조하면, 증강 현실 컨텐츠는, 각 부품의 부품 조립 위치 또는 각 부품의 부품 조립 순서를 나타내는 3D 박스, 부품 조립 위치의 타겟 좌표 또는 터치 좌표를 나타내는 좌표 텍스트, 사용자가 부품 조립 위치 또는 3D 박스를 터치하면 팝업되는 부품 이미지나 부품 텍스트를 포함하는 부품 정보, 부품 조립 상태를 표시하는 조립 상황 인디케이터, 조립 상태를 음성으로 알려주는 음성 메시지 중 적어도 하나를 포함할 수 있다.
도 4에서 3D 박스의 z축 위치는 0으로 설정될 수 있다. 조립 실수가 발생하면 작업자에게 즉시 알려주기 위해, 스마트폰 마이크를 통한 음성 메시지가 발생될 수 있다. 음성 메시지 발생은 단말기 또는 스마트폰의 TTS (text to speech) 기능을 활용하여 구현할 수 있다. 증강 현실 컨텐츠 중에서, 3D 박스가 가장 중요한 요소로, 대상물의 정해진 부품 조립 위치에 3D 박스가 정확하게 표시되어야 하며, 3D 박스 생성 과정은 다음과 같다.
1) 3D 박스의 랜더링 또는 3D 박스를 단말기 화면에 표시하기 위한 가상 카메라를 생성할 수 있다. 각각의 3D 박스는 각각의 가상 카메라에 입출력되는 이미지를 표시하는 윈도우일 수 있다.
2) 단말기 카메라로 촬영된 후 단말기 화면에 표시되는 대상물 이미지(밸브 바디 이미지)로부터 대상물을 인식하는 대상물 트래킹 단계인 도 1의 제3 단계를 수행할 수 있다.
3) 대상물 트래킹 단계에서 대상물을 인식하면 모델-뷰 행렬의 역행렬인 인버스 모델 뷰(inverse model-view) 행렬을 계산하고, 인버스 모델 뷰 행렬을 이용하여 대상물을 기준으로 한 단말기 카메라의 위치, 회전, 방향 중 적어도 하나를 포함하는 단말기 카메라의 포즈를 구할 수 있다. 즉, 대상물과 단말기 카메라 상호간의 포즈 정보를 포함하는 단말기 카메라의 모델 뷰 행렬을 구할 수 있다.
4) 가상 카메라의 포즈를 단말기 카메라의 포즈와 동일하게 설정할 수 있다. 즉, 대상물과 가상 카메라 상호간의 포즈 정보를 포함하는 가상 카메라의 모델 뷰 행렬을 구할 수 있다.
5)캘리브레이션(calibration)을 수행하여 단말기 카메라의 해상도(resolution), 크기(size), 초점 거리(focal-length), 시야각(fov : field of view), 종횡비(aspect-ratio) 중 적어도 하나를 포함하는 단말기 카메라 파라미터들을 구하고, 단말기 카메라 파라미터들을 이용하여 가상 카메라의 원근 투사 모드 또는 가상 카메라의 원근 투사 행렬을 구할 수 있다.
6) 가상 카메라의 모델 뷰 행렬 또는 원근 투사 행렬을 포함하는 가상 카메라의 지오메트리(geometry)를 생성한 후, 부품 조립 위치 설정 과정에서 알아낸 부품 조립 위치와 동일한 지오메트리 위치에 3D 박스들을 위치시킬 수 있다.
각각의 3D 박스는 부품들이 정해진 위치와 순서에 따라 조립되는지를 실시간 검지하는 수단인 각각의 가상 카메라일 수 있다. 각각의 3D 박스로 파악한 조립 정보를 보고 조립 실수가 발생하면 작업자에게 즉각 알려주어 수정하도록 할 수 있다.
각각의 3D 박스 또는 각각의 가상 카메라가 부품 조립의 양호 또는 불량 판단을 하기 위하여 부품이나 조립 위치의 특징점을 이용하는 방법이 있을 수 있다.
그 외에도, 부품에 형상이나 색상 등의 추가 특징을 부여할 수 있다. 이러한 방안은 주변의 환경 노이즈의 영향을 덜 받으면서 쉽게 부품의 검지 유무를 확인하기 위함이다. 예를 들면, 부품의 일부에 밸브 바디와 구별할 수 있는 색을 칠하고 이를 검지하는 방식일 수 있다. 도 5를 참조하면, 영상에서 조립될 부품의 머리 일부분에 붉은색을 칠하여 조립한 모습을 보일 수 있다. 해당 가상 카메라 또는 3D 박스에 붉은 색상이 갑자기 감지되면 해당 부품이 잘 조립된 것으로 판단할 수 있다. 미리 부품에 색을 칠하는 별도의 과정이 필요하지만, 색을 판별하는 간단한 알고리즘을 통해 부품 조립 여부를 매우 정확하고 신속하게 판별할 수 있다.
도 6 내지 도 9는 대상물인 밸브 바디에 부품 조립 결과를 보인 도면이다. 도 6 내지 도 9를 참조하면, 5개의 부품을 밸브 바디(10)의 정해진 위치에 순서에 따라 조립할 수 있다.
부품 조립 위치에 표시된 3D 박스 안에 보이는 숫자가 조립 순서를 나타내고, 현재 조립해야 할 부품은 3D 박스의 색을 노란색으로 알려줄 수 있다. 현재 조립해야 할 순서가 아닌 곳은 붉은 색의 3D 박스로 사용자에게 알려줄 수 있다.
조립 상황 인디케이터가 표시되며, 조립 과정이 정상적으로 수행되면 조립 상황이 OK로 표시되고, 조립 오류가 발생되면 ERR로 표시되어 작업자가 확인 후 처리하도록 할 수 있으며, 작업이 정상적으로 완료되면 END가 표시될 수 있다.
조립 도중에 스마트폰 화면에서 부품 조립 위치 또는 3D 박스를 터치하면, 해당 위치에 조립될 부품의 이미지나 부품 텍스트를 포함하는 부품 정보가 화면의 하단에 표시되어 작업자가 확인할 수 있다.
도 6 내지 도 9를 참조하여 단계별로 설명하면 다음과 같다.
도 6을 참조하면, 1번 부품(part1)(예를 들어 나사)이 정상적으로 조립되고, 노란색 3D 박스로 표시되는 2번 부품(part2)이 조립될 차례이다.
작업 도중에 작업자가 2번 부품을 확인하기 위해 2번 부품이 조립될 위치(노란색 3D 박스 내부)를 터치하면, 3D 박스 내부에 붉은색 점이 표시되고 2번 부품의 이름(part2)이나 이미지를 포함하는 부품 정보가 화면의 하단에 표시될 수 있다. 조립 상황 인디케이터에 OK가 표시될 수 있다.
도 7을 참조하면, 1번 부품(part1), 2번 부품(part2), 3번 부품(part3) 까지 정상적으로 조립되고, 노란색 3D 박스로 표시한 4번 부품(part4)이 조립될 차례이며, 조립 상황 인디케이터에 OK가 표시될 수 있다.
도 8을 참조하면, 1번 부품(part1), 2번 부품(part2)까지 정상적으로 조립되고, 현재 노란색 3D 박스로 표시되는 3번 부품(part3)이 조립될 차례이나 4번 부품(part 4)이 조립되어서 실수가 발생하고, 4번 부품 위치에 대하여 조립 상황 인디케이터에 ERR-박스가 표시될 수 있다.
스마트폰의 마이크를 통해 작업자에게 음성 메시지(예를 들어 "실수가 발생했습니다")가 전달되고, 조립 상황 인디케이터에 ERR가 표시될 수 있다.
도 9를 참조하면, 5개의 부품 조립 작업이 완료되고, 조립 상황 인디케이터에 END가 표시될 수 있다.
본 발명은 작업자가 각 부품을 조립하는 시간 이내에 모든 부품의 조립 상황이 검지되어야 하므로, 작업자의 조립 시간을 고려하여 영상 처리 검지 루틴의 주기를 설정할 수 있다.
10 : 대상물(밸브 바디)
S1 : 제1 단계 S2 : 제2 단계
S3 : 제3 단계 S4 : 제4 단계
S5 : 제5 단계 S6 : 제6 단계
S7 : 제7 단계 S8 : 제8 단계
S9 : 제9 단계

Claims (6)

  1. 대상물의 특징점 데이터를 추출하는 단계;
    증강 현실 앱을 구동하는 단계;
    상기 대상물을 트래킹하는 단계;
    상기 대상물 트래킹후 부품 조립 위치를 설정하는 단계;
    부품 조립 여부를 검지하는 단계;
    대상물 이미지에 증강 현실 컨텐츠를 투영하는 단계;
    조립 실수가 확인되면 작업자에게 알려주는 단계;
    를 포함하고,
    단말기 카메라가 상기 대상물이 보이는 위치에 설치되고 상기 증강 현실 앱이 구동된 후, 상기 대상물의 특징점 데이터를 기준으로 상기 대상물의 포즈를 산출하고,
    상기 새롭게 투입되는 대상물마다 각각의 포즈를 알아내는 상기 대상물 트래킹 단계가 반복 수행되며,
    상기 대상물 트래킹이 완료된 이후, 단말기 화면에 표시되는 상기 대상물 이미지에서 부품 조립 위치가 터치되면, 각 부품 조립 위치의 터치 좌표가 생성되고,
    상기 증강 현실 앱은 상기 단말기 화면에서 상기 터치 좌표(POIc)를 추출한 후, 모델-뷰 행렬의 역행렬과 원근-투사 행렬의 역행렬을 구하고, 이 역행렬들을 이용하여 상기 터치 좌표에 대응되는 타겟 좌표(POIs)를 산출하며,
    상기 증강 현실 컨텐츠로서 3D 박스를 단말기 화면에 표시하기 위한 가상 카메라를 생성하고,
    상기 단말기 화면에 표시되는 상기 대상물 이미지로부터 상기 대상물을 인식하는 상기 대상물 트래킹 단계를 수행하며,
    상기 대상물 트래킹 단계에서 상기 대상물을 인식하면 상기 대상물을 기준으로 한 단말기 카메라의 위치, 회전, 방향 중 적어도 하나를 포함하는 단말기 카메라의 포즈를 산출하며,
    상기 가상 카메라의 포즈를 상기 단말기 카메라의 포즈와 동일하게 설정하고,
    상기 부품 조립 위치 설정 과정에서 산출된 상기 부품 조립 위치와 동일한 위치에 상기 3D 박스를 표시하는 대상물 검사 방법.
  2. 제1 항에 있어서,
    상기 대상물을 트래킹하는 단계에서 상기 부품 조립 위치를 설정하는 단계로 넘어가는 과정에서, 상기 증강 현실 앱이 상기 부품 조립 위치 설정을 확정하지 않은 상태이면, 상기 대상물의 상기 부품 조립 위치를 새롭게 설정하는 대상물 검사 방법.
  3. 삭제
  4. 제1 항에 있어서,
    상기 증강 현실 컨텐츠는, 각 부품의 부품 조립 위치 또는 각 부품의 조립 순서를 나타내는 3D 박스, 상기 부품 조립 위치의 타겟 좌표 또는 터치 좌표를 나타내는 좌표 텍스트, 사용자가 부품 조립 위치 또는 3D 박스를 터치하면 팝업되는 부품 이미지나 부품 텍스트를 포함하는 부품 정보, 부품 조립 상태를 표시하는 조립 상태 인디케이터, 상기 조립 상태를 음성으로 알려주는 음성 메시지 중 적어도 하나를 포함하는 대상물 검사 방법.
  5. 삭제
  6. 제1 항에 있어서,
    상기 대상물 이미지의 상기 부품 조립 위치마다 각각의 3D 박스가 단말기 화면에 표시되고,
    상기 각각의 3D 박스는 각 부품의 조립 순서별로 구별되는 색상으로 표시되며,
    상기 각각의 3D 박스를 터치하면, 해당 부품의 부품 정보가 상기 단말기 화면에 표시되는 대상물 검사 방법.
KR1020190043559A 2019-04-15 2019-04-15 증강 현실을 이용한 대상물 검사 방법 KR102174035B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190043559A KR102174035B1 (ko) 2019-04-15 2019-04-15 증강 현실을 이용한 대상물 검사 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190043559A KR102174035B1 (ko) 2019-04-15 2019-04-15 증강 현실을 이용한 대상물 검사 방법

Publications (2)

Publication Number Publication Date
KR20200121053A KR20200121053A (ko) 2020-10-23
KR102174035B1 true KR102174035B1 (ko) 2020-11-04

Family

ID=73039540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190043559A KR102174035B1 (ko) 2019-04-15 2019-04-15 증강 현실을 이용한 대상물 검사 방법

Country Status (1)

Country Link
KR (1) KR102174035B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734945B (zh) * 2021-03-30 2021-08-17 上海交大智邦科技有限公司 一种基于增强现实的装配引导方法、***及应用
KR20240002828A (ko) * 2022-06-30 2024-01-08 주식회사 와이엠엑스 가상 공간에 있는 3d 오브젝트 상의 특정 위치와 연동된 메모를 공유할 수 있는 실시간 vr 회의시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962557B1 (ko) * 2009-02-05 2010-06-11 한국과학기술원 증강현실 구현 장치 및 증강현실 구현 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120090206A (ko) * 2011-02-07 2012-08-17 주식회사 엘제이텍 영상투영장비를 이용한 자동차 헤드라이너 작업안내 시스템 및 그 방법
KR20150063703A (ko) * 2013-12-02 2015-06-10 에스티엑스조선해양 주식회사 증강현실 기반 선박의 블록 검사 방법
KR101535801B1 (ko) * 2013-12-09 2015-07-24 계명대학교 산학협력단 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100962557B1 (ko) * 2009-02-05 2010-06-11 한국과학기술원 증강현실 구현 장치 및 증강현실 구현 방법

Also Published As

Publication number Publication date
KR20200121053A (ko) 2020-10-23

Similar Documents

Publication Publication Date Title
JP6642968B2 (ja) 情報処理装置、情報処理方法、プログラム
CN109903279B (zh) 焊缝运动轨迹的自动示教方法和装置
US20160078682A1 (en) Component mounting work support system and component mounting method
US20150261899A1 (en) Robot simulation system which simulates takeout process of workpieces
KR101973917B1 (ko) 3차원 계측 장치 및 그 계측 지원 처리 방법
JP2002092647A (ja) 情報呈示システム及びモデル誤差検出システム
CN105637435A (zh) 用于验证针对可移动的机械单元的一个或多个安全容积的方法和装置
KR102174035B1 (ko) 증강 현실을 이용한 대상물 검사 방법
JP2008235504A (ja) 組立品検査装置
Collett et al. An augmented reality debugging system for mobile robot software engineers
US11891783B2 (en) Calibration work support system
CN112823321B (zh) 对基于多种类型传感器的位置识别结果进行混合的位置定位***及其方法
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
WO2014067685A1 (en) A method for simplifying defect analysis
CN111105695A (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
Stanimirovic et al. [Poster] A Mobile Augmented reality system to assist auto mechanics
Ng et al. Intuitive robot tool path teaching using laser and camera in augmented reality environment
KR102634601B1 (ko) 3차원 깊이센서를 활용한 부재 용접방법
KR101535801B1 (ko) 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
US11630208B2 (en) Measurement system, measurement method, and measurement program
CN111727100B (zh) 焊接动作测量***
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
JP2017146228A (ja) 溶接位置検査システム
WO2022176928A1 (ja) 教示装置
EP4072795A1 (en) Method and system for programming a robot

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant