KR102034387B1 - 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치 - Google Patents

객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치 Download PDF

Info

Publication number
KR102034387B1
KR102034387B1 KR1020180093937A KR20180093937A KR102034387B1 KR 102034387 B1 KR102034387 B1 KR 102034387B1 KR 1020180093937 A KR1020180093937 A KR 1020180093937A KR 20180093937 A KR20180093937 A KR 20180093937A KR 102034387 B1 KR102034387 B1 KR 102034387B1
Authority
KR
South Korea
Prior art keywords
point cloud
cloud data
data
alignment data
alignment
Prior art date
Application number
KR1020180093937A
Other languages
English (en)
Inventor
채영호
쿠말 아제이
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020180093937A priority Critical patent/KR102034387B1/ko
Application granted granted Critical
Publication of KR102034387B1 publication Critical patent/KR102034387B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/043—Optimisation of two dimensional placement, e.g. cutting of clothes or wood
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G06F17/5004—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

객체의 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치가 제공된다. 개시된 방법은 미리 획득된 상기 객체의 전역 포인트 클라우드 데이터와, 실시간으로 획득된 상기 객체의 특정 부분에 대한 부분 포인트 클라우드 데이터를 정렬하여 제1 정렬 데이터를 생성하는 단계; 실시간으로 획득된 카메라 이미지와 상기 제1 정렬 데이터를 정렬하여 배경 정보가 포함된 제2 정렬 데이터를 생성하는 단계; 미리 생성된 상기 객체의 3D CAD 모델과 상기 제2 정렬 데이터를 정렬하여 제3 정렬 데이터를 생성하는 단계;를 포함하되, 상기 제3 정렬 데이터를 이용하여 상기 리트로피팅을 위한 동작이 수행된다.

Description

객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치{Method for generating alignment data for virtual retrofitting object and Terminal device for performing the same}
본 발명의 실시예들은 객체의 가상 리트로피팅(Retrofitting)을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치에 관한 것으로서, 보다 상세하게는 계산량을 줄이고 빠르게 가상 리트로피팅을 위한 정렬 데이터를 생성하는 단말 장치 및 방법에 관한 것이다.
열, 석유 화학 및 원자력 발전소와 같은 산업 플랜트에서 파이프, 장비 및 그 외 특정 물건을 플랜트 내부 지역으로 이송하기 위한 경로 계획은 일반적으로 어려움이 있다. 그리고, 공장의 유지 보수, 재 설치 및 업그레이드 작업은 플랜트 내의 복잡한 레이아웃에 의해 야기되는 불 확실한 결합에 의한 위험을 감수해야 한다. 또한, 기존의 방식으로 3D 모델을 현장에서 중첩하여 이용하는 것은 실제의 모델과 일치하지 않을 가능성이 높다.
현재의 레이저 스캐닝 기술을 이용하는 기술은 실제의 모델 표면의 세부적인 정보를 얻을 수 있지만, 플랜트 설비의 리트로피팅의 작업은 많은 시간을 필요로 하는 지루하고 소모적인 수작업인 단점이 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 계산량을 줄이고 빠르게 가상 리트로피팅을 위한 정렬 데이터를 생성하는 방법 및 이를 수행하기 위한 단말 장치를 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 객체의 가상 리트로피팅(Retrofitting)을 위한 정렬 데이터 생성을 수행하는 단말 장치에 있어서, 컴퓨터에서 판독 가능한 명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구현되는 프로세서:를 포함하되, 상기 프로세서는, 미리 획득된 상기 객체의 전역 포인트 클라우드 데이터와, 실시간으로 획득된 상기 객체의 특정 부분에 대한 부분 포인트 클라우드 데이터를 정렬하여 기하학적 정보가 포함된 제1 정렬 데이터를 생성하고, 실시간으로 획득된 카메라 이미지와 상기 제1 정렬 데이터를 정렬하여 배경 정보가 포함된 제2 정렬 데이터를 생성하고, 미리 생성된 상기 객체의 CAD 모델과 상기 제2 정렬 데이터를 정렬하여 제3 정렬 데이터를 생성하되, 상기 제3 정렬 데이터를 이용하여 상기 가상 리트로피팅을 위한 동작을 수행하는 것을 특징으로 하는 단말 장치가 제공된다.
상기 프로세서는, 상기 전역 포인트 클라우드 데이터를 샘플링하여 상기 전역 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터의 개수를 감소시키고, 상기 샘플링된 전역 포인트 클라우드 데이터와 상기 부분 포인트 클라우드 데이터를 이용하여 상기 제1 정렬 데이터를 생성할 수 있다.
상기 프로세서는, 상기 전역 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터를 랜덤으로 선택하여 상기 샘플링을 수행하되, 상기 샘플링된 전역 포인트 클라우드 데이터와 상기 부분 포인트 클라우드 데이터를 이용하여 포인트 클라우드 데이터의 정렬을 위한 변환 행렬을 산출하고, 상기 변환 행렬을 이용하여 호모지니어스 변환 행렬을 산출하고, 상기 호모지니어스 변환 행렬과 상기 전역 포인트 클라우드 데이터를 이용하여 상기 제1 정렬 데이터를 생성할 수 있다.
상기 변환 행렬은 GICP(Generalized Iterative Closest Point)에 따른 변환 행렬이며, 아래의 수학식과 같이 표현되는 것을 특징으로 하는 단말 장치.
Figure 112018079436866-pat00001
여기서,
Figure 112018079436866-pat00002
는 상기 변환 행렬, i는 포인트 클라우드의 인덱스,
Figure 112018079436866-pat00003
는 상기 샘플링된 전역 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터,
Figure 112018079436866-pat00004
는 상기 부분 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터,
Figure 112018079436866-pat00005
는
Figure 112018079436866-pat00006
의 주변의 포인트 클라우드의 분포 형태를 설명하는 공분산 행렬,
Figure 112018079436866-pat00007
는
Figure 112018079436866-pat00008
의 주변의 포인트 클라우드의 분포 형태를 설명하는 공분산 행렬을 각각 의미함.
상기 호모지니어스 변환 행렬은 아래의 수학식과 같이 표현될 수 있다.
Figure 112018079436866-pat00009
여기서,
Figure 112018079436866-pat00010
는 호모지니어스 변환 행렬, c는 cos 함수, s는 sin 함수,
Figure 112018079436866-pat00011
,
Figure 112018079436866-pat00012
,
Figure 112018079436866-pat00013
각각은 회전에 대한 롤 값, 요 값, 피치 값,
Figure 112018079436866-pat00014
,
Figure 112018079436866-pat00015
,
Figure 112018079436866-pat00016
각각은 상기 변환 행렬의 x, y, z 값을 의미함.
상기 호모지니어스 변환 행렬과 상기 전역 포인트 클라우드 데이터를 이용하여 생성되는 상기 제1 정렬 데이터는 아래의 수학식과 같이 표현될 수 있다.
Figure 112018079436866-pat00017
여기서,
Figure 112018079436866-pat00018
는 상기 제1 정렬 데이터,
Figure 112018079436866-pat00019
는 상기 전역 포인트 클라우드 데이터,
Figure 112018079436866-pat00020
는 상기 호모지니어스 변환 행렬을 각각 의미함.
또한, 본 발명의 다른 실시예에 따르면, 프로세서에 의해 수행되는 객체의 리트로피팅(Retrofitting)을 위한 정렬 데이터 생성 방법에 있어서, 미리 획득된 상기 객체의 전역 포인트 클라우드 데이터와, 실시간으로 획득된 상기 객체의 특정 부분에 대한 부분 포인트 클라우드 데이터를 정렬하여 제1 정렬 데이터를 생성하는 단계; 실시간으로 획득된 카메라 이미지와 상기 제1 정렬 데이터를 정렬하여 배경 정보가 포함된 제2 정렬 데이터를 생성하는 단계; 미리 생성된 상기 객체의 CAD 모델과 상기 제2 정렬 데이터를 정렬하여 제3 정렬 데이터를 생성하는 단계;를 포함하되, 상기 제3 정렬 데이터를 이용하여 상기 리트로피팅을 위한 동작이 수행되는 것을 특징으로 하는 정렬 데이터 생성 방법이 제공된다.
본 발명에 따르면, 가상 리트로피팅 작업 시 계산량을 줄이고 빠르게 정렬 데이터를 생성하는 장점이 있다.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명이 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법의 흐름도를 도시한 도면이다.
도 3 내지 도 6은 본 발명에 따른 정렬 데이터 생성 과정을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 리트로피팅의 일례를 도시한 도면이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술한다.
도 1은 본 발명이 일 실시예에 따른 단말 장치의 개략적인 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 단말 장치(100)는 메모리(110), 프로세서(120), 디스플레이(130) 및 사용자 인터페이스(140)를 포함한다.
메모리(110)는 휘발성 및/또는 비휘발성 메모리일 수 있고, 단말 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장한다. 특히, 메모리부(110)는 가상 리트로피팅의 동작을 수행하기 위한 컴퓨터 프로그램, 어플리케이션, 기록 매체에 관계된 명령어 또는 데이터를 저장할 수 있다.
프로세서(120)는 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 예를 들면, 프로세서(120)는 단말 장치(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 연산이나 데이터 처리를 실행할 수 있다. 특히, 프로세서(120)는 상기 컴퓨터 프로그램 내지 어플리케이션의 실행에 관계된 명령을 실행할 수 있다.
디스플레이(130)는 액정 디스플레이(LCD), 발광 다이오드 디스플레이(LED), 유기 발광 다이오드 디스플레이(OLED) 등으로 구성될 수 있으며, 사용자에게 영상 내지 영상 프레임을 표시할 수 있는 장치이다. 특히, 디스플레이(130)는 헤드 마운트 디스플레이(Head mounted Display)일 수 있다.
사용자 인터페이스(140)는 가상 리트로피팅을 수행하기 위해 필요한 사용자의 입력 신호를 입력받는다. 일례로, 사용자 인터페이스(140)는 키보드, 마우스, 모션 트래킹 센서가 포함된 장치일 수 있다.
이하, 아래의 도면을 참조하여, 단말 장치(100) 특히, 프로세서(120)에서 수행되는 동작인 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법을 상세하게 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법의 흐름도를 도시한 도면이다. 이하, 각 단계 별로 수행되는 과정을 상세하게 설명하기로 한다.
먼저, 단계(210)에서는 포인트 클라우드 데이터에 기반하여 기하학적 정보가 포함된 객체에 대한 제1 정렬 데이터를 생성한다.
이 때, 객체는 산업 플랜트일 수 있으며, 포인트 클라우드 데이터는 3차원의 포인트 클라우드 데이터일 수 있다. 그리고, 제1 정렬 데이터는 객체의 전역 포인트 클라우드 데이터와 객체의 특정 부분에 대한 부분 포인트 클라우드 데이터를 이용하여 생성될 수 있다. 즉, 제1 정렬 데이터는 레이저 스캐닝에서 얻어지는 물리적인 환경의 부분 포인트 클라우드 데이터와 사전에 측정되고 조합된 전역 포인트 클라우드 데이터를 동일한 좌표로 정리한 데이터이다.
보다 상세하게, 객체의 전역 포인트 클라우드 데이터는 레이저 스캐너에 의해 미리 3차원으로 획득될 수 있다. 일례로, 레이저 스캐너는 Lidar 센서 및 IMU 센서를 포함할 수 있다.
이 경우, 전역 포인트 클라우드 데이터는 미리 전처리될 수 있으며, 전처리된 전역 포인트 클라우드 데이터는 잡음이 제거된 전역 포인트 클라우드 데이터일 수 있다. 한편, 레이저 스캐너의 교정 위치와 해당 오리엔테이션을 이용하여 스캐너 좌표계에서 3차원의 위치로 변환할 수 있는 깊이 값 배열을 취득하며, 전역 포인트 클라우드 모델을 얻기 위해 4가지 위치와 방향의 스캐너 캘리브레이션이 필요하다.
이하, 설명의 편의를 위해 전처리된 전역 포인트 클라우드 데이터가 사용되는 것으로 한다. 도 3의 (a)에서는 샘플 환경을 도시하고 있고, 도 3의 (b)에서는 전처리된 전역 포인트 클라우드 데이터를 도시하고 있다.
그리고, 객체의 부분 포인트 클라우드 데이터는 실시간으로 레이저 스캐너에 의해 3차원으로 획득될 수 있다. 도 3의 (c)에서는 부분 포인트 클라우드 데이터를 도시하고 있다.
상기에서 설명한 내용을 통해, 단계(210)에서는 미리 전처리된 포인트 클라우드 데이터와 실시간으로 획득된 객체의 부분 포인트 클라우드 데이터를 정렬하여 기하학적 정보가 포함된 제1 정렬 데이터가 생성된다.
보다 상세하게, 실제 모델에서 전처리된 포인트 클라우드 데이터를 정렬하려면 레이저 스캐너 좌표에서 실제 모델의 상대 위치와 방향을 알아야 한다. 레이저 스캐너 좌표계로부터 실제 모델의 위치와 방향은 실시간으로 레이저 스캐너에서 획득된 객체의 부분 포인트 클라우드 데이터를 사용하여 추정할 수 있다.
이 때, 여러 3차원 포인트 클라우드 데이터의 뷰를 완전한 모델로 일관되게 정렬하는 것을 "등록(registration)"이라고 하며, 전처리된 포인트 클라우드 데이터를 글로벌 차원의 물리적 모델의 상대적 위치와 방향에 맞추어 정렬한다.
처리된 포인트 클라우드 데이터의 정렬을 위해 종래에서 가장 많이 사용하는 정렬 방법 중 하나는 ICP(Iterative Closest Point) 알고리즘이다. 이 알고리즘은 거리 오차 메트릭을 최소화하는 것으로 두 데이터 집합 간의 최적의 변환을 반복적인 시도를 통해 찾는다. ICP는 모든 포인트가 일치하는 것으로 가정하고 원본과 대상 모델 집합에서 가장 가까운 3차원 포인트를 사용하여 정렬을 진행한다. ICP 알고리즘은 반복적인 작업을 수행하는 접근법이기 때문에, 알고리즘의 시간 복잡성은 최적의 변환 행렬을 찾는 데 필요한 반복 횟수에 따라 정해진다.
따라서, ICP 알고리즘의 시간 복잡성을 감소시키기 위해 단계(210)에서는 GICP(Generalized Iterative Closest Point)에 기반한 정렬 알고리즘인 최적 GICP(Optimized GICP)을 사용할 수 있다. 이에 대해 보다 상세하게 설명하면 다음과 같다.
GICP 알고리즘은 정렬 알고리즘은 전처리된 포인트 클라우드 데이터와 부분 포인트 클라우드 데이터의 정렬에 사용된다. 이 때, GICP 알고리즘은 3차원 포인트 클라우드 데이터 사이의 자세 관계를 추정을 위한 비용 함수(전달 함수)를 최소화하는 단계에서 확률 모델을 적용한다. 먼저, GICP 알고리즘은 최근접 이웃 관련성(nearest neighbor correspondences)를 추정하고, 전처리된 전역 포인트 클라우드 데이터와 실시간 부분 포인트 클라우드 데이터가 유사한 인덱스 값을 가지는 대응점으로 인덱스된다. 이 때, 대응되지 않는 점은 삭제된다.
본 발명의 일 실시예에 따르면, 전역 포인트 클라우드 데이터를 샘플링하여 전역 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터의 개수를 감소시키고, 샘플링된 전역 포인트 클라우드 데이터와 부분 포인트 클라우드 데이터를 이용하여 제1 정렬 데이터를 생성할 수 있다. 이 때, 샘플링된 전역 포인트 클라우드 데이터와 부분 포인트 클라우드 데이터를 최적 GICP 알고리즘에 적용하여 제1 정렬 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(120)는 전역 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터를 랜덤으로 선택하여 샘플링을 수행할 수 있다. 이는 아래의 수학식 1과 같이 표현될 수 있다
Figure 112018079436866-pat00021
여기서, P0는 샘플링된 전역 포인트 클라우드 데이터, PP는 전처리된 전역 포인트 클라우드 데이터, randomsample( )는 랜덤 샘플링 함수를 각각 의미한다.
샘플링을 수행한 수, 프로세서(120)는 최적 GICP 알고리즘을 사용하여 정렬 과정을 수행한다. 이 때, 전처리된 전역 포인트 클라우드 데이터가 사용되는 것이 아니라 샘플링된 전역 포인트 클라우드 데이터가 사용되므로, 제1 정렬 데이터를 생성하는데 소요되는 시간을 단축할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(120)는 샘플링된 전역 포인트 클라우드 데이터와 부분 포인트 클라우드 데이터를 이용하여 포인트 클라우드 데이터의 정렬을 위한 변환 행렬을 산출하고, 변환 행렬(transformation matrix)을 이용하여 호모지니어스 변환 행렬(homogeneous transformation matrix)을 산출하고, 호모지니어스 변환 행렬과 전역 포인트 클라우드 데이터를 이용하여 제1 정렬 데이터를 생성할 수 있다.
보다 상세하게, 변환 행렬은 GICP 알고리즘에 따른 비용 함수로서, 아래의 수학식 2과 같이 표현될 수 있다.
Figure 112018079436866-pat00022
여기서, T는 변환 행렬, i는 포인트 클라우드의 인덱스, ai는 샘플링된 전역 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터, bi는 부분 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터,
Figure 112018079436866-pat00023
는 ai의 주변의 포인트 클라우드의 분포 형태를 설명하는 공분산 행렬,
Figure 112018079436866-pat00024
는 bi의 주변의 포인트 클라우드의 분포 형태를 설명하는 공분산 행렬을 각각 의미한다.
그리고, 호모지니어스 변환 행렬은 아래의 수학식 3과 같이 표현될 수 있다. 이 때, 호모지니어스 변환 행렬은 최적의 회전 및 평행 이동을 수행하기 위한 것이다.
Figure 112018079436866-pat00025
여기서,
Figure 112018079436866-pat00026
는 호모지니어스 변환 행렬, c는 cos 함수, s는 sin 함수,
Figure 112018079436866-pat00027
,
Figure 112018079436866-pat00028
,
Figure 112018079436866-pat00029
각각은 회전에 대한 롤 값, 요 값, 피치 값,
Figure 112018079436866-pat00030
,
Figure 112018079436866-pat00031
,
Figure 112018079436866-pat00032
각각은 변환 행렬의 x, y, z 값을 의미한다.
즉, 변환 행렬은 수학식 3을 사용하여 최적의 전처리된 포인트 클라우드 데이터(P0) 및 실시간 부분 포인트 클라우두 데이터(Pr)를 고려하여 산출된다.
또한, 호모지니어스 변환 행렬과 전역 포인트 클라우드 데이터를 이용하여 생성되는 제1 정렬 데이터는 아래의 수학식 4와 같이 표현될 수 있다.
Figure 112018079436866-pat00033
여기서,
Figure 112018079436866-pat00034
는 제1 정렬 데이터,
Figure 112018079436866-pat00035
는 전역 포인트 클라우드 데이터,
Figure 112018079436866-pat00036
는 호모지니어스 변환 행렬을 각각 의미한다. 이 때,
Figure 112018079436866-pat00037
는 앞서 언급한 바와 같이 샘플링된 전역 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터와 bi는 부분 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터의 정렬에 따라 획득될 수 있다.
도 4에서는 제1 정렬 데이터를 생성하는 과정의 흐름을 도시하고 있다.
다음으로, 단계(220)에서는 제2 시점에서 실시간으로 획득된 카메라 이미지와 제1 정렬 데이터를 정렬하여 배경 정보가 포함된 제2 정렬 데이터를 생성한다.
이 때, 카메라 이미지는 부분 포인트 클라우드 데이터와 동일한 구도에서 촬영된 이미지이며, 이를 통해 배경 정보가 기하학적 정보에 자동으로 매칭될 수 있다. 도 5는 카메라 이미지 및 부분 포인트 클라우드 데이터를 동시에 획득하는 장치를 도시하고 있다.
계속하여, 단계(230)에서는 미리 생성된 객체의 3D CAD 모델과 제2 정렬 데이터를 정렬하여 제3 정렬 데이터를 생성한다. 제3 정렬 데이터는 도 6에 도시된 바와 같다. 이 때, 제3 정렬 데이터를 이용하여 가상 리트로피팅을 위한 동작이 수행될 수 있다.
요컨대, 본 발명은 산업 플랜트 시설의 가상 개조 및 업그레이드를 목표로 하는 새로운 4 대 1 가상 리트로피팅 작업의 프레임워크이다. 이 작업은 레이저 스캐닝에서 얻어지는 물리적인 환경의 부분 포인트 클라우드 데이터와 사전에 측정되고 조합된 포인트 클라우드 전체 모델을 동일한 좌표로 정리하는 것에서 시작한다. 정렬된 데이터를 바탕으로 실사 사진이 중첩되고, 생성된 CAD 모델에 대해 가상 리트로피팅 작업이 수행되며 전체 데이터가 디스플레이부(130) 및 사용자 인터페이스(140)를 통한 VR(Virtual Reality) 장치에서 효과적으로 시각화가 진행된다. 이는 도 7에 도시된 바와 같다. 이 절차를 통해 실제 현장에서 최종 리트로피팅 작업의 수행을 위해서 기존의 현장 플랜트 정보를 이해하고 관리를 할 수 있게 해주는 사전 리토로피팅 모델의 구축이 완성된다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 객체의 가상 리트로피팅(Retrofitting)을 위한 정렬 데이터 생성을 수행하는 단말 장치에 있어서,
    컴퓨터에서 판독 가능한 명령을 저장하는 메모리; 및
    상기 명령을 실행하도록 구현되는 프로세서:를 포함하되,
    상기 프로세서는,
    미리 획득된 상기 객체의 전역 포인트 클라우드 데이터와, 실시간으로 획득된 상기 객체의 특정 부분에 대한 부분 포인트 클라우드 데이터를 정렬하여 기하학적 정보가 포함된 제1 정렬 데이터를 생성하고,
    실시간으로 획득된 카메라 이미지와 상기 제1 정렬 데이터를 정렬하여 배경 정보가 포함된 제2 정렬 데이터를 생성하고,
    미리 생성된 상기 객체의 CAD 모델과 상기 제2 정렬 데이터를 정렬하여 제3 정렬 데이터를 생성하되,
    상기 제3 정렬 데이터를 이용하여 상기 가상 리트로피팅을 위한 동작을 수행하는 것을 특징으로 하는 단말 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 전역 포인트 클라우드 데이터를 샘플링하여 상기 전역 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터의 개수를 감소시키고, 상기 샘플링된 전역 포인트 클라우드 데이터와 상기 부분 포인트 클라우드 데이터를 이용하여 상기 제1 정렬 데이터를 생성하는 것을 특징으로 하는 단말 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 전역 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터를 랜덤으로 선택하여 상기 샘플링을 수행하되,
    상기 샘플링된 전역 포인트 클라우드 데이터와 상기 부분 포인트 클라우드 데이터를 이용하여 포인트 클라우드 데이터의 정렬을 위한 변환 행렬을 산출하고, 상기 변환 행렬을 이용하여 호모지니어스 변환 행렬을 산출하고, 상기 호모지니어스 변환 행렬과 상기 전역 포인트 클라우드 데이터를 이용하여 상기 제1 정렬 데이터를 생성하는 것을 특징으로 하는 단말 장치.
  4. 제3항에 있어서,
    상기 변환 행렬은 GICP(Generalized Iterative Closest Point)에 따른 변환 행렬이며, 아래의 수학식과 같이 표현되는 것을 특징으로 하는 단말 장치.

    Figure 112018079436866-pat00038


    여기서,
    Figure 112018079436866-pat00039
    는 상기 변환 행렬, i는 포인트 클라우드의 인덱스,
    Figure 112018079436866-pat00040
    는 상기 샘플링된 전역 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터,
    Figure 112018079436866-pat00041
    는 상기 부분 포인트 클라우드 데이터에 포함된 포인트 클라우드 데이터,
    Figure 112018079436866-pat00042
    는
    Figure 112018079436866-pat00043
    의 주변의 포인트 클라우드의 분포 형태를 설명하는 공분산 행렬,
    Figure 112018079436866-pat00044
    는
    Figure 112018079436866-pat00045
    의 주변의 포인트 클라우드의 분포 형태를 설명하는 공분산 행렬을 각각 의미함.
  5. 제3항에 있어서,
    상기 호모지니어스 변환 행렬은 아래의 수학식과 같이 표현되는 것을 특징으로 하는 단말 장치.

    Figure 112018079436866-pat00046


    여기서,
    Figure 112018079436866-pat00047
    는 호모지니어스 변환 행렬, c는 cos 함수, s는 sin 함수,
    Figure 112018079436866-pat00048
    ,
    Figure 112018079436866-pat00049
    ,
    Figure 112018079436866-pat00050
    각각은 회전에 대한 롤 값, 요 값, 피치 값,
    Figure 112018079436866-pat00051
    ,
    Figure 112018079436866-pat00052
    ,
    Figure 112018079436866-pat00053
    각각은 상기 변환 행렬의 x, y, z 값을 의미함.
  6. 제3항에 있어서,
    상기 호모지니어스 변환 행렬과 상기 전역 포인트 클라우드 데이터를 이용하여 생성되는 상기 제1 정렬 데이터는 아래의 수학식과 같이 표현되는 것을 특징으로 하는 단말 장치.

    Figure 112018079436866-pat00054


    여기서,
    Figure 112018079436866-pat00055
    는 상기 제1 정렬 데이터,
    Figure 112018079436866-pat00056
    는 상기 전역 포인트 클라우드 데이터,
    Figure 112018079436866-pat00057
    는 상기 호모지니어스 변환 행렬을 각각 의미함.
  7. 프로세서에 의해 수행되는 객체의 리트로피팅(Retrofitting)을 위한 정렬 데이터 생성 방법에 있어서,
    미리 획득된 상기 객체의 전역 포인트 클라우드 데이터와, 실시간으로 획득된 상기 객체의 특정 부분에 대한 부분 포인트 클라우드 데이터를 정렬하여 제1 정렬 데이터를 생성하는 단계;
    실시간으로 획득된 카메라 이미지와 상기 제1 정렬 데이터를 정렬하여 배경 정보가 포함된 제2 정렬 데이터를 생성하는 단계;
    미리 생성된 상기 객체의 CAD 모델과 상기 제2 정렬 데이터를 정렬하여 제3 정렬 데이터를 생성하는 단계;를 포함하되,
    상기 제3 정렬 데이터를 이용하여 상기 리트로피팅을 위한 동작이 수행되는 것을 특징으로 하는 정렬 데이터 생성 방법.
  8. 제7항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020180093937A 2018-08-10 2018-08-10 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치 KR102034387B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180093937A KR102034387B1 (ko) 2018-08-10 2018-08-10 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180093937A KR102034387B1 (ko) 2018-08-10 2018-08-10 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치

Publications (1)

Publication Number Publication Date
KR102034387B1 true KR102034387B1 (ko) 2019-10-18

Family

ID=68462461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180093937A KR102034387B1 (ko) 2018-08-10 2018-08-10 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치

Country Status (1)

Country Link
KR (1) KR102034387B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016502159A (ja) * 2012-09-26 2016-01-21 デントスプリー インプランツ ナムローゼ フェンノートシャップ ３次元デジタルモデルの位置決め／位置合わせのための方法およびシステム
KR101845796B1 (ko) * 2017-11-16 2018-04-05 사단법인 한국선급 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법
JP2018180868A (ja) * 2017-04-12 2018-11-15 株式会社Ｅｃａｄソリューションズ 画像処理装置及び製造システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016502159A (ja) * 2012-09-26 2016-01-21 デントスプリー インプランツ ナムローゼ フェンノートシャップ ３次元デジタルモデルの位置決め／位置合わせのための方法およびシステム
JP2018180868A (ja) * 2017-04-12 2018-11-15 株式会社Ｅｃａｄソリューションズ 画像処理装置及び製造システム
KR101845796B1 (ko) * 2017-11-16 2018-04-05 사단법인 한국선급 드론 검사정보를 결합한 가상현실 기반의 선박 관리 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Registration of Noisy Point Clouds using Virtual Interest Points, 2015 12th Conference on Computer Robot Vision, 2015.07.16. *

Similar Documents

Publication Publication Date Title
CN109521403B (zh) 多线激光雷达的参数标定方法及装置、设备及可读介质
CN108764048B (zh) 人脸关键点检测方法及装置
CN110832279B (zh) 对准由自主车辆捕获的数据以生成高清晰度地图
US10360247B2 (en) System and method for telecom inventory management
US20190279420A1 (en) Automated roof surface measurement from combined aerial lidar data and imagery
US10679338B2 (en) Three-dimensional modeling of an object
Grisetti et al. Efficient estimation of accurate maximum likelihood maps in 3D
Yuan et al. Efficient and probabilistic adaptive voxel mapping for accurate online lidar odometry
TWI467494B (zh) 使用深度圖進行移動式攝影機定位
Wang et al. Deep semantic segmentation for visual understanding on construction sites
JP2023106284A (ja) 組立ロボットの遠隔操作環境のデジタルツインモデリング方法及びシステム
JP5753422B2 (ja) ３ｄパターンマッチング方法
CN102782723A (zh) 位置和方位估计方法及其设备
Yun et al. Automated registration of multi-view point clouds using sphere targets
JP2012128661A (ja) 情報処理装置、情報処理方法及びプログラム
US10089417B2 (en) Structure determination in a geographic area
CN114549738A (zh) 无人车室内实时稠密点云重建方法、***、设备及介质
Ibrahim et al. Multiobjective optimization of reality capture plans for computer vision–driven construction monitoring with camera-equipped UAVs
CN114792338A (zh) 基于先验三维激光雷达点云地图的视觉融合定位方法
KR102077934B1 (ko) 비디오를 이용하여 객체의 가상 리트로피팅을 수행하기 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치
KR102034387B1 (ko) 객체의 가상 리트로피팅을 위한 정렬 데이터 생성 방법 및 이를 수행하는 단말 장치
Meidow et al. Obtaining as-built models of manufacturing plants from point clouds
Aguilar-Moreno et al. A comparison of registration methods for SLAM with the M8 Quanergy LiDAR
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
Durchon et al. Challenges in applying deep learning to augmented reality for manufacturing

Legal Events

Date Code Title Description
GRNT Written decision to grant