KR102669491B1 - 원격 지원을 위한 방법 및 디바이스 - Google Patents
원격 지원을 위한 방법 및 디바이스 Download PDFInfo
- Publication number
- KR102669491B1 KR102669491B1 KR1020237008674A KR20237008674A KR102669491B1 KR 102669491 B1 KR102669491 B1 KR 102669491B1 KR 1020237008674 A KR1020237008674 A KR 1020237008674A KR 20237008674 A KR20237008674 A KR 20237008674A KR 102669491 B1 KR102669491 B1 KR 102669491B1
- Authority
- KR
- South Korea
- Prior art keywords
- machine
- remote
- information
- digital twin
- person
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 230000000007 visual effect Effects 0.000 claims abstract description 96
- 238000009877 rendering Methods 0.000 claims abstract description 75
- 230000000694 effects Effects 0.000 claims abstract description 28
- 230000004044 response Effects 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 16
- 238000007689 inspection Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 9
- 239000011521 glass Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920000136 polysorbate Polymers 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/24—Use of tools
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Medicinal Chemistry (AREA)
- Pure & Applied Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Chemical & Material Sciences (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Entrepreneurship & Innovation (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 개시는 원격 지원을 위한 방법 및 디바이스를 제공한다. 그 방법은, 작업 현장에 전개되는 머신과 동일한 상태에 있도록 상기 머신의 디지털 트윈을 조정하는 단계; 원격 사이트에 있는 원격 사람이 디지털 트윈에 대한 조작을 수행하는 것을 가능하게 하기 위해 원격 사이트에 전개되는 원격 렌더링 디바이스를 사용하여 원격 사이트에 디지털 트윈을 렌더링되게 하는 단계; 작업 현장에 전개되는 로컬 렌더링 디바이스를 사용하여 작업 현장에 있는 머신 상으로 매핑되는 시각적 지원 정보로서 조작의 효과를 렌더링되게 하는 단계를 포함할 수 있다.
Description
본 개시는 원격 지원을 위한 방법 및 디바이스에 관한 것이다.
머신들이 삶과 생산의 다양한 분야들에서 널리 사용된다. 기술들의 발전과 함께, 머신들은 점점 더 많은 능력들을 가지게 되었고 따라서 점점 더 복잡해지고 있다. 사람이 머신을 작동시키거나 또는 수리할 때 다양한 종류들의 문제들에 직면할 수 있다. 현재, 머신을 조작 또는 수리함에 있어서 경험들이 불충분한 사람에게 지원을 제공하기 위해 전문가가 작업 현장에 있는 것이 요구된다. 대안적으로, 문제에 직면한 사람이 오디오 또는 비디오 통신 세션을 통해 원격 전문가에게 연락하여, 자신의 문제들을 구두로 설명하고, 원격 전문가로부터 구두 지시들을 받을 수 있다. 이 문제를 해결하기 위해 몇몇 작업이 행해졌다. 일부 기법들은 원격 가상 현실(virtual reality)(VR) 지원 시스템을 사용하여 원격 전문가 가상 현실 공간에서 가상 비서를 통해 작업자와 통신하는 것을 가능하게 한다. 그들 기법들은, 예컨대 가상 현실 공간에서의 움직임들, 몸짓들, 얼굴 표정들, 대화들, 메시지 창들 등을 통해, 원격 전문가가 작업자에게 말하고 싶은 것을 더 잘 전달하는 대안적인 방식들을 제공함으로써 사람 간 통신과 이해를 촉진하는데 중점을 둔다. 그러나, 때때로, 원격 전문가들이 스스로 명확하게 표현하더라도, 작업자들은 여전히 조작을 적절히 수행하지 못할 수 있다.
사람 간 통신들을 강조하는 현재 방법들의 단점들의 적어도 일부를 해결하기 위하여, 본 개시는 인간-머신 상호작용들에 중점을 둔 원격 지원을 통해 작업자들의 실무 기술들을 개선하는데 도움이 되는 원격 지원 방법 및 디바이스를 제공한다.
다양한 실시예들은 원격 지원을 위한 방법을 제공한다. 그 방법은:
작업 현장에 전개되는 머신과 동일한 상태에 있도록 머신의 디지털 트윈을 조정하는 단계;
원격 사이트에 있는 원격 사람이 디지털 트윈에 대한 조작을 수행하는 것을 가능하게 하기 위해 원격 사이트에 전개되는 원격 렌더링 디바이스를 사용하여 원격 사이트에 디지털 트윈을 렌더링되게 하는 단계; 및
작업 현장에 전개되는 로컬 렌더링 디바이스를 사용하여 작업 현장에 있는 머신 상으로 매핑되는 시각적 지원 정보로서 조작의 효과를 렌더링되게 하는 단계
를 포함할 수 있다.
작업 현장에 있는 머신 상으로 매핑되는 디지털 트윈 상에 원격 사람에 의해 수행되는 조작의 시각적 효과를 제시함으로써, 이 방법은 작업 현장에 있는 작업자의 실무 기술들을 개선하기 위한 직접적인 지원을 제공하며, 따라서 원격 지원을 더 직관적이게 하고 고도로 효율적이게 하여, 태스크를 이행하거나 또는 머신을 수리하는데 실패한 작업자에 의해 야기되는 머신의 조작에 대한 중단을 단축시킬 수 있다.
일부 실시예들에서, 디지털 트윈을 머신의 상태에 있도록 조정하는 절차는:
작업 현장에 있는 디바이스로부터 머신의 상태에 관한 정보를 획득하는 단계; 및
그 정보를 사용하여 디지털 트윈을 조정하는 단계
를 포함할 수 있다.
이와 같이, 작업 현장으로부터 수집된 머신의 정보를 사용하여 디지털 트윈을 조정하는 것은 머신의 시뮬레이션을 더욱 정확해지게 할 수 있다.
일부 실시예들에서, 머신의 상태에 관한 정보를 획득하는 절차는:
머신의 제어 장치로부터 머신의 파라미터들을 정보로서 수신하는 단계; 및
머신에 커플링된 적어도 하나의 센서로부터의 센서 데이터를 정보로서 수신하는 단계
중 적어도 하나를 포함할 수 있다.
머신이 제어 장치에 의해 제어되는 경우, 일부 정보는 제어 장치로부터 직접 수집될 수 있고; 센서들은 또한, 특히 제어 장치가 이용 가능하지 않은 경우, 머신의 상태 정보를 수집하는데 사용될 수 있다는 것을 알 수 있다.
일부 실시예들에서, 그 정보를 사용하여 디지털 트윈을 조정하는 절차는:
디지털 트윈의 시뮬레이션된 상태가 그 정보에 의해 특정된 상태와 동일할 때까지 디지털 트윈의 파라미터들을 수정하는 단계를 포함할 수 있다.
시뮬레이션된 디지털 트윈이 머신과 동일한 상태에 있는지의 여부를 체크하게 위해 그 정보를 사용하면 시뮬레이션된 디지털 트윈이 머신의 상태를 정확히 제시하는 것을 보장할 수 있으며, 따라서 원격 사람이 원격 사이트로부터 머신의 정확한 상태를 이해하고 작업 현장에 있는 사람에게 적절한 지원을 제공하는 것을 용이하게 할 수 있다.
일부 실시예들에서, 디지털 트윈을 원격 사이트에 렌더링되게 하는 절차는:
원격 렌더링 디바이스에 디지털 트윈의 이미지를 제공하는 단계;
원격 사람의 제스처를 캡처하는 원격 디바이스를 사용하여 원격 사람에 의해 조작되고 있는 컴포넌트를 디지털 트윈에서 식별하는 단계;
원격 렌더링 디바이스에 의해 렌더링된 이미지에서 컴포넌트의 시각적 효과를 변경하는 단계
를 포함한다.
이와 같이, 조작에 대한 실시간 피드백을 원격 사람에게 제공함으로써, 원격 사람이 원하는 효과를 얻기 위해 움직임들을 조정하는 것을 가능하게 할 수 있다.
일부 실시예들에서, 작업 현장에 있는 머신 상으로 매핑되는 시각적 지원 정보로서 조작의 효과를 렌더링되게 하는 절차는:
원격 사람에 의해 조작되고 있는 디지털 트윈의 컴포넌트에 대응하는 머신의 컴포넌트를 식별하는 단계;
디지털 트윈에 대한 조작에 의해 야기되는 효과에 따라 조작의 시각적 콘텐츠를 생성하는 단계;
로컬 렌더링 디바이스가 머신의 컴포넌트의 위치에서 시각적 콘텐츠를 렌더링하게 하는 단계
를 포함할 수 있다.
이와 같이, 원격 조작의 대상이 되는 컴포넌트의 위치에서의 시각적 콘텐츠를 렌더링하면 원격 사이트에서 동작되는 물리적 모듈을 사람이 빠르게 로케이팅하는 것을 도울 수 있으며, 따라서 시각적 지원 정보는 더욱 직관적이 되고 도움을 받는 자들이 쉽게 이해하게 된다.
일부 실시예들에서, 로컬 렌더링 디바이스가 머신의 컴포넌트의 위치에서 시각적 콘텐츠를 렌더링하게 하는 절차는:
작업 현장을 묘사하고 머신을 포함하는 작업 현장 이미지를 획득하는 단계;
작업 현장 이미지에서의 컴포넌트에 대응하는 위치에 시각적 콘텐츠를 포함하는 오버레이 이미지를 생성하는 단계; 및
로컬 렌더링 디바이스가 오버레이 이미지를 작업 현장 이미지 상으로 중첩되도록 렌더링하게 하는 단계
를 포함할 수 있다.
시각적 콘텐츠의 이미지를 머신의 이미지에 중첩함으로써, 그 방법은 증강 현실 효과를 생성하며, 따라서 원격 지원을 더욱 효율적이게 할 수 있다.
일부 실시예들에서, 로컬 렌더링 디바이스가 머신의 컴포넌트의 위치에서 시각적 콘텐츠를 렌더링하게 하는 절차는:
머신의 컴포넌트의 위치 및 크기를 획득하는 단계;
컴포넌트의 위치 및 크기에 대응하는 위치 및 크기를 갖는 시각적 콘텐츠를 포함하는 투영 이미지를 생성하는 단계; 및
로컬 렌더링 디바이스가 투영 이미지를 머신 상으로 투영하게 하는 단계
를 포함할 수 있다.
시각적 콘텐츠를 머신 상으로 직접 투영함으로써, 그 방법은 원격 지원을 더욱 효율적이게 할 수 있다.
일부 실시예들에서, 그 방법은 또한:
원격 렌더링 디바이스를 사용하여 제2 조작 ― 제2 조작은 작업 현장에서 로컬 사람에 의해 머신 상에서 수행됨 ― 의 효과의 시각적 콘텐츠를 원격 사이트에 렌더링되게 하는 단계를 포함할 수 있다.
로컬 사람에 의해 수행되는 조작을 원격 사람이 볼 수 있게 함으로써, 그 방법은 원격 사람이 로컬 사람의 조작에서 결함을 발견하고 정확한 지원 및 안내를 로컬 사람에게 제공할 기회를 제공할 수 있다.
일부 실시예들에서, 시각적 콘텐츠는:
머신의 컴포넌트 상에 만들어진 디지털 마크;
손이 조작을 수행함을 제시하는 동영상;
조작 후의 상이한 상태의 컴포넌트를 제시하는 시각적 콘텐츠
중 적어도 하나를 포함할 수 있다.
위에 나열된 시각적 콘텐츠들은 도움을 구하는 당사자와 도움을 제공하는 당사자 사이에 통신되는 정보를 전달하는데 효과적이다.
일부 실시예들에서, 그 방법은 또한:
조작을 제어 커맨드로 변환하는 단계; 및
머신이 제어 커맨드에 의해 특정되는 액션을 수행하게 하는 단계
를 포함할 수 있다.
원격 조작을 머신에 대한 제어 커맨드로 변환함으로써, 그 방법은 원격 사람이 머신을 원격으로 제어하는 것을 가능하게 하며, 따라서 원하는 제어 동작이 작업 현장에서 만든 예제를 통해 도움을 구하는 사람에게 더 잘 전달되게 할 수 있다.
일부 실시예들에서, 그 방법은 또한:
피드백을 제공하기 위해 머신에 의해 가공되는 가공물의 정보가 원격 사람을 위해 원격 렌더링 디바이스에 의해 제시되게 하는 단계;
원격 사람에 의해 가공물에 대해 만들어진 피드백 정보가 로컬 렌더링 디바이스에 의해 제시되게 하는 단계
를 포함할 수 있다.
이와 같이, 가공물의 정보를 원격 사람에 보이게 제시함으로써, 원격 사람은 가공물이 요건들을 충족하는지의 여부를 체크할 수 있으며, 따라서 방법은 원격 품질 체크를 가능하게 하고 로컬 사람이 지원을 통해 기술을 마스터하는 것을 보장할 수 있다.
일부 실시예들에서, 그 방법은 또한:
지원 정보 엔트리를 데이터베이스 안에 저장하는 단계 ― 상기 지원 정보 엔트리는, 상기 원격 사람에 의해 수행되는 조작, 조정된 디지털 트윈의 데이터, 상기 머신의 상기 상태에 관한 정보, 인간-머신 인터페이스를 통해 획득된 상기 머신의 태스크에 관한 정보, 상기 머신에 의해 가공되는 가공물에 관한 정보 중 적어도 하나를 포함함 ―;
지원을 위한 요청에 응답하여, 데이터베이스에 저장되는 지원 정보 엔트리가 요청에서의 정보와 일치한다는 결정에 응답하는 제2 머신의 제2 작업 현장에 전개되는 제2 로컬 렌더링 디바이스를 사용하여 지원 정보 엔트리에서 특정되는 시각적 지원 정보가 제2 머신 상으로 매핑되게 하는 단계
를 포함할 수 있다.
시각적 지원 정보에 관한 정보를 데이터베이스 안으로 저장하고 저장된 정보에 의해 특정되는 시각적 지원 정보를 제2 머신의 작업 현장에서 렌더링함으로써, 그 방법은 원격 사람에 의해 제공되는 시각적 지원 정보를 재사용할 수 있고 언제 어디서나 필요할 때 지원 정보를 이용 가능하게 만들 수 있다는 것을 알 수 있다.
다양한 실시예들은 또한 실시예들 중 어느 하나에 따른 방법을 구현하는 컴퓨팅 디바이스 및 컴퓨터 판독가능 저장 매체를 제공한다.
도 1은 본 개시의 일 실시예에 따른 예시적인 시스템을 도시하는 개략도이다.
도 2는 본 개시의 일 실시예에 따른 다른 예시적인 시스템을 도시하는 개략도이다.
도 3은 본 개시의 일 실시예에 따른 컴퓨팅 디바이스를 예시하는 개략도이다.
도 4는 본 개시의 다양한 실시예들에 따른 원격 지원을 위한 방법을 예시하는 흐름도이다.
도 5a 내지 도 5c는 본 개시의 다양한 실시예들에 따른 작업 렌더링 디바이스에서 렌더링되는 시각적 콘텐츠의 예들을 예시하는 개략도들이다.
도 6은 본 개시의 일 실시예에 따른 프로세싱을 수행하기 위해 머신을 원격 제어하는 프로세스를 예시하는 개략도이다.
도 7은 본 개시의 일 실시예에 따른 작업자 조작의 원격 검사의 프로세스를 예시하는 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 로컬 조작들의 원격 검사를 예시하는 개략도이다.
도 9는 본 개시의 일 실시예에 따른 가공물의 원격 검사를 예시하는 개략도이다.
도 10은 본 개시의 일 실시예에 따른 원격 지원을 제공하는 프로세스를 예시하는 개략도이다.
참조 번호들의 목록
도 2는 본 개시의 일 실시예에 따른 다른 예시적인 시스템을 도시하는 개략도이다.
도 3은 본 개시의 일 실시예에 따른 컴퓨팅 디바이스를 예시하는 개략도이다.
도 4는 본 개시의 다양한 실시예들에 따른 원격 지원을 위한 방법을 예시하는 흐름도이다.
도 5a 내지 도 5c는 본 개시의 다양한 실시예들에 따른 작업 렌더링 디바이스에서 렌더링되는 시각적 콘텐츠의 예들을 예시하는 개략도들이다.
도 6은 본 개시의 일 실시예에 따른 프로세싱을 수행하기 위해 머신을 원격 제어하는 프로세스를 예시하는 개략도이다.
도 7은 본 개시의 일 실시예에 따른 작업자 조작의 원격 검사의 프로세스를 예시하는 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 로컬 조작들의 원격 검사를 예시하는 개략도이다.
도 9는 본 개시의 일 실시예에 따른 가공물의 원격 검사를 예시하는 개략도이다.
도 10은 본 개시의 일 실시예에 따른 원격 지원을 제공하는 프로세스를 예시하는 개략도이다.
참조 번호들의 목록
본 개시 첨부 도면들 및 예들을 참조하여 이하에서 더 상세히 설명될 것이다. 다음의 설명에서, 다수의 특정 세부사항들이 본 개시의 완전한 이해를 제공하기 위하여 언급된다. 그러나, 본 개시는 이들 특정 세부사항들로의 제한 없이 실용화될 수 있다는 것이 명백할 것이다. 다른 경우들에서, 일부 기능들, 방법들 및 구조들은 본 개시를 불필요하게 모호하게 하지 않기 위해서 상세히 설명하지 않았다. 본 개시에서 사용되는 바와 같이, "포함한다"라는 용어는 포함하지만 그것으로 제한되지 않는다는 것을 의미하며, "포함하는"이란 용어는 포함하지만 그것으로 제한되지 않는다는 것을 의미한다. "에 기초하여"라는 용어는 적어도 부분적으로 기초한다는 것을 의미한다. 추가적으로, "a" 및 "an"의 사용에 해당하는 표현은 적어도 하나의 특정 엘리먼트를 나타내려고 의도된다.
사람이 머신을 조작하거나 또는 수리함에 있어서 문제가 있고 작업 현장에 전문가가 없고 문제들에 대한 솔루션이 수동으로 발견될 수 없는 경우, 본 개시의 실시예들은 일하는 사람이 실무 기술들을 신속히 개선하는 것을 돕기 위해 원격 전문가가 타깃이 된 지원 정보를 작업 현장에 있는 사람에 보이게 제공하는 것을 가능하게 할 수 있다.
다양한 실시예들은 상이한 시스템 세팅들로 구현될 수 있고, 두 개의 예시적인 시스템 세팅들은 도 1 및 도 2에서 예시된다.
도 1은 본 개시의 일 실시예에 따른 예시적인 시스템을 도시하는 개략도이다. 도 1에 도시된 바와 같이, 시스템은 작업 현장에 있는 머신(50)과, 머신(50)을 조작 또는 수리하려고 시도하는 사람(이하에서는 로컬 사람(70)이라고 함)을 포함할 수 있다. 본 개시에서 "로컬"은 작업 현장에 근접해 있다는 것을 말한다.
로컬 사람(70)이, 예컨대 머신(50)을 조작 또는 수리함에 있어서, 머신(50)에 문제가 있을 경우, 로컬 사람(70)은 원격 사이트에 있는 원격 사람(80)의 원격 컴퓨팅 디바이스(20)과 네트워크(60)를 통해 통신하기 위해 로컬 컴퓨팅 디바이스(10)를 사용할 수 있다. 본 개시의 "원격"은 작업 현장에서 멀리 떨어져 있다는 것을 말한다. 로컬 컴퓨팅 디바이스(10)는 원격 컴퓨팅 디바이스(20)가 원격 사람(80)에게 원격 렌더링 디바이스(40)를 사용하여 머신(50)의 디지털 트윈의 이미지를 제시하는 것을 가능하게 하기 위해 머신(50)의 실시간 상태에 관한 정보를 제공할 수 있다. 원격 컴퓨팅 디바이스(20)는 디지털 트윈에 대해 원격 사람(80)에 의해 수행되는 조작에 관한 정보를 제공하여, 로컬 컴퓨팅 디바이스가 로컬 사람에게 로컬 렌더링 디바이스(30)를 사용하여 시각적 지원 정보로서 조작의 효과를 제시하는 것을 가능하게 할 수 있다.
도 2는 본 개시의 일 실시예에 따른 다른 예시적인 시스템을 도시하는 개략도이다. 도 2의 시스템은 도 2의 시스템이 서버(90)를 더 포함한다는 점에서 도 1의 시스템과 상이하다. 로컬 컴퓨팅 디바이스(10)와 원격 컴퓨팅 디바이스(20)는 서버(90)와 통신한다.
서버(90)는 머신(50)에 관한 실시간 정보를 프로세싱할 수 있다. 머신(50)에 관한 정보는 로컬 컴퓨팅 디바이스(10)에 의해, 또는 데이터 취득(data acquisition)(DAQ) 디바이스, 산업 인터넷에서의 호스팅 컴퓨터 등과 같은 다른 로컬 디바이스(도시되지 않음)에 의해 제공될 수 있다.
서버(90)는 머신(50)의 실시간 상태를 제시하는 디지털 트윈을 제공할 수 있다. 예를 들어, 서버(90)는 머신(50)의 디지털 트윈의 데이터를 미리 저장할 수 있고, 머신(50)의 실시간 상태를 시뮬레이션하기 위해 디지털 트윈의 파라미터들을 조정할 수 있다. 일부 예들에서, 서버(90)는 디지털 트윈의 (2D 또는 3D) 이미지를 원격 컴퓨팅 디바이스(20)에 제공하고, 디지털 트윈의 머신(50)과의 실시간 동기화를 성취하기 위해서, 머신(50)의 상태에서의 변경에 응답하여, 각각의 조정 후에 디지털 트윈의 업데이트된 이미지를 디지털 트윈에 제공할 수 있다. 일부 다른 예들에서, 서버(90)는 디지털 트윈의 머신(50)과의 실시간 동기화를 성취하기 위해 디지털 트윈의 데이터를 원격 컴퓨팅 디바이스(20)에게 제공하고 원격 컴퓨팅 디바이스(20)에서 디지털 트윈의 파라미터들을 업데이트할 수 있다.
서버(90)는, 다음 실시예들에서 설명되는 것들과 같이, 로컬 컴퓨팅 디바이스(10)와 원격 컴퓨팅 디바이스(20) 간에 다른 통신들을 또한 가능하게 할 수 있다.
서버(90), 로컬 컴퓨팅 디바이스(10) 및 원격 컴퓨팅 디바이스(20)는, 도 3에 도시된 것과 같이, 유사한 물리적 구조들을 가질 수 있다. 도 3은 본 개시의 일 실시예에 따른 컴퓨팅 디바이스를 예시하는 개략도이다.
도 3에 도시된 바와 같이, 컴퓨팅 디바이스는 프로세서(들)(21), 메모리(22), I/O 인터페이스(23), 네트워크 통신 인터페이스(24), 및 컴포넌트들 사이의 통신들을 가능하게 하는 커플링 메커니즘(29)을 포함할 수 있다.
I/O 인터페이스(23)는 입력 인터페이스들, 출력 인터페이스들과 같은 인간/머신 인터페이스(들)를 포함할 수 있다. 입력 인터페이스들은 키보드, 마우스, 트랙패드, 터치 스크린, 데이터-장갑, 조이스틱, 마이크로폰, 스캐너, 카메라 등 중 하나 이상과 상호작용할 수 있다. 출력 인터페이스들은 촉각 출력 디바이스들(예를 들어 터치스크린, 데이터-장갑, 또는 조이스틱에 의한 촉각 피드백이지만, 또한 입력 디바이스들로서 역할을 하지 않는 촉각 피드백 디바이스들이 있을 수 있음), 오디오 출력 디바이스들(이를테면 스피커들, 헤드폰들), 시각적 출력 디바이스들(이를테면 CRT 스크린들, LCD 스크린들, 플라즈마 스크린들, OLED 스크린들을 포함하는 스크린들이며, 각각은 터치스크린 입력 능력이 있거나 또는 없으며, 각각은 촉각 피드백 능력이 있거나 또는 없으며 ― 그것들의 일부는 스테레오그래픽 출력과 같은 수단; 가상 현실 안경, 홀로그래픽 디스플레이들을 통해 2차원 시각적 출력 또는 3차원 초과 차원 출력을 출력할 수 있음), 및 프린터들과 상호작용할 수 있다.
네트워크 통신 인터페이스(24)는 하나 이상의 통신 네트워크들에 대한 인터페이스를 제공할 수 있다. 네트워크들은 예를 들어 무선, 와이어라인, 광학적일 수 있다. 네트워크들은 추가로 로컬, 광역, 대도시, 차량 및 산업, 실시간, 지연 허용 등일 수 있다. 네트워크들의 예들은 이더넷과 같은 근거리 네트워크들, 무선 LAN들, GSM, 3G, 4G, 5G, LTE 등을 포함하는 셀룰러 네트워크들, 케이블 TV, 위성 TV, 및 지상파 브로드캐스트 TV를 포함하는 TV 와이어라인 또는 무선 광역 디지털 네트워크들, CANBus를 포함하는 차량 및 산업 등을 포함한다. 특정한 네트워크들은 일반적으로 특정한 범용 데이터 포트들 또는 주변기기 버스들에 부착되는 외부 네트워크 인터페이스 어댑터들을 요구하며; 다른 것들은 일반적으로 커플링 메커니즘(24)에 의한 부착에 의해 프로세서(들)(21) 속으로 (예를 들어 이더넷 인터페이스가 PC 컴퓨터 시스템 속으로 또는 셀룰러 네트워크 인터페이스가 스마트폰 컴퓨터 시스템 속으로) 통합된다. 이들 네트워크들 중 임의의 것을 사용하여, 컴퓨팅 디바이스는 다른 엔티티들과 통신할 수 있다. 이러한 통신은 예를 들어 로컬 또는 광역 디지털 네트워크들을 사용하여 다른 컴퓨터 시스템들에 단방향, 수신 전용(예를 들어, 브로드캐스트 TV), 단방향 전송 전용(예를 들어 특정 CANbus 디바이스들에 대한 CANbus), 또는 양방향일 수 있다. 특정한 프로토콜들 및 프로토콜 스택들이 위에서 설명된 바와 같은 그 네트워크들 및 네트워크 인터페이스들의 각각에서 사용될 수 있다.
프로세서(들)(21)는 메모리(22)에 저장되는 컴퓨터 판독가능 명령어들을 실행하여 다양한 동작들을 수행할 수 있다.
메모리(22)는 운영 체제(25), I/O 인터페이스(23)와 상호작용되는 데이터를 프로세싱하기 위한 I/O 모듈(26), 네트워크 통신 인터페이스(24)와 상호작용되는 데이터를 프로세싱하기 위한 통신 모듈(27), 및 원격 지원 모듈(28)을 포함할 수 있다.
원격 지원 모듈(28)은 다양한 실시예들의 방법을 수행하기 위해 프로세서(들)(21)에 의해 실행 가능한 컴퓨터 판독가능 명령어들의 형태로 구현될 수 있다. 다른 실시예들에서, 원격 지원 모듈(28)은 비용 및 효율 고려사항들에 기초한 하드웨어 모듈들에 의해 구현될 수 있다.
원격 지원 모듈(28)은 데이터 수집 모듈(281), 시뮬레이션 모듈(282) 및 시각화 모듈(283)을 포함할 수 있다.
데이터 수집 모듈(281)은 작업 현장 및/또는 원격 사이트로부터 데이터를 획득할 수 있다. 이러한 데이터는, 예를 들어, 머신(50)의 실시간 상태에 관한 정보, 로컬 사람(27) 및/또는 원격 사람(28)의 입력들, 머신(50)에 의해 가공되는 가공물에 관한 정보 등을 포함할 수 있다.
시뮬레이션 모듈(282)은 머신(50)의 실시간 상태를 시뮬레이션하기 위해 미리 정의된 디지털 트윈을 조정할 수 있다.
시각화 모듈(283)은 디지털 트윈 및/또는 로컬 사람(27) 및/또는 원격 사람(28)의 입력들이 로컬 사람(27) 및/또는 원격 사람(28)에게 가시적이게 만들 수 있다.
컴퓨팅 디바이스에 의해 수행되는 프로세스에 관한 세부사항들은 다양한 실시예들을 참조하여 이하에서 설명된다.
다양한 실시예에서, 머신(50)의 실제 상태는 원격 사람(80)이 머신(50)의 상태의 구두 설명에만 의존하는 것과 비교하여 머신(50)의 상태의 포괄적인 이해를 신속하게 얻는 것을 가능하게 하기 위해 원격 사람(80)에게 가시적이게 된다. 도 4는 본 개시의 다양한 실시예들에 따른 원격 지원을 위한 방법을 예시하는 흐름도이다. 그 방법은 서버(90), 로컬 컴퓨팅 디바이스(10), 또는 원격 컴퓨팅 디바이스(20)와 같은 컴퓨팅 디바이스에 의해 수행될 수 있다. 도 4에 도시된 바와 같이, 그 방법은 다음 절차들을 포함할 수 있다.
블록 S11에서, 컴퓨팅 디바이스는 작업 현장에 전개되는 머신과 동일한 상태(50)에 있도록 머신(50)의 디지털 트윈을 조정할 수 있다.
머신(50)은 전력 생성, 제조, 측정, 테스팅 등과 같은 특정한 목적들을 위한 임의의 기계적 또는 전기적 장치일 수 있다. 작업 현장은 머신(50)이 위치되는 장소를 말한다.
디지털 트윈은 물리적 상대물의 성능 특성들을 이해하고 예측하는데 사용되는 물리적 제품 또는 프로세스의 가상 표현을 말한다. 머신(50)의 디지털 트윈은 머신(50)의 물리적 구조와 동일한 가상 구조를 가지며, 머신(50)의 기계적 또는 전기적 특성들과 동일한 가상 특성들을 나타내고, 머신(50)의 내부 절차들 및/또는 컴포넌트들의 움직임들을 시뮬레이션할 수 있다.
머신(50)의 상태는 머신(50)의 물리적 및/또는 전기적 컨디션들을 말할 수 있다. 상태는 다음 정보, 이를테면, 전압, 전류, 샤프트의 회전 속력, 가동 컴포넌트의 속력, 컴포넌트의 위치, 머신에 의해 출력되는 측정 데이터, 머신에 의해 출력되는 경고 신호 등 중 하나 또는 다수의 것들로 구현될 수 있다. 머신(50)의 상태에 관한 정보는 머신(50)에 내장되는 제어 유닛, 또는 머신(50)의 자립형 제어 디바이스, 또는 머신(50)에 커플링되는 센서들에 의해 제공될 수 있다. 컴퓨팅 디바이스는 정보를 수집한 디바이스들과의 직접 통신 연결로부터, 또는 다른 디바이스 또는 네트워크를 통해 간접적으로, 정보를 획득할 수 있다.
블록 S12에서, 컴퓨팅 디바이스는 원격 사이트에 있는 원격 사람(80)이 디지털 트윈에 대한 조작을 수행하는 것을 가능하게 하기 위해 원격 사이트에 전개되는 원격 렌더링 디바이스(40)를 사용하여 원격 사이트에 디지털 트윈을 렌더링되게 할 수 있다.
원격 사이트는 컨설팅을 받고 있는 원격 사람(80)이 위치되는 그리고 작업 현장에서 멀리 떨어져 있는 장소를 말한다.
원격 렌더링 디바이스는 스크린을 갖는 시각적 출력 디바이스, 또는 입체 출력을 제공할 수 있는 출력 디바이스, 이를테면 가상 현실 안경, 홀로그램 디스플레이들 등일 수 있다.
컴퓨팅 디바이스는 원격 사람(80)이, 예컨대 입력 디바이스를 통해, 렌더링된 디지털 트윈에 대한 조작들을 수행하는 것을 가능하게 할 수 있다. 입력 디바이스는, 예를 들어, 키보드, 마우스, 트랙패드, 터치 스크린, 데이터-장갑, 조이스틱, 마이크로폰, 스캐너, 카메라 등으로부터 선택될 수 있다. 예를 들어, 컴퓨팅 디바이스는, 예컨대, 데이터-장갑을 통해 원격 사람(80)의 모션을 캡처할 수 있고, 캡처된 모션을 사용하여 커서의 움직임들을 유발하여 원격 사이트에서 조작되고 있는 렌더링된 시각적 콘텐츠에서의 엘리먼트를 결정할 수 있다. 다른 예를 들어, 컴퓨팅 디바이스는, 예컨대 하나 또는 다수의 카메라들을 통해, 원격 사람(80)의 몸짓들을 캡처할 수 있고, 캡처된 몸짓들을 사용하여 원격 사이트에 있는 디지털 트윈의 이미지의 상단에 시뮬레이션된 손의 움직임들을 야기할 수 있다. 다른 예들은 상이한 입력 디바이스들 또는 입력 디바이스들의 상이한 조합들을 사용하여 디지털 트윈에 대한 원격 사람(80)의 조작을 캡처할 수 있다. 그 조작은, 예를 들어, 디지털 트윈의 컴포넌트를 강조표시하는 것, 특정된 위치에 마크를 추가하는 것, 디지털 트윈의 컴포넌트의 상태(예컨대, 공간적 위치, 각 위치, 온/오프 상태 등)를 변경하는 것, 디지털 트윈의 컴포넌트를 조작하는 액션들을 수행하는 것 등으로부터 선택될 수 있다.
블록 S13에서, 컴퓨팅 디바이스는 작업 현장에 전개되는 로컬 렌더링 디바이스를 사용하여 작업 현장에 있는 머신(50) 상으로 매핑되는 시각적 지원 정보로서 조작의 효과를 렌더링되게 할 수 있다.
조작의 효과는 예컨대, 마크가 디지털 트윈의 렌더링된 이미지에서의 위치에 추가되는 것, 시뮬레이션된 손이 디지털 트윈의 컴포넌트를 조작하는 것, 디지털 트윈의 컴포넌트의 상태에서의 변경 등과 같은 수행되는 조작을 통해 원격 사람(80)에 의해 디지털 트윈에 대해 또는 디지털 트윈의 이미지에 대해 이루어진 변경들을 말한다.
컴퓨팅 디바이스는 조작의 효과를 머신(50) 상으로 매핑할 수 있고 그 효과를 작업 현장에서의 시각적 지원 정보로서 렌더링되게 할 수 있다. 일부 예들에서, 로컬 렌더링 디바이스(30)는 머신(50)의 이미지를 통해 시각적 지원 정보를 렌더링할 수 있다. 일부 다른 예들에서, 로컬 렌더링 디바이스(30)는 시각적 지원 정보를 머신(50) 상으로 투영할 수 있다.
이와 같이, 작업 현장에 있는 머신 상으로 매핑되는 디지털 트윈 상에 원격 사람에 의해 수행되는 조작의 시각적 효과를 제시함으로써, 그 방법은 원격 지원 사람에 의해 작업 현장에 있는 작업자의 실무 기술들을 개선하기 위한 직접적인 지원을 제공할 수 있으며, 따라서 원격 지원을 더 직관적이게 하고 고도로 효율적이게 하고, 태스크를 이행하거나 또는 머신을 수리하는데 실패한 작업자에 의해 야기되는 머신의 조작에 대한 중단을 단축시킨다.
디지털
트윈을
사용한
머신의
실시간 시뮬레이션
디지털 트윈을 구축하는 것은 다중-물리 시뮬레이션, 데이터 분석, 및 머신 러닝 능력들과 같은 기법들을 수반한다. 기존에는, 디지털 트윈들이 설계 변경들, 사용 시나리오들, 환경적 상황, 및 다른 변수들의 영향을 입증하는데 사용되며, 따라서 물리적 프로토타입을 구축할 필요를 없앨 수 있으며, 개발시간을 줄일 수 있고, 최종 제품 또는 프로세스의 품질을 개선할 수 있다.
본 개시의 다양한 실시예들은 디지털 트윈들의 머신들의 정확한 모델링을 이용하고, 디지털 트윈을 사용하여 원격 사이트에 있는 머신의 실시간 상태 또는 성능을 제시하여 머신 조작, 머신 장애 진단 등에서 원격 지원을 가능하게 한다.
머신(50)의 실시간 성능을 정확하게 시뮬레이션하기 위해, 컴퓨팅 디바이스는 작업 현장에 있는 디바이스로부터 머신의 상태에 관한 정보(50)를 획득할 수 있고, 그 정보를 사용하여 디지털 트윈을 조정할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스는 머신(50)의 제어 장치로부터의 머신(50)의 파라미터들을 정보로서 수신할 수 있다. 일부 예들에서, 그 파라미터들은 머신(50)의 동작 파라미터들을 포함할 수 있다. 동작 파라미터들은 머신(50)의 조작들, 예컨대, 전력 공급 파라미터들, 머신(50)의 가동 부분의 모션 파라미터들 등에 관련된 파라미터들을 말한다. 일부 예들에서, 그 파라미터들은 프로세스 파라미터들을 포함할 수 있다. 프로세스 파라미터들은 모니터링 또는 제어되고 있는 프로세스의 특정 부분의 현재 측정된 값을 말한다. 다른 예들에서, 다른 파라미터들이 정보로서 획득될 수 있다. 이와 같이, 작업 현장으로부터 수집된 머신의 정보를 사용하여 디지털 트윈을 조정하는 것은 머신의 시뮬레이션을 더욱 정확해지게 할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스는 머신(50)에 커플링된 적어도 하나의 센서로부터의 센서 데이터를 정보로서 수신할 수 있다. 센서들은 일반적으로 머신(50)에 커플링되어, 이상 검출, 오프셋 정정 등과 같은 목적들을 위해 실시간 성능, 작동 조건들, 및 머신(50)의 시간에 따른 변경들을 결정한다. 컴퓨팅 디바이스는 머신(50)의 디지털 트윈을 조정하기 위한 정보로서 센서 데이터를 사용할 수 있다.
머신이 제어 장치에 의해 제어되는 경우, 일부 정보는 제어 장치로부터 직접 수집될 수 있고; 센서들은 또한, 특히 제어 장치가 이용 가능하지 않은 경우, 머신의 상태 정보를 수집하는데 사용될 수 있다는 것을 알 수 있다. 다른 실시예들에서, 컴퓨팅 디바이스는 머신(50)에 관한 다른 데이터를 정보로서 획득할 수 있다.
컴퓨팅 디바이스는 작업 현장에 있는 하나 또는 다수의 디바이스들로부터 정보를 획득할 수 있다. 일 예에서, 정보를 제공하는 작업 현장에 있는 디바이스는, OPC(OLE for Process Control) UA(Unified Architecture)와 같은 데이터 송신 인터페이스를 갖는, 머신(50)에 내장되는 제어 장치, 예컨대, 마이크로제어기, CNC 머신의 컴퓨터 제어 유닛 등을 포함할 수 있다. 다른 예에서, 정보를 제공하는 작업 현장에 있는 디바이스는 머신(50)의 자립형 제어 디바이스, 예컨대, 드라이브, 워크 스테이션, 호스팅 컴퓨터 등을 또한 포함할 수 있다. 또 다른 예에서, 정보를 제공하는 작업 현장에 있는 디바이스는 하나 또는 다수의 데이터 소스들로부터 머신(50)의 실시간 데이터를 수집하는 데이터 취득(DAQ) 디바이스, 에지 디바이스 등을 또한 포함할 수 있다. 상기한 바는 일부 예들일 뿐이고, 컴퓨팅 디바이스는 다른 예들에서 다른 디바이스들로부터 정보를 획득할 수 있다.
컴퓨팅 디바이스는 적시에 그리고 정확한 원격 지원을 가능하게 하기 위해 원격 지원 프로세스 내내 머신(50)에 대한 임의의 변경을 반영하도록 디지털 트윈을 지속적으로 업데이트하는데 그 정보를 사용할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스는 디지털 트윈의 시뮬레이션된 상태가 그 정보에 의해 특정된 상태와 동일할 때까지 디지털 트윈의 파라미터들을 수정할 수 있다.
시뮬레이션된 디지털 트윈이 머신과 동일한 상태에 있는지의 여부를 체크하게 위해 그 정보를 사용하면 시뮬레이션된 디지털 트윈이 머신의 상태를 정확히 제시하는 것을 보장할 수 있으며, 따라서 원격 사람이 원격 사이트로부터 머신의 정확한 상태를 이해하고 작업 현장에 있는 사람에게 적절한 지원을 제공하는 것을 용이하게 할 수 있다.
일 예에서, 서버(90)는 서버 클러스터에서의 또는 클라우드 시스템에서의 서버 디바이스이다. 서버(90)는 머신 도구들의 디지털 트윈 모델들을 저장하는 데이터베이스에 액세스할 수 있다. 로컬 컴퓨팅 디바이스(10)로부터 원격 지원 요청을 수신한 후, 서버(90)는 원격 지원 요청에서 특정되는 머신 도구에 대응하는 디지털 트윈 모델을 식별할 수 있다. 서버(90)는 머신 도구의 작업 현장으로부터 DAQ 디바이스에 의해 지속적으로 보고되는 머신 도구들의 성능 정보를 기록하는 데이터베이스로부터 머신 도구의 현재 상태에 관한 정보를 획득할 수 있다. 서버(90)는 머신 도구의 상태로 디지털 모델을 조정할 수 있고, 머신 도구의 실시간 동기 디지털 트윈 모델을 원격 컴퓨팅 디바이스(20)에 송신한다. 원격 사람(80)은 AR 안경 및 AR 장갑들을 통해 디지털 트윈 모델과 상호작용할 수 있다. 원격 컴퓨팅 디바이스(20)는 원격 사람(80)의 디지털 트윈 모델과의 상호작용들을 서버(90)에 송신할 수 있다. 서버(90)는 원격 사람(80)의 조작들을 시뮬레이션할 수 있고, 그 조작들의 효과들을 로컬 컴퓨팅 디바이스(10)에 송신할 수 있다. 로컬 컴퓨팅 디바이스(10)는 AR 디바이스, 예컨대, 로컬 사람(70)이 착용한 AR 안경을 사용하여 시각적 원격 지원 정보로서 그 효과들을 렌더링할 수 있다.
원격 사이트에서의 렌더링
원격 사람(80)이 머신(50)의 상태의 포괄적인 이해를 신속히 얻는 것을 가능하게 하기 위해, 디지털 트윈의 2D 또는 3D 중 어느 하나의 이미지는 원격 사이트에 있는 원격 렌더링 디바이스(40)에 의해 렌더링될 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스는 디지털 트윈의 이미지를 원격 렌더링 디바이스(40)에 제공할 수 있으며, 원격 사람의 제스처를 캡처하는 원격 디바이스를 사용하여 원격 사람(80)이 조작되고 있는 컴포넌트를 디지털 트윈에서 식별할 수 있고, 원격 렌더링 디바이스에 의해 렌더링된 이미지에서 컴포넌트의 시각적 효과를 변경할 수 있다.
일 예에서, 로컬 컴퓨팅 디바이스(10)는 머신(50)의 상태에 따라 디지털 트윈을 조정할 수 있고, 디지털 트윈의 이미지를 원격 렌더링 디바이스(40)를 통해 이미지를 렌더링하는 원격 컴퓨팅 디바이스(20)에 송신할 수 있다.
다른 예에서, 원격 컴퓨팅 디바이스(20)는 로컬 컴퓨팅 디바이스(10) 또는 DAQ 디바이스로부터 머신(50)에 관한 정보를 획득할 수 있으며, 디지털 트윈을 그에 따라 조정할 수 있고, 디지털 트윈의 이미지를 원격 렌더링 디바이스(40)를 사용하여 렌더링할 수 있다.
또 다른 예에서, 서버(90)는 로컬 컴퓨팅 디바이스(10) 또는 DAQ 디바이스로부터 머신(50)에 관한 정보를 획득할 수 있으며, 디지털 트윈을 그에 따라 조정할 수 있고, 원격 렌더링 디바이스(40)를 사용하여 이미지를 렌더링하는 원격 컴퓨팅 디바이스(20)에 디지털 트윈의 이미지를 송신할 수 있다.
상기한 바는 일부 예들일 뿐이며, 다른 예들에서, 로컬 컴퓨팅 디바이스(10), 원격 컴퓨팅 디바이스(20) 및 서버(90)는 머신(50)의 디지털 트윈을 원격 렌더링 디바이스(40)에서 렌더링되게 하기 위해 상이한 방식으로 연동할 수 있다.
이와 같이, 조작에 대한 실시간 피드백을 원격 사람에게 제공함으로써, 원격 사람이 원하는 효과를 얻기 위해 움직임들을 조정하는 것을 가능하게 할 수 있다.
작업 현장에서의 렌더링
원격 사람(80)이 렌더링된 디지털 트윈에 기초하여 조작을 수행함으로써 지원 정보를 입력한 후, 지원 정보는 로컬 사람(70)이 지원된 정보를 쉽게 이해하도록 하기 위해 시각적 콘텐츠의 형태로 작업 현장에서 렌더링될 수 있다. 원격 지원의 더 나은 효과들을 성취하기 위해, 시각적 지원 정보는, 지원 정보에서 관련된 컴포넌트 또는 조작을 명확하게 식별하기 위해서, 작업 현장에 있는 머신(50) 상으로 매핑될 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스는 원격 사람(80)이 동작하고 있는 디지털 트윈의 컴포넌트에 대응하는 머신(50)의 컴포넌트를 식별할 수 있으며, 디지털 트윈에 대한 조작에 의해 야기되는 효과에 따라 조작의 시각적 콘텐츠를 생성할 수 있고, 로컬 렌더링 디바이스(30)가 머신(50)의 컴포넌트의 위치에 그 시각적 콘텐츠를 렌더링하게 할 수 있다. 이와 같이, 원격 조작의 대상이 되는 컴포넌트의 위치에서의 시각적 콘텐츠를 렌더링하면 원격 사이트에서 동작되는 물리적 모듈을 사람이 빠르게 로케이팅하는 것을 도울 수 있으며, 따라서 시각적 지원 정보는 더욱 직관적이 되고 도움을 받는 자들이 쉽게 이해한다.
시각적 콘텐츠는 로컬 사람(70)을 돕기 위해 원격 사람(80)에 의해 의도되는 임의의 효과일 수 있다. 도 5a 내지 도 5c는 본 개시의 다양한 실시예들에 따른 로컬 렌더링 디바이스(30)에서 렌더링되는 시각적 콘텐츠의 예들을 예시하는 개략도들이다.
예를 들어, 시각적 콘텐츠는 머신(50)의 컴포넌트에 대해 만들어진 디지털 마크일 수 있다. 도 5a에 도시된 바와 같이, 원격 사람(80)은 디지털 트윈의 이미지에 마크(32)를 그리기 위한 원격 컴퓨팅 디바이스(20)에 의해 사용자 인터페이스에 제공되는 옵션을 통해 선택할 수 있다. 마크(32)는 디지털 트윈의 제어 패널의 버튼 상에 만들어질 수 있다. 컴퓨팅 디바이스는 로컬 렌더링 디바이스(30)가 머신(50)의 제어 패널(31) 상의 해당 버튼의 위치에 마크(32)의 시각적 콘텐츠를 렌더링하게 할 수 있다. 작업 현장 및/또는 원격 사이트에서의 렌더링된 시각적 효과는 도 5a에서 도시된 바와 같을 수 있다.
다른 예를 들어, 시각적 콘텐츠는 조작 후의 상이한 상태로 컴포넌트를 제시하는 시각적 콘텐츠일 수 있다. 도 5b에 도시된 바와 같이, 원격 사람(80)은 디지털 트윈의 컴포넌트를 조작할 것을 원격 컴퓨팅 디바이스(20)에 의해 사용자 인터페이스에 제공되는 옵션을 통해 선택할 수 있다. 컴퓨팅 디바이스는 머신(50)의 해당하는 물리적 컴포넌트의 위치에서의 원격 사람(80)의 조작 후에 로컬 렌더링 디바이스(30)가 그 컴포넌트의 시각적 콘텐츠(예컨대, 외관)를 렌더링하게 할 수 있다. 도 5b에 도시된 바와 같이, 원격 사람(80)은 다른 값을 가리키도록 디지털 트윈의 제어 패널 상의 노브(33)를 돌리는 조작을 수행하며, 노브(33)의 외관은 머신(50)의 제어 패널(31) 상의 해당 노브를 통해 다른 값을 가리키도록 렌더링될 수 있다.
또 다른 예를 들어, 시각적 콘텐츠는 손이 조작을 수행함을 제시하는 동영상일 수 있다. 도 5c에 도시된 바와 같이, 원격 사람(80)은, 원격 컴퓨팅 디바이스(20)에 의해 사용자 인터페이스에 제공되는 옵션을 통해, 디지털 트윈을 사용하여 시범 조작을 수행할 것을 선택할 수 있다. 컴퓨팅 디바이스는 로컬 렌더링 디바이스(30)가 디지털 트윈의 조작된 컴포넌트에 대응하는 물리적 컴포넌트의 위치에서 시범 조작의 시각적 콘텐츠를 렌더링되게 할 수 있다. 도 5c에 도시된 바와 같이, 원격 사람(80)은 디지털 트윈의 크랭크를 돌리는 조작을 수행할 수 있고, 시계 방향으로 움직이는 손(34)의 동영상은 머신(50)의 크랭크(35)를 통해 렌더링될 수 있다.
상기한 바는 작업 현장에서 렌더링된 시각적 지원 정보를 예시하기 위한 일부 예들일 뿐이다. 다른 실시예들은 필요에 따라 다른 유형들의 시각적 지원 정보를 렌더링할 수 있다.
시각적 콘텐츠들이 의도된 조작을 전달하는데 구두 설명들보다 더 효율적이므로, 본 개시의 실시예들은 원격 지원 효과들을 개선시킬 수 있다.
다양한 실시예들에서, 컴퓨팅 디바이스는 다양한 가능한 기법들을 사용하여 시각적 지원 정보가 렌더링되는 컴포넌트의 위치를 식별할 수 있다. 예를 들어, 컴퓨팅 디바이스는 패턴 인식 기법들을 사용하여 또는 이미지 프로세싱을 위한 머신 러닝 시스템 등을 사용하여 작업 현장의 캡처된 이미지에서 위치 또는 컴포넌트를 식별할 수 있다. 일 예에서, 컴퓨팅 디바이스는 먼저 작업 현장의 실시간 이미지에서 머신(50)의 위치 및 자세를 식별할 수 있다. 그 다음에, 컴퓨팅 디바이스는 이미지에서 관련된 컴포넌트가 존재하는지의 여부를 체크할 수 있다. 컴포넌트가 이미지에 존재하지 않는다는 결정에 응답하여, 컴퓨팅 디바이스는 관련된 컴포넌트를 포함하는 작업 현장의 다른 이미지를 획득하기 위해 이동할 것을 로컬 사람에게 프롬프트하는 정보를 전송할 수 있다. 작업 현장의 이미지에서 컴포넌트의 위치를 식별한 후, 컴퓨팅 디바이스는 가상 동작이 물리적 머신(50)에 대해 수행된다는 효과를 제시하도록 시각적 지원 정보를 적절한 위치에 매핑하기 위해서 시각적 지원 정보가 컴포넌트의 위치에 렌더링되게 할 수 있다.
다양한 방법들이 시각적 지원 정보를 물리적 머신(50)에 매핑하기 위해 채택될 수 있다. 다음은 예시 목적만을 위한 두 가지 예들이다.
예 1: 이미지 중첩
일부 실시예들에서, 컴퓨팅 디바이스는 시각적 콘텐츠를 포함하는 이미지를 머신(50)의 이미지 상으로 중첩함으로써 로컬 렌더링 디바이스(30)가 머신(50)의 컴포넌트의 위치에 시각적 콘텐츠를 렌더링하게 할 수 있다. 일 예로서, 컴퓨팅 디바이스는 작업 현장을 묘사하고 머신을 포함하는 작업 현장 이미지를 획득할 수 있으며, 작업 현장 이미지에서의 컴포넌트에 대응하는 위치에 시각적 콘텐츠를 포함하는 오버레이 이미지를 생성할 수 있고, 로컬 렌더링 디바이스(30)가 작업 현장 이미지 상으로 중첩되는 오버레이 이미지를 렌더링하게 할 수 있다.
일부 실시예들에서, 로컬 렌더링 디바이스(30)는 로컬 사람(70)이 착용한 AR 안경일 수 있다. 일 예에서, 컴퓨팅 디바이스는 AR 안경에 의해 캡처된 머신(50)의 제어 패널(31) 또는 크랭크(35)의 이미지들을 가지기 위해 적절한 위치로 이동할 것을 로컬 사람에게 프롬프트할 수 있고, AR 안경이 마크(32)에 대응하는 시각적 콘텐츠, 또는 노브(33)의 외관, 또는 시뮬레이션된 손(34)의 움직임들을 보여주는 동영상이 작업 현장의 이미지에서 제어 패널(31) 또는 크랭크(35)에 대응하는 영역 상으로 중첩되게 하여, 도 5a 내지 5c에 도시된 바와 같은 렌더링 효과들을 성취할 수 있다.
시각적 콘텐츠의 이미지를 머신의 이미지에 중첩함으로써, 그 방법은 증강 현실 효과를 생성하며, 따라서 원격 지원을 더욱 효율적이게 할 수 있다.
예 2: 이미지 투영
일부 실시예들에서, 컴퓨팅 디바이스는 시각적 콘텐츠를 머신(50)의 적절한 위치에 투영함으로써 로컬 렌더링 디바이스(30)가 머신(50)의 컴포넌트의 위치에 시각적 콘텐츠를 렌더링하게 할 수 있다. 일 예로서, 컴퓨팅 디바이스는 머신(50)의 컴포넌트의 위치 및 크기를 획득할 수 있으며, 컴포넌트의 위치 및 크기에 대응하는 위치 및 크기를 갖는 시각적 콘텐츠를 포함하는 투영 이미지를 생성할 수 있고, 로컬 렌더링 디바이스(30)가 투영 이미지를 머신(50) 상으로 투영하게 할 수 있다.
일부 실시예들에서, 로컬 렌더링 디바이스(30)는 머신(50) 근처에 전개되거나 로컬 사람(70)이 착용한 착용가능 디바이스에서 전개되는 하나 또는 다수의 프로젝터들일 수 있다. 일 예에서, 컴퓨팅 디바이스는, 로컬 사람(70)이 착용한 착용가능 디바이스에서의 카메라를 사용하여 머신(50)의 제어 패널(31) 또는 크랭크(35)를 포함하는 이미지를 캡처하기 위한 적절한 위치로 이동할 것을 로컬 사람에게 프롬프트할 수 있으며, 그 이미지에서 제어 패널(31) 또는 크랭크(35)의 위치 및 크기가 식별될 수 있으며, 마크(32), 또는 노브(33)의 외관, 또는 대응하는 위치 및 대응하는 크기를 갖는 시뮬레이션된 손(34)의 움직임들을 보여주는 동영상을 포함하는 이미지(들)를 생성할 수 있고, 프로젝터가 그 이미지(들)를 머신(50) 상으로 투영하게 하여, 도 5a 내지 5c에 도시된 바와 같은 렌더링 효과들을 성취할 수 있다.
시각적 콘텐츠를 머신 상으로 직접 투영함으로써, 그 방법은 원격 지원을 더욱 효율적이게 할 수 있다.
데모를 위한
머신(50)의
원격 제어
일부 실시예들에서, 원격 사람(80)은, 예를 들어 머신(50)이 가공물을 적절하게 가공하는 방법을 로컬 사람에게 보여주기 위해, 원격 제어를 통해 머신(50)에 대한 조작을 수행하도록 UI에서의 옵션을 통해 선택할 수 있다. 컴퓨팅 디바이스는 원격 사람(80)에 의해 수행되는 조작을 제어 커맨드로 변환할 수 있고, 머신(50)으로 하여금 제어 커맨드에 의해 특정된 액션을 수행하게 할 수 있다.
도 6은 본 개시의 일 실시예에 따른 프로세싱을 수행하기 위해 머신을 원격 제어하는 프로세스를 예시하는 개략도이다. 도 6에 도시된 바와 같이, 프로세스는 다음 절차들을 포함할 수 있다.
블록 S21에서, 컴퓨팅 디바이스는 전문가를 호출하기 위한 요청을 수신한다.
컴퓨팅 디바이스가 로컬 컴퓨팅 디바이스(10)인 경우, 로컬 컴퓨팅 디바이스(10)는 그 요청을 사용자 인터페이스를 통해 수신할 수 있다.
컴퓨팅 디바이스가 원격 컴퓨팅 디바이스(20) 또는 서버(90)인 경우, 그 요청은 로컬 컴퓨팅 디바이스(10)로부터 수신될 수 있다.
블록 S22에서, 컴퓨팅 디바이스는 머신에 관한 정보를 수신한다.
그 정보는 머신의 실시간 상태에 관한 것이다.
블록 S23에서, 컴퓨팅 디바이스는 가상 디지털 트윈이 원격 렌더링 디바이스(40)에서 제시되게 한다.
블록 S24에서, 컴퓨팅 디바이스는 전문가(즉, 원격 사람(80))에 의해 수행되는 조작을 수신한다.
원격 사람(80)은 사용자 인터페이스에서 제공되는 옵션들을 사용하여 원격 제어 또는 원격 지원을 수행할지의 여부를 선택할 수 있다.
블록 S25에서, 컴퓨팅 디바이스는 그 조작에 대응하는 원격 제어 커맨드를 생성한다.
블록 S26에서, 컴퓨팅 디바이스는 원격 제어 커맨드를 작업 현장에 있는 디바이스에 전송하여 머신(50)이 액션을 수행하게 한다.
원격 조작을 머신에 대한 제어 커맨드로 변환함으로써, 그 방법은 원격 사람이 머신을 원격으로 제어하는 것을 가능하게 하며, 따라서 원하는 제어 동작이 작업 현장에서 만든 예제를 통해 도움을 구하는 사람에게 더 잘 전달되게 할 수 있다.
작업자 조작의 검사
일부 실시예들에서, 로컬 사람(70)의 조작들은 원격 사람(80)에게 검사를 위해 제시될 수 있다. 일 실시예에서, 컴퓨팅 디바이스는 제2 조작의 효과의 시각적 콘텐츠가 원격 렌더링 디바이스(40)를 사용하여 원격 사이트에서 렌더링되게 할 수 있다. 제2 조작은 작업 현장에 있는 로컬 사람(70)에 의해 머신(50)에 대해 수행된다.
제2 조작의 효과는 시각적 콘텐츠가 머신의 상태에 대한 변경들을 제시하는 것일 수 있거나, 또는 동영상이 로컬 사람(70)에 의해 수행되는 조작을 보여주는 것일 수 있다. 예를 들어, 컴퓨팅 디바이스는 로컬 사람(70)이 머신(50)을 조작하는 프로세스를 보여주는 카메라에 의해 캡처된 비디오 데이터를 획득할 수 있고, 그 비디오 데이터를 원격 렌더링 디바이스(40)에 의해 시각적 콘텐츠로서 렌더링되게 할 수 있다. 다른 예를 들어, 컴퓨팅 디바이스는 로컬 사람(70)의 제2 조작을 시뮬레이션하기 위해 디지털 트윈을 조작하는 가상 손을 생성할 수 있고, 원격 렌더링 디바이스(40)가 가상 손이 디지털 트윈을 조작하는 것과, 제2 조작에 의해 야기되는 디지털 트윈의 변경들, 예컨대, 디지털 트윈의 컴포넌트의 상태에서의 변경들을 렌더링하게 할 수 있다. 다양한 실시예들에서, 원격 사이트에 있는 머신에 대한 제2 조작의 렌더링은 도 4 및 도 5a 내지 도 5c에 관련하여 위에서 설명된 로컬 사이트에 있는 디지털 트윈에 대한 원격 사람의 조작의 렌더링과 유사한다.
도 7은 본 개시의 일 실시예에 따른 작업자 조작의 원격 검사의 프로세스를 예시하는 흐름도이다. 도 7에 도시된 바와 같이, 프로세스는 다음 절차들을 포함할 수 있다.
블록 S31에서, 컴퓨팅 디바이스는 원격 검사를 위한 요청을 수신한다.
그 요청은 원격 지원 프로세스의 임의의 스테이지에서 로컬 사람(70) 또는 원격 사람(80)에 의해 개시될 수 있다,
도 8은 본 개시의 일 실시예에 따른 로컬 조작들의 원격 검사를 예시하는 개략도이다. 도 8에 도시된 바와 같이, 로컬 사람(70)은 로컬 컴퓨팅 디바이스(10)를 통해 서버(90)에 원격 검사를 위한 요청을 개시할 수 있다.
블록 S32에서, 컴퓨팅 디바이스는 작업 현장에 있는 디바이스가 로컬 사람(70)의 조작들에 관한 정보를 수집하게 한다.
도 8에 도시된 예에서, 서버(90)는 작업 현장에 있는 AR 디바이스(36)에게 로컬 사람(70)에 의해 수행되는 조작들(줄여서 로컬 조작들이라고 함)에 관한 정보를 수집할 것을 요청할 수 있다.
블록 S33에서, 컴퓨팅 디바이스는 머신(50)에 관한 정보를 사용하여 머신(50)의 실시간 상태를 시뮬레이션하도록 디지털 트윈을 조정한다.
블록 S34에서, 컴퓨팅 디바이스는 로컬 사람(70)의 조작들을 제시하는 시각적 콘텐츠를 획득한다.
서버(90)는 그 정보를 사용하여 로컬 사람(70)의 시뮬레이션된 움직임들을 생성할 수 있거나, 또는 로컬 사람(70)의 캡처된 비디오 데이터를 시각적 콘텐츠로서 사용한다.
블록 S35에서, 컴퓨팅 디바이스는 그 조작들 및 디지털 트윈을 제시하는 시각적 콘텐츠가 원격 렌더링 디바이스(40)에서 렌더링되게 한다.
도 8에 도시된 예에서, 로컬 조작들 및 실시간 동기화된 디지털 트윈에 관한 시각적 콘텐츠는 가상 사람(77) 및 가상 머신(55)으로서 원격 사이트에서 렌더링되어, 로컬 사람(70) 및 머신(50)이 원격 사이트에 있음을 원격 사람(80)에게 보이게 할 수 있다.
블록 S36에서, 컴퓨팅 디바이스는 원격 사람(80)에 의해 제공되는 평가 결과를 수신하고, 로컬 조작들이 적격이라는 평가 결과를 나타내는지의 여부를 판단한다. 로컬 조작들이 적격이라는 결정에 응답하여, 블록 S37에서의 절차는 수행될 수 있다. 로컬 조작들이 적격이 아니라는 결정에 응답하여, 프로세스는 블록 S32의 절차로 되돌아가서 원격 검사 프로세스를 계속할 수 있다.
블록 S37에서, 컴퓨팅 디바이스는 평가 결과를 로컬 사람(70)에게 제공한다.
블록 S38에서, 컴퓨팅 디바이스는 평가 결과와 로컬 조작들에 관한 정보를 데이터베이스 안에 저장할 수 있다.
일부 예들에서, 작업자(즉, 로컬 사람(70))은 AR 디바이스들(36)(예컨대, AR 안경 및 디지털 장갑들)을 착용하여 머신 도구를 조작할 수 있다. 컴퓨팅 디바이스는 AR 디바이스들에 의해 수집된 데이터와 디지털 트윈의 데이터를 사용하여 작업자의 프로세싱의 실시간 시뮬레이션을 성취할 수 있으며, 예컨대, 시뮬레이션된 조작들을 디지털 트윈과 합성할 수 있고, 합성된 데이터는 원격 전문가(즉, 원격 사람(80))에게 제시될 수 있다.
원격 전문가는 원격 사이트에 있는 AR 디바이스들을 통해 작업자의 프로세싱의 실시간 시뮬레이션을 감독하고, 안내를 제공할 수 있다. 예를 들어, 원격 전문가는 실시간 시뮬레이션 데이터의 시각적 콘텐츠에 대한 조작을 수행할 수 있다, 예컨대, 제스처를 하거나 또는 시각적 콘텐츠 상에 마크를 추가할 수 있다. 컴퓨팅 디바이스는 원격 전문가의 조작을 작업자의 AR 디바이스에 송신하여 작업자에게 태스크를 완료하도록 지시할 수 있다. 그 프로세스는 도 4에 도시된 바와 같은 프로세스와 유사하고, 시각적 효과들은 도 5a 내지 5c에 도시된 것들과 유사할 수 있다.
작업자의 의해 수행되는 조작을 원격 전문가에게 보이게 함으로써, 그 방법은 원격 사람이 작업자의 조작에서 결함을 발견할 기회를 제공할 수 있고 작업자에게 정확한 지원 및 안내를 제공할 수 있다.
가공물
검사
일부 실시예들에서, 머신(50)에 의해 가공되는 가공물에 관한 정보는 검사를 위해 원격 사람(80)에게 제시될 수 있다. 일 실시예에서, 컴퓨팅 디바이스는 피드백을 제공하기 위해 머신(50)에 의해 가공되는 가공물의 정보가 원격 사람(80)을 위해 원격 렌더링 디바이스(40)에 의해 제시되게 하고, 원격 사람(80)에 의해 가공물에 대해 만들어진 피드백 정보가 로컬 렌더링 디바이스(70)에 의해 제시되게 할 수 있다.
도 9는 본 개시의 일 실시예에 따른 가공물의 원격 검사를 예시하는 개략도이다. 서버(90)는 로컬 사람(70) 또는 원격 사람(80)에 의해 개시된 가공물의 원격 검사를 위한 요청을 수신할 수 있다. 서버(90)는 머신(50)에 의해 가공된 가공물의 정보(56), 예컨대, 적어도 하나의 센서에 의해 검출된 센서 데이터, 예컨대, 가공물(56)의 크기, 가공물(56)의 가중값, 가공물(56)의 모양 등을 수신할 수 있다. 서버(90)는 가공물(56)의 디지털 버전의 데이터, 즉, 가상 가공물(57)을 원격 렌더링 디바이스(40)를 사용하여 가상 가공물(57)을 렌더링하는 원격 컴퓨팅 디바이스(20)에 송신한다. 서버(90)는 피드백 정보, 예컨대, 원격 컴퓨팅 디바이스(20)로부터 수신된 가상 가공물(57)에 대해 만들어진 마크 또는 평가 결과를 로컬 컴퓨팅 디바이스(10)에 송신할 수 있다. 일부 예들에서, 서버(90)는 피드백 정보 및 가공물(56)의 데이터를 데이터베이스 안에 저장할 수 있다.
이와 같이, 가공물의 정보를 원격 사람에 보이게 제시함으로써, 원격 사람은 가공물이 요건들을 충족하는지의 여부를 체크할 수 있으며, 따라서 방법은 원격 품질 체크를 가능하게 하고 로컬 사람이 지원을 통해 기술을 마스터하는 것을 보장할 수 있다.
시각적 지원 정보 재사용
전문가들에 의해 제공되는 지원 정보는 가치 있는 경험들이다. 다양한 실시예들에서, 지원 정보는 저장되고 그 뒤에 재사용될 수 있다. 컴퓨팅 디바이스는 디지털 트윈 또는 가공물에 대해 수행된 조작들, 머신(50)을 원격 제어하기 위한 조작들, 로컬 조작들 또는 가공물에 관한 평가 정보 등을 포함하는 다양한 지원 정보를 저장할 수 있다.
일 예에 따르면, 도 4에 도시된 바와 같은 프로세스 후, 컴퓨팅 디바이스는 지원 정보 엔트리를 생성하고 데이터베이스에 저장할 수 있다. 지원 정보 엔트리는 원격 사람(80)에 의해 수행되는 조작, 조정된 디지털 트윈의 데이터, 머신의 상태에 관한 정보(50), 인간-머신 인터페이스를 통해 획득된 머신(50)의 태스크에 관한 정보 등 중 적어도 하나를 포함할 수 있다.
다른 예에 따르면, 머신(50)의 원격 제어 후, 컴퓨팅 디바이스는 지원 정보 엔트리를 생성하고 데이터베이스에 저장할 수 있다. 지원 정보 엔트리는 원격 사람(80)에 의해 수행되는 조작, 제어 커맨드, 원격 제어 전후의 머신의 상태에 관한 정보(50), 인간-머신 인터페이스를 통해 획득된 머신(50)의 태스크에 관한 정보 등 중 적어도 하나를 포함할 수 있다.
또 다른 예에 따르면, 로컬 조작들의 원격 검사 후, 컴퓨팅 디바이스는 지원 정보 엔트리를 생성하고 데이터베이스에 저장할 수 있다. 지원 정보 엔트리는, 원격 사람(80)에 의해 적격이라고 평가된 로컬 조작들의 정보, 원격 사람(80)에 의해 제공되는 피드백 정보, 로컬 조작들 전후의 머신의 상태에 관한 정보(50), 인간-머신 인터페이스를 통해 획득된 머신(50)의 태스크에 관한 정보 등 중 적어도 하나를 포함할 수 있다.
또 다른 예에 따르면, 가공물의 원격 검사 후, 컴퓨팅 디바이스는 지원 정보 엔트리를 생성하고 데이터베이스에 저장할 수 있다. 지원 정보 엔트리는 가공물의 정보, 원격 사람(80)에 의해 제공되는 피드백 정보, 가공물을 가공할 때의 머신의 상태에 관한 정보(50), 인간-머신 인터페이스를 통해 획득된 머신(50)의 태스크에 관한 정보 등 중 적어도 하나를 포함할 수 있다.
제2 사람으로부터의 지원을 위한 요청에 응답하여, 컴퓨팅 디바이스는 데이터베이스에 저장되는 지원 정보 엔트리가 요청에서의 정보와 일치한다는 결정에 응답하는 제2 머신의 제2 작업 현장에 전개되는 제2 로컬 렌더링 디바이스를 사용하여 지원 정보 엔트리에서 특정되는 시각적 지원 정보가 제2 머신 상으로 매핑되게 할 수 있다.
도 10은 본 개시의 일 실시예에 따른 원격 지원을 제공하는 프로세스를 예시하는 개략도이다. 도 10에 도시된 바와 같이, 프로세스는 다음 절차들을 포함할 수 있다.
블록 S41에서, 컴퓨팅 디바이스는 작업자에 의해 개시되는 원격 지원을 위한 요청을 수신한다.
블록 S42에서, 컴퓨팅 디바이스는 머신 데이터와 태스크 정보를 획득한다.
머신 데이터는 머신의 유형, 예컨대, 머신의 브랜드 및 모델, 머신의 ID 등을 식별하는 정보를 포함할 수 있다. 컴퓨팅 디바이스는 머신 ID를 사용하여 머신 데이터베이스로부터 머신에 관한 세부사항들을 획득할 수 있다. 머신 데이터는, 작업 현장에 있는 입력 디바이스를 통해, 예컨대, 수동 입력 또는 선택을 통해, 음성을 수신하는 마이크로폰을 통해, 머신의 빠른 응답 코드를 스캔하는 스캐너 등을 통해, 입력될 수 있다.
태스크 정보는 행해질 것이 의도되는 태스크를 말한다. 태스크 정보는 입력 디바이스를 통해, 예컨대, 키보드를 통해, 옵션에 대한 마우스 키 클릭을 통해, 음성을 수신하는 마이크로폰 등을 통해 입력될 수 있다.
블록 S43에서, 컴퓨팅 디바이스는 머신 데이터 및 태스크 데이터에 매칭되는 지원 정보 엔트리를 데이터베이스에서 검색한다.
블록 S44에서, 머신 데이터 및 태스크 데이터에 매칭되는 지원 정보 엔트리가 발견되었다는 결정에 응답하여, 컴퓨팅 디바이스는 지원 정보 엔트리에서의 시각적 지원 정보가 작업자의 렌더링 디바이스에 의해 렌더링되게 한다.
블록 S45에서, 머신 데이터 및 태스크 데이터에 매칭되는 지원 정보 엔트리가 발견되지 않았다는 결정에 응답하여, 컴퓨팅 디바이스는 원격 전문가와의 연결을 확립하고, 원격 전문가로부터의 시각적 지원 정보를 작업자에게 제공한다.
블록 S46에서, 컴퓨팅 디바이스는 머신에 대한 작업자의 조작들을 획득한다.
블록 S47에서, 컴퓨팅 디바이스는 평가 정보를 제공한다.
지원 정보 엔트리가 발견되는 경우, 컴퓨팅 디바이스는 작업자의 조작들에 관한 정보를 지원 정보 엔트리에서의 조작들에 관한 정보와 비교할 수 있고, 비교 결과에 기초하여 평가 결과를 생성할 수 있다.
전문가가 연결되는 경우, 컴퓨팅 디바이스는 작업자 조작들의 원격 검사 프로세스, 예컨대, 도 7에 도시된 바와 같은 프로세스를 수행할 수 있다.
블록 S48에서, 컴퓨터 디바이스는 작업자 조작들이 적격이었는지의 여부를 판단하며; 작업자 조작들이 적격이 아니라는 결정에 응답하여, 블록 S45의 절차는 추가 지원을 위해 전문가에게 연결하는 것을 수행될 수 있으며; 작업자 조작들이 적격이라는 결정에 응답하여, 블록 S49의 절차는 수행될 수 있다.
블록 S49에서, 컴퓨팅 디바이스는 평가 결과를 작업자에게 제공하고, 평가 결과가 원격 전문가에 의해 제공된다는 결정에 응답하여 지원 정보 엔트리를 생성하고 저장할 수 있다.
시각적 지원 정보에 관한 정보를 데이터베이스 안으로 저장하고 저장된 정보에 의해 특정되는 시각적 지원 정보를 제2 머신의 작업 현장에서 렌더링함으로써, 그 방법은 원격 사람에 의해 제공되는 시각적 지원 정보를 재사용할 수 있고 언제 어디서나 필요할 때 지원 정보를 이용 가능하게 만들 수 있다는 것을 알 수 있다.
본 개시는 또한 컴퓨팅 디바이스에 의해 실행될 때, 컴퓨팅 디바이스로 하여금 상기한 컴퓨팅 디바이스의 적어도 일부 컴포넌트들을 성취하게 하는 하나 이상의 명령어들을 저장하는 비-일시적 컴퓨터 판독가능 저장 매체를 제공한다. 특히, 본 개시는 위에서 설명된 실시예들 중 임의의 것의 기능들을 실현하기 위한 소프트웨어 프로그램 코드들이 저장되는 저장 매체와 저장 매체에 저장되는 프로그램 코드를 판독하고 실행하는 컴퓨터(또는 시스템 또는 장치의 CPU 또는 MPU))가 갖추어진 시스템 또는 장치를 제공할 수 있다. 이 경우, 저장 매체로부터 판독된 프로그램 코드 자체는 위에서 설명된 실시예들 중 어느 하나의 기능을 실현할 수 있고, 따라서 프로그램 코드와 프로그램 코드를 저장하는 저장 매체는 본 개시의 일부를 구성한다. 비-일시적 컴퓨터 판독가능 저장 매체는 하드 디스크, 플로피 디스크, 자기 디스크, 콤팩트 디스크(예컨대, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW 및 DVD+RW), 테이프, 플래시 카드, ROM 등을 포함한다. 옵션적으로, 서버 컴퓨터로부터의 프로그램 코드들을 통신 네트워크를 통해 다운로드하는 것이 가능하다.
본 출원서에서 개시되는 각각의 특징(임의의 첨부의 청구항들, 요약서 및 도면들을 포함함)은 그렇지 않다고 분명히 언급되지 않는 한, 동일하거나, 동등하거나 또는 유사한 목적에 이바지하는 대안적 특징들에 의해 대체될 수 있다. 따라서, 그렇지 않다고 분명히 언급되지 않는 한, 개시된 각각의 특징은 일반적인 일련의 동등한 또는 유사한 특징들의 단지 하나의 예일 뿐이다.
Claims (15)
- 원격 지원을 위한 방법으로서,
작업 현장에 전개되는 머신과 동일한 상태에 있도록 상기 머신의 디지털 트윈을 조정하는 단계 - 상기 디지털 트윈은 상기 머신의 전기적 또는 기계적 특성을 포함하는 상기 머신의 상태에 기초하여 조정됨 -;
원격 사이트에 있는 원격 사람이 상기 디지털 트윈에 대한 조작을 수행하는 것을 가능하게 하기 위해 상기 원격 사이트에 전개되는 원격 렌더링 디바이스를 사용하여 상기 원격 사이트에 상기 디지털 트윈을 렌더링되게 하는 단계; 및
상기 작업 현장에 전개되는 로컬 렌더링 디바이스를 사용하여 상기 작업 현장에 있는 상기 머신 상으로 매핑되는 시각적 지원 정보로서 상기 조작의 효과를 렌더링되게 하는 단계
를 포함하고,
피드백을 제공하기 위해 상기 머신에 의해 생성된 가공물의 정보가 상기 원격 사람을 위해 상기 원격 렌더링 디바이스에 의해 제시되고,
상기 원격 사람에 의해 상기 가공물에 대해 만들어진 피드백 정보가 상기 로컬 렌더링 디바이스에 의해 제시되고,
상기 머신의 상태에 있도록 상기 디지털 트윈을 조정하는 단계는,
상기 작업 현장에 있는 디바이스로부터 상기 머신의 상태에 관한 정보를 획득하는 단계; 및
상기 정보를 사용하여 상기 디지털 트윈을 조정하는 단계
를 포함하고,
상기 머신의 상태에 관한 상기 정보를 획득하는 단계는,
상기 머신의 제어 장치로부터 상기 머신의 파라미터들을 상기 정보로서 수신하는 단계; 및
상기 머신에 커플링된 적어도 하나의 센서로부터의 센서 데이터를 상기 정보로서 수신하는 단계
중 적어도 하나를 포함하고,
상기 정보를 사용하여 상기 디지털 트윈을 조정하는 단계는, 상기 디지털 트윈의 시뮬레이션된 상태가 상기 정보에 의해 특정된 상태와 동일할 때까지 상기 디지털 트윈의 파라미터들을 수정하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 작업 현장에 있는 상기 머신 상으로 매핑되는 시각적 지원 정보로서 상기 조작의 효과를 렌더링되게 하는 단계는,
상기 원격 사람에 의해 조작되고 있는 상기 디지털 트윈의 컴포넌트에 대응하는 상기 머신의 컴포넌트를 식별하는 단계;
상기 디지털 트윈에 대한 상기 조작에 의해 야기되는 상기 효과에 따라 상기 조작의 시각적 콘텐츠를 생성하는 단계; 및
상기 로컬 렌더링 디바이스가 상기 머신의 컴포넌트의 위치에서 상기 시각적 콘텐츠를 렌더링하게 하는 단계
를 포함하는, 방법. - 제2항에 있어서, 상기 로컬 렌더링 디바이스가 상기 머신의 컴포넌트의 위치에서 상기 시각적 콘텐츠를 렌더링하게 하는 단계는,
상기 작업 현장을 묘사하고 상기 머신을 포함하는 작업 현장 이미지를 획득하는 단계;
상기 작업 현장 이미지에서의 상기 컴포넌트에 대응하는 위치에 상기 시각적 콘텐츠를 포함하는 오버레이 이미지를 생성하는 단계; 및
상기 로컬 렌더링 디바이스가 상기 오버레이 이미지를 상기 작업 현장 이미지 상으로 중첩되도록 렌더링하게 하는 단계
를 포함하는, 방법. - 제2항에 있어서, 상기 로컬 렌더링 디바이스가 상기 머신의 컴포넌트의 위치에서 상기 시각적 콘텐츠를 렌더링하게 하는 단계는,
상기 머신의 컴포넌트의 위치 및 크기를 획득하는 단계;
상기 컴포넌트의 위치 및 크기에 대응하는 위치 및 크기를 갖는 상기 시각적 콘텐츠를 포함하는 투영 이미지를 생성하는 단계; 및
상기 로컬 렌더링 디바이스가 상기 투영 이미지를 상기 머신 상으로 투영하게 하는 단계
를 포함하는, 방법. - 제1항에 있어서,
상기 원격 렌더링 디바이스를 사용하여 제2 조작의 효과의 시각적 콘텐츠를 상기 원격 사이트에 렌더링되게 하는 단계를 더 포함하고, 상기 제2 조작은 상기 작업 현장에서 로컬 사람에 의해 상기 머신 상에서 수행되는, 방법. - 제2항에 있어서, 상기 시각적 콘텐츠는,
상기 머신의 컴포넌트 상에 만들어진 디지털 마크;
손이 조작을 수행함을 제시하는 동영상들;
조작 후의 상이한 상태의 컴포넌트를 제시하는 시각적 콘텐츠
중 적어도 하나를 포함하는, 방법. - 제1항에 있어서,
상기 조작을 제어 커맨드로 변환하는 단계; 및
상기 머신이 상기 제어 커맨드에 의해 특정되는 액션을 수행하게 하는 단계
를 더 포함하는, 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서, 상기 디지털 트윈을 상기 원격 사이트에 렌더링되게 하는 단계는,
상기 원격 렌더링 디바이스에 상기 디지털 트윈의 이미지를 제공하는 단계;
상기 원격 사람의 제스처를 캡처하는 원격 디바이스를 사용하여 상기 원격 사람에 의해 조작되고 있는 컴포넌트를 상기 디지털 트윈에서 식별하는 단계; 및
상기 원격 렌더링 디바이스에 의해 렌더링된 상기 이미지에서 상기 컴포넌트의 시각적 효과를 변경하는 단계
를 포함하는, 방법. - 제1항에 있어서,
지원 정보 엔트리를 데이터베이스 안에 저장하는 단계 ― 상기 지원 정보 엔트리는, 상기 원격 사람에 의해 수행되는 조작, 조정된 디지털 트윈의 데이터, 상기 머신의 상태에 관한 정보, 인간-머신 인터페이스를 통해 획득된 상기 머신의 태스크에 관한 정보, 상기 머신에 의해 생성된 가공물에 관한 정보 중 적어도 하나를 포함함 ―; 및
지원을 위한 요청에 응답하여, 상기 데이터베이스에 저장되는 상기 지원 정보 엔트리가 상기 요청에서의 정보와 일치한다는 결정에 응답하는 제2 머신의 제2 작업 현장에 전개되는 제2 로컬 렌더링 디바이스를 사용하여 상기 지원 정보 엔트리에서 특정되는 상기 시각적 지원 정보가 상기 제2 머신 상으로 매핑되게 하는 단계
를 더 포함하는, 방법. - 컴퓨팅 디바이스로서, 제1항 내지 제7항, 제12항 및 제13항 중 어느 한 항에 따른 방법을 구현하기 위해, 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서에 의해 실행 가능한 컴퓨터 판독가능 명령어들을 저장한 메모리를 포함하는, 컴퓨팅 디바이스.
- 제1항 내지 제7항, 제12항 및 제13항 중 어느 한 항에 따른 방법을 구현하기 위해 프로세서에 의해 실행 가능한 컴퓨터 판독가능 명령어들을 저장한, 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/109374 WO2022032688A1 (en) | 2020-08-14 | 2020-08-14 | Method for remote assistance and device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230039771A KR20230039771A (ko) | 2023-03-21 |
| KR102669491B1 true KR102669491B1 (ko) | 2024-05-29 |
Family
ID=80247603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237008674A KR102669491B1 (ko) | 2020-08-14 | 2020-08-14 | 원격 지원을 위한 방법 및 디바이스 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230297109A1 (ko) |
| EP (1) | EP4168879A4 (ko) |
| KR (1) | KR102669491B1 (ko) |
| CN (1) | CN116569545A (ko) |
| WO (1) | WO2022032688A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115314505A (zh) * | 2022-07-01 | 2022-11-08 | 青岛海尔科技有限公司 | 设备场景的执行方法和装置、存储介质及电子装置 |
| CN115934463A (zh) * | 2022-12-09 | 2023-04-07 | Abb瑞士股份有限公司 | 用于监测和维护电力设备的健康状态的方法和电子设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9665985B2 (en) * | 2014-08-15 | 2017-05-30 | Daqri, Llc | Remote expert system |
| US20190087544A1 (en) * | 2017-09-21 | 2019-03-21 | General Electric Company | Surgery Digital Twin |
| KR102031670B1 (ko) * | 2017-11-17 | 2019-10-14 | 주식회사 코이노 | 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법 |
| EP3788570A1 (en) * | 2018-04-30 | 2021-03-10 | Telefonaktiebolaget LM Ericsson (publ) | Automated augmented reality rendering platform for providing remote expert assistance |
| CN110505464A (zh) * | 2019-08-21 | 2019-11-26 | 佳都新太科技股份有限公司 | 一种数字孪生***、方法及计算机设备 |
| CN110866313B (zh) * | 2019-10-22 | 2023-05-16 | 温州大学 | 一种实现断路器自动化检测流水线的数字孪生建模的方法 |
| CN111208759B (zh) * | 2019-12-30 | 2021-02-02 | 中国矿业大学(北京) | 矿井无人化综采工作面数字孪生智能监控*** |
| CN111381515A (zh) * | 2020-01-20 | 2020-07-07 | 兰州理工大学 | 基于数字孪生五维模型的软体机器人或驱动器***及其建模方法 |
-
2020
- 2020-08-14 US US18/041,597 patent/US20230297109A1/en active Pending
- 2020-08-14 CN CN202080103933.7A patent/CN116569545A/zh active Pending
- 2020-08-14 KR KR1020237008674A patent/KR102669491B1/ko active IP Right Grant
- 2020-08-14 WO PCT/CN2020/109374 patent/WO2022032688A1/en active Application Filing
- 2020-08-14 EP EP20949186.9A patent/EP4168879A4/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230297109A1 (en) | 2023-09-21 |
| EP4168879A1 (en) | 2023-04-26 |
| CN116569545A (zh) | 2023-08-08 |
| EP4168879A4 (en) | 2024-03-13 |
| KR20230039771A (ko) | 2023-03-21 |
| WO2022032688A1 (en) | 2022-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108073277B (zh) | 用于工业自动化的虚拟现实和增强现实的***和方法 | |
| CN108089696B (zh) | 用于工业自动化的虚拟现实和增强现实 | |
| US11277655B2 (en) | Recording remote expert sessions | |
| US10025291B2 (en) | Simulator, simulation method, and simulation program | |
| KR102031670B1 (ko) | 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법 | |
| JP2019188530A (ja) | ロボットのシミュレーション装置 | |
| KR102669491B1 (ko) | 원격 지원을 위한 방법 및 디바이스 | |
| JP2017094406A (ja) | シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム | |
| KR20120072126A (ko) | 간접체험을 위한 비주얼 서로게이트와 그 공급 장치 및 방법 | |
| WO2015186508A1 (ja) | 作業ロボットの教示データ生成装置及び教示データ生成方法 | |
| JP2019188531A (ja) | ロボットのシミュレーション装置 | |
| CN116243802B (zh) | 一种虚拟世界物理化*** | |
| CN111710032B (zh) | 变电站三维模型的构建方法、装置、设备和介质 | |
| KR101468751B1 (ko) | 그래픽 기반의 사용자 인터페이스를 갖는 수치제어시스템 | |
| JP2019046055A5 (ko) | ||
| JP2011238041A (ja) | プログラム作成装置及びプログラム作成方法 | |
| EP2908201A1 (en) | CAM and NC code integration | |
| TW201636940A (zh) | 作業支援裝置 | |
| JP2020086759A (ja) | ３次元モデル作成装置、加工シミュレーション装置、工具経路自動生成装置 | |
| JP6158608B2 (ja) | 作業要領表示装置を備えたネットワークシステム | |
| CN113270006B (zh) | 基于HoloLens的印刷机操作培训***及方法 | |
| WO2024142304A1 (ja) | 情報処理装置、端末機及び情報処理方法 | |
| Vahrenkamp et al. | High-level robot control with ArmarX | |
| CN116300757A (zh) | 一种数字模型生产***及电子设备 | |
| JP2022138950A (ja) | プラント事故対応支援システム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A302 | Request for accelerated examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |