KR101977332B1 - 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템 - Google Patents

증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템 Download PDF

Info

Publication number
KR101977332B1
KR101977332B1 KR1020180090591A KR20180090591A KR101977332B1 KR 101977332 B1 KR101977332 B1 KR 101977332B1 KR 1020180090591 A KR1020180090591 A KR 1020180090591A KR 20180090591 A KR20180090591 A KR 20180090591A KR 101977332 B1 KR101977332 B1 KR 101977332B1
Authority
KR
South Korea
Prior art keywords
information
augmented reality
table top
reality glasses
touch screen
Prior art date
Application number
KR1020180090591A
Other languages
English (en)
Inventor
하태진
김재인
박노영
Original Assignee
주식회사 버넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버넥트 filed Critical 주식회사 버넥트
Priority to KR1020180090591A priority Critical patent/KR101977332B1/ko
Application granted granted Critical
Publication of KR101977332B1 publication Critical patent/KR101977332B1/ko
Priority to US16/531,039 priority patent/US10692390B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B27/22—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2207/00—Indexing scheme relating to details of circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J2207/50—Charging of capacitors, supercapacitors, ultra-capacitors or double layer capacitors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/0013—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries acting upon several batteries simultaneously or sequentially
    • H02J7/0025—Sequential battery discharge in systems with a plurality of batteries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템은, 현장 작업자가 착용하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시하는 증강현실안경과, 상기 증강현실안경으로부터 상기 실제영상정보를 전송받아 터치 스크린에 표시하며, 상기 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 상기 증강 가이드로서 상기 증강현실안경으로 전송하는 테이블탑을 포함하는 것을 특징으로 한다.

Description

증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템{Table top system for intuitive guidance in augmented reality remote video communication environment}
본 발명은 테이블탑 시스템에 관한 것으로서, 더 상세하게는 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템에 관한 것이다.
일반적으로 플랜트는 넓은 공간상에 많은 주요 설비들이 복잡하게 밀집되어 있으며, 이러한 플랜트 산업은 고열, 고압 공정으로 이루어지기 때문에, 화재, 폭발과 같은 중대 사고가 발생하였을 경우, 그 피해 규모가 굉장히 커 고위험군 산업으로 분류되어 있다.
이에 따라, 플랜트 업체들은 주요 설비들에 안전 센서(압력, 누출 및 진동 센서 등)를 구비하여, 플랜트에서 야기되는 여러 위험 요인들을 지속적으로 모니터링하는 방법을 적극 도입하고 있다.
즉, 플랜트 설비들을 항시 실시간으로 감시할 수 있고, 신속히 설비의 위치를 찾고 플랜트 설비의 고장 및 비정상 상태 발생시, 가능한 한 빨리 최적의 의사결정을 내리기 위해서는 방대한 양의 데이터 수집, 처리, 분석, 저장 및 표시 등의 기능이 요구된다.
특히, 원자력, 기력, 복합화력, 수력, 풍력 등의 발전소는 주요 설비들의 경우, 정기적으로 예방 정비를 실시하며, 방사능 유출 및 발전소 비상 정지와 같은 심각한 상황이 발생할 경우, 빠른 시간 내에 대응 조치를 해야만 한다.
그러나 종래에는 이러한 대응에 필요한 의사 결정을 극히 단편적인 데이터 수집 및 분석에 의존하거나, 방대한 데이터 및 자료의 수집과 분석에 엄청난 시간과 비용이 소모되고 있었다. 또한, 해당 설비의 숙련된 전문가만이 수리, 점검을 수행할 수 있기 때문에 숙련된 전문가를 양성하기 위해서 엄청난 시간과 비용이 소모되고 있다. 이로 인하여, 발전소 설비의 이상상태로 인한 비상 및 재난 발생시, 신속하고 정확한 조치와 대응이 이루어지지 못하므로, 그에 따른 막대한 경제적, 사회적 손실 비용이 발생하는 문제점이 있었다.
따라서 고가의 중요 설비인 변전소, 발전소, 공작기계, 항공, 철도, 반도체 설비를 운영하는 기업을 대상으로 효과적으로 원격에서 업무를 지원할 수 있는 시스템의 개발이 요구되고 있다.
한국공개특허 공개번호 제10-2005-0100778호("현장 중계 시스템 및 그 이용방법", 이하 선행문헌 1)에서는 초고속 통신망을 이용하여 리얼타임(real time)으로 현장을 촬영하여 비디오 및 오디오 정보를 사용자 단말기 및 중앙 통제 상황실로 송출이 가능하고, 현장 촬영 장비의 제어가 용이하고, 전송품질이 우수하고, 라이브 캐스팅(live casting) 제작비용이 저렴하고, 현장에서 발생하는 상황에 대한 통제 및 조치가 신속히 이루어질 수 있는 현장중계 시스템을 개시하고 있다.
그러나 선행문헌 1은 라이브캐스팅 데이터를 확인한 중앙 통제 상황실에서 현장에 별도의 지시사항이 있을 경우, 문자전송기 또는 TRS(Trunked Radio System)을 통해서 지령을 전달하고 있으나, 작업자가 문자로 전달되는 지령을 잘못 파악하여 잘못된 행동을 수행할 수 있는 문제점이 있다.
KR 10-2005-0100778 A
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 증강현실안경을 착용한 현장 작업자의 업무를 원격에서 신속 정확하게 지원할 수 있는 테이블탑 시스템을 제공한다.
또한, 작업자의 눈앞에 실시간으로 작업정보를 증강하여 표시할 수 있어 신속한 의사결정 및 업무대응이 가능한 테이블탑 시스템을 제공한다.
또한, 원격에서 업무지원을 신속 정확하게 수행하기 위해서 원격 전문가가 행동하는 손, 도구의 움직임 정보 등을 실시간으로 현장 작업자가 착용하고 있는 스마트 글라스(증강현실안경)로 전송하여 업무 내용을 직관적으로 이해할 수 있도록 지원할 수 있는 테이블탑 시스템을 제공한다.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 현장 작업자가 착용하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시하는 증강현실안경과, 상기 증강현실안경으로부터 상기 실제영상정보를 전송받아 터치 스크린에 표시하며, 상기 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 상기 증강 가이드로서 상기 증강현실안경으로 전송하는 테이블탑을 포함하는 테이블탑 시스템이 제공된다.
또한, 본 발명의 다른 실시예에 따르면, 현장 작업자가 착용하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시하는 증강현실안경과, 터치 스크린에 상기 실제영상정보를 표시하며, 상기 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 서버로 전송하는 테이블탑과, 상기 증강현실안경과 상기 테이블탑 사이에서 데이터를 상호 중계하고, 상기 손 움직임 정보 및 상기 지시사항 정보에 대응되는 상기 증강 가이드가 상기 실제영상정보의 실제객체의 각 위치에 표시되도록 좌표를 정합하여 상기 증강현실안경에 실시간 제공하는 상기 서버를 포함하는 테이블탑 시스템이 제공된다.
또한, 본 발명에 포함되는 상기 테이블탑은 3차원 깊이정보를 이용하여 각 공구, 각 도구(펜, 지우개) 및 상기 원격 전문가의 손을 식별하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 상기 테이블탑은, 색상정보를 이용하여 상기 원격 전문가의 손을 식별하고, 3차원 깊이정보를 이용하여 각 공구 및 각 도구(펜, 지우개)를 식별하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 상기 테이블탑은, 상기 실제영상정보를 표시하며 메뉴영역과 작업영역을 구분하여 표시하는 상기 터치 스크린과, 상기 터치 스크린의 일측에 배치되어 상기 터치 스크린의 상부공간의 움직임 정보를 감지하는 3차원 카메라를 포함하는 것을 특징으로 한다.
또한, 본 발명에 포함되는 상기 테이블탑은, 각 도구(펜, 지우개)가 인식될 경우 드로잉 가이드 모드로 자동 전환되어 상기 터치 스크린에서 이동하는 각 도구(펜, 지우개)의 이동좌표를 전송하고, 상기 원격 전문가의 손 및 각 공구 중 어느 하나가 인식될 경우 행동 가이드 모드로 자동 전환되어 상기 원격 전문가의 손 움직임 영상 및 각 공구 움직임 영상을 전송하는 것을 특징으로 한다.
본 발명의 실시예에 따른 테이블탑 시스템은, 증강현실안경을 착용한 현장 작업자의 업무를 원격에서 신속 정확하게 지원할 수 있다.
테이블탑 시스템은 전문가가 손으로 지시하는 행위정보, 도구 및 공구의 움직임 정보를 실시간으로 현장 작업자가 착용하고 있는 증강현실안경으로 전송하여 업무내용을 직관적으로 전달할 수 있다.
제안된 테이블탑 시스템을 사용할 경우, 출장기간 감소로 전문가의 업무공백을 감소시킬 수 있고, 현장 이동을 위한 이동시간, 출장비용 및 유지보수 출장에 대한 사고위험을 효과적으로 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 테이블탑 시스템(1)의 개념도
도 2는 도 1의 테이블탑 시스템(1)의 구성도
도 3은 테이블탑(200) 화면 구성의 예시도
도 4는 테이블탑(200)에서 객체를 감지하는 방법을 나타낸 도면
도 5는 테이블탑(200) 및 증강현실안경(100)에 표시되는 제1 화면 예시도
도 6은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제2 화면 예시도
도 7은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제3 화면 예시도
도 8은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제4 화면 예시도
도 9는 테이블탑(200) 및 증강현실안경(100)에 표시되는 제5 화면 예시도
도 10은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제6 화면 예시도
도 11은 증강현실안경(100)에 표시되는 증강 가이드의 예시도
도 12는 테이블탑 시스템(1)의 증강현실안경(100)의 구성도
도 12a는 증강현실안경(100)의 예시도
도 13은 증강현실안경(100)의 안전모드가 동작하는 상태도
도 14는 증강현실안경(100)의 오버헤드 뷰 모드(Overhead View Mode)가 동작하는 상태도
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 테이블탑 시스템(1)의 개념도이고, 도 2는 도 1의 테이블탑 시스템(1)의 구성도이다.
본 실시예에 따른 테이블탑 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 1 및 도 2를 참조하면, 테이블탑 시스템(1)은 증강현실안경(100)과, 테이블탑(200)과, 서버(300)를 포함하여 구성된다.
상기와 같이 구성되는 테이블탑 시스템(1)의 세부구성과 주요동작을 살펴보면 다음과 같다.
증강현실안경(100)은 현장 작업자가 착용하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시한다.
테이블탑(200)은 증강현실안경(100)으로부터 실제영상정보를 전송받아 터치 스크린에 표시하며, 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 증강 가이드로서 증강현실안경(100)으로 전송한다.
즉, 원격 전문가는 현장 작업자가 증강현실안경(100)으로 촬영하여 전송하는 실제영상정보를 확인하면서, 실제영상정보의 실제객체를 선택한 후 손 움직임 정보 및 지시사항 정보를 증강 가이드로서 현장 작업자의 시야에 직접 제공하여 작업의 효율성을 향상시킬 수 있다.
현장 작업자는 증강현실안경(100)을 착용하여 자신의 시야에 있는 현장의 실제영상정보를 실시간 전송하고,
원격 전문가는 실제영상정보를 직접 확인하면서 손 움직임 정보 및 지시사항 정보를 증강 가이드로써 제공하므로, 현장 작업자는 증강현실안경(100)에 표시되는 증강 가이드를 직접 확인하면서 작업을 진행할 수 있다.
즉, 현장 작업자는 증강현실안경(100)의 투명 디스플레이를 통해 실제객체 뿐만 아니라 실제객체에 할당된 증강 가이드를 동시에 확인하면서 작업을 진행할 수 있다.
따라서 현장 작업자의 시야와, 원격 전문가의 시야 범위가 실질적으로 동일하게 표시되고 상호간에 지시사항을 전달할 수 있으므로, 효율적인 의사소통이 가능하여 업무효율이 증대된다.
한편, 도 1에서는 증강현실안경(100)과 테이블탑(200) 사이에 직접 데이터가 전송되는 예시를 설명하였으나, 도 2와 같이 서버(300)를 경유하여 증강현실안경(100)과 테이블탑(200)이 상호 간에 데이터를 전송하도록 구성될 수 있을 것이다.
다시 도 2를 참조하면, 증강현실안경(100)은 현장 작업자가 착용하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시하도록 구성된다.
테이블탑(200)은 터치 스크린에 실제영상정보를 표시하며, 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 서버(300)로 전송한다.
즉, 테이블탑(200)은, 실제영상정보를 표시하며 메뉴영역과 작업영역을 구분하여 표시하는 터치 스크린과, 터치 스크린의 일측에 배치되어 터치 스크린의 상부공간의 움직임 정보를 감지하는 3차원 카메라와, 원격 전문가의 음성을 녹음하여 전송하는 마이크와, 현장 작업자의 음성을 출력하는 스피커를 포함하여 구성된다. 마이크 및 스피커는 일체형으로 구성되어 헤드셋 형태로 원격 전문가가 머리에 착용하는 형태로 구성되는 것이 바람직하다.
테이블탑(200)의 제어회로, 유무선 통신회로 등은 발명의 요지가 아니므로 설명은 생략하기로 한다.
서버(300)는 증강현실안경(100)과 테이블탑(200) 사이에서 데이터를 상호 중계하고, 손 움직임 정보 및 지시사항 정보에 대응되는 증강 가이드가 실제영상정보의 실제객체의 각 위치에 표시되도록 좌표를 정합하여 증강현실안경(100)에 실시간 제공한다.
즉, 원격 전문가는 현장 작업자가 증강현실안경(100)으로 촬영하여 전송하는 실제영상정보를 확인하면서, 실제영상정보의 실제객체를 선택한 후 손 움직임 정보 및 지시사항 정보를 증강 가이드로서 현장 작업자의 시야에 직접 제공하여 작업의 효율성을 향상시킬 수 있다.
현장 작업자는 증강현실안경(100)을 착용하여 자신의 시야에 있는 현장의 실제영상정보를 실시간 전송하고,
원격 전문가는 실제영상정보를 직접 확인하면서 손 움직임 정보 및 지시사항 정보를 증강 가이드로써 제공하므로, 현장 작업자는 증강현실안경(100)에 표시되는 증강 가이드를 직접 확인하면서 작업을 진행할 수 있다.
즉, 현장 작업자는 증강현실안경(100)의 투명 디스플레이를 통해 실제객체 뿐만 아니라 실제객체에 할당된 증강 가이드를 동시에 확인하면서 작업을 진행할 수 있다.
따라서 현장 작업자의 시야와, 원격 전문가의 시야 범위가 실질적으로 동일하게 표시되고 상호간에 지시사항을 전달할 수 있으므로, 효율적인 의사소통이 가능하여 업무효율이 증대된다.
도 3은 테이블탑(200) 화면 구성의 예시도이다.
도 3을 참조하면, 테이블탑(200)의 터치 스크린은 메뉴영역과 작업영역으로 구분되어 표시된다.
메뉴영역은 원격 전문가가 테이블탑(200)의 세부기능을 선택하기 위해 사용하므로, 현장 작업자에게는 표시되지 않는다.
메뉴영역은 측면, 상단에 메뉴들을 배치하여 손으로 쉽게 접근할 수 있도록 구성된다. 자동 사용성 평가를 통해 선택이 쉬운 메뉴 버튼 크기, 위치 결정이 자동 지정되는데, 자주 쓰이는 기능은 손과 가까운 위치에 배치되어 사용자가 신속하게 선택할 수 있다.
참고적으로 자주 쓰이는 기능은 사용자의 손과 가까운 위치에 자동 배치되도록 위치가 자동 조절될 수 있다. 즉, 사용자의 손이 소정의 시간동안 한 장소에 위치할 경우, 손의 위치에서 가까운 위치 순서대로 자주 쓰이는 메뉴들이 자동 이동할 수 있다.
작업영역은 현장 작업자가 전송한 실제영상정보가 표시되는 영역이면서 3차원 카메라가 객체를 검출하는 유효영역이다. 작업영역에서 원격 전문가가 펜 또는 지우개 등을 이용하여 지시사항을 드로잉할 경우, 현장 작업자의 투명 디스플레이에 지시사항이 증강 가이드로써 표시된다.
이때 원격 전문가가 선택한 실제객체 주위에 펜을 통해 지시사항을 드로잉할 경우, 현장 작업자의 투명 디스플레이에도 그 지시사항이 실제객체 주위에 드로잉 되어 증강 가이드로써 표시된다.
한편, 테이블탑(200)은 각 도구(펜, 지우개)가 인식될 경우 드로잉 가이드 모드로 자동 전환되어 터치 스크린에서 이동하는 각 도구(펜, 지우개)의 이동좌표를 전송한다.
또한, 테이블탑(200)은 원격 전문가의 손 및 각 공구 중 어느 하나가 인식될 경우 행동 가이드 모드로 자동 전환되어 원격 전문가의 손 움직임 영상 및 각 공구 움직임 영상을 전송한다.
즉, 테이블탑(200)은 원격 전문가(사용자)의 행위, 즉 손을 사용하는지, 도구(펜, 지우개)를 사용하는지, 공구를 사용하는지를 판별한 후, 드로잉 가이드 모드 또는 행동 가이드 모드로 자동전환 된다.
기본적으로 행동 가이드 모드에서 원격 전문가의 모든 행위가 실시간으로 증강현실안경(100)로 전달되며, 드로잉 가이드 모드에서는 원격 전문가가 원하는 지시사항만이 선택적으로 증강현실안경(100)으로 전달되도록 구성된다.
즉, 증강현실안경(100)에 불필요한 지시사항 및 정보가 전달될 경우, 증강현실안경(100)을 착용한 현장 작업자가 혼란스러울 수 있으므로 필요한 정보만을 선택하여 전송되도록 설정할 수 있다. 또한, 드로잉 가이드 모드에서도 원격 전문가가 실시간 영상이 아닌 미리 녹화된 영상만을 전송하도록 선택할 수 있다.
도 4는 테이블탑(200)에서 객체를 감지하는 방법을 나타낸 도면이다.
도 4를 참조하면, 테이블탑(200)의 3차원 카메라는 터치 스크린 상부의 공간의 움직임을 3차원적으로 감지하도록 구성되는데,
기본적으로 3차원 깊이정보를 이용하여 각 공구, 각 도구(펜, 지우개) 및 원격 전문가의 손을 식별하고, 그 움직임 데이터를 연속적으로 저장한다.
또한, 테이블탑(200)의 3차원 카메라는 색상정보를 이용하여 원격 전문가의 손을 식별하고, 3차원 깊이정보를 이용하여 각 공구 및 각 도구(펜, 지우개)를 식별한 후, 그 움직임 데이터를 연속적으로 저장하도록 구성될 수 있다.
즉, 손과 같은 비강체는 색상을 이용하여 최초로 식별한 후 3차원 깊이정보를 이용하여 미리 설정된 물체인지를 재확인하는 절차가 진행될 수 있다. 또한, 각 공구 및 각 도구 등과 같은 강체는 3차원 깊이정보를 이용하여 미리 설정된 물체인지를 검출하는 절차가 진행될 수 있을 것이다.
즉, 우선 오프라인상에서 인식할 대상물을 사전에 학습 후 분리된 객체가 사용자 손, 펜, 지우개, 도구, 연장 인지 인식한다. 펜 지우개 도구 연장 등 외형이 변하지 않는 강체는 3차원 깊이 정보(3D depth data)를 기반으로 3차원 표면 매칭(3D surface matching)하여 인식할 수 있다.
또한, 그 이외의 손과 같은 비강체는 색상정보를 이용하여 손 식별 유무를 판별하도록 구성될 수 있다. 손의 색상정보는 시스템 처음 실행 시 시작 버튼을 누르거나 할 때 암묵적으로 손을 자동으로 검출하여 자동으로 손 색상을 학습하도록 설정되는 것이 바람직하다.
도 4에 도시된 객체를 감지하는 방법은 다음과 같이 진행된다.
우선, 3차원 카메라로부터의 입력영상 중에서 터치 스크린의 상부영역의 영상을 획득하는 과정이 수행된다. - S10 -
다음으로, 학습 및 인지할 터치 스크린 화면 영역을 좀 더 세부적으로 설정하는 과정이 수행된다. - S20 -
다음으로, 촬영된 영상의 깊이정보를 바탕으로 객체를 분리하는 과정이 수행된다. - S30 -
다음으로, 추출된 영역 내 객체의 컬러정보를 적용하는 과정이 수행된다. - S40 -
마지막으로, 터치 스크린 상부의 공간 좌표계와, 증강현실안경(100)의 좌표계의 정합이 이루어지면서 증강 가이드가 증강현실안경(100)의 투명 디스플레이에 표시되는 과정이 수행된다. - S50 -
도 5는 테이블탑(200) 및 증강현실안경(100)에 표시되는 제1 화면 예시도이다.
도 5를 참조하면, 펜이 작업 영역 내에 있다면 자동으로 드로잉 모드로 전환되며, 터치 스크린 상의 펜 이동 좌표 전송을 수행하고, 좌표간 거리 계산하여 일정 거리 이상일 경우만 전송하도록 설정된다. 지우개 객체가 인식될 경우 스크린 상의 드로잉은 삭제된다.
펜은 터치 스크린의 스타일러스 펜으로 정의되고, 손의 색상과 다르게 하여 펜이 작업 영역 내에 있는지 판별할 수 있도록 한다. 펜이 작업영역에 있고 펜 끝이 터치 스크린에 접촉되면 해당 지점의 좌표를 서버 및 증강현실안경(스마트 글라스)로 전송한다.
드로잉을 삭제할 때는 지우개 형태의 감각형 객체를 인식하여 스크린 상의 메모를 신속하게 지울 수 있도록 한다. 즉, 지우개 객체를 인식하여 지우개 객체의 영역 내에 포함되는 드로잉 픽셀 값을 삭제한다.
도 6은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제2 화면 예시도이다.
도 6을 참조하면, 3차원 깊이 데이터(3D Depth data) 기반으로 맨손 또는 도구가 인식되면, 자동으로 행동 가이드 모드로 전환된다. 전문가가 행동하는 손의 움직임과 도구를 사용하는 모습을 그대로 전송하여 직관성이 향상되는데, 분리된 해당 객체 영역을 이미지 버퍼에 저장하여 웹 실시간(Web RTC) 기반으로 데이터를 전송한다.
따라서 전문가가 행동하는 손의 움직임과 도구를 사용하는 모습을 그대로 현장 작업자가 확인 할 수 있도록 하여 직관성이 향상되며, 분리된 해당 객체 영역을 이미지 버퍼에 저장하여 증강현실안경으로 전송할 수 있다.
도 7은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제3 화면 예시도이다.
도 7을 참조하면, 마우스 위치를 찾지 않고도 손으로 스크린을 터치하여 포인팅 할 수 있다. 손 끝 또는 펜 끝이 터치 스크린에 접촉되는 좌표를 검출하고 실시간 전송한다.
도 8은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제4 화면 예시도이다.
도 8을 참조하면, 터치 스크린 좌표 및 3차원 깊이 데이터(3D Depth data)를 기반으로 손 제스처를 인식할 수 있다. 손 끝이 터치 스크린 상에서 이동하는 2차원 좌표의 궤적을 시간 순으로 저장하고, 2차원 시계열 좌표를 웹 실시간(Web RTC) 기반으로 전송한다. 이때, 궤적의 길이가 일정 크기 이상이며 방향성이 있을 때만 해당 방향으로 화살표 증강하도록 설정될 수 있다. 화살표 객체는 현장 작업자가 착용한 증강현실안경에도 동시에 증강된다.
도 9는 테이블탑(200) 및 증강현실안경(100)에 표시되는 제5 화면 예시도이다.
도 9를 참조하면, 터치 스크린 화면 위에서 손 또는 펜을 이용하여 신속하고 직관적으로 표시된 이미지의 위치를 변경할 수 있다. 이미지 크기 및 회전 조정은 두 손 또는 두 손가락을 이용하여 진행할 수 있다. 이미지 조작 값(2축 이동, 2축 회전, 2축 크기)은 웹 실시간(Web RTC) 기반으로 전송된다.
도 10은 테이블탑(200) 및 증강현실안경(100)에 표시되는 제6 화면 예시도이다.
도 10을 참조하면, 테이블탑(200)의 터치 스크린 상에서 원격 전문가가 선택한 실제객체 영상이 3차원 모델로 증강되어 표시되고, 증강된 3차원 모델이 원격 전문가의 손의 움직임에 따라 연동되어 위치가 변경될 수 있다.
증강된 3차원 모델은 터치 스크린 화면 위에서 손 또는 펜을 이용하여 신속하고 직관적으로 위치를 변경될 수 있다. 즉, 손을 이용하여 신속하고 직관적으로 3D 모델의 위치, 크기, 회전 조정할 수 있다. 이때, 조작 값(3축 이동, 3축 회전, 3축 크기)은 웹 실시간(Web RTC) 기반으로 전송된다.
즉, 원격 전문가가 테이블탑(200)에서 실체객체(부품)를 선택하고 3차원 모델로 증강시킨 후, 해당 부품의 조립과정, 분해과정 등을 직접 손으로 조작하는 영상을 실시간으로 현장 작업자의 증강현실안경(100)으로 전송하여 직관적인 증강 가이드를 제공할 수 있다.
참고적으로, 실물 키보드 또는 가상 키보드가 테이블탑(200)의 터치 스크린과 연동되어 사용될 수 있다. 실물 키보드가 작업 영역에 있을 경우 키보드를 인식하고, 자동으로 텍스트 가이드 모드로 전환되는데, 이때 키보드 및 손 영역은 증강현실안경(100)으로 전송하지 않는다.
다른 방식으로, 터치 스크린 화면 위에 가상 키보드를 띄워서 필요할 때만 사용하고 사용 후에는 키보드를 화면상에서 닫을 수 있는 소프트웨어 방식으로 동작할 수도 있다.
한편, 전문가가 가이드 하는 모든 작업 화면을 증강현실안경(스마트글라스)으로 전송하게 되면, 작업자가 혼동할 수 있다. 이러한 현상을 방지하기 위해서 전문가의 행동 의도를 파악하여 선별적으로 가이드 메뉴가 변경되도록 하며 가이드에 필요한 정보만이 증강현실안경(스마트글라스)으로 전송된다.
예를 들면 펜이 작업 공간에 나타나고 화면에 접촉하면 즉시 드로잉 모드로 변경되고, 이미지를 전송하는데 필요한 파일 로딩 시 파일 로딩 다이얼로그 화면은 현장 작업자에게 보여줄 필요가 없기 때문에 전송하지 않는다.
도 11은 증강현실안경(100)에 표시되는 증강 가이드의 예시도이다.
도 11은 도 10의 테이블탑(200)의 터치 스크린 상에서 원격 전문가가 선택한 실제객체 영상이 3차원 모델로 증강되어 표시되고, 증강된 3차원 모델이 원격 전문가의 손의 움직임에 따라 연동되어 위치가 변경되는 하나의 예시를 나타낸 것이다.
즉, 터치 스크린 상의 실제영상정보 중에서 원격 전문가가 나사(실제객체)를 선택했을 경우, 나사가 3차원 모델로 증강되어 표시된다.
이때, 원격 전문가가 증강된 나사위에서 나사를 체결하기 위한 육각렌치를 손으로 들고 회전시킬 경우, 회전방향에 따라 증강된 나사가 회전하는 영상이 표시된다. 이때, 육각렌치의 회전방향 및 나사의 회전방향을 표시하는 화살표가 자동으로 표시될 수 있다.
이때, 원격 전문가가 실제 육각렌치가 아닌 가상의 육각렌치를 선택할 경우, 가상의 육각렌치도 동시에 증강되어 사용자의 손의 지시에 따라 회전하도록 설정될 수도 있을 것이다.
가상의 육각렌치를 사용할 경우, 원격 전문가의 음성명령, 즉 "시계방향 회전", "반시계방향 회전", "나사 풀기", "나사 체결하기", "3회 회전" 등과 같은 음성명령에 따라 증강된 육각렌치 및 나사가 움직이도록 설정될 수 있다.
한편, 원격 전문가가 음성으로 나사를 체결하는 구체적인 방식을 지시할 경우, 음성이 인식되어 텍스트로 터치 스크린의 화면에 표시되며, 육각렌치 또는 나사의 회전 횟수도 영상 감지되어 표시된다. 이때, 원격 전문가는 직접 텍스트를 입력하여 나사를 체결하는 구체적인 방식을 지시할 수도 있으며, 음성인식과 병행하여 지시할 수 있다.
이때, 터치 스크린에 표시되는 모든 영상 중에서 손을 제외한 영상이, 증강현실안경의 투명 디스플레이에 동시에 표시되므로, 증강현실안경을 착용한 현장 작업자는 원격 전문가가 바로 옆에서 작업을 지시하는 듯한 느낌을 얻을 수 있어, 정확한 작업 가이드가 가능하다.
원격 전문가는 실시간으로 증강 가이드를 전송하여 현장 작업자에게 지시할 수도 있으나, 순차적인 가이드를 위해, 자신의 지시동작을 미리 확인하고 필요한 영상만을 선택적으로 전송하도록 제어할 수 있다.
한편, 현장 작업자가 실제로 나사에 육각렌치를 삽입하여 나사를 체결할 때, 육각렌치 또는 나사의 회전 횟수가 영상 감지되어 표시되고, 육각렌치의 삽입 깊이도 영상 감지되어 표시될 수 있다. 즉, 최대 삽입치 및 최소 삽입치가 자동으로 감지되어 화면에 표시되므로 작업자는 육각렌치의 체결 깊이를 보다 정확하게 시각적으로 인지할 수 있다.
이때, 육각렌치의 길이정보와, 나사의 체결구멍 등과 같은 제원정보는 서버(300)에 미리 저장되어 있으므로, 미리 저장된 정보를 바탕으로 서버(300)에서 체결 깊이를 검출할 수 있을 것이다.
참고적으로, 서버(300)는 증강현실안경(100)의 투명 디스플레이의 좌표와, 테이블탑(200)의 터치 스크린의 좌표를 항상 실시간 정합하여, 현장 작업자의 시야와, 원격 전문가의 시야가 일치되도록 제어한다.
도 12는 테이블탑 시스템(1)의 증강현실안경(100)의 구성도이고, 도 12a는 증강현실안경(100)의 예시도이다.
도 12 및 도 12a를 참조하면, 증강현실안경(100)은 투명 디스플레이(110)와, 좌측 전방 카메라(121)와, 우측 전방 카메라(122)와, 좌측 3D센서(131)와, 우측 3D센서(132)와, 위성모듈(141)과, 통신모듈(142)과, 9축 센서(143)와, 배터리(144)와, 인식 카메라(145)와, 제어부(150)를 포함하여 구성된다.
투명 디스플레이(110)는 투명한 재질의 디스플레이로써 증강현실안경(100)의 렌즈를 구성한다. 따라서 사용자가 전방을 주시한 상태에서 실제객체와 가상객체를 동시에 확인할 수 있다. 이때 투명 디스플레이(110)는 렌즈 전체 또는 렌즈 일부에 탑재될 수 있다.
좌측 전방 카메라(121)는 안경의 좌측에 탑재되어 전방의 실제영상정보를 획득한다. 또한, 우측 전방 카메라(122)는 안경의 우측에 탑재되어 전방의 실제영상정보를 획득한다.
좌측 3D센서(131) 및 우측 3D센서(132)는 좌측 전방 카메라(121) 및 우측 전방 카메라(122)와 연동되어 전방의 3D영상을 촬영할 수 있도록 동작한다. 즉 촬영된 3D 영상은 내장된 메모리에 저장되거나 서버(300)로 전송될 수 있다. 참고적으로 실시예에 따라 전방 카메라 및 3D센서가 하나씩 배치되어 실제영상정보를 획득하도록 구성될 수도 있을 것이다. 전방 카메라는 적외선 영역 및 가시광선 영역을 모두 촬영할 수 있도록 구성되는 것이 바람직하다.
위성모듈(141)은 위성위치정보를 획득하기 위해 구비되고, 통신모듈(142)은 와이파이(Wi-Fi) 통신모듈, 블루투스 통신모듈, 광대역(3G, 4G, LTE) 통신모듈이 탑재될 수 있다.
9축 센서(143)는 가속도 3축, 관성 3축, 지자기 3축으로 총 9축의 값이 측정되기 때문에 9축 센서라고 지칭되며, 온도값에 대한 보정을 위해 온도센서가 추가로 구비될 수 있다. 9축 센서(143)는 증강현실안경(100)의 3차원적인 움직임을 감지하여 사용자의 응시방향, 이동방향, 기울기 등을 감지할 수 있다.
배터리(144)는 증강현실안경(100)에 구동전원을 공급할 수 있도록 구성되며 충전 가능한 리튬이온 배터리나, 의사 캐패시터로 구성될 수 있다.
참고적으로, 배터리(144)는 복수의 의사 캐패시터(Pseudo Capacitor)로 구성될 수 있는데, 의사 캐패시터(Pseudo Capacitor)는 전극에서의 이차원적인 산화-환원 반응을 이용하므로 일반적인 캐패시터보다 우수한 축전용량을 가지며 수명이 상대적으로 긴 장점이 있다.
인식 카메라(145)는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지한다. 인식 카메라(145)는 좌측 및 우측에 각각 배치되는 것이 가장 바람직하며 어느 한 방향에만 배치될 수도 있다.
기본적으로 인식 카메라(145)는 사용자의 눈이 위치한 방향으로 촬영되고 있으나, 투명 디스플레이(110)에서 반사되는 눈의 영상을 촬영하여 눈동자의 움직임, 응시방향, 크기변화 등을 감지하도록 구성될 수도 있을 것이다.
제어부(150)는 투명 디스플레이(110), 좌측 전방 카메라(121), 우측 전방 카메라(122), 좌측 3D센서(131), 우측 3D센서(132), 위성모듈(141), 통신모듈(142), 9축 센서(143), 배터리(144), 인식 카메라(145)의 동작을 제어한다.
한편, 제어부(150)는 충전전력의 크기에 따라 복수의 의사 캐패시터 중 적어도 어느 하나를 선택적으로 충전하도록 구성될 수 있다. 그 충전방식에 대해서 상세히 설명하면 다음과 같다.
복수의 의사 캐패시터가 3개 배치될 경우, 즉 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터가 배치된다고 가정한다. 이때 제1 의사 캐패시터의 충전용량이 가장 크고, 제2 의사 캐패시터의 충전용량은 제1 의사 캐패시터보다 작고, 제3 의사 캐패시터의 충전용량은 제2 의사 캐패시터보다 더 작다고 가정한다.
제어부(150)는 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터의 충전량을 감지한 후, 충전량이 가장 높은 순서대로 구동전력을 공급한다.
예를 들면, 제1 의사 캐패시터의 충전량이 60%이고, 제2 의사 캐패시터의 충전량이 70%이고, 제3 의사 캐패시터의 충전량이 80%일 경우,
제3 의사 캐패시터의 전력을 우선으로 공급하다가, 충전량이 40%에 도달하면 제3 의사 캐패시터의 전력공급을 차단하고 제2 의사 캐패시터의 전력을 공급한다. 또한, 제2 의사 캐패시터의 충전량이 40%에 도달하면 제2 의사 캐패시터의 전력공급을 차단하고 제1 의사 캐패시터의 전력을 공급한다.
또한, 제1 내지 제3 의사 캐패시터의 충전량이 모두 40% 이하 일 경우, 제어부(150)는 제1 내지 제3 의사 캐패시터를 병렬로 연결하여 구동전력을 공급한다.
도 13은 증강현실안경(100)의 안전모드가 동작하는 상태도이다.
증강현실안경(100)은 현장 작업자의 안전을 위해 안전모드가 설정될 수 있다.
안전모드가 설정될 경우, 증강현실안경(100)은 전방 카메라(121, 123)를 통해 사용자에게 접근하는 실제객체를 감지한다. 즉, 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 빠르게 접근하는 것을 감지하여 위험상황을 투명 디스플레이(110)에 표시할 수 있다.
도 13을 참조하면, 사용자(현장 작업자)가 전방을 주시하고 있는 상태의 화면이 도시되어 있는데, 중앙에 점선으로 표시된 사각영역은 시선집중구역으로 정의되며 점선의 테두리로 그 영역이 정의되어 있다. 이때, 전방 카메라(121, 122)에서 자동차, 자전거 등과 같이 사용자(현장 작업자)에게 위험이 될 수 있는 실제객체가 사용자 방향으로 빠르게(소정의 속도 이상) 접근하는 것을 감지할 경우,
시선집중구역의 크기가 자동으로 확장되고, 화면에 표시되고 있는 가상객체는 시선집중구역의 외곽방향으로 자동이동하거나, 그 투명도가 더욱 강화되어 사용자가 접근하는 실제객체를 용이하게 인지할 수 있도록 동작한다.
사용자(현장 작업자)에게 접근하는 실체객체의 속도에 비례(정비례 또는 제곱에 비례)하여 시선집중구역의 크기, 가상객체의 투명도, 외곽방향으로 이동하는 가상객체의 이동속도가 자동 결정될 수 있다.
또한, 인식 카메라(145)가 사용자(현장 작업자)의 눈동자의 방향을 감지할 경우, 시선집중구역은 눈동자의 방향에 따라 자동 이동하도록 동작한다. 즉, 사용자(현장 작업자)의 눈이 오른쪽을 응시하고 있을 경우 시선집중구역은 오른쪽 방향으로 이동한 상태이다. 이때, 전방 카메라(121, 123)에서 자동차, 자전거 등과 같이 사용자(현장 작업자)에게 위험이 될 수 있는 실제객체가 사용자 방향으로 접근 - 정면에서 접근 - 하는 것을 감지할 경우, 시선집중구역은 상술한 바와 같은 안전동작을 진행하되, 사용자의 정면방향으로 시선집중구역이 자동이동한다.
즉, 시선집중구역은 사용자에게 빠르게 접근하는 실제객체의 방향으로 자동이동하도록 설정될 수도 있을 것이다.
참고적으로 인식 카메라(145)는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지할 수 있으므로, 이러한 눈동자의 크기변화를 토대로 동작명령을 지시할 수 있다.
예를 들면 사용자가 눈을 소정의 시간동안 크게 뜰 때마다 점차적으로 하위 정보에 해당하는 가상정보를 표시하고, 눈을 소정의 시간동안 작게 뜰 때마다 점차적으로 상위 정보에 해당하는 가상정보를 표시하도록 지시될 수 있다. 또한, 인식 카메라(145)의 명령 인식률을 향상시키기 위해 사용자의 눈썹에 지시용 눈썹을 부착할 수도 있다. 지시용 눈썹은 소정의 적외선 파장을 반사하는 반사도료가 코팅되어 있으며, 인식 카메라(145)는 그 적외선 파장을 인식할 수 있도록 구성되어 명령 인식율을 향상시킬 수도 있을 것이다.
도 14는 증강현실안경(100)의 오버헤드 뷰 모드(Overhead View Mode)가 동작하는 상태도이다.
도 14를 참조하면, 오버헤드 뷰 모드(Overhead View Mode)는 사용자의 머리 위에서 촬영되어 합성된 영상이 투명 디스플레이(110)에 표시되는 모드를 의미한다.
즉, 도면에 미도시되었으나 증강현실안경(100)에는 적외선 영역 및 가시광선 영역을 촬영할 수 있는 복수의 뷰 카메라가 안경 프레임을 따라 추가적으로 배열될 수 있다. 따라서 복수의 뷰 카메라에서 촬영된 영상을 합성하여 사용자의 시야에 제공할 수 있는데, 주간 뿐만 아니라 특히 야간에는 사용자가 안전하게 이동할 수 있는 발바닥 궤적을 표시할 수 있다. 이때, 발바닥 궤적은 소정의 이전 위치를 기준으로한 지면의 높이가 표시되어 사용자가 보다 안전하게 이동하는데 도움을 줄 수 있다.
본 발명의 실시예에 따른 테이블탑 시스템은, 증강현실안경을 착용한 현장 작업자의 업무를 원격에서 신속 정확하게 지원할 수 있다.
테이블탑 시스템은 전문가가 손으로 지시하는 행위정보, 도구 및 공구의 움직임 정보를 실시간으로 현장 작업자가 착용하고 있는 증강현실안경으로 전송하여 업무내용을 직관적으로 전달할 수 있다.
제안된 테이블탑 시스템을 사용할 경우, 출장기간 감소로 전문가의 업무공백을 감소시킬 수 있고, 현장 이동을 위한 이동시간, 출장비용 및 유지보수 출장에 대한 사고위험을 효과적으로 줄일 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 증강현실안경
200 : 테이블탑
300 : 서버
110 : 투명 디스플레이
121 : 좌측 전방 카메라
122 : 우측 전방 카메라
131 : 좌측 3D센서
132 : 우측 3D센서
141 : 위성모듈
142 : 통신모듈
143 : 9축 센서
144 : 배터리
145 : 인식 카메라
150 : 제어부

Claims (6)

  1. 삭제
  2. 현장 작업자가 착용하여 현장의 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 증강 가이드를 표시하는 증강현실안경;
    터치 스크린에 상기 실제영상정보를 표시하며, 상기 터치 스크린의 상부공간에서 원격 전문가가 지시하는 손 움직임 정보 및 지시사항 정보를 감지하여 서버로 전송하는 테이블탑; 및
    상기 증강현실안경과 상기 테이블탑 사이에서 데이터를 상호 중계하고, 상기 손 움직임 정보 및 상기 지시사항 정보에 대응되는 상기 증강 가이드가 상기 실제영상정보의 실제객체의 각 위치에 표시되도록 좌표를 정합하여 상기 증강현실안경에 실시간 제공하는 상기 서버;를 포함하고,
    상기 테이블탑은, 펜 또는 지우개가 인식될 경우 드로잉 가이드 모드로 자동 전환되어 상기 터치 스크린에서 이동하는 상기 펜 또는 상기 지우개의 이동좌표를 전송하고, 상기 원격 전문가의 손 및 각 공구 중 어느 하나가 인식될 경우 행동 가이드 모드로 자동 전환되어 상기 원격 전문가의 손 움직임 영상 및 각 공구 움직임 영상을 전송하는 것을 특징으로 하는 테이블탑 시스템.
  3. 제2항에 있어서,
    상기 테이블탑은,
    3차원 깊이정보를 이용하여 각 공구, 상기 펜, 상기 지우개 및 상기 원격 전문가의 손을 식별하는 것을 특징으로 하는 테이블탑 시스템.
  4. 제2항에 있어서,
    상기 테이블탑은,
    색상정보를 이용하여 상기 원격 전문가의 손을 식별하고, 3차원 깊이정보를 이용하여 각 공구, 상기 펜 및 상기 지우개를 식별하는 것을 특징으로 하는 테이블탑 시스템.
  5. 제2항에 있어서,
    상기 테이블탑은,
    상기 실제영상정보를 표시하며 메뉴영역과 작업영역을 구분하여 표시하는 상기 터치 스크린; 및
    상기 터치 스크린의 일측에 배치되어 상기 터치 스크린의 상부공간에서 상기 원격 전문가가 지시하는 손 움직임 정보를 감지하는 3차원 카메라;를 포함하는 것을 특징으로 하는 테이블탑 시스템.
  6. 삭제
KR1020180090591A 2018-08-03 2018-08-03 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템 KR101977332B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180090591A KR101977332B1 (ko) 2018-08-03 2018-08-03 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
US16/531,039 US10692390B2 (en) 2018-08-03 2019-08-03 Tabletop system for intuitive guidance in augmented reality remote video communication environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180090591A KR101977332B1 (ko) 2018-08-03 2018-08-03 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템

Publications (1)

Publication Number Publication Date
KR101977332B1 true KR101977332B1 (ko) 2019-05-10

Family

ID=66580792

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180090591A KR101977332B1 (ko) 2018-08-03 2018-08-03 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템

Country Status (2)

Country Link
US (1) US10692390B2 (ko)
KR (1) KR101977332B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102221898B1 (ko) * 2019-12-30 2021-03-03 주식회사 버넥트 가이드 도구 기반의 가상 객체 시각화 방법
KR102245760B1 (ko) * 2019-12-31 2021-04-29 주식회사 버넥트 테이블 탑 디바이스 및 이를 포함하는 테이블 탑 시스템
US11651557B2 (en) 2021-01-12 2023-05-16 Ford Global Technologies, Llc Systems and methods of using mixed reality for interacting with a display system

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501658B2 (en) * 2018-11-28 2022-11-15 Purdue Research Foundation Augmented reality platform for collaborative classrooms
FR3102592B1 (fr) * 2019-10-29 2022-02-11 Immersion Procédé d’interaction avec un utilisateur d’un système immersif et dispositif pour la mise en œuvre d’un tel procédé
WO2021190280A1 (en) * 2020-03-24 2021-09-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for augmented tele-cooperation
US11372518B2 (en) * 2020-06-03 2022-06-28 Capital One Services, Llc Systems and methods for augmented or mixed reality writing
CN114663996A (zh) * 2020-12-22 2022-06-24 宝武装备智能科技有限公司 基于ar增强现实技术的智能设备巡检***
US11995776B2 (en) 2021-01-19 2024-05-28 Samsung Electronics Co., Ltd. Extended reality interaction in synchronous virtual spaces using heterogeneous devices
US11354868B1 (en) * 2021-02-26 2022-06-07 Zebra Technologies Corporation Method to map dynamically drawn augmented reality (AR) scribbles using recognition of discrete spatial anchor(s)
US11620796B2 (en) 2021-03-01 2023-04-04 International Business Machines Corporation Expert knowledge transfer using egocentric video
CN112689114B (zh) * 2021-03-11 2021-06-22 太平金融科技服务（上海）有限公司 对车辆的目标位置进行确定的方法、装置、设备和介质
JP2023027651A (ja) * 2021-08-17 2023-03-02 富士フイルムビジネスイノベーション株式会社 遠隔支援システム、端末装置、遠隔装置、誘導画像表示プログラム、及び遠隔支援プログラム
CN115174460A (zh) * 2022-08-02 2022-10-11 国能锅炉压力容器检验有限公司 一种实现远程诊断***及方法
CN115334274A (zh) * 2022-08-17 2022-11-11 上海疆通科技有限公司 一种基于增强现实的远程协助的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050100778A (ko) 2004-04-14 2005-10-20 주식회사 보람씨앤씨 현장중계시스템 및 그 이용방법
KR20090087332A (ko) * 2008-02-12 2009-08-17 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR20130099317A (ko) * 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
KR20140108428A (ko) * 2013-02-27 2014-09-11 한국전자통신연구원 착용형 디스플레이 기반 원격 협업 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9146674B2 (en) * 2010-11-23 2015-09-29 Sectra Ab GUI controls with movable touch-control objects for alternate interactions
US20120249587A1 (en) * 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
CN107610627A (zh) * 2011-12-28 2018-01-19 株式会社尼康 显示装置以及投影装置
KR20140004335A (ko) * 2012-07-02 2014-01-13 한국전자통신연구원 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법
KR20140108426A (ko) 2013-02-27 2014-09-11 한국전자통신연구원 광고 판매 대행시스템 및 광고 판매 대행방법
JP2015114773A (ja) * 2013-12-10 2015-06-22 コニカミノルタ株式会社 入力装置、入力判定方法、プログラム
US10241616B2 (en) * 2014-02-28 2019-03-26 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050100778A (ko) 2004-04-14 2005-10-20 주식회사 보람씨앤씨 현장중계시스템 및 그 이용방법
KR20090087332A (ko) * 2008-02-12 2009-08-17 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
KR20130099317A (ko) * 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
KR20140108428A (ko) * 2013-02-27 2014-09-11 한국전자통신연구원 착용형 디스플레이 기반 원격 협업 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102221898B1 (ko) * 2019-12-30 2021-03-03 주식회사 버넥트 가이드 도구 기반의 가상 객체 시각화 방법
KR102245760B1 (ko) * 2019-12-31 2021-04-29 주식회사 버넥트 테이블 탑 디바이스 및 이를 포함하는 테이블 탑 시스템
US11651557B2 (en) 2021-01-12 2023-05-16 Ford Global Technologies, Llc Systems and methods of using mixed reality for interacting with a display system

Also Published As

Publication number Publication date
US20200043354A1 (en) 2020-02-06
US10692390B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
KR101977332B1 (ko) 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
KR102051309B1 (ko) 지능형 인지기술기반 증강현실시스템
KR102379245B1 (ko) 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법
CN110039545B (zh) 一种基于可穿戴设备的机器人远程控制***及控制方法
CN105182535B (zh) 使用智能眼镜进行汽车维保的方法
CN109955254B (zh) 移动机器人控制***及机器人末端位姿的遥操作控制方法
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和***
CN110083202B (zh) 与近眼显示器的多模交互
CN111119887B (zh) 一种全息技术下矿井综采工作面的远程干预ar巡检***
CN109268010B (zh) 一种虚拟现实矿井综采工作面的远程巡检干预方法
KR20200025960A (ko) 지능형 인지기술기반 제조현장의 증강현실시스템
CN105892642A (zh) 一种根据眼部动作对终端进行控制的方法及装置
CN103135753A (zh) 手势输入的方法及***
CN105639818A (zh) 基于增强现实、空间扫描与手势识别技术的智能安全帽
US20180136035A1 (en) Method for detecting vibrations of a device and vibration detection system
CN107092314A (zh) 一种提供驾驶适宜性检测的头戴式显示设备及检测方法
US9658685B2 (en) Three-dimensional input device and input system
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
JP2020137000A (ja) 映像記録装置およびヘッドマウントディスプレイ
CN109015706A (zh) 电缆隧道巡检机器人头盔式虚拟控制终端
CN205692054U (zh) 一种头部运动监测的无线巡线机
JP2017183852A (ja) 表示装置および表示制御方法
KR102115199B1 (ko) 가상현실 기반의 산업현장 시뮬레이션 시스템
CN206906936U (zh) 一种提供驾驶适宜性检测的头戴式显示设备
CN103713387A (zh) 电子设备和采集方法

Legal Events

Date Code Title Description
GRNT Written decision to grant