KR101507014B1 - 운송장치 시뮬레이션 시스템 및 그 제어방법 - Google Patents

운송장치 시뮬레이션 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR101507014B1
KR101507014B1 KR1020130080823A KR20130080823A KR101507014B1 KR 101507014 B1 KR101507014 B1 KR 101507014B1 KR 1020130080823 A KR1020130080823 A KR 1020130080823A KR 20130080823 A KR20130080823 A KR 20130080823A KR 101507014 B1 KR101507014 B1 KR 101507014B1
Authority
KR
South Korea
Prior art keywords
boarding
image
user
infrared ray
infrared
Prior art date
Application number
KR1020130080823A
Other languages
English (en)
Other versions
KR20150007023A (ko
Inventor
김성석
Original Assignee
주식회사 도담시스템스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 도담시스템스 filed Critical 주식회사 도담시스템스
Priority to KR1020130080823A priority Critical patent/KR101507014B1/ko
Publication of KR20150007023A publication Critical patent/KR20150007023A/ko
Application granted granted Critical
Publication of KR101507014B1 publication Critical patent/KR101507014B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G09B19/165—Control of aircraft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/10—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer with simulated flight- or engine-generated force being applied to aircraft occupant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명에 따른 운송장치 시뮬레이션 시스템은 사용자가 탑승 가능한 탑승부, 상기 사용자의 머리부분에 착용되는 적외선 발광부, 상기 탑승부의 전방에 위치하여 상기 적외선 발광부의 움직임을 감지하는 적외선 카메라, 상기 적외선 카메라에서 촬영한 상기 적외선 발광부의 움직임에 대응하여 상기 사용자의 시야 방향에 대한 영상을 생성하는 제어부, 상기 제어부에서 생성된 상기 영상을 출력하여 표시하는 디스플레이부를 구비하는 것으로 이러한 본 발명에 따른 운송장치 시뮬레이션 시스템은 조종사와 부조종사가 함께 훈련하는 헬리콥터 및 항공기 등과 같은 운송장치에 대한 모의 조종 훈련을 수행할 때 복수의 사용자가 시뮬레이션 시스템에 함께 탑승하여 하나의 운송장치에서 사용자의 임무와 훈련 특성에 맞게 모의 조종 훈련을 실시할 수 있도록 하고, 이때 각각의 사용자의 위치와 움직임에 대응한 영상을 실시간으로 제공하여 각각의 사용자에게 최적화된 훈련 영상의 제공이 가능하게 함으로써 보다 효과적인 운송장치에 대한 모의 조종 훈련이 가능하게 하는 효과가 있다.

Description

운송장치 시뮬레이션 시스템 및 그 제어방법{Vehicle simulation system and method to control thereof}
본 발명은 운송장치 시뮬레이션 시스템 및 그 제어방법에 관한 것으로, 더욱 상세하게는 적외선 트랙킹 기술을 이용하여 사용자의 위치 및 방향에 최적화된 영상을 제공하도록 하는 운송장치 시뮬레이션 시스템 및 그 제어방법에 관한 것이다.
일반적으로 운송장치 시뮬레이션 시스템은 항공기와 같은 각종 운송장치의 사전 조작 훈련을 위하여 많이 사용된다. 시뮬레이션 시스템은 가상의 환경에 대한 모의 영상을 디스플레이부에 표시하고, 사용자가 이 디스플레이부를 시청하면서 실제 운송장치의 조종부와 매우 유사한 조종부를 이용하여 디스플레이 되는 영상에 따라 해당 운송장치를 가상으로 운전함으로써 훈련하는 것이다.
운송장치 시뮬레이션 시스템은 한명의 사용자가 탑승하여 사용하는 경우도 있지만 복수의 사용자가 동시에 탑승하여 사용하는 경우도 있다. 예를 들어 항공기용 시뮬레이터 시스템의 경우 주조종사와 부조종사 및 그 외 다른 탑승자가 동시에 탑승하여 하나의 운송장치를 조작하는 훈련을 수행할 수 있다.
그런데, 이와 같이 복수의 사용자가 탑승하여 훈련하는 경우에 각각의 탑승자에게 동일한 영상을 표시하는 것은 실제 운송장치의 운송시에 사용자가 시청하게 되는 외부 환경과는 다르기 때문에 훈련 효과를 반감시키는 문제가 있다.
예를 들어 항공기의 콕핏의 프레임에 가려진 부분의 영상을 시청하기 위하여 복수의 사용자중 어느 한명의 사용자가 머리를 움직여 보이지 않은 부분을 확인하더라도 이에 매칭된 영상을 개별적으로 제공하지 못하기 때문에 시뮬레이션 시스템을 이용한 운송 장치의 현실감 있는 체감 훈련에 한계가 있다.
미국등록특허번호 US8194193, "Method and apparatus for a wide field of view display"
본 발명은 전술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 복수의 사용자가 탑승한 운송장치의 시뮬레이션 시스템에서 각각의 사용자의 움직임에 대응하는 영상을 생성하여 디스플레이부에 표시하도록 하는 운송장치 시뮬레이션 시스템 및 그 제어방법을 제공하기 위한 것이다.
본 발명에 따른 운송장치 시뮬레이션 시스템은 사용자가 탑승 가능한 탑승부, 상기 사용자의 머리부분에 착용되는 적외선 발광부, 상기 탑승부의 전방에 위치하여 상기 적외선 발광부의 움직임을 감지하는 적외선 카메라, 상기 적외선 카메라에서 촬영한 상기 적외선 발광부의 움직임에 대응하여 상기 사용자의 시야 방향에 대한 영상을 생성하는 제어부, 상기 제어부에서 생성된 상기 영상을 출력하여 표시하는 디스플레이부를 구비한다.
상기 디스플레이부는 상기 탑승부의 전방에 설치된 스크린과 상기 스크린에 영상을 투사하는 프로젝터를 구비할 수 있다.
상기 탑승부는 제 1사용자가 탑승하는 제 1탑승부와 제 2사용자가 탑승하는 제 2탑승부를 구비하고, 상기 적외선 발광부는 상기 제 1사용자가 착용하는 제 1적외선 발광부와 상기 제 2사용자가 착용하는 제 2적외선 발광부를 구비할 수 있다.
상기 제어부는 제 1적외선 발광부의 움직임에 대응하는 제 1영상과 상기 제 2적외선 발광부의 움직임에 대응하는 제 2영상을 생성하고, 상기 프로젝터는 상기 제 1영상을 상기 스크린에 투사하는 제 1프로젝터와 상기 제 2영상을 상기 스크린에 투사하는 제 2프로젝터를 구비할 수 있다.
상기 제어부는 제 1적외선 발광부의 움직임에 대응하는 제 1영상과 상기 제 2적외선 발광부의 움직임에 대응하는 제 2영상을 생성하고, 상기 제 1영상과 상기 제 2영상은 서로 다른 편광으로 편광 조절되어 교번적으로 상기 프로젝터에 의하여 투사될 수 있다.
상기 제어부는 제 1적외선 발광부의 움직임에 대응하는 제 1영상과 상기 제 2적외선 발광부의 움직임에 대응하는 제 2영상을 생성하고, 상기 제 1영상과 상기 제 2영상은 서로 다른 편광으로 편광 조절되고, 상기 프로젝터는 상기 제 1영상을 상기 스크린에 투사하는 제 1프로젝터와 상기 제 2영상을 상기 스크린에 투사하는 제 2프로젝터를 구비할 수 있다.
본 발명에 따른 운송장치 시뮬레이션 시스템의 제어방법은 사용자가 착용한 적외선 발광부를 적외선 카메라가 감지하고, 상기 적외선 카메라에서 감지된 상기 적외선 발광부의 위치에 따라 상기 사용자의 시야 방향에 대한 정보를 획득하고, 상기 시야 방향에 대한 정보와 매칭되는 출력 영상을 생성하여 디스플레이부에서 출력한다.
상기 탑승부는 제 1사용자가 탑승하는 제 1탑승부와 제 2사용자가 탑승하는 제 2탑승부를 구비하고, 상기 적외선 발광부는 상기 제 1사용자가 착용하는 제 1적외선 발광부와 상기 제 2사용자가 착용하는 제 2적외선 발광부를 구비하여 상기 제 1적외선 발광부의 움직임에 대응하는 제 1영상을 생성하여 상기 디스플레이부에서 출력하고, 상기 제 2적외선 발광부의 움직임에 대응하는 제 2영상을 생성하여 상기 디스플레이부에서 출력할 수 있다.
상기 디스플레이부는 상기 탑승부의 전방에 설치된 스크린과 상기 스크린에 영상을 투사하는 프로젝터를 구비하고, 상기 제 1영상을 상기 스크린에 투사하는 제 1프로젝터와 상기 제 2영상을 상기 스크린에 투사하는 제 2프로젝터를 구비할 수 있다.
상기 제 1적외선 발광부의 움직임에 대응하는 상기 제 1영상과 상기 제 2적외선 발광부의 움직임에 대응하는 상기 제 2영상을 서로 다른 편광으로 편광 조절되어 교번적으로 상기 디스플레이부에 표시할 수 있다.
본 발명에 따른 운송장치 시뮬레이션 시스템은 조종사와 부조종사가 함께 훈련하는 헬리콥터 및 항공기 등과 같은 운송장치에 대한 모의 조종 훈련을 수행할 때 복수의 사용자가 시뮬레이션 시스템에 함께 탑승하여 하나의 운송장치에서 사용자의 임무와 훈련 특성에 맞는 훈련을 할 수 있도록 하고, 이때 각각의 사용자의 위치와 움직임에 대응한 영상을 실시간으로 제공하여 각각의 사용자에게 최적화된 훈련 영상의 제공이 가능하게 함으로써 보다 효과적인 운송장치에 대한 모의 조종 훈련이 가능하게 하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템을 도시한 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템의 동작을 설명하기 위한 순서도이다.
도 4는 운송장치 시뮬레이션 시스템의 스크린에 나타난 운송장치의 콕핏 프레임이 나타난 상태를 설명하기 위한 도면이다.
도 5a, 도 5b, 도 5c는 복수의 사용자가 시야를 변경하는 상태를 설명하기 위한 도면이다.
이하에서 설명하는 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템에 대한 실시예를 도면을 참조하여 설명하도록 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 이하에서 설명되는 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
이하에서는 도면을 참조하여 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템에 대한 구성을 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템을 도시한 도면이고, 도 2는 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템을 도시한 블록 구성도이다.
도 1과 도 2에 도시된 바와 같이 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템은 사용자가 탑승 가능한 탑승부(100)(101)와 사용자(110)(111)의 머리 부분에 착용되는 적외선 발광부(131)(141), 탑승부(100)(101)의 전방에 위치하여 적외선 발광부(131)(141)의 움직임을 감지하는 복수개의 적외선 카메라(150), 적외선 카메라(150)에서 촬영한 적외선 발광부(131)(141)의 움직임에 대응하여 사용자(110)(111)의 시야 방향에 대한 영상을 생성하는 주제어부(210) 그리고 주제어부(210)에서 생성된 영상을 출력하여 표시하는 디스플레이부(160)를 구비한다.
탑승부(100)(101)는 사용자(110)(111)가 착석 가능한 좌석과 이 좌석의 전방에 위치하여 모의 운송장치의 조종을 위한 조종부(120)를 구비한다. 또한 탑승부(100)(101)는 제 1사용자(110)가 탑승하는 제 1탑승부(100)와 제 2사용자(111)가 탑승하는 제 2탑승부(101)가 좌우로 위치한다. 다른 실시예로 제 1탑승부(100)와 제 2탑승부(111)는 전후 방향으로 위치할 수 있다.
적외선 발광부(131)(141)는 탑승부(100)(101)에 착석하는 사용자(110)(111)가 착용하는 헤드 마운트 장치(130)(140)에 설치될 수 있다. 적외선 발광부(131)(141)는 헤드 마운트 장치(130)(140)의 머리 부분 다수의 위치에 다수개가 설치될 수 있고, 또는 헤드 마운트 장치(130)(140)에 설치되는 글래스의 시선 방향에서 발광하도록 설치될 수 있다. 또한 그 외의 다양한 위치에 설치되어 사용자(110)(111)의 머리와 시선의 움직임을 2차원적 또는 3차원적으로 효과적으로 감지할 수 있는 위치에 설치될 수 있다.
그리고 적외선 카메라(150)는 탑승부(100)(101)의 전방에 위치하여 사용자(110)(111)가 착용한 헤드 마운트 장치(130)(140)에 설치된 적외선 발광부(131)(141)를 감지하도록 구성된다.
따라서 이 적외선 발광부(131)(141)는 제 1사용자(110)가 착용하는 제 1헤드 마운트 장치(130)에 설치된 제 1적외선 발광부(131)와 제 2사용자(111)가 착용하는 제 2헤드 마운트 장치(140)에 설치된 제 2적외선 발광부(141)로 구분되어 구비되고, 적외선 카메라(150)는 제 1적외선 발광부(131)와 제 2적외선 발광부(141)를 식별하여 감지하도록 복수개가 설치된다.
그리고 적외선 발광부(131)(141)는 자체적으로 적외선을 발광하는 적외선 발광다이오드(LED : Light Emitting Diode)로 실시될 수 있다. 적외선 발광부(131)(141)는 사용자(110)(111)가 착용한 헤드 마운트 장치(130)(140)의 움직임 정보(각도, 방향, 위치 등)를 획득하기 위한 것으로 사용자(110)(111)의 헤드 마운트 장치(130)(140)에 복수개가 장착될 수 있다.
다른 실시예로 적외선 발광부(131)(141)는 적외선 마커로 실시될 수 있다. 적외선 마커로 실시되는 경우 적외선 마커는 구 형상으로 형성되며, 이 구에는 적외선을 반사하는 반사층이 코팅되어 있을 수 있다. 이러한 적외선 마커의 구조와 실시예는 "Imagination Computer Services Ges.m.b.H."사의 "아이오트랙커(iotracker)"제품과 같은 기술을 참조하여 변형 실시할 수 있다.
그리고 디스플레이부(160)는 적외선 카메라(150)의 후방에 위치하는 스크린(161)과 이 스크린(161)에 영상을 투사하는 적어도 하나 이상의 프로젝터(162)(163)를 포함한다. 프로젝터(162)(163)는 1개 또는 2개로 실시될 수 있다.
프로젝터(162)(163)가 1개로 실시될 때에는 주제어부(210)가 제 1적외선 발광부(131)의 움직임에 대응하는 제 1편광 영상과 제 2적외선 발광부(141)의 움직임에 대응하는 제 2편광 영상을 생성한다. 그리고 이 제 1편광 영상과 제 2편광 영상을 서로 다른 편광으로 편광 조절하여 교번적으로 하나의 프로젝터(162)(163)에서 스크린(161)으로 투사할 수 있다. 그리고 이를 위하여 프로젝터(162)(163)에는 교번하여 다른 편광 영상을 투사하는 회전형 편광판이 부가적으로 설치될 수 있다.
그리고 프로젝터(162)(163)가 2개로 실시될 때에는 제 1적외선 발광부(131)의 움직임에 대응하는 제 1편광 영상을 스크린(161)에 투사하는 제 1프로젝터(162)와 제 2적외선 발광부(141)의 움직임에 대응하는 제 2편광 영상을 스크린(161)에 투사하는 제 2프로젝터(163)로 실시하고, 제 1편광 영상과 제 2편광 영상이 다른 편광 성분으로 편광 조절되어 스크린(161)에 투사되도록 할 수 있다. 따라서 제 1프로젝터(162)와 제 2프로젝터(163)에는 서로 다른 편광성분의 영상을 투사하도록 각각의 프로젝터(162)(163)에 고정된 편광필터가 설치될 수 있다.
이에 따라 제 1사용자(110)가 착용한 제 1헤드 마운트 장치(130)에 설치된 글래스(HMD 또는 보안경 등)는 제 1편광성분(예를 들면 "P" 편광)으로 편광 조절된 영상에 대한 시청이 가능하도록 편광 필름이 구비되고, 제 2사용자(111)가 착용한 제 2헤드 마운트 장치(140)에 설치된 글래스는 제 2편광성분(예를 들면 "S" 편광)으로 편광 조절된 영상에 대한 시청이 가능하도록 편광 필름이 구비될 수 있다.
계속해서 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템은 적외선 카메라(150)에서 촬영한 적외선 발광부(131)(141)에 대한 이미지를 수신하여 처리하는 적외선 영상 제어부(170)와 사용자(110)(111)가 조종부(120)를 조종할 때 발생하는 동작 데이터를 수신하여 처리하는 조종 제어부(180), 사용자(110)(111)가 착용하는 헤드 마운트 장치(130)(140)의 동작을 제어하는 헤드 마운트 장치 제어부(190), 프로젝터(162)(163)의 동작을 제어하는 프로젝터 제어부(200) 그리고 주제어부(210)를 구비한다.
적외선 영상 제어부(170)에서는 복수개의 적외선 카메라(150)에서 촬영한 복수개의 적외선 발광부(131)(141)의 위치 및 방향을 추정하는 트랙킹 알고리즘이 구현된다. 이 트랙킹 알고리즘은 특징점 예측 및 추출 알고리즘 (feature detection & estimation), 특징점 정합 알고리즘 (feature matching), 3 차원 움직임 추정 알고리즘 (3D motion estimation) 으로 구성될 수 있다.
특징점 예측 및 추출 알고리즘은 3 차원 움직임 추정 알고리즘의 결과 데이터로부터 2 차원 영상 평면의 특징점을 예측 한 후 특징점의 중심 좌표를 추출하기 위한 것이고, 특징점 정합 알고리즘은 특징점의 형태 및 개수 변화를 고려하여 연속적으로 특징점을 추적하기 위해 것으로 복수개의 적외선 카메라(150)의 영상 평면에 동시에 원근 투시 된 특징점을 찾기 위해 구현된다. 그리고 3차원 움직임 추정 알고리즘은 적외선 발광부(131)(141), 즉 사용자의 헤드 마운트 장치(130)(140)의 위치 및 자세를 추정하기 위한 것이다.
조종 제어부(180)는 사용자가 조종부(120)를 조작할 때 발생하는 운송장치의 동작 요구 신호를 수신하여 처리한 후 주제어부(210)로 전송하고, 헤드 마운트 장치 제어부(190)는 헤드 마운트 장치(130)(140)에 대한 동작을 제어하기 위한 것인데, 이 헤드 마운트 장치(130)(140)의 글래스에 별도의 디스플레이가 장착된 경우에 해당 디스플레이에 필요한 영상을 주제어부(210)로부터 수신하여 출력하도록 할 수 있고, 헤드 마운트 장치(130)(140)에 자이로 센서 등이 장착되었을 때 사용자(110)(111)의 움직임에 대한 신호를 헤드 마운트 장치(130)(140)로부터 수신하여 주제어부(210)로 전송하는 기능을 할 수 있다.
그리고 프로젝터 제어부(200)는 주제어부(210)로부터 전송된 영상 신호를 각각의 프로젝터(162)(163)로 전송하는 기능 및 기타 일반적으로 프로젝터(162)(163)에서 필요한 기능을 제어한다.
한편, 주제어부(210)의 주요한 기능은 프로젝터(162)(163)에 출력할 영상 신호를 생성하는 것이다. 즉 기본적인 배경영상과 이 배경영상에 적용되어 출력되는 각종 조건 영상을 머징하고, 또한 모의 동작을 위한 필요한 효과가 부가된 영상을 생성한다.
이하에서는 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템의 제어방법에 대한 실시예를 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 운송장치 시뮬레이션 시스템의 동작을 설명하기 위한 순서도이다.
도 3에 도시된 바와 같이 본 발명의 실시예에 따른 제어방법은 적외선 발광부(131)(141)의 기준위치를 설정하고(S100), 적외선 발광부(131)(141)의 움직임을 감지하고(S110), 적외선 발광부(131)(141)의 움직임을 감지하여 트랙킹 알고리즘을 구동하고(S120), 트랙킹 결과에 부합하는 영상을 생성하고(S130), 생성된 모의 영상을 출력하는 단계(S140)로 진행된다.
먼저 적외선 발광부(131)(141)의 기준위치를 설정하는 단계(S100)는 동작 초기에 프로젝터(162)(163)에서 출력되는 영상과 사용자의 모의 훈련을 위한 조작 시작 위치를 설정하는 단계이다. 예를 들어 항공기에 대한 시뮬레이션 훈련의 경우 지상에 항공기가 주기한 상태에서 사용자(110)(111)가 조종부(120)에 착석하면, 이때를 모의 훈련 시뮬레이션 시스템의 동작을 시작하는 위치로 설정할 수 있다.
이후 시뮬레이터 시스템을 이용하여 모의 훈련을 시작하면 적외선 카메라(150)는 제 1사용자(110)와 제 2사용자(111)가 착용한 헤드 마운트 장치(130)(140)의 적외선 발광부(131)(141)를 감지하고(S110), 이 감지된 영상을 이용하여 트랙킹 알고리즘을 구동하여 사용자의 3차원적 위치 이동을 연산한다(S120). 트랙킹 알고리즘은 특징점 예측 및 추출 알고리즘, 특징점 정합 알고리즘, 3 차원 움직임 추정 알고리즘으로 실시될 수 있다.
특징점 예측 및 추출 알고리즘은 추정된 헤드 마운트 장치(130)(140)의 3 차원 움직임을 이용하여 헤드 마운트 장치(130)(140)의 특징점을 예측 한 후 특징점의 중심점을 추출하는 알고리즘이다. 이 때 t 시간의 특징점의 중심 좌표 데이터는 이후 3 차원 움직임 추정 알고리즘에 사용된다. 이 알고리즘은 확장 칼만 필터를 사용하여 구현되었기 때문에, t 시간 및 t +1 시간의 헤드 마운트 장치(130)(140) 움직임을 추정할 수 있다. 따라서 t +1시간의 3 차원 헤드 마운트 장치(130)(140) 움직임을 적외선 카메라(150)에서 촬영한 영상 평면의 2 차원 움직임으로 변환하면, t +1 시간에 획득될 특징점의 영상 좌표를 추정 할 수 있다. 특징점의 3 차원 좌표를 2 차원의 영상 좌표로 변환하기 위해서 원근 투시도법을 사용할 수 있다.
특징점 정합 알고리즘은 헤드 마운트 장치(130)(140) 특징점에 고유한 번호를 부여하여 매 시간의 특징점을 추적하는데 목적이 있다. 특징점 정합은 두 대의 적외선 카메라(150) 영상 평면에 맺혀진 특징점의 응답점(correspondence)을 찾는 것과 이전 시간과 현재 시간 상의 특징점을 정합하는 것으로 나눌 수 있다. 전자의 경우를 스테레오 정합, 후자의 경우를 특징점 맵 정합으로 구별하여 알고리즘을 구현할 수 있다. 스테레오 정합알고리즘은 두 대의 적외선 카메라(150) 영상 평면에 맺혀진 특징점의 개수 및 형태가 다를 경우에도 특징점의 응답점을 정합 할 수 있게 구현된다. 특징점 맵 정합알고리즘은 스테레오 정합된 특징점의 개수 및 형태 변화가 생겨도 특징점에 고유한 번호를 부여하여 특징점을 추적하기 위하여 설계될 수 있다.
3 차원 움직임 추정 알고리즘은 확장 칼만 필터를 사용하며 구현되며 특징점 예측 및 추출 알고리즘과 특징점 정합 알고리즘의 결과 데이터를 이용하여 수행된다. 상태 변수 벡터는 카메라 프레임에 대한 헤드 좌표계의 위치 변수, 속도 변수, 증분각으로 구성된다. 그리고 헤드 마운트 장치(130)(140)의 자세를 추정하기 위한 회전 행렬은 오일러 증분각을 계산하는 증분 쿼터니언(incremental quaternion)으로 구성된다. 그리고 각각의 프레임에서 증분 회전 행렬을 추정한 후 이전 시간의 회전 행렬에 곱하여 현재의 회전 행렬을 구할 수 있다.
이와 같은 트랙킹 알고리즘을 이용하여 사용자(110)(111)의 헤드 마운트 장치(130)(140)의 3차원적 위치와 사용자(110)(111)의 시야 방향을 추정할 수 있다. 그리고 적외선 영상 제어부(170)에서 트랙킹 알고리즘의 구동으로 사용자의 시야 방향과 위치에 대한 데이터를 획득하면 이 데이터를 주제어부(210)로 전송한다. 주제어부(210)는 해당 훈련 영상에 대한 처리를 위하여 중앙처리장치, 데이터 베이스 그리고 그래픽 카드를 구비한다.
따라서 사용자의 시야 방향과 위치에 대한 데이터를 이용하여 중앙처리장치가 이에 해당하는 영상을 생성할 것을 그래픽 카드에 명령하고, 그래픽 카드의 영상 처리 장치는 이에 해당하는 영상을 생성하여 그래픽 메모리에 저장한 후 프로젝터(162)(163)를 통하여 영상을 출력한다(S120)(S130). 도 4와 도 5a, b, c는 이와 같은 구동에 대한 동작 예를 설명하기 위한 도면이다.
도 4는 운송장치 시뮬레이션 시스템의 스크린(161)에 나타난 콕핏의 프레임이 표시되는 상태를 설명하기 위한 도면이고 도 5a, 도 5b, 도 5c는 복수의 사용자가 시야를 변경하는 상태를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이 시뮬레이션 시스템이 항공기에 대한 모의 훈련을 위한 것인 경우 항공기의 좌측 또는 우측의 프레임 부분이 가려진 상태로 영상이 출력된다. 이때 실제 항공기의 운항시에는 해당 가려진 부분의 시야를 확보하기 위하여 조종사는 머리를 좌우로 움직여 가려진 시야를 확보할 수 있다. 하지만 종래의 시뮬레이션 시스템은 사용자(110)(111)의 움직임에 반응하여 사용자(110)(111)가 원하는 영상을 식별하여 제공하지 못한다. 더욱이 복수의 모의 훈련 조종사가 탑승한 경우에는 출력되는 영상이 조종사마다의 시야에 따라 구분하여 출력할 수 없다.
그러나 본 발명의 실시예에서는 복수의 사용자(110)(111)가 시뮬레이션 시스템에 탑승하여 모의 훈련을 실시하는 경우에 이 각각의 사용자(110)(111)의 시야 및 동작에 최적화된 개별 영상을 하나의 스크린(161)에 동시에 투사하여 각각의 사용자(110)(111)에게 최적화된 훈련 영상을 제공할 수 있다.
예를 들어 도 5a에서와 같이 두 사용자(110)(111)가 모두 동일한 방향을 주시하고 있는 경우라고 하더라도 사용자 서로 간의 위치에 차이가 있기 때문에 실제적으로 다른 영상이 제공되어야 한다. 따라서 제 1프로젝터(162)와 제 2프로젝터(163)는 편광성분이 다른 제 1영상과 제 2영상을 제 1사용자(110)와 제 2사용자(111)의 시야에 최적화된 영상으로 동시에 하나의 스크린(161)에 투사한다.
이때 영상의 시청은 제 1사용자(110)와 제 2사용자(111)는 서로 다른 편광성분의 영상의 시청할 수 있는 헤드 마운트 글라스를 착용하고 있기 때문에 각각 서로에게 최적화된 영상을 독립적으로 시청하게 된다.
그리고 도 5b와 도 5c에 도시된 바와 같이 제 1사용자(110)와 제 2사용자(111)가 서로 반대 방향으로 시야를 변경하는 경우에 적외선 카메라(150)는 제 1사용자(110)와 제 2사용자(111)가 착용한 헤드 마운트 장치(130)(140)의 적외선 발광부(131)(141)를 감지하여 해당 사용자의 움직임에 대한 트랙킹 정보를 확보하고, 이 움직임에 대한 트랙킹 정보에 따른 새로운 영상을 실시간으로 프로젝터(162)(163)를 통하여 스크린(161)에 투사함으로써 사용자(110)(111)의 시야에 맞는 최적화된 모의 영상을 제공할 수 있다.
즉, 다시 도 4를 참조하여 설명하면 항공기의 좌측 프레임에 가려진 부분에 대한 시야를 확보하기 위하여 사용자가 머리를 전방으로 숙여 프레임의 뒤쪽을 보려고 움직일 경우에 적외선 카메라(150)는 이에 대한 동작을 감지한 후 프레임의 뒤쪽에 대한 영상을 스크린(161)에 투사함으로서 현실감 있는 모의 영상을 제공할 수 있도록 한다.
이상에서 설명한 본 발명의 실시예들은 단지 예시와 설명을 위한 것일 뿐이며, 본 발명을 설명된 형태로 한정하려는 것이 아니다. 또한, 본 명세서의 상세한 설명이 본 발명의 범위를 제한하는 것은 아니며, 상세한 설명에 설명되며 첨부된 청구항에 의해 정의된 발명의 사상 및 범위 내에서, 다양한 변화 및 변경을 할 수 있음은 본 발명이 속하는 분야의 당업자에게 자명하다.
100, 101...탑승부
110, 111...사용자
120...조종부
130...제 1헤드 마운트 장치
131...제 1적외선 발광부
140...제 2헤드 마운트 장치
141...제 2적외선 발광부
150...적외선 카메라
160...디스플레이부
170...적외선 영상 제어부
180...조종 제어부
190...헤드 마운트 장치 제어부
200...프로젝터 제어부

Claims (13)

  1. 제 1사용자가 탑승하는 제 1탑승부와 제 2사용자가 탑승하는 제 2탑승부를 구비하는 탑승부;
    각각의 상기 제 1사용자와 상기 제 2사용자가 개별적으로 착용하는 적외선 발광부;
    상기 제 1탑승부와 제 2탑승부의 전방에 위치하여 상기 적외선 발광부의 움직임을 감지하는 적외선 카메라;
    상기 적외선 카메라에서 촬영한 상기 적외선 발광부의 움직임을 트랙킹하여 상기 제 1탑승부에 대응하는 제 1영상과 상기 제 2탑승부에 대응하는 제 2영상을 교번적으로 생성하는 제어부;
    상기 제어부에서 생성한 상기 제 1영상과 상기 제 2영상을 서로 다른 편광으로 편광 조절하여 하나의 디스플레이부에 출력하는 디스플레이부를 구비하고,
    상기 제어부는 상기 제 1탑승부의 상기 적외선 발광부와 상기 제 2탑승부의 상기 적외선 발광부의 위치 및 자세를 분리하여 추정하는 3차원 움직임 추정 알고리즘과, 상기 3차원 움직임 추정 알고리즘의 결과 데이터로부터 2차원 영상 평면의 특징점을 예측한 후 상기 특징점의 중심 좌표를 상기 제 1탑승부와 상기 제 2탑승부를 분리하여 추출하는 특징점 예측 및 추출 알고리즘과 상기 특징점의 형태 및 개수 변화를 고려하여 상기 제 1탑승부와 상기 제 2탑승부의 상기 특징점을 분리하여 연속적으로 추적하는 특징점 정합 알고리즘을 이용하여 상기 제 1영상과 상기 제 2영상을 분리하여 생성하는 운송장치 시뮬레이션 시스템.
  2. 제 1항에 있어서, 상기 디스플레이부는 상기 제 1탑승부와 상기 제 2탑승부의 전방에 설치된 스크린과 상기 제 1영상을 상기 스크린에 투사하는 제 1프로젝터와 상기 제 2영상을 상기 스크린에 투사하는 제 2프로젝터를 구비하는 운송장치 시뮬레이션 시스템.
  3. 제 1항에 있어서, 상기 적외선 발광부는 상기 제 1사용자가 착용하는 제 1적외선 발광부와 상기 제 2사용자가 착용하는 제 2적외선 발광부를 구비하는 운송장치 시뮬레이션 시스템.
  4. 제 1항에 있어서, 상기 적외선 카메라는 상기 제 1사용자가 착용하는 제 1적외선 발광부를 감지하는 제 1적외선 카메라와 상기 제 2사용자가 착용하는 제 2적외선 발광부를 감지하는 제 2적외선 카메라를 포함하는 운송장치 시뮬레이션 시스템.
  5. 제 1사용자가 탑승하는 제 1탑승부와 제 2사용자가 탑승하는 제 2탑승부의 적외선 발광부를 적외선 카메라가 감지하고,
    상기 적외선 카메라에서 감지된 상기 제 1탑승부의 적외선 발광부와 상기 제 2탑승부의 적외선 발광부의 위치에 따라 상기 제 1탑승부의 상기 적외선 발광부와 상기 제 2탑승부의 상기 적외선 발광부의 위치 및 자세를 분리하여 추정하는 3차원 움직임 추정 알고리즘을 수행하고,
    상기 3차원 움직임 추정 알고리즘의 결과 데이터로부터 2차원 영상 평면의 특징점을 예측한 후 상기 특징점의 중심 좌표를 상기 제 1탑승부와 상기 제 2탑승부를 분리하여 추출하는 특징점 예측 및 추출 알고리즘을 수행하고,
    상기 특징점의 형태 및 개수 변화를 고려하여 상기 제 탑승부와 상기 제 2탑승부의 상기 특징점을 분리하여 연속적으로 추적하는 특징점 정합 알고리즘을 수행하고,
    상기 특징정 정합 알고리즘을 수행한 결과를 이용하여 상기 제 1사용자의 시야 방향에 매칭되는 제 1영상과 상기 제 2사용자의 시야 방향에 매칭되는 제 2영상을 분리하여 생성하고,
    상기 제 1영상과 상기 제 2영상의 편광을 다르게 편광 조절하여 교번적으로 디스플레이부에서 출력하는 운송장치 시뮬레이션 시스템의 제어방법.
  6. 제 5항에 있어서, 상기 디스플레이부는 상기 탑승부의 전방에 설치된 스크린과 상기 스크린에 영상을 투사하는 프로젝터를 구비하고, 상기 제 1영상을 상기 스크린에 투사하는 제 1프로젝터와 상기 제 2영상을 상기 스크린에 투사하는 제 2프로젝터를 구비하는 운송장치 시뮬레이션 시스템의 제어방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR1020130080823A 2013-07-10 2013-07-10 운송장치 시뮬레이션 시스템 및 그 제어방법 KR101507014B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130080823A KR101507014B1 (ko) 2013-07-10 2013-07-10 운송장치 시뮬레이션 시스템 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130080823A KR101507014B1 (ko) 2013-07-10 2013-07-10 운송장치 시뮬레이션 시스템 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20150007023A KR20150007023A (ko) 2015-01-20
KR101507014B1 true KR101507014B1 (ko) 2015-03-30

Family

ID=52570117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130080823A KR101507014B1 (ko) 2013-07-10 2013-07-10 운송장치 시뮬레이션 시스템 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR101507014B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102078803B1 (ko) * 2019-06-07 2020-02-18 이남혁 비행실습실

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10937332B2 (en) 2015-10-20 2021-03-02 The Boeing Company Systems and methods for providing a virtual heads up display in a vehicle simulator
KR102032747B1 (ko) * 2016-12-13 2019-10-18 한국철도기술연구원 철도운전 취급 종사자 합동 훈련 시뮬레이터와, 이를 이용하여 철도운전 취급 종사자 합동 훈련을 평가하는 방법
KR101996008B1 (ko) * 2017-05-24 2019-07-03 (주)루쏘팩토리 이동식 가상현실 체험 시스템
CN107516452A (zh) * 2017-08-17 2017-12-26 北京航空航天大学 一种通用型模拟飞行仿真环境测评***
KR102471971B1 (ko) * 2021-12-29 2022-11-29 한국가스공사 하역암 조작 훈련 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4512745A (en) * 1983-05-16 1985-04-23 The United States Of America As Represented By The Secretary Of The Navy Flight simulator with dual probe multi-sensor simulation
JP4607187B2 (ja) * 2004-10-26 2011-01-05 ラインメタル ディフェンス エレクトロニクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 視界システム
KR20120009657A (ko) * 2010-07-20 2012-02-02 재단법인대구경북과학기술원 골프 시뮬레이션 시스템 및 그 제어방법
KR20130038443A (ko) * 2011-10-10 2013-04-18 주식회사 만도 차량 안전장치 제어 시스템 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4512745A (en) * 1983-05-16 1985-04-23 The United States Of America As Represented By The Secretary Of The Navy Flight simulator with dual probe multi-sensor simulation
JP4607187B2 (ja) * 2004-10-26 2011-01-05 ラインメタル ディフェンス エレクトロニクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 視界システム
KR20120009657A (ko) * 2010-07-20 2012-02-02 재단법인대구경북과학기술원 골프 시뮬레이션 시스템 및 그 제어방법
KR20130038443A (ko) * 2011-10-10 2013-04-18 주식회사 만도 차량 안전장치 제어 시스템 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102078803B1 (ko) * 2019-06-07 2020-02-18 이남혁 비행실습실

Also Published As

Publication number Publication date
KR20150007023A (ko) 2015-01-20

Similar Documents

Publication Publication Date Title
KR101507014B1 (ko) 운송장치 시뮬레이션 시스템 및 그 제어방법
JP5055516B2 (ja) 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法
US10678238B2 (en) Modified-reality device and method for operating a modified-reality device
US6359601B1 (en) Method and apparatus for eye tracking
EP3106963B1 (en) Mediated reality
US20120256945A1 (en) System for altering virtual views
CA2569140A1 (en) Device and method for presenting an image of the surrounding world
US10634918B2 (en) Internal edge verification
CN104512336A (zh) 3维(3d)导航
TWI453462B (zh) 智慧型電子裝置之虛擬望遠系統及其方法
US11024040B2 (en) Dynamic object tracking
JP2023501079A (ja) 共有人工現実環境における同じ場所での姿勢推定
JP3477441B2 (ja) 画像表示装置
CN113544766A (zh) 在第一和第二增强现实观看器之间配准本地内容
WO2022133219A1 (en) Mixed-reality visor for in-situ vehicular operations training
JPH09138637A (ja) 模擬視界装置
KR102457608B1 (ko) 차량에서 가상 현실용 헤드셋을 동작하는 방법 및 제어 장치
WO2016185634A1 (ja) 情報処理装置
CN107784693A (zh) 一种信息处理方法和装置
US20230215287A1 (en) Methods, systems, apparatuses, and devices for facilitating provisioning of a virtual experience
US20240053609A1 (en) Methods, systems, apparatuses, and devices for facilitating provisioning of a virtual experience
Arents et al. Simulation-based concept development and evaluation: Augmented reality to improve communication between helicopter crew during firefighting operations
Madritsch Correct spatial visualisation using optical tracking
Bryson Pictorial Communication in Virtual and Real Environments, by Steve Ellis, Mary Kaiser and Art Grunwald
Vince et al. VR Hardware

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right