KR20160000346A - Method for configuring multiple training mode, and apparatus and computer readable recording medium using the same - Google Patents
Method for configuring multiple training mode, and apparatus and computer readable recording medium using the same Download PDFInfo
- Publication number
- KR20160000346A KR20160000346A KR1020140077606A KR20140077606A KR20160000346A KR 20160000346 A KR20160000346 A KR 20160000346A KR 1020140077606 A KR1020140077606 A KR 1020140077606A KR 20140077606 A KR20140077606 A KR 20140077606A KR 20160000346 A KR20160000346 A KR 20160000346A
- Authority
- KR
- South Korea
- Prior art keywords
- training
- virtual
- image
- maintenance
- user
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 251
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012423 maintenance Methods 0.000 claims abstract description 131
- 230000008859 change Effects 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 239000002131 composite material Substances 0.000 claims abstract description 11
- 230000003190 augmentative effect Effects 0.000 claims description 47
- 238000012508 change request Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000004043 responsiveness Effects 0.000 claims 1
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S5/00—Servicing, maintaining, repairing, or refitting of vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Mechanical Engineering (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 자동차 정비 훈련 방법 및 장치, 그리고 그 방법이 기록된 컴퓨터 판독가능한 저장 매체에 관한 것으로서, 더욱 상세하게는 이용 중에 상호 전환이 가능한 다중 훈련 모드를 갖는 자동차 정비 훈련 장치 및 방법, 그리고 그 방법이 기록된 컴퓨터 판독가능한 저장 매체에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle maintenance training method and apparatus, and a computer-readable storage medium on which the method is recorded, and more particularly to an automobile maintenance training apparatus and method having multiple training modes, To a computer readable storage medium having recorded thereon.
자동차 정비 기술 훈련은 사전 학습된 이론을 바탕으로 하여 실제로 자동차 정비를 실습하는 과정이 수반될 때 그 효율성이 높아진다. 즉, 차량 각 부분들의 기능과 작동 원리, 이에 따른 정비 방법 등 자동차 정비에 필요한 기초지식을 이론 학습을 통하여 획득한 후, 실제 자동차를 대상으로 한 실습을 진행해가며 획득한 지식을 몸으로 체득하는 방식을 통해 훈련자는 온전히 자신의 정비 능력을 완성시킬 수 있다. Automotive maintenance skills training is based on pre-learned theories and is actually more effective when it comes to practicing automobile maintenance. In other words, after acquiring the basic knowledge necessary for automobile maintenance such as the function and operation principle of each part of the vehicle and the maintenance method therefor through theoretical learning, and then learning the knowledge acquired through the practice of actual automobile The trainer can complete his or her maintenance capability entirely.
그러나, 매번 실제 자동차를 사용하여 정비 훈련을 실시하게 되면 훈련 비용이 너무 많이 소요되며, 초급 훈련자의 경우 실습대상에 대한 지식 또는 실습 절차나 진행 과정의 주의사항을 충분히 숙지하지 못한 상태에서 실습에 임하는 경우가 있어, 훈련 중 오조작에 의한 부상이나 사고의 위험성이 있다. However, if the maintenance training is carried out by using the actual car every time, the training cost is too much. In the case of the beginner trainee, if the knowledge of the training subject or the training course or the precautions of the training course are not fully understood, There is a risk of injuries or accidents caused by erroneous operation during training.
따라서, 실제 자동차를 대상으로 실습을 하면서도, 실습과정에서 사용자에게 훈련 내용에 대한 충분한 가이드(guide) 및 제반 지식을 제공함으로써, 실습의 효율성을 더욱 높이고 발생가능한 사고 등을 미연에 방지할 수 있는 수단이 필요하게 되었다.Therefore, while providing practical training for actual automobiles, it provides users with sufficient guide and knowledge about the contents of the training in the course of the training so that the efficiency of the training can be further improved and the possible accidents can be prevented in advance .
본 발명의 목적은 자동차 정비 실습시 사용자에게 훈련 대상에 대한 정보 및 정비 훈련 가이드를 제공함으로써, 정비 훈련의 효율성을 향상시키고 정비 훈련 중 발생가능한 사고를 미리 방지할 수 있는 자동차 훈련 장치 및 방법, 그리고 그 방법이 기록된 컴퓨터 판독가능한 저장 매체를 제공하는 데 있다.An object of the present invention is to provide a vehicle training apparatus and method that can improve the efficiency of maintenance training and prevent an accident that may occur during maintenance training by providing information and training guide for training to a user during an automobile maintenance training, And a computer-readable storage medium storing the method.
본 발명의 다른 목적은 상호 전환가능한 복수의 훈련 모드들을 통해 사용자에게 더욱 다각적이고 다양한 훈련 수단을 제시하는 자동차 훈련 장치 및 방법, 그리고 그 방법이 기록된 컴퓨터 판독가능한 저장 매체를 제공하는 데 있다. It is another object of the present invention to provide a vehicle training apparatus and method for presenting a more diverse and various training means to a user through a plurality of training modes that can be switched to each other, and a computer readable storage medium on which the method is recorded.
본 발명의 또 다른 목적은 훈련 대상에 대한 설명서나 안내서를 직접 찾아보지 않고도, 정비 훈련에 필요한 정보 및 지식을 제공할 수 있는 자동차 훈련 장치 및 방법, 그리고 그 방법이 기록된 컴퓨터 판독가능한 저장 매체를 제공하는 데 있다.It is another object of the present invention to provide a vehicle training apparatus and method capable of providing information and knowledge necessary for maintenance training without directly searching for a manual or a manual for the training target and a computer readable storage medium on which the method is recorded .
본 발명의 실시예들에 따른 자동차 정비 훈련 방법은 (a) 훈련 대상의 이미지를 획득하는 단계; (b) 상기 훈련 대상 이미지에 대응되는 정비 훈련 정보를 획득하고, 상기 정비 훈련 정보와 상기 훈련 대상 이미지가 합성된 합성 영상을 사용자에게 표시하는 증강 현실 모드를 제공하는 단계; (c) 상기 증강 현실 모드 단계로부터 다른 모드 단계로의 모드 전환 요청이 있는지 판단하는 단계; 및 (d) 상기 모드 전환 요청에 응답하여 상기 훈련 대상 이미지에 대응되는 가상 객체를 획득하고 사용자 조작에 응답한 상기 가상 객체의 반응, 변화 또는 동작을 가상 시뮬레이션하는 가상 현실 모드를 제공하는 단계를 포함하는 자동차 정비 훈련 방법을 포함한다.An automobile maintenance training method according to embodiments of the present invention includes: (a) acquiring an image of a training object; (b) providing an augmented reality mode for acquiring maintenance training information corresponding to the training object image and displaying a composite image in which the training training information and the training object image are combined to a user; (c) determining whether there is a mode change request from the augmented reality mode step to another mode step; And (d) obtaining a virtual object corresponding to the training object image in response to the mode switching request, and providing a virtual reality mode for simulating a reaction, a change, or an operation of the virtual object in response to a user operation Which includes a car maintenance training method.
본 발명의 실시예들에 따른 자동차 정비 훈련 장치는, 훈련 대상의 이미지를 획득하는 촬영부; 상기 훈련 대상 이미지에 대응되는 정비 훈련 정보를 획득하고, 상기 정비 훈련 정보와 상기 훈련 대상 이미지가 합성된 합성 영상을 사용자에게 표시하는 증강 현실 모드를 구동하는 증강 현실 구동부; 및 상기 훈련 대상 이미지에 대응되는 가상 객체를 획득하고, 사용자 조작에 응답한 상기 가상 객체의 반응, 변화 또는 동작을 가상 시뮬레이션하는 가상 현실 모드를 구동하는 가상 현실 구동부를 포함하고, 모드 전환 요청에 의해서 상기 증강 현실 모드와 상기 가상 현실 모드 사이의 모드 전환이 이루어진다.An automotive maintenance training apparatus according to embodiments of the present invention includes an imaging unit that acquires an image of a training object; An augmented reality driving unit driving an augmented reality mode for acquiring maintenance training information corresponding to the training object image and displaying a composite image in which the training training information and the training object image are combined to a user; And a virtual reality driver for acquiring a virtual object corresponding to the training object image and driving a virtual reality mode for simulating a reaction, a change, or an operation of the virtual object in response to a user operation, Mode switching is performed between the augmented reality mode and the virtual reality mode.
본 발명의 실시예들에 따른 컴퓨터 판독가능한 저장매체에는 앞에서 설명한 방법을 수행하기 위한 컴퓨터 실행가능한 명령들이 기록된다.Computer-readable storage media in accordance with embodiments of the present invention record computer-executable instructions for performing the methods described above.
본 발명의 실시예들에 따르면, 상호 전환가능한 복수의 훈련 모드들을 통해 사용자에게 더욱 다각적이고 다양한 훈련 수단을 제시할 수 있으며, 증강현실과 가상현실을 넘나들면서 사용자에게 정비 대상에 대한 가이드를 제공하므로 사용자 직관성 및 훈련 몰입도가 향상될 수 있고, 나아가 사용자가 정비 훈련에 필요한 정보 및 지식을 매우 효율적으로 습득할 수 있다.According to the embodiments of the present invention, it is possible to present a more diverse and various training means to a user through a plurality of mutually switchable training modes, and to provide a guide to a user for a target while crossing the augmented reality and the virtual reality User intuitiveness and training commitment can be improved, and further, the user can acquire information and knowledge necessary for maintenance training very efficiently.
도 1은 본 발명의 개념을 개략적으로 설명하는 개요도이다.
도 2는 본 발명의 실시예에 따른 자동차 정비 훈련 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 자동차 정비 훈련 방법의 개략적인 흐름을 나타내는 순서도이다.
도 4는 도 3의 S120 단계를 더욱 구체화한 순서도이다.
도 5는 도 3의 S140 단계를 더욱 구체화한 순서도이다.
도 6은 본 발명의 실시예에 따른 자동차 정비 훈련 장치가 증강 현실 모드에 동작하는 모습을 예시적으로 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 자동차 정비 훈련 장치가 가상 현실 모드에서 동작하는 모습을 예시적으로 나타내는 도면이다.
도 8 및 도 9는 가상 현실 모드에서 사용자가 가상 시뮬레이션을 구동하는 방법을 예시적으로 나타내는 도면들이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic diagram for explaining the concept of the present invention; FIG.
2 is a block diagram showing a configuration of an automobile maintenance training apparatus according to an embodiment of the present invention.
3 is a flowchart showing a schematic flow of an automobile maintenance training method according to an embodiment of the present invention.
4 is a flow chart further illustrating step S120 of FIG.
5 is a flow chart further illustrating step S140 of FIG.
FIG. 6 is a view illustrating an example in which an automotive maintenance training apparatus according to an embodiment of the present invention operates in an augmented reality mode.
FIG. 7 is a view illustrating an example in which an automotive maintenance training apparatus according to an embodiment of the present invention operates in a virtual reality mode.
FIGS. 8 and 9 are diagrams illustrating exemplary methods by which a user drives a virtual simulation in a virtual reality mode.
본 명세서는 본 발명이 실시될 수 있는 특정 실시예를 도시하는 첨부 도면을 참조한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기서 어떤 실시예에 관련하여 기재된 특정 형상, 구조 및 특성들은 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예에서도 동일하게 구현될 수 있다. DETAILED DESCRIPTION OF THE INVENTION Reference will now be made to the accompanying drawings, which show specific embodiments in which the invention may be practiced. The various embodiments of the present invention are different but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein with respect to certain embodiments may be implemented equivalently in other embodiments without departing from the spirit and scope of the invention.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도를 내포하지 않는다. 사용된 용어들에서 단수의 표현은 문맥상 명백하게 다르게 지칭되지 않는 한, 복수의 표현을 포함한다. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions in the used terms include plural referents unless the context clearly indicates otherwise.
각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않는 범위 내에서 다양하게 변경될 수 있다. 나아가, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다. 유사한 참조부호가 도면들에서 사용되는 경우, 유사한 참조부호는 여러 실시예들에 대해서 동일하거나 유사한 기능을 지칭한다.The position or arrangement of the individual components within each disclosed embodiment may be variously modified without departing from the spirit and scope of the present invention. Further, the size of each component in the drawings may be exaggerated for the sake of explanation and does not mean the size actually applied. Where similar reference numerals are used in the drawings, like reference numerals refer to the same or similar functions for various embodiments.
이하에서는, 첨부한 도면들을 참조하여, 구체적인 실시예를 통해 본 발명의 내용 및 사상을 설명한다.Hereinafter, the contents and ideas of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 개념을 개략적으로 설명하는 개요도이다. 도 1을 참조하면, 자동차 정비 훈련 장치(100)는 증강 현실 모드와 가상 현실 모드의 두 가지 모드로 사용자에게 정비 훈련 수단을 제공할 수 있으며, 각 모드들은 모드 전환 아이콘(121, 122)을 통해 상호 전환이 가능하다. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic diagram for explaining the concept of the present invention; FIG. Referring to FIG. 1, the vehicle
여기서, 이와 같은 아이콘은 일반적으로 생각할 수 있는 Microsoft의 window에서 제공되는 아이콘과 같은 형태를 생각할 수도 있지만, 이에 한정되는 것은 아니며, 소정의 모드로 접근 가능한 링크 이미지 등의 변형예를 상정할 수도 있을 것이다. 가령, 증강현실 모드 상태에서의 화면에서 특정 관심 부위를 선택하는 행위에 의해 해당 특정 관심 부위에 대한 가상 현실 모드로 진입하는 경우를 상정할 수도 있을 것이다. 또한, 반대의 경우도 성립할 수 있으며, 즉 가상 현실 모드 상태에서의 화면에서 특정 관심 부위를 선택하는 행위에 의해 해당 특정 관심 부위에 대한 증강 현실 모드로 진입하는 경우를 상정할 수 있을 것이다. Here, such an icon may be thought of as an icon-like form provided in a generally available window of Microsoft, but the present invention is not limited thereto, and a modified example of a link image that can be accessed in a predetermined mode may be considered . For example, it may be assumed that the user enters a virtual reality mode for a specific region of interest by selecting a region of interest on the screen in the augmented reality mode. In addition, the opposite case can be established. That is, the case of entering the augmented reality mode for the specific region of interest by the action of selecting a specific region of interest on the screen in the virtual reality mode state.
보다 구체적으로, 훈련 대상 이미지 중 사용자가 관심 영역으로 선택할 수 있는 부분이라는 것을 다른 부분과 차이 나게 표시하여 관심 영역 후보군으로서 제공할 수 있으며(후술할 도 6의 참조번호 121와 같이 빨간색으로 다르게 표시할 수 있음), 사용자가 상기 표시된 적어도 하나의 관심 영역 후보군 중 특정 관심 영역을 선택하면, 상기 특정 관심 영역에 대응되는 가상 객체를 획득하여 가상 현실 모드를 제공할 수도 있을 것이다. More specifically, it can be shown that the user can select a region of interest as a region of interest, which is different from other regions, and can be provided as a candidate region of interest (as indicated by
한편, 증강 현실 모드는 사용자에게 정비 훈련에 대한 갖가지 정보를 제공하는 증강 현실 가이드들(11, 12, 13, 14)을 훈련 대상의 이미지(10)에 합성시켜 표시함으로써, 사용자에게 종합적이고도 직관적인 정비 훈련 정보를 제공하는 모드이다.Meanwhile, the augmented reality mode combines the augmented
증강 현실 모드에서, 자동차 정비 훈련 장치(100)는 훈련 대상(1)을 촬영하거나, 훈련 대상(1)의 이미지를 검색하거나 또는 훈련 대상(1)의 이미지를 다운로드하는 방법 등을 통해, 훈련 대상의 이미지(10)를 획득한다. 그리고, 훈련 대상(1)과 관련된 각종 정비 훈련 정보들을 나타내는 가이드들(11, 12, 13, 14)을 획득한 훈련 대상의 이미지(10)에 합성시킨 합성 영상을 생성한 후, 생성된 합성 영상을 디스플레이부(120)를 통해 사용자에게 표시함으로써, 사용자에게 필요한 훈련 정보를 제공한다. In the augmented reality mode, the automotive
이때, 가이드들(11, 12, 13, 14)은 훈련 대상(1)에 대한 개괄적인 설명(개요)을 제공하는 개요 가이드(11) 또는 훈련 대상(1)의 각 부분과 관련된 세부 설명을 제공하는 상세 가이드(12, 13, 14)를 포함할 수 있다.At this time, the
증강 현실 모드에서, 사용자가 화면상에 표시된 모드 전환 아이콘(121)을 선택하면 자동차 정비 훈련 장치(100)는 가상 현실 모드로 전환될 수 있다.In the augmented reality mode, when the user selects the
가상 현실 모드는 사용자가 실습에 앞서 훈련 대상(1)에 대한 다양한 정비 조작을 가상 시뮬레이션을 통해 연습해 볼 수 있도록 하는 모드이다. The virtual reality mode is a mode in which the user can practice various maintenance operations on the training object 1 through virtual simulation prior to the training.
가상 현실 모드에서, 자동차 정비 훈련 장치(100)는 훈련 대상(1)의 가상 객체(20)를 생성한 후, 각종 시뮬레이션 정보나 시뮬레이션 조작에 필요한 도구 등을 나타내는 가상 현실 가이드들(21, 22, 23)과 함께 디스플레이부(120)에 표시한다. 그리고, 사용자가 가상 객체(20)를 통해 정비 조작을 연습할 수 있도록, 사용자 조작에 따른 가상 객체(20)의 반응, 동작, 변화 등을 가상 시뮬레이션 형태로 제공한다. In the virtual reality mode, the vehicle
가상 현실 모드에서, 사용자가 화면상에 표시된 모드 전환 아이콘(122)을 선택하면 자동차 정비 훈련 장치(100)는 증강 현실 모드로 다시 전환될 수 있다.In the virtual reality mode, when the user selects the
도 2는 본 발명의 실시예에 따른 자동차 정비 훈련 장치의 구성을 나타내는 블록도이다. 도 2를 참조하면, 자동차 정비 훈련 장치(100)는 촬영부(110), 디스플레이부(120), 통신부(130), 증강 현실 구동부(140), 가상 현실 구동부(150)를 포함한다. 한편, 여기서 증강 현실 구동부(140) 및 가상 현실 구동부(150)는 서로 구분되는 모듈로서 표시되었지만, 이는 예시적인 것으로서 본 발명의 범위가 이에 한정되는 것은 아니다. 예를 들어, 증강 현실 구동부(140) 및 가상 현실 구동부(150)는 하나의 소프트웨어 모듈 또는 하나의 하드웨어 프로세서로서 구현될 수 있다.2 is a block diagram showing a configuration of an automobile maintenance training apparatus according to an embodiment of the present invention. Referring to FIG. 2, the vehicle
촬영부(110)는 훈련 대상(1)의 이미지를 획득하는 모듈로서, 여기서는?篤?이라는 용어를 사용하여 표현되었지만 반드시 촬영을 통해 훈련 대상(1)의 이미지를 얻는 것에 국한되지는 않는다. 예를 들어, 촬영부(110)는 카메라와 같은 이미지 촬영 수단을 사용하는 외에도, 훈련 대상(1)에 대응되는 이미지를 저장 장치에서 검색하여 획득하는 검색 수단 또는 훈련 대상(1)에 대응되는 이미지를 유선/무선 통신을 통해 다운로드하여 획득하는 다운로드 수단을 통해 훈련 대상(1)의 이미지를 획득할 수 있다.The photographing
디스플레이부(120)는 자동차 정비 훈련 장치(100)의 표시 수단으로서, 앞서 설명한 증강 현실 모드 또는 가상 현실 모드에서의 이미지(10), 객체(20), 가이드들(11, 12, 13, 14, 21, 22, 23), 아이콘들(121, 122), 시뮬레이션 수단 및 기타 정보들을 사용자에게 표시한다.The
통신부(130)는 유선 또는 무선 통신을 통해 외부와의 데이터 통신을 수행하는 모듈로서, 예를 들어 증강 현실 모드 또는 가상 현실 모드의 구현에 필요한 각종 정보 또는 데이터들을 외부의 데이터베이스(200)로부터 수신하는 통신 모듈을 포함할 수 있다.The
증강 현실 구동부(140)는 사용자에게 증강 현실 모드에서의 자동차 정비 훈련 수단을 제공하는 모듈이다. 이를 위해, 증강 현실 구동부(140)는 촬영부(110)를 통해 획득한 훈련 대상의 이미지(10)로부터 특징점을 추출하고, 추출된 특징점에 기반하여 훈련 대상(1)에 대응되는 정비 훈련 정보를 검색 및 획득한다. 이때, 증강 현실 구동부(140)는 훈련 대상(1)에 대응되는 정비 훈련 정보를 자동차 정비 훈련 장치(100) 내부의 메모리(미도시)로부터 검색하여 획득할 수도 있고, 통신부(130)를 통해 외부의 데이터베이스(200)로부터 검색하여 획득할 수도 있다.The augmented
실시예로서, 추출되는 특징점은 훈련 대상의 이미지(10)를 분석하여 얻어지는 데이터로서, 훈련 대상의 윤곽, 형태, 색깔 또는 구성을 나타내는 데이터 중 적어도 일부를 포함할 수 있다.As an embodiment, the extracted feature points may be data obtained by analyzing the
그리고, 증강 현실 구동부(140)는 획득된 정비 훈련 정보에 기반하여, 훈련 대상(1)의 정비 훈련 방법을 안내하거나 훈련 대상(1)에 대한 제반 정보들을 제공하는 가이드들(11, 12, 13, 14)을 생성한다. 예를 들어, 증강 현실 구동부(140)는 획득된 정비 훈련 정보 중에서 훈련 대상(1)를 개괄적으로 설명하는 정보를 추출하여 하나의 개요 가이드(11)로서 생성하거나, 획득된 정비 훈련 정보 중에서 훈련 대상(1)의 각 부분에 대한 세부 내용을 설명하는 정보들을 추출하여 각 부분에 대응하는 상세 가이드(12, 13, 14)로서 생성할 수 있다. 가이드들(11, 12, 13, 14)은 음성, 소리, 이미지, 동영상, 텍스트, 또는 훈련 대상 이미지(10)의 특정 부분에 맵핑(Mapping) 된 3차원 이미지의 형태로 훈련 대상(1)에 대한 개괄적인 내용(개요) 또는 세부 내용을 나타낼 수 있다.Based on the obtained maintenance training information, the augmented
그리고, 증강 현실 구동부(140)는 생성된 가이드들(11, 12, 13, 14)을 훈련 대상의 이미지(10)와 합성시켜 하나의 합성 영상을 생성한 후 이를 디스플레이부(120)를 통해 표시한다. 실시예로서, 증강 현실 구동부(140)는 훈련 대상의 이미지(10)에 생성된 가이드들(11, 12, 13, 14)을 덧씌우는 방식으로 합성 영상을 생성할 수 있다.The augmented
가상 현실 구동부(150)는 사용자에게 가상 현실 모드에서의 자동차 정비 훈련 수단을 제공하는 모듈이다. 이를 위해, 가상 현실 구동부(150)는 훈련 대상의 이미지(10)에 기반하여, 가상 시뮬레이션을 위한 가상 객체(20)를 생성한다.The virtual
그리고, 가상 시뮬레이션을 위한 제반 정보 또는 조작 도구들을 포함하는 가상 현실 가이드들(21, 22, 23)을 가상 객체(20)와 함께 디스플레이부(120)에 표시한다.Then, virtual reality guides 21, 22, and 23 including virtual reality information or manipulation tools are displayed on the
그리고, 가상 현실 구동부(150)는 자동으로 또는 사용자 입력에 응답하여 가상 객체(20)를 이용한 가상 시뮬레이션을 구동한다. 예를 들어, 가상 현실 구동부(150)는 자동으로 가상 객체(20)를 분해하고 다시 조립하는 일련의 과정들을 3차원 애니메이션을 통해 시뮬레이션할 수도 있고, 사용자의 조작에 응답하여 가상 객체(20)의 반응, 변화, 변화 동작 등을 사용자 조작에 맞게 하나씩 시뮬레이션할 수도 있다.Then, the virtual
실시예로서, 가상 현실 구동부(150)는 가상 시뮬레이션 구동에 앞서, 또는 가상 시뮬레이션 구동 중에, 또는 가상 시뮬레이션 구동을 종료한 후에, 훈련 대상(1)의 표준 정비 방법을 보여주는 정비 훈련 동영상을 사용자에게 상영할 수도 있다.As an embodiment, the virtual
앞서 설명한 자동차 정비 훈련 장치(100)의 구성들에 따르면, 자동차 정비 실습시 사용자에게 훈련 대상에 대한 정보 및 정비 훈련 가이드를 직관적이고도 종합적으로 제공할 수 있으므로, 정비 훈련의 효율성을 향상시키고 정비 훈련 중 발생가능한 사고를 미리 방지할 수 있다.According to the configurations of the automobile
또한, 상호 전환가능한 증강 현실 모드 및 가상 현실 모드를 통해 사용자에게 더욱 다각적이고 다양한 훈련 수단을 제시할 수 있으며, 영상, 동영상, 텍스트, 음성가이드 등 다양한 형태의 정보 제공 수단을 통해 정비 대상에 대한 가이드를 제공하므로 사용자 직관성 및 훈련 몰입도가 향상될 수 있고, 나아가 훈련 대상의 이미지를 획득하는 것만으로 필요한 정보들을 자동차 정비 훈련 장치(100)가 검색하여 제공하므로, 사용자가 훈련 대상에 대한 설명서나 안내서를 직접 찾아보지 않아도 정비 훈련에 필요한 정보 및 지식을 습득할 수 있다.In addition, it is possible to present diversified and various training means to the user through the mutually switchable augmented reality mode and the virtual reality mode, and it is also possible to provide a guide to the maintenance object through various types of information providing means such as video, So that the user's intuitiveness and training immersion can be improved. Furthermore, since the car
도 3은 본 발명의 실시예에 따른 자동차 정비 훈련 방법의 개략적인 흐름을 나타내는 순서도이다. 도 3을 참조하면, 자동차 정비 훈련 방법은 S110 단계 내지 S150 단계를 포함한다.3 is a flowchart showing a schematic flow of an automobile maintenance training method according to an embodiment of the present invention. Referring to FIG. 3, the automobile maintenance training method includes steps S110 to S150.
S110 단계에서, 자동차 정비 훈련 장치(100)는 촬영부(110)를 통해 훈련 대상(1)의 이미지를 획득한다. 실시예로서, 자동차 정비 훈련 장치(100)는 훈련 대상(1)을 직접 촬영하거나, 내부의 저장 장치로부터 훈련 대상(1)에 대응되는 이미지를 검색하거나, 외부로부터 유선/무선 통신을 통해 훈련 대상(1)에 대응되는 이미지를 다운로드함으로써, 훈련 대상의 이미지를 획득할 수 있다.In step S110, the car
S120 단계에서, 자동차 정비 훈련 장치(100)는 도 1 및 도 2에서 설명된 것과 동일한 방법으로, 증강 현실 모드에서의 정비 훈련 정보를 제공한다. 이때, 자동차 정비 훈련 장치(100)는 획득한 훈련 대상 이미지에 대응되는 정비 훈련 정보를 검색 및 획득하고, 획득한 정비 훈련 정보를 훈련 대상 이미지와 합성하여 합성 영상을 생성하고, 생성된 합성 영상을 사용자에게 표시하는 방법을 통해 정비 훈련 정보를 사용자에게 제공할 수 있다. S120 단계의 구체적인 세부 실시예가 도 4에서 더욱 구체적으로 설명된다.In step S120, the car
S130 단계에서, 자동차 정비 훈련 장치(100)는 가상 현실 모드로의 모드 전환 요청이 있는지 판단한다. 모드 전환 요청은 사용자로부터 또는 자동으로 입력될 수 있다. 가상 현실 모드로의 모드 전환 요청이 있으면, 자동차 정비 훈련 방법은 S140 단계로 진행한다. 그렇지 않으면, 자동차 정비 훈련 방법은 종료한다.In step S130, the automotive
S140 단계에서, 자동차 정비 훈련 장치(100)는 도 1 및 도 2에서 설명된 것과 동일한 방법으로, 가상 현실 모드에서의 정비 훈련 정보를 제공한다. 이때, 자동차 정비 훈련 장치(100)는 훈련 대상(1)에 대응되는 가상 객체를 생성하고, 사용자 조작에 응답하여 또는 자동으로 가상 객체를 통한 정비 조작 시뮬레이션을 구동한다. S140 단계의 구체적인 세부 실시예가 도 5에서 더욱 구체적으로 설명된다.In step S140, the automotive
S150 단계에서, 자동차 정비 훈련 장치(100)는 증강 현실 모드로의 모드 전환 요청이 있는지 판단한다. 모드 전환 요청은 사용자로부터 또는 자동으로 입력될 수 있다. 증강 현실 모드로의 모드 전환 요청이 있으면, 자동차 정비 훈련 방법은 S120 단계로 복귀하여 증강 현실 모드에서의 정비 훈련 정보 제공을 진행한다. 그렇지 않으면, 자동차 정비 훈련 방법은 종료한다.In step S150, the automotive
도 4는 도 3의 S120 단계를 더욱 구체화한 순서도이다. 도 4를 참조하면, S120 단계는 S121 단계 내지 S124 단계를 포함한다.4 is a flow chart further illustrating step S120 of FIG. Referring to FIG. 4, step S120 includes steps S121 to S124.
S121 단계에서, 자동차 정비 훈련 장치(100)는 훈련 대상의 이미지로부터 특징점을 추출한다. 실시예로서, 추출되는 특징점은 훈련 대상의 이미지를 분석하여 얻어지는 데이터로서, 훈련 대상의 윤곽, 형태, 색깔 또는 구성을 나타내는 데이터를 포함할 수 있다.In step S121, the car
S122 단계에서, 자동차 정비 훈련 장치(100)는 추출된 특징점에 기반하여 훈련 대상(1)에 대응되는 정비 훈련 정보를 데이터베이스로부터 검색 및 획득한다. 이때, 정비 훈련 정보가 검색되는 데이터베이스는 자동차 정비 훈련 장치(100) 내부의 메모리일 수도 있고, 통신부(130)를 통해 유선 또는 무선으로 연결되는 외부의 데이터베이스일 수도 있다.In step S122, the automotive
S123 단계에서, 자동차 정비 훈련 장치(100)는 획득된 정비 훈련 정보에 기반하여, 훈련 대상의 정비 훈련 방법을 안내하거나 훈련 대상에 대한 제반 정보들을 제공하는 가이드들을 생성한다. 생성되는 가이드들에 대한 자세한 내용은 앞서 도 1 및 도 2에서 설명한 바와 동일하다. In step S123, the car
그리고, 자동차 훈련 장치(100)는 생성된 가이드들을 훈련 대상의 이미지와 합성시켜 하나의 합성 영상을 생성한다. 예를 들어, 자동차 훈련 장치(100)는 생성된 가이드들을 훈련 대상의 이미지에 덧씌우는 방식으로 합성 영상을 생성할 수 있다.Then, the
S124 단계에서, 자동차 훈련 장치(100)는 생성된 합성 영상을 정비 훈련 정보로서 디스플레이부(120)를 통해 표시한다. In step S124, the
도 5는 도 3의 S140 단계를 더욱 구체화한 순서도이다. 도 5를 참조하면, S140 단계는 S141 단계 내지 S143 단계를 포함한다.5 is a flow chart further illustrating step S140 of FIG. Referring to FIG. 5, step S140 includes steps S141 to S143.
S141 단계에서, 자동차 정비 훈련 장치(100)는 훈련 대상의 이미지에 기반하여, 가상 시뮬레이션을 위한 가상 객체를 생성한다. 그리고, 가상 시뮬레이션을 위해 상기 가상 객체 또는 상기 훈련 대상에 대한 제반 정보나 상기 가상 시뮬레이션 조작을 위한 조작 도구들을 포함하는 가상 현실 가이드들과 함께, 가상 객체를 디스플레이부(120)에 표시한다.In step S141, the automotive
S142 단계에서, 자동차 정비 훈련 장치(100)는 시뮬레이션 조작을 위한 사용자 조작을 감지한다. In step S142, the automotive
S143 단계에서, 자동차 정비 훈련 장치(100)는 감지된 사용자 입력에 응답하여 가상 객체의 반응, 변화, 동작 등을 나타내는 가상 시뮬레이션을 구동한다. 예를 들어, 자동차 정비 훈련 장치(100)는 사용자 조작에 응답하여 가상 객체가 분해되거나, 조립되거나, 변화되거나, 동작되는 과정 등을 가상 시뮬레이션을 통해 사용자에게 표시할 수 있다.In step S143, the automotive
지금까지 설명한 자동차 정비 훈련 방법들에 따르면, 자동차 정비 실습시 사용자에게 훈련 대상에 대한 정보 및 정비 훈련 가이드를 직관적이고도 종합적으로 제공할 수 있으므로, 정비 훈련의 효율성을 향상시키고 정비 훈련 중 발생가능한 사고를 미리 방지할 수 있다.According to the automobile maintenance training methods described so far, it is possible to intuitively and comprehensively provide the user with the information and the maintenance training guide about the training object during the automobile maintenance training. Therefore, it is possible to improve the efficiency of the maintenance training, It can be prevented in advance.
또한, 상호 전환가능한 증강 현실 모드 및 가상 현실 모드를 통해 사용자에게 더욱 다각적이고 다양한 훈련 수단을 제시할 수 있으며, 영상, 동영상, 텍스트, 음성가이드 등 다양한 형태의 정보 제공 수단을 통해 정비 대상에 대한 가이드를 제공하므로 사용자 직관성 및 훈련 몰입도가 향상될 수 있고, 나아가 훈련 대상의 이미지를 획득하는 것만으로 필요한 정보들을 자동차 정비 훈련 장치(100)가 검색하여 제공하므로, 사용자가 훈련 대상에 대한 설명서나 안내서를 직접 찾아보지 않아도 정비 훈련에 필요한 정보 및 지식을 습득할 수 있다.In addition, it is possible to present diversified and various training means to the user through the mutually switchable augmented reality mode and the virtual reality mode, and it is also possible to provide a guide to the maintenance object through various types of information providing means such as video, So that the user's intuitiveness and training immersion can be improved. Furthermore, since the car
도 6은 본 발명의 실시예에 따른 자동차 정비 훈련 장치가 증강 현실 모드에 동작하는 모습을 예시적으로 나타내는 도면이다. FIG. 6 is a view illustrating an example in which an automotive maintenance training apparatus according to an embodiment of the present invention operates in an augmented reality mode.
도 6에서, 사용자는 자동차 정비 훈련 장치(100)를 통해 훈련 대상의 이미지를 획득한다. 예를 들어, 사용자는 자동차 정비 훈련 장치(100)에 포함된 촬영부(110)를 통해 훈련 대상(1)를 촬영하여 훈련 대상의 이미지를 획득할 수 있다. 그리고, 자동차 정비 훈련 장치(100)는 앞서 설명된 방법들에 따라 획득한 훈련 대상의 이미지에 대응되는 정비 훈련 정보들을 획득한 후, 이것들을 증강 현실 가이드(11, 12)의 형태로 훈련 대상의 이미지와 합성하고, 그 결과를 디스플레이부(120)를 통해 사용자에게 표시한다. 합성되는 가이드(11, 12) 중 일부는 훈련 대상(1)에 대한 개괄적인 정보(개요)를 나타내는 개요 가이드(11) 또는 훈련 대상(1)의 특정 부분(A)에 대한 세부 설명을 나타내는 상세 가이드(12)일 수 있다.In Fig. 6, the user acquires the image of the training object through the automotive
한편, 디스플레이부(120) 상에는 가상 현실 모드로의 전환을 위한 모드 전환 아이콘(121)이 함께 표시될 수 있다.On the
도 7은 본 발명의 실시예에 따른 자동차 정비 훈련 장치가 가상 현실 모드에서 동작하는 모습을 예시적으로 나타내는 도면이다. FIG. 7 is a view illustrating an example in which an automotive maintenance training apparatus according to an embodiment of the present invention operates in a virtual reality mode.
도 7에서, 자동차 정비 훈련 장치(100)는 훈련 대상(1)에 대응하는 가상 객체(20)를 생성(본 발명에서 생성이란 기생성된 객체를 불러오는 것을 포함하는 개념임)하여 사용자에게 표시한다. 이때, 자동차 정비 훈련 장치(100)는 가상 객체(20)의 가상 시뮬레이션을 위한 제반 정보, 가상 시뮬레이션의 구동을 제어하는 제어 도구 또는 가상 시뮬레이션 상의 정비 조작에 사용될 정비 도구 등을 가상 현실 가이드(21, 22, 23, 24)의 형태로서 함께 표시할 수 있다.7, the automotive
사용자는 제어 도구(23) 또는 정비 도구(24) 상의 특정 메뉴를 조작하여 가상 시뮬레이션 조작을 수행할 수 있다.The user can manipulate a specific menu on the
도 8 및 도 9는 가상 현실 모드에서 사용자가 가상 시뮬레이션을 구동하는 방법을 예시적으로 나타내는 도면들이다. 도 8은 사용자가 정비 도구를 이용하여 가상 시뮬레이션 조작을 수행하는 방법을 도시하는 도면이고, 도 9는 표준 정비 훈련 방법을 설명하는 동영상이 상영되는 것을 도시하는 도면이다.FIGS. 8 and 9 are diagrams illustrating exemplary methods by which a user drives a virtual simulation in a virtual reality mode. FIG. 8 is a diagram showing a method for a user to perform a virtual simulation operation using a maintenance tool, and FIG. 9 is a diagram showing a moving picture explaining a standard maintenance training method.
도 8에서는 예시적으로, 사용자가 가상 시뮬레이션 구동 중에 정비 도구(24) 중 어느 하나의 도구(24a)를 선택하여 시뮬레이션 조작을 시도하는 모습이 도시된다. 사용자는 선택한 도구(24a)를 이용하여 가상 객체(20)를 구동하거나, 분해하거나, 조립하거나, 기타의 조작을 수행할 수 있고, 자동차 정비 훈련 장치(100)는 그러한 사용자 조작에 응답하여 적절한 가상 객체(20)의 반응, 변화, 동작 등을 시뮬레이션한다. 예를 들어, 사용자가 도구(24a)를 이용하여 가상 객체(20)로부터 일부 부품을 분해하는 조작을 하면, 자동차 정비 훈련 장치(100)는 가상 객체(20)에서 일부 부품이 제거되는 동작을 시뮬레이션 및 디스플레이한다.In Fig. 8, an example is shown in which the user selects one of the
도 9에서, 자동차 정비 훈련 장치(100)는 사용자에 대한 설명 또는 시연을 위해 표준 정비 방법을 보여주는 정비 훈련 동영상을 상영한다. 정비 훈련 동영상은 사용자가 정비 방법을 숙지하고 이해한 후 시뮬레이션 조작에 참여할 수 있도록, 가상 현실 구동부(150)는 가상 시뮬레이션 구동에 앞서, 또는 가상 시뮬레이션 구동 중에 상영될 수 있다. 또는, 정비 훈련 동영상은 사용자가 자신이 수행한 시뮬레이션 조작을 검토하고 평가할 수 있도록, 가상 시뮬레이션 구동이 종료된 후에 상영할 수도 있다.In FIG. 9, the car
본 명세서의 상세한 설명에서는 구체적인 실시예를 들어 설명하였으나, 본 명세서의 범위에서 벗어나지 않는 한 각 실시예는 여러 가지 형태로 변형될 수 있다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments.
또한, 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 예시하기 위한 목적에서 사용된 것일 뿐, 의미 한정이나 본 발명의 범위를 제한하도록 의도된 것이 아니다. 그러므로 본 명세서의 범위는 상술한 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위 및 그 균등물에 의해 정해져야 한다. Also, although specific terms are used herein, they are used only for the purpose of illustrating the invention and are not intended to limit the scope of the present invention. Therefore, the scope of the present specification should not be limited to the above-described embodiments, but should be defined by the appended claims and their equivalents.
1: 훈련 대상
100: 자동차 정비 훈련 장치
110: 촬영부
120: 디스플레이부
10: 훈련 대상의 이미지
11, 12, 13, 14: 증강 현실 가이드
121: 모드 전환 아이콘
20: 훈련 대상의 가상 객체
21, 22, 23: 가상 현실 가이드
122: 모드 전환 아이콘
130: 통신부
140: 증강 현실 구동부
150: 가상 현실 구동부
200: 데이터베이스1: Training subject 100: Automobile maintenance training device
110: photographing unit 120: display unit
10: Images of training subjects 11, 12, 13, 14: Augmented Reality Guide
121: Mode switching icon 20: virtual object to be trained
21, 22, 23: Virtual Reality Guide 122: Mode Switch Icon
130: communication unit 140: augmented reality driving unit
150: Virtual Reality Drive Unit 200: Database
Claims (16)
(b) 상기 훈련 대상 이미지에 대응되는 정비 훈련 정보를 획득하고, 상기 정비 훈련 정보와 상기 훈련 대상 이미지가 합성된 합성 영상을 사용자에게 표시하는 증강 현실 모드를 제공하는 단계;
(c) 상기 증강 현실 모드 단계로부터 다른 모드 단계로의 모드 전환 요청이 있는지 판단하는 단계; 및
(d) 상기 모드 전환 요청에 응답하여 상기 훈련 대상 이미지에 대응되는 가상 객체를 획득하고 사용자 조작에 응답한 상기 가상 객체의 반응, 변화 또는 동작을 가상 시뮬레이션하는 가상 현실 모드를 제공하는 단계를 포함하는 자동차 정비 훈련 방법.(a) acquiring an image of a training object;
(b) providing an augmented reality mode for acquiring maintenance training information corresponding to the training object image and displaying a composite image in which the training training information and the training object image are combined to a user;
(c) determining whether there is a mode change request from the augmented reality mode step to another mode step; And
(d) obtaining a virtual object corresponding to the training object image in response to the mode switching request, and providing a virtual reality mode for simulating a reaction, a change, or an operation of the virtual object in response to a user operation Automobile maintenance training method.
상기 가상 현실 모드 단계는.
상기 훈련 대상의 이미지에 기반하여, 상기 훈련 대상에 대응되는 상기 가상 객체를 생성하는 단계;
상기 가상 객체에 대한 정보 또는 상기 가상 시뮬레이션의 조작 도구들을 포함하는 적어도 하나의 가이드들과 함께, 상기 가상 객체를 표시하는 단계;
상기 가상 객체를 조작하기 위한 사용자 입력을 감지하는 단계; 및
상기 사용자 입력에 응답하여 상기 가상 객체의 반응, 변화, 동작 등을 나타내는 상기 가상 시뮬레이션을 구동하는 단계를 포함하는 자동차 정비 훈련 방법.The method according to claim 1,
The virtual reality mode step includes:
Generating the virtual object corresponding to the training object based on the image of the training object;
Displaying the virtual object with at least one guides comprising information about the virtual object or manipulation tools of the virtual simulation;
Sensing a user input to manipulate the virtual object; And
And driving the virtual simulation indicating responsiveness, change, operation, etc. of the virtual object in response to the user input.
상기 적어도 하나의 가이드는,
상기 가상 시뮬레이션의 구동을 제어하는 제어 도구 또는 상기 가상 시뮬레이션 상의 정비 조작에 사용되는 정비 도구를 포함하는 자동차 정비 훈련 방법. 3. The method of claim 2,
Wherein the at least one guide comprises:
A control tool for controlling the driving of the virtual simulation or a maintenance tool used for a maintenance operation on the virtual simulation.
상기 가상 현실 모드 단계 이후에, 상기 가상 현실 모드 단계로부터 상기 증강 현실 모든 단계로의 새로운 모드 전환 요청이 있는지 판단하는 단계를 더 포함하고,
상기 새로운 모드 전환 요청에 응답하여 상기 증강 현실 모드 단계로 복귀하는, 자동자 정비 훈련 방법.The method according to claim 1,
Further comprising: after the virtual reality mode step, determining whether there is a new mode change request from the virtual reality mode step to all the augmented reality steps,
And return to the augmented reality mode step in response to the new mode change request.
상기 가상 현실 모드를 제공하는 단계는, 상기 훈련 대상 이미지 중 사용자의 관심 영역으로 선택된 부분에 대한 정보가 획득되면, 상기 관심 영역에 대응되는 가상 객체를 획득하여 가상 현실 모드를 제공하는, 자동자 정비 훈련 방법.The method according to claim 1,
Wherein the providing of the virtual reality mode comprises: acquiring a virtual object corresponding to the region of interest and obtaining a virtual reality mode, when information on a selected portion of the user's interest region is acquired, Way.
상기 가상 현실 모드를 제공하는 단계는, 상기 훈련 대상 이미지 중 상기 사용자가 관심 영역으로 선택할 수 있는 부분이라는 것을 다른 부분과 차이 나게 표시하여 관심 영역 후보군으로서 제공하고, 상기 사용자가 상기 표시된 적어도 하나의 관심 영역 후보군 중 특정 관심 영역을 선택하면, 상기 특정 관심 영역에 대응되는 가상 객체를 획득하여 가상 현실 모드를 제공하는, 자동자 정비 훈련 방법.6. The method of claim 5,
The providing of the virtual reality mode may further include, as a candidate region of interest, displaying that the user can select a region of interest among the training object images differently from other regions, And acquiring a virtual object corresponding to the specific region of interest when the user selects a specific region of interest among the region candidates, thereby providing a virtual reality mode.
상기 훈련 대상의 이미지를 획득하는 단계는,
상기 훈련 대상을 직접 촬영하거나, 상기 훈련 대상의 이미지를 저장 매체로부터 검색하거나, 상기 훈련 대상의 이미지를 유선 또는 무선 통신을 통해 다운로드하는 방법으로 상기 훈련 대상의 이미지를 획득하는 자동차 정비 훈련 방법.The method according to claim 1,
Wherein acquiring the image of the training object comprises:
Wherein the image of the training object is acquired by directly photographing the training object, searching the storage medium for the image of the training object, or downloading the image of the training object through wired or wireless communication.
상기 증강 현실 모드 단계는,
상기 훈련 대상의 이미지로부터 특징점을 추출하는 단계;
상기 추출된 특징점에 기반하여 상기 훈련 대상에 대응되는 정비 훈련 정보를 획득하는 단계;
상기 정비 훈련 정보에 기반하여, 상기 훈련 대상의 정비 훈련 방법을 안내하거나 상기 훈련 대상에 대한 정보를 제공하는 적어도 하나의 가이드를 생성하는 단계; 및
상기 훈련 대상의 이미지에 상기 생성된 가이드를 합성시켜 상기 합성 영상을 생성하는 단계를 포함하는 자동차 정비 훈련 방법.The method according to claim 1,
The augmented reality mode step includes:
Extracting feature points from the image of the training object;
Obtaining maintenance training information corresponding to the training object based on the extracted characteristic points;
Generating at least one guide for guiding the maintenance training method of the training object or providing information about the training object based on the maintenance training information; And
And generating the synthesized image by synthesizing the generated guide with the image of the training object.
상기 적어도 하나의 가이드는,
상기 훈련 대상에 대한 개요를 제공하는 개요 가이드 또는 상기 훈련 대상의 적어도 일 부분과 관련된 세부 설명을 제공하는 상세 가이드를 포함하는 자동차 정비 훈련 방법.9. The method of claim 8,
Wherein the at least one guide comprises:
A summary guide providing an overview of the training object or a detailed guide providing detailed descriptions related to at least a portion of the training object.
상기 훈련 대상 이미지에 대응되는 정비 훈련 정보를 획득하고, 상기 정비 훈련 정보와 상기 훈련 대상 이미지가 합성된 합성 영상을 사용자에게 표시하는 증강 현실 모드를 구동하는 증강 현실 구동부; 및
상기 훈련 대상 이미지에 대응되는 가상 객체를 획득하고 사용자 조작에 응답한 상기 가상 객체의 반응, 변화 또는 동작을 가상 시뮬레이션하는 가상 현실 모드를 구동하는 가상 현실 구동부를 포함하고,
모드 전환 요청에 의해서 상기 증강 현실 모드와 상기 가상 현실 모드 사이의 모드 전환이 이루어지는 자동차 정비 훈련 장치.A photographing unit for acquiring an image of a training object;
An augmented reality driving unit driving an augmented reality mode for acquiring maintenance training information corresponding to the training object image and displaying a composite image in which the training training information and the training object image are combined to a user; And
And a virtual reality driving unit for driving a virtual reality mode for obtaining a virtual object corresponding to the training object image and for simulating a reaction, a change, or an operation of the virtual object in response to a user operation,
Wherein the mode switching between the augmented reality mode and the virtual reality mode is performed by a mode change request.
상기 가상 현실 구동부는.
상기 훈련 대상의 이미지에 기반하여, 상기 훈련 대상에 대응되는 상기 가상 객체를 생성하고, 상기 가상 객체에 대한 정보 또는 상기 가상 시뮬레이션의 조작 도구들을 포함하는 적어도 하나의 가이드들과 함께, 상기 가상 객체를 표시하며, 상기 가상 객체를 조작하기 위한 사용자 입력을 감지하면, 상기 사용자 입력에 응답하여 상기 가상 객체의 반응, 변화, 동작 등을 나타내는 상기 가상 시뮬레이션을 구동하는 자동차 정비 훈련 장치.11. The method of claim 10,
The virtual reality driving unit includes:
Generating virtual objects corresponding to the training object based on the image of the training object and generating at least one virtual object corresponding to the training object with at least one guides including information on the virtual object or manipulation tools of the virtual simulation, And activates the virtual simulation indicating a reaction, a change, an operation, and the like of the virtual object in response to the user input when a user input for operating the virtual object is sensed.
상기 가상 현실 구동부는, 상기 훈련 대상 이미지 중 사용자의 관심 영역으로 선택된 부분에 대한 정보가 획득되면, 상기 관심 영역에 대응되는 가상 객체를 획득하여 가상 현실 모드를 구동하는 자동자 정비 훈련 장치.11. The method of claim 10,
Wherein the virtual reality driving unit acquires a virtual object corresponding to the region of interest and obtains a virtual reality mode when information on a portion selected as a region of interest of the user is acquired from the training object image.
상기 훈련 대상 이미지 중 상기 사용자가 관심 영역으로 선택할 수 있는 부분이라는 것을 다른 부분과 차이 나게 표시하여 관심 영역 후보군으로서 제공한 상태에서 상기 사용자가 상기 표시된 적어도 하나의 관심 영역 후보군 중 특정 관심 영역을 선택하면, 상기 가상 현실 구동부는, 상기 특정 관심 영역에 대응되는 가상 객체를 획득하여 가상 현실 모드를 제공하는, 자동자 정비 훈련 방법.13. The method of claim 12,
The user selects a particular region of interest among the displayed at least one region of interest candidates in a state in which the user is selected as a region of interest and the region of interest is displayed as a region of interest And the virtual reality driving unit acquires a virtual object corresponding to the specific region of interest and provides a virtual reality mode.
상기 증강 현실 구동부는,
상기 훈련 대상의 이미지로부터 특징점을 추출하고, 상기 추출된 특징점에 기반하여 상기 훈련 대상에 대응되는 정비 훈련 정보를 획득하고, 상기 정비 훈련 정보에 기반하여 상기 훈련 대상의 정비 훈련 방법을 안내하거나 상기 훈련 대상에 대한 정보를 제공하는 적어도 하나의 가이드를 생성하고, 상기 훈련 대상의 이미지에 상기 생성된 가이드를 합성시켜 상기 합성 영상을 생성하는 자동차 정비 훈련 장치.11. The method of claim 10,
The augmented reality driving unit includes:
The method comprising the steps of: extracting feature points from the image of the training object, acquiring maintenance training information corresponding to the training object based on the extracted feature points, guiding the maintenance training method of the training object based on the maintenance training information, Generating at least one guide that provides information on an object, and composing the generated guide to an image of the training object to generate the composite image.
상기 가상 현실 구동부는,
상기 훈련 대상의 이미지에 기반하여 상기 훈련 대상에 대응되는 상기 가상 객체를 생성하고, 상기 가상 객체에 대한 정보 또는 상기 가상 시뮬레이션의 조작 도구들을 포함하는 적어도 하나의 가이드들과 함께 상기 가상 객체를 표시하고, 상기 사용자 입력에 응답하여 상기 가상 객체의 반응, 변화, 동작 등을 나타내는 상기 가상 시뮬레이션을 구동하는 자동차 정비 훈련 장치.11. The method of claim 10,
The virtual reality driving unit includes:
Generating the virtual object corresponding to the training object based on the image of the training object, displaying the virtual object together with at least one guides including information on the virtual object or manipulation tools of the virtual simulation , And activates the virtual simulation indicating a reaction, a change, an operation, and the like of the virtual object in response to the user input.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140077606A KR101645241B1 (en) | 2014-06-24 | 2014-06-24 | Method for configuring multiple training mode, and apparatus and computer readable recording medium using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140077606A KR101645241B1 (en) | 2014-06-24 | 2014-06-24 | Method for configuring multiple training mode, and apparatus and computer readable recording medium using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160000346A true KR20160000346A (en) | 2016-01-04 |
KR101645241B1 KR101645241B1 (en) | 2016-08-12 |
Family
ID=55164257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140077606A KR101645241B1 (en) | 2014-06-24 | 2014-06-24 | Method for configuring multiple training mode, and apparatus and computer readable recording medium using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101645241B1 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019117495A1 (en) * | 2017-12-15 | 2019-06-20 | 코디소프트 주식회사 | Method for providing augmented reality-applied education service |
KR20190092015A (en) * | 2018-01-30 | 2019-08-07 | 서정호 | Apparatus training system using augmented reality and virtual reality and method thereof |
KR20190109350A (en) | 2019-09-16 | 2019-09-25 | 주식회사 테크인모션 | Vr education system |
KR20200011644A (en) * | 2018-07-25 | 2020-02-04 | 주식회사 앤씽크 | Maintenance training drill for elevators using maintenance training simulator of virtual reality base elevator |
KR102104326B1 (en) * | 2019-06-28 | 2020-04-27 | 한화시스템 주식회사 | Maintenance training system and method based on augmented reality |
KR102164366B1 (en) * | 2019-11-29 | 2020-10-12 | 주식회사 아이브이알시스템즈 | Implementation method of platform for providing contents in virtual maintenance training |
KR20220015807A (en) * | 2020-07-31 | 2022-02-08 | 주식회사 인벤티스 | System and method for providing vehicle function guidance and vritrual test-driving experience based on augmented reality |
US11302217B2 (en) | 2019-01-17 | 2022-04-12 | Toyota Motor North America, Inc. | Augmented reality dealer vehicle training manual |
KR20220157209A (en) * | 2021-05-20 | 2022-11-29 | 김형래 | Apparatus and method for aircraft maintenance training based on augmented reality |
US11626028B2 (en) | 2020-07-31 | 2023-04-11 | Inventis Co., Ltd | System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110066665A (en) * | 2009-12-11 | 2011-06-17 | 주식회사 메타이오아시아 | Learning apparatus and method using augmented reality |
KR101195446B1 (en) * | 2012-01-26 | 2012-12-24 | 이에스이 주식회사 | A portable terminal providing maintenance guide based on augmented reality and the method of providing maintenance guide using the same |
-
2014
- 2014-06-24 KR KR1020140077606A patent/KR101645241B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110066665A (en) * | 2009-12-11 | 2011-06-17 | 주식회사 메타이오아시아 | Learning apparatus and method using augmented reality |
KR101195446B1 (en) * | 2012-01-26 | 2012-12-24 | 이에스이 주식회사 | A portable terminal providing maintenance guide based on augmented reality and the method of providing maintenance guide using the same |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019117495A1 (en) * | 2017-12-15 | 2019-06-20 | 코디소프트 주식회사 | Method for providing augmented reality-applied education service |
KR20190092015A (en) * | 2018-01-30 | 2019-08-07 | 서정호 | Apparatus training system using augmented reality and virtual reality and method thereof |
KR20200011644A (en) * | 2018-07-25 | 2020-02-04 | 주식회사 앤씽크 | Maintenance training drill for elevators using maintenance training simulator of virtual reality base elevator |
US11302217B2 (en) | 2019-01-17 | 2022-04-12 | Toyota Motor North America, Inc. | Augmented reality dealer vehicle training manual |
KR102104326B1 (en) * | 2019-06-28 | 2020-04-27 | 한화시스템 주식회사 | Maintenance training system and method based on augmented reality |
KR20190109350A (en) | 2019-09-16 | 2019-09-25 | 주식회사 테크인모션 | Vr education system |
KR102164366B1 (en) * | 2019-11-29 | 2020-10-12 | 주식회사 아이브이알시스템즈 | Implementation method of platform for providing contents in virtual maintenance training |
KR20220015807A (en) * | 2020-07-31 | 2022-02-08 | 주식회사 인벤티스 | System and method for providing vehicle function guidance and vritrual test-driving experience based on augmented reality |
US11626028B2 (en) | 2020-07-31 | 2023-04-11 | Inventis Co., Ltd | System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content |
KR20220157209A (en) * | 2021-05-20 | 2022-11-29 | 김형래 | Apparatus and method for aircraft maintenance training based on augmented reality |
Also Published As
Publication number | Publication date |
---|---|
KR101645241B1 (en) | 2016-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101645241B1 (en) | Method for configuring multiple training mode, and apparatus and computer readable recording medium using the same | |
KR101037252B1 (en) | Image layout constraint generation | |
US8855974B2 (en) | System and method for recommending sensitive make-up based on skin tone of user | |
Webel et al. | Design criteria for AR-based training of maintenance and assembly tasks | |
EP1447783A3 (en) | Riding simulation apparatus | |
JP2008146227A5 (en) | ||
JP2019075124A (en) | Method and system for providing camera effect | |
JP2011159162A5 (en) | ||
US10921795B2 (en) | System for monitoring a technical device | |
JP2018197948A5 (en) | ||
US20100068685A1 (en) | System for evaluating cognitive ability of a subject | |
KR20190109351A (en) | Vr education system | |
JP2017146839A (en) | Component information retrieval device, component information retrieval method and program | |
CN108831233A (en) | A kind of MRI virtual simulated training system and method | |
JP2019046055A5 (en) | ||
CN108154722A (en) | A kind of mobile equipment, a kind of tutoring system and method based on numerically-controlled machine tool | |
CN114299777A (en) | Virtual reality industrial simulation training system | |
JP6645805B2 (en) | Danger prediction training device and training program | |
US20230215121A1 (en) | Method and apparatus for providing user-interactive customized interaction for xr real object transformation | |
EP3621084A1 (en) | A system and a method for generating a virtual reality environment for exercises via a wearable display | |
CA3092884A1 (en) | A media content planning system | |
CN101351749B (en) | Method and device for visualizing an automotive repair cycle | |
KR20180078661A (en) | Simulation system and method capable of intergrated interlocking experiment with shipboard combat system | |
KR20190095566A (en) | Vr education system | |
KR101505174B1 (en) | Methods and apparatuses of an learning simulation model using images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190610 Year of fee payment: 4 |