KR101533886B1 - Method for generating augmented reality for virtual experiential of cultural relics - Google Patents

Method for generating augmented reality for virtual experiential of cultural relics Download PDF

Info

Publication number
KR101533886B1
KR101533886B1 KR1020130127355A KR20130127355A KR101533886B1 KR 101533886 B1 KR101533886 B1 KR 101533886B1 KR 1020130127355 A KR1020130127355 A KR 1020130127355A KR 20130127355 A KR20130127355 A KR 20130127355A KR 101533886 B1 KR101533886 B1 KR 101533886B1
Authority
KR
South Korea
Prior art keywords
mobile device
image
augmented reality
information
location
Prior art date
Application number
KR1020130127355A
Other languages
Korean (ko)
Other versions
KR20150047364A (en
Inventor
박영신
Original Assignee
(주)굿게이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)굿게이트 filed Critical (주)굿게이트
Priority to KR1020130127355A priority Critical patent/KR101533886B1/en
Publication of KR20150047364A publication Critical patent/KR20150047364A/en
Application granted granted Critical
Publication of KR101533886B1 publication Critical patent/KR101533886B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

증강 현실 생성 방법이 개시된다. 본 발명의 실시예에 따른 증강 현실 생성 방법은, 이미지 데이터 세트를 획득하는 단계, 모바일 기기의 위치 및 자세에 기반하여 이미지 데이터 세트로부터 가상 이미지를 추출하는 단계, 및 모바일 기기가 해당 위치 및 자세에서 획득한 촬영 이미지를 가상 이미지와 합성하여 증강 현실 이미지를 생성하는 단계를 포함한다.A method for generating an augmented reality is disclosed. A method for generating an augmented reality according to an embodiment of the present invention includes the steps of acquiring an image data set, extracting a virtual image from an image data set based on the position and attitude of the mobile device, And generating an augmented reality image by synthesizing the acquired image with a virtual image.

Description

문화 유적 가상 체험을 위한 증강 현실 생성 방법{METHOD FOR GENERATING AUGMENTED REALITY FOR VIRTUAL EXPERIENTIAL OF CULTURAL RELICS}METHOD FOR GENERATING AUGMENTED REALITY FOR VIRTUAL EXPERIENTIAL OF CULTURAL RELICS

본 발명의 실시예는 증강 현실 생성 방법에 관한 것이다.
An embodiment of the present invention relates to a method of generating an augmented reality.

일반적으로, 유적지(또는 관광지)를 방문한 방문객은 유적지 내를 돌아다니면서 각 구역마다 해당되는 역사적 상황(또는 사건 또는 인물)에 대한 설명이 쓰여진 푯말을 읽어가면서 둘러보게 된다. 그러나, 단순한 글씨로 쓰여 있는 설명만으로는 그 당시의 역사적 상황에 대한 이해가 부족할 뿐만 아니라 방문객들이 실제 체감하기도 어려워 방문객들의 흥미를 끌기 어렵다는 문제점이 있다. 이에 방문객의 단말기로 해당 관광지에 대한 정보를 제공하는 기술이 제안되고 있다.In general, visitors to the site (or tourist site) will walk around the site and read through the signposts describing the historical situation (or event or person) in each zone. However, there is a problem that not only the understanding of the historical situation at the time is insufficient but the visitors are not able to feel the actual feeling with the simple written description. Accordingly, a technique of providing information on the tourist spot to a visitor terminal has been proposed.

한국공개실용신안공보 제20-2012-0003597호(2012.05.24)
Korean Utility Model Publication No. 20-2012-0003597 (2012.05.24)

본 발명의 실시예는 실제적이고 사실감 있는 역사 정보를 보여 줄 수 있는 증강 현실 생성 방법을 제공하고자 한다.
Embodiments of the present invention provide an augmented reality generation method capable of displaying realistic and realistic historical information.

본 발명의 일 실시예에 따른 증강 현실 생성 방법은, 이미지 데이터 세트를 획득하는 단계; 모바일 기기의 위치 및 자세에 기반하여 상기 이미지 데이터 세트로부터 가상 이미지를 추출하는 단계; 및 상기 모바일 기기가 상기 위치 및 자세에서 획득한 촬영 이미지를 상기 가상 이미지와 합성하여 증강 현실 이미지를 생성하는 단계를 포함한다.A method of generating an augmented reality according to an exemplary embodiment of the present invention includes: acquiring an image data set; Extracting a virtual image from the image data set based on a position and a posture of the mobile device; And generating an augmented reality image by synthesizing a captured image acquired by the mobile device in the position and posture with the virtual image.

상기 이미지 데이터 세트는, 상기 모바일 기기의 초기 위치 정보에 대응할 수 있다.The image data set may correspond to initial position information of the mobile device.

상기 증강 현실 이미지를 생성하는 단계 이후에, 상기 모바일 기기의 위치 및 자세 중 적어도 하나의 변경에 따라 갱신된 상기 가상 이미지와 상기 변경에 따라 갱신된 상기 촬영 이미지를 합성하여 다른 증강 현실 이미지를 생성하는 단계를 더 포함할 수 있다.Wherein the step of generating the augmented reality image further includes the step of generating the another augmented reality image by synthesizing the captured image updated according to the change and the virtual image updated according to at least one of the position and the posture of the mobile device Step < / RTI >

상기 증강 현실 이미지를 생성하는 단계는, 다른 모바일 기기의 위치 정보를 수신하는 단계; 및 상기 다른 모바일 기기의 위치 정보에 따라 상기 다른 모바일 기기의 사용자를 캐릭터화하여 상기 증강 현실 이미지에 표시하는 단계를 더 포함할 수 있다.The step of generating the augmented reality image includes: receiving position information of another mobile device; And displaying a user of the other mobile device as a character on the augmented reality image according to the position information of the other mobile device.

상기 증강 현실 이미지에 표시하는 단계 이후에, 상기 다른 모바일 기기의 위치 정보가 변경되는 경우, 변경된 상기 다른 모바일 기기의 위치 정보에 따라 상기 증강 현실 이미지에 표시된 캐릭터의 위치를 갱신하는 단계를 더 포함할 수 있다.Further comprising the step of updating the position of the character displayed in the augmented reality image according to the changed position information of the other mobile device if the position information of the other mobile device is changed after the step of displaying the augmented reality image .

상기 이미지 데이터 세트는, 상기 모바일 기기의 위치 정보에 대응하는 장소와 관련된 역사적 정보, 사회적 정보, 경제적 정보, 정치적 정보, 지리적 정보, 및 문화적 정보 중 적어도 하나를 제공하는 가상 이미지들을 포함할 수 있다.The image data set may include virtual images providing at least one of historical information, social information, economic information, political information, geographical information, and cultural information associated with a location corresponding to the location information of the mobile device.

상기 이미지 데이터 세트는, 상기 모바일 기기의 초기 위치 정보에 대응하는 유적지를 과거에 존재하던 형태로 복원한 가상 이미지들을 포함할 수 있다.
The image data set may include virtual images obtained by restoring a historical place corresponding to the initial location information of the mobile device to a form that existed in the past.

본 발명의 실시예에 의하면, 촬영 이미지에 해당 위치와 관련된 가상 이미지를 합성하여 증강 현실로 보여줌으로써, 사용자가 유적지 또는 관광지를 방문한 경우 해당 유적지와 관련된 정보를 입체감 있게 보여줄 수 있게 된다. 특히, 촬영 이미지에 해당 유적지가 과거 존재하던 형태로 복원된 가상 이미지를 합성하여 증강 현실로 보여주는 경우, 사용자가 역사의 현장 속으로 들어가 있는 것 같은 느낌을 줄 수 있게 된다. 특히, 모바일 기기의 위치 정보 및 자세 정보에 따라 가상 이미지를 촬영 이미지와 합성하여 증강 현실 이미지를 생성함으로써, 증강 현실을 보다 사실감 및 일체감 있게 표현할 수 있게 된다.
According to the embodiment of the present invention, a virtual image related to the position is combined with the photographed image and is displayed as an augmented reality. Thus, when the user visits a historical site or a tourist spot, information related to the historical site can be displayed in a three-dimensional manner. Particularly, when a virtual image reconstructed in the form of a historical site is combined with a photographed image and displayed as an augmented reality, the user can feel as if he is entering the scene of history. In particular, by creating augmented reality image by synthesizing a virtual image with a captured image according to positional information and attitude information of the mobile device, the augmented reality can be expressed more realistically and unitedly.

도 1은 본 발명의 일 실시예에 따른 모바일 기기의 구성을 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 증강 현실 생성 방법을 나타낸 순서도.
도 3은 본 발명의 일 실시예에 따른 증강 현실 생성 방법에 의한 유적지 역사 체험을 개략적으로 나타낸 도면.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a block diagram of a mobile device according to an embodiment of the present invention; Fig.
2 is a flowchart illustrating a method of generating an augmented reality according to an embodiment of the present invention.
3 is a view schematically showing an experience of historical sites by the method of generating an augmented reality according to an embodiment of the present invention.

이하, 도 1 내지 도 3을 참조하여 본 발명의 증강 현실 생성 방법의 구체적인 실시예를 설명하기로 한다. 그러나 이는 예시적 실시예에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, a concrete embodiment of the method of generating an augmented reality of the present invention will be described with reference to Figs. However, this is an exemplary embodiment only and the present invention is not limited thereto.

본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
The technical idea of the present invention is determined by the claims, and the following embodiments are merely a means for efficiently describing the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs.

도 1은 본 발명의 일 실시예에 따른 모바일 기기의 구성을 나타낸 도면이다.1 is a diagram illustrating a configuration of a mobile device according to an embodiment of the present invention.

도 1을 참조하면, 모바일 기기(100)는 위치 센서(102), 자이로 센서(104), 지자계 센서(106), 촬영부(108), 증강 현실 이미지 생성부(110), 이미지 데이터베이스(112), 및 표시부(114)를 포함한다.1, the mobile device 100 includes a position sensor 102, a gyro sensor 104, a geomagnetic sensor 106, a photographing unit 108, an augmented reality image generating unit 110, an image database 112 ), And a display unit 114.

위치 센서(102)는 모바일 기기(100)의 위치를 확인하여 모바일 기기(100)의 위치 정보를 증강 현실 이미지 생성부(110)로 전달한다. 모바일 기기(100)의 위치 정보는 모바일 기기(100)를 소지한 사용자의 위치 정보를 나타내게 된다. 예를 들어, 사용자가 경상북도 경주시에 위치한 황룡사를 방문한 경우, 위치 센서(102)는 사용자의 위치 정보(즉, 황룡사의 위치)를 증강 현실 이미지 생성부(110)로 전달하게 된다. 위치 센서(102)로는 GPS 모듈이 사용될 수 있다. 위치 센서(102)는 모바일 기기(100)의 위도, 고도, 및 경도에 대한 각 좌표값을 증강 현실 이미지 생성부(110)로 전달할 수 있다. 위치 센서(102)는 모바일 기기(100)의 위치 정보를 실시간으로 증강 현실 이미지 생성부(110)로 전달할 수 있다. 그러나, 이에 한정되는 것은 아니며 위치 센서(102)는 모바일 기기(100)의 위치 정보를 주기적으로 증강 현실 이미지 생성부(100)로 전달할 수도 있다. The position sensor 102 confirms the position of the mobile device 100 and transmits the position information of the mobile device 100 to the augmented reality image generation unit 110. [ The location information of the mobile device 100 indicates the location information of the user having the mobile device 100. [ For example, when the user visits the Hwangryong Temple located in Gyeongju City, Gyeongbuk Province, the location sensor 102 transmits the location information of the user (i.e., the location of the Hwangryong Temple) to the augmented reality image generation unit 110. As the position sensor 102, a GPS module may be used. The position sensor 102 may transmit the coordinate values of the latitude, the altitude, and the longitude of the mobile device 100 to the augmented reality image generation unit 110. [ The position sensor 102 may transmit the positional information of the mobile device 100 to the augmented reality image generation unit 110 in real time. However, the present invention is not limited thereto, and the position sensor 102 may periodically transmit the position information of the mobile device 100 to the augmented reality image generation unit 100. [

자이로 센서(104)는 모바일 기기(100)의 자세를 확인하여 모바일 기기(100)의 자세 정보를 증강 현실 이미지 생성부(110)로 전달한다. 즉, 자이로 센서(104)는 모바일 기기(100)가 기준 자세(예를 들어, 모바일 기기(100)의 roll, yaw, pitch 각도가 각각 0인 경우의 자세)를 중심으로 어느 방향으로 얼마나 기울어졌는지(또는 회전하였는지)에 대한 자세 정보를 확인하여 증강 현실 이미지 생성부(110)로 전달한다. 자이로 센서(104)는 사용자가 촬영부(108)로 촬영부(108)의 전방을 촬영하는 순간의 모바일 기기(100)의 자세 정보를 증강 현실 이미지 생성부(110)로 전달할 수 있다. 구체적으로, 자이로 센서(104)는 모바일 기기(100)의 x축 방향(즉, roll 방향), y축 방향(즉, yaw 방향), 및 z축 방항(즉, pitch 방향)으로의 기울어진 정도(또는 회전된 정도)를 측정하여 증강 현실 이미지 생성부(100)로 전달할 수 있다. 자이로 센서(104)는 모바일 기기(100)의 자세 정보를 실시간 또는 주기적으로 증강 현실 이미지 생성부(100)로 전달할 수 있다. The gyro sensor 104 confirms the posture of the mobile device 100 and transmits the posture information of the mobile device 100 to the augmented reality image generation unit 110. [ That is, the gyro sensor 104 determines how much the mobile device 100 is inclined in which direction about the reference attitude (for example, the attitude when the roll, yaw, and pitch angles of the mobile device 100 are 0) (Or rotated) and transmits the attitude information to the augmented reality image generating unit 110. The gyro sensor 104 may transmit the attitude information of the mobile device 100 to the augmented reality image generating unit 110 at the moment the user takes a photograph of the photographing unit 108 with the photographing unit 108. [ Specifically, the gyro sensor 104 detects the degree of tilt of the mobile device 100 in the x-axis direction (i.e., the roll direction), the y-axis direction (i.e., the yaw direction) (Or degree of rotation) of the augmented reality image to the augmented reality image generation unit 100. The gyro sensor 104 may transmit the attitude information of the mobile device 100 to the augmented reality image generation unit 100 in real time or periodically.

지자계 센서(106)는 기준 방향(예를 들어, 정북 방향)을 중심으로 모바일 기기(100)의 방향을 확인하여 모바일 기기(100)의 방향 정보를 증강 현실 이미지 생성부(110)로 전달한다. 예를 들어, 지자계 센서(106)는 촬영 순간의 촬영부(108)가 향한 방향을 확인하여 모바일 기기(100)의 방향 정보를 증강 현실 이미지 생성부(110)로 전달할 수 있다. The geomagnetic sensor 106 confirms the direction of the mobile device 100 around the reference direction (for example, the north direction) and transmits the direction information of the mobile device 100 to the augmented reality image generation unit 110 . For example, the geomagnetic sensor 106 can confirm the direction of the photographing unit 108 at the moment of photographing, and can transmit the direction information of the mobile device 100 to the augmented reality image generating unit 110.

촬영부(108)는 촬영부(108)의 전방을 촬영하고, 촬영된 이미지를 증강 현실 이미지 생성부(110)로 전달한다. 촬영된 이미지는 정지 영상일 수도 있고, 동영상 일 수도 있다. 여기서, 위치 센서(102), 자이로 센서(104), 지자계 센서(106), 및 촬영부(108)는 모바일 기기(100)에 설치된 어플리케이션의 실행에 따라 각각 구동될 수 있다.The photographing unit 108 photographs the front of the photographing unit 108 and transmits the photographed image to the augmented reality image generating unit 110. [ The photographed image may be a still image or a moving image. Here, the position sensor 102, the gyro sensor 104, the geomagnetic sensor 106, and the photographing unit 108 can be driven respectively according to the execution of the application installed in the mobile device 100. [

증강 현실 이미지 생성부(110)는 위치 센서(102)로부터 모바일 기기(100)의 위치 정보를 수신하는 경우, 이미지 데이터베이스(112)에서 모바일 기기(100)의 위치 정보에 대응하는 이미지 데이터 세트를 추출할 수 있다. 증강 현실 이미지 생성부(110)는 모바일 기기(100)의 초기 위치 정보(즉, 위치 센서(102)가 처음 구동되었을 때 획득한 모바일 기기(100)의 위치 정보)에 대응하는 이미지 데이터 세트를 추출할 수 있다. 이미지 데이터 세트는 모바일 기기(100)의 해당 위치와 관련된 가상 이미지들을 포함한다. 예를 들어, 모바일 기기(100)의 해당 위치가 유적지인 경우, 이미지 데이터 세트는 해당 유적지를 과거에 존재하던 형태로 복원한 2차원 또는 3차원 가상 객체를 나타내는 데이터를 포함할 수 있다. 모바일 기기(100)가 위치한 곳이 황룡사인 경우, 이미지 데이터 세트는 황룡사가 신라 시대에 존재하던 형태로 복원한 3차원 가상 객체를 나타내는 데이터를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니며 이미지 데이터 세트는 해당 위치와 관련된 정보(역사적 정보, 사회적 정보, 경제적 정보, 정치적 정보, 지리적 정보, 문화적 정보 등)를 제공하는 이미지를 나타내는 데이터를 포함할 수 있다.The augmented reality image generating unit 110 extracts an image data set corresponding to the position information of the mobile device 100 from the image database 112 when receiving the position information of the mobile device 100 from the position sensor 102 can do. The augmented reality image generation unit 110 extracts an image data set corresponding to the initial position information of the mobile device 100 (that is, the position information of the mobile device 100 acquired when the position sensor 102 is first driven) can do. The image data set includes virtual images associated with corresponding locations of the mobile device 100. For example, if the corresponding location of the mobile device 100 is a relic, the image data set may include data representing a two-dimensional or three-dimensional virtual object that has been restored to a form that existed in the past. If the location where the mobile device 100 is located is a Hwangryong temple, the image data set may include data representing a 3D virtual object reconstructed in the form that Hwangnyongsa was in the Silla era. However, the present invention is not limited to this, and the image data set may include data representing an image providing information related to the location (historical information, social information, economic information, political information, geographical information, cultural information, etc.).

증강 현실 이미지 생성부(110)는 모바일 기기(100)의 위치 정보 및 자세 정보에 기반하여 이미지 데이터 세트로부터 가상 이미지를 추출할 수 있다. 구체적으로, 증강 현실 이미지 생성부(110)는 이미지 데이터 세트 중 모바일 기기(100)의 위치 정보(위도, 고도, 및 경도) 및 모바일 기기(100)의 자세 정보(roll 각도, yaw 각도, 및 pitch 각도)에 대응하는 가상 이미지(예를 들어, 모바일 기기(100)의 위치 및 자세에서 이미지 데이터 세트가 나타내는 소정의 3차원 가상 객체를 바라본다고 할 때 획득될 이미지)를 추출할 수 있다. The augmented reality image generation unit 110 may extract a virtual image from the image data set based on the position information and attitude information of the mobile device 100. [ Specifically, the augmented reality image generation unit 110 generates position information (latitude, altitude, and longitude) of the mobile device 100 and attitude information (roll angle, yaw angle, and pitch (For example, an image to be obtained when viewing the predetermined three-dimensional virtual object represented by the image data set in the position and posture of the mobile device 100) corresponding to the virtual image (e.g., an angle).

증강 현실 이미지 생성부(110)는 상기 모바일 기기(100)의 위치 및 자세에서 획득한 촬영 이미지와 상기 추출한 가상 이미지를 합성하여 증강 현실 이미지를 생성할 수 있다. 이 경우, 증강 현실 이미지에서 가상 이미지와 촬영 이미지가 실시간 동기화되어 표시될 수 있게 된다.The augmented reality image generation unit 110 may generate an augmented reality image by synthesizing a captured image obtained in the position and posture of the mobile device 100 and the extracted virtual image. In this case, in the augmented reality image, the virtual image and the captured image can be displayed in synchronism with each other in real time.

증강 현실 이미지를 생성한 후, 모바일 기기(100)의 위치 정보 및 자세 정보 가 변경되는 경우, 증강 현실 이미지 생성부(110)는 변경된 위치 정보 및 자세 정보에 따라 증강 현실 이미지를 갱신할 수 있다. 구체적으로, 증강 현실 이미지 생성부(110)는 이미지 데이터 세트 중 모바일 기기(100)의 변경된 위치 정보 및 자세 정보에 대응하는 다른 가상 이미지를 추출하고, 모바일 기기(100)의 변경된 위치 및 자세에서 획득한 촬영 이미지와 상기 추출한 다른 가상 이미지를 합성하여 증강 현실 이미지를 갱신할 수 있다. When the position information and attitude information of the mobile device 100 are changed after the augmented reality image is generated, the augmented reality image generation unit 110 may update the augmented reality image according to the changed position information and attitude information. Specifically, the augmented reality image generation unit 110 extracts the changed position information of the mobile device 100 and other virtual images corresponding to the attitude information among the image data sets, and acquires the acquired virtual image in the changed position and posture of the mobile device 100 It is possible to update the augmented reality image by synthesizing one captured image and another extracted virtual image.

한편, 증강 현실 이미지 생성부(110)는 이와 다른 방식으로 증강 현실 이미지를 생성할 수도 있다. 예를 들어, 증강 현실 이미지 생성부(110)는 이미지 데이터 세트 중 모바일 기기(100)의 방향 정보와 대응하는 방향의 가상 이미지를 추출할 수 있다. 즉, 증강 현실 이미지 생성부(110)는 이미지 데이터 세트 중 촬영부(108)가 향해 있는 방향과 동일한 방향의 가상 이미지를 추출할 수 있다. 예를 들어, 이미지 데이터 세트가 3차원 가상 이미지들을 포함하는 경우, 이미지 데이터 세트에는 해당 위치에서 동쪽 방향을 바라봤을 때의 가상 이미지, 서쪽 방향을 바라봤을 때의 가상 이미지, 남쪽 방향을 바라봤을 때의 가상 이미지, 북쪽 방향을 바라봤을 때의 가상 이미지, 동북 방향을 바라봤을 때의 가상 이미지, 동남 방향을 바라봤을 때의 가상 이미지, 서남 방향을 바라봤을 때의 가상 이미지, 서북 방향을 바라봤을 때의 가상 이미지들이 포함된다. 여기서, 증강 현실 이미지 생성부(110)는 이미지 데이터 세트 중 촬영부(108)가 향해 있는 방향과 동일한 방향의 가상 이미지를 추출하게 된다. 그리고, 증강 현실 이미지 생성부(110)는 모바일 기기(100)의 위치 정보 및 자세 정보에 따라 촬영 이미지와 추출한 가상 이미지를 동기화시켜 합성할 수 있다. 즉, 증강 현실 이미지 생성부(110)는 모바일 기기(100)의 자세 정보(roll 각도, yaw 각도, 및 pitch 각도)에 따라 추출한 가상 이미지의 자세를 보정하고, 모바일 기기(100)의 위치 정보(위도, 고도, 및 경도)에 따라 추출한 가상 이미지의 원근을 보정하여 추출한 가상 이미지와 촬영 이미지를 동기화 시킬 수 있다. Meanwhile, the augmented reality image generation unit 110 may generate an augmented reality image in a different manner. For example, the augmented reality image generation unit 110 may extract a virtual image in a direction corresponding to direction information of the mobile device 100 in the image data set. That is, the augmented reality image generating unit 110 can extract a virtual image in the same direction as the direction in which the photographing unit 108 is oriented. For example, if the image data set includes three-dimensional virtual images, the image data set may include a virtual image when looking east, a virtual image when looking west, and a south view A virtual image of the north, a virtual image of the north, a virtual image of the south, a virtual image of the south, and a north-west direction. Are included. Here, the augmented reality image generating unit 110 extracts a virtual image in the same direction as the direction in which the photographing unit 108 is directed. The augmented reality image generating unit 110 may synthesize the captured image and the extracted virtual image according to the positional information and attitude information of the mobile device 100, That is, the augmented reality image generation unit 110 corrects the posture of the virtual image extracted according to the posture information (roll angle, yaw angle, and pitch angle) of the mobile device 100, Latitude, altitude, and hardness) of the extracted virtual image and corrects the perspective of the extracted virtual image to synchronize the extracted virtual image with the captured image.

증강 현실 이미지 생성부(110)는 인근 영역에 위치하는 다른 모바일 기기(100)의 위치 정보(즉, 다른 사용자의 위치 정보)를 수신할 수 있다. 증강 현실 이미지 생성부(110)는 인근 영역에 위치하는 다른 사용자들을 역사 인물(예를 들어, 과거 당시의 옷을 입은 인물)로 캐릭터화시켜 증강 현실 이미지에 표시할 수 있다. 이때, 증강 현실 이미지 생성부(110)는 다른 모바일 기기(100)의 위치 정보에 따라 증강 현실 이미지 내에서 다른 사용자들을 해당 위치에 표시할 수 있다. 다른 모바일 기기(100)의 위치 정보가 변경되는 경우, 증강 현실 이미지 생성부(110)는 변경된 위치 정보에 따라 증강 현실 이미지 내에서 다른 사용자들의 위치를 변경하여 표시할 수 있다. 증강 현실 이미지 생성부(110)는 다른 모바일 기기(100)의 위치 정보를 다른 모바일 기기(100)로부터 직접 수신할 수 있으나, 이에 한정되는 것은 아니며 별도의 서비스 서버(미도시)로부터 인근 영역에 위치하는 다른 모바일 기기(100)의 위치 정보를 수신할 수도 있다.The augmented reality image generation unit 110 may receive position information of another mobile device 100 located in a neighboring area (i.e., position information of another user). The augmented reality image generation unit 110 may display other users located in the neighboring area as a character in a historical character (for example, a person wearing clothes of the past) to display the augmented reality image. At this time, the augmented reality image generation unit 110 may display other users in the augmented reality image according to the position information of the other mobile device 100. [ When the positional information of another mobile device 100 is changed, the augmented reality image generation unit 110 may change the position of other users in the augmented reality image according to the changed position information and display the changed position information. The augmented reality image generation unit 110 may directly receive the location information of another mobile device 100 from another mobile device 100. However, the augmented reality image generation unit 110 may receive location information of another mobile device 100 from a separate service server (not shown) The location information of the other mobile device 100 may be received.

이미지 데이터베이스(112)는 소정 위치 및 해당 위치와 연관된 이미지 데이터 세트를 매칭하여 저장한다. 예를 들어, 이미지 데이터베이스(112)는 유적지 또는 관광지 별로 이미지 데이터 세트를 매칭하여 저장할 수 있다. 여기서는, 이미지 데이터베이스(112)가 모바일 기기(100) 내에 구비되는 것으로 도시하였으나, 이에 한정되는 것은 아니며 이미지 데이터베이스(112)는 모바일 기기(100)의 외부에 구비될 수도 있다. 예를 들어, 이미지 데이터베이스(112)는 모바일 기기(100)의 외부에 서버 형태로 구현될 수 있다. 이 경우, 모바일 기기(100)가 모바일 기기(100)의 위치 정보를 이미지 데이터베이스(112)를 구비한 서버로 전송하면, 서버가 이미지 데이터베이스(112)에서 모바일 기기(100)의 위치 정보에 대응하는 이미지 데이터 세트를 추출한 후 모바일 기기(100)로 전송해줄 수 있다.The image database 112 stores a predetermined location and a set of image data associated with the location. For example, the image database 112 may store and store image data sets for historical sites or tourist destinations. Here, the image database 112 is shown in the mobile device 100, but the image database 112 may be provided outside the mobile device 100. For example, the image database 112 may be implemented as a server outside the mobile device 100. In this case, when the mobile device 100 transmits the location information of the mobile device 100 to the server having the image database 112, the server stores the location information corresponding to the location information of the mobile device 100 in the image database 112 And may transmit the image data set to the mobile device 100 after extracting the image data set.

표시부(114)는 증강 현실 이미지 생성부(110)가 생성한 증강 현실 이미지를 화면에 표시한다. 이 경우, 모바일 기기(100)의 화면에는 촬영 이미지와 가상 이미지가 합성된 영상이 표시되게 된다. 여기서는, 표시부(114)가 모바일 기기(100)에 구비된 것으로 도시하였으나, 이에 한정되는 것은 아니며 표시부(114)는 모바일 기기(100)의 외부에 존재할 수도 있다. The display unit 114 displays the augmented reality image generated by the augmented reality image generation unit 110 on the screen. In this case, the combined image of the photographed image and the virtual image is displayed on the screen of the mobile device 100. Here, the display unit 114 is shown in the mobile device 100, but the present invention is not limited thereto. The display unit 114 may exist outside the mobile device 100.

본 발명의 실시예에 의하면, 촬영 이미지에 해당 위치와 관련된 가상 이미지를 합성하여 증강 현실로 보여줌으로써, 사용자가 유적지 또는 관광지를 방문한 경우 해당 유적지와 관련된 정보를 입체감 있게 보여줄 수 있게 된다. 특히, 촬영 이미지에 해당 유적지가 과거 존재하던 형태로 복원된 가상 이미지를 합성하여 증강 현실로 보여주는 경우, 사용자가 역사의 현장 속으로 들어가 있는 것 같은 느낌을 줄 수 있게 된다. 특히, 모바일 기기의 위치 정보 및 자세 정보에 따라 가상 이미지를 촬영 이미지와 합성하여 증강 현실 이미지를 생성함으로써, 증강 현실을 보다 사실감 있게 표현할 수 있게 된다.
According to the embodiment of the present invention, a virtual image related to the position is combined with the photographed image and is displayed as an augmented reality. Thus, when the user visits a historical site or a tourist spot, information related to the historical site can be displayed in a three-dimensional manner. Particularly, when a virtual image reconstructed in the form of a historical site is combined with a photographed image and displayed as an augmented reality, the user can feel as if he is entering the scene of history. In particular, the augmented reality can be expressed more realistically by generating the augmented reality image by synthesizing the virtual image with the captured image according to the position information and attitude information of the mobile device.

도 2는 본 발명의 일 실시예에 따른 증강 현실 생성 방법을 나타낸 순서도이다.2 is a flowchart illustrating a method of generating an augmented reality according to an embodiment of the present invention.

도 2를 참조하면, 증강 현실 이미지 생성부(110)가 이미지 데이터베이스(112)에서 모바일 기기(100)의 초기 위치 정보에 대응하는 이미지 데이터 세트를 획득한다(S 101). 모바일 기기(100)의 초기 위치 정보는 모바일 기기(100)를 소지한 사용자가 모바일 기기(100)에 설치된 어플리케이션을 구동하였을 때의 사용자의 현 위치를 나타내게 된다. 예를 들어, 사용자의 현재 위치가 경상북도 경주시 황룡사인 경우, 증강 현실 이미지 생성부(110)는 이미지 데이터베이스(112)에서 경상북도 경주시 황룡사와 매칭된 이미지 데이터 세트를 획득할 수 있다. 이미지 데이터 세트는 황룡사가 신라 시대 때 실제 존재하던 형태로 복원된 가상 이미지들을 포함할 수 있다. Referring to FIG. 2, the augmented reality image generation unit 110 acquires an image data set corresponding to initial position information of the mobile device 100 in the image database 112 (S101). The initial position information of the mobile device 100 indicates the current position of the user when the user having the mobile device 100 operates the application installed in the mobile device 100. [ For example, if the current location of the user is a Hwangryong temple in Gyeongju, Gyeongbuk province, the augmented reality image generator 110 may acquire an image data set matched with the Hwangryong temple in Gyeongju, Gyeongbuk province, Gyeongbuk province. The image data set can contain virtual images restored to the form that Hwangnyongsa used to exist in the Silla era.

다음으로, 증강 현실 이미지 생성부(110)는 위치 센서(102) 및 자이로 센서(104)로부터 모바일 기기(100)의 위치 정보 및 자세 정보를 각각 획득한다(S 103).Next, the augmented reality image generation unit 110 acquires position information and attitude information of the mobile device 100 from the position sensor 102 and the gyro sensor 104, respectively (S 103).

다음으로, 증강 현실 이미지 생성부(110)는 촬영부(108)로부터 상기 모바일 기기(100)의 위치 및 자세에서 촬영한 촬영 이미지를 획득한다(S 105). 여기서는, 모바일 기기(100)의 위치 정보 및 자세 정보를 획득한 후 촬영 이미지를 획득하는 것으로 설명하였지만, 이에 한정되는 것은 아니며 촬영 이미지를 모바일 기기(100)의 위치 정보 및 자세 정보와 동시에 획득할 수도 있다. 그리고, 촬영 이미지를 획득한 후에 모바일 기기(100)의 위치 정보 및 자세 정보를 획득할 수도 있다. Next, the augmented reality image generation unit 110 acquires a photographed image photographed at the position and posture of the mobile device 100 from the photographing unit 108 (S105). Here, it is described that the captured image is obtained after acquiring the positional information and attitude information of the mobile device 100. However, the present invention is not limited thereto, and the captured image may be obtained simultaneously with the positional information and attitude information of the mobile device 100 have. After acquiring the captured image, the location information and attitude information of the mobile device 100 may be acquired.

다음으로, 증강 현실 이미지 생성부(110)는 이미지 데이터 세트에서 모바일 기기(100)의 위치 정보 및 자세 정보에 대응하는 가상 이미지를 추출한다(S 107). Next, the augmented reality image generation unit 110 extracts a virtual image corresponding to the position information and attitude information of the mobile device 100 from the image data set (S 107).

다음으로, 증강 현실 이미지 생성부(110)는 상기 모바일 기기(100)의 위치 및 자세에서 획득한 촬영 이미지와 상기 추출한 가상 이미지를 합성하여 증강 현실 이미지를 생성한다(S 109). 증강 현실 이미지 생성부(110)는 인근 영역에 위치한 다른 모바일 기기(100)의 위치 정보를 수신하는 경우, 다른 모바일 기기(100)의 위치 정보에 따라 다른 모바일 기기(100)의 사용자를 캐릭터화 하여 증강 현실 이미지에 추가로 표시할 수 있다. Next, the augmented reality image generation unit 110 generates an augmented reality image by synthesizing the captured image obtained in the position and attitude of the mobile device 100 and the extracted virtual image (S109). When receiving the location information of another mobile device 100 located in the neighboring area, the augmented reality image generating unit 110 characterizes the user of the other mobile device 100 according to the location information of the other mobile device 100 It can be displayed in addition to the augmented reality image.

다음으로, 증강 현실 이미지 생성부(110)는 모바일 기기(100)의 위치 정보 및 모바일 기기(100)의 자세 정보가 변경되는지 여부를 확인한다(S 111).Next, the augmented reality image generating unit 110 checks whether the position information of the mobile device 100 and the attitude information of the mobile device 100 are changed (S111).

단계 S 111의 확인 결과, 모바일 기기(100)의 위치 정보 및 모바일 기기(100)의 자세 정보가 변경되는 경우, 증강 현실 이미지 생성부(110)는 이미지 데이터 세트 중 모바일 기기(100)의 변경된 위치 정보 및 자세 정보에 대응하는 다른 가상 이미지를 추출하고, 모바일 기기(100)의 변경된 위치 및 자세에서 획득한 촬영 이미지와 상기 추출한 다른 가상 이미지를 합성하여 증강 현실 이미지를 갱신한다(S 113).
When the position information of the mobile device 100 and the posture information of the mobile device 100 are changed as a result of the check in step S111, the augmented reality image generation part 110 generates a new augmented reality image (S113). In this case, the virtual reality image corresponding to the information and attitude information is extracted, and the augmented reality image is updated by synthesizing the captured image obtained at the changed position and attitude of the mobile device 100 and the extracted other virtual image (S113).

도 3은 본 발명의 일 실시예에 따른 증강 현실 생성 방법에 의한 유적지 역사 체험을 개략적으로 나타낸 도면이다.FIG. 3 is a view schematically showing a history experience of a historical site by the method of generating an augmented reality according to an embodiment of the present invention.

도 3을 참조하면, 사용자가 유적지에 도착하여 모바일 기기(100)에 설치된 어플리케이션을 실행시키는 경우, 모바일 기기(100)는 해당 유적지의 위치 정보에 기반하여 해당 유적지와 대응하는 이미지 데이터 세트를 획득한다. 그리고, 모바일 기기(100)는 획득한 이미지 데이터 세트에서 모바일 기기(100)의 위치 및 자세에 대응하는 가상 이미지를 추출한 후, 모바일 기기(100)가 촬영한 촬영 이미지와 합성하여 증강 현실 이미지를 생성하게 된다. 이때, 증강 현실 이미지에는 현재 유적지에는 존재하지 않는 탑이 과거에 존재하던 형태로 복원되어 표시될 수 있다. 그리고, 증강 현실 이미지에는 다른 모바일 기기(100)의 위치 정보에 따라 다른 사용자들이 역사 인물로 캐릭터화 되어 표시될 수 있다. 이 경우, 사용자는 유적지에서 과거의 역사 현장에 있는 것과 같은 느낌을 받게 되며, 해당 유적지에 대한 역사적 사실을 보다 잘 이해할 수 있게 된다.
Referring to FIG. 3, when a user arrives at a relic site and executes an application installed in the mobile device 100, the mobile device 100 acquires an image data set corresponding to the relic based on the location information of the relic site . The mobile device 100 extracts a virtual image corresponding to the position and attitude of the mobile device 100 from the acquired image data set and then generates an augmented reality image by synthesizing the virtual image with the captured image captured by the mobile device 100 . At this time, a tower that does not exist in the current site can be restored and displayed in a form existing in the past in the augmented reality image. In the augmented reality image, other users may be displayed as historical characters in accordance with the position information of the other mobile device 100. In this case, the user will feel like he / she is in the historic site in the historical site, and he / she will be able to better understand the historical facts about the site.

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플로피 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
On the other hand, an embodiment of the present invention may include a computer-readable recording medium including a program for performing the methods described herein on a computer. The computer-readable recording medium may include a program command, a local data file, a local data structure, or the like, alone or in combination. The recording medium may be those specially designed and constructed for the present invention or may be those known to those skilled in the computer software field. Examples of computer readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, and magnetic media such as ROMs, And hardware devices specifically configured to store and execute program instructions. Examples of program instructions may include machine language code such as those generated by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, I will understand. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

100 : 모바일 기기
102 : 위치 센서 104 : 자이로 센서
106 : 지자계 센서 108 : 촬영부
110 : 증강 현실 이미지 생성부 112 : 이미지 데이터베이스
114 : 표시부100: Mobile devices
102: Position sensor 104: Gyro sensor
106: earth magnetic sensor 108:
110: augmented reality image generation unit 112: image database
114:

Claims (8)

모바일 기기의 초기 위치 정보에 대응하는 유적지를 과거에 존재하던 형태로 복원한 가상 이미지들을 포함하는 이미지 데이터 세트를 획득하는 단계;
상기 모바일 기기의 위치 및 자세에 기반하여 상기 이미지 데이터 세트로부터 상기 유적지에 대한 가상 이미지를 추출하는 단계; 및
상기 모바일 기기가 상기 위치 및 자세에서 획득한 상기 유적지에 대한 촬영 이미지를 상기 가상 이미지와 합성하여 증강 현실 이미지를 생성하는 단계; 및
상기 모바일 기기의 위치 및 자세 중 적어도 하나가 변경된 경우, 상기 이미지 데이터 세트로부터 상기 변경된 위치 및 자세 중 적어도 하나에 대응하는 상기 유적지에 대한 다른 가상 이미지를 추출하고, 상기 다른 가상 이미지와 상기 변경에 따라 갱신된 상기 유적지에 대한 촬영 이미지를 합성하여 상기 증강 현실 이미지를 갱신하는 단계;를 포함하는, 증강 현실 생성 방법.
The method comprising: acquiring an image data set including virtual images obtained by restoring a historical site corresponding to the initial location information of the mobile device to a form existing in the past;
Extracting a virtual image of the location from the image data set based on the location and the posture of the mobile device; And
Generating an augmented reality image by synthesizing a captured image of the place of relocation acquired by the mobile device in the position and attitude with the virtual image; And
Extracting from the image data set another virtual image of the location corresponding to at least one of the changed location and posture when at least one of the location and the posture of the mobile device has changed, And updating the augmented reality image by synthesizing a photographed image of the updated relic site.
삭제delete 삭제delete 제1항에 있어서,
상기 증강 현실 이미지를 생성하는 단계는,
다른 모바일 기기의 위치 정보를 수신하는 단계; 및
상기 다른 모바일 기기의 위치 정보에 따라 상기 다른 모바일 기기의 사용자를 캐릭터화하여 상기 증강 현실 이미지에 표시하는 단계를 더 포함하는, 증강 현실 생성 방법.
The method according to claim 1,
Wherein the step of generating the augmented reality image comprises:
Receiving location information of another mobile device; And
Further comprising displaying a user of the other mobile device as a character on the augmented reality image according to the position information of the other mobile device.
제4항에 있어서,
상기 증강 현실 이미지에 표시하는 단계 이후에,
상기 다른 모바일 기기의 위치 정보가 변경되는 경우, 변경된 상기 다른 모바일 기기의 위치 정보에 따라 상기 증강 현실 이미지에 표시된 캐릭터의 위치를 갱신하는 단계를 더 포함하는, 증강 현실 생성 방법.
5. The method of claim 4,
After displaying the augmented reality image,
And updating the position of the character displayed in the augmented reality image according to the changed position information of the other mobile device when the position information of the other mobile device is changed.
제1항에 있어서,
상기 이미지 데이터 세트는,
상기 모바일 기기의 위치 정보에 대응하는 장소와 관련된 역사적 정보, 사회적 정보, 경제적 정보, 정치적 정보, 지리적 정보, 및 문화적 정보 중 적어도 하나를 제공하는 가상 이미지들을 포함하는, 증강 현실 생성 방법.
The method according to claim 1,
The image data set comprising:
And virtual images providing at least one of historical information, social information, economic information, political information, geographical information, and cultural information related to a location corresponding to the location information of the mobile device.
삭제delete 제1항 및 제4항 내지 제6항 중 어느 하나의 항에 기재된 증강 현실 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능 기록 매체.

A computer-readable recording medium storing a program for executing the method for generating an augmented reality according to any one of claims 1 to 6.

KR1020130127355A 2013-10-24 2013-10-24 Method for generating augmented reality for virtual experiential of cultural relics KR101533886B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130127355A KR101533886B1 (en) 2013-10-24 2013-10-24 Method for generating augmented reality for virtual experiential of cultural relics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130127355A KR101533886B1 (en) 2013-10-24 2013-10-24 Method for generating augmented reality for virtual experiential of cultural relics

Publications (2)

Publication Number Publication Date
KR20150047364A KR20150047364A (en) 2015-05-04
KR101533886B1 true KR101533886B1 (en) 2015-07-06

Family

ID=53386418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130127355A KR101533886B1 (en) 2013-10-24 2013-10-24 Method for generating augmented reality for virtual experiential of cultural relics

Country Status (1)

Country Link
KR (1) KR101533886B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108956680A (en) * 2018-05-31 2018-12-07 陈俊华 A kind of integrated nondestructive inspection apparatus and method based on cloud platform

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3915245A4 (en) * 2019-02-19 2022-03-16 Samsung Electronics Co., Ltd. Electronic device and method providing content associated with image to application

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110070210A (en) * 2009-12-18 2011-06-24 주식회사 케이티 Mobile terminal and method for providing augmented reality service using position-detecting sensor and direction-detecting sensor
KR20110072438A (en) * 2009-12-22 2011-06-29 주식회사 케이티 System for providing location based mobile communication service using augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110070210A (en) * 2009-12-18 2011-06-24 주식회사 케이티 Mobile terminal and method for providing augmented reality service using position-detecting sensor and direction-detecting sensor
KR20110072438A (en) * 2009-12-22 2011-06-29 주식회사 케이티 System for providing location based mobile communication service using augmented reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108956680A (en) * 2018-05-31 2018-12-07 陈俊华 A kind of integrated nondestructive inspection apparatus and method based on cloud platform
CN108956680B (en) * 2018-05-31 2020-09-01 陈俊华 Integrated nondestructive detection device and method based on cloud platform

Also Published As

Publication number Publication date
KR20150047364A (en) 2015-05-04

Similar Documents

Publication Publication Date Title
CN108474666B (en) System and method for locating a user in a map display
US10037627B2 (en) Augmented visualization system for hidden structures
EP2208021B1 (en) Method of and arrangement for mapping range sensor data on image sensor data
CN112132940A (en) Display method, display device and storage medium
TW201205499A (en) Extracting and mapping three dimensional features from geo-referenced images
JP6624646B2 (en) Information presentation system, information presentation method, and information presentation program
KR100822814B1 (en) Method for overlapping real-time landscape image and gis data
US20190147631A1 (en) Computer Readable Media, Information Processing Apparatus and Information Processing Method
WO2018220856A1 (en) Street viewer system
JP6345381B2 (en) Augmented reality system
KR20070087317A (en) Digital apparatus capable of displaying imaginary object on real image and method thereof
KR101533886B1 (en) Method for generating augmented reality for virtual experiential of cultural relics
KR20150077607A (en) Dinosaur Heritage Experience Service System Using Augmented Reality and Method therefor
EP3486875B1 (en) Apparatus and method for generating an augmented reality representation of an acquired image
JPH1166350A (en) Retrieval type scene labeling device and system
CN104978476B (en) Indoor map scene, which is carried out, using smart phone mends the method surveyed
Mohammed-Amin Augmented reality: A narrative layer for historic sites
Katsiokalis et al. Outdoors Mobile Augmented Reality for Coastal Erosion Visualization Based on Geographical Data.
WO2022034638A1 (en) Mapping device, tracker, mapping method, and program
KR101265554B1 (en) 3D advertising method and system
JP3114862B2 (en) An interactive landscape labeling system
KR20210012708A (en) Culture historic site informatiion providing system and apparatus
JP3156649B2 (en) Deformable label landscape labeling device and system
KR101707198B1 (en) Method for providing personalized navigation service and navigation system performing the same
JP2018206396A (en) Street viewer system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
FPAY Annual fee payment

Payment date: 20180420

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190827

Year of fee payment: 5