KR102257442B1 - Augmented reality service providing method for providing user interaction and the system thereof - Google Patents

Augmented reality service providing method for providing user interaction and the system thereof Download PDF

Info

Publication number
KR102257442B1
KR102257442B1 KR1020190152937A KR20190152937A KR102257442B1 KR 102257442 B1 KR102257442 B1 KR 102257442B1 KR 1020190152937 A KR1020190152937 A KR 1020190152937A KR 20190152937 A KR20190152937 A KR 20190152937A KR 102257442 B1 KR102257442 B1 KR 102257442B1
Authority
KR
South Korea
Prior art keywords
content
user
augmented reality
recognition
image
Prior art date
Application number
KR1020190152937A
Other languages
Korean (ko)
Inventor
한정혁
Original Assignee
한정혁
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한정혁 filed Critical 한정혁
Priority to KR1020190152937A priority Critical patent/KR102257442B1/en
Application granted granted Critical
Publication of KR102257442B1 publication Critical patent/KR102257442B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a method for providing an augmented reality service responding to a situation of a user and a system therefor. The method includes the steps of: recognizing a recognition object in a recognition image, displaying augmented reality (AR) content including image content and 3D content corresponding to the recognition object; and providing an interaction mode for changing and displaying the viewpoint of the augmented reality content according to the posture and angle of a mobile device, or the location information of a user. It is possible to provide more realistic content.

Description

사용자의 상황에 반응하는 증강현실 서비스 제공 방법 및 그 시스템{AUGMENTED REALITY SERVICE PROVIDING METHOD FOR PROVIDING USER INTERACTION AND THE SYSTEM THEREOF}Augmented reality service provision method and system that responds to the user's situation {AUGMENTED REALITY SERVICE PROVIDING METHOD FOR PROVIDING USER INTERACTION AND THE SYSTEM THEREOF}

본 발명은 사용자의 상황에 반응하는 증강현실 서비스 제공 방법 및 그 시스템에 관한 것으로서, 보다 상세하게는 인식 영상에서 인식된 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠의 증강현실(Augmented Reality; AR) 콘텐츠를 인터랙션 모드로 제공하는 기술에 관한 것이다. The present invention relates to a method and system for providing an augmented reality service that responds to a user's situation, and more specifically, an augmented reality (AR) content of image content and 3D content corresponding to a recognition object recognized in a recognition image. It relates to a technology for providing in an interaction mode.

최근 스마트폰과 같은 모바일 컴퓨팅 장치가 발전하면서, 스마트폰에 구비된 카메라를 이용하여 쉽게 인식할 수 있는 QR 코드 등의 2차원 코드의 활용도가 증가하고 있다. 다만, 현재까지 QR 코드의 활용은 QR 코드를 정지된 이미지나 인쇄물의 형태로 제공하여 사용자가 이를 스캔하면 소정의 웹 페이지로 연결하는 정도에 그치고 있는 실정이다.With the recent development of mobile computing devices such as smartphones, the utilization of two-dimensional codes such as QR codes that can be easily recognized using a camera provided in a smartphone is increasing. However, until now, the use of QR codes is limited to the extent to which the QR code is provided in the form of a still image or printed material, and when a user scans it, it connects to a predetermined web page.

이에, 스마트폰의 카메라를 이용하여 정지된 QR 코드뿐만 아니라, 동영상 속 마크 또는 패턴을 인식하고, 이에 대응하는 다양한 영상 콘텐츠 및 3D 콘텐츠의 증강현실(Augmented Reality; AR) 콘텐츠를 제공하는 기술이 요구된다. Accordingly, there is a need for a technology that recognizes not only a QR code that has been stopped using a camera of a smartphone, but also a mark or pattern in a video, and provides various video content and augmented reality (AR) content of 3D content corresponding thereto. do.

한국등록특허 제10-1745895호(2017.06.12. 공고)Korean Patent Registration No. 10-1745895 (announced on June 12, 2017)

본 발명의 목적은 모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 인식 영상에서 인식된 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠의 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 통해 보다 현실감있는 콘텐츠를 제공하고자 한다. An object of the present invention is more through an interaction mode in which the viewpoint of the augmented reality content of the 3D content and the image content corresponding to the recognition object recognized in the recognition image is changed and displayed according to the posture and angle of the mobile device or the location information of the user. We want to provide realistic content.

본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법은 인식 영상에서 인식 대상을 인식하는 단계, 상기 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이하는 단계 및 모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 상기 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공하는 단계를 포함한다.In the method of providing an augmented reality service according to a user situation according to an embodiment of the present invention, the step of recognizing a recognition object from a recognized image, an augmented reality (AR) content including image content and 3D content corresponding to the recognition object And providing an interaction mode in which the viewpoint of the augmented reality content is changed and displayed according to the posture and angle of the mobile device or the location information of the user.

상기 인식 대상을 인식하는 단계는 사용자의 선택 입력에 따라 선택되는 정지 영상, 고보라이트 영상 및 동영상 중 어느 하나의 상기 인식 영상에서 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 상기 인식 대상을 인식할 수 있다.Recognizing the recognition object includes a single frame or a plurality of frames, or the recognition object composed of a real object in any one of a still image, a gobolite image, and a moving picture selected according to a user's selection input. I can recognize it.

상기 증강현실 콘텐츠를 디스플레이하는 단계는 상기 인식 대상에 대응하는 동영상 포맷의 상기 영상 콘텐츠 및 3D 모델링의 상기 3D 콘텐츠를 동시에 디스플레이할 수 있다.In the displaying of the augmented reality content, the image content in a video format corresponding to the recognition object and the 3D content in 3D modeling may be simultaneously displayed.

상기 인터랙션 모드를 제공하는 단계는 상기 모바일 디바이스의 자세 및 각도에 따라 상기 영상 콘텐츠 및 상기 3D 콘텐츠 중 어느 하나 이상의 상기 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 상기 인터랙션 모드를 제공할 수 있다. The providing of the interaction mode may provide the interaction mode in which the viewpoint of the augmented reality content at least one of the video content and the 3D content is changed and displayed according to the posture and angle of the mobile device.

상기 인터랙션 모드를 제공하는 단계는 상기 모바일 디바이스를 소지하는 사용자의 움직임에 따라 변경되는 상기 모바일 디바이스의 자세 및 각도와 상기 사용자의 위치 정보에 기반하여 상기 영상 콘텐츠의 각도 및 위치를 변경하고, 상기 3D 콘텐츠의 시점을 변경하여 디스플레이하는 상기 인터랙션 모드를 제공할 수 있다. Providing the interaction mode may include changing the angle and position of the video content based on the posture and angle of the mobile device that is changed according to the movement of the user holding the mobile device and the position information of the user, and the 3D The interaction mode in which the viewpoint of the content is changed and displayed may be provided.

상기 인터랙션 모드를 제공하는 단계는 상기 모바일 디바이스의 자세 및 각도에 따라 상기 사용자의 선택 입력으로부터 선택되는 상기 영상 콘텐츠 또는 상기 3D 콘텐츠의 시점만 변경하여 상기 증강현실 콘텐츠로 디스플레이하는 상기 인터랙션 모드를 제공할 수 있다.In the providing of the interaction mode, the interaction mode of displaying the augmented reality content by changing only the viewpoint of the image content or the 3D content selected from the user's selection input according to the posture and angle of the mobile device may be provided. I can.

상기 인터랙션 모드를 제공하는 단계는 상기 모바일 디바이스를 소지하는 상기 사용자의 위치 정보를 기반으로 사용자가 해당 위치에서 상기 모바일 디바이스를 통해 상기 인식 대상을 인식하는 경우, 상기 위치 정보에 대응하는 특정 위치의 증강현실 콘텐츠를 디스플레이하는 상기 인터랙션 모드를 제공할 수 있다.In the providing of the interaction mode, when the user recognizes the recognition target through the mobile device at a corresponding location based on the location information of the user holding the mobile device, augmentation of a specific location corresponding to the location information The interaction mode for displaying real content may be provided.

본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템은 인식 영상에서 인식 대상을 인식하는 인식부, 상기 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이하는 디스플레이부 및 모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 상기 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공하는 인터랙션 제공부를 포함한다. An augmented reality service providing system according to a user situation according to an embodiment of the present invention includes a recognition unit that recognizes a recognition object from a recognized image, an augmented reality (AR) including image content and 3D content corresponding to the recognition target. And a display unit for displaying content and an interaction providing unit for providing an interaction mode for changing and displaying a viewpoint of the augmented reality content according to a posture and angle of a mobile device, or location information of a user.

본 발명의 실시예에 따르면, 모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 인식 영상에서 인식된 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠의 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 통해 보다 현실감있는 콘텐츠를 제공할 수 있다. According to an embodiment of the present invention, an interaction mode for changing and displaying the viewpoint of the augmented reality content of the image content and 3D content corresponding to the recognition object recognized in the recognition image according to the posture and angle of the mobile device or the user's location information Through this, more realistic content can be provided.

또한, 본 발명의 실시예에 따르면, 사용자의 선택 입력에 따라 영상 콘텐츠 및 3D 콘텐츠 중 어느 하나 이상의 콘텐츠의 시점을 변경하여 제공하는 인터랙션 모드를 제공할 수 있다. In addition, according to an embodiment of the present invention, an interaction mode may be provided in which a viewpoint of one or more of video content and 3D content is changed and provided according to a user's selection input.

도 1은 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법의 동작 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 인식 대상의 예를 도시한 것이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 인식 영상에서 인식 대상을 인식하여 증강현실 콘텐츠를 체험하는 예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템의 세부 구성을 블록도로 도시한 것이다.1 is a flowchart illustrating an operation of a method of providing an augmented reality service according to a user situation according to an embodiment of the present invention.
2 shows an example of an object to be recognized according to an embodiment of the present invention.
3A and 3B illustrate an example of experiencing an augmented reality content by recognizing a recognition object in a recognition image according to an embodiment of the present invention.
4 is a block diagram showing a detailed configuration of a system for providing an augmented reality service according to a user situation according to an embodiment of the present invention.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited or limited by the embodiments. In addition, the same reference numerals shown in each drawing indicate the same member.

또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In addition, terms used in the present specification are terms used to properly express preferred embodiments of the present invention, which may vary according to the intention of viewers or operators, or customs in the field to which the present invention belongs. Therefore, definitions of these terms should be made based on the contents throughout the present specification.

도 1은 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법의 동작 흐름도를 도시한 것이며, 도 2는 본 발명의 실시예에 따른 인식 대상의 예를 도시한 것이다.1 is a flowchart illustrating an operation of a method for providing an augmented reality service according to a user situation according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating an example of a recognition object according to an embodiment of the present invention.

도 1의 방법은 도 4에 도시된 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템에 의해 수행된다.The method of FIG. 1 is performed by a system for providing an augmented reality service according to a user situation according to an embodiment of the present invention shown in FIG. 4.

도 1을 참조하면, 단계 110에서, 인식 영상에서 인식 대상을 인식한다. Referring to FIG. 1, in step 110, a recognition object is recognized from a recognition image.

단계 110은 사용자의 선택 입력에 따라 선택되는 정지 영상, 고보라이트 영상 및 동영상 중 어느 하나의 인식 영상에서 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 인식할 수 있다. In operation 110, a recognition object composed of a single frame, a plurality of frames, or a real object may be recognized from any one of a still image, a gobolite image, and a moving image selected according to a user's selection input.

본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법은 단계 110 전에, 사용자의 선택 입력에 따라 인식하고자 하는 인식 영상을 선택하는 제1 단계(미도시) 및 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 설정하는 제2 단계(미도시)를 선행할 수 있다.In the method of providing an augmented reality service according to a user situation according to an embodiment of the present invention, prior to step 110, a first step of selecting a recognition image to be recognized according to a user's selection input (not shown) and a single frame included in the recognition image Alternatively, a second step (not shown) of setting a recognition object composed of a plurality of frames or a real object may be performed.

제1 단계는 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 영상 종류를 디스플레이하는 단계를 포함하며, 디스플레이된 영상 종류에서 사용자의 선택 입력에 따라 정지 영상, 고보라이트 영상 및 동영상 중 어느 하나의 인식 영상을 선택할 수 있다.The first step includes displaying an image type of a still image, a GOBO light image, and a moving image, and one of a still image, a gobo light image, and a moving image according to a user's selection input from the displayed image type. You can select a recognition image.

본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템은 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)일 수 있으며, 모바일 디바이스는 스마트폰(smart phone), 휴대폰, 태블릿 PC, 내비게이션, 노트북, 데스크탑 PC, 디지털방송용 단말, PDA(Personal Digital Assistants) 및 PMP(Portable Multimedia Player) 중 적어도 어느 하나의 단말 장치일 수 있다. 이때, 모바일 디바이스는 영상을 촬영 및 인식하는 카메라를 포함하며, 터치 - 감지 영역을 포함하는 스크린을 통해 소정의 기능 집합의 동작을 수행할 수 있는 터치 스크린 형태의 디스플레이를 포함하는 것일 수 있고, 하나 이상의 물리적 버튼 또는 가상의 버튼을 포함하는 기기일 수 있으므로 종류 및 형태는 이에 한정되지 않는다. The augmented reality service providing system according to the user's situation according to an embodiment of the present invention may be an application installed on a mobile device possessed by the user, and the mobile device is a smart phone, a mobile phone, a tablet PC, a navigation system, It may be at least one of a notebook computer, a desktop PC, a digital broadcasting terminal, a personal digital assistant (PDA), and a portable multimedia player (PMP). In this case, the mobile device may include a camera for capturing and recognizing an image, and may include a display in the form of a touch screen capable of performing an operation of a predetermined set of functions through a screen including a touch-sensing area. Since the device may include the above physical buttons or virtual buttons, the type and shape are not limited thereto.

본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법의 제1 단계 전에, 상기 디스플레이하는 단계는 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 영상 종류를 사용자에게 제공하며, 사용자로부터 영상 종류의 선택을 요청할 수 있다. 예컨대, 상기 디스플레이하는 단계는 모바일 디바이스의 디스플레이를 통해 사용자에게 정지 영상, 고보라이트 영상 및 동영상 중 인식하고자 하는 인식 영상의 영상 종류를 선택할 수 있도록 제공하며, 사용자는 영상 종류를 선택할 수 있다. Before the first step of the method for providing an augmented reality service according to the user's situation according to an embodiment of the present invention, the displaying step provides a still image, a GOBO light image, and an image type of a moving image to the user, and You can request the selection of the video type. For example, the displaying may provide a user to select an image type of a recognized image to be recognized among a still image, a gobolite image, and a moving image through the display of the mobile device, and the user may select the image type.

사용자의 영상 종류 선택에 따라, 사용자가 모바일 디바이스의 카메라로 정지 영상, 고보라이트(GOBO Light) 영상 또는 동영상을 스캔하면, 제2 단계에서, 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 설정할 수 있다. According to the user's image type selection, when the user scans a still image, a GOBO Light image, or a video with the camera of the mobile device, in the second step, a single frame or a plurality of frames included in the recognized image, or A recognition object composed of a real object can be set.

제2 단계는 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 또는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상을 책정할 수 있다. 이때, 인식 대상은 증강현실(AR) 콘텐츠에 접근하여 실행되는 웹 주소 또는 증강현실(AR) 콘텐츠가 포함된 것일 수 있다. The second step is the recognition object of a mark (or code) or pattern (or phrase) composed of a single frame or a plurality of frames included in the recognition image, or a recognition object composed of real objects such as souvenirs, statues, dolls, and figures. Can be formulated. In this case, the recognition target may be a web address or augmented reality (AR) content that is executed by accessing the augmented reality (AR) content.

일 예로, 모바일 디바이스의 카메라를 통해 촬영되는 인식 영상에는 특정 위치에 고정된 마크, 코드, 패턴 또는 문구를 나타내는 단일 프레임 또는 이동하며 위치하는 마크, 코드, 패턴 또는 문구의 복수의 프레임들이 포함될 수 있다. 예컨대, 단일 프레임은 인식 영상의 특정 영역에 고정되어 위치되는 것으로, 일정 시간 동안 동일한 프레임을 출력되는 것일 수 있다. 또한, 복수의 프레임들은 인식 영상에서 특정 영역에 고정되는 것이 아닌, 영상을 따라 이동하며 위치하는 것으로, 복수 개의 프레임들이 연결되어 출력되는 것일 수 있다. 이에 따라서, 제2 단계는 인식 영상에서 단일 프레임 또는 복수의 프레임들로 구성된 마크, 코드, 패턴 또는 문구의 인식 대상을 책정할 수 있다.For example, a recognition image captured by a camera of a mobile device may include a single frame representing a mark, code, pattern, or phrase fixed at a specific location, or a plurality of frames of a mark, code, pattern, or phrase positioned while moving. . For example, a single frame may be fixed and positioned in a specific region of the recognized image, and the same frame may be output for a predetermined period of time. In addition, the plurality of frames are not fixed to a specific area in the recognition image, but are moved along the image and are positioned, and may be output by connecting the plurality of frames. Accordingly, in the second step, a recognition object of a mark, code, pattern, or phrase composed of a single frame or a plurality of frames in the recognition image may be determined.

다른 예로, 모바일 디바이스의 카메라를 통해 촬영되는 인식 영상에는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체가 위치할 수 있다. 예컨대, 사용자는 모바일 디바이스의 카메라를 통해 실물의 대상체를 촬영할 수 있으며, 제2 단계는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체를 인식 대상으로 책정할 수 있다. 도 2에 도시된 바와 같이, 제2 단계에서 설정하는 인식 대상은 서울시를 나타내는 코드 또는 패턴과 같은 형태(도 2(a))일 수 있으며, 서울시를 상징하는 마크와 같은 형태(도 2(b))일 수 있고, 서울시를 상징하는 기념품, 동상, 인형, 피규어와 같은 실물의 형태(도 2(c))일 수 있다. As another example, real objects such as souvenirs, statues, dolls, and figures may be positioned in the recognition image captured by the camera of the mobile device. For example, a user may photograph a real object through a camera of a mobile device, and in the second step, a real object such as a souvenir, a statue, a doll, and a figure may be designated as a recognition target. As shown in Fig. 2, the recognition target set in the second step may be in the form of a code or pattern representing Seoul (Fig. 2(a)), and in the form of a mark symbolizing Seoul (Fig. 2(b)). )), and may be in the form of real objects such as souvenirs, statues, dolls, and figures that symbolize Seoul (Fig. 2(c)).

본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법의 제2 단계는 사용자의 선택 입력에 따라 인식 대상 리스트에 인식 대상을 추가 또는 제거하는 것을 특징으로 한다.The second step of the method for providing an augmented reality service according to a user situation according to an embodiment of the present invention is characterized in that the recognition object is added or removed from the recognition object list according to the user's selection input.

제2 단계는 인식 대상 리스트에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴을 인식 대상으로 책정하는 기본 설정에서, 사용자의 선택 입력에 따라 실물의 대상체로 구성된 인식 대상을 인식 대상 리스트에 추가 또는 제거할 수 있다. 이에, 제2 단계는 사용자의 선택 입력에 기반하여, 인식 대상 리스트에 추가된 실물의 대상체로 구성된 인식 대상을 기본 설정으로 책정하여 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴의 인식 대상, 또는 기념품, 동상, 인형과 같은 실물의 대상체로 구성된 인식 대상을 인식하는 경우, 동일한 증강현실(Augmented Reality; AR) 콘텐츠가 제공되도록 할 수 있다.In the second step, in the basic setting of determining a mark or pattern composed of a single frame or a plurality of frames included in the recognition target list as a recognition target, a recognition target composed of a real object according to the user's selection input is selected in the recognition target list. Can be added or removed. Accordingly, in the second step, based on the user's selection input, a recognition target consisting of a real object added to the recognition target list is set as a default setting, and a mark or pattern consisting of a single frame or a plurality of frames included in the recognition image In the case of recognizing a recognition object of a person or a recognition object composed of real objects such as souvenirs, statues, and dolls, the same Augmented Reality (AR) content may be provided.

예컨대, 인식 대상 리스트는 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 및 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상 중에서 사용자의 선택 또는 초기 설정에 따라 인식 대상에 대한 기본 설정이 설정되어 있다. 예를 들면, 사용자가 선택하지 않은 초기 설정이 되어 있는 경우에, 인식 대상 리스트에는 단일 프레임으로 구성된 마크 또는 패턴에 대해서만 인식 대상으로 인식하는 초기 설정이 설정된 상태일 수 있다. 이에, 사용자는 인식 대상 리스트에 설정된 초기 설정을 변경할 수 있으며, 인식 대상을 추가 또는 제거할 수 있다. For example, the recognition target list includes recognition targets of marks (or codes) or patterns (or phrases) composed of a single frame or a plurality of frames, and recognition targets composed of real objects such as souvenirs, statues, dolls, and figures. The default setting for the recognition object is set according to the selection or initial setting. For example, when an initial setting that is not selected by the user is set, an initial setting in which only marks or patterns composed of a single frame are recognized as recognition targets may be set in the recognition target list. Accordingly, the user can change the initial setting set in the recognition object list, and can add or remove the recognition object.

상세하게는, 인식 대상 리스트에 사용자가 모바일 디바이스를 통해 단일 프레임인 서울시 마크를 인식하는 경우에만 증강현실 콘텐츠를 제공하는 것이 기본 설정된 경우, 사용자는 서울시를 상징하는 기념품 또는 피규어의 실물 대상체를 인식 대상으로 추가 지정할 수 있으며, 제2 단계는 인식 대상 리스트에 서울시 마크와 서울시를 상징하는 대상체 모두를 인식 대상으로 설정할 수 있다. 이러한 추가 지정이 이루어진 후에, 사용자가 서울시 마크를 인식 대상으로 인식하거나, 또는 서울시를 상징하는 대상체를 인식 대상으로 인식하는 경우, 동일한 증강현실 콘텐츠를 체험할 수 있게 된다. Specifically, when the default setting is to provide augmented reality content only when the user recognizes the Seoul city mark, which is a single frame, in the recognition target list, the user recognizes the real object of a souvenir or figure symbolizing the city of Seoul. In the second step, both the Seoul city mark and the object symbolizing Seoul city may be set as recognition targets in the recognition target list. After such additional designation is made, when the user recognizes the Seoul City mark as a recognition object, or recognizes an object symbolizing Seoul as a recognition object, the same augmented reality content can be experienced.

다시 도 1을 참조하면, 단계 110은 인식 대상에서, 증강현실(AR) 콘텐츠에 접근하여 실행되는 웹 주소 또는 증강현실(AR) 콘텐츠가 포함된 인식 대상을 인식할 수 있다. 예컨대, 단계 110은 사용자에 의해 동영상이 인식 영상으로 선택된 경우, 사용자가 모바일 디바이스의 카메라를 통해 동영상으로 촬영하는 도중에 서울시 마크의 단일 프레임인 인식 대상을 인식하면, 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법은 서울시 홍보 영상 콘텐츠 및 서울시청의 3D 콘텐츠를 포함하는 증강현실(AR) 콘텐츠를 모바일 디바이스에 제공하게 된다. Referring back to FIG. 1, in step 110, in the recognition target, a web address executed by accessing an augmented reality (AR) content or a recognition target including augmented reality (AR) content may be recognized. For example, in step 110, when the video is selected as the recognition image by the user, if the user recognizes the recognition object, which is a single frame of the Seoul City mark, while recording the video through the camera of the mobile device, the user situation according to the embodiment of the present invention According to the method of providing an augmented reality service according to the method, an augmented reality (AR) content including Seoul city promotional video content and 3D content of the Seoul City Hall is provided to a mobile device.

단계 120에서, 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이한다. In step 120, an augmented reality (AR) content including image content and 3D content corresponding to the object to be recognized is displayed.

단계 120은 인식 대상에 대응하는 동영상 포맷의 영상 콘텐츠 및 3D 모델링의 3D 콘텐츠를 동시에 디스플레이할 수 있다. 예컨대, 단계 120은 서울시 마크 또는 서울시를 상징하는 대상체의 인식 대상에 대응하는 서울시 홍보 영상 콘텐츠 및 서울시청 건물을 3D 모델링한 3D 콘텐츠를 동시에 모바일 디바이스에 디스플레이하여 증강현실 콘텐츠를 제공하며, 기본적으로 영상 콘텐츠는 상단에, 3D 콘텐츠는 하단에 위치한다. 실시예에 따라서, 단계 120은 인식 대상이 마크인 경우, 패턴인 경우 또는 대상체인 경우에 따라서 서로 다른 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실 콘텐츠를 디스플레이할 수 있다. In operation 120, video content in a video format and 3D content in 3D modeling corresponding to the recognition object may be simultaneously displayed. For example, in step 120, augmented reality content is provided by simultaneously displaying the Seoul city publicity video content corresponding to the recognition target of the Seoul city mark or the object symbolizing the city of Seoul, and 3D content modeling the city hall building on a mobile device. Content is on the top, and 3D content is on the bottom. According to an embodiment, operation 120 may display an augmented reality content including different image content and 3D content according to the case where the recognition object is a mark, a pattern, or an object.

단계 130에서, 모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공한다. In step 130, an interaction mode is provided in which the viewpoint of the augmented reality content is changed and displayed according to the posture and angle of the mobile device or the user's location information.

본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법은 사용자의 행동 및 상황에 따라 증강현실 콘텐츠를 반응시켜 제공하는 인터랙션 모드를 제공하는 것을 특징으로 한다.A method of providing an augmented reality service according to a user's situation according to an embodiment of the present invention is characterized by providing an interaction mode that reacts and provides augmented reality content according to a user's behavior and situation.

이에 대한 제1 실시예로, 단계 130은 모바일 디바이스의 자세 및 각도에 따라 영상 콘텐츠 및 3D 콘텐츠 중 어느 하나 이상의 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 모바일 디바이스를 상, 하, 좌, 우로 움직이며 자세 및 각도를 조절하면, 단계 130은 모바일 디바이스의 각도와 사용자가 모바일 디바이스의 디스플레이를 바라보는 방향 및 자세에 대응하도록 증강현실 콘텐츠의 시점을 동일하게 변경하여 디스플레이할 수 있다. 이때, 단계 130은 영상 콘텐츠 및 3D 콘텐츠 중 어느 하나의 콘텐츠 시점을 변경하거나, 영상 콘텐츠 및 3D 콘텐츠의 시점 모두를 동시에 변경하여 디스플레이할 수 있다. As a first embodiment of this, operation 130 may provide an interaction mode in which the viewpoint of one or more augmented reality content among video content and 3D content is changed and displayed according to the posture and angle of the mobile device. For example, if the user moves the mobile device up, down, left, and right and adjusts the posture and angle, step 130 is to correspond to the angle of the mobile device and the direction and posture in which the user looks at the display of the mobile device. The viewpoint can be changed and displayed in the same way. In this case, in step 130, the viewpoint of any one of the video content and the 3D content may be changed, or both the viewpoint of the video content and the 3D content may be simultaneously changed and displayed.

제2 실시예로, 단계 130은 모바일 디바이스를 소지하는 사용자의 움직임에 따라 변경되는 모바일 디바이스의 자세 및 각도와 사용자의 위치 정보에 기반하여 영상 콘텐츠의 각도 및 위치를 변경하고, 3D 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 모바일 디바이스를 소지하고 일정 거리를 이동하는 경우, 단계 130은 사용자의 이동에 따른 방향과 동일하게 영상 콘텐츠의 각도 및 위치를 변경하고, 3D 콘텐츠의 시점을 변경하여 디스플레이할 수 있다. 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법은 지정된 자리에 위치한 인식 대상을 인식하는 경우, 지정된 자리를 기준으로 기 설정된 반경 내의 범위 내에 모바일 디바이스가 위치하는 경우에만 인식 대상에 대응하는 증강현실 콘텐츠를 제공할 수 있다. 이에, 단계 130은 범위 내에서 사용자가 움직이면, 모바일 디바이스의 자세 및 각도와 사용자의 위치 정보에 따라 영상 콘텐츠의 각도 및 위치를 변경하고, 3D 콘텐츠의 시점을 변경하여 디스플레이하며, 사용자가 범위를 벗어나는 경우 증강현실 콘텐츠를 디스플레이하지 않을 수 있다. In a second embodiment, step 130 is to change the angle and position of the image content based on the position information of the user and the posture and angle of the mobile device that is changed according to the movement of the user holding the mobile device, and determine the viewpoint of the 3D content. It is possible to provide an interaction mode that changes and displays. For example, when the user carries the mobile device and moves a certain distance, operation 130 may change the angle and position of the image content in the same direction as the direction according to the user's movement, and change the viewpoint of the 3D content and display it. In the method of providing an augmented reality service according to a user situation according to an embodiment of the present invention, when recognizing a recognition object located at a designated seat, it responds to the recognition object only when a mobile device is located within a range within a preset radius based on the designated seat. Augmented reality content can be provided. Accordingly, in step 130, when the user moves within the range, the angle and position of the image content is changed according to the posture and angle of the mobile device and the user's location information, the viewpoint of the 3D content is changed and displayed, and the user is out of the range. In this case, the augmented reality content may not be displayed.

제3 실시예로, 단계 130은 모바일 디바이스의 자세 및 각도에 따라 사용자의 선택 입력으로부터 선택되는 영상 콘텐츠 또는 3D 콘텐츠의 시점만 변경하여 증강현실 콘텐츠로 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 모바일 디바이스를 상, 하, 좌, 우로 움직이며 자세 및 각도를 조절하면, 단계 130은 모바일 디바이스의 각도와 사용자가 모바일 디바이스의 디스플레이를 바라보는 방향 및 자세에 대응하도록 증강현실 콘텐츠의 시점을 동일하게 변경하여 디스플레이할 수 있다. 다만 이때, 단계 130은 영상 콘텐츠 및 3D 콘텐츠 중에서 사용자의 선택 입력에 의해 선택되는 콘텐츠의 시점만 변경하여 디스플레이하는 것을 특징으로 한다. 예를 들어, 사용자가 3D 콘텐츠의 시점만 변경하도록 선택하면, 단계 130은 모바일 디바이스의 자세 및 각도에 따라 3D 콘텐츠의 시점만 변경하여 디스플레이하며, 영상 콘텐츠의 시점은 변경하지 않고 기본 값으로 일정하게 디스플레이할 수 있다. In a third embodiment, operation 130 may provide an interaction mode in which only the viewpoint of the image content or 3D content selected from the user's selection input is changed and displayed as augmented reality content according to the posture and angle of the mobile device. For example, if the user moves the mobile device up, down, left, and right and adjusts the posture and angle, step 130 is to correspond to the angle of the mobile device and the direction and posture in which the user looks at the display of the mobile device. The viewpoint can be changed and displayed in the same way. However, at this time, step 130 is characterized in that only the viewpoint of the content selected by the user's selection input among the video content and the 3D content is changed and displayed. For example, if the user selects to change only the viewpoint of 3D content, in step 130, only the viewpoint of the 3D content is changed and displayed according to the posture and angle of the mobile device. Can be displayed.

제4 실시예로, 단계 130은 모바일 디바이스를 소지하는 사용자의 위치 정보를 기반으로 사용자가 해당 위치에서 모바일 디바이스를 통해 인식 대상을 인식하는 경우, 위치 정보에 대응하는 특정 위치의 증강현실 콘텐츠를 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 종로구에서 서울시 마크를 인식하는 경우, 단계 130은 종로구에 관련된 홍보 영상 콘텐츠 및 종로구의 경복궁에 대한 3D 모델링인 3D 콘텐츠를 증강현실로 디스플레이하고, 사용자가 중구에서 서울시 마크를 인식하는 경우, 단계 130은 중구에 관련된 홍보 영상 콘텐츠 및 중구의 남산 타워에 대한 3D 모델링인 3D 콘텐츠를 증강현실로 디스플레이할 수 있다. 즉, 본 발명의 실시예에 따른 단계 130은 사용자의 위치 정보에 따라 서로 다른 증강현실 콘텐츠를 디스플레이할 수 있으며, 사용자의 선택 입력에 따라 구에 관련된 정보가 아닌, 서울시에 관련된 홍보 영상 콘텐츠 및 서울시에 관련된 건물의 3D 콘텐츠를 우선적으로 디스플레이할 수도 있다. In a fourth embodiment, in step 130, when the user recognizes the recognition target through the mobile device at the corresponding location based on the location information of the user holding the mobile device, the augmented reality content of a specific location corresponding to the location information is displayed. It is possible to provide an interactive mode. For example, when the user recognizes the Seoul city mark in Jongno-gu, step 130 displays promotional video content related to Jongno-gu and 3D content, which is a 3D modeling 3D modeling of Gyeongbokgung Palace in Jongno-gu, in augmented reality, and the user recognizes the Seoul city mark in Jung-gu. In step 130, promotional video content related to Jung-gu and 3D content, which is a 3D modeling of Namsan Tower in Jung-gu, may be displayed in augmented reality. That is, step 130 according to an embodiment of the present invention may display different augmented reality contents according to the user's location information, and according to the user's selection input, not information related to the city, but a promotional video content related to Seoul and It is also possible to preferentially display 3D contents of buildings related to.

또한, 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법은 인식 대상 리스트에서 인식 대상의 인식 여부를 제어하는 단계(미도시)를 더 포함할 수 있다.In addition, the method of providing an augmented reality service according to a user situation according to an embodiment of the present invention may further include controlling whether or not the recognition object is recognized in the recognition object list (not shown).

상기 제어하는 단계는 사용자의 위치 정보 또는 서버로부터 수신되는 제어 커맨드 정보에 따라 인식 대상 리스트에 포함된 인식 대상의 인식 가능 또는 인식 불가능의 인식 여부를 제어할 수 있다. 일례로, 인식 대상 리스트는 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 및 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상을 리스트화하는 것을 가정하면, 상기 제어하는 단계는 사용자가 일정한 속도로 길을 걸으며 이동하는 경우에는 움직이면서 인식 대상을 인식하기 위한 행동은 위험 행위로 판단하여 마크 또는 패턴의 인식 대상과 대상체로 구성된 인식 대상 모두를 인식할 수 없는, 인식 불가능의 상태로 제어할 수 있다. 다른 예로, 서버로부터 제어 커맨드 정보를 통해 마크 또는 패턴의 인식 대상이 오류로 인한 인식 불가능 임을 수신하는 경우, 상기 제어하는 단계는 마크 또는 패턴의 인식 대상을 인식 불가능 상태로 제어하고, 대상체로 구성된 인식 대상만을 인식 가능의 상태로 제어할 수 있다. The controlling may control whether or not the recognition target included in the recognition target list is recognizable or unrecognizable according to the user's location information or control command information received from the server. As an example, the recognition target list is a list of recognition targets of marks (or codes) or patterns (or phrases) composed of a single frame or a plurality of frames, and recognition targets composed of real objects such as souvenirs, statues, dolls, and figures. Assuming that, in the controlling step, when the user moves while walking at a constant speed, the action for recognizing the recognition object while moving is determined as a risky action, and the recognition object consisting of the object to be recognized and the object of the mark or pattern You can control all of them into an unrecognizable, unrecognizable state. As another example, when receiving that the recognition target of the mark or pattern is unrecognizable due to an error through control command information from the server, the controlling step is to control the recognition target of the mark or pattern to an unrecognizable state, and to recognize the object. Only the object can be controlled in a recognizable state.

도 3a 및 도 3b는 본 발명의 실시예에 따른 인식 영상에서 인식 대상을 인식하여 증강현실 콘텐츠를 체험하는 예를 도시한 것이다.3A and 3B illustrate an example of experiencing an augmented reality content by recognizing a recognition object in a recognition image according to an embodiment of the present invention.

본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 방법 및 그 시스템은 사용자가 소지하는 모바일 디바이스에 설치된 어플리케이션(Application)일 수 있다. The method and system for providing an augmented reality service according to a user situation according to an embodiment of the present invention may be an application installed on a mobile device possessed by the user.

본 발명은 사용자에게 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 영상 종류를 제공하며, 사용자로부터 영상 종류의 선택을 요청할 수 있다. 이하에서는 도 3a에 도시된 바와 같이, 사용자가 동영상을 인식 영상(300)으로 선택한 것을 가정한다. The present invention provides a still image, a GOBO light image, and an image type of a moving image to a user, and may request the user to select an image type. Hereinafter, as shown in FIG. 3A, it is assumed that the user selects the video as the recognition image 300.

사용자는 모바일 디바이스의 카메라를 통해 동영상의 인식 영상(300)을 촬영하여 이동하며, 이동하는 도중에 바닥에 위치하는 성남시 마크의 인식 대상(310)을 촬영할 수 있다. 이에 따라, 성남시 마크가 인식 대상(310)이 될 수 있다. 마크의 인식 대상(310)은 단일 프레임이나, 복수의 프레임들로 구성된 것일 수 있으며 또한, 인식 대상(310)은 마크가 아닌 패턴 또는 실물 형태의 대상체일 수도 있다. The user moves by photographing the recognition image 300 of the moving picture through the camera of the mobile device, and may capture the recognition target 310 of the Seongnam city mark located on the floor during the movement. Accordingly, the Seongnam city mark may be recognized as the object 310. The recognition object 310 of a mark may be a single frame or may be composed of a plurality of frames, and the recognition object 310 may be a pattern or a real object other than a mark.

사용자가 인식 영상(300)에서 인식 대상(310)을 촬영하면, 본 발명은 인식 대상(310)을 인식하여 도 3b에 도시된 바와 같이 인식 대상(310)에 관련된 영상 콘텐츠(321) 및 3D 콘텐츠(322)의 증강현실(AR) 콘텐츠를 인식 영상(300) 상에 제공한다. When the user photographs the recognition object 310 in the recognition image 300, the present invention recognizes the recognition object 310 and, as shown in FIG. 3B, the image content 321 and 3D content related to the recognition object 310 The augmented reality (AR) content of 322 is provided on the recognition image 300.

이때, 영상 콘텐츠(321)는 성남시를 홍보하는 홍보 영상일 수 있으며, 3D 콘텐츠(322)는 3D 모델링한 성남시청 또는 성남시 내의 특정 건물을 나타낼 수 있다. 다만, 영상 콘텐츠(321) 및 3D 콘텐츠(322)는 도시한 바에 한정하지 않으며, 인식 대상(310)에 관련된 안전 정보, 홍보 정보, 안내 정보 및 마케팅 정보를 제공하기 위한 콘텐츠일 수 있다. In this case, the video content 321 may be a promotional video promoting Seongnam City, and the 3D content 322 may represent a 3D modeled Seongnam City Hall or a specific building in Seongnam City. However, the video content 321 and the 3D content 322 are not limited to those shown, and may be content for providing safety information, promotion information, guide information, and marketing information related to the recognition object 310.

도 4는 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템의 세부 구성을 블록도로 도시한 것이다.4 is a block diagram showing a detailed configuration of a system for providing an augmented reality service according to a user situation according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템은 인식 영상에서 인식된 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠의 증강현실(Augmented Reality; AR) 콘텐츠를 인터랙션 모드로 제공한다.Referring to FIG. 4, the system for providing an augmented reality service according to a user situation according to an embodiment of the present invention interacts with image content corresponding to a recognition object recognized in a recognition image and Augmented Reality (AR) content of 3D content. Provided in mode.

이를 위해, 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템(400)은 인식부(410), 디스플레이부(420) 및 인터랙션 제공부(430)를 포함한다.To this end, the augmented reality service providing system 400 according to a user situation according to an embodiment of the present invention includes a recognition unit 410, a display unit 420, and an interaction providing unit 430.

인식부(410)는 인식 영상에서 인식 대상을 인식한다. The recognition unit 410 recognizes an object to be recognized from the recognition image.

인식부(410)는 사용자의 선택 입력에 따라 선택되는 정지 영상, 고보라이트 영상 및 동영상 중 어느 하나의 인식 영상에서 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 인식할 수 있다.The recognition unit 410 may recognize a recognition object composed of a single frame or a plurality of frames, or a real object from any one of a still image, a gobolite image, and a moving image selected according to a user's selection input. .

인식부(410)는 인식 대상에서, 증강현실(AR) 콘텐츠에 접근하여 실행되는 웹 주소 또는 증강현실(AR) 콘텐츠가 포함된 인식 대상을 인식할 수 있다. 예컨대, 인식부(410)는 사용자에 의해 동영상이 인식 영상으로 선택된 경우, 사용자가 모바일 디바이스의 카메라를 통해 동영상으로 촬영하는 도중에 서울시 마크의 단일 프레임인 인식 대상을 인식하면, 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템(400)은 서울시 홍보 영상 콘텐츠 및 서울시청의 3D 콘텐츠를 포함하는 증강현실(AR) 콘텐츠를 모바일 디바이스에 제공하게 된다.The recognition unit 410 may recognize a web address executed by accessing an augmented reality (AR) content from the recognition target or a recognition target including augmented reality (AR) content. For example, when a video is selected as a recognition image by a user, the recognition unit 410 recognizes a recognition object that is a single frame of the Seoul City mark while the user is photographing a video through a camera of a mobile device, according to an embodiment of the present invention. Accordingly, the augmented reality service providing system 400 according to the user's situation provides an augmented reality (AR) content including the Seoul Metropolitan Government promotional video content and the 3D content of the Seoul City Hall to the mobile device.

디스플레이부(420)는 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이한다. The display unit 420 displays an augmented reality (AR) content including image content and 3D content corresponding to the object to be recognized.

디스플레이부(420)는 인식 대상에 대응하는 동영상 포맷의 영상 콘텐츠 및 3D 모델링의 3D 콘텐츠를 동시에 디스플레이할 수 있다. 예컨대, 디스플레이부(420)는 서울시 마크 또는 서울시를 상징하는 대상체의 인식 대상에 대응하는 서울시 홍보 영상 콘텐츠 및 서울시청 건물을 3D 모델링한 3D 콘텐츠를 동시에 모바일 디바이스에 디스플레이하여 증강현실 콘텐츠를 제공하며, 기본적으로 영상 콘텐츠는 상단에, 3D 콘텐츠는 하단에 위치한다. 실시예에 따라서, 디스플레이부(420)는 인식 대상이 마크인 경우, 패턴인 경우 또는 대상체인 경우에 따라서 서로 다른 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실 콘텐츠를 디스플레이할 수 있다. The display unit 420 may simultaneously display video content in a video format and 3D content in 3D modeling corresponding to the recognition target. For example, the display unit 420 simultaneously displays the Seoul city publicity image content corresponding to the recognition target of the Seoul city mark or the object symbolizing the city of Seoul and 3D content modeling the city hall building on a mobile device to provide augmented reality content, Basically, video content is located at the top and 3D content is located at the bottom. According to an embodiment, the display unit 420 may display different image contents and augmented reality contents including 3D contents according to the case where the recognition object is a mark, a pattern, or an object.

인터랙션 제공부(430)는 모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공한다. The interaction providing unit 430 provides an interaction mode in which the viewpoint of the augmented reality content is changed and displayed according to the posture and angle of the mobile device or the user's location information.

본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템(400)은 사용자의 행동 및 상황에 따라 증강현실 콘텐츠를 반응시켜 제공하는 인터랙션 모드를 제공하는 것을 특징으로 한다.The augmented reality service providing system 400 according to the user's situation according to an embodiment of the present invention is characterized by providing an interaction mode that reacts and provides augmented reality content according to the user's behavior and situation.

이에 대한 제1 실시예로, 인터랙션 제공부(430)는 모바일 디바이스의 자세 및 각도에 따라 영상 콘텐츠 및 3D 콘텐츠 중 어느 하나 이상의 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 모바일 디바이스를 상, 하, 좌, 우로 움직이며 자세 및 각도를 조절하면, 인터랙션 제공부(430)는 모바일 디바이스의 각도와 사용자가 모바일 디바이스의 디스플레이를 바라보는 방향 및 자세에 대응하도록 증강현실 콘텐츠의 시점을 동일하게 변경하여 디스플레이할 수 있다. 이때, 인터랙션 제공부(430)는 영상 콘텐츠 및 3D 콘텐츠 중 어느 하나의 콘텐츠 시점을 변경하거나, 영상 콘텐츠 및 3D 콘텐츠의 시점 모두를 동시에 변경하여 디스플레이할 수 있다. As a first embodiment of this, the interaction providing unit 430 may provide an interaction mode in which the viewpoint of one or more augmented reality contents among image contents and 3D contents is changed and displayed according to the posture and angle of the mobile device. For example, when the user moves the mobile device up, down, left, and right and adjusts the posture and angle, the interaction providing unit 430 may correspond to the angle of the mobile device and the direction and posture in which the user looks at the display of the mobile device. The viewpoint of the augmented reality content can be changed and displayed. In this case, the interaction providing unit 430 may change the view point of any one of the video content and the 3D content, or simultaneously change and display both the view point of the video content and the 3D content.

제2 실시예로, 인터랙션 제공부(430)는 모바일 디바이스를 소지하는 사용자의 움직임에 따라 변경되는 모바일 디바이스의 자세 및 각도와 사용자의 위치 정보에 기반하여 영상 콘텐츠의 각도 및 위치를 변경하고, 3D 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 모바일 디바이스를 소지하고 일정 거리를 이동하는 경우, 인터랙션 제공부(430)는 사용자의 이동에 따른 방향과 동일하게 영상 콘텐츠의 각도 및 위치를 변경하고, 3D 콘텐츠의 시점을 변경하여 디스플레이할 수 있다. 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템(400)은 지정된 자리에 위치한 인식 대상을 인식하는 경우, 지정된 자리를 기준으로 기 설정된 반경 내의 범위 내에 모바일 디바이스가 위치하는 경우에만 인식 대상에 대응하는 증강현실 콘텐츠를 제공할 수 있다. 이에, 인터랙션 제공부(430)는 범위 내에서 사용자가 움직이면, 모바일 디바이스의 자세 및 각도와 사용자의 위치 정보에 따라 영상 콘텐츠의 각도 및 위치를 변경하고, 3D 콘텐츠의 시점을 변경하여 디스플레이하며, 사용자가 범위를 벗어나는 경우 증강현실 콘텐츠를 디스플레이하지 않을 수 있다. In a second embodiment, the interaction providing unit 430 changes the angle and position of the video content based on the posture and angle of the mobile device that is changed according to the movement of the user holding the mobile device and the position information of the user, and It is possible to provide an interaction mode in which the viewpoint of the content is changed and displayed. For example, when a user carries a mobile device and moves a certain distance, the interaction providing unit 430 changes the angle and position of the image content in the same direction as the user's movement, and changes the viewpoint of the 3D content to display it. can do. The augmented reality service providing system 400 according to the user's situation according to an embodiment of the present invention recognizes only when a mobile device is located within a range within a preset radius based on the designated seat when recognizing a recognition target located at a designated seat. Augmented reality content corresponding to the target can be provided. Accordingly, when the user moves within the range, the interaction providing unit 430 changes the angle and position of the video content according to the posture and angle of the mobile device and the user's location information, changes the viewpoint of the 3D content, and displays the user. If is out of the range, the augmented reality content may not be displayed.

제3 실시예로, 인터랙션 제공부(430)는 모바일 디바이스의 자세 및 각도에 따라 사용자의 선택 입력으로부터 선택되는 영상 콘텐츠 또는 3D 콘텐츠의 시점만 변경하여 증강현실 콘텐츠로 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 모바일 디바이스를 상, 하, 좌, 우로 움직이며 자세 및 각도를 조절하면, 인터랙션 제공부(430)는 모바일 디바이스의 각도와 사용자가 모바일 디바이스의 디스플레이를 바라보는 방향 및 자세에 대응하도록 증강현실 콘텐츠의 시점을 동일하게 변경하여 디스플레이할 수 있다. 다만 이때, 인터랙션 제공부(430)는 영상 콘텐츠 및 3D 콘텐츠 중에서 사용자의 선택 입력에 의해 선택되는 콘텐츠의 시점만 변경하여 디스플레이하는 것을 특징으로 한다. 예를 들어, 사용자가 3D 콘텐츠의 시점만 변경하도록 선택하면, 인터랙션 제공부(430)는 모바일 디바이스의 자세 및 각도에 따라 3D 콘텐츠의 시점만 변경하여 디스플레이하며, 영상 콘텐츠의 시점은 변경하지 않고 기본 값으로 일정하게 디스플레이할 수 있다. In a third embodiment, the interaction providing unit 430 may provide an interaction mode in which only the viewpoint of image content or 3D content selected from the user's selection input is changed according to the posture and angle of the mobile device and displayed as augmented reality content. have. For example, when the user moves the mobile device up, down, left, and right and adjusts the posture and angle, the interaction providing unit 430 may correspond to the angle of the mobile device and the direction and posture in which the user looks at the display of the mobile device. The viewpoint of the augmented reality content can be changed and displayed. However, at this time, the interaction providing unit 430 is characterized in that only the viewpoint of the content selected by the user's selection input among the video content and the 3D content is changed and displayed. For example, if the user selects to change only the viewpoint of 3D content, the interaction providing unit 430 changes and displays only the viewpoint of the 3D content according to the posture and angle of the mobile device, and does not change the viewpoint of the video content. It can be displayed consistently by value.

제4 실시예로, 인터랙션 제공부(430)는 모바일 디바이스를 소지하는 사용자의 위치 정보를 기반으로 사용자가 해당 위치에서 모바일 디바이스를 통해 인식 대상을 인식하는 경우, 위치 정보에 대응하는 특정 위치의 증강현실 콘텐츠를 디스플레이하는 인터랙션 모드를 제공할 수 있다. 예컨대, 사용자가 종로구에서 서울시 마크를 인식하는 경우, 인터랙션 제공부(430)는 종로구에 관련된 홍보 영상 콘텐츠 및 종로구의 경복궁에 대한 3D 모델링인 3D 콘텐츠를 증강현실로 디스플레이하고, 사용자가 중구에서 서울시 마크를 인식하는 경우, 인터랙션 제공부(430)는 중구에 관련된 홍보 영상 콘텐츠 및 중구의 남산 타워에 대한 3D 모델링인 3D 콘텐츠를 증강현실로 디스플레이할 수 있다. 즉, 본 발명의 실시예에 따른 인터랙션 제공부(430)는 사용자의 위치 정보에 따라 서로 다른 증강현실 콘텐츠를 디스플레이할 수 있으며, 사용자의 선택 입력에 따라 구에 관련된 정보가 아닌, 서울시에 관련된 홍보 영상 콘텐츠 및 서울시에 관련된 건물의 3D 콘텐츠를 우선적으로 디스플레이할 수도 있다. In a fourth embodiment, when the user recognizes the recognition target through the mobile device at the corresponding location based on the location information of the user holding the mobile device, the interaction providing unit 430 augments a specific location corresponding to the location information. An interaction mode for displaying real content can be provided. For example, when a user recognizes the Seoul city mark in Jongno-gu, the interaction providing unit 430 displays promotional video content related to Jongno-gu and 3D content, which is a 3D modeling of Gyeongbokgung Palace in Jongno-gu, in augmented reality, and the user displays the Seoul city mark in Jung-gu. In the case of recognizing, the interaction providing unit 430 may display promotional video content related to Jung-gu and 3D content, which is a 3D modeling of Namsan Tower in Jung-gu, in augmented reality. That is, the interaction providing unit 430 according to an embodiment of the present invention may display different augmented reality contents according to the user's location information, and according to the user's selection input, not information related to the city, but public relations related to the city of Seoul. It is also possible to preferentially display image contents and 3D contents of buildings related to Seoul.

또한, 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템(400)은 영상 선택부(미도시), 대상 설정부(미도시) 및 제어부(미도시)를 더 포함할 수 있다.In addition, the augmented reality service providing system 400 according to a user situation according to an embodiment of the present invention may further include an image selection unit (not shown), a target setting unit (not shown), and a control unit (not shown).

상기 영상 선택부는 사용자의 선택 입력에 따라 인식하고자 하는 인식 영상을 선택할 수 있다. 상기 영상 선택부는 인식 영상을 선택하기 전에, 사용자에게 정지 영상, 고보라이트(GOBO Light) 영상 및 동영상의 영상 종류를 제공하며, 사용자로부터 영상 종류의 선택을 요청할 수 있다. 이후에, 상기 영상 선택부는 사용자의 선택 입력에 따라 정지 영상, 고보라이트 영상 및 동영상 중 어느 하나의 인식 영상을 선택할 수 있다.The image selector may select a recognized image to be recognized according to a user's selection input. Before selecting a recognized image, the image selection unit provides a still image, a GOBO light image, and an image type of a moving image to the user, and may request the user to select an image type. Thereafter, the image selector may select one of a still image, a gobolite image, and a moving image according to a user's selection input.

사용자의 영상 종류 선택에 따라, 사용자가 모바일 디바이스의 카메라로 정지 영상, 고보라이트(GOBO Light) 영상 또는 동영상을 스캔하면, 상기 대상 설정부는 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 인식 대상을 설정할 수 있다. When the user scans a still image, a GOBO light image, or a video with the camera of the mobile device according to the user's selection of the image type, the target setting unit It is possible to set a recognition target composed of an object of.

상기 대상 설정부는 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 또는 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상을 책정할 수 있다. 이때, 인식 대상은 증강현실(AR) 콘텐츠에 접근하여 실행되는 웹 주소 또는 증강현실(AR) 콘텐츠가 포함된 것일 수 있다. The target setting unit is a recognition target of a mark (or code) or pattern (or phrase) composed of a single frame or a plurality of frames included in the recognition image, or a recognition target composed of real objects such as souvenirs, statues, dolls, and figures. Can be formulated. In this case, the recognition target may be a web address or augmented reality (AR) content that is executed by accessing the augmented reality (AR) content.

또한, 본 발명의 실시예에 따른 사용자 상황에 따른 증강현실 서비스 제공 시스템(400)의 상기 대상 설정부는 사용자의 선택 입력에 따라 인식 대상 리스트에 인식 대상을 추가 또는 제거하는 것을 특징으로 한다.In addition, the target setting unit of the augmented reality service providing system 400 according to a user situation according to an embodiment of the present invention is characterized in that it adds or removes a recognition target from a list of recognition targets according to a user's selection input.

상기 대상 설정부는 인식 대상 리스트에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴을 인식 대상으로 책정하는 기본 설정에서, 사용자의 선택 입력에 따라 실물의 대상체로 구성된 인식 대상을 인식 대상 리스트에 추가 또는 제거할 수 있다. 이에, 상기 대상 설정부는 사용자의 선택 입력에 기반하여, 인식 대상 리스트에 추가된 실물의 대상체로 구성된 인식 대상을 기본 설정으로 책정하여 인식 영상에 포함된 단일 프레임 또는 복수의 프레임들로 구성된 마크 또는 패턴의 인식 대상, 또는 기념품, 동상, 인형과 같은 실물의 대상체로 구성된 인식 대상을 인식하는 경우, 동일한 증강현실(Augmented Reality; AR) 콘텐츠가 제공되도록 할 수 있다.In the basic setting of setting a mark or pattern composed of a single frame or a plurality of frames included in the recognition target list as a recognition target, the target setting unit selects a recognition target composed of a real object in the recognition target list according to a user's selection input. Can be added or removed. Accordingly, the target setting unit sets a recognition target consisting of a real object added to the recognition target list as a default setting based on a user's selection input, and a mark or pattern consisting of a single frame or a plurality of frames included in the recognition image. In the case of recognizing a recognition object of a person or a recognition object composed of real objects such as souvenirs, statues, and dolls, the same Augmented Reality (AR) content may be provided.

상기 제어부는 인식 대상 리스트에서 인식 대상의 인식 여부를 제어할 수 있다.The control unit may control whether or not the recognition object is recognized in the recognition object list.

상기 제어부는 사용자의 위치 정보 또는 서버로부터 수신되는 제어 커맨드 정보에 따라 인식 대상 리스트에 포함된 인식 대상의 인식 가능 또는 인식 불가능의 인식 여부를 제어할 수 있다. 일례로, 인식 대상 리스트는 단일 프레임 또는 복수의 프레임들로 구성된 마크(또는 코드) 또는 패턴(또는 문구)의 인식 대상, 및 기념품, 동상, 인형, 피규어와 같은 실물의 대상체로 구성된 인식 대상을 리스트화하는 것을 가정하면, 상기 제어부는 사용자가 일정한 속도로 길을 걸으며 이동하는 경우에는 움직이면서 인식 대상을 인식하기 위한 행동은 위험 행위로 판단하여 마크 또는 패턴의 인식 대상과 대상체로 구성된 인식 대상 모두를 인식할 수 없는, 인식 불가능의 상태로 제어할 수 있다. 다른 예로, 서버로부터 제어 커맨드 정보를 통해 마크 또는 패턴의 인식 대상이 오류로 인한 인식 불가능임을 수신하는 경우, 상기 제어부는 마크 또는 패턴의 인식 대상을 인식 불가능 상태로 제어하고, 대상체로 구성된 인식 대상만을 인식 가능의 상태로 제어할 수 있다. The controller may control whether to recognize or not recognize the recognition target included in the recognition target list according to the user's location information or control command information received from the server. As an example, the recognition target list is a list of recognition targets of marks (or codes) or patterns (or phrases) composed of a single frame or a plurality of frames, and recognition targets composed of real objects such as souvenirs, statues, dolls, and figures. Assuming that, when the user moves while walking at a constant speed, the control unit determines that the action to recognize the recognition object while moving is a risky action, and recognizes both the recognition object of the mark or pattern and the recognition object composed of the object. It can be controlled in a state of being unrecognizable or unrecognizable. As another example, when receiving that the recognition object of the mark or pattern is unrecognizable due to an error through control command information from the server, the controller controls the recognition object of the mark or pattern to a state that cannot be recognized, and only the recognition object composed of the object is It can be controlled in a recognizable state.

비록, 도 4에서 설명하지 않았지만, 도 4의 시스템은 상술한 도 1 내지 도 3에서 설명한 사용자 상황에 따른 증강현실 서비스 제공 방법에 대한 동작을 모두 포함할 수 있다. Although not described in FIG. 4, the system of FIG. 4 may include all operations for the method of providing an augmented reality service according to the user situation described in FIGS. 1 to 3 described above.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited embodiments and drawings, various modifications and variations are possible from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and those equivalent to the claims also fall within the scope of the claims to be described later.

Claims (8)

인식 영상에서 인식 대상을 인식하는 단계;
상기 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이하는 단계; 및
모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 상기 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공하는 단계
를 포함하며,
상기 증강현실 콘텐츠를 디스플레이하는 단계는
상기 인식 대상에 대응하는 동영상 포맷의 상기 영상 콘텐츠 및 3D 모델링의 상기 3D 콘텐츠를 동시에 디스플레이하고,
상기 인터랙션 모드를 제공하는 단계는
상기 모바일 디바이스를 소지하는 상기 사용자의 위치 정보를 기반으로 사용자가 해당 위치에서 상기 모바일 디바이스를 통해 상기 인식 대상을 인식하는 경우, 상기 위치 정보에 대응하는 특정 위치의 증강현실 콘텐츠를 디스플레이하는 상기 인터랙션 모드를 제공하며,
상기 인식 대상을 인식하는 단계는
사용자의 선택 입력에 따라 선택되는 정지 영상, 고보라이트 영상 및 동영상 중 어느 하나의 상기 인식 영상에서 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 상기 인식 대상을 인식하고,
상기 인터랙션 모드를 제공하는 단계는
상기 모바일 디바이스의 자세 및 각도에 따라 상기 영상 콘텐츠 및 상기 3D 콘텐츠 중 어느 하나 이상의 상기 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 상기 인터랙션 모드를 제공하고,
상기 인터랙션 모드를 제공하는 단계는
상기 모바일 디바이스를 소지하는 사용자의 움직임에 따라 변경되는 상기 모바일 디바이스의 자세 및 각도와 상기 사용자의 위치 정보에 기반하여 상기 영상 콘텐츠의 각도 및 위치를 변경하고, 상기 3D 콘텐츠의 시점을 변경하여 디스플레이하는 상기 인터랙션 모드를 제공하는 사용자 상황에 따른 증강현실 서비스 제공 방법. Recognizing an object to be recognized in the recognition image;
Displaying an augmented reality (AR) content including image content and 3D content corresponding to the recognition target; And
Providing an interaction mode in which the viewpoint of the augmented reality content is changed and displayed according to the posture and angle of the mobile device or the location information of the user.
Including,
Displaying the augmented reality content
Simultaneously displaying the video content in a video format corresponding to the recognition object and the 3D content in 3D modeling,
Providing the interaction mode comprises:
The interaction mode for displaying augmented reality content of a specific location corresponding to the location information when the user recognizes the recognition target through the mobile device at a corresponding location based on the location information of the user holding the mobile device And
Recognizing the recognition object is
Recognizing the recognition object composed of a single frame or a plurality of frames, or a real object from the recognition image of any one of a still image, a gobolite image, and a moving image selected according to a user's selection input,
Providing the interaction mode comprises:
Providing the interaction mode for changing and displaying the viewpoint of the augmented reality content at least one of the video content and the 3D content according to the posture and angle of the mobile device,
Providing the interaction mode comprises:
Changing the angle and position of the video content based on the posture and angle of the mobile device and the location information of the user, which are changed according to the movement of the user holding the mobile device, and changing and displaying the viewpoint of the 3D content A method of providing an augmented reality service according to a user situation providing the interaction mode. 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 인터랙션 모드를 제공하는 단계는
상기 모바일 디바이스의 자세 및 각도에 따라 상기 사용자의 선택 입력으로부터 선택되는 상기 영상 콘텐츠 또는 상기 3D 콘텐츠의 시점만 변경하여 상기 증강현실 콘텐츠로 디스플레이하는 상기 인터랙션 모드를 제공하는, 사용자 상황에 따른 증강현실 서비스 제공 방법.The method of claim 1,
Providing the interaction mode comprises:
An augmented reality service according to a user situation, providing the interaction mode for displaying the augmented reality content by changing only the viewpoint of the image content or the 3D content selected from the user's selection input according to the posture and angle of the mobile device Delivery method. 삭제delete 인식 영상에서 인식 대상을 인식하는 인식부;
상기 인식 대상에 대응하는 영상 콘텐츠 및 3D 콘텐츠를 포함하는 증강현실(Augmented Reality; AR) 콘텐츠를 디스플레이하는 디스플레이부; 및
모바일 디바이스의 자세 및 각도, 또는 사용자의 위치 정보에 따라 상기 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 인터랙션 모드를 제공하는 인터랙션 제공부
를 포함하며,
상기 디스플레이부는
상기 인식 대상에 대응하는 동영상 포맷의 상기 영상 콘텐츠 및 3D 모델링의 상기 3D 콘텐츠를 동시에 디스플레이하고,
상기 인터랙션 제공부는
상기 모바일 디바이스를 소지하는 상기 사용자의 위치 정보를 기반으로 사용자가 해당 위치에서 상기 모바일 디바이스를 통해 상기 인식 대상을 인식하는 경우, 상기 위치 정보에 대응하는 특정 위치의 증강현실 콘텐츠를 디스플레이하는 상기 인터랙션 모드를 제공하며,
상기 인식부는
사용자의 선택 입력에 따라 선택되는 정지 영상, 고보라이트 영상 및 동영상 중 어느 하나의 상기 인식 영상에서 단일 프레임 또는 복수의 프레임들, 또는 실물의 대상체로 구성된 상기 인식 대상을 인식하고,
상기 인터랙션 제공부는
상기 모바일 디바이스의 자세 및 각도에 따라 상기 영상 콘텐츠 및 상기 3D 콘텐츠 중 어느 하나 이상의 상기 증강현실 콘텐츠의 시점을 변경하여 디스플레이하는 상기 인터랙션 모드를 제공하고,
상기 인터랙션 제공부는
상기 모바일 디바이스를 소지하는 사용자의 움직임에 따라 변경되는 상기 모바일 디바이스의 자세 및 각도와 상기 사용자의 위치 정보에 기반하여 상기 영상 콘텐츠의 각도 및 위치를 변경하고, 상기 3D 콘텐츠의 시점을 변경하여 디스플레이하는 상기 인터랙션 모드를 제공하는 사용자 상황에 따른 증강현실 서비스 제공 시스템.A recognition unit for recognizing an object to be recognized in the recognition image;
A display unit that displays an augmented reality (AR) content including image content and 3D content corresponding to the recognition target; And
An interaction providing unit that provides an interaction mode that changes and displays the viewpoint of the augmented reality content according to the posture and angle of the mobile device or the user's location information
Including,
The display unit
Simultaneously displaying the video content in a video format corresponding to the recognition object and the 3D content in 3D modeling,
The interaction providing unit
The interaction mode for displaying augmented reality content of a specific location corresponding to the location information when the user recognizes the recognition target through the mobile device at a corresponding location based on the location information of the user holding the mobile device And
The recognition unit
Recognizing the recognition object composed of a single frame or a plurality of frames, or a real object from the recognition image of any one of a still image, a gobolite image, and a moving image selected according to a user's selection input,
The interaction providing unit
Providing the interaction mode for changing and displaying the viewpoint of the augmented reality content at least one of the video content and the 3D content according to the posture and angle of the mobile device,
The interaction providing unit
Changing the angle and position of the video content based on the posture and angle of the mobile device and the location information of the user, which are changed according to the movement of the user holding the mobile device, and changing and displaying the viewpoint of the 3D content Augmented reality service providing system according to the user situation providing the interaction mode.
KR1020190152937A 2019-11-26 2019-11-26 Augmented reality service providing method for providing user interaction and the system thereof KR102257442B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152937A KR102257442B1 (en) 2019-11-26 2019-11-26 Augmented reality service providing method for providing user interaction and the system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190152937A KR102257442B1 (en) 2019-11-26 2019-11-26 Augmented reality service providing method for providing user interaction and the system thereof

Publications (1)

Publication Number Publication Date
KR102257442B1 true KR102257442B1 (en) 2021-05-27

Family

ID=76135364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152937A KR102257442B1 (en) 2019-11-26 2019-11-26 Augmented reality service providing method for providing user interaction and the system thereof

Country Status (1)

Country Link
KR (1) KR102257442B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110087623A (en) * 2010-01-26 2011-08-03 광주과학기술원 System and method for storing information of vision image, and the recording media storing the program performing the said method
KR101745895B1 (en) 2016-11-29 2017-06-12 유한회사 올빼미하우스 System and method for content extension, presentation device and computer program for the same
KR20190043434A (en) * 2017-10-18 2019-04-26 (주)네오인터넷 Method of tour guiding service based on mobile augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110087623A (en) * 2010-01-26 2011-08-03 광주과학기술원 System and method for storing information of vision image, and the recording media storing the program performing the said method
KR101745895B1 (en) 2016-11-29 2017-06-12 유한회사 올빼미하우스 System and method for content extension, presentation device and computer program for the same
KR20190043434A (en) * 2017-10-18 2019-04-26 (주)네오인터넷 Method of tour guiding service based on mobile augmented reality

Similar Documents

Publication Publication Date Title
KR101842106B1 (en) Generating augmented reality content for unknown objects
US20220249949A1 (en) Method and apparatus for displaying virtual scene, device, and storage medium
JP5885309B2 (en) User interface, apparatus and method for gesture recognition
KR101989089B1 (en) Method and system for authoring ar content by collecting ar content templates based on crowdsourcing
US20170153787A1 (en) Injection of 3-d virtual objects of museum artifact in ar space and interaction with the same
US10191612B2 (en) Three-dimensional virtualization
CN109905592B (en) Method and apparatus for providing content controlled or synthesized according to user interaction
US10572134B2 (en) Method and system for providing prototyping tool, and non-transitory computer-readable recording medium
KR20150116871A (en) Human-body-gesture-based region and volume selection for hmd
KR102068215B1 (en) Method and system for providing contents based on story using virtual reality and augmented reality
WO2022142626A1 (en) Adaptive display method and apparatus for virtual scene, and electronic device, storage medium and computer program product
KR102422221B1 (en) Method, system, and computer program for extracting and providing text color and background color in image
KR101949493B1 (en) Method and system for controlling play of multimeida content
KR102257442B1 (en) Augmented reality service providing method for providing user interaction and the system thereof
KR102551914B1 (en) Method and system for generating interactive object viewer
KR102172611B1 (en) Augmented reality service providing method using still image or video recognition and the system thereof
WO2023160015A1 (en) Method and apparatus for marking position in virtual scene, and device, storage medium and program product
KR102512184B1 (en) System and method for supporting a reading
KR20140078083A (en) Method of manufacturing cartoon contents for augemented reality and apparatus performing the same
KR20170022860A (en) Apparatus for providing virtual contents to augment usability of real object and method using the same
CN114138250A (en) Method, device and equipment for generating steps of system case and storage medium
KR102276816B1 (en) Method and system for providing content composed of spatial unit
KR102533209B1 (en) Method and system for creating dynamic extended reality content
KR20150041548A (en) Method for providing augmented reality, and the computing device
CN116661656B (en) Picture interaction method and shooting display system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant