KR20140125596A - Mobile apparatus for providing augmented reality and method thereof - Google Patents
Mobile apparatus for providing augmented reality and method thereof Download PDFInfo
- Publication number
- KR20140125596A KR20140125596A KR1020130043584A KR20130043584A KR20140125596A KR 20140125596 A KR20140125596 A KR 20140125596A KR 1020130043584 A KR1020130043584 A KR 1020130043584A KR 20130043584 A KR20130043584 A KR 20130043584A KR 20140125596 A KR20140125596 A KR 20140125596A
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- image
- obstacle
- user
- unit
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims description 21
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 239000002131 composite material Substances 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 description 7
- 239000003550 marker Substances 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 이동형 증강현실 제공 장치 및 그 방법에 관한 것으로, 보다 상세하게는 자율주행이 가능한 이동형 증강현실 제공 장치 및 그 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a mobile augmented reality providing apparatus and a method thereof, and more particularly, to a mobile augmented reality providing apparatus and a method thereof capable of autonomous travel.
증강현실(Augmented Reality)이란 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술을 말한다.The Augmented Reality is a method to grasp the approximate position using the location and direction information and to grasp the desired service through comparison between the facility information such as the building information in the vicinity and the real image information inputted according to the movement of the camera And to provide relevant information.
이러한 증강현실 기술에는 마커 기반의 증강현실 기술과 센서 기반의 증강현실 기술이 있다. 마커 기반의 증강현실 기술은 특정 건물에 대응되는 마커를 건물과 함께 촬영한 후 마커를 인식하여 해당 건물을 인식하는 기술이다. 센서 기반의 증강현실 기술은 단말기에 탑재된 GPS, 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치 및 주시 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.These augmented reality technologies include marker-based augmented reality technologies and sensor-based augmented reality technologies. The marker-based augmented reality technology is a technology for recognizing a marker by recognizing a marker corresponding to a particular building after taking it with the building. The sensor-based augmented reality technology uses the GPS and the electronic compass mounted on the terminal to infer the current position and the direction of the terminal and overlay the point of interest (POI) information corresponding to the image in the derived direction. (Overlay) technology.
종래에는 객체 인식을 위한 마커, 위치 제공을 위한 센서, 증강현실을 표현하는 디스플레이 등이 고정된 상태에서 증강현실이 구현되었다. 이와 같이, 마커, 센서, 디스플레이 등이 고정된 환경 하에서는 복잡한 실생활에 대한 증강현실을 구현하는데 어려움이 있다.Conventionally, an augmented reality is realized in a state where a marker for object recognition, a sensor for providing a position, and a display representing an augmented reality are fixed. As described above, it is difficult to realize an augmented reality for complex real life under an environment where markers, sensors, displays, and the like are fixed.
본 발명이 해결하고자 하는 기술적 과제는 사용자의 위치, 자세, 시선 방향 등에 따라 적응적으로 증강현실을 구현할 수 있는 이동형 증강현실 제공 장치 및 그 방법을 제공함에 있다. An object of the present invention is to provide a mobile augmented reality providing apparatus and method capable of adaptively implementing an augmented reality according to a user's position, posture, gaze direction, and the like.
본 발명의 일 실시예에 따른 이동형 증강현실 제공 장치는 영상을 촬영하는 카메라부, 상기 영상에 포함된 객체의 특징점 및 사용자를 검출하는 특징 추출부, 상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 제어부, 상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 경로 설정부, 및 상기 조향각에 따라 상기 이동형 증강현실 제공 장치를 이동시키는 구동부를 포함한다.A mobile augmented reality providing apparatus according to an embodiment of the present invention includes a camera unit for capturing an image, a feature extraction unit for detecting a feature point and a user of an object included in the image, a shape determination unit for determining shape information of the user, A control unit configured to set a target point for providing an augmented reality based on shape information and feature points of the object, a target angle between the target point and the movement direction, and a steering angle for movement according to the target angle and the placement type of the obstacle And a driving unit for moving the mobile augmented reality providing apparatus according to the steering angle.
상기 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 영상에 상기 컨텐츠 정보를 합성하여 합성 영상을 생성하는 합성부를 더 포함할 수 있다.And a synthesis unit for generating a synthesized image by synthesizing the content information with the image by comparing the minutiae point of the object with the feature information of the object stored in the database and calling the content information corresponding to the object.
상기 합성 영상을 디스플레이하는 디스플레이부를 더 포함할 수 있다.And a display unit for displaying the composite image.
상기 장애물과의 거리를 센싱하는 센싱부를 더 포함할 수 있다.And a sensing unit for sensing a distance to the obstacle.
상기 경로 설정부는 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정할 수 있다.The path setting unit may determine a placement type of the obstacle by comparing a distance between an obstacle on the left front side, an obstacle on the middle front side, and an obstacle on the right front side with a predetermined reference value.
상기 카메라부는 촬영 방향 조절을 위한 2축 회전이 가능하도록 마련되고, 상기 제어부는 상기 사용자를 검출하기 위해 상기 카메라부의 촬영 방향을 제어할 수 있다.The camera unit is capable of two-axis rotation for adjusting a photographing direction, and the control unit can control the photographing direction of the camera unit to detect the user.
본 발명의 다른 실시예에 따른 이동형 증강현실 제공 장치를 이용하여 증강현실을 제공하는 방법은 제1 영상을 촬영하는 단계, 상기 제1 영상에 포함된 사용자를 검출하는 단계, 상기 제1 영상에 포함된 객체의 특징점을 추출하는 단계, 상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 단계, 상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 단계, 및 상기 조향각에 따라 상기 이동형 증강현실 제공 장치가 상기 목표점으로 이동하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of providing augmented reality using a mobile augmented reality providing apparatus, comprising: capturing a first image; detecting a user included in the first image; Extracting characteristic points of the object, determining shape information of the user, setting a target point for providing an augmented reality based on the shape information of the user and the feature point of the object, Calculating a steering angle for movement according to the target angle and the arrangement type of the obstacle, and moving the mobile augmented reality providing apparatus to the target point according to the steering angle.
상기 목표점에서 제2 영상을 촬영하는 단계, 상기 제2 영상에 컨텐츠 정보가 합성된 합성 영상을 생성하는 단계, 및 상기 합성 영상을 디스플레이하는 단계를 더 포함할 수 있다.The method may further include capturing a second image at the target point, generating a composite image in which content information is synthesized in the second image, and displaying the composite image.
상기 합성 영상을 생성하는 단계는, 상기 제2 영상에 포함된 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 컨텐츠 정보를 호출하는 단계를 포함할 수 있다.The generating the composite image may include a step of comparing the minutiae point of the object included in the second image with the feature information of the object stored in the database and calling the content information.
상기 조향각을 산출하는 단계는, 상기 장애물과의 거리를 센싱하는 단계, 및 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정하는 단계를 포함할 수 있다.The step of calculating the steering angle includes the steps of sensing a distance to the obstacle and comparing the distance between the obstacle on the left front side, the obstacle on the middle front side and the obstacle on the right side with a predetermined reference value to determine the placement type of the obstacle .
상기 제1 영상을 촬영하는 단계는, 상기 사용자를 검출하기 위해 2축 회전이 가능한 카메라부의 촬영 방향을 제어하는 단계를 포함할 수 있다.The step of photographing the first image may include the step of controlling the photographing direction of the camera unit capable of two-axis rotation to detect the user.
이동형 증강현실 제공 장치가 주변 환경에 맞게 자율 주행하여 증강현실을 구현하기 위한 적절한 목표점으로 이동함으로써, 최적의 공간에서 증강현실이 구현될 수 있다.The augmented reality can be realized in an optimal space by moving the mobile augmented reality providing apparatus autonomously according to the surrounding environment and moving to an appropriate target point for realizing the augmented reality.
또한, 사용자의 위치, 자세, 시선 방향 등에 따라 사용자에 적합한 증강현실의 구현이 가능해진다.Further, it is possible to implement an augmented reality suitable for the user according to the position, posture, gaze direction, etc. of the user.
도 1은 본 발명의 일 실시예에 따른 이동형 증강현실 제공 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다. 1 is a block diagram illustrating a mobile augmented reality providing apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a method of providing an augmented reality according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.
또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1 실시예에서 설명하고, 그 외의 실시예에서는 제1 실시예와 다른 구성에 대해서만 설명하기로 한다.In addition, in the various embodiments, components having the same configuration are represented by the same reference symbols in the first embodiment. In the other embodiments, only components different from those in the first embodiment will be described .
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.
도 1은 본 발명의 일 실시예에 따른 이동형 증강현실 제공 장치를 나타내는 블록도이다.1 is a block diagram illustrating a mobile augmented reality providing apparatus according to an embodiment of the present invention.
도 1을 참조하면, 이동형 증강현실 제공 장치(100)는 센싱부(110), 경로 설정부(120), 구동부(130), 카메라부(140), 특징 추출부(150), 합성부(160), 디스플레이부(170) 및 제어부(180)를 포함한다. 1, a mobile augmented
센싱부(110)는 장애물과의 거리를 센싱한다. 센싱부(110)는 장애물과의 거리를 센싱하기 위한 복수의 센싱장치를 포함할 수 있다. 장애물과의 거리를 센싱할 수 있는 센싱장치로는 적외선 센서, 레이저 센서, 초음파 센서 등이 이용될 수 있다. 센싱부(110)는 복수의 센싱장치를 이용하여 좌측 전방, 정면 전방 및 우측 전방의 장애물과의 거리를 측정할 수 있다. 센싱부(110)는 복수의 센싱장치에서 측정된 장애물과의 거리 정보를 경로 설정부(120)에 전달한다. The
경로 설정부(120)는 이동형 증강현실 제공 장치(100)의 이동량 및 회전량을 기반으로 이동형 증강현실 제공 장치(100)의 자세를 추정하고, 추정된 자세로부터 목표점 간의 타겟각을 산출한다. 목표점은 센싱부(110)를 이용하여 경로 설정부(120)가 장애물을 회피하여 최종적으로 도달하는 지점으로써, 이동형 증강현실 제공 장치(100)가 증강현실을 제공하는 목표 위치를 의미한다. 타겟각은 이동형 증강현실 제공 장치(100)의 이동 방향과 목표점 방향 간의 각도를 의미한다.The
경로 설정부(120)는 인코더, 가속도 센서 및 자이로 센서 중 적어도 어느 하나를 포함할 수 있다. 인코더는 이동형 증강현실 제공 장치(100)의 이동 거리 및 방향을 적분하여 2차원 좌표계 상의 위치 및 방향각을 추정한다. 가속도 센서는 이동형 증강현실 제공 장치(100)의 속도의 증감을 측정하여 이동 거리를 산출할 수 있다. 자이로 센서는 이동형 증강현실 제공 장치(100)의 각속도를 측정하여 방향각을 산출할 수 있다.The
경로 설정부(120)는 장애물과의 거리 및 타겟각을 기반으로 이동형 증강현실 제공 장치(100)의 이동을 위한 조향각을 산출한다. 경로 설정부(120)는 장애물의 배치유형 및 타겟각에 따른 퍼지추론 방식으로 조향각을 산출할 수 있다. 장애물의 배치유형은 센싱부(110)에서 측정된 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여, 멀고 가까움에 따라 구분될 수 있다. 장애물과의 거리의 원근을 구분하는 기준치는 이동형 증강현실 제공 장치(100)의 주행 속도, 회전 속도 등을 고려하여 정해질 수 있다. The
경로 설정부(120)는 타겟각을 줄이거나 장애물이 멀리 위치하는 방향으로 조향각을 결정할 수 있다. 경로 설정부(120)는 산출된 조향각을 구동부(130)에 전달한다. The
구동부(130)는 경로 설정부(120)에서 전달받은 조향각에 따라 이동형 증강현실 제공 장치(100)를 이동시킨다.The
카메라부(140)는 객체가 포함된 실사 영상을 촬영하고, 정지영상 또는 동영상의 형태의 실사 영상을 특징 추출부(150) 및 합성부(160)에 전달한다. 카메라부(140)는 Full HD 카메라 모듈로 마련될 수 있다. 카메라부(140)는 촬영 방향이 조절될 수 있도록 2축 회전이 가능한 구조로 마련될 수 있다.The
특징 추출부(150)는 카메라부(140)로부터 전달받은 정지영상 또는 동영상에 포함된 객체에 대한 마커, 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 텍스트, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 객체의 특징점을 추출한다. 객체의 특징점은 객체의 전체적인 특징들뿐만 아니라 객체의 부분적인 특징들이 될 수 있다. 예를 들어, 객체의 코너점은 객체 모양에 대한 정보를 가장 많이 가지고 있으므로 객체의 표현, 해석, 인식에 가장 중요한 특징점으로 사용될 수 있다. The
그리고 특징 추출부(150)는 객체의 특징점을 기반으로 사용자를 검출한다. 특징 추출부(150)는 영상에 포함된 다수의 객체 중에서 사용자를 지시하는 객체의 특징점을 검출하여 사용자를 검출할 수 있다. Then, the
합성부(160)는 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징정보와 비교하여 객체에 대응하는 컨텐츠 정보를 호출한다. 그리고 합성부(160)는 카메라부(140)로부터 전달받은 정지영상 또는 동영상에 컨텐츠 정보를 합성하여 합성 영상을 생성한다.The
디스플레이부(170)는 정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상을 디스플레이한다.The
제어부(180)는 이동형 증강현실 제공 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(180)는 사용자를 검출하기 위하여 2축 회전이 가능한 카메라부(140)의 촬영 방향을 제어할 수 있다. 카메라부(140)에서 영상이 촬영될 때, 제어부(180)는 특징 추출부(150)를 통해 검출된 사용자의 위치, 자세, 시선 방향 등의 사용자의 형태 정보를 결정한다. 그리고 제어부(180)는 사용자의 형태 정보 및 객체의 특징점을 기반으로 사용자에 적합한 증강현실을 구현할 수 있는 목표점을 설정하여 경로 설정부(120)에 전달할 수 있다. The
예를 들어, 사용자에 적합한 증강현실을 구현할 수 있는 목표점은 디스플레이부(170)가 사용자의 시선 방향에 위치되는 지점, 사용자 주변의 인접 객체들이 최대한 촬영될 수 있는 지점, 미리 정해진 주요 객체와 사용자가 촬영될 수 있는 지점 등으로 설정될 수 있다.For example, a target point at which the augmented reality suitable for a user can be implemented is a point at which the
이에 따라, 경로 설정부(120)는 사용자에 적합한 증강현실을 구현할 수 있는 목표점으로 이동형 증강현실 제공 장치(100)가 이동될 수 있도록 조향각을 설정하고, 구동부(130)가 조향각에 따라 이동형 증강현실 제공 장치(100)를 이동시키게 된다.Accordingly, the
이제, 이동형 증강현실 제공 장치(100)를 이용하여 사용자에게 증강현실을 제공하는 방법에 대하여 설명한다.Now, a method of providing augmented reality to a user using the mobile augmented
도 2는 본 발명의 일 실시예에 따른 증강현실 제공 방법을 나타내는 흐름도이다. 2 is a flowchart illustrating a method of providing an augmented reality according to an embodiment of the present invention.
도 2를 참조하면, 사용자를 검출하기 위하여 카메라부(140)의 촬영 방향이 제어되고, 카메라부(140)를 통해 정지영상 또는 동영상의 형태로 영상이 촬영된다(S110). Referring to FIG. 2, the photographing direction of the
영상에 포함된 객체에 대한 마커, 패턴, 로고, 색상, 코너점, 외곽선, 텍스처, 텍스트, 각도에 따른 외곽형태 등의 정보 중에서 적어도 어느 하나 이상의 정보에 근거하여 영상에 포함된 객체의 특징점이 추출되고, 객체의 특징점을 기반으로 사용자가 검출된다(S120). 즉, 영상에 포함된 다수의 객체 중에서 사용자를 지시하는 객체의 특징점을 검출함으로써 사용자가 검출된다. 이때, 사용자를 지시하는 객체의 특징점을 이용하여 사용자의 위치, 자세, 시선 방향 등의 사용자 형태 정보가 결정될 수 있다. The feature points of the objects included in the image are extracted based on at least one of information such as a marker, a pattern, a logo, a color, a corner point, an outline, a texture, a text, And the user is detected based on the minutiae of the object (S120). That is, a user is detected by detecting a feature point of an object indicating a user among a plurality of objects included in the image. At this time, the user type information such as the position, the posture, and the gaze direction of the user can be determined using the feature point of the object indicating the user.
사용자가 검출되면, 사용자 주변에 위치하는 인접 객체의 특징점이 추출된다(S130). When the user is detected, feature points of neighboring objects located near the user are extracted (S130).
사용자의 형태 정보 및 인접 객체의 특징점을 기반으로 사용자에게 적합한 증강현실을 구현할 수 있는 목표점이 설정된다(S140). 설정된 목표점은 이동형 증강현실 제공 장치(100)의 이동을 제어하는 경로 설정부(120)에 전달된다.A goal point for realizing an augmented reality suitable for a user is set based on the shape information of the user and the minutiae of the neighboring object (S140). The set target point is transmitted to the
경로 설정부(120)에서 이동형 증강현실 제공 장치(100)의 자세가 추정되고, 추정된 자세로부터 목표점 간의 타겟각이 산출되고, 장애물과의 거리 정보 및 타겟각 정보를 기반으로 이동형 증강현실 제공 장치(100)의 조향각이 산출된다. 산출된 조향각에 따라 이동형 증강현실 제공 장치(100)가 이동하고, 최종적으로 이동형 증강현실 제공 장치(100)가 목표점으로 이동하게 된다(S150). The attitude of the mobile augmented
이동형 증강현실 제공 장치(100)가 목표점에 도달하면, 목표점에서 정지영상 또는 동영상이 촬영되고, 촬영된 정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상이 생성된다(S160). 즉, 촬영된 영상에 포함된 객체의 특징점이 추출되고, 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징과 비교하여 객체에 대응하는 컨텐츠 정보가 호출되고, 촬영된 영상에 컨텐츠 정보가 합성된다. When the mobile augmented
정지영상 또는 동영상에 컨텐츠 정보가 합성된 합성 영상이 디스플레이부(170)를 통해 디스플레이된다(S170).The composite image obtained by combining the still image or the moving image with the content information is displayed on the display unit 170 (S170).
이와 같이, 이동형 증강현실 제공 장치(100)는 사용자의 위치, 자세, 시선 방향을 검출하여 사용자에게 적합한 증강현실을 구현할 수 있는 목표점으로 이동하여 사용자에게 증강현실을 제공함으로써 복잡한 실생활의 환경에서 사용자에게 최적의 증강현실을 제공할 수 있다.As described above, the mobile augmented
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. It is to be understood that both the foregoing general description and the following detailed description of the present invention are illustrative and explanatory only and are intended to be illustrative of the invention and are not to be construed as limiting the scope of the invention as defined by the appended claims. It is not. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 이동형 증강현실 제공 장치
110 : 센싱부
120 : 경로 설정부
130 : 구동부
140 : 카메라부
150 : 특징 추출부
160 : 합성부
170 : 디스플레이부
180 : 제어부100: movable augmented reality providing device
110: sensing unit
120: Path setting unit
130:
140:
150: Feature extraction unit
160:
170:
180:
Claims (11)
영상을 촬영하는 카메라부;
상기 영상에 포함된 객체의 특징점 및 사용자를 검출하는 특징 추출부;
상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 제어부;
상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 경로 설정부; 및
상기 조향각에 따라 상기 이동형 증강현실 제공 장치를 이동시키는 구동부를 포함하는 이동형 증강현실 제공 장치.In a mobile augmented reality providing apparatus,
A camera unit for capturing an image;
A feature extraction unit for detecting feature points and users of objects included in the image;
A controller for determining the morphological information of the user and setting a target point for providing an augmented reality based on morphological information of the user and minutiae points of the object;
A route setting unit for calculating a target angle between the target point and the movement direction and calculating a steering angle for movement according to the target angle and the arrangement type of the obstacle; And
And a driving unit for moving the mobile augmented reality providing apparatus according to the steering angle.
상기 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 객체에 대응하는 컨텐츠 정보를 호출하고, 상기 영상에 상기 컨텐츠 정보를 합성하여 합성 영상을 생성하는 합성부를 더 포함하는 이동형 증강현실 제공 장치.The method according to claim 1,
And a synthesizer for generating a synthesized image by synthesizing the content information with the image by comparing the minutiae point of the object with the feature information of the object stored in the database and calling the content information corresponding to the object, .
상기 합성 영상을 디스플레이하는 디스플레이부를 더 포함하는 이동형 증강현실 제공 장치.3. The method of claim 2,
And a display unit for displaying the synthesized image.
상기 장애물과의 거리를 센싱하는 센싱부를 더 포함하는 이동형 증강현실 제공 장치.The method according to claim 1,
And a sensing unit for sensing a distance from the obstacle to the obstacle.
상기 경로 설정부는 좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정하는 이동형 증강현실 제공 장치.5. The method of claim 4,
Wherein the route setting unit determines a placement type of the obstacle by comparing a distance between an obstacle on the left front side, an obstacle on the middle front side, and an obstacle on the right side front side to a predetermined reference value.
상기 카메라부는 촬영 방향 조절을 위한 2축 회전이 가능하도록 마련되고, 상기 제어부는 상기 사용자를 검출하기 위해 상기 카메라부의 촬영 방향을 제어하는 이동형 증강현실 제공 장치.The method according to claim 1,
Wherein the camera unit is capable of two-axis rotation for adjusting a photographing direction, and the control unit controls the photographing direction of the camera unit to detect the user.
제1 영상을 촬영하는 단계;
상기 제1 영상에 포함된 사용자를 검출하는 단계;
상기 제1 영상에 포함된 객체의 특징점을 추출하는 단계;
상기 사용자의 형태 정보를 결정하고, 상기 사용자의 형태 정보 및 상기 객체의 특징점을 기반으로 증강현실 제공을 위한 목표점을 설정하는 단계;
상기 목표점과 이동 방향 간의 타겟각을 산출하고, 상기 타겟각 및 장애물의 배치유형에 따라 이동을 위한 조향각을 산출하는 단계; 및
상기 조향각에 따라 상기 이동형 증강현실 제공 장치가 상기 목표점으로 이동하는 단계를 포함하는 증강현실 제공 방법. A method for providing an augmented reality using a mobile augmented reality providing apparatus,
Capturing a first image;
Detecting a user included in the first image;
Extracting feature points of the object included in the first image;
Determining shape information of the user, setting a target point for providing an augmented reality based on the shape information of the user and the minutiae of the object;
Calculating a target angle between the target point and the movement direction, and calculating a steering angle for movement according to the target angle and the arrangement type of the obstacle; And
And moving the mobile augmented reality providing apparatus to the target point according to the steering angle.
상기 목표점에서 제2 영상을 촬영하는 단계;
상기 제2 영상에 컨텐츠 정보가 합성된 합성 영상을 생성하는 단계; 및
상기 합성 영상을 디스플레이하는 단계를 더 포함하는 증강현실 제공 방법.8. The method of claim 7,
Capturing a second image at the target point;
Generating a composite image in which content information is synthesized in the second image; And
And displaying the synthesized image.
상기 합성 영상을 생성하는 단계는,
상기 제2 영상에 포함된 객체의 특징점을 데이터베이스에 저장되어 있는 객체의 특징 정보와 비교하여 상기 컨텐츠 정보를 호출하는 단계를 포함하는 증강현실 제공 방법.9. The method of claim 8,
Wherein the step of generating the composite image comprises:
And comparing the feature point of the object included in the second image with the feature information of the object stored in the database to call the content information.
상기 조향각을 산출하는 단계는,
상기 장애물과의 거리를 센싱하는 단계; 및
좌측 전방의 장애물, 중간 전방의 장애물 및 우측 전방의 장애물과의 거리를 소정의 기준치와 비교하여 상기 장애물의 배치유형을 결정하는 단계를 포함하는 증강현실 제공 방법.8. The method of claim 7,
The step of calculating the steering angle includes:
Sensing a distance to the obstacle; And
Determining an arrangement type of the obstacle by comparing a distance between an obstacle on the left front side, an obstacle on the middle front side, and an obstacle on the right side front side to a predetermined reference value.
상기 제1 영상을 촬영하는 단계는,
상기 사용자를 검출하기 위해 2축 회전이 가능한 카메라부의 촬영 방향을 제어하는 단계를 포함하는 증강현실 제공 방법.8. The method of claim 7,
Wherein the step of photographing the first image comprises:
And controlling the photographing direction of the camera unit capable of two-axis rotation to detect the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130043584A KR101455236B1 (en) | 2013-04-19 | 2013-04-19 | Mobile apparatus for providing augmented reality and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130043584A KR101455236B1 (en) | 2013-04-19 | 2013-04-19 | Mobile apparatus for providing augmented reality and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140125596A true KR20140125596A (en) | 2014-10-29 |
KR101455236B1 KR101455236B1 (en) | 2014-11-07 |
Family
ID=51995313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130043584A KR101455236B1 (en) | 2013-04-19 | 2013-04-19 | Mobile apparatus for providing augmented reality and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101455236B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015082215A1 (en) * | 2013-12-05 | 2015-06-11 | Robert Bosch Gmbh | Arrangement for creating an image of a scene |
CN110119141A (en) * | 2018-02-05 | 2019-08-13 | 本田技研工业株式会社 | Moving body control system, moving body and movable body control method |
CN110378177A (en) * | 2018-09-30 | 2019-10-25 | 长城汽车股份有限公司 | Method and device for extraction environment clarification of objective point |
KR20200111587A (en) * | 2019-03-19 | 2020-09-29 | 한국전자통신연구원 | Method for managing a feature map and apparatus for the same |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102560689B1 (en) | 2017-09-26 | 2023-07-28 | 삼성전자주식회사 | Method and apparatus for displaying an ar object |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101813922B1 (en) * | 2010-07-12 | 2018-01-02 | 엘지전자 주식회사 | Robot cleaner and controlling method of the same |
KR20130002663A (en) * | 2011-06-29 | 2013-01-08 | 제주대학교 산학협력단 | System and method for providing augmented reality |
KR101319525B1 (en) * | 2013-03-26 | 2013-10-21 | 고려대학교 산학협력단 | System for providing location information of target using mobile robot |
-
2013
- 2013-04-19 KR KR1020130043584A patent/KR101455236B1/en not_active IP Right Cessation
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015082215A1 (en) * | 2013-12-05 | 2015-06-11 | Robert Bosch Gmbh | Arrangement for creating an image of a scene |
US10460186B2 (en) | 2013-12-05 | 2019-10-29 | Robert Bosch Gmbh | Arrangement for creating an image of a scene |
CN110119141A (en) * | 2018-02-05 | 2019-08-13 | 本田技研工业株式会社 | Moving body control system, moving body and movable body control method |
CN110378177A (en) * | 2018-09-30 | 2019-10-25 | 长城汽车股份有限公司 | Method and device for extraction environment clarification of objective point |
CN110378177B (en) * | 2018-09-30 | 2022-01-28 | 毫末智行科技有限公司 | Method and device for extracting feature points of environmental target |
US11928870B2 (en) | 2018-09-30 | 2024-03-12 | Great Wall Motor Company Limited | Method and apparatus used for extracting feature point of environmental target |
KR20200111587A (en) * | 2019-03-19 | 2020-09-29 | 한국전자통신연구원 | Method for managing a feature map and apparatus for the same |
US11288836B2 (en) | 2019-03-19 | 2022-03-29 | Electronics And Telecommunications Research Institute | Apparatus and method for managing feature point map |
Also Published As
Publication number | Publication date |
---|---|
KR101455236B1 (en) | 2014-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5443134B2 (en) | Method and apparatus for marking the position of a real-world object on a see-through display | |
CN112567201B (en) | Distance measuring method and device | |
US10029700B2 (en) | Infotainment system with head-up display for symbol projection | |
KR101056418B1 (en) | Apparatus and method for tracking augmented reality contents using mobile sensors | |
JP5323910B2 (en) | Collision prevention apparatus and method for remote control of mobile robot | |
KR101455236B1 (en) | Mobile apparatus for providing augmented reality and method thereof | |
CN106575437B (en) | Information processing apparatus, information processing method, and program | |
US20140172296A1 (en) | Systems and methods for navigation | |
KR101506610B1 (en) | Apparatus for providing augmented reality and method thereof | |
CN109829933B (en) | Image target tracking method and device | |
KR20110035609A (en) | Apparatus and method for sensing motion | |
KR101880437B1 (en) | Unmanned surface vehicle control system for providing wide viewing angle using real camera image and virtual camera image | |
US20120219177A1 (en) | Computer-readable storage medium, image processing apparatus, image processing system, and image processing method | |
KR20130067851A (en) | Apparatus and method for recognizing position of vehicle | |
JPWO2015145543A1 (en) | Object detection apparatus, object detection method, and mobile robot | |
JP2020534198A (en) | Control methods, equipment and systems for mobile objects | |
CN104204848A (en) | Surveying apparatus having a range camera | |
WO2015167411A1 (en) | Smart navigation system for brainwave controlled wheelchairs | |
CN113474819A (en) | Information processing apparatus, information processing method, and program | |
US7599546B2 (en) | Image information processing system, image information processing method, image information processing program, and automobile | |
JP5086824B2 (en) | TRACKING DEVICE AND TRACKING METHOD | |
CN105867371B (en) | Control the mobile method and device of balance car | |
JP2019053603A (en) | Display control program, apparatus and method | |
WO2019087658A1 (en) | Information processing device, information processing method, and program | |
JP2013186718A (en) | Mobile object position attitude estimation device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
N231 | Notification of change of applicant | ||
N231 | Notification of change of applicant | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20171023 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |