KR102194008B1

KR102194008B1 - Method for providing augmented reality contents based on image of goods

Info

Publication number: KR102194008B1
Application number: KR1020180058880A
Authority: KR
Inventors: 조현규
Original assignee: 시크릿타운 주식회사
Priority date: 2018-05-24
Filing date: 2018-05-24
Publication date: 2020-12-22
Also published as: KR20190133908A

Abstract

본 발명은, 카메라 모듈, 증강 컨텐츠 편집 도구 및 증강현실 플레이어를 구비한 사용자 단말과, 웹 서버 및 DB가 유무선 네트워크를 통해 연결되어 상품 이미지 인식 기반 증강현실 컨텐츠를 제공하는 방법에 있어서, 상기 사용자 단말을 통해 사용자로부터 입력받은 정보를 기반으로 특정 이미지를 사용자 마커로써 생성해 상기 웹 서버로 전송하는 사용자 마커 생성 단계; 상기 사용자 단말에서 상기 웹 서버를 통해 상기 DB에 기 저장된 증강 컨텐츠 샘플을 수신한 후 상기 증강 켄텐츠 편집도구를 매개로 편집하여 사용자 컨텐츠를 생성해 상기 웹 서버로 전송하는 사용자 컨텐츠 생성 단계; 상기 웹 서버가 상기 사용자 마커와 사용자 컨텐츠를 매칭하여 매칭 정보를 생성해 상기 DB에 저장하는 매칭 단계; 상기 사용자 단말이 상기 카메라 모듈을 통해 촬영하는 영상에서 상기 사용자 마커가 인식되면 상기 매칭 정보에 의해 매칭된 상기 사용자 컨텐츠를 상기 증강현실 플레이어를 매개로 카메라 촬영 영상에 증강하여 표시하는 사용자 컨텐츠 증강 단계;를 포함하는 것을 특징으로 한다.
이를 통해 사용자가 지정한 특정 상품의 이미지를 마커로 인식하여 사용자에 의해 직접 편집 및 생성된 증강현실 컨텐츠가 제공될 수 있도록 함으로써, 증강현실 컨텐츠 제공 서비스를 사용자 관점에서 보다 다양한 방식으로 활용할 수 있다.The present invention provides a method for providing augmented reality content based on product image recognition by connecting a user terminal equipped with a camera module, an augmented content editing tool, and an augmented reality player, and a web server and a DB through a wired or wireless network, the user terminal A user marker generation step of generating a specific image as a user marker based on the information input from the user through and transmitting it to the web server; A user content creation step of generating user content by receiving a sample of the augmented content previously stored in the DB through the web server at the user terminal and editing the augmented content editing tool to generate user content and transmitting it to the web server; A matching step of generating matching information by matching the user marker and user content by the web server and storing the matching information in the DB; A user content augmentation step of augmenting and displaying the user content matched by the matching information on a camera captured image via the augmented reality player when the user marker is recognized in the image captured by the user terminal through the camera module; It characterized in that it comprises a.
Through this, the augmented reality content provided by the user can be directly edited and generated by recognizing the image of a specific product designated by the user as a marker, thereby enabling the augmented reality content providing service to be utilized in more various ways from the user's point of view.

Description

상품 이미지 인식 기반 증강현실 컨텐츠 제공방법{Method for providing augmented reality contents based on image of goods}Method for providing augmented reality contents based on image of goods}

본 발명은 사용자가 지정한 특정 상품의 이미지를 마커로 인식하여 사용자에 의해 직접 편집 및 생성된 증강현실 컨텐츠가 제공될 수 있도록 하는 상품 이지미 인식 기반 증강현실 컨텐츠 제공방법에 관한 것이다. The present invention relates to a product image recognition-based augmented reality content providing method that recognizes an image of a specific product designated by a user as a marker so that the augmented reality content directly edited and generated by the user can be provided.

스마트폰의 보편화, 모바일 통신기술의 발전, 모바일 소셜네트워킹의 대중화로 '모바일 증강현실'이 우리의 일상생활에 파고들고 있다. 증강현실은 한때 커다란 헤드셋을 착용해야 경험할 수 있는 먼 나라 이야기였지만, 현대의 스마트폰에는 높은 화소의 디스플레이, 위치정보 시스템, 센서, 고품질 카메라 등 증강현실 구현을 위한 하드웨어 기반이 잘 갖춰져 있어, 모바일 증강현실이 확산될 기반이 충분히 마련되어 있다. With the universalization of smartphones, the development of mobile communication technologies, and the popularization of mobile social networking,'mobile augmented reality' is penetrating our daily lives. Augmented reality was once a story of a distant country that can only be experienced by wearing a large headset, but modern smartphones are well equipped with a hardware base for implementing augmented reality such as high-pixel displays, location information systems, sensors, and high-quality cameras. There is plenty of ground for reality to spread.

증강현실(Augmented Reality)은 현실 세계의 정보를 바탕으로 컴퓨터로 처리된 가상의 정보를 실시간으로 결합시켜 보여주는 기술로서, 가상 세계를 기반으로 하는 가상현실(Virtual Reality)과는 달리 현실 세계 기반에서 가상의 정보를 덧붙여 제공하기 때문에 일상 속에서 가상과의 상호작용이 가능하다는 장점이 있다. 이에 유럽, 북미, 일본, 한국 등에서 모바일 환경을 활용한 증강현실 게임, 안내 시스템 등이 활발히 개발되고 있는 추세이다. Augmented Reality is a technology that combines and displays virtual information processed by a computer based on real-world information in real time. Unlike Virtual Reality, which is based on a virtual world, It has the advantage of being able to interact with the virtual in everyday life because it provides additional information. Accordingly, augmented reality games and information systems using mobile environments are being actively developed in Europe, North America, Japan, and Korea.

관련하여, 한국등록특허 제 10-1407670호 '증강현실 기반 모바일 단말과 서버 및 그 통신방법'은, 카메라를 통해 보이는 실제환경에 동적인 가상객체들을 포함하는 가상환경을 증강하여 제공하는 단계와, 제공된 동적인 가상객체에서 소정의 가상객체를 선택받는 단계와, 선택된 가상객체를 통해 커뮤니케이션 할 대상을 선택받는 단계와, 선택된 대상에게 통신채널을 형성하고 형성된 통신채널을 통해 선택된 가상객체를 전달하는 단계를 포함한다.In relation to Korea Patent Registration No. 10-1407670,'Augmented Reality-based Mobile Terminal and Server and Its Communication Method', augmenting and providing a virtual environment including dynamic virtual objects in the real environment seen through a camera, Steps of selecting a predetermined virtual object from the provided dynamic virtual object, selecting an object to communicate with through the selected virtual object, forming a communication channel to the selected object, and delivering the selected virtual object through the formed communication channel Includes.

상기 선행기술은 증강현실 기술과 커뮤니케이션 서비스 기술을 접목함에 따라 사용자에게 실재감과 재미를 주고 사용자 간 커뮤니케이션이 가능토록 하여 증강현실 서비스의 범위를 일부 확장하기는 하였으나, 상기 선행기술을 포함한 종래의 증강현실 제공 서비스는 서비스 업체에서 미리 정해놓은 조건에 따라 정해진 컨텐츠를 수동적으로 제공받을 수 밖에 없다는 한계점이 있어, 사용자 관점에서는 여전히 폐쇄적인 서비스에 불과하다는 문제점이 있었다. The prior art has partially expanded the range of augmented reality service by combining augmented reality technology and communication service technology to provide a sense of reality and fun to users and to enable communication between users, but conventional augmented reality including the prior art The provided service has a limitation in that it is inevitable to passively receive the content set according to the conditions set in advance by the service company, and there is a problem that it is still only a closed service from the user's point of view.

따라서, 기술 개발 수준에 비해 대중화 속도가 느린 것으로 평가받고 있는 증강현실 기술분야에서, 사용자가 보다 다양한 방식으로 증강현실 서비스를 활용할 수 있도록 하는 구체적인 방법의 개발이 요구되고 있다. Therefore, in the field of augmented reality technology, which is evaluated as being slow in its popularization rate compared to the level of technology development, there is a need to develop a specific method that enables users to utilize augmented reality services in more various ways.

대한민국 등록특허공보 제 10-1407670호 (2014.06.09)Republic of Korea Patent Publication No. 10-1407670 (2014.06.09) 대한민국 공개특허공보 제 10-2018-0026919호 (2018.03.14.)Korean Patent Application Publication No. 10-2018-0026919 (2018.03.14.)

본 발명은 사용자가 지정한 특정 상품의 이미지를 마커로 인식하여 사용자에 의해 직접 편집 및 생성된 증강현실 컨텐츠가 제공될 수 있도록 함으로써, 증강현실 컨텐츠 제공 서비스를 사용자 관점에서 보다 다양한 방식으로 활용할 수 있도록 하는 것을 주요 목적으로 한다. The present invention recognizes an image of a specific product designated by a user as a marker, so that the augmented reality content directly edited and generated by the user can be provided, thereby enabling the augmented reality content providing service to be utilized in more various ways from the user's point of view. Its main purpose.

또한, 사용자가 지정한 마커와 사용자가 직접 편집 및 생성한 증강현실 컨텐츠가 매칭된 정보를 타인과 공유할 수 있도록 함으로써 증강현실 서비스 활용 범위를 증대시키는 것이다. In addition, by allowing the matched information of the marker designated by the user and the augmented reality content directly edited and generated by the user to be shared with others, the range of augmented reality service utilization is increased.

카메라 모듈, 증강 컨텐츠 편집 도구 및 증강현실 플레이어를 구비한 사용자 단말과, 웹 서버 및 DB가 유무선 네트워크를 통해 연결되어 상품 이미지 인식 기반 증강현실 컨텐츠를 제공하는 방법에 있어서, 본 발명은, 상기 사용자 단말을 통해 사용자로부터 입력받은 정보를 기반으로 특정 이미지를 사용자 마커로써 생성해 상기 웹 서버로 전송하는 사용자 마커 생성 단계; 상기 사용자 단말에서 상기 웹 서버를 통해 상기 DB에 기 저장된 증강 컨텐츠 샘플을 수신한 후 상기 증강 켄텐츠 편집도구를 매개로 편집하여 사용자 컨텐츠를 생성해 상기 웹 서버로 전송하는 사용자 컨텐츠 생성 단계; 상기 웹 서버가 상기 사용자 마커와 사용자 컨텐츠를 매칭하여 매칭 정보를 생성해 상기 DB에 저장하는 매칭 단계; 상기 사용자 단말이 상기 카메라 모듈을 통해 촬영하는 영상에서 상기 사용자 마커가 인식되면 상기 매칭 정보에 의해 매칭된 상기 사용자 컨텐츠를 상기 증강현실 플레이어를 매개로 카메라 촬영 영상에 증강하여 표시하는 사용자 컨텐츠 증강 단계;를 포함하는 것을 특징으로 한다.In a method for providing augmented reality content based on product image recognition by connecting a user terminal equipped with a camera module, an augmented content editing tool and an augmented reality player, and a web server and a DB through a wired or wireless network, the present invention provides the user terminal A user marker generating step of generating a specific image as a user marker based on information input from a user through the user marker and transmitting the image to the web server; A user content creation step of generating user content by receiving a sample of the augmented content previously stored in the DB through the web server at the user terminal and editing the augmented content editing tool to generate user content and transmitting it to the web server; A matching step of generating matching information by matching the user marker and user content by the web server and storing the matching information in the DB; A user content augmentation step of augmenting and displaying the user content matched by the matching information on a camera captured image via the augmented reality player when the user marker is recognized in the image captured by the user terminal through the camera module; It characterized in that it comprises a.

또한, 상기 사용자 마커 생성 단계는, 상기 웹 서버가 상기 사용자 단말을 통해 사용자로부터 입력된 마커 검색 요청 정보를 전송받아 상기 DB에서 하나 이상의 마커 샘플을 추출하고, 상기 사용자 단말이 상기 사용자로부터 복수의 마커 샘플 중 하나를 입력받아 상기 사용자 마커를 생성하는 것을 특징으로 한다.In addition, in the generating of the user marker, the web server receives the marker search request information input from the user through the user terminal, extracts one or more marker samples from the DB, and the user terminal extracts a plurality of markers from the user. The user marker is generated by receiving one of the samples.

이 때 상기 마커 검색 요청 정보는, 사용자로부터 입력받는 텍스트와 상기 카메라 모듈을 통해 촬영된 이미지 중 하나인 것을 특징으로 한다. At this time, the marker search request information may be one of a text input from a user and an image captured through the camera module.

또한, 상기 사용자 마커는, 시판되는 상품의 포장 이미지인 것을 특징으로 한다.In addition, the user marker is characterized in that the packaging image of a commercial product.

더불어, 상기 매칭 단계 다음에는, 상기 카메라 모듈의 작동에 의해 상기 사용자 단말 화면 상에 나타나는 촬영 화면 상에 상기 사용자 마커의 가상 이미지와 상기 사용자 마커 촬영을 위한 안내 메시지를 함께 표시하는 마커 정보 안내 단계;를 추가로 포함하는 것을 특징으로 한다. In addition, after the matching step, a marker information guiding step of displaying a virtual image of the user marker and a guide message for photographing the user marker together on a photographing screen displayed on the user terminal screen by the operation of the camera module; It characterized in that it further comprises.

상기 매칭 단계 다음에는, 상기 웹 서버가 상기 사용자 단말로부터 특정 타인의 사용자 단말 식별 정보를 입력받아 상기 특정 타인의 사용자 단말에 수락 및 거절 선택이 가능한 수신 알림을 전송하는 특정 타인 공유 단계;를 추가로 포함하는 것을 특징으로 한다.After the matching step, the web server receives the user terminal identification information of a specific other person from the user terminal and transmits a reception notification capable of selecting acceptance and rejection to the user terminal of the specific person; It characterized in that it includes.

이 때, 상기 마커 정보 안내 단계는, 상기 수신 알림을 전송받은 특정 타인의 사용자 단말로부터 수락 선택을 받은 경우 해당 특정 타인 사용자 단말의 상기 카메라 모듈을 활성화하고 촬영 화면 상에 상기 사용자 마커의 가상 이미지와, 상기 사용자 마커 촬영을 위한 안내 메시지를 표시하는 것을 특징으로 한다.In this case, in the step of guiding the marker information, when an acceptance selection is received from a user terminal of a specific other who has received the reception notification, the camera module of the user terminal of the specific other user is activated, and a virtual image of the user marker is displayed on the shooting screen. And displaying a guide message for photographing the user marker.

추가적으로, 상기 웹 서버는, 상기 사용자 단말을 매개로 사용자로부터 동의 정보를 수신한 경우 상기 사용자 컨텐츠를 상기 DB에 증강 컨텐츠 샘플로서 저장하는 불특정 타인 공유 단계;를 추가로 포함하는 것을 특징으로 한다.In addition, the web server, when receiving consent information from a user via the user terminal, storing the user content as an augmented content sample in the DB, sharing with an unspecified person; characterized in that it further comprises.

이 때, 상기 DB는 저작권이 있는 컨텐츠, 유해 컨텐츠, 음란 컨텐츠 중 하나 이상을 포함하는 부적격 컨텐츠 DB를 추가로 포함하고, 상기 불특정 타인 공유 단계는 상기 웹 서버가 상기 사용자 컨텐츠에 포함된 이미지, 텍스트 및 사운드 중 하나 이상의 요소와 상기 부적격 컨텐츠 DB 내 컨텐츠 간 유사판단을 통해 부적격 여부를 판단하는 부적격 판단 단계; 부적격 판단 시 상기 웹 서버가 상기 사용자 단말에 상기 사용자 컨텐츠의 공유 반려 메시지를 전송하는 공유 반려 단계;를 추가로 포함하는 것을 특징으로 한다.In this case, the DB further includes an ineligible content DB including one or more of copyrighted content, harmful content, and obscene content, and in the step of sharing an unspecified person, the web server includes images and texts included in the user content. And an ineligibility determination step of determining whether or not the content is ineligible through a similarity determination between one or more elements of sound and content in the ineligible content DB. And a sharing rejection step of transmitting, by the web server, a sharing rejection message of the user content to the user terminal upon determination of ineligibility.

추가적으로, 상기 증강 컨텐츠 샘플은, 증강 이미지와 증강 텍스트 및 사운드 중 둘 이상을 포함하며, 상기 증강 컨텐츠 편집 도구는, 상기 증강 이미지의 화면 상 위치, 색깔, 크기, 질감과, 상기 증강 텍스트의 문구, 글자 모양 및, 상기 사운드의 종류, 크기, 재생 구간, 재생 시간 중 하나 이상을 편집하는 것을 특징으로 한다. Additionally, the augmented content sample includes at least two of an augmented image, augmented text, and sound, and the augmented content editing tool includes a position, color, size, and texture of the augmented image on the screen, and a phrase of the augmented text, It is characterized in that one or more of a letter shape and a type, a size, a reproduction period, and a reproduction time of the sound are edited.

마지막으로, 상기 사용자 단말에는 자이로 센서와 가속도 센서 및 방위 센서가 내장되고, 상기 증강 컨텐츠 편집 도구는, 상기 자이로 센서와 가속도 센서 및 방위 센서를 기반으로 상기 사용자 단말을 파지한 상기 사용자의 제스쳐에 따른 상기 사용자 단말의 움직임을 센싱하여 변위 정보를 생성하고, 상기 변위 정보에 의해 상기 증강 이미지의 3축 방향으로의 움직임을 편집하는 것을 특징으로 한다.Finally, the user terminal includes a gyro sensor, an acceleration sensor, and an orientation sensor, and the augmented content editing tool is based on the gyro sensor, the acceleration sensor, and the orientation sensor, according to the gesture of the user holding the user terminal. A motion of the user terminal is sensed to generate displacement information, and motion of the augmented image in a 3-axis direction is edited based on the displacement information.

전술한 과제의 해결수단에 따르면, 본 발명에 따른 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법은, According to the above-described problem solving means, the method for providing augmented reality contents based on product image recognition according to the present invention,

1) 사용자가 지정한 특정 상품의 이미지를 마커로 인식하여 사용자에 의해 직접 편집 및 생성된 증강현실 컨텐츠가 제공될 수 있도록 함으로써, 증강현실 컨텐츠 제공 서비스를 사용자 관점에서 보다 다양한 방식으로 활용할 수 있도록 하고,1) By recognizing the image of a specific product designated by the user as a marker, and allowing the augmented reality content directly edited and generated by the user to be provided, the augmented reality content providing service can be utilized in more various ways from the user's point of view,

2) 사용자가 지정한 마커와 사용자가 직접 편집 및 생성한 증강현실 컨텐츠가 매칭된 정보를 특정 타인과 공유할 수 있도록 함으로써 증강현실 서비스 활용 범위를 증대시키며,2) Increase the range of augmented reality service utilization by allowing the matching information of the user-designated marker and the user-edited and generated augmented reality content to be shared with a specific other person,

3) 사용자의 동의 여부에 따라 사용자 컨텐츠를 불특정 타인이 활용할 수 있는 증강 컨텐츠 샘플로 DB에 저장함으로써 개인이 편집한 컨텐츠를 보다 많은 사람들이 활발하게 활용할 수 있도록 하는 효과가 있다. 3) According to the user's consent, the user content is stored in the DB as an augmented content sample that can be used by unspecified others, thereby enabling more people to actively utilize the personally edited content.

도 1은 본 발명에 따른 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법의 기본적인 작용을 나타낸 개념도.
도 2는 본 발명의 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법의 구현을 위한 구성 블록도.
도 3은 본 발명의 일 실시예에 따른 개략적인 플로우챠트.
도 4는 본 발명의 일 실시예에 따른 순서도.
도 5는 본 발명의 사용자 마커 생성 단계의 실시예를 도시한 개념도.
도 6은 본 발명의 사용자 컨텐츠 생성 단계의 실시예를 도시한 개념도.
도 7은 본 발명의 마커 정보 안내 단계 및 사용자 컨텐츠 증강 단계의 실시예를 도시한 개념도.
도 8은 본 발명의 추가 실시예에 따른 개략적인 플로우챠트.
도 9는 본 발명의 추가 실시예에 따른 순서도. 1 is a conceptual diagram showing the basic operation of the augmented reality content providing method based on product image recognition according to the present invention.
Figure 2 is a block diagram for the implementation of the augmented reality content providing method based on product image recognition of the present invention.
3 is a schematic flowchart according to an embodiment of the present invention.
4 is a flow chart according to an embodiment of the present invention.
5 is a conceptual diagram showing an embodiment of a user marker generation step of the present invention.
6 is a conceptual diagram showing an embodiment of a user content generation step of the present invention.
7 is a conceptual diagram showing an embodiment of a step of guiding marker information and a step of enhancing user content according to the present invention.
8 is a schematic flowchart according to a further embodiment of the present invention.
9 is a flow chart according to a further embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings.

그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, only these embodiments are intended to complete the disclosure of the present invention, and are common in the technical field to which the present invention pertains. It is provided to fully inform the knowledgeable person of the scope of the invention, and the invention is only defined by the scope of the claims.

또한, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. In addition, terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 이외의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used herein, “comprises” and/or “comprising” do not exclude the presence or addition of elements other than the mentioned elements.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings that can be commonly understood by those of ordinary skill in the art to which the present invention belongs.

이하에서는 첨부된 도면을 참조하여 본 발명에 대해서 설명하기로 하겠다.Hereinafter, the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명에 따른 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법의 기본적인 작용을 나타낸 개념도이고, 도 2는 본 발명의 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법의 구현을 위한 구성 블록도이다. 1 is a conceptual diagram showing a basic operation of a method for providing augmented reality content based on product image recognition according to the present invention, and FIG. 2 is a block diagram for implementing the method for providing augmented reality content based on product image recognition according to the present invention.

도 1과 도 2를 보아 알 수 있듯이, 본 발명의 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법은, 기본적으로 사용자 단말(10)과, 웹 서버(Web server)(20) 및 DB(Database)(30)를 포함한다. As can be seen from FIGS. 1 and 2, the method of providing augmented reality content based on product image recognition of the present invention basically includes a user terminal 10, a web server 20 and a database ).

상기 웹 서버(20)는 사용자 단말(10)과 무선 네트워크를 통해 연결되어 증강현실 컨텐츠 제공에 대한 통합 관리를 수행하도록 구현되며, 웹 서버(20)에서 관리자에 의해 저장 및 관리되는 데이터와 사용자 단말(10)로부터 상기 웹 서버(20)로 전송되는 데이터 등을 저장하는 DB(30)가 상기 웹 서버(20)와 연동 구성된다. 본 발명의 구현을 위해서 상기 웹 서버(20)에는 기본적으로 사용자 단말(10)을 통해 입력받은 회원 정보를 상기 DB(30)의 회원 정보 DB(31)에 저장하고 관리하는 회원 관리부(21)와, 사용자 단말(10)로부터 전송받은 사용자 마커 및 사용자 컨텐츠를 연계 매칭시키고 이를 저장 및 관리하는 매칭 관리부(22) 및, 상기 매칭된 정보들의 타인 공유를 관리하는 공유 관리부(23)가 구비될 수 있다.The web server 20 is connected to the user terminal 10 through a wireless network and implemented to perform integrated management for the provision of augmented reality content, and data and user terminals stored and managed by the administrator in the web server 20 A DB 30 storing data transmitted from (10) to the web server 20 is interlocked with the web server 20. For the implementation of the present invention, the web server 20 basically includes a member management unit 21 that stores and manages member information received through the user terminal 10 in the member information DB 31 of the DB 30, and , A matching management unit 22 for linking and matching, storing and managing user markers and user content transmitted from the user terminal 10, and a sharing management unit 23 for managing sharing of the matched information with others may be provided. .

사용자 단말(10)은 스마트폰인 것이 일반적일 것이나, 노트북 컴퓨터, PDA, PMP, 네비게이션, 슬레이트 PC, 태블릿 PC, 워치형 단말기, 글래스형 단말기, HMD 등을 포함할 수 있음은 물론이다. 특히 본 발명에 적용되는 상기 사용자 단말(10)은 현실 세계 영상 활영을 위한 카메라 모듈(10A)을 구비하고 있는 모바일 기기이며, 본 발명의 구성 단계인 사용자 컨텐츠 생성 단계(S200)와 사용자 컨텐츠 증강 단계(S700)를 수행하기 위하여 필수적으로 증강 컨텐츠 편집 도구(11) 및 증강현실 플레이어(12)를 포함한 어플리케이션이 설치되거나 또는 이를 제공하는 웹페이지와 연결된 상태여야할 것이다. 상기 증강 컨텐츠 편집 도구(11) 및 증강현실 플레이어(12)를 구현시키는 어플리케이션은 다양한 OS 플랫폼과 상호 연동되도록 멀티 플랫폼 기반으로 형성되는 것이 바람직하며, 또한 컨텐츠 파일의 형태와 지원 플랫폼이 서로 호환되도록 형성되어야 할 것이다. 더불어 모바일 디바이스에서 쉽게 편집 및 플레이가 가능하도록 직관적이고 명확하게 디자인된 UI 및 UX가 적용되어야할 것이다. The user terminal 10 is generally a smart phone, but may include a notebook computer, a PDA, a PMP, a navigation system, a slate PC, a tablet PC, a watch type terminal, a glass type terminal, an HMD, and the like. In particular, the user terminal 10 applied to the present invention is a mobile device equipped with a camera module 10A for real-world video activity, and the user content creation step (S200) and the user content enhancement step, which are the configuration steps of the present invention. In order to perform (S700), an application including an augmented content editing tool 11 and an augmented reality player 12 must be installed or connected to a web page providing the augmented content editing tool 11 and the augmented reality player 12. The application that implements the augmented content editing tool 11 and the augmented reality player 12 is preferably formed on a multi-platform basis so as to interoperate with various OS platforms, and the form of the content file and the support platform are formed to be compatible with each other. Should be. In addition, intuitive and clearly designed UI and UX should be applied to enable easy editing and play on mobile devices.

DB(Database)(30)는, 회원 정보 DB(31)와 마커 샘플 DB(32), 증강 컨텐츠 샘플 DB(33)를 포함하고, 또한 사용자 마커 DB(34a)와 사용자 컨텐츠 DB(34b)를 포함하는 매칭 정보 DB(34)를 구비한다. 상기 DB(30) 내 포함된 복수의 DB들은 각각 다양한 정보를 분류 및 저장하고 있으며, 이는 상기 웹 서버(20)와 연동되어 기능한다.The DB (Database) 30 includes a member information DB 31, a marker sample DB 32, an augmented content sample DB 33, and also includes a user marker DB 34a and a user content DB 34b. A matching information DB 34 is provided. A plurality of DBs included in the DB 30 categorizes and stores various types of information, respectively, and functions in conjunction with the web server 20.

본 발명에 따른 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법은, 상기 웹 서버(20) 및 DB(30)와 상기 사용자 단말(10)에 구비된 카메라 모듈(10A)과 증강 컨텐츠 편집 도구(11)과 증강현실 플레이어(12)를 포함하는 소프트웨어 간 유기적인 연동 관계가 구축된 상태에서 사용자 단말(10)을 통해 사용자에게 상품 이미지 인식 기반 증강현실 컨텐츠 제공 서비스가 원활하게 구현될 수 있도록 한다.The method for providing augmented reality content based on product image recognition according to the present invention includes a camera module 10A and an augmented content editing tool 11 provided in the web server 20 and DB 30 and the user terminal 10 In a state in which an organic linkage relationship between software including the augmented reality player 12 is established, a service for providing augmented reality content based on product image recognition to the user through the user terminal 10 can be smoothly implemented.

도 3은 본 발명의 일 실시예에 따른 개략적인 플로우챠트이고, 도 4는 본 발명의 일 실시예에 따른 순서도이다. 3 is a schematic flowchart according to an embodiment of the present invention, and FIG. 4 is a flowchart according to an embodiment of the present invention.

도 3과 도 4를 참조하여 설명하면, 본 발명의 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법은 기본적으로 사용자 마커 생성 단계(S100), 사용자 컨텐츠 생성 단계(S200), 매칭 단계(S300), 사용자 컨텐츠 증강 단계(S700)를 포함하며, 이는 상술한 바와 같이 상기 사용자 단말(10)과 웹 서버(20) 및 DB(30) 간 연동 관계를 통해 구현된다. 아래에서 도 5 내지 7을 참고하여 각 단계의 알고리즘에 대해 보다 상세히 설명하기로 한다. 3 and 4, the method of providing augmented reality content based on product image recognition of the present invention basically includes a user marker generation step (S100), a user content generation step (S200), a matching step (S300), and user content. It includes an augmentation step (S700), which is implemented through an interworking relationship between the user terminal 10 and the web server 20 and the DB 30 as described above. Hereinafter, the algorithm of each step will be described in more detail with reference to FIGS. 5 to 7.

도 5는 본 발명의 사용자 마커 생성 단계의 실시예를 도시한 개념도이다. 5 is a conceptual diagram showing an embodiment of the step of generating a user marker according to the present invention.

도 5를 참조하여 설명하면, 먼저 사용자 마커 생성 단계(S100)는, 상기 사용자 단말(10)을 매개로 사용자로부터 입력받은 정보를 기반으로 상기 DB에 저장된 복수의 마커 샘플 중 어느 하나를 지정함으로써 사용자 마커를 생성하고, 이를 상기 웹 서버(20)로 전송하여 저장하는 단계이다. Referring to FIG. 5, first, in the step of generating a user marker (S100), a user by designating any one of a plurality of marker samples stored in the DB based on information input from the user via the user terminal 10 This is a step of generating a marker, transmitting it to the web server 20 and storing it.

이 때 상기 마커 샘플들은 사용자가 사용자 단말(10)의 카메라 모듈(10A)을 통해 촬영되는 촬영 화면 상에 나타날 수 있는 특정 이미지(예를 들어, 간판 이미지, 표지판 이미지, 건물 외관 이미지, 지형 이미지 등)여야할 것인데, 본 발명의 설명에서는 실질적 활용 가능성과 활용 시 흥미도, 연계성 등을 고려하여 시중에 판매되고 있는 상품의 포장 이미지를 적용하는 것을 바람직한 실시예로써 설명하도록 한다. At this time, the marker samples are specific images (e.g., a sign image, a sign image, a building exterior image, a terrain image, etc.) that the user may appear on the shooting screen taken through the camera module 10A of the user terminal 10. ), but in the description of the present invention, the application of the packaging image of commercially available products in consideration of practical applicability, interest, and connectivity will be described as a preferred embodiment.

상기 사용자 마커 생성 단계의 실시예를 설명하면, 상기 웹 서버(20)가 상기 사용자 단말(10)을 통해 사용자로부터 입력받은 마커 검색 요청 정보를 전송받아 상기 마커 샘플 DB(32)에서 하나 이상의 마커 샘플을 추출하고, 상기 사용자 단말(10)이 추출된 복수의 마커 샘플을 디스플레이한 상태에서 상기 사용자로부터 복수의 마커 샘플 중 하나를 입력받음으로써 상기 사용자 마커를 선택 생성할 수 있다. 즉, 사용자 단말(10) 및 웹 서버(20)를 매개로 사용자가 상기 마커 샘플 DB(32)에서부터 원하는 마커 샘플을 선택함으로써 생성할 수 있다. In the embodiment of the step of generating the user marker, the web server 20 receives the marker search request information input from the user through the user terminal 10 and receives one or more marker samples from the marker sample DB 32. And, while the user terminal 10 displays the extracted plurality of marker samples, the user marker may be selectively generated by receiving one of the plurality of marker samples from the user. That is, it can be generated by selecting a desired marker sample from the marker sample DB 32 by the user via the user terminal 10 and the web server 20.

이 때 상기 마커 샘플 DB(32)에서 원하는 마커 샘플을 검색 및 추출하기 위해 사용되는 상기 마커 검색 요청 정보는, 도 5에 도시된 바와 같이 텍스트 형태일 수 있고, 또는 촬영된 이미지 형태인 것도 가능하다. 텍스트 형태인 경우, 사용자로부터 시중에 판매되고 있는 상품의 명칭이나 브랜드 등을 나타내는 단어를 사용자 단말(10)에 내장된 키보드 등의 입력 수단을 통해 입력받는 방식으로 수집할 수 있으며, 이 경우 상기 마커 샘플 DB(32)에 저장된 각 데이터의 제목 등과 매칭하여 검색 및 추출할 수 있다. At this time, the marker search request information used to search for and extract a desired marker sample from the marker sample DB 32 may be in the form of text as shown in FIG. 5, or may be in the form of a photographed image. . In the case of text format, words indicating the name or brand of a commercially available product may be collected by the user in a manner that is inputted through an input means such as a keyboard embedded in the user terminal 10. In this case, the marker It can be searched and extracted by matching the title of each data stored in the sample DB (32).

이미지 형태인 경우, 사용자가 상기 카메라 모듈(10A)을 조작함으로써 특정 상품의 포장이나 외관을 촬영하는 방식으로 수집할 수 있으며, 촬영 이미지 중 특정 영역을 사용자로부터 선택받아 해당 영역 내 이미지에 대한 이미지 마이닝을 통해 복수의 마커 샘플 중 하나 이상을 추출해낼 수 있다. 상기 이미지 마이닝의 방법은 특징점, 컬러, 텍스트 등을 추출하여 이를 저장된 마커 샘플이 가진 정보들과 비교하는 방식으로 이루어질 수 있다. In the case of image format, the user manipulates the camera module 10A to collect the packaging or exterior of a specific product, and a specific area among the captured images is selected by the user and image mining for the image within the area. One or more of a plurality of marker samples may be extracted through The image mining method may be performed by extracting feature points, colors, texts, and the like and comparing them with information of a stored marker sample.

도 6은 본 발명의 사용자 컨텐츠 생성 단계의 실시예를 도시한 개념도이다. 6 is a conceptual diagram showing an embodiment of a user content generation step of the present invention.

사용자 컨텐츠 생성 단계(S200)는, 상기 사용자 마커 생성 단계(S100)에서 생성 및 저장한 사용자 마커에 대응되어 기능할 증강 컨텐츠를 사용자가 스스로 편집 및 제작하기 위한 단계로서, 상기 사용자 단말(10)이 상기 웹 서버(20)를 통해 상기 DB(30)에 기 저장된 증강 컨텐츠 샘플을 수신한 후 상기 증강 컨텐츠 편집 도구(11)을 이용해 편집하여 사용자 컨텐츠를 생성해 이를 상기 웹 서버(20)로 전송하는 과정을 통해 이루어진다. The user content generation step (S200) is a step for the user to edit and produce the augmented content that will function in response to the user marker created and stored in the user marker generation step (S100), wherein the user terminal 10 Receives a sample of the augmented content previously stored in the DB 30 through the web server 20, edits it using the augmented content editing tool 11, generates user content, and transmits it to the web server 20. It is done through the process.

보다 상세히 설명하면, 도 2에 도시된 바와 같이 상기 DB(30)에는 복수의 증강 컨텐츠 샘플을 저장한 별도의 폴더인 증강 컨텐츠 샘플 DB(33)이 마련된 바, 사용자는 무선통신망 등을 매개로 상기 증강 컨텐츠 샘플 DB(33)에 저장된 복수의 증강 컨텐츠 샘플을 확인하고 그 중 하나를 선택하여 상기 사용자 단말(10)에 다운로드받은 후, 이를 상기 증강 컨텐츠 편집 도구(11)이 설치된 어플리케이션 또는 웹페이지를 통해 디스플레이한다. 그 상태에서 상기 증강 컨텐츠 샘플을 사용자 취향에 맞추어 임의로 편집할 수 있는데, 이 때 상기 증강 컨텐츠 샘플은 증강 이미지와 증강 텍스트 및 사운드 중 둘 이상을 포함하는 포맷이고, 상기 증강 컨텐츠 편집 도구(11)은 상기 증강 이미지의 화면 상 위치, 색깔, 크기, 질감과, 상기 증강 텍스트의 문구, 글자 모양 및, 상기 사운드의 종류, 크기, 재생 구간, 재생 시간 중 하나 이상을 사용자의 조작에 의해 편집할 수 있도록 프로그래밍된다. In more detail, as shown in FIG. 2, the DB 30 is provided with an augmented content sample DB 33, which is a separate folder storing a plurality of augmented content samples. After checking a plurality of augmented content samples stored in the augmented content sample DB 33, selecting one of them and downloading it to the user terminal 10, the application or web page in which the augmented content editing tool 11 is installed is displayed. Display through. In that state, the augmented content sample can be arbitrarily edited according to the user's taste. In this case, the augmented content sample is a format including at least two of an augmented image, augmented text, and sound, and the augmented content editing tool 11 The position, color, size, texture of the augmented image on the screen, the phrase, the shape of the augmented text, and one or more of the type, size, playback section, and playback time of the sound can be edited by a user's manipulation. Is programmed.

이 때, 상기 증강 컨텐츠 샘플의 편집을 위한 상기 사용자의 조작이라 함은 화면 상 아이콘의 클릭/터치, 드래그 또는 사용자 단말(10)에 구비된 기계식 버튼 등의 조작을 기본적으로 포함할 수 있으며, 나아가 상기 사용자 단말(10)의 움직임에 의한 변위 정보가 포함될 수 있다. 보다 상세히 설명하면, 상기 사용자 단말(10)에 물리적인 움직임을 전기적 신호로 변환하는 자이로 센서와 가속도 센서 및 방위 센서가 기 내장된 상태에서, 상기 증강 컨텐츠 편집 도구(11)는, 상기 자이로 센서와 가속도 센서 및 방위 센서를 기반으로 상기 사용자 단말(10)을 파지한 상기 사용자의 제스쳐에 따른 상기 사용자 단말(10)의 움직임을 센싱하여 변위 정보를 생성할 수 있고, 이를 제어신호로 하여 상기 증강 이미지, 예를 들어 증강 대상 객체의 3축 방향으로의 움직임을 편집할 수 있다. 이를 통해 사용자는 보다 직관적인 방식으로 편집 조작 과정을 수행하게 됨으로써 더욱 흥미를 강화시킬 수 있다. In this case, the user's manipulation for editing the augmented content sample may basically include manipulation of a click/touch, drag of an icon on the screen, or a mechanical button provided in the user terminal 10, and further Displacement information due to the movement of the user terminal 10 may be included. In more detail, in a state in which a gyro sensor for converting physical motion into an electrical signal, an acceleration sensor, and a direction sensor are pre-built in the user terminal 10, the augmented content editing tool 11 includes the gyro sensor and It is possible to generate displacement information by sensing the movement of the user terminal 10 according to the gesture of the user holding the user terminal 10 based on the acceleration sensor and the orientation sensor, and the augmented image using this as a control signal. , For example, it is possible to edit the movement of the object to be augmented in the three-axis direction. Through this, the user can further enhance interest by performing the editing operation process in a more intuitive manner.

매칭 단계(S300)는, 상기 웹 서버(20)의 상기 매칭 관리부(22)가 상기 사용자 컨텐츠를 상기 사용자 마커에 매칭하여 매칭 정보를 생성해 상기 DB(30)의 매칭 정보 DB(34)의 사용자 마커 DB(34a) 및 사용자 컨텐츠 DB(34b)에 각각 연동 저장하는 단계로서, 상기 매칭 정보는 사용자 단말(10)의 카메라 모듈(10A)을 통해 촬영된 촬영 화면 상에서 사용자 마커를 인식하는 것을 기반으로 증강현실 플레이어(12)를 통해 상기 사용자 컨텐츠를 증강 제공하기 위한 기초 데이터로 활용된다. 상기 매칭 정보는 상술한 회원 정보와 연계되어 저장 및 관리될 수 있다. In the matching step (S300), the matching management unit 22 of the web server 20 matches the user content with the user marker to generate matching information, and the user of the matching information DB 34 of the DB 30 As a step of interlocking and storing each of the marker DB (34a) and the user content DB (34b), the matching information is based on recognizing the user marker on the photographing screen photographed through the camera module 10A of the user terminal 10. It is used as basic data for augmented provision of the user content through the augmented reality player 12. The matching information may be stored and managed in connection with the aforementioned member information.

도 7은 본 발명의 마커 정보 안내 단계 및 사용자 컨텐츠 증강 단계의 실시예를 도시한 개념도이다. 7 is a conceptual diagram showing an embodiment of a step of guiding marker information and a step of enhancing user content according to the present invention.

도 7을 참조하여 설명하면, 마커 정보 안내 단계(S600)는, 상기 카메라 모듈(10A)의 작동에 의해 상기 사용자 단말(10) 화면 상에 나타나는 촬영 화면 상에 상기 사용자 마커의 가상 이미지와 상기 사용자 마커 촬영을 위한 안내 메시지(예를 들어, '해당 이미지를 비춰주세요.','새우깡을 촬영해주세요' 등)를 함께 표시하는 단계이고, 사용자 컨텐츠 증강 단계(S700)는, 상기 사용자 단말(10)이 상기 카메라 모듈(10A)을 통해 촬영한 촬영 화면에서 상기 사용자 마커가 인식되면 상기 매칭 정보에 의해 매칭된 상기 사용자 컨텐츠를 상기 증강현실 플레이어(12)를 매개로 카메라 촬영 화면에 증강하여 표시하는 단계이다. Referring to FIG. 7, the step of guiding marker information (S600) includes a virtual image of the user marker and the user on a photographing screen displayed on the screen of the user terminal 10 by the operation of the camera module 10A. It is a step of displaying a guide message for photographing a marker (for example,'Please show the image,''Please take a picture of a shrimp', etc.), and the step of enhancing user content (S700) includes the user terminal 10 When the user marker is recognized on the photographing screen photographed through the camera module 10A, augmenting and displaying the user content matched by the matching information on the camera photographing screen via the augmented reality player 12 to be.

이에 대한 구체적인 실시예로서, 상기 매칭 정보가 모두 상기 사용자 단말(10)에 저장된 상태에서 상기 사용자 단말(10)이 상기 과정을 총괄하며 진행하도록 할 수 있으나, 상기 사용자 단말(10)의 저장 용량 등을 보장하기 위하여 상기 도면에 도시된 바와 같이, 상기 마커 정보 안내 단계를 통해 상기 웹 서버(20)가 상기 사용자 단말(10)에 사용자 마커 정보를 전달하여 사용자에게 이를 안내한 후, 상기 사용자 컨텐츠 증강 단계에서는 카메라 모듈(10A)을 통해 촬영한 촬영 화면에서 상기 사용자 마커가 인식되면, 인식 결과를 상기 웹 서버(20)에 전송하고, 이에 따라 상기 웹 서버(20)는 매칭 정보에 의해 상기 사용자 마커와 대응된 상기 사용자 컨텐츠를 무선 통신 수단을 매개로 상기 사용자 단말(10)의 상기 증강현실 플레이어(12)에 전송하여 실시간으로 증강해 표시토록 하는 것이 더욱 바람직하다. As a specific embodiment of this, the user terminal 10 may manage the process while all the matching information is stored in the user terminal 10, but the storage capacity of the user terminal 10, etc. In order to ensure that, as shown in the drawing, the web server 20 delivers the user marker information to the user terminal 10 through the marker information guiding step, and guides the user to the user, and then enhances the user content. In the step, when the user marker is recognized on the shooting screen taken through the camera module 10A, the recognition result is transmitted to the web server 20, and accordingly, the web server 20 It is more preferable to transmit the user content corresponding to and to the augmented reality player 12 of the user terminal 10 via a wireless communication means to augment and display in real time.

상술한 단계를 포함하여 구성된 본 발명의 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법에 따르면, 사용자는 본인이 직접 선택 및 생성한 사용자 마커를 수단으로 하여 사용자가 직접 편집한 사용자 컨텐츠를 상기 사용자 단말(10)에서 증강 표시되도록 할 수 있어, 종래 서비스 제공자로부터 수동적으로 컨텐츠를 제공받던 시스템의 한계에서 벗어나, 증강현실 기술을 보다 흥미롭게 일상 생활에 활용할 수 있게 된다. According to the method for providing augmented reality content based on product image recognition of the present invention configured including the steps described above, the user selects and generates user markers directly selected by the user as a means to store user content directly edited by the user at the user terminal 10. ), the augmented reality technology can be used in daily life more interestingly, freeing from the limitations of a system that has been passively provided content from a conventional service provider.

나아가, 사용자는 본 발명에 따른 상품 이미지 인식에 기반한 증강 컨텐츠 제공 알고리즘을 활용하여 오프라인 상에서 실재하는 상품과 온라인 상에서 제공되는 컨텐츠를 연계함으로써 더욱 흥미로운 소통을 시도할 수 있는 바, 예로써 특정 상품을 선물로 특정 타인에게 제공하면서 이와 연계된 증강현실 컨텐츠를 전달하는 등의 이벤트를 실현할 수 있다. 상술한 예시를 포함해, 다각적 관점에서 부가 기능을 구현하기 위해 복수의 단계가 추가되도록 할 수 있다.Furthermore, users can try more interesting communication by linking the actual product offline with the content provided online by using the augmented content providing algorithm based on product image recognition according to the present invention. As a result, events such as delivering augmented reality content related to it while providing it to a specific person can be realized. Including the above-described example, it is possible to add a plurality of steps to implement the additional function from multiple perspectives.

도 8은 본 발명의 추가 실시예에 따른 개략적인 플로우챠트이고, 도 9는 본 발명의 추가 실시예에 따른 순서도이다. Fig. 8 is a schematic flowchart according to a further embodiment of the present invention, and Fig. 9 is a flow chart according to a further embodiment of the present invention.

도 8과 도 9를 참조하여 설명하면, 상기 매칭 단계(S300) 다음 단계로서 특정 타인 공유 단계(S400)가 포함될 수 있다. Referring to FIGS. 8 and 9, as a next step of the matching step S300, a step of sharing a specific person (S400) may be included.

특정 타인 공유 단계(S400)는, 상기 웹 서버(20)의 공유 관리부(23)가 상기 사용자 단말(10)로부터 특정 타인의 사용자 단말(10)의 고유 번호나 특정 타인의 아이디 등의 식별 정보를 입력받아 해당 특정 타인의 사용자 단말(10)에 수락 및 거절 선택이 가능한 수신 알림을 전송하는 단계로서, 이 때 상기 수신 알림은 특정 타인으로의 공유를 요청한 원 사용자의 이름, 아이디, 전화번호, 원 사용자가 요청한 알림 메시지 중 하나 이상을 포함할 수 있으며, 가장 일반적인 예시로서 'ooo로부터 편지가 도착하였습니다. 수락하시겠습니까?' 등으로 구현될 수 있다. 이를 통해 특정 타인은 사용자가 설계한 매칭 정보를 통해 상기 사용자 컨텐츠를 제공받을 수 있는 권한을 받게 된다. In the specific other person sharing step (S400), the sharing management unit 23 of the web server 20 retrieves identification information such as a specific number of the user terminal 10 of a specific person or the ID of a specific person from the user terminal 10. Receiving the input and transmitting a reception notification capable of accepting and rejecting selection to the user terminal 10 of a specific other person, in this case, the reception notification is the name, ID, phone number, and circle of the original user who requested sharing with a specific other person. It may contain one or more of the notification messages requested by the user, and as the most common example, a letter arrived from'ooo. Would you like to accept it?' It can be implemented as such. Through this, a specific other person receives the right to receive the user content through matching information designed by the user.

이 경우 상기 마커 정보 안내 단계는, 상기 수신 알림을 전송받은 특정 타인의 사용자 단말(10)로부터 수락 선택을 받은 경우 상기 카메라 모듈(10A)을 활성화하고 촬영 화면 상에 상기 사용자 마커의 가상 이미지와, 상기 사용자 마커 촬영을 위한 안내 메시지를 표시하도록 하는 것이 바람직하고, 또한, 사용자 컨텐츠 증강 단계(S700) 역시, 상기 수신 알림을 전송받은 특정 타인의 사용자 단말(10)로부터 수락 선택을 받은 경우 상기 특정 타인의 사용자 단말(10)에 상기 매칭 정보에 따른 상기 사용자 컨텐츠를 증강하여 표시토록 해야할 것이다. In this case, the step of guiding the marker information includes activating the camera module 10A when an acceptance selection is received from the user terminal 10 of a specific other who has received the reception notification, and a virtual image of the user marker on the shooting screen, It is preferable to display a guide message for photographing the user marker, and in the user content enhancement step (S700), when an acceptance selection is received from the user terminal 10 of a specific other person who has received the reception notification, the specific other person It will be necessary to augment and display the user content according to the matching information on the user terminal 10 of.

또한, 대인 간 더욱 흥미로운 서비스 활용을 도모하기 위하여 상기 매칭 정보를 복수 개 형성하고 각 매칭 정보별 사용자 마커, 사용자 컨텐츠 및 상기 수신 알림을 각기 달리 구성함으로써, 스토리를 갖도록 순차적으로 형성한 복수의 사용자 컨텐츠를 기 기정된 특정 상품들을 순차적으로 촬영함으로써 제공받도록 할 수 있을 것이다. In addition, in order to facilitate the use of more interesting services between individuals, a plurality of matching information is formed, and user markers for each matching information, user content and the reception notification are configured differently, so that a plurality of user contents sequentially formed to have a story May be provided by sequentially photographing predetermined specific products.

보다 상세히 설명하면, 상기 사용자 마커 생성 단계(S100)는 사용자의 요청에 따라 순서가 설정된 복수의 사용자 마커를 생성하고, 상기 사용자 컨텐츠 생성 단계(S200)는, 상기 순서가 설정된 복수의 사용자 마커에 각각 매칭되는 복수의 사용자 컨텐츠를 생성한다.In more detail, in the step of generating user markers (S100), a plurality of user markers in which an order is set according to a user's request is generated, and in the step of generating user content (S200), each of the plurality of user markers in which the order is set is Generates a plurality of matching user content.

이를 기반으로, 상기 사용자 컨텐츠 증강 단계(S700)는, 첫 번째 매칭 정보부터 순차적으로 해당 매칭 정보의 사용자 마커의 인식 동작을 활성화시키도록 할 수 있다. 보다 상세히 설명하면, 오프라인 상 실재하는 상품에 대한 이미지인 사용자 마커와 스토리를 가진 사용자 컨텐츠의 연결 관계를 매칭 정보를 설계한 사용자의 의도대로 표시할 수 있도록 한 것으로, 상기 매칭 정보가 복수 개 구비되는 경우 사용자 마커 인식에 따라 해당 사용자 마커에 대응되는 사용자 컨텐츠가 순서에 상관없이 자동적으로 표시되지 않도록, 즉 후순위 매칭 정보의 사용자 마커가 촬영 화면 상에 인식되어도 해당 매칭 정보에 포함된 사용자 컨텐츠가 표시되지 않도록 하고, 차순에 표시하고자 하는 사용자 컨텐츠에 해당되는 사용자 마커에 대한 인식 동작만이 활성화되도록 함으로써 사용자 컨텐츠 표시 순서가 제어되도록 한 것이다. Based on this, in the step of enhancing the user content (S700), the recognition operation of the user marker of the corresponding matching information may be activated sequentially starting from the first matching information. In more detail, a connection relationship between a user marker, which is an image of a product that exists offline and a user content having a story, can be displayed as intended by the user who designed the matching information, and a plurality of matching information is provided. In this case, according to the recognition of the user marker, the user content corresponding to the corresponding user marker is not automatically displayed regardless of the order, that is, even if the user marker of the subordinate matching information is recognized on the shooting screen, the user content included in the matching information is not displayed. In this way, the display order of user contents is controlled by activating only the recognition operation for the user marker corresponding to the user contents to be displayed in the next order.

또한, 상기 사용자 컨텐츠 증강 단계(S700)는, 직전 매칭 정보의 상기 사용자 컨텐츠 증강 표시가 완료된 이후 차순 매칭 정보의 사용자 마커에 관한 정보를 포함하는 안내 알림을 수락 및 거절 선택이 가능한 형태로 표시하고, 사용자 단말(10)로부터 수락 선택을 받은 경우 차순 매칭 정보가 활성화되도록 함으로써 각 매칭 정보별로 개별적으로 사용자 단말(10)로부터 수락 선택을 받도록 하는 것이 바람직할 것이다. 이 때 상기 안내 알림은 차순 매칭 정보에 해당되는 사용자 마커에 대한 정보를 포함할 수 있는데, 상기 정보는 기본적으로 상품의 명칭이 될 수 있을 것이며 나아가 매칭 정보를 설계한 원 사용자와 수신받는 사용자(타인) 간에서 이해되는 문구 등을 원 사용자로부터 입력받는 것일 수 있다. 이에 따라 상기 안내 알림은, '다음 편지를 받기 위해서, '새우깡'을 촬영해 주세요.' 또는 '다음 이야기가 궁금하다면, 당신이 가장 좋아하는 과자를 촬영해 주세요.' 등의 방식으로 노출될 수 있다. In addition, in the user content enhancement step (S700), after the user content enhancement display of the immediately preceding matching information is completed, a guide notification including information on the user marker of the next matching information is displayed in a form in which acceptance and rejection selection are possible, When an acceptance selection is received from the user terminal 10, it would be desirable to receive an acceptance selection from the user terminal 10 individually for each matching information by enabling the sequential matching information. At this time, the guide notification may include information on a user marker corresponding to the next-order matching information, and the information may basically be the name of the product, and furthermore, the original user who designed the matching information and the receiving user (other people ) It may be that a phrase that is understood in the liver is input from the original user. Accordingly, the above notification is,'To receive the next letter, please take a picture of'Shrimp Cracker'.' Or'If you are curious about the next story, please take a picture of your favorite snack.' It can be exposed in the same way.

추가적으로, 사용자가 직접 편집 및 생성한 사용자 컨텐츠를 사용자의 동의를 받아 상기 증강 컨텐츠 샘플로서 활용할 수 있도록 하기 위하여 본 발명은 불특정 타인 공유 단계(S500)을 추가로 포함할 수 있다. In addition, the present invention may further include an unspecified other person sharing step (S500) so that the user content directly edited and generated by the user can be used as the augmented content sample with the user's consent.

상기 불특정 타인 공유 단계(S500)는, 상기 웹 서버(20)의 공유 관리부(23)가 상기 사용자 단말(10)을 매개로 사용자로부터 동의 정보를 수신한 경우 상기 사용자 컨텐츠를 상기 DB(30)에 증강 컨텐츠 샘플로서 저장하는 것으로, 상기 동의 정보는 상기 웹 서버(20)로부터 상기 사용자 단말(10)에 제공되는 동의 및 부동의 선택 가능한 팝업창 등을 통해 수집될 수 있다. 상기 불특정 타인 공유 단계(S500)이 포함됨으로써 본 발명의 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법에 따른 서비스를 이용하는 불특정 다수의 회원들이 타 회원이 저작한 다수의 컨텐츠를 다양하게 활용할 수 있도록 함으로써 컨텐츠 다양성을 확보할 수 있다. 증강 컨텐츠 샘플을 다운로드받은 불특정 타인 사용자들은 해당 컨텐츠에 대한 비용을 지불토록 할 수 있으며, 또한 증강 컨텐츠 샘플로 등록된 사용자 컨텐츠의 저작자는 웹 서버(20)를 통해 집계되는 불특정 타인 다운로드 횟수를 기반으로 시스템 관리자 등으로부터 보상을 지급받을 수 있도록 하는 것도 가능할 것이다. In the step of sharing an unspecified person (S500), when the sharing management unit 23 of the web server 20 receives consent information from a user via the user terminal 10, the user content is transferred to the DB 30. As an augmented content sample is stored, the consent information may be collected through consent provided to the user terminal 10 from the web server 20 and a floating selectable pop-up window. Content diversity by allowing unspecified members who use the service according to the method of providing augmented reality content based on product image recognition of the present invention to variously utilize a number of contents created by other members by including the unspecified sharing step (S500) Can be secured. Unspecified other users who have downloaded the augmented content sample can pay for the content, and the author of the user content registered as the augmented content sample is based on the number of unspecified others downloaded through the web server 20. It would also be possible to receive compensation from system administrators and the like.

상술한 바와 같이 본인이 제작한 사용자 컨텐츠를 상기 증강 컨텐츠 샘플로서 제공하고 이에 대한 보상을 지급받을 수 있도록 구현되는 경우, 해당 사용자 컨텐츠가 상업적 이용 범위에 포함되므로 저작권 침해 문제가 발생될 수 있고, 또는 공중에 유해한 컨텐츠를 포함하는 경우에도 불특정 다수에 노출되어서는 안될 것이다. As described above, if the user content created by the user is provided as a sample of the augmented content and implemented to receive compensation for it, the user content is included in the scope of commercial use, so a copyright infringement problem may occur, or Even if it contains content that is harmful to the public, it should not be exposed to an unspecified number of people.

이를 미연에 방지하기 위하여, 본 발명의 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법의 불특정 타인 공유 단계(S500)는, 부적격 판단 단계(S510)와 공유 반려 단계(S520)를 추가로 포함할 수 있다. In order to prevent this in advance, the step of sharing an unspecified person (S500) of the method for providing augmented reality content based on product image recognition of the present invention may further include an ineligible determination step (S510) and a sharing rejection step (S520).

이를 위해 먼저, 상기 DB(30)는 저작권이 있는 컨텐츠나 유해 컨텐츠, 음란 컨텐츠 등을 수록한 부적격 컨텐츠 DB(미도시)를 추가로 포함해야할 것이다. 상기 저작권이 있는 컨텐츠는 저작권협회 등으로부터 자료를 제공받아 저작권 등록된 컨텐츠를 수록하는 것을 원칙으로 하며, 추가적으로 저작자의 요청이 있을 경우 저작권 등록 여부와 관계 없이 저작권 DB에 저장하는 것도 가능함은 물론이다. 유해 컨텐츠 및 음란 컨텐츠는, 공중의 불특정다수에 노출되기에 유해한 컨텐츠로서 텍스트, 이미지, 음원 중 적어도 하나의 요소를 포함하는 포괄적 개념으로 비속어, 음란어, 유해 및 음란 이미지, 청소년불가 음원 등을 포함할 수 있다. For this, first, the DB 30 should additionally include an ineligible content DB (not shown) including copyrighted content, harmful content, obscene content, and the like. In principle, the copyrighted content is provided with data from the Copyright Association, etc., and the content registered with copyright is included in principle, and it is of course possible to store it in the copyright DB regardless of whether or not the copyright is registered at the request of the author. Harmful and obscene content is a comprehensive concept that includes at least one element of text, image, and sound source as content that is harmful to be exposed to unspecified numbers of the public, and includes profanity, obscene language, harmful and obscene images, and sound sources that cannot be used by youth. can do.

부적격 판단 단계(S510)는, 상기 웹 서버(20)가 상기 사용자 컨텐츠에 포함된 이미지, 텍스트 및 사운드 중 하나 이상의 요소와 상기 부적격 판단 DB 내 컨텐츠의 요소 간 유사판단을 통해 저작권 침해 여부 또는 비속어 사용 여부 등을 포함하여 부적격 여부를 판단하는 단계이고, 공유 반려 단계(S520)는 부적격 판단 시 상기 웹 서버(20)가 상기 사용자 단말(10)에 상기 사용자 컨텐츠의 공유 반려 메시지를 전송하고 상기 사용자 컨텐츠를 상기 증강 컨텐츠 샘플 DB(33)에 전송하지 않도록 한다. In the ineligibility determination step (S510), the web server 20 uses a copyright infringement or profanity through a similar determination between one or more elements of the image, text, and sound included in the user content and the elements of the content in the ineligibility determination DB. It is a step of determining whether or not it is ineligible, including whether or not, and in the sharing rejection step (S520), the web server 20 transmits a sharing rejection message of the user content to the user terminal 10 when the sharing rejection step (S520) is determined, and the user content Is not transmitted to the augmented content sample DB 33.

이 때 부적격 여부 판단에 있어서, 이미지는 컬러, 패턴, 구조 등을 기반으로 파악할 수 있고, 텍스트는 동일 문구 검색, 텍스트 마이닝 등을 통해 이루어질 수 있으며, 사운드는 주파수 분석, 음성 인식, 소스 분석 기술 등이 이용될 수 있다. At this time, in determining whether it is ineligible, the image can be identified based on color, pattern, structure, etc., and the text can be made through search for the same phrase, text mining, etc., and the sound is frequency analysis, speech recognition, source analysis technology, etc. Can be used.

이상에서 기술한 본 발명에 따른 각 단계는 필요에 따라 서로 순서가 바뀌어 실행될 수 있고, 이렇게 순서가 바뀌어 실행되는 실시예의 경우에도 본 발명의 권리범위에 속함은 당연하다.Each step according to the present invention described above may be executed in a different order as necessary, and it is natural that even in the case of an embodiment executed in such a change in order, it falls within the scope of the present invention.

이상과 같이 본 발명을 도면에 도시한 실시예를 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 발명의 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가능하다는 것을 이해할 수 있을 것이다. As described above, the present invention has been described with reference to the embodiments shown in the drawings, but this is only for describing the invention, and for those of ordinary skill in the art to which the present invention belongs, various modifications or equivalents from the detailed description of the invention It will be appreciated that one embodiment is possible.

따라서 본 발명의 진정한 권리범위는 특허청구범위의 기술적 사상에 의해 결정되어야 한다.Therefore, the true scope of the present invention should be determined by the technical idea of the claims.

10: 사용자 단말
10A: 카메라 모듈
11: 증강 컨텐츠 편집 도구
12: 증강현실 플레이어
20: 웹 서버
21: 회원 관리부
22: 매칭 관리부
23: 공유 관리부
30: DB
31: 회원 정보 DB
32: 마커 샘플 DB
33: 증강 컨텐츠 샘플 DB
34: 매칭 정보 DB
34a: 사용자 마커 DB
34b: 사용자 컨텐츠 DB
S100: 사용자 마커 생성 단계
S200: 사용자 컨텐츠 생성 단계
S300: 매칭 단계
S400: 특정 타인 공유 단계
S500: 불특정 타인 공유 단계
S510: 부적격 판단 단계
S520: 공유 반려 단계
S600: 마커 정보 안내 단계
S700: 사용자 컨텐츠 증강 단계10: user terminal
10A: Camera module
11: Augmented Content Editing Tool
12: Augmented Reality Player
20: web server
21: Member Management Department
22: Matching Management Department
23: shared management
30: DB
31: Member information DB
32: marker sample DB
33: Augmented Content Sample DB
34: matching information DB
34a: user marker DB
34b: User Content DB
S100: User Marker Creation Step
S200: User content creation step
S300: matching step
S400: Steps to share with others
S500: Steps to share with unspecified others
S510: Ineligible determination step
S520: Share rejection step
S600: Steps to guide marker information
S700: User content enhancement phase

Claims

카메라 모듈, 증강 컨텐츠 편집 도구 및 증강현실 플레이어를 구비한 사용자 단말과, 웹 서버 및 DB가 유무선 네트워크를 통해 연결되어 상품 이미지 인식 기반 증강현실 컨텐츠를 제공하는 방법에 있어서,
상기 사용자 단말을 통해 사용자로부터 입력받은 정보를 기반으로 특정 이미지를 사용자 마커로써 생성해 상기 웹 서버로 전송하는 사용자 마커 생성 단계;
상기 사용자 단말에서 상기 웹 서버를 통해 상기 DB에 기 저장된 증강 컨텐츠 샘플을 수신한 후 상기 증강 컨텐츠 편집도구를 매개로 편집하여 사용자 컨텐츠를 생성해 상기 웹 서버로 전송하는 사용자 컨텐츠 생성 단계;
상기 웹 서버가 상기 사용자 마커와 사용자 컨텐츠를 매칭하여 매칭 정보를 생성해 상기 DB에 저장하는 매칭 단계; 및
상기 사용자 단말이 상기 카메라 모듈을 통해 촬영하는 영상에서 상기 사용자 마커가 인식되면 상기 매칭 정보에 의해 매칭된 상기 사용자 컨텐츠를 상기 증강현실 플레이어를 매개로 카메라 촬영 영상에 증강하여 표시하는 사용자 컨텐츠 증강 단계;를 포함하고,
상기 사용자 마커 생성 단계는,
상기 사용자 단말이 추출된 복수의 마커 샘플을 디스플레이한 상태에서, 상기 웹 서버가 상기 마커 샘플을 검색 및 추출하기 위해 사용되는 정보이면서, 상기 사용자 단말을 통해 입력된 텍스트 또는 이미지 형태 중 선택된 어느 하나 이상의 형태를 보유하는 정보인 마커 검색 요청 정보를 전송받고, 상기 DB에서 상기 마커 검색 요청 정보를 기반으로 하나 이상의 마커 샘플을 검색 및 추출하며, 추출된 마커 샘플 중 하나 이상을 상기 사용자 단말이 입력받아 상기 사용자 마커를 생성하는 것을 특징으로 하는 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법.
In a method for providing augmented reality content based on product image recognition by connecting a user terminal equipped with a camera module, an augmented content editing tool and an augmented reality player, and a web server and a DB through a wired or wireless network,
A user marker generation step of generating a specific image as a user marker based on information input from a user through the user terminal and transmitting the generated image to the web server;
A user content generation step of generating user content by receiving a sample of the augmented content previously stored in the DB through the web server at the user terminal and then editing the augmented content editing tool to generate user content and transmitting it to the web server;
A matching step of generating matching information by matching the user marker and user content by the web server and storing the matching information in the DB; And
A user content augmentation step of augmenting and displaying the user content matched by the matching information on a camera captured image via the augmented reality player when the user marker is recognized in the image captured by the user terminal through the camera module; Including,
The step of generating the user marker,
In a state in which the user terminal displays a plurality of extracted marker samples, information used by the web server to search and extract the marker samples, and at least one selected from a text or image type input through the user terminal Receives marker search request information, which is information having a shape, searches for and extracts one or more marker samples from the DB based on the marker search request information, and the user terminal receives at least one of the extracted marker samples and receives the A method of providing augmented reality content based on product image recognition, characterized in that generating a user marker.

삭제delete

제 1 항에 있어서,
상기 마커 검색 요청 정보는,
사용자로부터 입력받는 텍스트와 상기 카메라 모듈을 통해 촬영된 이미지 중 하나인 것을 특징으로 하는, 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법.
The method of claim 1,
The marker search request information,
A method of providing augmented reality content based on product image recognition, characterized in that it is one of a text input from a user and an image captured through the camera module.

제 1 항에 있어서,
상기 사용자 마커는,
시판되는 상품의 포장 이미지인 것을 특징으로 하는, 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법.
The method of claim 1,
The user marker,
A method of providing augmented reality content based on product image recognition, characterized in that it is a packaging image of a commercial product.

제 1 항에 있어서,
상기 매칭 단계 다음에는,
상기 카메라 모듈의 작동에 의한 촬영 화면 상에 상기 사용자 마커의 가상 이미지와 상기 사용자 마커 촬영을 위한 안내 메시지를 함께 표시하는 마커 정보 안내 단계;를 추가로 포함하는 것을 특징으로 하는, 상품 이미지 인식 기반 증강현실 컨텐츠 제공 방법.
The method of claim 1,
After the matching step,
A marker information guide step of displaying a guide message for photographing the user marker and the virtual image of the user marker together on a photographing screen by the operation of the camera module; characterized in that it further comprises, product image recognition-based augmentation How to provide real content.

제 1 항에 있어서,
상기 매칭 단계 다음에는,
상기 웹 서버가 상기 사용자 단말로부터 특정 타인의 사용자 단말 식별 정보를 입력받아 상기 특정 타인의 사용자 단말에 수락 및 거절 선택이 가능한 수신 알림을 전송하는 특정 타인 공유 단계;를 추가로 포함하는 것을 특징으로 하는, 상품 이미지 인식 기반 증강현실 컨텐츠 제공 방법.
The method of claim 1,
After the matching step,
And a specific other-person sharing step of receiving, by the web server, receiving user terminal identification information of a specific other person from the user terminal and transmitting a reception notification capable of selecting acceptance and rejection to the user terminal of the specific other person; , A method of providing augmented reality contents based on product image recognition.

제 5 항에 있어서,
상기 마커 정보 안내 단계는,
수신 알림을 전송받은 특정 타인의 사용자 단말로부터 수락 선택을 받은 경우 해당 특정 타인 사용자 단말의 상기 카메라 모듈을 활성화하고 촬영 화면 상에 상기 사용자 마커의 가상 이미지와, 상기 사용자 마커 촬영을 위한 안내 메시지를 표시하는 것을 특징으로 하는, 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법.
The method of claim 5,
The step of guiding the marker information,
When an acceptance selection is received from the user terminal of a specific other person who has received the reception notification, the camera module of the user terminal of the specific other person is activated, and a virtual image of the user marker and a guide message for photographing the user marker are displayed on the shooting screen. A method for providing augmented reality contents based on product image recognition, characterized in that.

제 1 항에 있어서,
상기 웹 서버는, 상기 사용자 단말을 매개로 사용자로부터 동의 정보를 수신한 경우 상기 사용자 컨텐츠를 상기 DB에 증강 컨텐츠 샘플로서 저장하는 불특정 타인 공유 단계;를 추가로 포함하는 것을 특징으로 하는, 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법.
The method of claim 1,
The web server, when receiving consent information from a user through the user terminal, storing the user content as an augmented content sample in the DB, the step of sharing unspecified others; characterized in that it further comprises, product image recognition Method of providing based augmented reality contents.

제 8 항에 있어서,
상기 DB는 저작권이 있는 컨텐츠, 유해 컨텐츠, 음란 컨텐츠 중 하나 이상을 포함하는 부적격 컨텐츠 DB를 추가로 포함하고,
상기 불특정 타인 공유 단계는,
상기 웹 서버가 상기 사용자 컨텐츠에 포함된 이미지, 텍스트 및 사운드 중 하나 이상의 요소와 상기 부적격 컨텐츠 DB 내 컨텐츠의 요소 간 유사판단을 통해 부적격 여부를 판단하는 부적격 판단 단계;
부적격 판단 시 상기 웹 서버가 상기 사용자 단말에 상기 사용자 컨텐츠의 공유 반려 메시지를 전송하는 공유 반려 단계;를 추가로 포함하는 것을 특징으로 하는, 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법.
The method of claim 8,
The DB further includes an ineligible content DB including one or more of copyrighted content, harmful content, and obscene content,
The step of sharing an unspecified other person,
An ineligibility determination step of determining, by the web server, whether or not it is ineligible through a similarity determination between one or more elements of an image, text, and sound included in the user content and an element of the content in the ineligible content DB;
A method for providing augmented reality content based on product image recognition, characterized in that it further comprises a; sharing rejection step of transmitting, by the web server, a sharing rejection message of the user content to the user terminal upon determination of ineligibility.

제 1 항에 있어서,
상기 증강 컨텐츠 샘플은,
증강 이미지와 증강 텍스트 및 사운드 중 둘 이상을 포함하며,
상기 증강 컨텐츠 편집 도구는,
상기 증강 이미지의 화면 상 위치, 색깔, 크기, 질감과, 상기 증강 텍스트의 문구, 글자 모양 및, 상기 사운드의 종류, 크기, 재생 구간, 재생 시간 중 하나 이상을 편집하는 것을 특징으로 하는, 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법.
The method of claim 1,
The augmented content sample,
Contains two or more of augmented image and augmented text and sound,
The augmented content editing tool,
A product image, characterized in that editing at least one of the position, color, size, texture of the augmented image on the screen, the phrase, the shape of the augmented text, and the type, size, playback section, and playback time of the sound Recognition-based augmented reality content provision method.

제 1 항에 있어서,
상기 사용자 단말에는 자이로 센서와 가속도 센서 및 방위 센서가 내장되고,
상기 증강 컨텐츠 편집 도구는,
상기 자이로 센서와 가속도 센서 및 방위 센서를 기반으로 상기 사용자 단말을 파지한 상기 사용자의 제스쳐에 따른 상기 사용자 단말의 움직임을 센싱하여 변위 정보를 생성하고, 상기 변위 정보에 의해 증강 이미지의 3축 방향으로의 움직임을 편집하는 것을 특징으로 하는, 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법.

The method of claim 1,
The user terminal includes a gyro sensor, an acceleration sensor, and a direction sensor,
The augmented content editing tool,
Based on the gyro sensor, the acceleration sensor, and the orientation sensor, displacement information is generated by sensing the movement of the user terminal according to the user's gesture holding the user terminal, and the displacement information is used in the three-axis direction of the augmented image. A method of providing augmented reality content based on product image recognition, characterized in that editing the movement of the product.