KR20190081367A - System and method for providing media content based on video recognition - Google Patents

System and method for providing media content based on video recognition Download PDF

Info

Publication number
KR20190081367A
KR20190081367A KR1020170183853A KR20170183853A KR20190081367A KR 20190081367 A KR20190081367 A KR 20190081367A KR 1020170183853 A KR1020170183853 A KR 1020170183853A KR 20170183853 A KR20170183853 A KR 20170183853A KR 20190081367 A KR20190081367 A KR 20190081367A
Authority
KR
South Korea
Prior art keywords
augmented reality
information
image
advertisement
additional information
Prior art date
Application number
KR1020170183853A
Other languages
Korean (ko)
Inventor
우유신
권장원
남정규
Original Assignee
(주)아렌델
대구가톨릭대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아렌델, 대구가톨릭대학교산학협력단 filed Critical (주)아렌델
Priority to KR1020170183853A priority Critical patent/KR20190081367A/en
Publication of KR20190081367A publication Critical patent/KR20190081367A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The present invention relates to a system and a method for providing media content based on video recognition, capable of recognizing a video when filming the various videos received in lives by multimedia using an exclusive application and of easily providing additional information related to the video to a user in real time. The system for providing media content based on video recognition includes: an advertisement request server selecting an advertisement scene in an advertisement video using the video recognition and requesting an advertisement based on the selected advertisement scene; a viewer terminal filming the video broadcasted by a broadcasting device and requesting the additional information using video recognition information after recognizing a video image filmed, wherein the viewer terminal also expresses the received additional information; a media content providing server registering augmented reality recognition information to an augmented reality cloud server by matching the additional information to the advertisement scene and extracting the additional information by being linked to the augmented reality cloud server based on the video recognition information, wherein the media content providing server transmits the extracted additional information to the viewer terminal; and an augmented reality cloud server storing the augmented reality recognition information and transmitting the additional information to the media content providing server by extracting the additional information based on the video recognition information.

Description

동영상 인식 기반의 미디어 콘텐츠 제공시스템 및 그 방법{System and method for providing media content based on video recognition}[0001] SYSTEM AND METHOD FOR PROVIDING MEDIA CONTENT BASED ON VIDEO RECOGNITION [0002]

본 발명은 동영상 인식 기반의 미디어 콘텐츠 제공시스템 및 그 방법에 관한 것으로, 특히 멀티미디어를 통해 생활 속에서 접할 수 있는 다양한 동영상을 전용 애플리케이션을 이용하여 촬영하면 동영상을 인식하고, 동영상과 관련된 부가정보를 실시간으로 용이하게 사용자에게 제공해줄 수 있도록 한 동영상 인식 기반의 미디어 콘텐츠 제공시스템 및 그 방법에 관한 것이다.The present invention relates to a system and a method for providing media contents on the basis of moving images. More particularly, the present invention relates to a system and a method for providing multimedia contents, The present invention relates to a system and method for providing a media content based on a moving image recognition system.

현재까지의 상품광고는 비용이 높은 ATL(Above The Line) 중심이었다. 전통적인 광고 매체인 TV, 신문, 잡지, 라디오가 4대 매체로 일컬어지는 매체 광고가 중심을 이뤘다. 이후 인터넷이 발달하면서 인터넷은 4대 매체와 더불어 중요한 광고매체로 부각되었다. 통상 상품 광고는 ATL을 통해서 상품 인지도를 높이고, 이를 기반으로 BTL(Below The Line)이나 커머스를 통한 판매로 이어지는 간접적인 네트워크 구조이다.Up until now, product advertising has been centered on high cost ATL (Above The Line). The traditional advertising media, TV, newspapers, magazines, and radio are considered to be the four major media advertising centered on. Since then, the Internet has emerged as an important advertising medium along with the four major media. Typical product advertising is an indirect network structure that raises product awareness through ATL and leads to sales through BTL (Below The Line) or commerce.

이와 같이 ATL은 장기간 가장 중요한 광고 매체로 자리를 잡아왔지만, 매스미디어를 통해 불특정 다수에게 자신의 제품을 홍보하는 만큼 막대한 재정이 소요된다는 점과, 대다수 불특정인에게 광고를 하므로 타깃을 확실하게 잡고 광고를 할 수 있는 수단이 아니기 때문에 제품을 표현하는 데 있어 수많은 제약이 따르는 단점이 있다.In this way, ATL has become the most important advertising medium for a long time, but mass media is required to advertise its products to a large number of people through mass media. There are a number of limitations in expressing the product.

이러한 ATL 광고의 단점으로 인해 BTL(Below the line) 마케팅이 부각되었는데, 고객이 세분화되어 가는 만큼 소비자에게 일방적인 홍보가 아닌 쌍방향, 즉 직접 경험하거나 체험을 통해 구매심리를 자극하거나 기발한 아이디어를 통해 자신이 판매하는 제품의 이미지를 각인시키는 방법이 부각되었다. 예컨대, 전시나 매장 디스플레이, 이벤트, PPL 등의 방법으로, 소비자가 참여 또는 경험을 해보면서 자연스럽게 구매 혹은 브랜딩 등에 효과를 줄 수 있는 마케팅이다.BTL (Below the line) marketing has been emphasized because of the disadvantages of ATL advertising. As customers are becoming more and more subdivided, they are not bi-directional, The way to imprint the images of the products they sell is highlighted. For example, it is a marketing that can effect purchasing or branding naturally by participating or experiencing a consumer through exhibition, store display, event, PPL, or the like.

최근에 부각된 이러한 BTL은 규제들이 많은 ATL 광고에 비해 더 자유롭게 광고하고, 소비자에게 직접적이고 자발적으로 참여를 유도함으로써 제품의 신뢰도와 브랜드 이미지를 높일 수 있으며, 세분화된 타깃 고객을 중심으로 접근할 수 있는 등 여러 가지 장점이 있지만, 한 번에 많은 소비자에게 전달하기는 힘들며 한정된 공간에서 오랜 시간을 투자해야 한다는 점은 광고 또는 마케팅 도구로서 치명적인 단점이라고 할 수 있다.These recent BTLs can be more freely advertised than ATL ads with a lot of regulations, and they can directly and voluntarily engage consumers to increase product reliability and brand image. However, it is difficult to deliver to a large number of consumers at once and investing a long time in a limited space is a fatal drawback as an advertising or marketing tool.

한편, 소비자는 CF나 PPL 등을 통해서 노출된 상품을 구매하고자 할 때, 그 상품을 포털사이트 등에서 검색을 하고, 이후 가격비교 사이트나 오픈마켓 등 소비자가 자주 이용하는 쇼핑몰을 통해서 해당 상품을 구매한다.Meanwhile, when a consumer wants to purchase a product exposed through a CF or PPL, the user searches the portal site for the product, and then purchases the product through a shopping mall frequently used by consumers such as a price comparison site or an open market.

또한, 방송의 PPL 광고에는 노골적으로 광고하고자 하는 제품의 장점을 설명하기 위해서 노골적인 기능의 시연이나 극중 내용과 상관없는 제품의 장점을 설명하는 대사 등을 넣어서 TV를 시청하는 시청자들의 눈살을 찌푸리게 된다. 이는 결과적으로 제품에 대해 홍보를 하고자 했으나 제품의 이미지를 실추시키는 역효과를 일으키기도 한다.In addition, PPL advertisements in broadcasting are frowned upon by viewers watching TV by explaining explicit features or explaining the merits of the products irrespective of their contents in order to explain the merits of the product to be explicitly advertised. As a result, it tries to promote the product, but it also has the adverse effect of causing the product to lose its image.

따라서 이러한 노골적인 PPL의 역효과를 줄이면서도 광고의 효과를 극대화할 수 있는 방안이 요구되고 있으며, 이러한 요구에 따라 동영상을 이용한 새로운 광고 방법이 하기의 <특허문헌 1> 내지 <특허문헌 4> 로 제안되었다.Therefore, there is a need for a method of maximizing the effect of advertising while reducing adverse effects of such explicit PPL. A new advertisement method using moving pictures in accordance with the demand has been proposed in the following Patent Documents 1 to 4 .

<특허문헌 1> 에 개시된 종래기술은 카메라에 의해 촬영되는 피사체를 디스플레이하는 단계, 적어도 하나의 광고용 콘텐츠를 제공하는 단계, 상기 제공되는 적어도 하나의 광고용 콘텐츠 중 사용자에 의해 선택된 광고용 콘텐츠를 상기 피사체에 적용시키는 단계 및 상기 선택된 광고용 콘텐츠가 적용된 상기 피사체를 디스플레이하는 단계를 포함하고, 사용자의 위치 정보에 기초하여 상기 위치 정보에 대응하여 광고용 콘텐츠를 제공한다.The prior art disclosed in Patent Document 1 includes a step of displaying a subject photographed by a camera, a step of providing at least one piece of advertising content, a step of providing the advertisement content selected by the user among the provided at least one piece of advertising content to the subject And displaying the subject to which the selected advertising content is applied, wherein the advertisement content is provided corresponding to the location information based on the location information of the user.

또한, <특허문헌 2> 에 개시된 종래기술은 카메라폰에 구비된 프로그램이 오프라인 설치 광고매체에 표시된 광고 화면상의 광고인식 데이터를 촬영한 광고화면 촬영 이미지를 생성하고, 상기 카메라폰의 프로그램이 상기 광고화면 촬영 이미지에 포함된 광고인식 데이터 영역을 확인하고, 상기 카메라폰의 프로그램이 촬영 시점의 시선 방향에 대응하는 사각형 기하학 구조를 지닌 광고인식 데이터 영역을 정면 시선 방향에 대응하는 직사각형 기하학 구조에 대응하게 좌표 전환 후 상기 좌표 변환된 광고인식 데이터를 판독하여 상기 광고화면 촬영 이미지에 대응하는 광고 ID 정보를 확인하고, 상기 카메라폰의 프로그램이 오프라인 설치 광고매체를 통해 표시되는 광고를 식별하는 광고ID 정보를 관리하는 서버로 상기 확인된 광고 ID 정보를 제공하며, 상기 카메라폰의 프로그램이 상기 서버로부터 상기 광고 ID 정보에 대응하는 서비스 데이터를 수신한다.In addition, in the related art disclosed in Patent Document 2, a program provided in a camera phone generates an advertisement screen shot image in which advertisement recognition data on an advertisement screen displayed on an offline installation advertisement medium is photographed, The advertisement recognition data area included in the screen shot image is checked and the advertisement recognition data area having the rectangular geometry structure corresponding to the gaze direction at the time of shooting of the camera phone corresponds to the rectangular geometry structure corresponding to the front sight line direction After the coordinates are changed, the coordinate-converted advertisement recognition data is read to identify the advertisement ID information corresponding to the advertisement screen shot image, and the program of the camera phone displays advertisement ID information for identifying the advertisement displayed through the offline installation advertisement medium Providing the identified advertisement ID information to the managing server, The program of the camera phone receives service data corresponding to the advertisement ID information from the server.

또한, <특허문헌 3> 에 개시된 종래기술은 동영상, 이미지, 사운드 등의 멀티미디어 콘텐츠에 대응되어 저장된 메타 정보를 이용하여 키워드 광고를 하는 멀티미디어 콘텐츠 정보에 포함된 메타 정보 기반 키워드 광고 서비스 방법 및 그 시스템을 포함한 각종 메타 정보 기반 키워드 광고 서비스 방법 및 그 시스템을 제공한다.In addition, the prior art disclosed in Patent Document 3 is a meta information-based keyword advertisement service method included in multimedia content information that performs keyword advertisement using meta information corresponding to multimedia contents such as moving images, images, sounds, The present invention provides a method and system for providing a keyword advertisement service based on meta information.

이러한 시스템을 이용하여 사용자는 자신이 접하고 있는 멀티미디어 콘텐츠와 관련된 정보성이 있는 키워드 광고 콘텐츠를 통하여 관련 콘텐츠로의 웹서핑이 용이하게 되며, 추가적인 정보를 획득할 수 있는 효과가 있으며, 광고주는 자신이 광고하고자 하는 사이트/웹페이지에 더 많은 트래픽을 유발시킬 수 있는 장점이 있다.Using such a system, the user can easily surf the web to related contents through the keyword advertisement contents having information related to the multimedia contents he / she is in contact with, and has the effect of acquiring additional information. It has the advantage of causing more traffic to the site / web page to be advertised.

또한, <특허문헌 4> 에 개시된 종래기술은 사용자가 사용자 단말을 이용하여 얼굴 인식 검색서버에 접속하여 특정 얼굴 이미지에 대한 닮은 얼굴 이미지 검색을 요청하면, 얼굴 인식 검색 서버가 검색된 닮은 얼굴 이미지를 전송하는 단계, 얼굴 인식 검색 서버가 얼굴 인식 광고 서버로 해당 닮은 얼굴 이미지를 사용자 단말로부터 얼굴 인식 광고 서버가 관리하는 웹페이지에 대해 광고를 요청받는 경우 해당 사용자 정보와 해당 사용자가 제공한 적어도 하나의 닮은 얼굴 이미지 중 최적의 닮은 얼굴 이미지와 광고 이미지(동영상)를 조합하여 생성된 전자적 광고를 사용자 단말로 전송하는 단계를 포함한다.In addition, in the related art disclosed in Patent Document 4, when a user accesses a face recognition search server using a user terminal and requests a similar face image search for a specific face image, the face recognition search server transmits a similar face image When the face recognition search server receives an advertisement request for a similar face image from a user terminal to a web page managed by the face recognition advertisement server, the face recognition server searches for a face image corresponding to at least one similar And transmitting an electronic advertisement generated by combining an optimal resemblance face image and an advertisement image (moving image) among the face images to the user terminal.

이러한 구성을 통해 광고 타깃과 연관된 인물과 유사한 인물을 이용하여 광고를 제공하게 된다.Through such a configuration, a person similar to the person associated with the target of the advertisement is used to provide the advertisement.

대한민국 등록특허 10-1694779(2017.01.10. 공고)(카메라 어플리케이션을 이용한 광고 방법 및 장치)Korean Registered Patent No. 10-1694779 (Announcement 2017.01.10) (Advertising Method and Apparatus Using Camera Application) 대한민국 공개특허 10-2016-0024374(2016.03.04. 공개)(광고 연동 서비스 제공방법)Korean Patent Laid-Open No. 10-2016-0024374 (published on March 23, 2014) 대한민국 공개특허 10-2011-0043568(2011.04.27. 공개)(동영상 정보에 대응되어 저장되는 상업적 태그 등의 메타 정보 기반 키워드 광고 서비스 방법 및 그 서비스를 위한 시스템)Korean Patent Laid-Open No. 10-2011-0043568 (published on Apr. 27, 2011) (Meta-information-based keyword advertisement service method such as commercial tag stored in correspondence with moving picture information and system for the service) 대한민국 공개특허 10-2012-0108306(2012.10.05. 공개)(얼굴 인식 기반 광고 방법 및 시스템)Korean Patent Publication No. 10-2012-0108306 (May 10, 2012.) (Face Recognition Based Advertising Method and System)

그러나 상기와 같은 일반적인 ATL/BTL 광고 방법은 CF나 PPL 등을 통해서 노출된 상품을 소비자가 구매하고자 할 때, 그 상품을 포털사이트 등에서 검색을 하고, 이후 가격비교 사이트나 오픈마켓 등 소비자가 자주 이용하는 쇼핑몰을 통해서 해당 상품을 구매하므로, 상품 검색이나 구매가 매우 불편한 단점이 있다.However, in the general ATL / BTL advertising method as described above, when a consumer wants to purchase a product exposed through CF or PPL, the user searches the portal site for the product, and after that, There is a disadvantage in that it is very inconvenient to search for or purchase a product because the product is purchased through the shopping mall.

또한, 종래기술은 얼굴 인식을 통해 전자적 광고를 사용자에게 제공해줄 수는 있으나, 얼굴 인식에만 국한되고, 사용자가 단말을 이용하여 특정 서버에 접속한 후 얼굴 검색 등을 요청해야 하는 불편함이 있다. In addition, although the conventional technology can provide an electronic advertisement to a user through face recognition, it is limited to face recognition, and there is an inconvenience that a user must request a face search after accessing a specific server using the terminal.

아울러 일반적인 ATL/BTL 광고 방법이나 종래기술은 동영상을 시청하면서 실시간으로 동영상에 관련된 부가정보를 사용자가 확인할 수 없는 단점이 있다.In addition, the general ATL / BTL advertising method and conventional technology have a disadvantage in that the user can not confirm the additional information related to the moving picture in real time while watching the moving picture.

따라서 본 발명은 상기와 같은 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 멀티미디어를 통해 생활 속에서 접할 수 있는 다양한 동영상을 전용 애플리케이션을 이용하여 촬영하면 동영상을 인식하고, 동영상과 관련된 부가정보를 실시간으로 용이하게 사용자에게 제공해줄 수 있도록 한 동영상 인식 기반의 미디어 콘텐츠 제공시스템 및 그 방법을 제공하는 데 그 목적이 있다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made in order to solve all the problems occurring in the related art as described above, and it is an object of the present invention to provide a method and apparatus for recognizing a moving picture by capturing various moving pictures, The present invention provides a system and method for providing a media content based on a moving picture that can provide information to a user easily in real time.

본 발명의 다른 목적은 노출효과가 높은 ATL을 이미지 인식에만 이용하지 않고 바로 BTL이나 상거래로 연결시켜, 부가광고 또는 판매와 직접적으로 연결할 수 있는 동영상 인식 기반의 미디어 콘텐츠 제공시스템 및 그 방법을 제공하는 것이다.Another object of the present invention is to provide a system and method for providing a media content based on a moving image which can directly link an ATL having a high exposure effect to BTL or commerce directly without using image recognition only, will be.

본 발명의 또 다른 목적은 방송중인 극의 내용에는 방해를 하지 않으면서도 시청자들이 극중에 쓰이는 소품이나 상품에 대한 궁금증을 즉석에서 해결할 수 있도록 한 동영상 인식 기반의 미디어 콘텐츠 제공시스템 및 그 방법을 제공하는 것이다.Another object of the present invention is to provide a system and method for providing media content based on moving picture recognition that enables viewers to solve curiosity about small items or products used in the drama instantly without disturbing the contents of the drama being broadcast will be.

본 발명의 또 다른 목적은 영상 인식을 통해 시청자들에게는 제품에 대한 정보를 전달하고, 광고주와 기업들에는 해당 제품 광고 및 쇼핑물 연계까지 원스톱으로 연결, 더욱 효율적인 구매와 판매 서비스를 구현하도록 한 동영상 인식 기반의 미디어 콘텐츠 제공시스템 및 그 방법을 제공하는 것이다.It is still another object of the present invention to provide a video recognition system and a video recognition method, which enable information to be transmitted to viewers through image recognition, one-stop connection between advertisers and companies, Based media content providing system and method therefor.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 동영상 인식 기반의 미디어 콘텐츠 제공시스템은, 동영상 인식을 이용한 광고 영상에서 광고 장면을 선정하고, 선정한 광고 장면을 기초로 광고를 의뢰하는 광고의뢰서버; 방송장치를 통해 방송되는 영상을 촬영하고, 촬영된 영상 이미지를 인식한 후 동영상 인식 정보를 이용하여 부가정보를 요청하고, 수신한 부가정보를 표출해주는 시청자 단말기; 상기 광고의뢰서버로부터 제공되는 광고 장면에 부가정보를 매칭하여 증강현실 인식정보를 증강현실 클라우드 서버에 등록하며, 상기 시청자 단말기로부터 전송되는 동영상 인식정보를 기초로 상기 증강현실 클라우드 서버와 연동하여 부가정보를 추출하고, 추출한 부가정보를 상기 시청자 단말기에 전송하는 미디어 콘텐츠 제공서버; 상기 미디어 콘텐츠 제공서버와 연동하여 증강현실 인식정보를 저장하고, 동영상 인식정보를 기초로 부가정보를 추출하여 상기 미디어 콘텐츠 제공서버에 전송하는 증강현실 클라우드 서버를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a media content providing system based on moving picture recognition, comprising: an advertisement server for selecting an advertisement scene in an advertisement image using moving image recognition, ; A viewer terminal for capturing an image broadcast through a broadcasting apparatus, recognizing a captured image image, requesting additional information using the moving image recognition information, and displaying the received additional information; The augmented reality cloud server, the augmented reality cloud server, and the augmented reality cloud server, based on the moving image recognition information transmitted from the viewer terminal, And transmitting the extracted additional information to the viewer terminal; And an augmented reality cloud server for storing augmented reality recognition information in cooperation with the media content providing server, extracting additional information based on the moving image recognition information, and transmitting the extracted augmented reality information to the media content providing server.

상기에서 시청자 단말기는 동영상 인식과 부가정보 서비스를 위한 광고 애플리케이션을 내장하고, 상기 광고 애플리케이션을 통해 동영상 촬영과 동영상 인식을 수행하며, 인식한 동영상 이미지를 기초로 부가정보 요청과 수신한 부가정보 표출을 제어하는 것을 특징으로 한다.The viewer terminal has a built-in advertisement application for moving image recognition and additional information service, performs moving image shooting and moving image recognition through the advertisement application, and displays a supplementary information request and a received additional information presentation on the basis of the recognized moving image And a control unit.

상기에서 미디어 콘텐츠 제공서버는 상기 광고의뢰서버로부터 제공되는 광고 영상과 선정된 광고 장면을 인식 영상으로 업로드 받는 인식 영상 등록부; 상기 인식 영상 등록부에서 업로드 한 광고 영상 파일을 처리하여 증강현실 이미지로 등록하며, 상기 시청자 단말기로부터 전송되는 동영상 인식정보를 기초로 증강현실 클라우드 서버와 연동하여 부가정보를 추출 및 제공해주는 증강현실 이미지 등록 및 서비스부; 상기 증강현실 이미지 등록 및 서비스부와 연동하여 광고 장면 정보를 기초로 증강현실 이미지를 설정하는 증강현실 이미지 설정부를 포함하는 것을 특징으로 한다.Wherein the media content providing server comprises: a recognition image registration unit for receiving the advertisement image provided from the advertisement requesting server and the selected advertisement scene as recognition images; An augmented reality image registration unit for registering the augmented reality image as an augmented reality image by processing the augmented reality image file uploaded from the recognition image registration unit and extracting and providing supplementary information in cooperation with the augmented reality cloud server based on the augmented reality cloud information transmitted from the viewer terminal And a service unit; And an augmented reality image setting unit for setting an augmented reality image based on the advertisement scene information in cooperation with the augmented reality image registration and service unit.

상기에서 증강현실 이미지 설정부는 상기 증강현실 이미지 등록 및 서비스부와 연동하여 증강현실 이미지를 설정하기 위한 미디어/제품의 영상 코드를 추출하는 영상 코드 추출기; 비디오/제품 리스트를 포함하는 콘텐츠 코드를 추출하는 콘텐츠 코드 추출기; 상기 추출한 영상 코드와 콘텐츠 코드를 이용하여 증강현실 등록 구간 설정과 증강현실 출력 콘텐츠를 설정하여 증강현실 설정 등록을 요청하는 증강현실(AR) 설정 등록부를 포함하는 것을 특징으로 한다.The augmented reality image setting unit may include an image code extractor for extracting an image code of a media / product for setting an augmented reality image in cooperation with the augmented reality image registration and service unit; A content code extractor for extracting a content code including a video / product list; And an augmented reality (AR) setting registration unit for requesting a registration of an augmented reality setting by setting an augmented reality registration section and an augmented reality output content using the extracted image code and a content code.

상기에서 증강현실 이미지 등록 및 서비스부는 상기 인식 영상 등록부에서 업-로드한 영상으로부터 광고 장면 정보를 기초로 섬내일(Thumbnail)을 추출하고, 프레임 단위로 캡처하여 인식 이미지를 추출하고, 영상 파일은 스토리지에 저장하며, 섬내일 및 캡처한 이미지는 데이터베이스에 저장하는 영상 관리 모듈을 포함하는 것을 특징으로 한다.The augmented reality image registration and service unit extracts a thumbnail on the basis of the advertisement scene information from the image uploaded from the recognized image registration unit, captures the thumbnail on a frame basis, extracts the recognized image, And a video management module for storing the tomorrow and the captured images in a database.

상기에서 증강현실 이미지 등록 및 서비스부는 상기 증강현실 이미지 설정부에서 전송된 영상 구간 정보를 기초로 영상 구간 정보 열람 및 저장 데이터를 생성하고, 상기 증강현실 이미지 설정부에서 전송된 콘텐츠 정보를 기초로 콘텐츠 코드 생성 및 저장 데이터를 생성하며, 상기 영상 구간정보 열람 및 저장 데이터와 상기 콘텐츠 코드 생성 및 저장 데이터를 정합하여 증강현실 인식정보를 생성하고, 생성한 증강현실 인식정보를 증강현실 클라우드 서버에 등록하는 증강현실 등록 모듈을 포함하는 것을 특징으로 한다.The augmented reality image registration and service unit generates the video segment information viewing and storing data based on the video segment information transmitted from the augmented reality image setting unit, Generates code generation and storage data, generates the augmented reality recognition information by matching the video segment information viewing and storing data with the content code generation and storage data, and registers the generated augmented reality recognition information in the augmented reality cloud server And an augmented reality registration module.

상기에서 증강현실 등록 모듈은 상기 영상 구간정보 열람 및 저장 데이터와 상기 콘텐츠 코드 생성 및 저장 데이터를 정합하여 영상정보 데이터 및 메타 데이터를 증강현실 인식정보로 생성하는 것을 특징으로 한다.The augmented reality registration module generates the image information data and the metadata as the augmented reality recognition information by matching the video segment information viewing and storing data with the content code generation and storage data.

상기에서 증강현실 이미지 등록 및 서비스부는 상기 시청자 단말기로부터 동영상 인식정보가 수신되면, 특징점을 추출하고 추출한 특징점을 증강현실 클라우드 서버로 전송하여 매칭 데이터를 추출하고, 추출한 매칭 데이터를 기초로 증강현실 클라우드 서버와 연동하여 인식한 동영상에 대응하는 부가정보를 추출하여 상기 시청자 단말기로 전송해주는 부가정보 제공부를 포함하며,When the moving image recognition information is received from the viewer terminal, the augmented reality image registration and service unit extracts the feature points and transmits the extracted feature points to the augmented reality cloud server to extract matching data, and based on the extracted matching data, And an additional information providing unit for extracting additional information corresponding to the recognized moving picture and transmitting the extracted additional information to the viewer terminal,

상기 부가정보는 상품 데이터 정보, 상품 목록 정보, 상품을 판매 및 구매하는 사이트의 URL 정보 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 한다.The additional information includes at least one of product data information, product list information, URL information of a site for selling and purchasing a product, and the like.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 동영상 인식 기반의 미디어 콘텐츠 제공방법은, (a) 시청자 단말기에서 기등록된 광고 애플리케이션을 이용하여 방송장치를 통해 방송되는 동영상을 인식하고, 동영상 인식 정보를 기초로 미디어 콘텐츠 제공서버에 부가정보를 요청하는 단계; (b) 상기 미디어 콘텐츠 제공서버에서 수신한 동영상 인식 정보로부터 특징점을 추출하고, 추출한 특징점을 기초로 증강현실 클라우드 서버와 연동하여 매칭 데이터를 요청하는 단계; (c) 상기 증강현실 클라우드 서버에서 특징점을 분석하여 매칭 데이터를 추출하고, 추출한 매칭 데이터를 상기 미디어 콘텐츠 제공서버에 전송하는 단계; (d) 상기 미디어 콘텐츠 제공서버에서 상기 매칭 데이터를 기반으로 메타 데이터를 추출하여 상기 증강현실 클라우드 서버에 부가정보를 요청하는 단계; (e) 상기 증강현실 클라우드 서버에서 수신한 메타데이터를 기초로 부가 정보를 추출하여 상기 미디어 콘텐츠 제공서버에 전송하는 단계; (f) 상기 미디어 콘텐츠 제공서버에서 수신한 부가정보를 시청자 단말기에 전송하고, 상기 시청자 단말기와 연동하여 부가정보에 대한 서비스를 제공해주는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of providing media content based on moving picture recognition, the method comprising: (a) recognizing a moving picture broadcast through a broadcasting device using a pre- Requesting additional information to the media content providing server based on the identification information; (b) extracting feature points from the moving image recognition information received by the media content providing server, and requesting matching data in association with the augmented reality cloud server based on the extracted feature points; (c) analyzing minutiae in the augmented reality cloud server to extract matching data, and transmitting the extracted matching data to the media content providing server; (d) extracting metadata based on the matching data at the media content providing server and requesting additional information from the augmented reality cloud server; (e) extracting additional information based on metadata received from the augmented reality cloud server and transmitting the extracted additional information to the media content providing server; (f) transmitting the additional information received from the media content providing server to the viewer terminal and providing a service for the additional information in cooperation with the viewer terminal.

상기에서 (e)단계는 (e1) 수신한 메타 데이터를 해석하는 단계; (e2) 상기 해석한 메타 데이터를 기초로 제품 코드(pCode)를 추출하는 단계; (e3) 상기 추출한 제품 코드를 기반으로 데이터베이스를 검색하여 상품 데이터를 추출하는 단계; (e4) 상기 추출한 상품 데이터를 부가 정보로 상기 미디어 콘텐츠 제공서버에 전송하는 단계를 포함하는 것을 특징으로 한다.Wherein the step (e) comprises: (e1) interpreting the received metadata; (e2) extracting a product code (pCode) based on the analyzed metadata; (e3) extracting product data by searching a database based on the extracted product code; (e4) transmitting the extracted product data to the media content providing server as additional information.

상기에서 (f)단계는 (f1) 상기 증강현실 클라우드 서버로부터 전송된 부가 정보를 수신하여 해석하는 단계; (f2) 상기 (f1)단계의 해석 결과를 기초로 상품 목록을 추출하여 상기 시청자 단말기에 출력해주고, 상품 판매 및 구매 사이트의 URL을 자동으로 연결하는 단계; (f3) 상기 시청자 단말기로부터 상품 선택이 발생하면, 연결 URL을 리다이렉트하는 단계를 포함하는 것을 특징으로 한다.The step (f) includes the steps of: (f1) receiving and analyzing the additional information transmitted from the augmented reality cloud server; (f2) extracting a product list based on the analysis result of the step (f1), outputting the product list to the viewer terminal, and automatically connecting the URL of the product sale and purchase site; (f3) redirecting the connection URL when a product selection is made from the viewer terminal.

본 발명에 따르면 멀티미디어를 통해 생활 속에서 접할 수 있는 다양한 동영상을 전용 애플리케이션을 이용하여 촬영하면 동영상을 인식하고, 동영상과 관련된 부가정보를 실시간으로 용이하게 사용자에게 제공해줄 수 있는 장점이 있다.According to the present invention, there is an advantage that, when a variety of moving pictures that can be encountered in daily life through multimedia are photographed using a dedicated application, the moving picture is recognized and the additional information related to the moving picture can be easily provided to the user in real time.

또한, 본 발명에 따르면 노출효과가 높은 ATL을 이미지 인식에만 이용하지 않고 바로 BTL이나 상거래로 연결시켜, 부가광고 또는 판매와 직접적으로 연결할 수 있도록 하여, 직접적이고 효율적인 광고 시스템을 구현해줄 수 있는 장점이 있다.In addition, according to the present invention, an ATL having a high exposure effect can be directly connected to BTL or commerce without directly using image recognition, and can be directly connected to supplementary advertisement or sale, thereby realizing a direct and efficient advertisement system have.

또한, 본 발명에 따르면 방송중인 극의 내용에는 방해를 하지 않으면서도 시청자들이 극중에 쓰이는 소품이나 상품에 대한 궁금증을 즉석에서 해결할 수 있는 편리성을 제공해주는 효과가 있다.In addition, according to the present invention, there is an effect that viewers can conveniently solve a question about a small article or a product used in the drama, without disturbing the contents of the drama being broadcast.

또한, 본 발명에 따르면 영상 인식을 통해 시청자들에게는 제품에 대한 정보를 전달하고, 광고주와 기업들에는 해당 제품 광고 및 쇼핑물 연계까지 원스톱으로 연결, 더욱 효율적인 구매와 판매 서비스를 실현해주는 효과가 있다.In addition, according to the present invention, there is an effect that information about a product is transmitted to viewers through image recognition, and one-stop connection is made to advertisers and companies to link advertisements of products and shopping goods, and more efficient purchase and sales services are realized.

도 1은 본 발명에 따른 동영상 인식 기반의 미디어 콘텐츠 제공시스템의 구성도,
도 2는 도 1의 미디어 콘텐츠 제공서버의 실시 예 구성도,
도 3은 본 발명에서 동영상 인식 과정 예시도,
도 4는 본 발명에 따른 동영상 인식 기반의 미디어 콘텐츠 제공방법을 보인 흐름도.FIG. 1 is a configuration diagram of a media content providing system based on moving picture recognition according to the present invention,
FIG. 2 is a configuration diagram of an embodiment of the media content providing server of FIG. 1;
FIG. 3 illustrates an example of a moving image recognition process in the present invention,
4 is a flowchart illustrating a media content providing method based on motion picture recognition according to the present invention.

이하 본 발명의 바람직한 실시 예에 따른 동영상 인식 기반의 미디어 콘텐츠 제공시스템 및 그 방법을 첨부된 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a moving image recognition based media content providing system and method according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시 예에 따른 동영상 인식 기반의 미디어 콘텐츠 제공시스템의 구성도로서, 광고의뢰서버(100), 미디어 콘텐츠 제공서버(200), 방송장치(3000, 시청자 단말기(400) 및 증강현실(AR) 클라우드 서버(500)를 포함한다.FIG. 1 is a block diagram of a media content providing system based on moving picture recognition according to a preferred embodiment of the present invention. Referring to FIG. 1, an advertisement request server 100, a media content providing server 200, a broadcasting apparatus 3000, And an augmented reality (AR) cloud server 500.

상기 광고의뢰서버(100)는 동영상 인식을 이용한 광고 영상에서 광고 장면을 선정하고, 선정한 광고 장면을 기초로 광고를 의뢰하는 역할을 한다. 이러한 광고의뢰서버(100)는 광고주, 광고대행사, 상품판매업체 등에서 사용하는 서버라고 할 수 있다.The advertisement requesting server 100 selects an advertisement scene in an advertisement image using moving image recognition, and requests an advertisement based on the selected advertisement scene. The advertisement requesting server 100 may be a server used by an advertiser, an advertisement agency, a merchandise seller, and the like.

상기 시청자 단말기(400)는 방송장치(300)를 통해 방송되는 영상을 촬영하고, 촬영된 영상 이미지를 인식한 후 동영상 인식 정보를 이용하여 부가정보를 요청하고, 수신한 부가정보를 표출해주는 역할을 한다. 이러한 시청자 단말기(400)는 인터넷이 가능하며, 카메라와 같은 촬영장치가 구비된 모바일기기로서, 본 발명에서는 스마트폰이라고 가정한다. 시청자 단말기(400)는 동영상 인식과 부가정보 서비스를 위한 광고 애플리케이션을 내장하고, 상기 광고 애플리케이션을 통해 동영상 촬영과 동영상 인식을 수행하며, 인식한 동영상 이미지를 기초로 부가정보 요청과 수신한 부가정보 표출을 제어하는 것이 바람직하다.The viewer terminal 400 photographs an image broadcast through the broadcasting device 300, recognizes the photographed image image, requests additional information using the moving image recognition information, and displays the received additional information do. Such a viewer terminal 400 is a mobile device capable of the Internet and equipped with a photographing device such as a camera, and is assumed to be a smart phone in the present invention. The viewer terminal 400 incorporates an advertisement application for moving image recognition and additional information services, performs moving image shooting and moving image recognition through the advertisement application, and displays a supplementary information request based on the recognized moving image, .

상기 미디어 콘텐츠 제공서버(200)는 상기 광고의뢰서버(100)로부터 제공되는 광고 장면에 부가정보를 매칭하여 증강현실 인식정보를 증강현실 클라우드 서버(500)에 등록하며, 상기 시청자 단말기(400)로부터 전송되는 동영상 인식정보를 기초로 상기 증강현실 클라우드 서버(500)와 연동하여 부가정보를 추출하고, 추출한 부가정보를 상기 시청자 단말기(400)에 전송하는 역할을 한다.The media content providing server 200 registers the augmented reality recognition information in the augmented reality cloud server 500 by matching the supplementary information with the advertisement scene provided from the advertisement requesting server 100, Extracts the additional information in cooperation with the augmented reality cloud server 500 based on the moving image recognition information, and transmits the extracted supplementary information to the viewer terminal 400.

이러한 미디어 콘텐츠 제공서버(200)는 도 2에 도시한 바와 같이, 상기 광고의뢰서버(100)로부터 제공되는 광고 영상과 선정된 광고 장면을 인식 영상으로 업로드 받는 인식 영상 등록부(210), 상기 인식 영상 등록부(210)에서 업로드 한 광고 영상 파일을 처리하여 증강현실 이미지로 등록하며, 상기 시청자 단말기(400)로부터 전송되는 동영상 인식정보를 기초로 증강현실 클라우드 서버(500)와 연동하여 부가정보를 추출 및 제공해주는 증강현실 이미지 등록 및 서비스부(230), 상기 증강현실 이미지 등록 및 서비스부(230)와 연동하여 광고 장면 정보를 기초로 증강현실 이미지를 설정하는 증강현실 이미지 설정부(220)를 포함한다.2, the media content providing server 200 includes a recognition image registration unit 210 for receiving an advertisement image provided from the advertisement requesting server 100 and a selected advertisement scene as recognition images, The advertisement information file uploaded by the registration unit 210 is processed and registered as an augmented reality image, and the augmented reality cloud server 500 is operated based on the moving image recognition information transmitted from the viewer terminal 400, And an augmented reality image setting unit 220 for setting an augmented reality image based on the advertisement scene information in cooperation with the augmented reality image registration and service unit 230 .

상기 증강현실 이미지 설정부(220)는 상기 증강현실 이미지 등록 및 서비스부(230)와 연동하여 증강현실 이미지를 설정하기 위한 미디어/제품의 영상 코드를 추출하는 영상 코드 추출기(221), 비디오/제품 리스트를 포함하는 콘텐츠 코드를 추출하는 콘텐츠 코드 추출기(222), 상기 추출한 영상 코드와 콘텐츠 코드를 이용하여 증강현실 등록 구간 설정과 증강현실 출력 콘텐츠를 설정하여 증강현실 설정 등록을 요청하는 증강현실(AR) 설정 등록부(223)를 포함한다.The augmented reality image setting unit 220 includes an image code extractor 221 for extracting an image code of a media / product for setting an augmented reality image in cooperation with the augmented reality image registration and service unit 230, A content code extractor 222 for extracting a content code including a list, an augmented reality (AR) module 230 for setting up an augmented reality registration section and an augmented reality output content using the extracted image code and a content code, ) Setting registration unit 223. [

상기 증강현실 이미지 등록 및 서비스부(230)는 상기 인식 영상 등록부(210)에서 업-로드한 영상으로부터 광고 장면 정보를 기초로 섬내일(Thumbnail)을 추출하고, 프레임 단위로 캡처하여 인식 이미지를 추출하고, 영상 파일은 스토리지에 저장하고, 섬내일 및 캡처한 이미지는 데이터베이스에 저장하는 영상 관리 모듈(231)을 포함한다.The augmented reality image registration and service unit 230 extracts a thumbnail on the basis of the advertisement scene information from the image uploaded by the recognition image registration unit 210, A video management module 231 for storing video files in the storage, tomorrow's videos and captured images in a database.

아울러 상기 증강현실 이미지 등록 및 서비스부(230)는 상기 증강현실 이미지 설정부(220)에서 전송된 영상 구간 정보를 기초로 영상 구간 정보 열람 및 저장 데이터를 생성하고, 상기 증강현실 이미지 설정부(220)에서 전송된 콘텐츠 정보를 기초로 콘텐츠 코드 생성 및 저장 데이터를 생성하며, 상기 영상 구간정보 열람 및 저장 데이터와 상기 콘텐츠 코드 생성 및 저장 데이터를 정합하여 증강현실 인식정보를 생성하고, 생성한 증강현실 인식정보를 증강현실 클라우드 서버(500)에 등록하는 증강현실 등록 모듈(234)을 더 포함한다.In addition, the augmented reality image registration and service unit 230 generates video segment information viewing and storing data based on the video segment information transmitted from the augmented reality image setting unit 220, and the augmented reality image setting unit 220 Generates the content code generation and storage data on the basis of the content information transmitted in the augmented reality information generation unit, generates the augmented reality recognition information by matching the video segment information viewing and storing data with the content code generation and storage data, And an augmented reality registration module 234 for registering the recognition information in the augmented reality cloud server 500. [

여기서 증강현실 등록 모듈(234)은 상기 영상 구간정보 열람 및 저장 데이터와 상기 콘텐츠 코드 생성 및 저장 데이터를 정합하여 영상정보 데이터 및 메타 데이터를 증강현실 인식정보로 생성하는 것이 바람직하다.The augmented reality registration module 234 may generate the augmented reality recognition information by matching the video segment information viewing and storing data with the content code generation and storage data to thereby acquire image information data and metadata.

또한, 상기 증강현실 이미지 등록 및 서비스부(230)는 상기 시청자 단말기(400)로부터 동영상 인식정보가 수신되면, 특징점을 추출하고 추출한 특징점을 증강현실 클라우드 서버(500)로 전송하여 매칭 데이터를 추출하고, 추출한 매칭 데이터를 기초로 증강현실 클라우드 서버(500)와 연동하여 인식한 동영상에 대응하는 부가정보를 추출하여 상기 시청자 단말기(400)로 전송해주는 부가정보 제공부(235)를 포함한다.When the moving image recognition information is received from the viewer terminal 400, the augmented reality image registration and service unit 230 extracts the feature points and transmits the extracted feature points to the augmented reality cloud server 500 to extract matching data And an additional information providing unit 235 for extracting additional information corresponding to the recognized moving image in association with the augmented reality cloud server 500 based on the extracted matching data and transmitting the extracted additional information to the viewer terminal 400.

여기서 부가정보는 상품 데이터 정보, 상품 목록 정보, 상품을 판매 및 구매하는 사이트의 URL 정보 중 적어도 어느 하나 이상을 포함할 수 있다.Here, the additional information may include at least one of product data information, product list information, and URL information of a site for selling and purchasing a product.

또한, 상기 증강현실 클라우드 서버(500)는 상기 미디어 콘텐츠 제공서버(200)와 연동하여 증강현실 인식정보를 저장하고, 동영상 인식정보를 기초로 부가정보를 추출하여 상기 미디어 콘텐츠 제공서버(200)에 전송하는 역할을 한다.In addition, the augmented reality cloud server 500 stores augmented reality recognition information in cooperation with the media content providing server 200, extracts additional information based on the video recognition information, and transmits the augmented reality information to the media content providing server 200 .

이와 같이 구성된 본 발명에 따른 동영상 인식 기반의 미디어 콘텐츠 제공시스템의 동작을 구체적으로 설명하면 다음과 같다.The operation of the media recognition system based on moving picture recognition according to the present invention will be described in detail as follows.

먼저, 동영상 인식을 통한 광고를 의뢰하고자 하는 광고주는 광고의뢰서버(100)를 이용하여 광고 영상 파일과 상기 광고 영상 파일에서 상품 데이터 정보, 상품 목록 정보, 상품을 판매 및 구매하는 사이트의 URL 정보 중 적어도 어느 하나 이상을 포함하는 부가정보를 실시간으로 제공해주기 위한 광고 장면을 선정한다. 여기서 광고 장면 선정은 동영상 파일에서 해당 부분을 캡처하고, 캡처한 이미지를 광고 장면으로 선정할 수 있다. 이러한 방법 이외에 동영상 파일에서 특정 영상 이미지만을 지정하는 알려진 방법을 그대로 채택하여 사용하는 것도 가능하다.First, an advertiser who wishes to request an advertisement through video recognition uses the advertisement request server 100 to generate advertisement information files, and URL information of a site for selling and purchasing goods data information, goods list information, and goods in the advertisement image file And selects advertisement scenes for providing additional information including at least one or more of the advertisement information in real time. Here, the advertisement scene selection can capture the corresponding part in the video file and select the captured image as the advertisement scene. In addition to these methods, it is also possible to employ a known method of specifying only a specific image in a moving picture file.

상기 광고의뢰서버(100)는 광고 영상 파일과 광고 장면 선정정보를 포함한 광고의뢰정보를 미디어 콘텐츠 제공서버(200)에 업-로드하고 광고를 의뢰한다.The advertisement requesting server 100 uploads the advertisement request information including the advertisement image file and the advertisement scene selection information to the media content providing server 200 and requests the advertisement.

상기 미디어 콘텐츠 제공서버(200)는 광고 영상 파일이 업-로드되면, 인식 영상 등록부(210)에서 수신한 광고 영상 파일 및 광고 장면 선정정보를 수신하여, HTTP 파일로 증강현실 이미지 등록 및 서비스부(230)에 전달한다.When the advertisement image file is up-loaded, the media content providing server 200 receives the advertisement image file and advertisement scene selection information received by the recognition image registration unit 210 and transmits the advertisement image file and the advertisement scene selection information to the augmented reality image registration and service unit 230).

상기 증강현실 이미지 등록 및 서비스부(230)는 수신한 광고 영상 파일 및 광고 장면 선정정보를 기치로 영상 파일을 스토리지(232)에 저장하고, 증강현실 등록 과정을 수행한다.The augmented reality image registration and service unit 230 stores the received advertisement image file and the advertisement scene selection information in the storage unit 232 and performs the augmented reality registration process.

예컨대, 영상 관리 모듈(231)에서 상기 인식 영상 등록부(210)에서 업-로드한 영상으로부터 광고 장면 정보를 기초로 섬내일(Thumbnail)을 추출하고, 프레임 단위로 캡처하여 인식 이미지를 추출하고, 영상 파일은 스토리지(232)에 저장하고, 섬내일 및 캡처한 이미지는 데이터베이스(DB)(233)에 저장한다.For example, the image management module 231 extracts a thumbnail image based on the advertisement scene information from the image uploaded by the recognition image registration unit 210, captures the thumbnail image on a frame-by-frame basis, The file is stored in the storage 232, and the tomorrow and the captured image are stored in the database (DB)

이와 같이 증강현실 인식정보 등록을 위한 영상 파일 및 정보들을 저장한 상태에서, 증강현실 이미지 설정부(220)는 증강현실 인식정보 등록을 위한 이미지를 설정한다.In this manner, the augmented reality image setting unit 220 sets an image for augmented reality recognition information registration while storing image files and information for the augmented reality recognition information registration.

예컨대, 증강현실 이미지 설정부(220)의 영상 코드 추출기(221)는 상기 증강현실 이미지 등록 및 서비스부(230)와 연동하여 증강현실 이미지를 설정하기 위한 미디어/제품의 영상 코드(Media/Product Data Code)를 스토리지(232)로부터 추출한다. 아울러 콘텐츠 코드 추출기(221)는 데이터베이스(233)로부터 비디오/제품 리스트를 포함하는 콘텐츠 코드(Video, Product List)를 추출한다. 이어, 증강현실 설정 등록부(223)는 상기 추출한 영상 코드와 콘텐츠 코드를 이용하여 증강현실 등록 구간 설정과 증강현실 출력 콘텐츠를 설정하고, 영상 구간 및 콘텐츠 정보를 상기 증강현실 이미지 등록 및 서비스부(230)로 전송하고, 증강현실 설정 등록을 요청한다. 여기서 증강현실 출력 콘텐츠 설정을 위한 콘텐츠 정보는 팝-업 이미지 + 링크 정보, 등록된 상품 목록 정보를 포함할 수 있다.For example, the image code extractor 221 of the augmented reality image setting unit 220 may associate the augmented reality image registration and service unit 230 with the augmented reality image registration / Code from the storage 232. [ In addition, the content code extractor 221 extracts a content code (Video, Product List) including a video / product list from the database 233. Then, the augmented reality setting registration unit 223 sets the augmented reality registration section and the augmented reality output content using the extracted image code and the content code, and outputs the image section and the content information to the augmented reality image registration and service unit 230 ), And requests registration of augmented reality setting. Here, the content information for setting up the augmented reality output contents may include pop-up image + link information and registered product list information.

다음으로, 상기 증강현실 이미지 등록 및 서비스부(230)의 증강현실 등록 모듈(234)은 상기 증강현실 이미지 설정부(220)에서 전송된 영상 구간 정보를 기초로 상기 스토리지(232) 및 데이터베이스(233)와 연동하여 영상 구간 정보 열람 및 저장 데이터를 생성한다. 아울러 상기 증강현실 이미지 설정부(220)에서 전송된 콘텐츠 정보를 기초로 상기 스토리지(232) 및 데이터베이스(233)와 연동하여 콘텐츠 코드 생성 및 저장 데이터를 생성한다. 이어, 생성한 상기 영상 구간정보 열람 및 저장 데이터와 상기 콘텐츠 코드 생성 및 저장 데이터를 정합하여, 증강현실 인식정보를 생성하고, 생성한 증강현실 인식정보를 증강현실 클라우드 서버(500)에 등록한다. 여기서 증강현실 인식정보는 상기 영상 구간정보 열람 및 저장 데이터와 상기 콘텐츠 코드 생성 및 저장 데이터를 정합하여 생성되는 영상정보 데이터 및 메타 데이터를 포함한다.The augmented reality registration module 234 of the augmented reality image registration and service unit 230 receives the augmented reality image from the storage 232 and the database 233 based on the image interval information transmitted from the augmented reality image setting unit 220. [ And generates video section information browsing and stored data. And generates content code generation and storage data in cooperation with the storage 232 and the database 233 based on the content information transmitted from the augmented reality image setting unit 220. [ Then, the generated video segment information browsing and stored data is matched with the content code generation and storage data to generate augmented reality recognition information, and the generated augmented reality recognition information is registered in the augmented reality cloud server 500. [ The augmented reality recognition information includes image information data and metadata generated by matching the video segment information viewing and storing data with the content code generation and storage data.

상기와 같은 과정을 통해 증강현실 이미지 등록을 완료한 상태에서, 미디어 콘텐츠(부가정보)를 서비스해주는 과정을 첨부한 도면 도 4를 참조하여 설명하면 다음과 같다.Referring to FIG. 4, a process of providing media contents (additional information) in a state that the augmented reality image registration is completed through the above process will be described as follows.

시청자는 방송장치(300)를 통해 영상 및 광고를 시청한다. 여기서 방송장치(300)는 다양한 멀티미디어 기기로서, 본 발명에서는 설명의 편의를 위해 TV라고 가정한다.The viewer views the video and the advertisement through the broadcasting device 300. Here, it is assumed that the broadcasting apparatus 300 is a variety of multimedia devices, and that the present invention is a TV for convenience of explanation.

시청자는 방송장치(300)를 통해 방송을 시청하는 도중에 검색하고자 하는 부가 정보가 있으면, 휴대한 시청자 단말기(400)의 광고 애플리케이션을 실행한 후, 카메라를 통해 동영상을 촬영한다. 예컨대, 특정 연예인이 휴대한 액세서리의 부가정보를 알고자 하면, 액세서리 영상을 촬영한다.If the viewer has additional information to be searched while watching the broadcast through the broadcasting device 300, the viewer executes the advertisement application of the portable viewer terminal 400 and shoots the moving picture through the camera. For example, when the user wants to know additional information of an accessory carried by a specific entertainer, the accessory image is photographed.

상기 광고 애플리케이션은 액세서리 영상이 촬영되면, 촬영된 영상으로부터 짧은 시간에 동영상 이미지를 캡처한다. 이어 캡처한 동영상 이미지를 통상의 전처리 과정을 통해 영상 처리를 하여 영상 이미지를 생성한다. 이어 생성한 영상 이미지를 포함하여 부가정보 요청 정보를 생성하고, 생성한 부가정보 요청정보를 미디어 콘텐츠 제공서버(200)로 전송하고, 부가정보를 요청한다(S101).The advertisement application captures the moving image in a short time from the photographed image when the accessory image is photographed. The captured moving image is subjected to image processing through a normal preprocessing process to generate a video image. Then, the generated additional information request information is transmitted to the media content providing server 200, and additional information is requested (S101).

상기 부가정보를 요청받은 미디어 콘텐츠 제공서버(200)는 도 3에 도시한 바와 같이, 수신한 영상의 이미지로부터 객체 추출 과정을 통해 객체를 추출하고, 추출한 객체 이미지로부터 특징점을 추출한다(S102). 여기서 영상 이미지로부터 객체 추출과 특징점 추출은 영상 처리 분야에서 이미 잘 알려진 공지의 기술이므로, 그에 대한 구체적인 설명은 생략하기로 한다. 특징점을 추출한 후 추출된 특징점에 기초하여 특징 벡터의 표현자를 생성하고, 이를 증강현실 클라우드 서버(500)에 전송하여 부가정보를 요청한다(S103).As shown in FIG. 3, the media content providing server 200 receiving the additional information extracts an object from an image of the received image through an object extraction process, and extracts a feature point from the extracted object image (S102). Here, object extraction and feature extraction from a video image are well-known techniques well known in the field of image processing, and a detailed description thereof will be omitted. Extracts feature points, generates a presenter of the feature vector based on the extracted feature points, and transmits the generated feature vector to the augmented reality cloud server 500 to request additional information (S103).

예컨대, 상기와 같이 추출한 특징점을 기초로 증강현실 클라우드 서버(500)와 연동하여 매칭 데이터를 요청한다. 상기 증강현실 클라우드 서버(500)는 특징점 정보를 수신하고(S104), 특징점을 파싱 분석 방법으로 분석하며(S105), 매칭 알고리즘을 이용하여 데이터베이스를 검색하여 매칭 데이터를 추출한다(S106). 매칭 데이터를 추출하면(S107) 추출한 매칭 데이터를 상기 미디어 콘텐츠 제공서버(200)에 전송한다(S108).For example, the matching data is requested in association with the augmented reality cloud server 500 based on the extracted minutiae. The augmented reality cloud server 500 receives the minutia information (S104), analyzes the minutiae using a parsing analysis method (S105), and searches the database using the matching algorithm to extract matching data (S106). When the matching data is extracted (S107), the extracted matching data is transmitted to the media content providing server 200 (S108).

상기 미디어 콘텐츠 제공서버(200)는 단계 S109에서 매칭 데이터를 수신하고, 수신한 매칭 데이터를 검색하여(S110) 대응하는 정보가 존재하지 않으면 시청자 단말기(400)에 부가정보가 없다는 정보를 전송하고, 영상 재전송을 요청한다.The media content providing server 200 receives the matching data in step S109, searches the received matching data (S110), and transmits information indicating that there is no additional information to the viewer terminal 400 if the corresponding information does not exist, Request video retransmission.

이와는 달리 매칭 데이터를 검색하여 대응하는 정보가 존재하면, 메타 데이터를 추출하여 상기 증강현실 클라우드 서버(500)에 부가정보를 요청한다(S111, S112).Otherwise, if the corresponding information exists, metadata is extracted and the additional information is requested to the augmented reality cloud server 500 (S111, S112).

상기 증강현실 클라우드 서버(500)는 메타 데이터를 수신하면(S113), 수신한 메타데이터를 해석하고(S114), 이어, 해석한 메타 데이터를 기초로 제품 코드(pCode)를 추출한다(S115). 다음으로, 상기 추출한 제품 코드를 기반으로 데이터베이스를 검색하여 상품 데이터를 추출한다(S116). 상품 데이터가 추출되면(S117), 상기 추출한 상품 데이터를 부가 정보로 상기 미디어 콘텐츠 제공서버(200)에 전송한다.Upon receiving the metadata (S113), the augmented reality cloud server 500 analyzes the received metadata (S114), and then extracts a product code (pCode) based on the analyzed metadata (S115). Next, the database is searched based on the extracted product code and the product data is extracted (S116). When the product data is extracted (S117), the extracted product data is transmitted to the media content providing server 200 as additional information.

상기 미디어 콘텐츠 제공서버(200)는 부가정보를 수신하면(S119), 상기 수신한 부가정보를 해석한다(S120). 이어, 해석한 부가정보가 상품 목록 정보이면, 시청자 단말기(400)에 팝-업 형태로 부가정보를 표출해준다(S121). 아울러 시청자 단말기(400)에 팝-업 형태로 부가정보를 표출해주는 시점에서 수신한 부가정보를 해석하여 획득한 상품 판매 및 구매 사이트의 URL을 자동으로 연결한다(S122). When the media content providing server 200 receives the additional information (S119), it analyzes the received additional information (S120). If the interpreted additional information is the item list information, the viewer terminal 400 displays the additional information in a pop-up form (S121). At the time of displaying the additional information in the pop-up form on the viewer terminal 400, the received additional information is analyzed and the URL of the purchased product and the purchase site are automatically linked (S122).

이후, 시청자는 시청자 단말기(400)를 통해 실시간으로 획득한 부가정보를 확인하고, 상품 목록을 보고 특정 상품을 선택하면, 미디어 콘텐츠 제공서버(200)는 상기 연결 URL을 리다이렉트해준다(S123).Thereafter, the viewer confirms the supplementary information acquired in real time via the viewer terminal 400, selects the specific product by viewing the product list, and the media content providing server 200 redirects the connection URL (S123).

이로써 시청자는 단순히 CF, 드라마 등 생활 속에서 접할 수 있는 다양한 동영상을 보면서 스마트폰의 전용 앱(광고 애플리케이션)을 이용하여 카메라로 비추는 단순 동작만으로, 해당 영상이 가지고 있는 부가정보를 실시간으로 확인할 수 있게 된다. 아울러 확인한 부가정보를 통해 상품을 선택하면 바로 상품 판매 및 구매 사이트의 URL에 연결되므로, 시청자가 별도로 상품 판매 및 구매 사이트를 검색하거나 찾아보는 불편함을 해소할 수 있게 되는 것이다.As a result, viewers can view real-time supplementary information they have with only a simple operation by using a dedicated application (advertisement application) of a smart phone while viewing various videos that can be encountered in daily life such as CF and drama do. In addition, if a user selects a product through the confirmed additional information, it is directly connected to the URL of the merchandise sales and purchase site, thereby eliminating the inconvenience of the viewer separately searching for or selling the product or searching the purchase site.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It is obvious to those who have.

본 발명은 동영상 인식을 통해 그 영상이 가지고 있는 부가정보를 실시간으로 검색 및 확인하는 기술에 적용된다.The present invention is applied to a technique of searching and confirming additional information that the image has in real time through motion recognition.

100: 광고의뢰서버 200: 미디어 콘텐츠 제공서버
210: 인식 영상 등록부 220: 증강현실 이미지 설정부
221: 영상 코드 추출기 222: 콘텐츠 코드 추출기
223: 증강현실(AR) 설정 등록부
230: 증강현실 이미지 등록 및 서비스부
231: 영상 관리 모듈 232: 스토리지
233: 데이터베이스 234: 증강현실 등록 모듈
235: 부가정보 제공부 300: 방송장치
400: 시청자 단말기 500: 증강현실 클라우드 서버100: Ad requesting server 200: Media content providing server
210: recognition image registration unit 220: augmented reality image setting unit
221: Video code extractor 222: Content code extractor
223: Augmented Reality (AR) setting register
230: Augmented Reality Image Registration and Service Department
231: Video management module 232: Storage
233: Database 234: Augmented Reality Registration Module
235: Additional information providing unit 300: Broadcasting apparatus
400: viewer terminal 500: augmented reality cloud server

Claims (10)

동영상 인식 기반의 미디어 콘텐츠를 제공해주는 시스템으로서,
동영상 인식을 이용한 광고 영상에서 광고 장면을 선정하고, 선정한 광고 장면을 기초로 광고를 의뢰하는 광고의뢰서버;
방송장치를 통해 방송되는 영상을 촬영하고, 촬영된 영상 이미지를 인식한 후 동영상 인식 정보를 이용하여 부가정보를 요청하고, 수신한 부가정보를 표출해주는 시청자 단말기;
상기 광고의뢰서버로부터 제공되는 광고 장면에 부가정보를 매칭하여 증강현실 인식정보를 증강현실 클라우드 서버에 등록하며, 상기 시청자 단말기로부터 전송되는 동영상 인식정보를 기초로 상기 증강현실 클라우드 서버와 연동하여 부가정보를 추출하고, 추출한 부가정보를 상기 시청자 단말기에 전송하는 미디어 콘텐츠 제공서버; 및
상기 미디어 콘텐츠 제공서버와 연동하여 증강현실 인식정보를 저장하고, 동영상 인식정보를 기초로 부가정보를 추출하여 상기 미디어 콘텐츠 제공서버에 전송하는 증강현실 클라우드 서버를 포함하는 것을 특징으로 하는 동영상 인식 기반의 미디어 콘텐츠 제공시스템.
A system for providing media content based on motion picture recognition,
An advertisement requesting server for selecting an advertisement scene in an advertisement image using moving image recognition and requesting an advertisement based on the selected advertisement scene;
A viewer terminal for capturing an image broadcast through a broadcasting apparatus, recognizing a captured image image, requesting additional information using the moving image recognition information, and displaying the received additional information;
The augmented reality cloud server, the augmented reality cloud server, and the augmented reality cloud server, based on the moving image recognition information transmitted from the viewer terminal, And transmitting the extracted additional information to the viewer terminal; And
And an augmented reality cloud server for storing augmented reality recognition information in cooperation with the media content providing server, extracting additional information based on the moving image recognition information, and transmitting the extracted augmented reality information to the media content providing server. Media content providing system.
청구항 1에서, 상기 시청자 단말기는 동영상 인식과 부가정보 서비스를 위한 광고 애플리케이션을 내장하고, 상기 광고 애플리케이션을 통해 동영상 촬영과 동영상 인식을 수행하며, 인식한 동영상 이미지를 기초로 부가정보 요청과 수신한 부가정보 표출을 제어하는 것을 특징으로 하는 동영상 인식 기반의 미디어 콘텐츠 제공시스템.
The method of claim 1, wherein the viewer terminal includes an advertisement application for moving image recognition and additional information service, performs moving image shooting and moving image recognition through the advertisement application, Wherein the information presentation control unit controls the information presentation.
청구항 1에서, 상기 미디어 콘텐츠 제공서버는 상기 광고의뢰서버로부터 제공되는 광고 영상과 선정된 광고 장면을 인식 영상으로 업로드 받는 인식 영상 등록부; 상기 인식 영상 등록부에서 업로드 한 광고 영상 파일을 처리하여 증강현실 이미지로 등록하며, 상기 시청자 단말기로부터 전송되는 동영상 인식정보를 기초로 증강현실 클라우드 서버와 연동하여 부가정보를 추출 및 제공해주는 증강현실 이미지 등록 및 서비스부; 상기 증강현실 이미지 등록 및 서비스부와 연동하여 광고 장면 정보를 기초로 증강현실 이미지를 설정하는 증강현실 이미지 설정부를 포함하는 것을 특징으로 하는 동영상 인식 기반의 미디어 콘텐츠 제공시스템.
The media content providing server according to claim 1, wherein the media content providing server comprises: a recognition image registration unit for receiving an advertisement image provided from the advertisement requesting server and a selected advertisement scene as recognition images; An augmented reality image registration unit for registering the augmented reality image as an augmented reality image by processing the augmented reality image file uploaded from the recognition image registration unit and extracting and providing supplementary information in cooperation with the augmented reality cloud server based on the augmented reality cloud information transmitted from the viewer terminal And a service unit; And an augmented reality image setting unit for setting an augmented reality image based on advertisement scene information in association with the augmented reality image registration and service unit.
청구항 3에서, 상기 증강현실 이미지 설정부는 상기 증강현실 이미지 등록 및 서비스부와 연동하여 증강현실 이미지를 설정하기 위한 미디어/제품의 영상 코드를 추출하는 영상 코드 추출기; 비디오/제품 리스트를 포함하는 콘텐츠 코드를 추출하는 콘텐츠 코드 추출기; 상기 추출한 영상 코드와 콘텐츠 코드를 이용하여 증강현실 등록 구간 설정과 증강현실 출력 콘텐츠를 설정하여 증강현실 설정 등록을 요청하는 증강현실(AR) 설정 등록부를 포함하는 것을 특징으로 하는 동영상 인식 기반의 미디어 콘텐츠 제공시스템.
The image forming apparatus of claim 3, wherein the augmented reality image setting unit comprises: an image code extractor for extracting an image code of a media / product for setting an augmented reality image in cooperation with the augmented reality image registration and service unit; A content code extractor for extracting a content code including a video / product list; And an augmented reality (AR) setting registration unit for setting an augmented reality registration section and an augmented reality output content by using the extracted image code and a content code to request a registration of augmented reality setting. Delivery system.
청구항 3에서, 상기 증강현실 이미지 등록 및 서비스부는 상기 인식 영상 등록부에서 업-로드한 영상으로부터 광고 장면 정보를 기초로 섬내일(Thumbnail)을 추출하고, 프레임 단위로 캡처하여 인식 이미지를 추출하고, 영상 파일은 스토리지에 저장하며, 섬내일 및 캡처한 이미지는 데이터베이스에 저장하는 영상 관리 모듈을 포함하는 것을 특징으로 하는 동영상 인식 기반의 미디어 콘텐츠 제공시스템.
The augmented reality image registration and service unit extracts a thumbnail on the basis of the advertisement scene information from the image uploaded from the recognized image registration unit, captures the thumbnail on a frame basis, extracts the recognized image, Wherein the video management module includes a video management module for storing the file in the storage and storing the tomorrow and the captured image in a database.
청구항 3에서, 상기 증강현실 이미지 등록 및 서비스부는 상기 증강현실 이미지 설정부에서 전송된 영상 구간 정보를 기초로 영상 구간 정보 열람 및 저장 데이터를 생성하고, 상기 증강현실 이미지 설정부에서 전송된 콘텐츠 정보를 기초로 콘텐츠 코드 생성 및 저장 데이터를 생성하며, 상기 영상 구간정보 열람 및 저장 데이터와 상기 콘텐츠 코드 생성 및 저장 데이터를 정합하여 증강현실 인식정보를 생성하고, 생성한 증강현실 인식정보를 증강현실 클라우드 서버에 등록하는 증강현실 등록 모듈을 포함하고,
상기 증강현실 등록 모듈은 상기 영상 구간정보 열람 및 저장 데이터와 상기 콘텐츠 코드 생성 및 저장 데이터를 정합하여 영상정보 데이터 및 메타 데이터를 증강현실 인식정보로 생성하는 것을 특징으로 하는 동영상 인식 기반의 미디어 콘텐츠 제공시스템.
The augmented reality image registration and service unit may generate video segment information viewing and storing data based on the video segment information transmitted from the augmented reality image setting unit, Generates the content code generation and storage data on the basis of the video segment information, generates the augmented reality recognition information by matching the video segment information viewing and storing data with the content code generation and storage data, and outputs the generated augmented reality recognition information to the augmented reality cloud server And an augmented reality registration module for registering the augmented reality registration module,
Wherein the augmented reality registration module generates the video information data and the metadata as the augmented reality recognition information by matching the video segment information viewing and storing data with the content code generation and storage data, system.
청구항 3에서, 상기 증강현실 이미지 등록 및 서비스부는 상기 시청자 단말기로부터 동영상 인식정보가 수신되면, 특징점을 추출하고 추출한 특징점을 증강현실 클라우드 서버로 전송하여 매칭 데이터를 추출하고, 추출한 매칭 데이터를 기초로 증강현실 클라우드 서버와 연동하여 인식한 동영상에 대응하는 부가정보를 추출하여 상기 시청자 단말기로 전송해주는 부가정보 제공부를 포함하며,
상기 부가정보는 상품 데이터 정보, 상품 목록 정보, 상품을 판매 및 구매하는 사이트의 URL 정보 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 동영상 인식 기반의 미디어 콘텐츠 제공시스템.
The augmented reality image registration and service unit extracts the feature points from the viewer terminal and transmits the extracted feature points to the augmented reality cloud server to extract matching data, and based on the extracted matching data, And an additional information providing unit for extracting additional information corresponding to the recognized moving picture in cooperation with the real-time cloud server and transmitting the extracted additional information to the viewer terminal,
Wherein the additional information includes at least one of merchandise data information, merchandise listing information, and URL information of a site for selling and purchasing a merchandise.
동영상 인식 기반의 미디어 콘텐츠를 제공해주는 방법으로서,
(a) 시청자 단말기에서 기등록된 광고 애플리케이션을 이용하여 방송장치를 통해 방송되는 동영상을 인식하고, 동영상 인식 정보를 기초로 미디어 콘텐츠 제공서버에 부가정보를 요청하는 단계;
(b) 상기 미디어 콘텐츠 제공서버에서 수신한 동영상 인식 정보로부터 특징점을 추출하고, 추출한 특징점을 기초로 증강현실 클라우드 서버와 연동하여 매칭 데이터를 요청하는 단계;
(c) 상기 증강현실 클라우드 서버에서 특징점을 분석하여 매칭 데이터를 추출하고, 추출한 매칭 데이터를 상기 미디어 콘텐츠 제공서버에 전송하는 단계;
(d) 상기 미디어 콘텐츠 제공서버에서 상기 매칭 데이터를 기반으로 메타 데이터를 추출하여 상기 증강현실 클라우드 서버에 부가정보를 요청하는 단계;
(e) 상기 증강현실 클라우드 서버에서 수신한 메타데이터를 기초로 부가 정보를 추출하여 상기 미디어 콘텐츠 제공서버에 전송하는 단계; 및
(f) 상기 미디어 콘텐츠 제공서버에서 수신한 부가정보를 시청자 단말기에 전송하고, 상기 시청자 단말기와 연동하여 부가정보에 대한 서비스를 제공해주는 단계를 포함하는 것을 특징으로 하는 동영상 인식 기반의 미디어 콘텐츠 제공방법.
A method of providing media content based on motion picture recognition,
(a) recognizing a moving picture broadcast through a broadcasting apparatus using an advertisement application previously registered in a viewer terminal, and requesting additional information from the media content providing server based on the moving image recognition information;
(b) extracting feature points from the moving image recognition information received by the media content providing server, and requesting matching data in association with the augmented reality cloud server based on the extracted feature points;
(c) analyzing minutiae in the augmented reality cloud server to extract matching data, and transmitting the extracted matching data to the media content providing server;
(d) extracting metadata based on the matching data at the media content providing server and requesting additional information from the augmented reality cloud server;
(e) extracting additional information based on metadata received from the augmented reality cloud server and transmitting the extracted additional information to the media content providing server; And
(f) transmitting additional information received from the media content providing server to a viewer terminal and providing a service for additional information in cooperation with the viewer terminal, .
청구항 9에서, 상기 (e)단계는 (e1) 수신한 메타 데이터를 해석하는 단계; (e2) 상기 해석한 메타 데이터를 기초로 제품 코드(pCode)를 추출하는 단계; (e3) 상기 추출한 제품 코드를 기반으로 데이터베이스를 검색하여 상품 데이터를 추출하는 단계; (e4) 상기 추출한 상품 데이터를 부가 정보로 상기 미디어 콘텐츠 제공서버에 전송하는 단계를 포함하는 것을 특징으로 하는 동영상 인식 기반의 미디어 콘텐츠 제공방법.
The method of claim 9, wherein the step (e) comprises: (e1) analyzing the received metadata; (e2) extracting a product code (pCode) based on the analyzed metadata; (e3) extracting product data by searching a database based on the extracted product code; (e4) transmitting the extracted product data as additional information to the media content providing server.
청구항 8에서, 상기 (f)단계는 (f1) 상기 증강현실 클라우드 서버로부터 전송된 부가 정보를 수신하여 해석하는 단계; (f2) 상기 (f1)단계의 해석 결과를 기초로 상품 목록을 추출하여 상기 시청자 단말기에 출력해주고, 상품 판매 및 구매 사이트의 URL을 자동으로 연결하는 단계; (f3) 상기 시청자 단말기로부터 상품 선택이 발생하면, 연결 URL을 리다이렉트하는 단계를 포함하는 것을 특징으로 하는 동영상 인식 기반의 미디어 콘텐츠 제공방법.[8] The method of claim 8, wherein the step (f) includes the steps of: (f1) receiving and analyzing supplementary information transmitted from the augmented reality cloud server; (f2) extracting a product list based on the analysis result of the step (f1), outputting the product list to the viewer terminal, and automatically connecting the URL of the product sale and purchase site; (f3) redirecting the connection URL when a product selection is made from the viewer terminal.
KR1020170183853A 2017-12-29 2017-12-29 System and method for providing media content based on video recognition KR20190081367A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170183853A KR20190081367A (en) 2017-12-29 2017-12-29 System and method for providing media content based on video recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170183853A KR20190081367A (en) 2017-12-29 2017-12-29 System and method for providing media content based on video recognition

Publications (1)

Publication Number Publication Date
KR20190081367A true KR20190081367A (en) 2019-07-09

Family

ID=67261770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170183853A KR20190081367A (en) 2017-12-29 2017-12-29 System and method for providing media content based on video recognition

Country Status (1)

Country Link
KR (1) KR20190081367A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102553566B1 (en) * 2022-02-14 2023-07-10 엘지전자 주식회사 Tv platform linked with nft market and control method of the tv platform
CN116887009A (en) * 2023-09-06 2023-10-13 湖南智警公共安全技术研究院有限公司 End cloud integrated video structuring method and system based on 5G network
WO2024058447A1 (en) * 2022-09-14 2024-03-21 라인 넥스트 인코포레이티드 Method and system for issuing token in which image content is combined with crystal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110043568A (en) 2011-03-16 2011-04-27 강민수 Keyword Advertising Method and System Based on Meta Information of Multimedia Contents Information like Ccommercial Tags etc.
KR20120108306A (en) 2011-03-23 2012-10-05 (주)큐앤솔브 Method and system for face recongnition based advertisment
KR20160024374A (en) 2016-02-15 2016-03-04 주식회사 비즈모델라인 Method for Providing Advertisement Relating Service
KR101694779B1 (en) 2015-09-01 2017-01-10 주식회사 시어스랩 Advertisement method and apparatus using camera application

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110043568A (en) 2011-03-16 2011-04-27 강민수 Keyword Advertising Method and System Based on Meta Information of Multimedia Contents Information like Ccommercial Tags etc.
KR20120108306A (en) 2011-03-23 2012-10-05 (주)큐앤솔브 Method and system for face recongnition based advertisment
KR101694779B1 (en) 2015-09-01 2017-01-10 주식회사 시어스랩 Advertisement method and apparatus using camera application
KR20160024374A (en) 2016-02-15 2016-03-04 주식회사 비즈모델라인 Method for Providing Advertisement Relating Service

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102553566B1 (en) * 2022-02-14 2023-07-10 엘지전자 주식회사 Tv platform linked with nft market and control method of the tv platform
WO2023153568A1 (en) * 2022-02-14 2023-08-17 엘지전자 주식회사 Television (tv) platform linked with non fungible token (nft) market, and control method for same tv platform
WO2024058447A1 (en) * 2022-09-14 2024-03-21 라인 넥스트 인코포레이티드 Method and system for issuing token in which image content is combined with crystal
CN116887009A (en) * 2023-09-06 2023-10-13 湖南智警公共安全技术研究院有限公司 End cloud integrated video structuring method and system based on 5G network
CN116887009B (en) * 2023-09-06 2023-12-12 湖南智警公共安全技术研究院有限公司 End cloud integrated video structuring method and system based on 5G network

Similar Documents

Publication Publication Date Title
US9961404B2 (en) Media fingerprinting for content determination and retrieval
US8458053B1 (en) Click-to buy overlays
US8468565B2 (en) Method and apparatus for displaying information in response to motion picture programming
US8315423B1 (en) Providing information in an image-based information retrieval system
US9247305B2 (en) Systems and methods for displaying and interacting with interaction opportunities associated with media content
CN103369049B (en) Mobile terminal and server exchange method and system thereof
US9043828B1 (en) Placing sponsored-content based on images in video content
US20150170245A1 (en) Media content instance embedded product marketing
US8156001B1 (en) Facilitating bidding on images
US20170213248A1 (en) Placing sponsored-content associated with an image
US20130185157A1 (en) Systems and methods for presentation and analysis of media content
KR20190081367A (en) System and method for providing media content based on video recognition
KR20160027486A (en) Apparatus and method of providing advertisement, and apparatus and method of displaying advertisement
WO2015045439A1 (en) System, method and program for identifying program being viewed
JP2007174108A (en) Information display method, system, and program
KR20160017467A (en) Method and apparatus for providing product information related to video contents
WO2014076442A1 (en) A self-service facility for content providers
KR20150066657A (en) Marketing method and apparatus using moving picture contents
KR20220003200A (en) Method and system for providing video content service
WO2019093292A1 (en) Customer service assistance device, customer service assistance method, and computer-readable storage medium
JP2004185591A (en) Method, device, and program for providing advertisement information, and recording medium with program recorded thereon
KR20160010662A (en) System and method of providing PPL advertisement products
US20180012276A1 (en) Systems and methods for identifying media and providing supplemental media information
KR101515174B1 (en) Smart display
Jing et al. Placing Sponsored-Content Associated With An Image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application