KR20150066009A - Method and apparatus for inserting advertisement - Google Patents

Method and apparatus for inserting advertisement Download PDF

Info

Publication number
KR20150066009A
KR20150066009A KR1020130150842A KR20130150842A KR20150066009A KR 20150066009 A KR20150066009 A KR 20150066009A KR 1020130150842 A KR1020130150842 A KR 1020130150842A KR 20130150842 A KR20130150842 A KR 20130150842A KR 20150066009 A KR20150066009 A KR 20150066009A
Authority
KR
South Korea
Prior art keywords
advertisement
image
area
region
information
Prior art date
Application number
KR1020130150842A
Other languages
Korean (ko)
Inventor
홍현석
박상규
김경영
한희철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130150842A priority Critical patent/KR20150066009A/en
Publication of KR20150066009A publication Critical patent/KR20150066009A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26283—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for associating distribution time parameters to content, e.g. to generate electronic program guide data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

Disclosed are a method for inserting an advertisement and a terminal therefor. The method comprises the steps of: analyzing the form of each image area in images and location information of the area; predicting user interest in each image area based on the analyzed form of each image and location information; setting an advertisement target area in at least one image area depending on the predicted user interest; selecting an advertisement media based on a predetermined advertisement category and the form of the image area; and inserting the advertisement media to the set advertisement target area based on the location information of the image area.

Description

광고 삽입 방법 및 이를 위한 단말기{Method and apparatus for inserting advertisement}TECHNICAL FIELD The present invention relates to a method and apparatus for inserting an advertisement,

본 발명은 광고 삽입 방법 및 이를 위한 단말기에 관한 것으로 보다 상세하게는, 카메라의 영상에 광고 영상 또는 광고 문자를 삽입하는 처리 방법 및 이를 위한 단말기에 관한 것이다.The present invention relates to a method of inserting an advertisement and a terminal for the same, and more particularly, to a method and a terminal for inserting a commercial image or an advertisement character into a camera image.

통상적인 광고 삽입 처리는 잘 보이지 않는 워터마크 형태나 불투명 혹은 반투명 문자들을 영상에 오버레이(overlay)하거나 사진 정보가 포함된 웹 페이지의 별도의 공간에 이미지나 텍스트 형태로 광고를 할당한다.A typical advertisement insertion process overlays a watermark type, opaque or translucent characters that are not well visible, or assigns an advertisement in an image or a text form to a separate space of a web page containing photograph information.

그러나 워터마크 및 불투명/반투명 문자들은 사람의 눈에 잘 뛰지 않으면서 사람의 눈에 상당히 거슬린다. 또한 웹 페이지의 광고는 이미지나 텍스트를 별도로 사용하게 되는데, 별도의 공간을 필요로 한다.However, watermarks and opaque / translucent characters do not play well in the eyes of people, but they are very irritating to people's eyes. In addition, the advertisement of the web page uses the image or the text separately and requires a separate space.

본 발명은 카메라의 영상을 분석하여 결정된 광고 대상 영상 영역에 광고 미디어를 삽입하는 광고 삽입 방법 및 이를 위한 단말기를 제공하는 것을 목적으로 한다.The present invention provides an advertisement insertion method for inserting an advertisement medium into an image area of an advertisement target determined by analyzing an image of a camera, and a terminal for the advertisement insertion method.

상기 과제들을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 광고 삽입 방법은, 영상으로부터 영역별 형태 및 상기 영역의 위치 정보를 분석하는 단계; 상기 분석된 영역 별 형태 및 위치 정보에 기반하여 상기 영상 영역별로 사용자 관심도를 예측하는 단계; 상기 예측된 사용자 관심도에 따라 적어도 하나의 상기 영상 영역 중 광고 대상 영역을 설정하는 단계; 상기 영상 영역의 형태 및 미리 결정된 광고 카테고리에 기반하여 광고 미디어를 선택하는 단계; 및 상기 영상 영역의 위치 정보에 기반하여 상기 설정된 광고 대상 영역에 상기 광고 미디어를 삽입하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of inserting an advertisement, the method comprising: analyzing a shape of a region and position information of the region from an image; Estimating user interest for each of the image regions based on the analyzed region type and location information; Setting an advertisement target area of at least one of the image areas according to the predicted user interest; Selecting an advertisement media based on the type of the image region and a predetermined advertisement category; And inserting the advertisement media into the set advertisement area based on the location information of the image area.

상기 영상 영역별 형태 및 상기 영역의 위치 정보를 분석하는 단계는, 카메라의 오토 포커스나 자동 노출 정보를 이용하여 영상의 위치 정보를 추출하고, 영상의 특징 점에 기반하여 영상의 물체를 인식하고, 필터 처리에 기반하여 영상의 에지를 검출하고, 영상의 형태나 색상을 이용하여 사람의 형태를 검출하는 것을 특징으로 한다The analyzing of the shape of the image area and the position information of the area may include extracting position information of the image using autofocus or automatic exposure information of the camera, recognizing the object of the image based on the characteristic point of the image, The edge of the image is detected based on the filter process, and the shape of the person is detected by using the shape and color of the image

상기 광고 대상 영역은 사용자의 편집에 의해 설정되는 것을 특징으로 한다.And the advertisement area is set by editing the user.

상기 사용자 관심도를 예측하는 단계는, 영상 영역의 형태 및 위치 정보를 입력하고, 상기 영상 영역의 형태 및 위치 정보에 기반하여 사용자의 시선이 위치하게 될 가능성을 나타내는 히트 맵을 작성하고, 상기 히트 맵을 이용하여 영상 영역별 사용자 관심도를 예측하는 것을 특징으로 한다.The method of claim 1, wherein the step of predicting the user interest comprises: inputting the type and position information of the image region, creating a heat map indicating a possibility that the user's line of sight will be located based on the shape and position information of the image region, To predict the user interest for each image region.

상기 광고 대상 영역은 상기 예측된 사용자 관심도 및 광고의 가치에 따라 다르게 설정되는 것을 특징으로 한다.And the advertisement area is set differently according to the predicted user interest and the value of the advertisement.

상기 광고 대상 영역을 설정하는 단계는, 상기 사용자 관심도에 따라 광고 대상 영역에 대한 가중치를 결정하고, 상기 가중치에 따라 광고 대상 영역을 설정하는 것을 특징으로 한다.The setting of the advertisement target area may include determining a weight for the advertisement target area according to the user interest and setting an advertisement target area according to the weight.

상기 예측된 사용자 관심도에 따라 광고비, 광고 영상 및 문자의 위치 중 적어도 하나를 조절하는 단계를 더 포함한다.And adjusting at least one of advertisement cost, advertisement image, and character position according to the predicted user interest level.

상기 광고 미디어를 선택하는 단계는, 상기 영역의 형태 및 광고 카테고리에 해당하는 영역별 광고 미디어를 서버로 요청하고, 서버로부터 수신된 영역별 광고 미디어의 형태 및 카테고리와 요청된 영역의 형태 및 광고 카테고리를 매칭하는 것을 특징으로 한다.Wherein the step of selecting the advertisement media comprises the steps of: requesting, by the server, advertisement media for each area corresponding to the type of the area and the advertisement category; .

상기 삽입된 광고 미디어는 원본이나 다른 광고 미디어와 미리 정해진 시간 마다 번갈아 가며 변화되는 것을 특징으로 한다.Wherein the inserted advertisement medium is alternately changed with an original or another advertisement medium at predetermined time intervals.

상기 광고 카테고리 및 영역 분석 정보를 부가 정보로서 헤더 영역에 저장하는 단계를 더 포함한다.And storing the advertisement category and area analysis information as additional information in a header area.

상기 과제들을 달성하기 위한 본 발명의 일 실시 예에 따른 광고 삽입 장치는, 촬영된 영상으로부터 영상 영역별 형태 및 상기 영역의 위치 정보를 분석하는 영상 분석부; 상기 분석된 영상 영역의 형태 및 위치 정보에 기반하여 상기 영상 영역별로 사용자 관심도를 예측하고, 상기 예측된 사용자 관심도에 따라 광고 대상 영역을 설정하는 영역 정보 처리부; 상기 영상 영역의 형태 및 미리 결정된 광고 카테고리에 기반하여 광고 미디어를 선택하는 광고 선택부; 및 상기 영상 영역의 위치 정보에 기반하여 상기 설정된 광고 대상 영역에 상기 광고 미디어를 삽입하는 신호 합성부를 포함한다.According to another aspect of the present invention, there is provided an advertisement inserting apparatus comprising: an image analyzing unit for analyzing a shape of an image region and position information of the region from a photographed image; A region information processor for predicting user interest for each of the video regions based on the analyzed type and position information of the video region and setting an advertisement target region according to the predicted user interest; An advertisement selection unit for selecting an advertisement media based on the type of the image area and the predetermined advertisement category; And a signal synthesizer for inserting the advertisement media into the set advertisement area based on the location information of the image area.

상기 영역 정보 처리부는, 영상 영역별 형태 및 위치 정보에 기반하여 영상 영역들의 사용자의 관심도를 예측하고 상기 사용자 관심도에 따라 영역별 가중치를 결정하는 시선 예측부; 상기 시선 예측부에서 예측된 사용자 관심도에 따라 상기 영상 영역중에서 광고 대상 영역을 설정하는 영역 설정부를 구비하는 것을 특징으로 한다.Wherein the region information processing unit includes: a gaze predictor for predicting a user's interest degree of the image regions based on the shape and position information for each image region and determining a weight for each region according to the user's interest degree; And an area setting unit for setting an advertisement target area in the image area according to the user interest estimated by the gaze prediction unit.

상기 과제들을 달성하기 위한 본 발명의 일 실시 예에 따른 단말기는, 피사체를 촬영하여 영상 정보를 생성하는 촬상부; 상기 영상 정보로 영상 영역의 형태 및 위치 정보를 분석하고, 상기 분석된 영상 영역의 형태 및 위치 정보에 기반하여 사용자 관심도를 예측하고, 상기 예측된 사용자 관심도에 따라 광고 대상 영역을 설정하고, 상기 광고 대상 영역에 미리 결정된 광고 미디어를 삽입하는 영상 처리부; 상기 영상 처리부에서 광고 미디어가 삽입된 영상을 표시하는 표시부를 포함한다.According to an aspect of the present invention, there is provided a terminal including: an imaging unit for imaging an object to generate image information; Analyzing the type and location information of the video region with the video information, predicting the user interest based on the analyzed type and position information of the video region, setting the advertisement target region according to the predicted user interest, An image processing unit for inserting a predetermined advertisement medium into a target area; And a display unit for displaying an image in which the advertisement media is inserted in the image processing unit.

상기 영상 처리부는, 촬영된 영상으로부터 영상 영역별 형태 및 상기 영역의 위치 정보를 분석하는 영상 분석부; 상기 분석된 영상 영역의 형태 및 위치 정보에 기반하여 상기 영상 영역별로 사용자 관심도를 예측하고, 상기 예측된 사용자 관심도에 따라 광고 대상 영역을 설정하는 영역 정보 처리부; 상기 영상 영역의 형태 및 미리 결정된 광고 카테고리에 기반하여 광고 미디어를 선택하는 광고 선택부; 및 상기 영상 영역의 위치 정보에 기반하여 상기 설정된 광고 대상 영역에 상기 광고 미디어를 삽입하는 신호 합성부를 구비하는 것을 특징으로 한다.Wherein the image processing unit comprises: an image analyzing unit for analyzing the shape of the image region and the position information of the region from the photographed image; A region information processor for predicting user interest for each of the video regions based on the analyzed type and position information of the video region and setting an advertisement target region according to the predicted user interest; An advertisement selection unit for selecting an advertisement media based on the type of the image area and the predetermined advertisement category; And a signal synthesizer for inserting the advertisement media into the set advertisement area based on the location information of the image area.

도 1은 본 발명의 일 실시 예에 따라 구현될 수 있는 광고 삽입을 위한 환경을 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따른 단말기의 블록도 이다.
도 3은 도 2의 영상 처리부의 상세 블록도 이다.
도 4는 도 3의 영상 분석부의 상세 블록도 이다.
도 5a 내지 도 5c는 영상 분석부의 영상 분석의 일 예를 도시한 것이다.
도 6은 본 발명의 일 실시 예에 따른 단말기의 광고 삽입 방법을 설명하기 위한 흐름도이다.
도 7은 도 6의 영상 영역별 사용자 시선 예측 단계를 설명하는 상세 흐름도이다.
도 8은 도 6의 광고 미디어 선택 단계를 설명하는 상세 흐름도이다.
도 9는 본 발명의 일 실시 예에 따라 광고 미디어를 삽입한 영상에 대응하는 파일 포맷을 도시한 것이다.
도 10은 본 발명의 일 실시 예에 따라 도 5a의 원본 사진 영상에 광고 미디어가 삽입된 영상을 도시한 것이다.Figure 1 illustrates an environment for ad insertion that may be implemented in accordance with an embodiment of the invention.
2 is a block diagram of a terminal according to an embodiment of the present invention.
3 is a detailed block diagram of the image processing unit of FIG.
4 is a detailed block diagram of the image analysis unit of FIG.
5A to 5C show an example of image analysis of the image analysis unit.
6 is a flowchart illustrating an advertisement insertion method of a terminal according to an embodiment of the present invention.
FIG. 7 is a detailed flowchart for explaining the user gaze prediction step for each image region of FIG. 6;
8 is a detailed flowchart illustrating the advertisement media selection step of FIG.
FIG. 9 illustrates a file format corresponding to an image in which an advertisement medium is inserted according to an embodiment of the present invention.
FIG. 10 illustrates an image in which an advertisement media is inserted into an original photographic image of FIG. 5A according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by terms. Terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

도 1은 본 발명의 일 실시 예에 따라 구현될 수 있는 광고 삽입을 위한 환경을 도시한 것이다.Figure 1 illustrates an environment for ad insertion that may be implemented in accordance with an embodiment of the invention.

환경(100)은 단말기(105), 네트워크(110) 및 서버(115)를 포함한다. 단말기(105)는 네트워크(110)을 통해 서버(115)에 연결되어 있다. 단말기(105)의 예로는 카메라, 스마트 폰, 모바일 장치, 태블릿 장치, 랩 탑(laptop), PDA(personal digital assistant)를 포함하나 이에 국한되지 않는다. 네트워크(110)의 예로는 로칼 영역 네트워크, 광역 네트워크 및 무선 네트워크를 포함하나 이에 국한하지 않는다.The environment 100 includes a terminal 105, a network 110 and a server 115. The terminal 105 is connected to the server 115 via the network 110. Examples of terminals 105 include, but are not limited to, cameras, smart phones, mobile devices, tablet devices, laptops, personal digital assistants (PDAs). Examples of network 110 include, but are not limited to, local area networks, wide area networks, and wireless networks.

단말기(105)는 촬영된 영상에 대한 영역별 형태 및 위치를 분석하고, 그 분석된 영역별 형태 및 위치에 기반하여 광고 대상 영역을 설정하고, 설정된 광고 대상 영역에 서버(115)로부터 수신된 광고 미디어 또는 자체 저장된 광고 미디어를 삽입한다. The terminal 105 analyzes the shape and position of each region of the photographed image, sets an advertisement target region based on the analyzed form and position of each region, and displays the advertisement received from the server 115 Insert media or self-stored advertising media.

서버(115)는 단말기(105)로부터 요청된 광고 대상 영역의 형태 및 카테고리에 해당하는 광고를 단말기(105)에 제공한다. The server 115 provides the terminal 105 with an advertisement corresponding to the type and category of the advertisement target area requested from the terminal 105. [

도 2는 본 발명의 일 실시 예에 따른 단말기(105)의 블록도이다.2 is a block diagram of a terminal 105 in accordance with an embodiment of the present invention.

도 2의 단말기(105)는 촬상부(210), 영상 처리부(220), 제어부(230), 표시부(240), 저장부(250), 통신 인터페이스부(260), 입력부(270)를 포함한다.2 includes an image pickup unit 210, an image processing unit 220, a control unit 230, a display unit 240, a storage unit 250, a communication interface unit 260, and an input unit 270 .

촬상부(210)는 피사체를 촬영하여 영상 정보를 생성한다. 즉, 촬상부(210)는 프레임별로 렌즈(미도시)를 통해 입력된 광학 신호를 전기 신호로 변환하여 여상 정보를 생성한다.The image pickup section 210 photographs a subject to generate image information. That is, the image sensing unit 210 converts the optical signal input through a lens (not shown) for each frame into an electric signal to generate the image information.

영상 처리부(220)는 촬상부(210)에서 생성된 영상 정보에 대한 영역별 형태 및 위치를 분석하고, 그 분석된 영역별 형태 및 위치에 기반하여 광고 대상 영역을 설정하고, 설정된 광고 대상 영역에 서버(115)로부터 수신된 광고 미디어 또는 자체 저장된 광고 미디어를 합성한다. The image processing unit 220 analyzes the shape and position of the image information generated by the image sensing unit 210, and sets an advertisement target area based on the analyzed shape and position of each area, And synthesizes the advertisement media received from the server 115 or the self-stored advertisement media.

표시부(240)는 영상 처리부(220)에서 처리되는 영상이나 각종 정보를 화면으로 표시하고, 제어부(230)에서 출력되는 사용자 데이터를 표시한다.The display unit 240 displays images and various information processed by the image processing unit 220 on a screen and displays user data output from the control unit 230. [

제어부(230)는 각 블록을 제어하며, 특히 촬상부(210)의 렌즈의 포커스를 제어하거나 영상 처리부(220)에 포커스 조정에 따른 영상 신호를 입력하도록 한다.The control unit 230 controls each block, and in particular, controls the focus of the lens of the image sensing unit 210 or inputs the image signal according to the focus adjustment to the image processing unit 220. [

저장부(250)는 제어부(230)에 의해 실행되는 명령들을 저장하거나 각종 정보 데이터를 임시로 저장한다. 저장부(250)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The storage unit 250 stores instructions executed by the control unit 230 or temporarily stores various information data. The storage unit 250 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory) (Random Access Memory) SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) A disk, and / or an optical disk.

통신 인터페이스부(260)는 양 방향 데이터 통신을 이용하여 네트워크(110)를 통해 단말기(105)와 서버(115) 사이를 연결한다. 예를 들면, 통신 인터페이스부(260)는 전화선의 해당 타입으로 데이터 통신 연결을 제공하기 위한 모뎀 또는 ISDN(Integrated Services Digital Network) 카드가 될 수 있다. 또 다른 예로서, 통신 인터페이스부(260)는 호환 LAN에 데이터 통신 연결을 제공하기 위한 LAN(local area network) 카드가 될 수 있다. 이러한 구현에서는, 통신 인터페이스부(260)는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The communication interface unit 260 connects the terminal 105 and the server 115 via the network 110 using bi-directional data communication. For example, the communication interface 260 may be a modem or an Integrated Services Digital Network (ISDN) card for providing a data communication connection with a corresponding type of telephone line. As another example, the communication interface 260 may be a local area network (LAN) card for providing a data communication connection to a compatible LAN. In this implementation, the communication interface unit 260 transmits and receives radio signals to and from at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data depending on a voice call signal, a video call signal, or a text / multimedia message transmission / reception.

입력부(270)는 복수개의 숫자 및 기능 키를 구비하며, 제어부(230)로 정보 및 명령 선택을 전달한다. The input unit 270 has a plurality of numeric and function keys, and transmits information and command selections to the controller 230.

도 3은 도 2의 영상 처리부(220)의 상세 블록도 이다.3 is a detailed block diagram of the image processing unit 220 of FIG.

도 3의 영상 처리부(220)는 영상 분석부(310), 영역 정보 처리부(320), 광고 선택부(330), 신호 합성부(340)를 구비한다.3 includes an image analysis unit 310, an area information processing unit 320, an advertisement selection unit 330, and a signal synthesis unit 340.

영상 분석부(310)는 촬영된 영상으로부터 세그먼트 단위의 영상 영역을 분류하고, 영상 영역별 형태 및 그 영역의 위치 정보를 분석한다. 영상 영역의 형태는 일 실시 예로 영역의 색상, 모양 및 크기를 포함하나 이에 국한되지 않는다. 일 실시 예를 들면, 영상 분석부(310)는 카메라의 오토 포커스 정보를 이용하여 오토 포커스에 대한 위치 정보를 검출하고, 고역 필터를 이용하여 에지 라인에 의한 영역의 형태 예를 들면, 사각형, 원형, 타원형을 검출하고, 영상의 형태나 색상을 이용하여 사람의 형태를 검출한다.The image analyzing unit 310 classifies the image region of the segment unit from the photographed image and analyzes the shape of the image region and the position information of the region. The shape of the image region may include, but is not limited to, the color, shape, and size of the region. For example, the image analyzing unit 310 detects position information on autofocus using the autofocus information of the camera, and uses a high-pass filter to determine the shape of the region by the edge line, for example, , An ellipse is detected, and the shape of a person is detected using the shape and color of the image.

영역 정보 처리부(320)는 영상 분석부(310)에서 분석된 영상 영역의 형태 및 위치 정보에 기반하여 영상 영역별로 사용자 관심도를 예측하고, 예측된 사용자 관심도에 따라 광고 대상 영역을 설정한다. The region information processing unit 320 predicts user interest for each image region based on the type and location information of the image region analyzed by the image analysis unit 310 and sets an advertisement object region according to the predicted user interest.

더 상세하게, 영역 정보 처리부(320)는 시선예측부(320a)와 영역 설정부(320b)를 구비한다. In more detail, the area information processing unit 320 includes a line-of-sight predicting unit 320a and an area setting unit 320b.

시선 예측부(320a)는 영상 영역의 크기 및 오토 포커스 위치 정보를 이용하여 히트 맵(heat map)을 작성하고, 작성된 히트 맵의 값에 따라 사용자의 관심도를 예측한다. 히트 맵은 색상으로 표현할 수 있는 다양한 정보를 일정한 이미지상에 열 분포 형태를 그래픽으로 표현한 것이다. 히트 맵은 영상 분석을 통해 사용자의 시선이 위치하게 될 가능성을 나타낼 수 있다. 예를 들면, 사람들의 시선을 많이 받는 위치가 높은 온도의 색상을 나타낸다. 히트 맵에서 온도 색상이 높은 위치 영역이 사람의 시선이 가장 많이 머무는 영역이다. 히트 맵은 영상의 원본 픽셀 사이즈에서 작성될 필요가 없으며 VGA 와 같은 적정 크기의 영상에서 작성 될 수 있다. The gaze predictor 320a generates a heat map using the size of the image area and the autofocus position information, and predicts the user's interest according to the value of the generated heat map. The heat map is a graphical representation of the thermal distribution form on a certain image with various information that can be expressed in color. The heat map can indicate the possibility that the user's gaze is positioned through image analysis. For example, a location that receives a lot of attention from people shows a high temperature color. In the heat map, the position area where the temperature color is high is the area where the human eye gazes the most. The heat map does not need to be created at the original pixel size of the image but can be created from an image of the proper size such as VGA.

영역 설정부(320b)는 시선 예측부(320a)에서 예측된 사용자의 관심도에 따라 광고 대상 영역을 설정한다.The area setting unit 320b sets an advertisement target area according to the degree of interest of the user predicted by the gaze predictor 320a.

광고 선택부(330)는 영역 정보 처리부(320)에서 설정된 광고 대상 영역의 형태 정보 및 사용자에 의해 선택된 광고 카테고리 정보를 네트워크(110)를 통해 서버(115)로 전송하고, 서버(115)로부터 수신되는 적어도 하나의 광고 미디어를 광고 대상 영역의 형태 정보 및 광고 카테고리 정보와 매칭하고, 그 광고 대상 영역의 형태 및 카테고리에 가장 잘 매칭된 광고 미디어를 광고 대상 영역에 설정한다. 만약 단말기의 네트워크 기능이 오프 되어 있을 경우 광고 선택부(330)는 1회 수신된 적어도 하나의 광고 미디어 중에서 순차적 혹은 랜덤 순서로 광고 미디어를 선택할 수 있다. 다른 실시 예로, 광고 선택부(330)는 사용자에 의해 선택된 광고 카테고리 정보 대신에 자체 내에 저장된 광고 카테고리를 설정할 수 있다. 또 다른 실시 예로, 광고 선택부(330)는 물체 인식 정보를 이용하여 카테고리를 자동으로 설정할 수 있다.The advertisement selection unit 330 transmits the type information of the advertisement area set by the area information processing unit 320 and the advertisement category information selected by the user to the server 115 via the network 110, At least one advertisement medium is matched with the type information and the advertisement category information of the advertisement target area and the advertisement media best matched to the form and category of the advertisement target area is set in the advertisement target area. If the network function of the terminal is off, the advertisement selection unit 330 may select the advertisement media in a sequential or random order among at least one advertisement media received once. In another embodiment, the advertisement selection unit 330 may set an advertisement category stored in itself instead of the advertisement category information selected by the user. In another embodiment, the advertisement selection unit 330 may automatically set the category using the object recognition information.

신호 합성부(340)는 영역 정보 처리부(320)에서 설정된 광고 대상 영역의 위치 정보를 참조하여 광고 대상 영역에 광고 선택부(330)에서 선택된 광고 미디어를 삽입한다. 신호 합성부(340)는 광고 미디어가 삽입된 영상을 네트워크(110)를 통해 웹이나 이미지 뷰어로 전송한다.The signal synthesis unit 340 inserts the advertisement media selected by the advertisement selection unit 330 into the advertisement target area by referring to the location information of the advertisement target area set by the area information processing unit 320. [ The signal synthesizing unit 340 transmits the image having the advertisement media inserted therein to the web or the image viewer through the network 110.

다른 실시 예로서, 광고 선택부(330)와 신호 합성부(340)는 서버(115)에서 수행 할 수 있다. 즉, 서버(115)는 광고 대상 영역에 맞는 광고 미디어를 선택하고 광고 미디어 삽입 영상을 단말기(105)로 제공할 수 있다. In another embodiment, the advertisement selecting unit 330 and the signal combining unit 340 may be performed by the server 115. [ That is, the server 115 may select an advertisement media suitable for the advertisement target area and provide the advertisement media inserted image to the terminal 105.

도 4는 도 3의 영상 분석부(310)의 상세 블록도 이다.4 is a detailed block diagram of the image analysis unit 310 of FIG.

도 4의 영상 분석부(310)는 초점 정보 검출부(410), 물체 인식부(420), 에지 검출부(430), 휴먼 포즈 검출부(440)를 포함한다. The image analysis unit 310 of FIG. 4 includes a focus information detection unit 410, an object recognition unit 420, an edge detection unit 430, and a human pose detection unit 440.

초점 정보 검출부(410)는 카메라의 오토 포커스나 자동 노출 정보를 이용하여 초점의 위치 정보를 추출한다.The focus information detection unit 410 extracts position information of the focus using the autofocus or automatic exposure information of the camera.

물체 인식부(420)는 영상의 특징 점에 기반하여 영상의 얼굴을 인식하고, 인식된 얼굴에 대한 나이, 성별을 감지한다.The object recognition unit 420 recognizes the face of the image based on the feature points of the image, and detects the age and sex of the recognized face.

영상 에지 검출부(430)는 영상의 에지 라인을 분석하여 영상의 에지를 검출한다. 일 실시 예로, 영상 에지 검출부(430)는 고주파 필터를 이용하여 영상의 에지 라인을 검출할 수 있다. 도 5b에 도시된 바와 같이 원본 영상(도 5a)은 에지 라인 검출에 의해 사각형 영역, 원형 영역, 타원형 영역 및 문자 영역과 같은 형태(520)로 분류될 수 있다. The image edge detecting unit 430 analyzes an edge line of the image to detect an edge of the image. In one embodiment, the image edge detection unit 430 can detect an edge line of an image using a high frequency filter. As shown in FIG. 5B, the original image (FIG. 5A) may be classified into a shape 520 such as a rectangular area, a circular area, an elliptical area, and a character area by edge line detection.

휴먼 포즈 검출부(440)는 도 5c에 도시된 바와 같이 영상의 형태나 색상을 이용하여 사람의 포즈에 해당하는 사람의 형태 정보(530)를 검출한다. 검출된 사람의 형태 정보(530)는 사람의 신체 위치에 악세서리(accessory) 광고를 삽입하기 위한 영상 위치를 제공한다.The human pose detecting unit 440 detects human type information 530 corresponding to a human pose using the shape and color of the image, as shown in FIG. 5C. The detected person's shape information 530 provides an image position for inserting an accessory advertisement into a person's body location.

도 6은 본 발명의 일 실시 예에 따른 단말기(105)의 광고 삽입 방법을 설명하기 위한 흐름도이다. 6 is a flowchart illustrating an advertisement insertion method of the terminal 105 according to an embodiment of the present invention.

이 방법은 단계 610에서 시작한다.The method begins at step 610.

단계 620에서, 단말기는 카메라에서 촬영된 영상을 입력한다.In step 620, the terminal inputs the image photographed by the camera.

단계 630에서, 단말기는 촬영된 영상으로부터 오토 포커스 신호나 라인 에지 신호, 휴먼 포즈 신호등을 이용하여 영상 영역별 형태 및 그 영역의 위치 정보를 분석한다.In step 630, the terminal analyzes the shape of the image area and the position information of the area using an autofocus signal, a line edge signal, a human pose signal, etc. from the photographed image.

단계 640에서, 단말기는 분석된 영상의 영역 별 형태 및 영역의 위치 정보를 조합하여 영상 영역별 사용자 관심도를 산출하고, 사용자 관심도를 이용하여 사용자 시선을 예측한다. 일 실시 예로, 단말기는 라인 에지 신호에 의한 영역의 형태 및 오토 포커스 신호에 의한 영역의 위치를 이용하여 히트 맵을 작성하여 사용자 시선을 예측한다. 일 실시 예로서, 영상 영역의 형태는 영역의 색상, 모양 및 크기를 포함한다.In step 640, the terminal calculates the user interest for each image region by combining the analyzed region of the image and the location information of the region, and predicts the user's gaze using the user interest. In one embodiment, the terminal generates a heat map using the shape of the area by the line edge signal and the position of the area by the auto focus signal to predict the user's gaze. In one embodiment, the shape of the image region includes the color, shape, and size of the region.

단계 650에서, 단말기는 예측된 사용자 관심도에 따라 분석된 적어도 하나의 영상 영역으로부터 광고 대상 영역을 설정한다. 단말기는 사용자의 관심도에 따라 영역별로 가중치를 두고, 그 가중치에 따라 광고 대상 영역을 설정한다. 또한 단말기는 예측된 사용자 관심도에 따라 광고비나 광고 영상 및 문자의 위치를 조절 할 수 있다. 예를 들면, 단말기는 사용자의 관심도에 따라 사용자의 시선을 가장 거스르지 않는 광고 대상 영역을 설정한다. 단말기는 사용자의 시선을 사로잡는 위치에 광고를 배치할수록 높은 광고 단가를 적용할 수 있다. 다른 실시 예로, 광고 대상 영역은 사용자에 의해 터치를 통해 제거, 수정 및 추가와 같이 편집될 수 있다. 또 다른 실시 예로, 광고 대상 영역은 예측된 사용자 관심도에 더해 광고의 가치에 따라 다르게 설정될 수 있다. In step 650, the terminal sets the advertisement target area from at least one image area analyzed according to the predicted user interest. The terminal sets a weight for each region according to the degree of interest of the user and sets an advertisement target region according to the weight. Also, the terminal can adjust the advertisement ratio, the location of the advertisement image, and the character according to the predicted user interest. For example, the terminal sets an advertisement target area that does not infringe the user's line of sight according to the degree of interest of the user. As the terminal places the advertisement in the position of attracting the attention of the user, it can apply the higher advertisement price. In another embodiment, the targeted area of interest may be edited, such as by removal, modification, and addition, by touch, by the user. In another embodiment, the area to be advertised may be set differently according to the value of the advertisement in addition to the predicted user interest.

단계 560에서, 단말기는 설정된 광고 대상 영역의 형태와 사용자 또는 자체 내에 저장된 광고 카테고리를 이용하여 서버로 해당 광고 미디어를 요청하고, 서버로부터 수신된 광고 미디어의 형태 및 카테고리와 설정된 광고 대상 영역의 형태 및 광고 카테고리를 비교하여 매칭되는 광고 미디어를 선택한다. 일 실시 예로, 단말기는 광고 미디어 매칭 시 시각에 의한 원근 왜곡(perspective distortion)도 고려한다.In step 560, the terminal requests the advertisement media to the server using the format of the set advertisement area and the advertisement category stored in the user or the self, and displays the format and category of the advertisement media received from the server, And compares the advertisement categories to select matching advertisement media. In one embodiment, the terminal also considers perspective distortion due to time of ad media matching.

단계 670에서, 단말기는 설정된 광고 대상 영역의 위치 정보에 기반하여 광고 대상 영역에 선택된 광고 미디어를 삽입한다. 일 실시 예로 단말기는 광고 미디어 삽입을 위해 원근 왜곡(perspective distortion)을 사용함으로써 자연스러운 영상을 생성한다. In step 670, the terminal inserts the selected advertisement media into the advertisement target area based on the location information of the set advertisement target area. In one embodiment, the terminal generates a natural image by using perspective distortion for insertion of the advertisement media.

또한, 단말기는 사용자의 시선 예측에 기반하여 결정된 광고 대상 영역에 따라 광고 삽입의 가격을 책정할 수 있다. 예를 들면, 사용자의 시선의 가능성이 높은 영역의 광고 삽입은 높은 가격으로 책정되고, 사용자의 시선의 가능성이 낮은 영역의 광고 삽입은 낮은 가격으로 책정될 수 있다.  Also, the terminal can set the price of the advertisement insertion according to the advertisement target area determined based on the user's gaze prediction. For example, advertisement insertion in an area where a user's eyesight is likely to be high is set at a high price, and advertisement insertion in an area where a user's eyesight is low is low.

다른 실시 예로, 삽입된 광고 영상은 원본이나 다른 광고 영상과 미리 결정된 시간 마다 번갈아 가며 변화될 수 있다.   In another embodiment, the inserted advertisement image may alternate with the original or another advertisement image every predetermined time.

다른 실시 예로, 본 발명의 일 실시 예를 동영상에 적용할 경우, 단말기는 프레임간의 해당 영역 인근의 움직임을 고려하여 광고 삽입의 위치를 조정할 수 있다.    In another embodiment, when an embodiment of the present invention is applied to a moving picture, the terminal can adjust the position of the insertion of the advertisement in consideration of the movement of the frame near the corresponding area.

최종적으로 단말기는 광고 미디어가 삽입된 영상을 네트워크를 통해 사진 서버나 웹 사이트로 전송할 수 있다. 광고 미디어가 삽입된 영상의 포맷은 기존의 사진 포맷과 같이 JPG 형태일 수 있으며, 플래시 파일 형태일 수 있다. 플래시 파일 형태는 사용자가 영상을 볼 때 마다 광고를 업 데이트하거나 해당 광고 부분을 선택 시 하이퍼링크로 이용될 수 있다. Finally, the terminal can transmit the advertisement media inserted image to the photo server or the web site through the network. The format of the image in which the advertisement media is inserted may be a JPG format like a conventional photo format, or a flash file format. The flash file format can be used as a hyperlink when updating the advertisement each time the user views the image or selecting the corresponding advertisement portion.

따라서, 본 발명의 일 실시 예에 따르면 카메라의 촬영 영상을 분석하여 영상에서 가장 중요하거나 중요하지 않는 부분에 광고 문구나 영상을 자연스럽게 삽입함으로써 웹의 영상 검색을 통해 대중들에게 전달되어 광고 수단으로 활용할 수 있다. Therefore, according to the embodiment of the present invention, the photographed image of the camera is analyzed and the advertising phrase or the image is naturally inserted into the most important or unimportant part of the image to be transmitted to the public through the image search of the web, .

이 방법은 단계 680에서 종료 한다.The method ends at step 680.

도 7은 도 6의 영상 영역별 사용자 시선 예측 단계를 설명하는 상세 흐름도이다.FIG. 7 is a detailed flowchart for explaining the user gaze prediction step for each image region of FIG. 6;

이 방법은 단계 710에서 시작한다.The method begins at step 710.

단계 720에서, 단말기는 분석된 영상의 영역 별 형태 및 영역의 위치 정보를 입력한다.In step 720, the terminal inputs the region type of the analyzed image and the location information of the region.

단계 730에서, 단말기는 영역의 크기나 형태, 영역의 위치를 이용하여 히트 맵을 작성한다. 예를 들면, 사람의 시선은 영상 영역의 크기 및 색상에 따라서 달라질 수 있다. 따라서 단말기는 히트 맵 작성을 통해 사용자의 시선을 예측할 수 있다.In step 730, the terminal creates a heat map using the size, shape, and location of the area. For example, a person's gaze may vary depending on the size and color of the image area. Accordingly, the terminal can predict the user's gaze through the creation of the heat map.

단계 740에서, 단말기는 히트 맵을 이용하여 영상 영역별 사용자 관심도에 해당하는 사용자 시선을 예측한다. In step 740, the terminal predicts the user's gaze corresponding to the user interest level for each image region using the heat map.

이 방법은 단계 750에서 종료한다.The method ends at step 750.

도 8은 도 6의 광고 미디어 선택 단계를 설명하는 상세 흐름도이다.8 is a detailed flowchart illustrating the advertisement media selection step of FIG.

이 방법은 단계 810에서 시작한다.The method starts at step 810.

단계 820에서, 단말기는 광고 대상 영역의 형태를 입력한다.In step 820, the terminal inputs the type of the area to be advertised.

단계 830에서, 단말기는 사용자 또는 자체 내에 저장된 광고 카테고리를 선택한다.In step 830, the terminal selects an advertisement category stored within the user or itself.

단계 840에서, 단말기는 광고 대상 영역의 광고 미디어를 요청하기 위해 광고 대상 영역의 형태 및 카테고리 정보를 서버로 전송한다.In step 840, the terminal transmits the type of the advertisement area and the category information to the server in order to request the advertisement media in the advertisement area.

단계 850에서, 단말기는 서버로부터 광고 미디어의 형태와 카테고리를 수신한다.In step 850, the terminal receives the type and category of advertising media from the server.

단계 860에서, 단말기는 서버로부터 수신된 광고 미디어의 형태와 카테고리와 설정된 광고 대상 영역의 형태와 광고 카테고리를 비교한다. In step 860, the terminal compares the type and category of the advertisement media received from the server with the type of the targeted advertisement area and the advertisement category.

단계 870에서, 단말기는 광고 미디어의 형태와 카테고리와 매칭되는 서버의 광고 미디어를 선택한다. In step 870, the terminal selects the advertisement media of the server matching the type and category of the advertisement media.

이 방법은 단계 880에서 종료한다.The method ends at step 880.

도 9는 본 발명의 일 실시 예에 따라 광고 미디어를 삽입한 영상에 대응하는 파일 포맷이다.9 is a file format corresponding to an image in which an advertisement medium is inserted according to an embodiment of the present invention.

도 9를 참조하면, 파일 포맷은 헤더 영역부(910) 및 영상 데이터 영역부(920)를 포함한다.  Referring to FIG. 9, the file format includes a header area 910 and a video data area 920.

헤더 영역부(910)는 부가 정보 예를 들면, 사진 소유자 ID, 광고 위치, 광고 카테고리 정보 및 영상 영역 분석 정보를 기록한다. 사진 소유자 ID 는 광고 수익의 배분을 위해 암호화된다. 광고 카테고리 정보는 사용자에 의해 지정될 수 도 있거나 물체 인식을 통해 자동으로 설정될 수 있다. 영상 영역 분석 정보는 영역의 크기나 색상, 형태 등을 포함할 수 있으나 이에 국한하지 않는다. 헤더 영역부(910)는 별도의 파일로 저장될 수 있다.    The header area unit 910 records additional information such as a photograph owner ID, an advertisement position, advertisement category information, and image area analysis information. The photo owner ID is encrypted for distribution of advertising revenue. The advertisement category information may be specified by the user or automatically through object recognition. The image region analysis information may include, but is not limited to, the size, color, and shape of the region. The header area 910 may be stored as a separate file.

영상 데이터 영역부(920)는 광고 미디어가 삽입된 영상 데이터를 기록한다.  The video data area unit 920 records video data in which the advertisement media is inserted.

도 10은 본 발명의 일 실시 예에 따라 도 5a의 원본 사진 영상에 광고 미디어가 삽입된 사진 영상을 도시한 것이다.FIG. 10 illustrates a photographic image in which an advertisement medium is inserted into an original photographic image of FIG. 5A according to an embodiment of the present invention.

도 10을 참조하면, 예측된 사용자 관심도에 따라 영상 영역들에서 광고 대상 영역 예를 들면, 타원형 영역(1101), 사각형 영역(1102), 사람의 얼굴 영역(1103) 및 사람의 손목 영역(1104)이 설정된다. 그리고 타원형 영역(1101) 및 사각형 영역(1102)의 영상에는 그 형태에 매칭되는 광고 영상이 삽입되고, 사람의 얼굴 영역(1103) 및 사람의 손목 영역(1104)의 영상에는 선택된 악세서리 광고 영상이 삽입된다. 삽입된 광고 영상은 원본이나 다른 광고 영상과 시간상으로 번갈아 가면 변할 수 있다. 10, an advertisement target region, for example, an oval region 1101, a rectangular region 1102, a human face region 1103, and a human wrist region 1104 in the image regions according to the predicted user interest level, Is set. The advertisement image matching the shape is inserted into the images of the elliptical region 1101 and the rectangular region 1102 and the selected advertisement advertisement image is inserted into the images of the face region 1103 and the wrist region 1104 of the human being. do. The inserted advertisement image can be changed by alternating with the original or another advertisement image in time.

본 발명의 실시 예들에 따른 단말기의 광고 삽입 방법을 컴퓨터로 구현하는 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로써 기록되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로써 저장되고 실행될 수 있다. The one or more programs including the instructions for performing the method of implementing the advertisement insertion method of the terminal according to the embodiments of the present invention can be recorded in a computer readable code on a computer readable recording medium . A computer-readable recording medium includes all kinds of storage devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. The computer readable recording medium may also be distributed over a networked computer system and stored and executed as computer readable code in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims (15)

영상으로부터 영역별 형태 및 상기 영역의 위치 정보를 분석하는 단계;
상기 분석된 영역 별 형태 및 위치 정보에 기반하여 상기 영상 영역별로 사용자 관심도를 예측하는 단계;
상기 예측된 사용자 관심도에 따라 적어도 하나의 상기 영상 영역 중 광고 대상 영역을 설정하는 단계;
상기 영상 영역의 형태 및 미리 결정된 광고 카테고리에 기반하여 광고 미디어를 선택하는 단계; 및
상기 영상 영역의 위치 정보에 기반하여 상기 설정된 광고 대상 영역에 상기 광고 미디어를 삽입하는 단계를 포함하는 광고 삽입 방법.Analyzing the shape of the region and the position information of the region from the image;
Estimating user interest for each of the image regions based on the analyzed region type and location information;
Setting an advertisement target area of at least one of the image areas according to the predicted user interest;
Selecting an advertisement media based on the type of the image region and a predetermined advertisement category; And
And inserting the advertisement media into the set advertisement area based on the location information of the image area. 제1항에 있어서, 상기 영상 영역별 형태 및 상기 영역의 위치 정보를 분석하는 단계는,
카메라의 오토 포커스나 자동 노출 정보를 이용하여 영상의 위치 정보를 추출하고,
영상의 특징 점에 기반하여 영상의 물체를 인식하고, 필터 처리에 기반하여 영상의 에지를 검출하고,
영상의 형태나 색상을 이용하여 사람의 형태를 검출하는 것을 특징으로 하는 광고 삽입 방법.2. The method of claim 1, wherein analyzing the shape of the image region and the position information of the region comprises:
The position information of the image is extracted using the autofocus or the automatic exposure information of the camera,
Based on the characteristic points of the image, the object of the image is recognized, the edge of the image is detected based on the filter processing,
Wherein the shape of the person is detected using a shape or a color of the image. 제1항에 있어서, 상기 광고 대상 영역은 사용자의 편집에 의해 설정되는 것을 특징으로 하는 광고 삽입 방법.The method of claim 1, wherein the advertisement area is set by editing the user. 제1항에 있어서, 상기 사용자 관심도를 예측하는 단계는,
영상 영역의 형태 및 위치 정보를 입력하고,
상기 영상 영역의 형태 및 위치 정보에 기반하여 사용자의 시선이 위치하게 될 가능성을 나타내는 히트 맵을 작성하고,
상기 히트 맵을 이용하여 영상 영역별 사용자 관심도를 예측하는 것을 특징으로 하는 광고 삽입 방법.2. The method of claim 1, wherein the step of predicting the user interest comprises:
Inputting the shape and position information of the image area,
Creating a heat map indicating a possibility that the user's line of sight will be located based on the shape and position information of the image area,
Wherein the user interest is predicted for each image region using the heat map. 제1항에 있어서, 상기 광고 대상 영역은 상기 예측된 사용자 관심도 및 광고의 가치에 따라 다르게 설정되는 것을 특징으로 하는 광고 삽입 방법.The method of claim 1, wherein the advertisement area is differently set according to the predicted user interest and the value of the advertisement. 제1항에 있어서, 상기 광고 대상 영역을 설정하는 단계는, 상기 사용자 관심도에 따라 광고 대상 영역에 대한 가중치를 결정하고, 상기 가중치에 따라 광고 대상 영역을 설정하는 것을 특징으로 하는 광고 삽입 방법.The method of claim 1, wherein the step of setting the advertisement target area comprises: determining a weight for an advertisement target area according to the user interest; and setting an advertisement target area according to the weight. 제1항에 있어서, 상기 예측된 사용자 관심도에 따라 광고비, 광고 영상 및 문자의 위치 중 적어도 하나를 조절하는 단계를 더 포함하는 특징으로 하는 광고 삽입 방법.The method of claim 1, further comprising: adjusting at least one of an advertisement cost, an advertisement image, and a character position according to the predicted user interest level. 제1항에 있어서, 상기 광고 미디어를 선택하는 단계는, 상기 영역의 형태 및 광고 카테고리에 해당하는 영역별 광고 미디어를 서버로 요청하고,
서버로부터 수신된 영역별 광고 미디어의 형태 및 카테고리와 요청된 영역의 형태 및 광고 카테고리를 매칭하는 것을 특징으로 하는 광고 삽입 방법.The method of claim 1, wherein the selecting of the advertisement media comprises: requesting, by the server,
Wherein the format and category of the advertisement media for each area received from the server are matched with the type of the requested area and the advertisement category. 제1항에 있어서, 상기 삽입된 광고 미디어는 원본이나 다른 광고 미디어와 미리 정해진 시간 마다 번갈아 가며 변화되는 것을 특징으로 하는 광고 삽입 방법.The method of claim 1, wherein the inserted advertisement media alternates with an original or another advertisement media at predetermined time intervals. 제1항에 있어서, 상기 광고 카테고리 및 영역 분석 정보를 부가 정보로서 헤더 영역에 저장하는 단계를 더 포함하는 광고 삽입 방법.The method of claim 1, further comprising storing the advertisement category and area analysis information as additional information in a header area. 촬영된 영상으로부터 영상 영역별 형태 및 상기 영역의 위치 정보를 분석하는 영상 분석부;
상기 분석된 영상 영역의 형태 및 위치 정보에 기반하여 상기 영상 영역별로 사용자 관심도를 예측하고, 상기 예측된 사용자 관심도에 따라 광고 대상 영역을 설정하는 영역 정보 처리부;
상기 영상 영역의 형태 및 미리 결정된 광고 카테고리에 기반하여 광고 미디어를 선택하는 광고 선택부; 및
상기 영상 영역의 위치 정보에 기반하여 상기 설정된 광고 대상 영역에 상기 광고 미디어를 삽입하는 신호 합성부를 포함하는 광고 삽입 장치.An image analyzer for analyzing the shape of the image region and the position information of the region from the photographed image;
A region information processor for predicting user interest for each of the video regions based on the analyzed type and position information of the video region and setting an advertisement target region according to the predicted user interest;
An advertisement selection unit for selecting an advertisement media based on the type of the image area and the predetermined advertisement category; And
And a signal synthesizer for inserting the advertisement medium into the set advertisement area based on the location information of the image area. 제11항에 있어서, 상기 영역 정보 처리부는,
영상 영역별 형태 및 위치 정보에 기반하여 영상 영역들의 사용자의 관심도를 예측하고 상기 사용자 관심도에 따라 영역별 가중치를 결정하는 시선 예측부;
상기 시선 예측부에서 예측된 사용자 관심도에 따라 상기 영상 영역중에서 광고 대상 영역을 설정하는 영역 설정부를 구비하는 것을 특징으로 하는 광고 삽입 장치.12. The apparatus according to claim 11,
A gaze predictor for predicting a user's interest level of image regions based on shape and position information for each image region and determining a weight for each region according to the user's interest;
And an area setting unit for setting an advertisement target area in the image area according to the user interest estimated by the gaze prediction unit. 단말기에 있어서,
피사체를 촬영하여 영상 정보를 생성하는 촬상부;
상기 영상 정보로 영상 영역의 형태 및 위치 정보를 분석하고, 상기 분석된 영상 영역의 형태 및 위치 정보에 기반하여 사용자 관심도를 예측하고, 상기 예측된 사용자 관심도에 따라 광고 대상 영역을 설정하고, 상기 광고 대상 영역에 미리 결정된 광고 미디어를 삽입하는 영상 처리부;
상기 영상 처리부에서 광고 미디어가 삽입된 영상을 표시하는 표시부를 포함하는 단말기.In the terminal,
An imaging unit that photographs a subject to generate image information;
Analyzing the type and location information of the video region with the video information, predicting the user interest based on the analyzed type and position information of the video region, setting the advertisement target region according to the predicted user interest, An image processing unit for inserting a predetermined advertisement medium into a target area;
And a display unit for displaying an image in which the advertisement medium is inserted in the image processing unit. 제13항에 있어서, 상기 영상 처리부는,
촬영된 영상으로부터 영상 영역별 형태 및 상기 영역의 위치 정보를 분석하는 영상 분석부;
상기 분석된 영상 영역의 형태 및 위치 정보에 기반하여 상기 영상 영역별로 사용자 관심도를 예측하고, 상기 예측된 사용자 관심도에 따라 광고 대상 영역을 설정하는 영역 정보 처리부;
상기 영상 영역의 형태 및 미리 결정된 광고 카테고리에 기반하여 광고 미디어를 선택하는 광고 선택부; 및
상기 영상 영역의 위치 정보에 기반하여 상기 설정된 광고 대상 영역에 상기 광고 미디어를 삽입하는 신호 합성부를 구비하는 것을 특징으로 하는 단말기.14. The image processing apparatus according to claim 13,
An image analyzer for analyzing the shape of the image region and the position information of the region from the photographed image;
A region information processor for predicting user interest for each of the video regions based on the analyzed type and position information of the video region and setting an advertisement target region according to the predicted user interest;
An advertisement selection unit for selecting an advertisement media based on the type of the image area and the predetermined advertisement category; And
And a signal synthesizer for inserting the advertisement media into the set advertisement area based on the location information of the image area. 제 1 항 내지 제 10항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.

A computer-readable recording medium on which a program for implementing the method of any one of claims 1 to 10 is recorded.

KR1020130150842A 2013-12-05 2013-12-05 Method and apparatus for inserting advertisement KR20150066009A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130150842A KR20150066009A (en) 2013-12-05 2013-12-05 Method and apparatus for inserting advertisement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130150842A KR20150066009A (en) 2013-12-05 2013-12-05 Method and apparatus for inserting advertisement

Publications (1)

Publication Number Publication Date
KR20150066009A true KR20150066009A (en) 2015-06-16

Family

ID=53514489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130150842A KR20150066009A (en) 2013-12-05 2013-12-05 Method and apparatus for inserting advertisement

Country Status (1)

Country Link
KR (1) KR20150066009A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD916746S1 (en) 2019-05-07 2021-04-20 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US11467798B2 (en) 2018-11-19 2022-10-11 Samsung Electronics Co., Ltd. Display apparatus for changing an advertisement area, server, electronic apparatus and control methods thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11467798B2 (en) 2018-11-19 2022-10-11 Samsung Electronics Co., Ltd. Display apparatus for changing an advertisement area, server, electronic apparatus and control methods thereof
USD916746S1 (en) 2019-05-07 2021-04-20 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface

Similar Documents

Publication Publication Date Title
US8176426B2 (en) Image reproduction apparatus and image reproduction program product
US9558591B2 (en) Method of providing augmented reality and terminal supporting the same
US9924226B2 (en) Method and device for processing identification of video file
US7948502B2 (en) Method of displaying picture having location data and apparatus thereof
KR101605983B1 (en) Image recomposition using face detection
JP2010004118A (en) Digital photograph frame, information processing system, control method, program, and information storage medium
JPWO2007116500A1 (en) Information presentation system, information presentation terminal and server
JP2010039094A (en) Audio output control device, audio output device, audio output control method, and program
JP2009187109A (en) Image display device, display control method and display control program
US11308345B2 (en) Saliency of an object for image processing operations
JP5300555B2 (en) Information display device
WO2020233201A1 (en) Icon position determination method and device
JP2008035125A (en) Image pickup device, image processing method, and program
US8866953B2 (en) Mobile device and method for controlling the same
US8704939B1 (en) Mobile device and method for controlling the same
KR20160016574A (en) Method and device for providing image
KR101832406B1 (en) Method and apparatus for displaying a photo on a screen formed with any type
KR20150066009A (en) Method and apparatus for inserting advertisement
CN112866801A (en) Video cover determining method and device, electronic equipment and storage medium
KR20160016531A (en) Method, apparatus and system for providing translated contents
US11257116B2 (en) Method and apparatus for providing advertisement content and recording medium
US10069984B2 (en) Mobile device and method for controlling the same
EP2793169A1 (en) Method and apparatus for managing objects of interest
WO2021250797A1 (en) Information processing device, information presentation system, information processing method, and information processing program
KR101720607B1 (en) Image photographing apparuatus and operating method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application