KR102340963B1 - Method and Apparatus for Producing Video Based on Artificial Intelligence - Google Patents
Method and Apparatus for Producing Video Based on Artificial Intelligence Download PDFInfo
- Publication number
- KR102340963B1 KR102340963B1 KR1020210038492A KR20210038492A KR102340963B1 KR 102340963 B1 KR102340963 B1 KR 102340963B1 KR 1020210038492 A KR1020210038492 A KR 1020210038492A KR 20210038492 A KR20210038492 A KR 20210038492A KR 102340963 B1 KR102340963 B1 KR 102340963B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- video
- information
- production apparatus
- producer
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000013473 artificial intelligence Methods 0.000 title description 74
- 238000004519 manufacturing process Methods 0.000 claims abstract description 352
- 239000000284 extract Substances 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 description 107
- 230000008685 targeting Effects 0.000 description 76
- 230000000694 effects Effects 0.000 description 48
- 238000009826 distribution Methods 0.000 description 34
- 238000013480 data collection Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 239000002537 cosmetic Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000001737 promoting effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000003796 beauty Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001020 rhythmical effect Effects 0.000 description 2
- 238000007790 scraping Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 244000240602 cacao Species 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8541—Content authoring involving branching, e.g. to different story endings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Security & Cryptography (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명의 일 실시예는 AI 기반의 영상 제작 방법 및 장치에 관한 것이다. An embodiment of the present invention relates to an AI-based image production method and apparatus.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The content described below merely provides background information related to the present embodiment and does not constitute the prior art.
인터넷이 급속히 보급되면서 전자 메일을 이용한 광고, 홈페이지 배너(Banner) 광고, 동영상 컨텐츠 광고 등의 새로운 형식의 광고가 생겨났다. 인터넷을 기반으로 전자상거래, 전자광고, 인터넷 폰 등 다양한 서비스들이 제공되고 있다. 사용자들이 인터넷을 이용하여 손쉽게 서비스를 받을 수 있다. With the rapid spread of the Internet, new types of advertisements such as advertisements using e-mail, homepage banner advertisements, and video content advertisements have emerged. Based on the Internet, various services such as e-commerce, electronic advertisement, and Internet phone are provided. Users can easily receive services using the Internet.
인터넷상에서 특정한 자료를 검색하는 서비스는 인터넷을 효율적으로 이용하기 위해 필수적인 서비스로 인식되고 있다. 다시 말해, 사용자가 특정 자료를 검색하려는 경우 해당 사이트의 URL이나 IP 주소를 알지 못하더라도 정보 검색 시스템을 이용한 인터넷 검색 서비스를 제공하는 사이트에 접속하고, 검색하려는 자료의 키워드를 입력함으로써 원하는 결과 데이터를 서비스받을 수 있다.A service for searching specific data on the Internet is recognized as an essential service to use the Internet efficiently. In other words, when a user wants to search for a specific material, even if he or she does not know the URL or IP address of the site, he or she accesses a site that provides Internet search service using the information retrieval system and enters the keyword of the desired material to retrieve the desired result data. service can be obtained.
다양한 신기술을 흡수하며 진화해온 광고 및 미디어 산업이 최근 AI(Artificial Intelligence)와의 접목을 모색하고 있다. 광고와 미디어 시장의 포화에 따른 경쟁 격화와 기계가 스스로 학습할 수 있는 머신 러닝 기술의 급속한 발전 및 AI를 구동할 수 있는 컴퓨터 비용의 하락 등이 AI 기술을 적용한 광고 기술의 발전을 가속화하고 있다.The advertising and media industry, which has evolved by absorbing various new technologies, is recently seeking to combine it with AI (Artificial Intelligence). Intensifying competition due to the saturation of the advertising and media markets, the rapid development of machine learning technology that allows machines to learn on their own, and the drop in the cost of computers that can drive AI are accelerating the development of advertising technology using AI technology.
미디어 산업은 제작과 유통 및 시청자 대응 등 다양한 영역에 걸쳐 AI를 활용하고 있다. AI는 미래 광고 및 미디어 산업에서 없어서는 안 될 존재로 점차 입지를 굳히고 있는 것으로 판단된다.The media industry is using AI in various areas, including production, distribution, and audience response. It is judged that AI is gradually solidifying its position as an indispensable existence in the future advertising and media industry.
광고를 한다는 것은 일종의 추천 엔진을 가동하는 것인데 딥 러닝은 추천에 탁월한 능력을 가지고 있다. 프로그래밍된 광고를 타겟팅시 머신 러닝은 사용자의 광고 클릭률을 높이며 리타겟팅(Retargeting)시 최적의 제품 조합과 광고 카피를 선택하도록 할 수 있다.Advertisement is to run a kind of recommendation engine, and deep learning has an excellent ability to recommend. When targeting programmed advertisements, machine learning can increase the user's click-through rate on advertisements and select the optimal product combination and advertisement copy for retargeting.
디지털 시대가 가속화되면서 더 많은 영상 콘텐츠의 제작이 필요하다. 4차 산업시대로의 진입과 코로나 팬데믹으로 이해 비대면 서비스의 시장이 빠르게 확산되고 있으며, 온라인 시대를 맞이하여, 기업과 소비자 모두 영상 콘텐츠 제작의 니즈가 강화되었다. As the digital era accelerates, the production of more video content is necessary. The market for non-face-to-face services is rapidly expanding due to the entry into the 4th industrial era and the corona pandemic, and in the online era, both companies and consumers have strengthened the needs of video content production.
기업들은 온라인 채널을 통해 브랜드 및 제품을 홍보 및 광고 목적으로 영상을 제작을 필요로 하고 있으며, 개인들 역시 각자의 일상 및 재능을 영상으로 제작하여 소통하는 기술을 필요로 한다.Companies need to produce videos for the purpose of promoting and advertising their brands and products through online channels, and individuals also need the skills to communicate their daily lives and talents through videos.
본 실시예는 제작자가 입력한 키워드를 수신하면, AI를 기반으로 키워드에 대응하는 레퍼런스 영상을 추출하고, 제작자가 입력한 영상 정보를 수신하면, AI를 기반으로 영상 정보를 분석한 분석 결과에 대응하는 데이터 영상을 추출하고, 레퍼런스 영상과 데이터 영상을 조합하여 영상을 제작하도록 하는 AI 기반의 영상 제작 방법 및 장치를 제공하는 데 목적이 있다.In this embodiment, when a keyword input by the producer is received, a reference image corresponding to the keyword is extracted based on AI, and when the image information input by the producer is received, it corresponds to the analysis result of analyzing the image information based on AI An object of the present invention is to provide an AI-based image production method and apparatus that extracts a data image and produces an image by combining a reference image and data image.
본 실시예의 일 측면에 의하면, 제작자 단말기로부터 키워드를 입력받는 키워드 입력부; 복수의 동영상 제공장치로부터 상기 키워드에 대응하는 배경화면, 음악, 텍스트 중 적어도 하나 이상을 추출하여 레퍼런스 영상을 생성하는 레퍼런스 영상 생성부; 상기 제작자 단말기로부터 영상 정보를 입력받는 영상 정보 입력부; 상기 영상 정보를 분석한 분석 결과를 생성하고, 복수의 상기 동영상 제공장치로부터 상기 분석 결과에 대응하는 데이터를 추출하여 맞춤 영상을 생성하는 맞춤 영상 생성부; 및 상기 레퍼런스 영상과 상기 맞춤 영상을 조합하여 영상을 제작하는 영상 제작부를 포함하는 것을 특징으로 하는 영상 제작장치를 제공한다.According to an aspect of the present embodiment, a keyword input unit for receiving a keyword from a producer terminal; a reference image generator for generating a reference image by extracting at least one of a background screen, music, and text corresponding to the keyword from a plurality of video providing devices; an image information input unit for receiving image information from the producer terminal; a customized image generator for generating an analysis result of analyzing the image information, and extracting data corresponding to the analysis result from a plurality of video providing devices to generate a customized image; and an image production unit configured to produce an image by combining the reference image and the custom image.
본 실시예의 다른 측면에 의하면, 영상 제작장치에서 제작자 단말기로부터 키워드를 입력받는 과정; 상기 영상 제작장치에서 복수의 동영상 제공장치로부터 상기 키워드에 대응하는 배경화면, 음악, 텍스트 중 적어도 하나 이상을 추출하여 레퍼런스 영상을 생성하는 과정; 상기 영상 제작장치에서 상기 제작자 단말기로부터 영상 정보를 입력받는 과정; 상기 영상 제작장치에서 상기 영상 정보를 분석한 분석 결과를 생성하고, 복수의 상기 동영상 제공장치로부터 상기 분석 결과에 대응하는 데이터를 추출하여 맞춤 영상을 생성하는 과정; 및 상기 영상 제작장치에서 상기 레퍼런스 영상과 상기 맞춤 영상을 조합하여 영상을 제작하는 과정을 포함하는 것을 특징으로 하는 영상 제작 방법을 제공한다.According to another aspect of the present embodiment, the process of receiving a keyword from a producer terminal in the video production apparatus; generating a reference image by extracting at least one of a background screen, music, and text corresponding to the keyword from a plurality of video providing devices in the image production apparatus; receiving image information from the producer terminal in the image production apparatus; generating an analysis result obtained by analyzing the image information in the image production apparatus, and extracting data corresponding to the analysis result from a plurality of video providing apparatuses to generate a customized image; and combining the reference image and the custom image in the image production apparatus to produce an image.
이상에서 설명한 바와 같이 본 실시예에 의하면, 제작자가 입력한 키워드를 수신하면, AI를 기반으로 키워드에 대응하는 레퍼런스 영상을 추출하고, 제작자가 입력한 영상 정보를 수신하면, AI를 기반으로 영상 정보를 분석한 분석 결과에 대응하는 데이터 영상을 추출하고, 레퍼런스 영상과 데이터 영상을 조합하여 영상을 제작할 수 있는 효과가 있다.As described above, according to this embodiment, when a keyword input by the producer is received, a reference image corresponding to the keyword is extracted based on AI, and when the image information input by the producer is received, image information is based on AI It has the effect of extracting a data image corresponding to the analysis result of analyzing the data and producing an image by combining the reference image and the data image.
본 실시예에 의하면, AI을 기반으로 사용자의 입력 정보(키워드, 영상 정보)에 따라 사용자에게 맞춤형 영상이 제작될 수 있는 효과가 있다. 본 실시예에 의하면, AI 영상 제작 기술로 저렴하고 빠르고 퀄리티가 높은 광고 영상을 개인부터 기업까지 쉽게 제작할 수 있도록 한다.According to this embodiment, there is an effect that a customized image can be produced for the user according to the user's input information (keyword, image information) based on AI. According to this embodiment, it is possible to easily produce inexpensive, fast, and high-quality advertisement images from individuals to companies using AI image production technology.
도 1은 본 실시예에 따른 AI 기반의 영상 제작 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 영상 제작장치를 개략적으로 나타낸 블럭 구성도이다.
도 3은 본 실시예에 따른 AI 기반의 영상 제작 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 복수의 영상 제작하는 방법을 나타낸 도면이다.
도 5는 본 실시예에 따른 영상 결과에 따라 영상 타겟팅 방법을 나타낸 도면 이다.
도 6은 본 실시예에 따른 제작자 정보와 영상 타겟팅 정보를 대응시키기 위해 클러스터링 방법을 나타낸 도면이다.
도 7은 본 실시예에 따른 영상 제작장치의 영상 최적화 방법을 나타낸 도면이다.
도 8은 본 실시예에 따른 영상 제작장치의 영상 클릭률 확률 분포의 예측 방법을 나타낸 도면이다.1 is a diagram schematically showing an AI-based image production system according to the present embodiment.
2 is a block diagram schematically showing an image production apparatus according to the present embodiment.
3 is a flowchart illustrating an AI-based image production method according to the present embodiment.
4 is a view showing a method of producing a plurality of images according to the present embodiment.
5 is a diagram illustrating an image targeting method according to an image result according to the present embodiment.
6 is a diagram illustrating a clustering method in order to match producer information and image targeting information according to the present embodiment.
7 is a diagram illustrating an image optimization method of the image production apparatus according to the present embodiment.
8 is a diagram illustrating a method of predicting an image click-through rate probability distribution of the image production apparatus according to the present embodiment.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings.
도 1은 본 실시예에 따른 AI 기반의 영상 제작 시스템을 개략적으로 나타낸 도면이다.1 is a diagram schematically showing an AI-based image production system according to the present embodiment.
본 실시예에 따른 영상 제작 시스템은 제작자 단말기(110), 네트워크(120), 영상 제작장치(130), 동영상 제공장치(140)를 포함한다. 영상 제작 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The image production system according to the present embodiment includes a
제작자 단말기(110)는 제작자의 키 조작에 따라 네트워크(120)를 경유하여 음성 또는 데이터 통신을 수행하는 전자 기기를 의미한다. 제작자 단말기(110)는 네트워크(120)를 경유하여 영상 제작장치(130)와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다. The manufacturer's
제작자 단말기(110)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 미디어 플레이어 등과 같은 전자 기기일 수 있다. The manufacturer's
제작자 단말기(110)는 제작자의 조작 또는 명령에 의해 키워드 또는 영상 정보를 입력받으며, 키워드 또는 영상 정보를 영상 제작장치(130)로 전송한다.The
네트워크(120)는 인터넷망, 인트라넷망, 이동통신망, 위성 통신망 등 다양한 유무선 통신 기술을 이용하여 인터넷 프로토콜로 데이터를 송수신할 수 있는 망을 의미한다. The
영상 제작장치(130)는 웹서버 또는 네트워크 서버의 형태로 구현될 수 있다. 영상 제작장치(130)는 일반적으로 인터넷과 같은 개방형 컴퓨터 네트워크를 경유하여 불특정 다수 클라이언트 또는 다른 서버와 통신한다. 영상 제작장치(130)는 클라이언트 또는 다른 웹서버의 작업수행 요청에 대응하는 작업 결과를 도출하여 제공하는 컴퓨터 시스템, 컴퓨터 소프트웨어(웹서버 프로그램)를 의미한다.The
영상 제작장치(130)는 전술한 웹서버 프로그램 이외에, 웹서버상에서 동작하는 일련의 응용 프로그램(Application Program) 또는 장치 내부에 구축되어 있는 각종 데이터베이스를 포함한다.In addition to the above-described web server program, the
본 실시예에 따른 영상 제작장치(130)는 영상 제작에 필요한 정보를 제작자 단말기(110)로부터 입력받은 후 AI 머신러닝과 딥러닝을 이용하여 AI가 필요한 영상 데이터를 배합하여, 제작자가 원하는 영상을 제작한다.The
영상 제작장치(130)는 머신러닝 및 딥러닝을 이용한 AI 영상제작 기술로 새롭게 촬영한 영상이 아닌, 애니메이션, 편집영상, 인포그래픽 등 기존에 생성된 영상 데이터를 이용하여 영상을 제작한다. 영상 제작장치(130)는 AI 영상 제작 기술로 저렴하고 빠르고 퀄리티가 높은 영상을 개인부터 기업까지 쉽게 제작할 수 있도록 한다.The
영상 제작장치(130)는 AI를 이용한 레퍼런스 영상과 맞춤 영상을 조합하여 영상을 제작한다. 영상 제작장치(130)는 제작자 단말기(110)로부터 영상 소스를 입력받은 후 영상 소스와 어울리는 배경화면, 음악, 텍스트를 추출한 후 AI 기반으로 결합하여 하나의 영상을 생성한다.The
영상 제작장치(130)는 제작자 단말기(110)로부터 키워드를 입력받고, AI를 이용하여 키워드에 대응하는 배경화면, 음악, 텍스트 중 적어도 하나를 포함하는 레퍼런스 영상을 추출한다. 영상 제작장치(130)는 제작자 단말기(110)로부터 문구를 입력받고, AI를 이용하여 문구를 분석한 분석 결과를 생성하고, 분석 결과를 기반으로 맞춤 영상을 추출한다. 영상 제작장치(130)는 레퍼런스 영상과 맞춤 영상을 조합하여 영상을 제작한다.The
영상 제작장치(130)는 제작자 단말기(110)로부터 키워드를 입력받으면, AI를 이용하여 키워드에 대응하는 배경화면, 음악, 텍스트 중 적어도 하나를 포함하는 레퍼런스 영상을 추출한다. 예컨대, 영상 제작장치(130)는 제작자 단말기(110)로부터 키워드로 ‘20대 여자 색조화장품’을 입력받는다. 즉, 제작자 단말기(110)는 제작자의 조작 또는 명령에 의해 ‘20대 여자 색조화장품’을 키워드로 입력받아 영상 제작장치(130)로 전송한다.When receiving a keyword from the
영상 제작장치(130)는 ‘20대 여자 색조화장품’을 입력한 사용자가 해당 계정으로 최초 로그인한 경우, AI를 이용하여 최근 5년간 ‘20대 여자 색조화장품’에 해당하는 가장 높은 연관성을 갖는 영상을 리스트화(예컨대, 100개)하여 제작자 단말기(110)로 출력한다.The
영상 제작장치(130)는 입력된 키워드를 데이터 기준으로 추출한다. 영상 제작장치(130)는 복수의 동영상 제공장치(140)(예컨대, 유튜브, 페이스북, 인스타그램, 네이버 TV, 카카오 TV 등)로부터 입력된 키워드에 대응하는 영상 중 조회수, 좋아요, 댓글수, 공유 횟수 중 하나 이상의 정보를 기반으로 1차적으로 높은 연관성을 갖는 영상으로 추출한다.The
영상 제작장치(130)는 복수의 동영상 제공장치(140)로부터 입력된 키워드에 대응하는 영상 중 CF(Commercial Film) 수상실적을 갖는 영상을 객관적인 지표로서 데이터를 리스트화시켜 2차적으로 높은 연관성을 갖는 영상으로 추출한다.The
영상 제작장치(130)는 1차적으로 높은 연관성을 갖는 영상과 2차적으로 높은 연관성을 갖는 영상을 기반으로 레퍼런스 영상을 제공한다. 영상 제작장치(130)는 동영상 제공장치(140)로부터 키워드에 대응하는 영상, 음악, 텍스트를 검색하더라도 내부적으로 학습된 AI를 이용하여 키워드와 높은 연관성을 갖는 영상을 추출한다. The
영상 제작장치(130)는 제작자 단말기(110)로부터 입력받은 키워드와 높은 연관성을 갖는 영상을 기 설정된 개수 단위로 리스트화여 출력한다. 영상 제작장치(130)는 리스트화되어 출력된 영상 중 제작자 단말기(110)가 선택한 영상을 재생시킨다.The
영상 제작장치(130)는 리스트화되어 출력된 영상 중 제작자 단말기(110)가 재생시킨 영상의 재생시간, 재생완성률을 기반으로 AI를 학습시킨다. AI는 재생시킨 영상의 재생시간, 재생완성률을 기반으로 제작자의 선호도를 입력받아 학습한다. 영상 제작장치(130)는 학습한 제작자의 선호도를 기반으로 유사한 영상을 추가로 검색하여 리스트화하여 출력한다.The
영상 제작장치(130)는 재생시킨 영상의 재생시간, 재생완성률, 재생 구간을 기반으로 제작자 선호도를 파악한다. 영상 제작장치(130)는 제작자 선호도를 파악하기 위해 영상 각각의 총 재생시간을 기반으로 재생 구간을 분할한다. 영상 제작장치(130)는 총 재생시간 대비 영상의 재생시간을 기반으로 재생 완성률을 확인한다.The
영상 제작장치(130)는 전체재생구간을 임의의 구간(예컨대, 3%, 10%, 25%, 50%, 75%, 100%)으로 분할한다. 영상 제작장치(130)는 재생 구간이 길수록 해당 영상과 제작자 선호도가 부합하는 것으로 파악한다. 다시 말해, 영상 제작장치(130)는 재생 구간이 임의의 구간 중 100%에 해당하는 구간인 경우, 제작자가 해당 영상을 최상위 선호하는 것으로 제작자 선호를 파악한다. The
영상 제작장치(130)는 제작자가 선별한 영상의 카테고리 별로 제작자 선호도를 파악한다. 영상 제작장치(130)는 제작자 단말기(110)로부터 키워드 또는 문구를 입력받으면, 제작자 단말기(110)에 대응하는 제작자 계정에서 기 설정한 카테고리 정보를 확인한다.The
영상 제작장치(130)는 제작자 계정에서 기 설정한 카테고리(IT, 트렌드, 진중한, 밝은, 화사한, 아기자기한, 도시적인)를 확인한다. 영상 제작장치(130)는 레퍼런스 영상을 생성할 때, AI를 이용하여 키워드 및 기 설정한 카테고리에 대응하는 배경화면, 음악, 텍스트 중 적어도 하나를 포함하는 영상을 추출한다.The
영상 제작장치(130)는 맞춤 영상을 생성할 때, AI를 이용하여 문구를 분석한 분석 결과 및 기 설정한 카테고리에 대응하는 배경화면, 음악, 텍스트 중 적어도 하나를 포함하는 영상을 추출한다.When generating a customized image, the
영상 제작장치(130)는 제작자 단말기(110)의 조작 또는 명령에 의해 영상마다 다양한 카테고리로 분류할 수 있다. 영상 제작장치(130)는 제작자 단말기(110)의 조작 또는 명령에 의해 영상의 품질별로 영상을 4K 화질, FHD 화질, HD 화질로 구분한 카테고리로 분리하여 저장한다. 영상 제작장치(130)는 제작자 단말기(110)의 조작 또는 명령에 의해 영상의 장르 별로 홍보영상, 제품영상, 드라마타입, 애니메이션, 인포그래픽, 자연, 인물, 여행, 먹거리, 건물로 구분한 카테고리로 분리하여 저장한다. The
영상 제작장치(130)는 제작자 단말기(110)의 조작 또는 명령에 의해 영상 톤별로 역동적인 톤, 화사한 톤, 리드미컬한 톤, 발라드 톤, 드라마타입 톤, 현란한 톤 등으로 구분한 카테고리로 분리하여 저장한다. 영상 제작장치(130)는 AI 머신러닝 기법으로 영상의 카테고리 등을 분류하여, 제작자가 원하는 영상의 카테고리를 분류한다. The
영상 제작장치(130)는 제작자 단말기(110)로부터 제작자가 원하는 문구를 입력받으면, AI를 이용하여 문구를 분석한 분석 결과를 기반으로 맞춤 영상을 추출한다. 영상 제작장치(130)는 맞춤 영상을 반영하여 영상을 제작한다. 영상 제작장치(130)는 추가로 제작자 단말기(110)로부터 제작자가 입력한 영상 정보를 입력받는다.When the
예컨대, 영상 제작장치(130)는 제작자 단말기(110)로부터 영상 분량을 ‘30초’로 입력받는다. 영상 제작장치(130)는 제작자 단말기(110)로부터 ‘영상 타입’을 인포그래픽, 실사 촬영, 인포그래픽 및 실사촬영 중 어느 하나로 입력받는다.For example, the
영상 제작장치(130)는 제작자 단말기(110)로부터 ‘영상 톤’에 대한 정보를 잔잔한 톤, 역동적인 톤, 드라마적인 톤, 색감있는 톤, 아기자기한 톤 중 어느 하나로 입력받는다. 영상 제작장치(130)는 제작자 단말기(110)로부터‘영상 소스’를 깨끗한 바다, 청량한 느낌, 맑은 자연, 청순한 동양미인, 기초화장품 중 어느 하나로 입력받는다. 영상 제작장치(130)는 제작자 단말기(110)로부터 ‘BGM’을 맑고 깨끗한 피아노, 맑은 물소리가 적절히 섞인 BGM 중 어느 하나로 입력받는다.The
영상 제작장치(130)는 제작자 단말기(110)로부터 문구로 ‘자연 그대로의 순수함을 머금은 순수한 물결’, ‘오늘부터 자연으로 내 피부에 입히세요’ 중 어느 하나를 입력받는다. 영상 제작장치(130)는 로고 삽입으로 첨부 파일로 삽입, 영상 처음 OR 끝에 노출할지 선택 중 어느 하나를 입력받는다. 영상 제작장치(130)는 제작자가 입력한 정보에 맞춰 영상소스, BGM, 문구 등을 AI가 최적화된 영상을 분석해 제작한다.The
영상 제작장치(130)는 편집 영상 및 인포그래픽 영상의 수준까지 딥러닝을 이용하여 AI에게 학습시킨다. 영상 제작장치(130)는 출시 후 제작자들이 직접 접속하면서 AI를 이용해 만들면서 데이터를 다시 축적시킨다. 영상 제작장치(130)는 웹소설, 시, 등 ‘긴 문장’이나 ‘철학적인 부분에 대한 고찰’도 시각화시켜 영상 콘텐츠로 제작할 수 있도록 한다. 영상 제작장치(130)는 증강현실 기법도 접목시켜 이질감이 없는 실제 제품이나 사람이 등장시켜서 영상을 제작한다. The
영상 제작장치(130)는 제작자 단말기(110)로부터 제작자 정보를 수신한다. 영상 제작장치(130)는 제작자 정보를 기반으로 복수의 동영상 제공장치(140) 각각에 대응하는 영상을 생성한다.The
영상 제작장치(130)는 복수의 동영상 제공장치(140) 각각에 대응하는 영상을 인터페이스를 통해 복수의 동영상 제공장치(140)로 전송한다. 영상 제작장치(130)는 복수의 동영상 제공장치(140) 각각에 대응되는 복수의 영상에 포함된 대상 객체를 포함하는 영상을 생성한다.The
영상 제작장치(130)는 복수의 동영상 제공장치(140) 각각에 대응되는 복수의 타겟팅 정보를 생성한다. 영상 제작장치(130)는 제작자 정보에 포함되는 타겟 연령층 정보와 복수의 동영상 제공장치(140) 각각의 나이 카테고리를 기반으로 한 클러스터에 의해 결정된 복수의 타겟팅 정보를 생성한다.The
영상 제작장치(130)는 언어 인접도에 의해 클러스터의 중심과 타겟 연령층 정보에 포함되는 나이 지시 단어 간의 거리를 결정한다. 영상 제작장치(130)는 웹 페이지에 포함된 나이 관련 단어에 대한 단어 집합 추출 빈도 및 단어 밀집도를 기반으로 언어 인접도를 결정한다.The
영상 제작장치(130)는 AI를 학습시키기 위해 복수의 머신 러닝을 기반으로 영상을 생성한다. 영상 제작장치(130)는 AI 학습을 위해 제1 머신 러닝부, 제2 머신 러닝부 및 제3 머신 러닝부를 포함한다.The
제1 머신 러닝부는 복수의 동영상 제공장치(140)에 대한 멀티 플랫폼을 고려하지 않은 학습 데이터를 기반으로 한 제1 머신 러닝을 수행한다. 제2 머신 러닝부는 복수의 동영상 제공장치(140)에 대한 멀티 플랫폼을 고려한 학습 데이터를 기반으로 한 제2 머신 러닝을 수행한다. 제3 머신 러닝부는 복수의 동영상 제공장치(140)에 대한 멀티 플랫폼을 고려하지 않은 학습 데이터 및 멀티 플랫폼을 고려한 학습 데이터를 기반으로 한 제3 머신 러닝을 수행한다.The first machine learning unit performs first machine learning based on the learning data that does not consider the multi-platform for the plurality of
영상 제작장치(130)는 제1 머신 러닝을 기반으로 한 제1 영상, 제2 머신 러닝을 기반으로 한 제2 영상 및 제3 머신 러닝을 기반으로 한 제3 영상을 생성한다. 영상 제작장치(130)는 제1 영상, 제2 영상 및 제3 영상에 대한 제작자 단말기(110)의 선택 결과를 수집한다. 영상 제작장치(130)는 제3 머신 러닝을 위한 멀티 플랫폼을 고려하지 않은 학습 데이터 및 멀티 플랫폼을 고려한 학습 데이터의 비율을 변화시킨다.The
영상 제작장치(130)는 인터페이스를 이용하여 영상을 기반으로 영상 결과 정보를 수신한다. 영상 제작장치(130)는 영상 결과 정보의 분석을 기반으로 영상 또는 복수의 영상 타겟팅 정보 각각에 대한 수정 여부를 결정한다.The
영상 제작장치(130)는 인공 지능 챗봇을 기반으로 제작자 정보를 수집한다. 영상 제작장치(130)는 인공 지능 챗봇 상에 입력된 제작자 웹 페이지 상의 정보의 스크랩핑을 기반으로 제작자 정보를 수집한다. 영상 제작장치(130)는 인공 지능 챗봇을 이용하여 제작자 단말기(110)로의 질의를 전송하고, 질의에 대한 답변을 기반으로 제작자 정보를 수집한다.The
영상 제작장치(130)는 제작자 정보(미존재)와 관련된 추가적인 질문에 대한 답변을 받지 못하는 경우, 이미 입력받은 제작자 정보(존재)를 기반으로 예측을 수행한다. 영상 제작장치(130)는 예측 정확도가 임계값 이상이라고 판단되는 경우, 예측된 정보를 이용하여 영상을 생성한다. 영상 제작장치(130)는 예측 정확도가 임계값 미만이라고 판단되는 경우, 인공 지능 챗봇을 통해 추가 질문을 생성한다. 영상 제작장치(130)는 제작자 정보(존재)를 기준으로 기존에 입력된 기존 제작자 정보 중 적어도 하나와 비교하여 예측 정확도를 결정한다. 영상 제작장치(130)는 제작자 정보(미존재) 별로 예측을 위해 설정된 제작자 정보(존재) 중 특정 제작자 정보(존재) 및 특정 제작자 정보(존재)에 대한 별도의 가중치를 기반으로 예측 정확도를 결정한다.When the
영상 제작장치(130)는 AI 기반으로 영상을 디자인한다. 영상 제작장치(130)는 제작자 단말기(110)로부터 제작자 정보를 수신한다. 영상 제작장치(130)는 제작자 정보를 기반으로 복수의 동영상 제공장치(140)에 대한 영상을 각각 생성한다. 영상 제작장치(130)는 영상 각각을 복수의 동영상 제공장치(140) 각각으로 전송한다. 영상 제작장치(130)는 머신 러닝을 기반으로 복수의 동영상 제공장치(140) 각각에 대응하는 영상을 생성한다.The
영상 제작장치(130)는 복수의 동영상 제공장치(140) 각각으로 제공되었던 기존의 대상 객체를 입력 정보로서 입력하여 머신 러닝을 수행한다. 영상 제작장치(130)는 머신 러닝을 기반으로 복수의 영상에 포함된 대상 객체의 위치 및/또는 크기의 고려한 영상을 생성한다. 영상 제작장치(130)는 영상 각각에 포함되는 대상 객체의 우선순위를 설정하여 우선순위 별로 대상 객체를 변경하여 영상 효과에 대한 피드백을 제작자 단말기(110)로부터 수신한다.The
영상 제작장치(130)는 영상 효과의 차이가 존재하는 영상 간의 차이를 기반으로 우선순위를 결정한다. 영상 제작장치(130)는 외부 영상 영향 정보와 영상과의 관련도를 판단한다. 영상 제작장치(130)는 기존 영상 정보에 포함된 대상 객체(상품)와 직접적으로 관련이 없는 외부 정보를 추출하여 관련도를 결정한다.The
영상 제작장치(130)는 날씨 정보, 지역 온라인 및 오프라인 이벤트 정보 또는 사용자 위치 정보를 포함하는 외부 정보를 생성한다. 영상 제작장치(130)는 기존 영상에 포함되는 날씨 정보, 지역 온라인 및 오프라인 이벤트 정보 또는 사용자 위치 정보에 대한 분석을 기반으로 관련도를 결정한다.The
영상 제작장치(130)는 기존 영상에 포함된 날씨 정보, 지역 온라인 및 오프라인 이벤트 정보 또는 사용자 위치 정보를 추출하여 날씨, 이벤트, 위치에 대한 분석을 수행한다. 영상 제작장치(130)는 관련도의 크기를 고려하여 관련도가 임계값 이상인 경우, 외부 영상 영향 정보를 고려한 영상을 생성한다.The
영상 제작장치(130)는 머신 러닝을 기반으로 영상을 생성한다. 영상 제작장치(130)는 대상 객체에 대한 사람의 시선 관련 정보를 입력 정보로서 수신하여 머신 러닝을 수행한다. 영상 제작장치(130)는 대상 객체에서 사람이 우선적으로 관심을 가지고 보는 객체 우선 인식 영역에 대한 정보 및 대상 객체에서 사람이 순차적으로 관심을 가지고 보는 시선 이동 영역에 대한 정보를 포함한 시선 관련 정보를 생성한다.The
영상 제작장치(130)는 대상 객체 정보, 대상 객체에 대한 시선 정보를 포함하는 제1 시선 데이터 세트를 기반으로 한 기계 학습을 이용하여 객체 우선 인식 영역에 대한 정보를 획득한다. 영상 제작장치(130)는 대상 객체 정보, 대상 객체에 대한 시선 이동 정보를 포함하는 제2 시선 데이터 세트를 기반으로 한 기계 학습을 이용하여 시선 이동 영역에 대한 정보를 획득한다.The
영상 제작장치(130)는 영상 적합도를 기반으로 제작자에 의해 제공된 상품 이미지의 활용도가 상대적으로 높은 영상(제작자 베이스)을 사용할지 제작자에 의해 제공된 상품 이미지의 활용도가 상대적으로 낮은 영상(인공지능 베이스)을 사용할지 여부를 결정한다. 영상 제작장치(130)는 상품 이미지와 기존 이미지의 유사도를 기반으로 영상 적합도를 결정한다.The
영상 제작장치(130)는 AI 기반으로 영상 결과를 예측한다. 영상 제작장치(130)는 제1 영상을 생성한다. 영상 제작장치(130)는 제1 영상에 대한 제1 결과 정보를 제작자 단말기(110)로부터 수신한다. 영상 제작장치(130)는 제1 영상과 제1 결과 정보를 입력 정보로 머신 러닝을 수행한다.The
영상 제작장치(130)는 머신 러닝을 기반으로 제2 영상을 생성한다. 영상 제작장치(130)는 제2 영상에 대한 제2 결과 정보를 수신한다. 영상 제작장치(130)는 제2 영상과 제2 결과 정보를 입력 정보로 머신 러닝을 수행한다.The
영상 제작장치(130)는 머신 러닝을 기반으로 영상에 대한 영상 결과 예측을 수행한다. 영상 제작장치(130)는 영상에 따라 생성된 영상 클릭율에 대한 확률 분포 정보를 포함하는 영상 결과 예측을 수행한다.The
영상 제작장치(130)는 제1 영상 타겟팅 정보를 포함하는 제1 영상을 생성한다. 영상 제작장치(130)는 제2 영상 타겟팅 정보를 포함하는 제2 영상을 생성한다.The
영상 제작장치(130)는 머신 러닝을 기반으로 한 확률 분포 정보를 기반으로 상대적으로 높은 영상 클릭률이 상대적으로 높은 확률로 예측되도록 제1 영상 타겟팅 정보에 포함되는 적어도 하나의 제1 하위 영상 타겟팅 정보의 설정을 변화시켜 제2 영상 타겟팅 정보를 생성한다.The
영상 제작장치(130)는 확률 분포 정보가 특정 영상 클릭률에 대한 첨도(kurtosis)가 임계값 이상으로 높으며, 특정 영상 클릭률이 상대적으로 높은값을 갖도록 학습한다.The
영상 제작장치(130)는 확률 분포 정보를 결정하기 위해 영상 및 영상 타겟팅 정보를 기반으로 머신 러닝을 수행한다. 영상 제작장치(130)는 영상 타겟팅 정보에 포함되는 복수의 하위 영상 타겟팅 정보를 기반으로 형성된 데이터 세트에 대한 클러스터링을 수행하여 임계 거리 데이터 세트를 통해 영상 효과를 예측한다. 영상 제작장치(130)는 영상 효과가 상대적으로 낮은 경우, 복수의 하위 영상 타겟팅 정보의 조합을 변경하여 최대 영상 효과 클러스터를 탐색한다.The
영상 제작장치(130)는 복수의 하위 영상 타겟팅 정보의 조합을 변경으로 영상 효과가 상대적으로 낮은 경우, 2차적으로 영상 상에서 대상 객체를 분석하고 대상 객체의 우선순위를 설정하여 우선순위 별로 대상 객체를 변경하여 영상 효과에 대한 피드백을 추가적으로 수신한다. 영상 제작장치(130)는 기존에 영상 타겟팅 정보의 설정 값의 범위를 기준으로 영상 효과의 차이를 가진 영상 간의 차이를 기반으로 우선순위를 결정한다.When the image effect is relatively low by changing the combination of a plurality of lower image targeting information, the
영상 제작장치(130)는 데이터 수집 기술을 기반으로 영상 효과에 영향을 줄 수 있는 외부 영상 영향 정보를 수집한다. 영상 제작장치(130)는 외부 영상 영향 정보와 영상과의 관련도를 결정한다. 영상 제작장치(130)는 관련도의 크기가 임계값 이상인 경우, 외부 영상 영향 정보를 고려하여 영상을 생성한다.The
동영상 제공장치(140)는 네트워크(120)를 이용하여 다양한 동영상을 제공하는 장치를 의미한다. 동영상 제공장치(140)(예컨대, 유튜브, 페이스북, 인스타그램, 네이버 TV, 카카오 TV 등)는 입력된 키워드에 대응하는 영상을 자체적인 알고리즘에 의해 출력한다. The
도 2는 본 실시예에 따른 영상 제작장치를 개략적으로 나타낸 블럭 구성도이다.2 is a block diagram schematically showing an image production apparatus according to the present embodiment.
본 실시예에 따른 영상 제작장치(130)는 키워드 입력부(210), 레퍼런스 영상 생성부(212), 영상 정보 입력부(220), 맞춤 영상 생성부(222), 객체 분리부(230), 배경음악 분리부(240), 문구 생성부(250), 영상 제작부(260), 영상 데이터 수집부(270), 영상 학습부(280)를 포함한다. 영상 제작장치(130)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The
영상 제작장치(130)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the
도 2에 도시된 영상 제작장치(130)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.Each component of the
키워드 입력부(210)는 제작자 단말기(110)로부터 키워드를 입력받는다. 레퍼런스 영상 생성부(212)는 AI를 이용하여 복수의 동영상 제공장치(140)로부터 키워드에 대응하는 배경화면, 음악, 텍스트 중 적어도 하나 이상을 추출하여 레퍼런스 영상을 생성한다.The
레퍼런스 영상 생성부(212)는 복수의 동영상 제공장치(140)로부터 키워드에 대응하는 배경화면, 음악, 텍스트 중 무료 데이터만을 선별하여 레퍼런스 영상을 생성한다. 레퍼런스 영상 생성부(212)는 키워드에 대응하는 좋아요, 댓글, 조회수를 기반으로 레퍼런스 영상을 생성한다.The
레퍼런스 영상 생성부(212)는 복수의 동영상 제공장치(140)로부터 기 설정된 기간(최근 5년간)동안 키워드와 가장 높은 연관성을 갖는 영상을 기 설정된 개수를 포함하는 리스트로 출력한다. 레퍼런스 영상 생성부(212)는 리스트에 포함된 영상 중 제작자 선호도를 기반으로 선별된 영상을 레퍼런스 영상으로 생성한다.The
레퍼런스 영상 생성부(212)는 복수의 동영상 제공장치(140)로부터 키워드에 대응하는 영상 중 조회수, 좋아요 횟수, 댓글수, 공유 횟수 중 하나 이상의 정보를 기반으로 1차적으로 높은 연관성을 갖는 영상으로 추출한다.The reference
레퍼런스 영상 생성부(212)는 복수의 동영상 제공장치(140)로부터 키워드에 대응하는 영상 중 CF(Commercial Film) 수상실적을 갖는 영상을 객관적인 지표로서 데이터를 리스트화시켜 2차적으로 높은 연관성을 갖는 영상으로 추출한다. 레퍼런스 영상 생성부(212)는 1차적으로 높은 연관성을 갖는 영상과 2차적으로 높은 연관성을 갖는 영상을 조합한 후 기 설정된 개수 단위로 리스트화하여 제작자 단말기(110)로 전송한다.The reference
레퍼런스 영상 생성부(212)는 리스트에 포함된 영상 중 제작자 단말기(110)가 선택한 영상을 재생시킨다. 레퍼런스 영상 생성부(212)는 재생된 영상의 재생시간, 재생완성률, 재생 구간을 기반으로 제작자 선호도를 산출한다. 레퍼런스 영상 생성부(212)는 리스트에 포함된 영상 중 제작자 선호도에 해당하는 영상을 선별하여 레퍼런스 영상을 생성한다.The
레퍼런스 영상 생성부(212)는 제작자 선호도를 기반으로 유사한 영상을 추가로 검색하여 리스트화에 추가한다. 레퍼런스 영상 생성부(212)는 리스트에 포함된 영상 각각의 총 재생시간을 기반으로 재생 구간을 분할한다. 레퍼런스 영상 생성부(212)는 총 재생시간 대비 재생시간을 기반으로 재생 완성률을 확인한다.The
레퍼런스 영상 생성부(212)는 리스트에 포함된 영상 각각의 전체 재생구간을 임의의 재생구간(예컨대, 3%, 10%, 25%, 50%, 75%, 100%)으로 분할한다. 레퍼런스 영상 생성부(212)는 임의의 재생구간이 길수록 해당 영상의 카테고리, 속성, 제목이 제작자 선호도에 부합하는 것으로 인지한다.The
레퍼런스 영상 생성부(212)는 제작자 단말기(110)에 대응하는 제작자 계정에서 기 설정한 카테고리 정보를 영상 화질 카테고리(4K 화질, FHD 화질, HD 화질), 영상 타입 카테고리(홍보영상, 제품영상, 드라마타입, 애니메이션, 인포그래픽, 자연, 인물), 영상 톤 카테고리(역동적인, 화사한, 리드미컬한, 발라드, 드라마타입, 현란한) 중 어느 하나인 것을 확인한다. 레퍼런스The reference
영상 생성부(212)는 기 설정한 카테고리에 대응하는 배경화면, 음악, 텍스트에 가중치를 반영하여 레퍼런스 영상을 생성한다. The
영상 정보 입력부(220)는 제작자 단말기(110)로부터 영상 정보를 입력받는다. The image
맞춤 영상 생성부(222)는 영상 정보를 분석한 분석 결과를 생성한다. 맞춤 영상 생성부(222)는 AI를 이용하여 복수의 동영상 제공장치(140)로부터 분석 결과에 대응하는 데이터를 추출하여 맞춤 영상을 생성한다.The
맞춤 영상 생성부(222)는 복수의 동영상 제공장치(140)로부터 분석 결과에 대응하는 배경화면, 음악, 텍스트 중 무료 데이터만을 선별하여 맞춤 영상을 생성한다. 맞춤 영상 생성부(222)는 영상 정보에 해당하는 제품군을 분석하고, 제품군을 포함하고 있는 영상을 기반으로 맞춤 영상을 생성한다.The customized
맞춤 영상 생성부(222)는 영상 정보로부터 영상 분량(30초), 영상 타입(인포그래픽, 실사 촬영, 인포그래픽 및 실사촬영), 영상 톤(잔잔한, 역동적인, 드라마적인, 색감있는, 아기자기한), 영상 소스(깨끗한 바다, 청량한 느낌, 맑은 자연, 청순한 동양미인, 기초화장품), BGM(맑고 깨끗한 피아노, 맑은 물소리), 문구(‘자연 그대로의 순수함을 머금은 순수한 물결’, ‘오늘부터 자연으로 내 피부에 입히세요’)를 추출한다.The customized
맞춤 영상 생성부(222)는 영상 소스에 영상 톤, 영상 타입을 적용한 상태에서 BGM, 문구를 삽입하여 영상 분량만큼 재생되도록 하는 맞춤 영상을 생성한다. 맞춤 영상 생성부(222)는 맞춤 영상에 대한 제작자 단말기(110)로부터 수신한 피드백 정보를 수신하여 학습한 학습 결과를 생성한다. 맞춤 영상 생성부(222)는 학습 결과를 맞춤 영상을 생성할 때 반영한다.The customized
맞춤 영상 생성부(222)는 웹소설, 시로부터 문구에 대응하는 긴 문장, 철학적인 문장을 추출하여 맞춤 영상에 삽입한다.The customized
객체 분리부(230)는 AI를 이용하여 레퍼런스 영상과 맞춤 영상으로부터 배경 영상과 대상 객체(제품)를 구분한다. 객체 분리부(230)는 레퍼런스 영상과 맞춤 영상 중 대상 객체(제품)를 미포함하는 영상을 배경 영상으로 구분한다. 객체 분리부(230)는 레퍼런스 영상과 맞춤 영상 중 대상 객체(제품)를 포함하는 영상으로부터 대상 객체(제품)만을 분리한다.The
배경음악 분리부(240)는 AI를 이용하여 레퍼런스 영상과 맞춤 영상으로부터 배경 음악만을 추출한다. 문구 생성부(250)는 AI를 이용하여 레퍼런스 영상과 맞춤 영상에 포함된 텍스트를 인지한다. 문구 생성부(250)는 텍스트 중 키워드와 문구와 연관성을 갖는 단어 또는 문장을 추출하여 문구로 재조합한다.The
영상 제작부(260)는 레퍼런스 영상과 맞춤 영상을 조합하여 영상을 제작한다. 영상 제작부(260)는 객체 분리부(230)에 구분한 배경영상 내에 대상 객체를 삽입하는 형태로 영상을 제작한다. 영상 제작부(260)는 배경음악 분리부(240)에서 구분한 배경 음악을 배경영상에 따라 삽입하는 형태로 영상을 제작한다. 영상 제작부(260)는 문구 생성부(250)에서 생성한 문구를 배경영상에 따라 삽입하는 형태로 영상을 제작한다.The
영상 제작부(260)는 제작자 정보에 포함된 타겟 연령층 정보를 기반으로 복수의 대상 객체 정보, 복수의 영상 타겟팅 정보를 포함하는 복수의 영상을 생성한다.The
영상 제작부(260)는 제작자 정보에 포함된 타겟 연령층 정보와 동영상 제공장치(140) 각각의 나이 카테고리를 기반으로 한 클러스터에 의해 결정된 복수의 영상 타겟팅 정보를 생성한다. 영상 제작부(260)는 웹 페이지에 포함된 나이 관련 단어에 대한 단어 집합 추출 빈도 및 단어 밀집도를 기반으로 언어 인접도를 결정한다. 영상 제작부(260)는 언어 인접도에 의해 클러스터의 중심과 타겟 연령층 정보에 포함되는 나이 지시 단어 간의 거리를 결정한다.The
영상 제작부(260)는 영상 학습부(280)에서 수행한 제1 머신 러닝을 기반으로 한 제1 영상을 생성한다. 영상 제작부(260)는 영상 학습부(280)에서 수행한 제2 머신 러닝을 기반으로 한 제2 영상을 생성한다. 영상 제작부(260)는 영상 학습부(280)에서 수행한 제3 머신 러닝을 기반으로 한 제3 영상을 생성한다.The
영상 제작부(260)는 영상 데이터 수집부(270)로부터 수신한 영상 결과 정보의 분석을 기반으로 영상, 영상 타겟팅 정보에 대한 수정 여부를 결정한다.The
영상 제작부(260)는 머신 러닝을 기반으로 레퍼런스 영상 및 맞춤 영상에 포함된 배경 영상에서 분리되는 대상 객체의 위치 또는 크기를 고려하여 복수의 영상을 생성한다.The
영상 제작부(260)는 제작자 정보(미존재)와 관련된 추가적인 질문에 대한 답변을 받지 못하는 경우, 이미 입력받은 제작자 정보(존재)를 기반으로 예측을 수행한다.When the
영상 제작부(260)는 예측 정확도가 임계값 이상이라고 판단되는 경우, 예측된 정보를 이용하여 복수의 영상을 생성한다. 영상 제작부(260)는 예측 정확도가 임계값 미만이라고 판단되는 경우, 인공 지능 챗봇을 통해 추가 질문을 생성하여 제작자 단말기(110)로 전송한다. 영상 제작부(260)는 제작자 정보(존재)를 기준으로 기존에 입력된 기존 제작자 정보 중 적어도 하나와 비교하여 예측 정확도를 결정한다. 영상 제작부(260)는 제작자 정보(미존재) 별로 예측을 위해 설정된 제작자 정보(존재) 중 특정 제작자 정보(존재) 및 특정 제작자 정보(존재)에 대한 별도의 가중치를 기반으로 예측 정확도를 결정한다.When it is determined that the prediction accuracy is greater than or equal to the threshold value, the
영상 제작부(260)는 복수의 영상에 포함되는 대상 객체에 대한 우선순위를 설정한다. 영상 제작부(260)는 복수의 영상 중 영상 효과의 차이가 존재하는 영상 간의 차이를 기반으로 우선순위를 결정한다. 영상 제작부(260)는 날씨 정보, 지역 온라인 및 오프라인 이벤트 정보 또는 사용자 위치 정보를 포함하는 외부 영상 영향 정보를 생성한다. 영상 제작부(260)는 외부 영상 영향 정보와 복수의 영상 각각과의 관련도를 판단한다.The
영상 제작부(260)는 기존 영상 정보에 포함된 상품과 직접적으로 관련이 없는 정보를 추출하여 관련도를 결정한다. 영상 제작부(260)는 기존 영상에 포함되는 날씨 정보, 지역 온라인 및 오프라인 이벤트 정보 또는 사용자 위치 정보에 대한 분석을 기반으로 관련도를 결정한다. 영상 제작부(260)는 관련도의 크기를 고려하여 관련도가 임계값 이상인 경우, 외부 영상 영향 정보를 고려하여 영상을 생성한다.The
영상 제작부(260)는 레퍼런스 영상과 맞춤 영상을 조합하여 제1 영상, 제2 영상을 생성한다.The
영상 제작부(260)는 영상 결과 정보를 머신 러닝한 결과를 기반으로 영상에 대한 영상 결과 예측을 수행한다. 영상 제작부(260)는 영상에 따라 생성된 영상 클릭율에 대한 확률 분포 정보를 포함하는 영상 결과 예측을 생성한다.The
영상 제작부(260)는 제1 영상 타겟팅 정보를 포함하는 제1 영상 및 제2 영상 타겟팅 정보를 포함하는 제2 영상을 생성한다. 영상 제작부(260)는 머신 러닝을 기반으로 한 확률 분포 정보를 기반으로 상대적으로 높은 영상 클릭률이 상대적으로 높은 확률로 예측되도록 제1 영상 타겟팅 정보에 포함되는 적어도 하나의 제1 하위 플랫폼 영상 타겟팅 정보의 설정을 변화시켜 제2 영상 타겟팅 정보를 생성한다.The
영상 제작부(260)는 영상 타겟팅 정보에 포함되는 복수의 하위 영상 타겟팅 정보를 기반으로 형성된 데이터 세트에 대한 클러스터링을 수행하여 임계 거리 데이터 세트를 통해 영상 효과를 예측한다. 영상 제작부(260)는 영상 효과가 상대적으로 낮은 경우, 복수의 하위 영상 타겟팅 정보의 조합을 변경하여 최대 영상 효과 클러스터를 탐색한다.The
영상 제작부(260)는 복수의 하위 영상 타겟팅 정보의 조합을 변경으로 영상 효과가 상대적으로 낮은 경우, 2차적으로 영상 상에서 대상 객체를 분석하고 대상 객체의 우선순위를 설정하여 우선순위 별로 대상 객체를 변경하여 영상 효과에 대한 피드백을 추가적으로 수신하도록 한다. 영상 제작부(260)는 기존에 영상 타겟팅 정보의 설정 값의 범위를 기준으로 영상 효과의 차이를 가진 영상 간의 차이를 기반으로 우선순위를 결정한다.When the image effect is relatively low by changing the combination of a plurality of sub-image targeting information, the
영상 제작부(260)는 외부 영상 영향 정보와 영상과의 관련도를 결정하며, 관련도의 크기가 임계값 이상인 경우, 외부 영상 영향 정보를 고려하여 복수의 영상을 생성하도록 한다.The
영상 데이터 수집부(270)는 제작자 단말기(110)로부터 타겟 연령층 정보를 포함하는 제작자 정보를 수신한다. 영상 데이터 수집부(270)는 영상 제작부(260)에서 생성한 제1 영상, 제2 영상 및 제3 영상에 대한 제작자 단말기(110)의 선택 결과를 수집한다. 영상 데이터 수집부(270)는 영상 제작부(260)에서 생성한 영상에 대한 영상 결과 정보를 제작자 단말기(110)로부터 수신한다.The image
영상 데이터 수집부(270)는 인공 지능 챗봇 상에 입력된 제작자 웹 페이지 상의 정보의 스크랩핑, 인공 지능 챗봇을 이용하여 제작자 단말기(110)로의 질의를 전송하고, 질의에 대한 답변을 기반으로 제작자 정보를 수집한다.The image
영상 데이터 수집부(270)는 우선순위 별로 대상 객체를 변경하여 영상 효과에 대한 피드백을 제작자 단말기(110)로부터 수신한다. 영상 데이터 수집부(270)는 영상 제작부(260)에서 생성한 제1 영상에 대한 제1 결과 정보, 제2 영상에 대한 제2 결과 정보를 제작자 단말기(110)로부터 수신한다. 영상 데이터 수집부(270)는 데이터 수집 기술을 기반으로 영상 효과에 영향을 줄 수 있는 외부 영상 영향 정보를 수집한다.The image
영상 학습부(280)는 제1 머신 러닝부, 제2 머신 러닝부, 제3 머신 러닝부를 포함한다. 제1 머신 러닝부는 동영상 제공장치(140)에 대한 멀티 플랫폼을 고려하지 않은 학습 데이터를 기반으로 한 제1 머신 러닝을 수행한다. 제2 머신 러닝부는 동영상 제공장치(140)에 대한 멀티 플랫폼을 고려한 학습 데이터를 기반으로 한 제2 머신 러닝을 수행한다. 제3 머신 러닝부는 동영상 제공장치(140)에 대한 멀티 플랫폼을 고려하지 않은 학습 데이터 및 동영상 제공장치(140)에 대한 멀티 플랫폼을 고려한 학습 데이터를 기반으로 한 제3 머신 러닝을 수행한다.The
영상 학습부(280)는 영상 학습부(280)에서 수행한 제3 머신 러닝을 위한 플랫폼을 고려하지 않은 학습 데이터 및 플랫폼을 고려한 학습 데이터의 비율을 변화시킨다. 영상 학습부(280)는 레퍼런스 영상 및 맞춤 영상에 포함된 대상 객체를 입력 정보로서 입력하여 머신 러닝을 수행한다.The
영상 학습부(280)는 영상에 포함된 대상 객체에 대한 사람의 시선 관련 정보를 입력 정보로서 수신하여 머신 러닝을 수행한다. 영상 학습부(280)는 영상에 포함된 대상 객체에 대해 사람이 우선적으로 관심을 가지고 보는 객체 우선 인식 영역에 대한 정보 및 대상 객체에서 사람이 순차적으로 관심을 가지고 보는 시선 이동 영역에 대한 정보를 포함한 시선 관련 정보를 생성한다.The
영상 학습부(280)는 영상에 포함된 대상 객체 정보, 대상 객체에 대한 시선 정보를 포함하는 제1 시선 데이터 세트를 기반으로 한 기계 학습을 이용하여 객체 우선 인식 영역에 대한 정보를 획득한다. 영상 학습부(280)는 영상에 포함된 대상 객체 정보, 대상 객체에 대한 시선 이동 정보를 포함하는 제2 시선 데이터 세트를 기반으로 한 기계 학습을 이용하여 시선 이동 영역에 대한 정보를 획득한다.The
영상 학습부(280)는 대상 객체와 기존 대상 객체의 유사도를 기반으로 결정한 영상 적합도를 기반으로 제작자에 의해 제공된 상품 이미지의 활용도가 상대적으로 높은 플랫폼 영상(제작자 베이스)을 사용할지 제작자에 의해 제공된 상품 이미지의 활용도가 상대적으로 낮은 플랫폼 영상은 플랫폼 영상(인공지능 베이스)을 사용할지 여부를 결정한다.The
영상 학습부(280)는 제1 영상, 제1 결과 정보, 제2 영상, 제2 결과 정보를 입력 정보로 머신 러닝을 수행한다.The
영상 학습부(280)는 확률 분포 정보가 특정 영상 클릭률에 대한 첨도(kurtosis)가 임계값 이상으로 높으며, 특정 영상 클릭률이 상대적으로 높은값을 갖도록 학습한다. 영상 학습부(280)는 확률 분포 정보를 결정하기 위해 플랫폼 영상 및 플랫폼 영상 타겟팅 정보를 기반으로 머신 러닝을 수행한다.The
도 3은 본 실시예에 따른 AI 기반의 영상 제작 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating an AI-based image production method according to the present embodiment.
영상 제작장치(130)는 제작자 단말기(110)로부터 키워드를 입력받는다(S310). 영상 제작장치(130)는 AI를 이용하여 복수의 동영상 제공장치(140)로부터 키워드에 대응하는 배경화면, 음악, 텍스트 중 적어도 하나 이상을 추출하여 레퍼런스 영상을 생성한다(S320). The
단계 S320에서, 영상 제작장치(130)는 제작자가 제작하고자 하는 영상의 레퍼런스 영상 검색하고 소개한다. 영상 제작장치(130)는 제작자가 만들고자 하는 예시 영상들의 레퍼런스들을 최적화시킨다. 영상 제작장치(130)는 제작자 단말기(110)로부터 ‘뷰티화장품’이란 키워드를 입력받으면, 기 제작된 화장품에 관련된 광고, 홍보 등의 영상들이 좋아요, 댓글, 조회수 등 신뢰할 수 있는 데이터로 정렬되어 TOP 100을 선별하여 제작자 단말기(110)로 출력한다.In step S320 , the
영상 제작장치(130)는 제작자 단말기(110)로부터 제작자가 마음에 드는 영상들을 선택하면, AI를 이용하여 선택된 영상들의 공통점을 파악하여, 다시 제작자 단말기(110)로 전송한다. 영상 제작장치(130)는 제작자 단말기(110)로부터 몇 번의 과정을 거쳐 제작자가 만들고자 하는 예시 영상 레퍼런스를 최적화한다. 영상 제작장치(130)는 예시 영상 레퍼런스를 최적화하는 과정에서 AI를 학습시켜서, 비슷한 성향을 가진 타사용자에게 예시 영상 레퍼런스를 소개하여 데이터를 축적한다. When the producer selects images he likes from the
영상 제작장치(130)는 제작자 단말기(110)로부터 영상 정보를 입력받는다(S330). 영상 제작장치(130)는 영상 정보를 분석한 분석 결과를 생성하고, AI를 이용하여 복수의 동영상 제공장치(140)로부터 분석 결과에 대응하는 데이터를 추출하여 맞춤 영상을 생성한다(S340).The
단계 S340에서, 영상 제작장치(130)는 제작자가 만들고자 하는 영상의 필요정보를 입력하면, 머신러닝으로 학습된 AI 알고리즘에 의해 알맞은 영상 데이터를 매칭시켜가면서, AI 영상을 쉽고 빠르게 제작한다. In step S340, the
예컨대, 영상 제작장치(130)는 제작자 단말기(110)로부터 원하는 영상 정보를 입력받는다. 영상 제작장치(130)는 제작자 단말기(110)로부터 제작분량으로 30초, 45초, 60초, 2분, 5분, 10분 중 하나를 입력받는다. 영상 제작장치(130)는 제작자 단말기(110)로부터 영상 타입으로 인포그래픽, 실사영상 데이터, 인포그래픽과 실사영상 데이터 중 하나를 입력받는다. For example, the
영상 제작장치(130)는 제작자 단말기(110)로부터 영상 톤으로 잔잔한 톤, 역동적인 톤, 드라마타입 톤, 트랜디한 톤, 감성적인 톤 중 하나를 입력받는다. 영상 제작장치(130)는 제작자 단말기(110)로부터 영상소스로 인포그래픽인 경우 여러 개의 예시 영상소스를 입력받고, 실사촬영인 경우 예시 실사영상을 입력받는다. 영상 제작장치(130)는 제작자 단말기(110)로부터 원하는 영상 속도로 잔잔하게, 보통, 빠르게 중 하나를 입력받는다. 영상 제작장치(130)는 제작자 단말기(110)로부터 BGM을 입력받는다. 영상 제작장치(130)는 제작자 단말기(110)로부터 영상 자막을 사용자가 넣고 싶은 영상자막을 입력받는다. 영상 제작장치(130)는 제작자 단말기(110)로부터 로고로 첨부파일을 삽입받고 첨부 파일 내용을 영상 처음 또는 끝에 노출할지 선택받는다.The
단계 S340 이후 영상 제작장치(130)는 AI를 이용하여 레퍼런스 영상과 맞춤 영상으로부터 배경 영상과 대상 객체(제품)를 구분한다. 영상 제작장치(130)는 레퍼런스 영상과 맞춤 영상 중 대상 객체(제품)를 미포함하는 영상을 배경 영상으로 구분한다. 영상 제작장치(130)는 레퍼런스 영상과 맞춤 영상 중 대상 객체(제품)를 포함하는 영상으로부터 대상 객체(제품)만을 분리한다. 영상 제작장치(130)는 AI를 이용하여 레퍼런스 영상과 맞춤 영상으로부터 배경 음악만을 추출한다. 영상 제작장치(130)는 AI를 이용하여 레퍼런스 영상과 맞춤 영상에 포함된 텍스트를 인지한다. 영상 제작장치(130)는 텍스트 중 키워드와 문구와 연관성을 갖는 단어 또는 문장을 추출하여 문구로 재조합한다.After step S340, the
영상 제작장치(130)는 레퍼런스 영상과 맞춤 영상을 조합하여 영상을 제작한다(S350). 단계 S350에서, 영상 제작장치(130)는 배경영상 내에 대상 객체를 삽입하는 형태로 영상을 제작한다. 영상 제작장치(130)는 배경 음악을 배경영상에 따라 삽입하는 형태로 영상을 제작한다. 영상 제작장치(130)는 문구를 배경영상에 따라 삽입하는 형태로 영상을 제작한다.The
영상 제작장치(130)는 영상제작이 완료된 후, 수정구간을 사용자가 직접 선택하게 하여, 재제작이 가능하도록 하여 몇 번의 과정을 거쳐 사용자가 만들고자 하는 영상을 제작할 수 있도록 한다. 영상 제작장치(130)는 AI를 학습시켜서 비슷한 영상을 만들고자 하는 타사용자에게 접목시켜 AI 기반 영상을 제작한다.After the image production is completed, the
도 3에서는 단계 S310 내지 단계 S350을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.Although it is described that steps S310 to S350 are sequentially executed in FIG. 3 , it is not necessarily limited thereto. In other words, since it may be applicable to changing and executing the steps described in FIG. 3 or executing one or more steps in parallel, FIG. 3 is not limited to a chronological order.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 AI 기반의 영상 제작 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 AI 기반의 영상 제작 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. As described above, the AI-based image production method according to the present embodiment described in FIG. 3 may be implemented as a program and recorded in a computer-readable recording medium. A computer-readable recording medium in which a program for implementing the AI-based image production method according to the present embodiment is recorded includes all types of recording devices in which data readable by a computer system is stored.
도 4는 본 실시예에 따른 복수의 영상을 제작하는 방법을 나타낸 도면이다.4 is a diagram illustrating a method of producing a plurality of images according to the present embodiment.
영상 제작장치(130)는 제작자 정보를 기반으로 복수의 영상을 제작한다. 영상 제작장치(130)는 제작자 정보를 기반으로 복수의 동영상 제공장치(140) 각각에 대한 영상을 제작한다.The
영상 제작장치(130)는 제작자 단말기(110)로부터 제작자 정보를 수신한다. 영상 제작장치(130)는 제작자 정보에 포함된 이미지 정보, 회사 상표 정보, 카피 문구 정보 중 하나 이상의 정보를 추출한다. 영상 제작장치(130)는 이미지 정보, 회사 상표 정보, 카피 문구 정보 중 하나 이상의 정보를 기반으로 영상을 제작한다.The
영상 제작장치(130)는 복수의 동영상 제공장치(140)별로 서로 다른 영상을 제작한다. 예컨대, 영상 제작장치(130)는 제1 동영상 제공장치(예컨대, 트위터)와 제2 동영상 제공장치(예컨대, 유튜브)에 대해 서로 다른 영상을 제작할 수 있다.The
영상 제작장치(130)는 영상 데이터 수집부(270), 데이터 가공부, 영상 학습부(280)를 포함한다. 영상 학습부(280)는 제1 머신 러닝부, 제2 머신 러닝부, 제3 머신 러닝부를 포함한다.The
제1 머신 러닝부는 플랫폼별 구분이 없이 기존 영상의 수집, 가공, 학습을 수행하는 제1 머신 러닝을 수행한다. 제2 머신 러닝부는 멀티 플랫폼을 구분하여 멀티 플랫폼별 영상에 대한 수집, 가공, 학습을 수행하는 제2 머신 러닝을 수행한다. 제3 머신 러닝부는 서로 다른 학습 데이터 세트(예컨대, 상품별로 구분된 기존 상품 이미지, 동영상 제공장치별 제품 이미지)을 이용한 제3 머신 러닝을 수행한다.The first machine learning unit performs first machine learning to collect, process, and learn existing images without distinction by platform. The second machine learning unit performs second machine learning by classifying multi-platforms to collect, process, and learn images for each multi-platform. The third machine learning unit performs third machine learning using different learning data sets (eg, an existing product image classified for each product and a product image for each video providing device).
제1 머신 러닝부와 제2 머신 러닝부는 지도 학습, 비지도 학습, 딥 러닝을 포함을 이용하여 제1 머신 러닝, 제2 머신 러닝을 수행한다. The first machine learning unit and the second machine learning unit perform the first machine learning and the second machine learning using supervised learning, unsupervised learning, and deep learning.
제1 머신 러닝부는 지도 학습을 위한 라벨링을 수행되는 경우, 기존 대상 객체에 포함된 상품의 위치, 보조 객체의 위치, 회사 상표의 위치, 카피 문구에 대한 위치에 대한 라벨링된 데이터를 제1 머신 러닝을 위해 입력되는 학습 데이터로서 입력받아 제1 머신 러닝을 수행한다. When labeling for supervised learning is performed, the first machine learning unit performs first machine learning of labeled data for the position of the product included in the existing target object, the position of the auxiliary object, the position of the company trademark, and the position for the copy phrase. The first machine learning is performed by receiving the input as learning data input for
제2 머신 러닝부는 라벨링된 플랫폼별 기존 대상 객체를 제2 머신 러닝을 위해 입력되는 학습 데이터로서 입력받아 제2 머신 러닝을 수행한다. 제2 머신 러닝부는 플랫폼 별 기존 대상 객체에 포함된 상품의 위치, 보조 객체의 위치, 회사 상표의 위치, 카피 문구에 대한 위치에 대한 라벨링된 데이터를 제2 머신 러닝을 위해 입력되는 학습 데이터로서 입력받아 제2 머신 러닝을 수행한다.The second machine learning unit receives an existing target object for each labeled platform as the learning data input for the second machine learning and performs second machine learning. The second machine learning unit inputs the labeled data for the position of the product included in the existing target object for each platform, the position of the auxiliary object, the position of the company trademark, and the position for the copy phrase as learning data input for the second machine learning and perform second machine learning.
영상 제작장치(130)는 제1 머신 러닝부에서 수행하는 제1 머신 러닝과 제2 머신 러닝부에서 수행하는 제2 머신 러닝을 기반으로 플랫폼별 영상을 각각 생성할 수 있다. The
영상 제작장치(130)는 제1 머신 러닝부에서 수행하는 제1 머신 러닝과 제2 머신 러닝부에서 수행하는 제2 머신 러닝을 합쳐져 하나의 영상을 생성할 수 있다.The
영상 제작장치(130)는 제1 머신 러닝부에서 수행하는 제1 머신 러닝을 기반으로 제1 영상을 제작한다. 영상 제작장치(130)는 제2 머신 러닝부에서 수행하는 제2 머신 러닝을 기반으로 제2 영상을 제작한다. 영상 제작장치(130)는 제3 머신 러닝부에서 수행하는 제3 머신 러닝을 기반으로 제3 영상을 제작한다.The
영상 제작장치(130)는 제1 영상, 제2 영상, 제3 영상을 제작자 단말기(110)로 전송한다. 영상 제작장치(130)는 제작자 단말기(110)로부터 제1 영상, 제2 영상, 제3 영상 중 하나를 선택받을 수 있다.The
영상 제작장치(130)는 머신 러닝을 이용하여 학습한 AI을 기반으로 동영상 제공장치(140)별 영상을 제작하여 동영상 제공장치(140)별 성향에 맞는 영상을 제작한다. 예컨대, 영상 제작장치(130)는 AI을 기반으로 상품의 위치/크기, 회사 상표의 위치/크기, 카피 문구의 위치/크기, 배경, 글씨 폰트, 이미지의 해상도 및 크기 등이 결정하여 동영상 제공장치(140)로 영상을 상이하게 제작할 수 있다.The
영상 데이터 수집부(270)는 기존 영상에 대해 수집할 때, 영상 효과에 대한 정보도 함께 수집한다. 영상 데이터 수집부(270)는 동영상 제공장치(140)에서 영상 반응 정보('좋아요'의 개수, 댓글의 개수, 영상 클릭률 등)를 기반으로 영상 효과도 함께 수집하여 기존 제품 이미지와 영상 효과에 대한 기계 학습을 수행한다. When the image
영상 데이터 수집부(270)는 복수의 머신 러닝 결과 각각을 기반으로 한 영상 각각에 대한 제작자 장치의 선택 결과를 수집하여 학습 패턴을 변화시킬 수 있다.The image
제3 머신 러닝부는 제1 영상, 제2 영상, 제3 영상 중 제2 영상의 선택 비율이 다른 제1 영상과 제3 영상의 선택 비율과 비교하여 설정된 임계 비율을 넘어가는 경우, 제2 영상의 학습을 위해 사용되었던 입력 데이터의 비율을 상대적으로 높여서 제3 머신 러닝을 수행할 수 있다.When the selection ratio of the second image among the first image, the second image, and the third image exceeds a threshold ratio set by comparing the selection ratio of the other first image and the third image, the third machine learning unit selects the second image. The third machine learning may be performed by relatively increasing the ratio of input data used for learning.
영상 제작장치(130)는 서로 다른 영상의 선택 비율과 비교하여 특정 영상의 선택 비율이 설정된 임계 비율을 넘어가는 경우, 제작자 단말기(110)로부터 별도의 선택 절차 없이 선택 비율이 높은 영상만을 제공할 수 있다.The
도 5는 본 실시예에 따른 영상 결과에 따라 영상 타겟팅 방법을 나타낸 도면 이다.5 is a diagram illustrating an image targeting method according to an image result according to the present embodiment.
영상 제작장치(130)는 영상을 제작하여 동영상 제공 장치(140)에 등록한다. 이후, 영상 제작장치(130)는 동영상 제공 장치(140)로부터 영상에 대한 영상 결과 정보를 수신한다. 영상 제작장치(130)는 자체적으로 영상 결과 정보를 머신 러닝 결과에 대한 피드백으로 이용한다.The
영상 제작장치(130)는 특정 영상에 대한 영상 결과 정보(예를 들어, 영상 클릭률, 좋아요 수, 댓글 수 등)을 수집한다.The
영상 제작장치(130)는 영상과 영상 결과 정보를 매칭하여 영상 학습부(280)로 입력한다. 영상 학습부(280)는 효과적인 영상 효과를 가지는 영상에 대한 머신 러닝을 수행한다.The
영상 제작장치(130)는 영상 결과 정보를 반영하여 영상에 포함되는 영상 디자인을 변화시킬 수 있다. 예컨대, 영상 제작장치(130)는 제1 영상에서 상품 이미지가 크고 카피 문구는 상대적으로 작을수록 영상 클릭률이 높고, 제2 영상에서 상품 이미지가 작고 카피 문구는 상대적으로 클수록 영상 클릭률이 높은 것으로 확인하면, 영상 결과 정보를 반영하여 영상 내 포함되는 상품 이미지, 문구의 디자인 방식을 변화시킬 수 있다.The
영상 제작장치(130)는 대상 객체 또는 영상 결과 정보에 대한 데이터 세트를 입력으로 한 머신 러닝을 수행할 수 있다. 영상 제작장치(130)는 머신 러닝 결과를 기반으로 이후 제작자 정보를 기반으로 영상을 제작할 때, 대상 객체, 상품 이미지, 로고, 카피 문구 등의 위치를 결정할 수 있다.The
영상 제작장치(130)는 피드백 결과를 기반으로 영상 제작 예산 분배 결정 및/또는 영상 배포 기간 결정할 수 있다. 영상 제작장치(130)는 영상 제작으로 사용할 수 있는 금액이 기 설정된 금액(예컨대, 100만원)인 경우, 기 설정된 금액(예컨대, 100만원)으로 특정 동영상 제공장치에 특정 플랫폼을 타겟팅하여 설정하고, 특정 기간동안 특정 영상이 배포될 동안 얼마큼 효과적인지를 분석한 분석 결과를 생성한다.The
영상 제작장치(130)는 영상 타겟팅 설정에 따른 기존 동일/유사한 물품/서비스의 영상 효과를 동영상 제공장치(140) 별로 분석한다. 영상 제작장치(130)는 소분류(화장품), 중분류(미용 용품), 대분류(생활 용품) 등과 같은 물품 분류를 기반으로 광고할 제품의 동일 또는 유사 여부를 결정한다.The
영상 제작장치(130)는 쇼핑 카테고리에 대한 AI 기반의 학습으로 광고할 제품의 동일 또는 유사 여부를 결정한다. 영상 제작장치(130)는 영상 효과가 높은 것으로 판단되는 기존 동일/유사한 물품/서비스에서 설정된 동영상 제공장치(140)별 영상 제작 금액의 비율 정보, 영상 배포 기간 정보, 플랫폼 영상 타겟팅 정보를 추출한다.The
영상 제작장치(130)는 동영상 제공장치(140)별 영상 제작 금액의 비율 정보, 영상 배포 기간 정보, 영상 타겟팅 정보의 산술 평균값, 중간값 또는 영상 효과 우선순위로 가중치를 부여한 값을 제작자 단말기(110)로 전송한다.The
도 6은 본 실시예에 따른 제작자 정보와 영상 타겟팅 정보를 대응시키기 위해 클러스터링 방법을 나타낸 도면이다.6 is a diagram illustrating a clustering method in order to match producer information and image targeting information according to the present embodiment.
영상 제작장치(130)는 제작자 정보 중 타겟 연령층 정보에 대해 클러스터링을 수행한다. 영상 제작장치(130)는 제작자 단말기(110)로부터 입력받은 타겟 연령층 정보와 복수의 영상 각각의 영상 화질 카테고리, 영상 타입 카테고리, 영상 톤 카테고리가 입력되어 클러스터링이 수행될 수 있다.The
영상 제작장치(130)는 영상 화질 카테고리 정보를 기반으로 한 제1 클러스터링을 수행할 수 있다. 영상 제작장치(130)는 영상 화질 카테고리 각각을 하나의 클러스터 중심으로 설정하고, 타겟 정보로서 입력될 수 있는 데이터들에 대한 클러스터링을 수행할 수 있다.The
영상 제작장치(130)는 4K 화질, UHD 화질, UWQHD 화질, WQHD 화질, QHD 화질, WFHD 화질, FHD 화질, HD 화질 등과 같은 해상도를 구분하는 단어를 타겟 정보로서 입력할 수 있다. 영상 제작장치(130)는 해상도 구분 단어와 클러스터 중심과의 거리는 언어 인접도를 기반으로 구분할 수 있다. The
영상 제작장치(130)는 화질 관련된 문서(또는 웹 페이지)를 추출하고, 각 단어 간의 인접도가 얼마나 가까운지를 판단하여 클러스터 중심과의 거리가 결정될 수 있다. The
영상 제작장치(130)는 4096×2160, 3840×2160, 3440×1440, 2560×1440, 2560×1080, 1920×1080, 1280×720 등과 같은 집합을 추출하고, 집합 추출 빈도 및 단어 간 밀접도를 고려하여 클러스터 중심과 해당 단어의 언어 인접도를 추출하여, 클러스터를 생성할 수 있다.The
영상 제작장치(130)는 'FHD'와 '1920×1080' 간의 단어 거리가 가까울수록 단어 간 밀집도가 상대적으로 높고, 단어 밀집도가 높은 문서가 많이 추출될수록 단어 집합 추출 빈도가 높게 결정할 수 있다.The
영상 제작장치(130)는 클러스터링을 기반으로 분류가 어렵거나 분류는 되나 클러스터 중심과 멀어질 경우, 인공 지능 챗봇을 통해 제작자 단말기(110)로 추가적으로 질의하여 보다 정확한 답변을 들어 분류를 영상 화질 카테고리에 대한 분류를 수행할 수 있다.The
도 7은 본 실시예에 따른 영상 제작장치의 영상 최적화 방법을 나타낸 도면이다.7 is a diagram illustrating an image optimization method of the image production apparatus according to the present embodiment.
영상 제작장치(130)는 피드백받은 영상 효과를 능동적으로 학습한다. 영상 제작장치(130)는 제1 영상 설정 정보, 제2 영상 설정 정보, 제3 영상 설정 정보에 따른 영상 클릭률에 대한 확률 분포(이하, 영상 클릭률 확률 분포)를 확인한다. The
영상 제작장치(130)는 복수의 영상 각각에 설정된 영상 설정에 따라 영상 클릭률 확률 분포가 결정되어 영상 클릭률에 대한 예측이 가능하다. 영상 제작장치(130)는 복수의 영상 중 영상 타겟팅 정보의 설정에 따른 영상 클릭률 확률 분포의 예측을 수행한다.The
영상 제작장치(130)는 기존 영상에 따른 기존 영상 효과에 대한 머신 러닝을 수행하고, 머신 러닝 결과를 기반으로 새로운 영상이 입력되는 경우, 영상에 따른 예측 영상 효과(예를 들어, 영상 클릭률 확률 분포)를 결정한다.The
영상 제작장치(130)는 다양한 제작자 단말기(110)로부터 상품K에 대하여 A라는 세팅의 영상을 입력받고, 영상 효과X를 획득할 수 있다. 영상 제작장치(130)는 머신 러닝 결과를 기반으로 새로운 제작자 단말기(110)로부터 상품K 또는 유사 상품K'에 대하여 A라는 세팅의 영상을 입력받는 경우, 유사한 영상 효과X를 가질 것이라고 예측할 수 있다. The
영상 제작장치(130)는 다양한 제작자 단말기(110)로부터 특정 상품에 대하여 B라는 세팅의 영상을 입력받으면, 영상 효과X를 얻은 것으로 가정할 수 있다. 영상 제작장치(130)는 머신 러닝 결과를 기반으로 새로운 제작자 단말기(110)로부터 특정 상품에 대하여 B에서 약간 변화된 B'라는 세팅의 영상을 입력받을 경우, 영상 효과 X를 영상 효과 Y로 변화시킬 것이라고 예측할 수 있다. 영상 제작장치(130)는 지속적인 영상에 따른 영상 효과에 대한 학습으로 예측 정확도를 향상시킬 수 있다.The
영상 제작장치(130)는 제1 영상 설정 정보를 이용하여 영상 클릭률에 대한 상대적으로 낮은 예측 정확도를 산출한다. 영상 제작장치(130)는 제1 영상 설정 정보를 이용하는 경우, 특정 영상 클릭률에 대한 확률값에 대한 예측이 어렵다. 구체적으로 영상 제작장치(130)는 제1 영상 설정 정보를 이용하는 경우, 영상 클릭률 확률 분포에 있어서 특정 영상 클릭률에 대한 첨도(kurtosis)가 높지 않으므로 영상 클릭률에 대한 예측의 정확도가 상대적으로 높지 않다.The
영상 제작장치(130)는 제2 영상 설정 정보를 이용하여 제1 영상 설정 정보보다 영상 클릭률에 대한 높은 예측 정확도를 산출하나, 제3 영상 설정 정보보다 낮은 영상 클릭률에 대한 예측 정확도를 산출한다. 영상 제작장치(130)는 제2 영상 설정 정보를 이용하는 경우, 영상 클릭률 확률 분포에 있어서 특정 영상 클릭률에 대한 첨도(kurtosis)가 상대적으로 높지만, 첨도가 높은 부분의 영상 클릭률이 상대적으로 높은값이 아닌 확률 분포를 예측한다. The
구체적으로 영상 제작장치(130)는 제2 영상 설정 정보를 이용하는 경우, 특정 영상 클릭률에 대한 확률값이 다른 영상 클릭률과 비교하여 상대적으로 높지만, 높은 확률값을 가지는 영상 클릭률이 제3 영상 설정 정보와 비교하여 상대적으로 작은 값을 갖는 확률 분포를 예측한다. 다시 말해, 영상 제작장치(130)는 중간 정도의 영상 클릭률이 높은 확률로 예측되는 경우로서 예측이 된 것이기는 하나, 영상 효과가 높지 않게 예측된 확률 분포를 예측한다.Specifically, when the
영상 제작장치(130)는 제3 영상 설정 정보를 이용하여 제1 영상 설정 정보, 제2 영상 설정 정보보다 높은 영상 클릭률에 대한 예측 정확도를 산출한다. 영상 제작장치(130)는 제3 영상 설정 정보를 이용하는 경우, 특정 영상 클릭률에 대한 확률값이 다른 영상 클릭률과 비교하여 상대적으로 높고, 높은 확률값을 가지는 영상 클릭률이 제2 영상 설정 정보와 비교하여 상대적으로 큰 값으로 확률 분포를 예측한다. 다시 말해, 영상 제작장치(130)는 높은 영상 클릭률이 높은 확률로 예측되는 경우로서 제3 영상 설정 정보를 사용하는 홍보 전략을 제1 영상 설정 정보, 제2 영상 설정 정보와 비교하여 상대적으로 최적의 홍보 전략으로 선택한다.The
따라서, 영상 제작장치(130)는 최적의 홍보 전략에 대한 학습으로 제작자 단말기(110)로 최적의 영상을 제안한다. 영상 제작장치(130)는 제작자 단말기(110)로부터 별도의 영상 타겟팅 정보에 대한 설정이 없이도 영상 제작장치(130)에 의해 결정된 최적의 영상 타겟팅 정보를 기반으로 한 영상을 제작할 수 있다.Accordingly, the
영상 제작장치(130)는 지속적인 영상과 영상 효과에 대한 피드백이 진행될수록 영상 클릭률 확률 분포의 형태가 개선되어(예측력이 개선되어), 특정 영상 클릭률에 대한 첨도(Kurtosis)가 높은 형태로 변화될 수 있다.In the
확률 분포의 첨도(kurtosis)가 임계 첨도값 이상으로 충분히 높다고 판단되는 경우, 영상 제작장치(130)는 머신 러닝 결과를 기반으로 영상에 포함되는 하위 정보 중 특정 하위 정보를 변화시킬 경우(예컨대, 영상 타겟팅 정보 중 특정 하위 정보의 설정을 변화시킬 경우), 더욱 높은 성과의 영상 결과를 낼 것으로 예측되는 홍보 전략을 선택하여 영상을 제작할 수 있다.When it is determined that the kurtosis of the probability distribution is sufficiently high above the threshold kurtosis value, the
도 8은 본 실시예에 따른 영상 제작장치의 영상 클릭률 확률 분포의 예측 방법을 나타낸 도면이다.8 is a diagram illustrating a method of predicting an image click-through rate probability distribution of the image production apparatus according to the present embodiment.
영상 제작장치(130)는 영상 제작장치(130)는 제작한 영상에 대해 지속적으로 피드백받아 학습을 수행한다. 영상 제작장치(130)는 피드백된 정보를 머신 러닝하여 영상에 따른 영상 효과를 예측한다. 영상 제작장치(130)는 대상 객체 및 영상 타겟팅 정보를 포함한 영상을 제작한다.The
영상 제작장치(130)는 대상 객체 및 영상 타겟팅 정보를 기반으로 머신 러닝을 수행한다. 영상 제작장치(130)는 하위 영상 타겟팅 정보로서 제1 하위 영상 타겟팅 정보, 제2 하위 영상 타겟팅 정보, 제3 하위 영상 타겟팅 정보를 포함하는 영상 타겟팅 정보를 머신 러닝한다. The
영상 제작장치(130)는 영상 타겟팅 정보에 포함되는 하위 영상 타겟팅 정보(제1 하위 영상 타겟팅 정보, 제2 하위 영상 타겟팅 정보 및 제3 하위 영상 타겟팅 정보)를 하나의 데이터 세트로 규정한다. 영상 제작장치(130)는 데이터 세트를 기반으로 클러스터링이 수행한다(S810).The
영상 제작장치(130)는 정보 간의 유사도를 기반으로 데이터 간의 거리를 규정한다. 영상 제작장치(130)는 제1 하위 영상 타겟팅 정보에 포함된 상품에 대한 쇼핑 카테고리를 기반으로 상품 간의 유사 거리를 결정한다.The
영상 제작장치(130)는 제2 하위 영상 타겟팅 정보에 포함된 나이에 대한 카테고리를 기반으로 나이 간의 유사 거리를 결정한다. 영상 제작장치(130)는 제3 하위 영상 타겟팅 정보에 포함된 성별에 대한 카테고리, 직업 카테고리를 기반으로 성별, 직업 간의 유사 거리가 결정한다.The
영상 제작장치(130)는 새로운 영상 타겟팅 정보에 대한 클러스터 결정 및 임계 거리 데이터 세트 추출한다(S820). 영상 제작장치(130)는 영상 효과(영상 클릭률 확률 분포)에 대한 예측을 수행한다(S830).The
영상 제작장치(130)는 데이터 세트를 기반으로 클러스터링이 수행되는 경우, 특정 영상 타겟팅 정보에 대한 예측을 수행한다. 영상 제작장치(130)는 새로운 영상 타겟팅 정보가 입력될 경우, 영상 타겟팅 정보를 포함하는 클러스터 및 임계 거리 이내의 인접한 데이터 세트를 추출하여 영상 효과에 대한 예측을 수행하고 영상 클릭률 확률 분포를 결정한다.When clustering is performed based on a data set, the
영상 제작장치(130)는 영상 클릭률 확률 분포를 기반으로 영상 타겟팅 정보 최적화 절차를 수행한다(S840).The
영상 제작장치(130)는 클러스터 및 인접 데이터 세트를 기반으로 예측된 영상 효과(또는 영상 결과 정보)가 좋지 않은 경우, 제1 하위 영상 타겟팅 정보, 제2 하위 영상 타겟팅 정보 및 제3 하위 영상 타겟팅 정보 중 적어도 하나를 변경할 수 있다.When the image effect (or image result information) predicted based on the cluster and the adjacent data set is not good, the
영상 제작장치(130)는 제1 하위 영상 타겟팅 정보, 제2 하위 영상 타겟팅 정보 및 제3 하위 영상 타겟팅 정보 각각 또는 제1 하위 영상 타겟팅 정보, 제2 하위 영상 타겟팅 정보 및 제3 하위 영상 타겟팅 정보의 조합을 변경하여 새롭게 클러스터링을 수행한다. The
영상 제작장치(130)는 영상 효과가 최대인 클러스터에 대한 탐색을 수행하여 최대 영상 효과 클러스터인 하위 영상 타겟팅 정보(제1 하위 영상 타겟팅 정보, 제2 하위 영상 타겟팅 정보 및 제3 하위 영상 타겟팅 정보)를 홍보 전략으로 선택한다.The
영상 제작장치(130)는 1차적으로 영상 타겟팅 정보가 최적의 값으로 설정되는 경우에도 영상 효과가 높지 않은 경우, 2차적으로 대상 객체를 수정한다.The
영상 제작장치(130)는 해당 클러스터의 영상의 특성을 분석한다(S850). 영상 제작장치(130)는 영상을 최적화한다(S860).The
영상 제작장치(130)는 영상 상에서 대상 객체(예컨대, 상품의 크기/위치, 상표의 크기/위치, 카피 문구의 크기/위치, 가격 정보의 크기/위치 등)을 분석하여 영상을 변경시킨다. 영상 제작장치(130)는 대상 객체의 우선순위를 설정하여 우선순위 별로 대상 객체를 변경하여 영상 효과에 대해 추가적인 피드백을 받는다.The
영상 제작장치(130)는 대상 객체의 변경 우선순위를 결정하기 위해 동일 및/또는 유사 범위(영상 타겟팅 정보의 설정 값의 범위를 기준으로 정의)의 영상 타겟팅 정보를 설정하였으나, 복수의 동영상 제공장치(140) 상에서 영상 효과의 차이가 존재하는 대상 객체 간의 차이(예를 들어, 객체 위치 크기 등)를 분석한다. The
영상 제작장치(130)는 대상 객체 간의 차이를 분석하여 어떠한 대상 객체 이미지 상에서 차이가 영상 효과의 차이를 불러왔는지를 결정하여 이미지 요소의 변경 우선순위를 결정한다.The
도 8에서는 S810 내지 S860을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 8에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 8은 시계열적인 순서로 한정되는 것은 아니다.Although it is described that S810 to S860 are sequentially executed in FIG. 8 , it is not necessarily limited thereto. In other words, since it may be applicable to changing and executing the steps described in FIG. 8 or executing one or more steps in parallel, FIG. 8 is not limited to a chronological order.
전술한 바와 같이 도 8에 기재된 본 실시예에 따른 영상 클릭률 확률 분포의 예측 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 클릭률 확률 분포의 예측 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. As described above, the method for predicting the image click-through rate probability distribution according to the present embodiment described in FIG. 8 may be implemented as a program and recorded in a computer-readable recording medium. The computer-readable recording medium in which the program for implementing the method of predicting the image click-through rate probability distribution according to the present embodiment is recorded and includes all kinds of recording devices in which data readable by the computer system is stored.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and a person skilled in the art to which this embodiment belongs may make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.
110: 제작자 단말기
120: 네트워크
130: 영상 제작장치
140: 동영상 제공장치110: maker terminal
120: network
130: video production device
140: video providing device
Claims (5)
복수의 동영상 제공장치로부터 상기 키워드에 대응하는 배경화면, 음악, 텍스트 중 무료 데이터만을 선별하여 레퍼런스 영상을 생성하는 레퍼런스 영상 생성부;
상기 제작자 단말기로부터 영상 정보를 입력받는 영상 정보 입력부;
상기 영상 정보를 분석한 분석 결과를 생성하고, 상기 복수의 동영상 제공장치로부터 상기 분석 결과에 대응하는 배경화면, 음악, 텍스트 중 무료 데이터만을 선별하여 맞춤 영상을 생성하는 맞춤 영상 생성부; 및
상기 레퍼런스 영상과 상기 맞춤 영상을 조합하여 영상을 제작하는 영상 제작부를 포함하되,
상기 레퍼런스 영상 생성부는 상기 키워드에 대응하는 영상 중 조회수, 좋아요 횟수, 댓글수, 공유 횟수 중 하나 이상의 정보를 기반으로 1차적으로 기 설정된 임계치 보다 높은 연관성을 갖는 영상으로 추출하고, 상기 키워드에 대응하는 영상 중 CF(Commercial Film) 수상실적을 갖는 영상을 객관적인 지표로서 데이터를 2차적으로 기 설정된 임계치 보다 높은 연관성을 갖는 영상으로 추출하고, 상기 1차적으로 기 설정된 임계치 보다 높은 연관성을 갖는 영상과 상기 2차적으로 기 설정된 임계치 보다 높은 연관성을 갖는 영상을 조합한 후 기 설정된 개수 단위로 리스트로 생성하여 상기 제작자 단말기로 전송하며, 상기 리스트에 포함된 영상 중 상기 제작자 단말기가 선택한 영상을 재생시키고, 재생된 영상의 재생시간, 재생완성률, 재생 구간을 기반으로 제작자 선호도를 산출하고, 상기 리스트에 포함된 영상 중 상기 제작자 선호도에 해당하는 영상을 선별하여 상기 레퍼런스 영상을 생성하며, 상기 제작자 선호도를 기반으로 유사한 영상을 추가로 검색하여 상기 리스트에 추가하며, 상기 리스트에 포함된 영상 각각의 총 재생시간을 기반으로 재생 구간을 분할하고, 상기 총 재생시간 대비 상기 재생시간을 기반으로 재생 완성률을 확인하며, 상기 리스트에 포함된 영상 각각의 전체 재생구간을 임의의 재생구간으로 분할하고, 상기 임의의 재생구간이 길수록 해당 영상의 카테고리, 속성, 제목이 상기 제작자 선호도에 부합하는 것으로 인지하며, 상기 제작자 단말기에 대응하는 제작자 계정에서 기 설정한 카테고리 정보를 영상 화질 카테고리, 영상 타입 카테고리, 영상 톤 카테고리 중 어느 하나인 것을 확인하고, 상기 기 설정한 카테고리에 대응하는 배경화면, 음악, 텍스트에 가중치를 반영하여 상기 레퍼런스 영상을 생성하며,
상기 맞춤 영상 생성부는 상기 영상 정보에 해당하는 제품군을 분석하고, 상기 제품군을 포함하고 있는 영상을 기반으로 상기 맞춤 영상을 생성하며, 상기 영상 정보로부터 영상 분량, 영상 타입, 영상 톤, 영상 소스, BGM, 문구를 추출하고, 상기 영상 소스에 상기 영상 톤, 상기 영상 타입을 적용한 상태에서 상기 BGM, 상기 문구를 삽입하여 상기 영상 분량만큼 재생되도록 하는 상기 맞춤 영상을 생성하며, 상기 맞춤 영상에 대한 상기 제작자 단말기로부터 수신한 피드백 정보를 수신하여 학습한 학습 결과를 생성한 후 상기 학습 결과를 상기 맞춤 영상을 생성할 때 반영하며, 웹소설, 시로부터 상기 문구에 대응하는 긴 문장, 철학적인 문장을 추출하여 상기 맞춤 영상에 삽입하는 것을 특징으로 하는 영상 제작장치.a keyword input unit for receiving keywords from the manufacturer's terminal;
a reference image generator for generating a reference image by selecting only free data from among a background screen, music, and text corresponding to the keyword from a plurality of video providing devices;
an image information input unit for receiving image information from the producer terminal;
a customized image generator for generating an analysis result by analyzing the image information, and generating a customized image by selecting only free data among background screens, music, and text corresponding to the analysis results from the plurality of video providing devices; and
Comprising an image production unit to produce an image by combining the reference image and the custom image,
The reference image generator primarily extracts an image having a higher correlation than a preset threshold based on one or more of the number of views, the number of likes, the number of comments, and the number of shares among the images corresponding to the keyword, and extracts the image corresponding to the keyword. Among the images, the image having the CF (Commercial Film) award record is extracted as an image having a higher correlation than the preset threshold as an objective indicator, and the image having a correlation higher than the first preset threshold and the 2 After combining images having a higher correlation than a preset threshold, a list is created in units of a preset number and transmitted to the producer terminal, and an image selected by the producer terminal among the images included in the list is played back, Producer preference is calculated based on the reproduction time, reproduction completion rate, and reproduction section of the image, and the reference image is generated by selecting an image corresponding to the producer preference among the images included in the list, and based on the producer preference Similar videos are additionally searched for and added to the list, the playback section is divided based on the total playback time of each video included in the list, and the playback completion rate is checked based on the playback time compared to the total playback time, , divides the entire playback section of each video included in the list into arbitrary playback sections, and recognizes that the longer the optional playback section, the longer the category, attribute, and title of the video match the producer preference, the producer terminal Check that the category information set in the creator account corresponding to the video quality category is any one of the video quality category, the video type category, and the video tone category, and by reflecting the weight on the background screen, music, and text corresponding to the preset category, generating the reference image,
The customized image generating unit analyzes a product group corresponding to the image information, generates the customized image based on an image including the product family, and from the image information an image quantity, an image type, an image tone, an image source, and a BGM , extracting a phrase, and inserting the BGM and the phrase in a state where the video tone and the video type are applied to the video source to generate the customized video to be played back by the amount of the video, and the creator for the customized video After generating the learned learning result by receiving the feedback information received from the terminal, the learning result is reflected when generating the customized image, and long sentences and philosophical sentences corresponding to the above phrases are extracted from web novels and poems. Image production apparatus, characterized in that inserted into the customized image.
상기 레퍼런스 영상과 상기 맞춤 영상으로부터 배경 영상과 대상 객체를 구분하는 객체 분리부를 추가로 포함하며,
상기 영상 제작부는 상기 배경영상 내에 상기 대상 객체를 삽입하는 형태로 상기 영상을 제작하는 것을 특징으로 하는 영상 제작장치.According to claim 1,
Further comprising an object separator for separating a background image and a target object from the reference image and the custom image,
The image production unit is an image production apparatus, characterized in that for producing the image in the form of inserting the target object in the background image.
상기 레퍼런스 영상과 상기 맞춤 영상으로부터 배경 음악만을 추출하는 배경음악 분리부를 추가로 포함하며,
상기 영상 제작부는 상기 배경 음악을 상기 배경영상에 따라 삽입하는 형태로 상기 영상을 제작하는 것을 특징으로 하는 영상 제작장치.3. The method of claim 2,
Further comprising a background music separation unit for extracting only the background music from the reference image and the customized image,
The image production unit is an image production apparatus, characterized in that for producing the image in the form of inserting the background music according to the background image.
상기 레퍼런스 영상과 상기 맞춤 영상에 포함된 텍스트를 인지하고, 상기 텍스트 중 상기 키워드와 상기 문구와 연관성을 갖는 단어 또는 문장을 추출하여 문구로 재조합하는 문구 생성부;를 추가로 포함하며,
상기 영상 제작부는 상기 문구를 상기 배경영상에 따라 삽입하는 형태로 상기 영상을 제작하는 것을 특징으로 하는 영상 제작장치.3. The method of claim 2,
It further comprises; a phrase generator for recognizing the text included in the reference image and the customized image, extracting a word or sentence having a relationship with the keyword and the phrase from among the text and recombining it into a phrase,
The image production unit is an image production apparatus, characterized in that for producing the image in the form of inserting the phrase according to the background image.
상기 영상 제작장치에서 복수의 동영상 제공장치로부터 상기 키워드에 대응하는 배경화면, 음악, 텍스트 중 무료 데이터만을 선별하여 레퍼런스 영상을 생성하는 과정;
상기 영상 제작장치에서 상기 제작자 단말기로부터 영상 정보를 입력받는 과정;
상기 영상 제작장치에서 상기 영상 정보를 분석한 분석 결과를 생성하고, 상기 복수의 동영상 제공장치로부터 상기 분석 결과에 대응하는 배경화면, 음악, 텍스트 중 무료 데이터만을 선별하여 맞춤 영상을 생성하는 과정; 및
상기 영상 제작장치에서 상기 레퍼런스 영상과 상기 맞춤 영상을 조합하여 영상을 제작하는 과정을 포함하되,
상기 영상 제작장치에서 상기 레퍼런스 영상을 생성할 때, 상기 키워드에 대응하는 영상 중 조회수, 좋아요 횟수, 댓글수, 공유 횟수 중 하나 이상의 정보를 기반으로 1차적으로 기 설정된 임계치 보다 높은 연관성을 갖는 영상으로 추출하고, 상기 키워드에 대응하는 영상 중 CF(Commercial Film) 수상실적을 갖는 영상을 객관적인 지표로서 데이터를 2차적으로 기 설정된 임계치 보다 높은 연관성을 갖는 영상으로 추출하고, 상기 1차적으로 기 설정된 임계치 보다 높은 연관성을 갖는 영상과 상기 2차적으로 기 설정된 임계치 보다 높은 연관성을 갖는 영상을 조합한 후 기 설정된 개수 단위로 리스트로 생성하여 상기 제작자 단말기로 전송하며, 상기 리스트에 포함된 영상 중 상기 제작자 단말기가 선택한 영상을 재생시키고, 재생된 영상의 재생시간, 재생완성률, 재생 구간을 기반으로 제작자 선호도를 산출하고, 상기 리스트에 포함된 영상 중 상기 제작자 선호도에 해당하는 영상을 선별하여 상기 레퍼런스 영상을 생성하며, 상기 제작자 선호도를 기반으로 유사한 영상을 추가로 검색하여 상기 리스트에 추가하며, 상기 리스트에 포함된 영상 각각의 총 재생시간을 기반으로 재생 구간을 분할하고, 상기 총 재생시간 대비 상기 재생시간을 기반으로 재생 완성률을 확인하며, 상기 리스트에 포함된 영상 각각의 전체 재생구간을 임의의 재생구간으로 분할하고, 상기 임의의 재생구간이 길수록 해당 영상의 카테고리, 속성, 제목이 상기 제작자 선호도에 부합하는 것으로 인지하며, 상기 제작자 단말기에 대응하는 제작자 계정에서 기 설정한 카테고리 정보를 영상 화질 카테고리, 영상 타입 카테고리, 영상 톤 카테고리 중 어느 하나인 것을 확인하고, 상기 기 설정한 카테고리에 대응하는 배경화면, 음악, 텍스트에 가중치를 반영하여 상기 레퍼런스 영상을 생성하며,
상기 영상 제작장치에서 상기 맞춤 영상을 생성할 때, 상기 영상 정보에 해당하는 제품군을 분석하고, 상기 제품군을 포함하고 있는 영상을 기반으로 상기 맞춤 영상을 생성하며, 상기 영상 정보로부터 영상 분량, 영상 타입, 영상 톤, 영상 소스, BGM, 문구를 추출하고, 상기 영상 소스에 상기 영상 톤, 상기 영상 타입을 적용한 상태에서 상기 BGM, 상기 문구를 삽입하여 상기 영상 분량만큼 재생되도록 하는 상기 맞춤 영상을 생성하며, 상기 맞춤 영상에 대한 상기 제작자 단말기로부터 수신한 피드백 정보를 수신하여 학습한 학습 결과를 생성한 후 상기 학습 결과를 상기 맞춤 영상을 생성할 때 반영하며, 웹소설, 시로부터 상기 문구에 대응하는 긴 문장, 철학적인 문장을 추출하여 상기 맞춤 영상에 삽입하는 것을 특징으로 하는 영상 제작 방법.
A process of receiving a keyword from a producer terminal in the video production apparatus;
generating a reference image by selecting only free data among background screens, music, and text corresponding to the keywords from a plurality of video providing devices in the image production device;
receiving image information from the producer terminal in the image production apparatus;
generating an analysis result of analyzing the image information in the image production device, and generating a customized image by selecting only free data among background screens, music, and text corresponding to the analysis results from the plurality of video providing devices; and
Comprising the process of producing an image by combining the reference image and the custom image in the image production apparatus,
When the image production device generates the reference image, based on one or more of the number of views, the number of likes, the number of comments, and the number of shares among the images corresponding to the keyword, the image having a correlation higher than a preset threshold is used primarily as an image Extracting, and extracting the image having a CF (Commercial Film) award performance among the images corresponding to the keyword as an objective index, extracting the data as an image having a correlation higher than a preset threshold, and firstly higher than the preset threshold After combining an image having a high correlation with an image having a secondary correlation higher than the preset threshold, a list is created in units of a preset number and transmitted to the producer terminal, and among the images included in the list, the producer terminal Plays the selected video, calculates producer preference based on the playback time, reproduction completion rate, and reproduction section of the reproduced video, and selects the video corresponding to the producer preference among the videos included in the list to generate the reference video and additionally search for similar videos based on the producer preference and add them to the list, divide the playback section based on the total playback time of each video included in the list, and calculate the playback time compared to the total playback time. Based on the playback completion rate, the entire playback section of each video included in the list is divided into arbitrary playback sections, and the longer the random playback section, the longer the category, attribute, and title of the video match the producer’s preference Recognizing that, the category information preset in the producer account corresponding to the producer terminal is any one of an image quality category, an image type category, and an image tone category, and a background screen corresponding to the preset category; The reference image is generated by reflecting the weights on the music and text,
When the image production apparatus generates the customized image, the product group corresponding to the image information is analyzed, the customized image is generated based on the image including the product family, and the image quantity and image type from the image information , extracting the image tone, image source, BGM, and phrase, and inserting the BGM and the phrase in a state where the image tone and the image type are applied to the image source to generate the customized image to be reproduced by the amount of the image, , After generating a learned learning result by receiving feedback information from the producer terminal for the customized image, the learning result is reflected when generating the customized image, An image production method, characterized in that extracting a sentence or a philosophical sentence and inserting it into the customized image.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210016440 | 2021-02-05 | ||
| KR1020210016440 | 2021-02-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102340963B1 true KR102340963B1 (en) | 2021-12-20 |
Family
ID=79034043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210038492A KR102340963B1 (en) | 2021-02-05 | 2021-03-25 | Method and Apparatus for Producing Video Based on Artificial Intelligence |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102340963B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102523438B1 (en) | 2022-11-29 | 2023-04-19 | (주)비디오몬스터 | System and method for automatic video editing using utilization of auto labeling and insertion of design elements |
| KR102531572B1 (en) * | 2023-02-10 | 2023-05-15 | 김재훈 | Method of creating video making platform for users |
| KR102578169B1 (en) * | 2023-03-14 | 2023-09-14 | 주식회사 웨이크유어마인드 | System for Providing Auto Complete Service YouTube Thumbnail |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040036159A (en) * | 2002-10-23 | 2004-04-30 | 엘지전자 주식회사 | Audio And Video Edition Using Television Receiver Set |
| KR20150031918A (en) * | 2013-09-17 | 2015-03-25 | 이성용 | Method of preparing an advertisement images on image materials, preparation system using the same, and playing method on prepared image data |
| KR101577012B1 (en) * | 2014-06-24 | 2015-12-11 | (주)에듀필미디어 | Method of composing multimedia data and video player for playing moving pictures in an android operating system |
| KR102093577B1 (en) * | 2018-12-03 | 2020-05-15 | 이화여자대학교 산학협력단 | Future video generating method based on neural network and future video producing appratus |
| KR20200141387A (en) * | 2020-05-29 | 2020-12-18 | (주)사맛디 | System, method and program for searching image data by using deep-learning algorithm |
-
2021
- 2021-03-25 KR KR1020210038492A patent/KR102340963B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040036159A (en) * | 2002-10-23 | 2004-04-30 | 엘지전자 주식회사 | Audio And Video Edition Using Television Receiver Set |
| KR20150031918A (en) * | 2013-09-17 | 2015-03-25 | 이성용 | Method of preparing an advertisement images on image materials, preparation system using the same, and playing method on prepared image data |
| KR101577012B1 (en) * | 2014-06-24 | 2015-12-11 | (주)에듀필미디어 | Method of composing multimedia data and video player for playing moving pictures in an android operating system |
| KR102093577B1 (en) * | 2018-12-03 | 2020-05-15 | 이화여자대학교 산학협력단 | Future video generating method based on neural network and future video producing appratus |
| KR20200141387A (en) * | 2020-05-29 | 2020-12-18 | (주)사맛디 | System, method and program for searching image data by using deep-learning algorithm |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102523438B1 (en) | 2022-11-29 | 2023-04-19 | (주)비디오몬스터 | System and method for automatic video editing using utilization of auto labeling and insertion of design elements |
| KR102531572B1 (en) * | 2023-02-10 | 2023-05-15 | 김재훈 | Method of creating video making platform for users |
| KR102578169B1 (en) * | 2023-03-14 | 2023-09-14 | 주식회사 웨이크유어마인드 | System for Providing Auto Complete Service YouTube Thumbnail |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Moscato et al. | An emotional recommender system for music | |
| KR102340963B1 (en) | Method and Apparatus for Producing Video Based on Artificial Intelligence | |
| Bogdanov et al. | Semantic audio content-based music recommendation and visualization based on user preference examples | |
| Shah et al. | Advisor: Personalized video soundtrack recommendation by late fusion with heuristic rankings | |
| Braunhofer et al. | Location-aware music recommendation | |
| US20140164507A1 (en) | Media content portions recommended | |
| US20140163980A1 (en) | Multimedia message having portions of media content with audio overlay | |
| CN106062730A (en) | Systems and methods for actively composing content for use in continuous social communication | |
| CN109165302A (en) | Multimedia file recommendation method and device | |
| KR20120132465A (en) | Method and system for assembling animated media based on keyword and string input | |
| KR20120088650A (en) | Estimating and displaying social interest in time-based media | |
| CN113569088A (en) | Music recommendation method and device and readable storage medium | |
| US20220157300A1 (en) | Generation of interactive audio tracks from visual content | |
| US20130318021A1 (en) | Information processing apparatus, information processing method, and program | |
| Bhattacharjee et al. | Identifying the causal relationship between social media content of a Bollywood movie and its box-office success-a text mining approach | |
| CN113469152B (en) | Similar video detection method and device | |
| Hyung et al. | Utilizing context-relevant keywords extracted from a large collection of user-generated documents for music discovery | |
| Kalender et al. | Videolization: knowledge graph based automated video generation from web content | |
| Fields et al. | Using song social tags and topic models to describe and compare playlists | |
| JP2008204355A (en) | Dictionary creation method | |
| Matsumoto et al. | Music video recommendation based on link prediction considering local and global structures of a network | |
| KR20220113221A (en) | Method And System for Trading Video Source Data | |
| CN116980665A (en) | Video processing method, device, computer equipment, medium and product | |
| Ibrahim et al. | Large-scale text-based video classification using contextual features | |
| Tsukuda et al. | SmartVideoRanking: video search by mining emotions from time-synchronized comments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |