KR102317229B1 - Artificial intelligence-based animation production system using game engine and method therefor - Google Patents
Artificial intelligence-based animation production system using game engine and method therefor Download PDFInfo
- Publication number
- KR102317229B1 KR102317229B1 KR1020210112679A KR20210112679A KR102317229B1 KR 102317229 B1 KR102317229 B1 KR 102317229B1 KR 1020210112679 A KR1020210112679 A KR 1020210112679A KR 20210112679 A KR20210112679 A KR 20210112679A KR 102317229 B1 KR102317229 B1 KR 102317229B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- list
- scene
- game engine
- module
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 91
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000008676 import Effects 0.000 claims abstract description 109
- 230000015556 catabolic process Effects 0.000 claims abstract description 105
- 238000009877 rendering Methods 0.000 claims description 25
- 238000013136 deep learning model Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 시스템 및 그 방법에 관한 것이다. 구체적으로, 본 발명은 게임 엔진을 이용한 애니메이션 제작 환경에 인공지능을 도입한 시스템 및 방법에 관한 것이다.The present invention relates to an artificial intelligence-based animation production system using a game engine and a method therefor. Specifically, the present invention relates to a system and method for introducing artificial intelligence into an animation production environment using a game engine.
애니메이션의 제작은 매우 복잡한 절차를 통해서 이루어진다. 종래의 애니메이션 제작의 경우 3D 그래픽을 다루는 DCC(Digital Content Creation tools)을 이용하여 선형적인 방식으로 제작이 이루어진다. 구체적으로, 기존의 애니메이션 제작 방식은 모델링 단계, 애니메이션 단계, 렌더링 단계 및 컴포짓 단계를 순차적으로 수행하여 최종적인 애니메이션 이미지가 생성된다. The production of animation is done through a very complicated procedure. In the case of the conventional animation production, production is performed in a linear manner using Digital Content Creation tools (DCC) handling 3D graphics. Specifically, in the existing animation production method, a final animation image is generated by sequentially performing a modeling step, an animation step, a rendering step, and a compositing step.
기존의 애니메이션 제작 방법의 경우 최종 혹은 중간 산출물에 대한 리뷰를 진행해야 하고, 이러한 수정에 대한 리뷰는 매 단계마다 매우 빈번하게 요구될 수 있다. 구체적으로, 애니메이션 단계, 렌더링 단계 및 컴포짓 단계 이후에 리뷰가 필수적으로 요구되고, 이러한 리뷰에 따른 수정은 각 단계를 다시 진행해야만 반영될 수 있다.In the case of the existing animation production method, it is necessary to review the final or intermediate product, and a review of such modifications may be requested very frequently at every stage. Specifically, a review is essential after the animation stage, the rendering stage, and the compositing stage, and the correction according to the review can be reflected only by performing each stage again.
특히, 렌더링 단계에서의 수정은 다양한 요소에 대해서 진행될 수 있다. 예를 들어, 배경, 캐릭터, 배경과 캐릭터의 결합, 그림자, 불꽃과 빛과 같은 특수효과 등의 요소에 개별적으로 수정 사항이 발생할 수 있고, 그에 따라 렌더링 단계를 계속하여 다시 수행해야 할 수 있다. 더욱이, 배경 및 캐릭터의 제작에 멀티 채널을 사용하는 경우 채널의 개수 당 이러한 작업이 그대로 추가될 수 있어 제작의 효율성이 매우 낮아질 수 있다.In particular, modifications in the rendering stage may be performed for various elements. For example, individual modifications may be made to elements such as backgrounds, characters, combinations of backgrounds and characters, shadows, special effects such as flames and lights, and the rendering phase may need to be repeated over and over again. Furthermore, when multi-channels are used for the production of backgrounds and characters, these operations can be added per the number of channels as it is, so the production efficiency may be very low.
애니메이션 제작에 존재하는 이러한 비효율성을 극복하기 위해 다양한 방안이 강구되고 있는 상황이다. In order to overcome this inefficiency in animation production, various measures are being devised.
본 발명의 과제는, 애니메이션 제작 과정의 효율성을 극대화하기 위해 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 시스템을 제공하는 것이다.An object of the present invention is to provide an artificial intelligence-based animation production system using a game engine in order to maximize the efficiency of the animation production process.
또한, 본 발명의 다른 과제는, 애니메이션 제작 과정의 효율성을 극대화하기 위해 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 방법을 제공하는 것이다.Another object of the present invention is to provide an AI-based animation production method using a game engine in order to maximize the efficiency of the animation production process.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned may be understood by the following description, and will be more clearly understood by the examples of the present invention. Moreover, it will be readily apparent that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 시스템은 제1 작업 지시에 의해서 카메라 데이터, 오리지널 어셋 키 데이터 및 임시 어셋 키 데이터를 포함하는 익스포트 데이터를 생성하는 DCC, 상기 익스포트 데이터를 수신하고, 상기 익스포트 데이터에 대응하는 리스트 정보 요청을 생성하고, 상기 리스트 정보 요청에 따른 파셜 브레이크다운 리스트를 수신하고, 상기 익스포트 데이터 및 상기 파셜 브레이크다운 리스트를 입력으로하여 임포트 데이터를 생성하는 제1 AI(artificial Intelligence) 모듈로서, 상기 임포트 데이터는 상기 파셜 브레이크다운 리스트로부터 추출된 백그라운드 코드 및 앰비언스 정보를 포함하고, 상기 파셜 브레이크다운 리스트는 상기 익스포트 데이터에 연관된 씬 정보가 포함되는 제1 AI 모듈 및 상기 임포트 데이터를 수신하고, 상기 임포트 데이터에 의해서 자동으로 액터 레벨 및 배경 레벨을 구성하여 씬 파일을 생성하고, 상기 씬 파일을 통해 애니메이션 이미지를 생성하는 3D 게임 엔진을 포함한다.An artificial intelligence-based animation production system using a game engine according to some embodiments of the present invention for solving the above problems generates export data including camera data, original asset key data, and temporary asset key data according to a first work instruction DCC, receiving the export data, generating a list information request corresponding to the export data, receiving a partial breakdown list according to the list information request, and inputting the export data and the partial breakdown list as inputs A first artificial intelligence (AI) module for generating import data, wherein the import data includes background code and ambience information extracted from the partial breakdown list, wherein the partial breakdown list includes scene information related to the export data. A 3D game engine that receives the included first AI module and the import data, automatically configures an actor level and a background level according to the import data, creates a scene file, and generates an animation image through the scene file do.
또한, 상기 제1 AI 모듈은, 상기 익스포트 데이터에서 리스트 정보 요청을 추출하는 서치 모듈과, 미리 학습이 완료된 상태에서, 상기 익스포트 데이터와 상기 파셜 브레이크다운 리스트를 입력으로 상기 임포트 데이터를 출력하는 딥러닝 모델을 포함할 수 있다.In addition, the first AI module includes a search module for extracting a list information request from the export data, and deep learning for outputting the import data by inputting the export data and the partial breakdown list in a state in which learning is completed in advance Models can be included.
또한, 상기 파셜 브레이크다운 리스트는 인공지능 데이터베이스로부터 수신되고, 상기 인공지능 데이터베이스는 상기 파셜 브레이크다운 리스트를 포함하는 브레이크다운 리스트를 저장하고, 상기 브레이크다운 리스트 중 일부를 상기 파셜 브레이크다운 리스트로 추출할 수 있다.In addition, the partial breakdown list is received from an artificial intelligence database, the artificial intelligence database stores a breakdown list including the partial breakdown list, and extracts a part of the breakdown list as the partial breakdown list. can
또한, 상기 인공지능 데이터베이스는, 다양한 형태의 씬 정보를 수신하고, 상기 씬 정보를 미리 설정된 포맷의 브레이크다운 리스트로 변환하는 제2 AI 모듈과, 상기 브레이크다운 리스트를 저장하고, 상기 리스트 정보 요청에 대응하는 상기 파셜 브레이크다운 리스트를 추출하여 상기 딥러닝 모델로 전송하는 데이터베이스를 포함할 수 있다.In addition, the artificial intelligence database receives various types of scene information, a second AI module that converts the scene information into a breakdown list of a preset format, stores the breakdown list, and responds to the list information request. It may include a database for extracting the corresponding partial breakdown list and transmitting it to the deep learning model.
또한, 상기 씬 정보는 키워드 테이블, 텍스트, 스케치 영상, 슬라이드 및 스피치 중 적어도 하나의 형태를 포함할 수 있다.Also, the scene information may include at least one of a keyword table, text, a sketch image, a slide, and a speech.
또한, 상기 카메라 데이터는 카메라의 위치, 방향 및 화각 등에 대한 데이터를 포함하고, 상기 오리지널 어셋 키 데이터 및 상기 임시 어셋 키 데이터는 애니메이션 상의 오브젝트가 모델링 및 애니메이션 단계를 거쳐 퍼블리싱된 데이터이고, 상기 익스포트 데이터는 씬 별로 첨부된 씬 정보 스크립트 데이터를 포함할 수 있다.In addition, the camera data includes data on the position, direction, and angle of view of a camera, and the original asset key data and the temporary asset key data are data published by an object on animation through modeling and animation steps, and the export data may include scene information script data attached to each scene.
또한, 상기 임포트 데이터는, 상기 카메라 데이터, 상기 오리지널 어셋 키 데이터, 상기 임시 어셋 키 데이터 및 상기 씬 정보 스크립트 데이터에 각각 대응되는 카메라 임포트 데이터, 오리지널 어셋 키 임포트 데이터, 임시 어셋 키 임포트 데이터 및 씬 정보 스크립트 임포트 데이터를 포함하고, 상기 파셜 브레이크다운 리스트에서 추출되고, 상기 오리지널 어셋 키 임포트 데이터 및 상기 임시 어셋 키 임포트 데이터에 대응하는 씬의 배경에 대한 백그라운드 코드와, 상기 파셜 브레이크다운 리스트에서 추출되어 상기 오리지널 어셋 키 임포트 데이터 및 상기 임시 어셋 키 임포트 데이터에 대응하는 씬의 앰비언스에 대한 앰비언스 정보를 포함할 수 있다.In addition, the import data includes camera import data, original asset key import data, temporary asset key import data, and scene information respectively corresponding to the camera data, the original asset key data, the temporary asset key data, and the scene information script data. a background code for a scene background including script import data, extracted from the partial breakdown list, and a scene background corresponding to the original asset key import data and the temporary asset key import data, and extracted from the partial breakdown list It may include the original asset key import data and the ambience information on the ambience of the scene corresponding to the temporary asset key import data.
상기 다른 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 방법은 씬 정보에 대응하고, AI를 통해 미리 설정된 포맷으로 형성된 브레이크다운 리스트를 생성하고, DCC를 통해서 카메라 데이터, 오리지널 어셋 키 데이터, 임시 어셋 키 데이터 및 씬 정보 스크립트 데이터를 포함하는 익스포트 데이터를 생성하고, 상기 익스포트 데이터를 기초로 생성된 리스트 정보 요청에 따라 상기 브레이크다운 리스트에서 추출된 파셜 브레이크다운 리스트와, 상기 익스포트 데이터를 제1 AI 모듈에 입력하여 임포트 데이터를 생성하되, 상기 임포트 데이터는 3D 게임 엔진이 자동으로 씬 파일을 생성하게 하는 데이터이고, 상기 3D 게임 엔진에 상기 임포트 데이터를 제공하여 애니메이션 이미지를 생성하는 것을 포함한다.Artificial intelligence-based animation production method using a game engine according to some embodiments of the present invention for solving the above other problems corresponds to scene information, generates a breakdown list formed in a preset format through AI, and through DCC Export data including camera data, original asset key data, temporary asset key data, and scene information script data is generated, and a partial breakdown list extracted from the breakdown list according to a request for list information generated based on the export data And, input the export data to the first AI module to generate import data, wherein the import data is data that causes the 3D game engine to automatically generate a scene file, and provides the import data to the 3D game engine for animation It involves creating an image.
또한, 상기 브레이크다운 리스트를 생성하는 것은, 상기 씬 정보를 제2 AI 모듈에 입력하여 상기 브레이크다운 리스트를 생성하는 것을 포함하고, 상기 씬 정보는 키워드 테이블, 텍스트, 스케치 영상, 슬라이드 및 스피치 중 적어도 하나의 형태를 포함할 수 있다.In addition, generating the breakdown list includes generating the breakdown list by inputting the scene information into a second AI module, and the scene information includes at least one of a keyword table, text, sketch image, slide, and speech. It may contain one form.
또한, 상기 애니메이션 이미지를 생성하는 것은, 상기 3D 게임 엔진을 이용하여, 어셋과 스켈레톤 메쉬를 연결하여 액터를 생성하고, 상기 3D 게임 엔진을 이용하여, 상기 액터를 지정된 위치로 스폰하여 액터 레벨로 저장하고, 상기 3D 게임 엔진을 이용하여, 시퀀스를 생성하고 세팅하고, 상기 3D 게임 엔진을 이용하여, 카메라를 생성하여 바인딩하고, 상기 3D 게임 엔진을 이용하여, 애니메이션 트랙을 생성하고 상기 임포트 데이터를 등록하고, 상기 3D 게임 엔진을 이용하여, 씬 파일을 구성하고, 상기 3D 게임 엔진을 이용하여, 프리뷰 렌더링을 수행하는 것을 포함할 수 있다.In addition, generating the animation image uses the 3D game engine to connect an asset and a skeleton mesh to create an actor, and uses the 3D game engine to spawn the actor to a designated location and store it as an actor level using the 3D game engine to create and set a sequence, use the 3D game engine to create and bind a camera, use the 3D game engine to create an animation track and register the import data and constructing a scene file using the 3D game engine, and performing preview rendering using the 3D game engine.
본 발명의 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 시스템 및 그 방법은, 게임 엔진을 이용하여 애니메이션 제작을 수행하여 수정사항에 대한 반영을 즉각적으로 수행할 수 있어 제작 기간 및 제작 비용의 최소화를 도모할 수 있다.The AI-based animation production system and method using the game engine of the present invention can perform animation production using the game engine and immediately reflect the modifications, thereby minimizing the production period and production cost. can
또한, 인공 지능을 통해서 DCC에서 게임 엔진으로 전송되는 데이터의 포맷을 자동으로 변환하여 게임 엔진에서의 작업을 자동화시킬 수 있다. 이에 따라서, 제작자의 노력과 제작 시간이 획기적으로 단축될 수 있다.In addition, it is possible to automate tasks in the game engine by automatically converting the format of data transmitted from the DCC to the game engine through artificial intelligence. Accordingly, the effort and manufacturing time of the manufacturer can be remarkably reduced.
나아가, 데이터베이스에 저장되는 씬 정보를 상기 전송되는 데이터 포맷에 결합되기 적합하게 재구성하는 것도 인공지능을 통해서 수행하여 제작의 노력을 최소화할 수 있다.Furthermore, reconstructing scene information stored in the database to be suitable to be combined with the transmitted data format can also be performed through artificial intelligence, thereby minimizing manufacturing effort.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.The specific effects of the present invention in addition to the above will be described together while describing specific details for carrying out the invention below.
도 1은 본 발명의 몇몇 실시예들에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 시스템을 설명하기 위한 개념도이다.
도 2는 도 1의 애니메이션 제작 장치를 세부적으로 설명하기 위한 블록도이다.
도 3은 도 2의 익스포트 데이터의 구조를 세부적으로 설명하기 위한 개념도이다.
도 4는 도 2의 임포트 데이터의 구조를 세부적으로 설명하기 위한 개념도이다.
도 5는 도 2의 DCC를 세부적으로 설명하기 위한 블록도이다.
도 6은 도 2의 제1 AI 모듈을 세부적으로 설명하기 위한 블록도이다.
도 7은 도 2의 3D 게임 엔진을 세부적으로 설명하기 위한 블록도이다.
도 8은 도 1의 인공지능 데이터베이스의 구조를 세부적으로 설명하기 위한 블록도이다.
도 9는 본 발명의 몇몇 실시예들에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 방법을 설명하기 위한 순서도이다.
도 10은 도 9의 브레이크다운 리스트 생성 단계를 세부적으로 설명하기 위한 순서도이다.
도 11은 도 9의 익스포트 데이터 생성 단계를 세부적으로 설명하기 위한 순서도이다.
도 12는 도 9의 임포트 데이터 생성 단계를 세부적으로 설명하기 위한 순서도이다.
도 13은 도 9의 애니메이션 이미지 생성 단계를 세부적으로 설명하기 위한 순서도이다.1 is a conceptual diagram for explaining an AI-based animation production system using a game engine according to some embodiments of the present invention.
FIG. 2 is a block diagram for explaining the animation production apparatus of FIG. 1 in detail.
3 is a conceptual diagram for explaining in detail the structure of the export data of FIG. 2 .
FIG. 4 is a conceptual diagram for explaining in detail the structure of the import data of FIG. 2 .
FIG. 5 is a block diagram for describing the DCC of FIG. 2 in detail.
FIG. 6 is a block diagram illustrating in detail the first AI module of FIG. 2 .
7 is a block diagram illustrating the 3D game engine of FIG. 2 in detail.
8 is a block diagram for explaining the structure of the artificial intelligence database of FIG. 1 in detail.
9 is a flowchart illustrating an AI-based animation production method using a game engine according to some embodiments of the present invention.
FIG. 10 is a flowchart for describing in detail a step of generating a breakdown list of FIG. 9 .
FIG. 11 is a flowchart for explaining the export data generation step of FIG. 9 in detail.
FIG. 12 is a flowchart for explaining the import data generation step of FIG. 9 in detail.
13 is a flowchart for explaining in detail an animation image generation step of FIG. 9 .
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in this specification and claims should not be construed as being limited to a general or dictionary meaning. In accordance with the principle that the inventor can define a term or concept of a word in order to best describe his invention, it should be interpreted with a meaning and concept consistent with the technical idea of the present invention. In addition, the embodiments described in the present specification and the configurations shown in the drawings are only one embodiment in which the present invention is realized, and do not represent all the technical spirit of the present invention, so they can be substituted at the time of the present application. It should be understood that there may be various equivalents and modifications and applicable examples.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, B, etc. used in this specification and claims may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. The term 'and/or' includes a combination of a plurality of related listed items or any of a plurality of related listed items.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in this specification and claims are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. It should be understood that terms such as “comprise” or “have” in the present application do not preclude the possibility of addition or existence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification in advance. .
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다. In addition, each configuration, process, process, or method included in each embodiment of the present invention may be shared within a range that does not technically contradict each other.
이하, 도 1 내지 도 8을 참조하여, 본 발명의 몇몇 실시예들에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 시스템을 설명한다.Hereinafter, an AI-based animation production system using a game engine according to some embodiments of the present invention will be described with reference to FIGS. 1 to 8 .
도 1은 본 발명의 몇몇 실시예들에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 시스템을 설명하기 위한 개념도이다.1 is a conceptual diagram for explaining an AI-based animation production system using a game engine according to some embodiments of the present invention.
도 1을 참조하면, 본 발명의 몇몇 실시예들에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 시스템은 제작자(100)로부터 씬 정보(Is) 및 작업 지시(Wp)를 수신하고, 애니메이션 이미지(Pr)를 제공할 수 있다. 본 발명의 몇몇 실시예들에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 시스템은 애니메이션 제작 장치(200) 및 인공지능 데이터베이스(300)를 포함한다. Referring to FIG. 1 , an AI-based animation production system using a game engine according to some embodiments of the present invention receives scene information Is and a work instruction Wp from a
제작자(100)는 애니메이션을 제작하는 사람일 수 있다. 제작자(100)는 1명 이상의 인력일 수 있다. 제작자(100)는 단순히 자연인뿐만 아니라 기업과 같은 법인체일 수도 있다. 제작자(100)는 3D 애니메이션의 제작을 위해서 애니메이션 제작 장치(200)에 작업 지시(Wp)를 전송할 수 있다. 작업 지시(Wp)는 1회성이 아닌 연속적인 지시로 애니메이션 제작 장치(200)에 전송될 수 있다. 다르게 표현하면, 제작자(100)는 애니메이션 제작 장치(200)를 이용하여 애니메이션 이미지(Pr)를 제작할 수 있고, 이를 위해서 수행되는 일련의 작업을 작업 지시(Wp)로 표현할 수 있다.The
제작자(100)는 애니메이션 작업을 위한 프리프로덕션(pre-production) 단계를 수행할 수 있다. 프리프로덕션 단계는 영상을 기획하는 단계를 의미할 수 있다. 프리프로덕션 단계는 스크립트 단계, 스토리보드 단계 및 컨셉아트 단계를 포함할 수 있다.The
스크립트 단계는 애니메이션의 시나리오를 준비하는 단계이다. 제작자(100)는 스크립트가 완성되면 스크립트를 기초로 스토리보드를 작성할 수 있다. 스토리보드는 스크립트를 기초로 영상의 매 씬(Scene)마다의 필요한 사항을 기록하여 작성될 수 있다. 스토리보드에는 예를 들어, 씬의 번호, 화면의 크기, 촬영 각도와 위치, 의상, 소품, 대사 및 액션 등에 대한 정보가 모두 기록될 수 있다. The script stage is a stage to prepare the scenario for animation. When the script is completed, the
컨셉아트 단계는 제작자(100)가 스토리보드를 그림이나 영상으로 시각화하는 단계를 의미할 수 있다. 컨셉아트 단계는 채색이 완성된 그림뿐만 아니라 단순한 드로잉이나 글이 들어간 형태일 수도 있다. 컨셉아트는 구체적인 캐릭터 설정원화부터 느낌 전달을 위한 상황 표현 및 아주 구체적인 배경 묘사까지 모두 포함할 수 있다.The concept art stage may mean a stage in which the
제작자(100)는 스토리보드 및 컨셉아트를 작성하면서 씬마다의 세부 정보 즉, 씬 정보(Is)를 작성할 수 있다. 즉, 상술한 스토리 보드에 기재된 씬의 번호, 화면의 크기, 촬영 각도와 위치, 의상, 소품, 대사 및 액션 등에 대한 정보가 모두 씬 정보(Is)에 포함될 수 있다.The
제작자(100)는 씬 정보(Is)를 인공지능 데이터베이스(300)로 전달할 수 있다. 제작자(100)는 씬 정보(Is)를 일정한 포맷으로 정리하여 전달할 수도 있지만, 스토리보드나 컨셉아트와 같은 다양한 형식으로 바로 전달할 수 있다. 구체적으로, 씬 정보(Is)는 키워드 테이블, 텍스트, 스케치 영상, 슬라이드 데이터와 같은 형식으로 제공될 수 있다. 또는 씬 정보(Is)는 스피치 데이터와 같은 음성 데이터의 형식으로 제공될 수도 있다.The
인공지능 데이터베이스(300)는 제작자(100)로부터 씬 정보(Is)를 수신하고, 씬 정보(Is)를 자동으로 변환시켜 브레이크다운 리스트로 저장할 수 있다. 브레이크다운 리스트는 씬 정보(Is)에 따른 시나리오를 세밀하게 분할 및 분석하여 촬영 대본 형태로 작성된 것을 의미하고, 각 씬 별로 필요한 정보들이 모두 포함될 수 있다. 인공지능 데이터베이스(300)는 인공지능에 의해서 자동으로 미리 설정된 포맷으로 브레이크다운 리스트를 생성할 수 있다. 이에 대해서는 추후에 더 자세히 설명한다.The
제작자(100)는 작업 지시(Wp)를 통해서 애니메이션 제작 장치(200)를 컨트롤할 수 있다. 제작자(100)는 애니메이션 제작 장치(200)로부터 완성된 애니메이션 이미지(Pr)를 수신할 수 있다.The
애니메이션 제작 장치(200)는 제작자(100)로부터 작업 지시(Wp)를 수신하고, 인공지능 데이터베이스(300)로 리스트 정보 요청(Ra)을 전송할 수 있다. 리스트 정보 요청(Ra)은 브레이크다운 리스트 중 필요한 부분에 대한 요청일 수 있다. 이에 대응하여 인공지능 데이터베이스(300)는 파셜 브레이크다운 리스트(BKLp)를 애니메이션 제작 장치(200)로 전송할 수 있다. 이때, 파셜 브레이크다운 리스트(BKLp)는 브레이크다운 리스트 중 일부일 수 있다. 파셜 브레이크다운 리스트(BKLp)는 리스트 정보 요청(Ra)에 따라 선별된 리스트일 수 있다.The
애니메이션 제작 장치(200)는 파셜 브레이크다운 리스트(BKLp)를 이용하여 최종적으로 애니메이션 이미지(Pr)를 생성하고, 제작자(100)에게 전송할 수 있다.The
이때, 애니메이션 제작 장치(200) 및 인공지능 데이터베이스(300)는 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템 및 RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템 중 적어도 하나로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다.In this case, the
애니메이션 제작 장치(200) 및 인공지능 데이터베이스(300)는 네트워크를 통해서 데이터를 전송할 수 있다. 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.The
무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.Wireless Internet technologies are, for example, wireless LAN (WLAN), DLNA (Digital Living Network Alliance), WiBro (Wireless Broadband: Wibro), Wimax (World Interoperability for Microwave Access: Wimax), HSDPA (High Speed Downlink Packet). Access), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Wireless Mobile Broadband Service (WMBS) and 5G New Radio (NR) technology. However, the present embodiment is not limited thereto.
근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.Short-range communication technologies include, for example, Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra-Wideband (UWB), ZigBee, and Near Field Communication: At least one of NFC), Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, and 5G NR (New Radio) may include. However, the present embodiment is not limited thereto.
네트워크를 통해서 통신하는 애니메이션 제작 장치(200) 및 인공지능 데이터베이스(300)는 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.The
도 2는 도 1의 애니메이션 제작 장치를 세부적으로 설명하기 위한 블록도이다.FIG. 2 is a block diagram for explaining the animation production apparatus of FIG. 1 in detail.
도 2를 참조하면, 애니메이션 제작 장치(200)는 DCC(Digital Content Creation tools)(210), 제1 AI(artificial intelligence) 모듈(220) 및 3D 게임 엔진(230)을 포함할 수 있다.Referring to FIG. 2 , the
DCC(210)는 제1 작업 지시(Wp1)를 수신할 수 있다. 제1 작업 지시(Wp1)는 작업 지시(Wp) 중 DCC(210)에 대한 부분일 수 있다. 즉, 작업 지시(Wp)는 제1 작업 지시(Wp1) 및 제2 작업 지시(Wp2)를 포함할 수 있고, 그 중 제1 작업 지시(Wp1)는 DCC(210)를 제어하는 지시일 수 있다. 반대로, 제2 작업 지시(Wp2)는 3D 게임 엔진(230)을 제어하는 지시일 수 있다.The
DCC(210)는 제1 작업 지시(Wp1)에 따라 모델링 작업과 애니메이션 작업을 수행할 수 있다. DCC(210)는 상기 작업에 의해서 익스포트 데이터(Dex)를 생성할 수 있다. 익스포트 데이터(Dex)는 모델링 및 애니메이션 작업에 따른 결과물로서, 카메라, 캐릭터, 배경 및 특수 효과 중 적어도 하나에 대한 데이터를 포함할 수 있다. DCC(210)는 익스포트 데이터(Dex)를 제1 AI 모듈(220)로 전송할 수 있다. DCC(210)는 예를 들어, Maya 및 3Ds Max 중 어느 하나와 같은 프로그램에 의해서 구현될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.The
제1 AI 모듈(220)은 인공지능에 의해서 자동으로 익스포트 데이터(Dex)를 임포트 데이터(Dim)로 변환시킬 수 있다. 제1 AI 모듈(220)은 다양한 알고리즘을 통해서 구현될 수 있다.The
제1 AI 모듈(220)은 DCC(210)로부터 익스포트 데이터(Dex)를 수신할 수 있다. 제1 AI 모듈(220)은 익스포트 데이터(Dex)의 식별자를 인식하고 그에 따른 리스트 정보 요청(Ra)을 생성할 수 있다. 리스트 정보 요청(Ra)은 익스포트 데이터(Dex)에 대한 씬의 세부 정보를 특정할 수 있는 정보에 대한 요청일 수 있다. 구체적으로, 리스트 정보 요청(Ra)은 브레이크다운 리스트 중 익스포트 데이터(Dex)에 대응되는 부분을 요청하기 위한 것일 수 있다. The
제1 AI 모듈(220)은 리스트 정보 요청(Ra)에 대응하는 파셜 브레이크다운 리스트(BKLp)를 수신할 수 있다. 파셜 브레이크다운 리스트(BKLp)는 익스포트 데이터(Dex)에 대응하는 씬 정보를 포함할 수 있다. 즉, 브레이크다운 리스트 중 익스포트 데이터(Dex)와 관련된 일부분일 수 있다.The
제1 AI 모듈(220)은 익스포트 데이터(Dex) 및 파셜 브레이크다운 리스트(BKLp)를 이용하여 임포트 데이터(Dim)를 생성할 수 있다. 임포트 데이터(Dim)는 익스포트 데이터(Dex)를 변환하고, 익스포트 데이터(Dex)와 관련된 씬 정보를 추가적으로 결합시킨 데이터일 수 있다. 임포트 데이터(Dim)는 추후에 3D 게임 엔진(230)으로 전송되어 3D 게임 엔진(230)이 자동으로 여러 단계를 거쳐 애니메이션 이미지(Pr)를 생성하는 것을 드라이브할 수 있다.The
3D 게임 엔진(230)은 제2 작업 지시(Wp2)를 통해서 제작자(100)에게 제어될 수 있다. 3D 게임 엔진(230)은 DCC(210)에서 생성된 어셋들을 이어받아 애니메이션 제작의 후반부를 담당할 수 있다. 3D 게임 엔진(230)은 기존의 DCC(210)와는 달리 렌더링 단계와 컴포짓 단계를 순차적으로 사용하지 않고, 실시간 렌더링을 사용할 수 있다. 이에 따라서, 수정 사항의 반영 및 변경이 상대적으로 매우 쉬워지고 제작기간도 단축될 수 있다. 나아가, 캐릭터 및 배경의 가연출 후에 캐릭터 및 배경을 교체하여 제작을 완성할 필요없이 실시간으로 테스트 및 출력이 가능하므로 훨씬 적은 노력으로 빠르게 애니메이션을 제작할 수 있다.The
3D 게임 엔진(230)은 임포트 데이터(Dim) 및 제2 작업 지시(Wp2)를 통해서 애니메이션 이미지(Pr)를 최종적으로 생성할 수 있다. 3D 게임 엔진(230)은 애니메이션 이미지(Pr)를 제작자(100)에게 전송할 수 있다.The
도 3은 도 2의 익스포트 데이터의 구조를 세부적으로 설명하기 위한 개념도이다.3 is a conceptual diagram for explaining in detail the structure of the export data of FIG. 2 .
도 3을 참조하면, 익스포트 데이터(Dex)는 카메라 데이터(Cex), 오리지널 어셋 키 데이터(K_org), 임시 어셋 키 데이터(K_tem) 및 씬 정보 스크립트 데이터(S_scr)를 포함할 수 있다.Referring to FIG. 3 , the export data Dex may include camera data Cex, original asset key data K_org, temporary asset key data K_tem, and scene information script data S_scr.
카메라 데이터(Cex)는 애니메이션 내부에서 카메라의 위치, 방향, 화각 등의 세부사항에 대한 데이터일 수 있다. 카메라 데이터(Cex)는 예를 들어, FBX 파일로 구현될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.The camera data Cex may be data on details such as the position, direction, and angle of view of the camera within the animation. The camera data Cex may be implemented as, for example, an FBX file. However, the present embodiment is not limited thereto.
오리지널 어셋 키 데이터(K_org) 및 임시 어셋 키 데이터(K_tem)는 애니메이션 키 값을 포함할 수 있다. 이때, 어셋(asset)이란 오브젝트와 유사한 의미를 가지는 용어로 3D 게임 엔진(230)에서 사용되는 캐릭터, 배경, 소품 등을 구성하는 객체를 의미할 수 있다. 이때, 어셋은 종류에 따라 다양한 코드를 가질 수 있다. 즉, 코드는 어셋이 캐릭터에 대한 것인지, 배경에 대한 것인지 또는 소품에 대한 것인지에 따른 식별자일 수 있다.The original asset key data K_org and the temporary asset key data K_tem may include animation key values. In this case, an asset is a term having a similar meaning to an object, and may mean an object constituting a character, a background, a prop, etc. used in the
오리지널 어셋 키 데이터(K_org)는 코드가 결정된 어셋에 대한 키 데이터일 수 있다. 오리지널 어셋 키 데이터(K_org)는 예를 들어, FBX 파일로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다. 오리지널 어셋 키 데이터(K_org)는 제작된 어셋에 대한 키 데이터로, 추후 3D 게임 엔진(230)이 이를 이용하여 애니메이션 제작을 수행할 수 있다.The original asset key data K_org may be key data for an asset whose code is determined. The original asset key data K_org may be implemented as, for example, an FBX file, but the present embodiment is not limited thereto. The original asset key data K_org is key data for the produced asset, and the
임시 어셋 키 데이터(K_tem)는 코드가 정해지지 않은 어셋에 대한 키 데이터일 수 있다. 임시 어셋 키 데이터(K_tem)는 제작과정에서 코드를 확정하지 않고 생성된 어셋에 대한 키 데이터일 수 있다. 주로, 어셋 코드가 여러 개로 중복되는 경우 어셋 코드가 확정되지 않을 수 있어, 임시 어셋 키 데이터(K_tem)를 이룰 수 있다. 임시 어셋 키 데이터(K_tem)는 예를 들어, FBX 파일로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다. 임시 어셋 키 데이터(K_tem)는 추후 3D 게임 엔진(230)이 이를 이용하여 애니메이션 제작을 수행할 수 있다.The temporary asset key data K_tem may be key data for an asset whose code is not determined. Temporary asset key data (K_tem) may be key data for an asset created without determining a code during a production process. Mainly, when a plurality of asset codes are duplicated, the asset code may not be determined, and thus temporary asset key data K_tem may be formed. The temporary asset key data K_tem may be implemented as, for example, an FBX file, but the present embodiment is not limited thereto. The temporary asset key data (K_tem) may later be used by the
씬 정보 스크립트 데이터(S_scr)는 각 어셋과 카메라가 등장하는 씬에 대한 세부사항이 기재된 데이터일 수 있다. 씬 정보 스크립트 데이터(S_scr)를 통해서 제1 AI 모듈(220)은 추후에 리스트 정보 요청(Ra)를 생성할 때 컷 식별을 위해서 참조될 수 있다. 씬 정보 스크립트 데이터(S_scr)는 예를 들어, TXT 파일로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다. 씬 정보 스크립트 데이터(S_scr)는 추후 3D 게임 엔진(230)이 이를 이용하여 애니메이션 제작을 수행할 수 있다.The scene information script data S_scr may be data in which details about a scene in which each asset and camera appear. Through the scene information script data S_scr, the
도 4는 도 2의 임포트 데이터의 구조를 세부적으로 설명하기 위한 개념도이다.FIG. 4 is a conceptual diagram for explaining in detail the structure of the import data of FIG. 2 .
도 4를 참조하면, 임포트 데이터(Dim)는 카메라 임포트 데이터(Cim), 오리지널 어셋 키 임포트 데이터(Ki_org), 임시 어셋 키 임포트 데이터(Ki_tem), 씬 정보 스크립트 임포트 데이터(Si_scr), 백그라운드 코드(BGC) 및 앰비언스 정보(Amb)를 포함할 수 있다.Referring to FIG. 4 , import data (Dim) includes camera import data (Cim), original asset key import data (Ki_org), temporary asset key import data (Ki_tem), scene information script import data (Si_scr), and background code (BGC). ) and ambience information (Amb).
카메라 임포트 데이터(Cim), 오리지널 어셋 키 임포트 데이터(Ki_org), 임시 어셋 키 임포트 데이터(Ki_tem) 및 씬 정보 스크립트 임포트 데이터(Si_scr)는 각각 카메라 데이터(Cex), 오리지널 어셋 키 데이터(K_org), 임시 어셋 키 데이터(K_tem) 및 씬 정보 스크립트 데이터(S_scr)가 변환된 데이터일 수 있다. 각 데이터는 3D 게임 엔진(230)에 적용되도록 변환될 수 있다. Camera import data (Cim), original asset key import data (Ki_org), temporary asset key import data (Ki_tem), and scene information script import data (Si_scr) are camera data (Cex), original asset key data (K_org), temporary asset key data (K_org), respectively. The asset key data (K_tem) and the scene information script data (S_scr) may be converted data. Each data may be converted to be applied to the
나아가, 임포트 데이터(Dim)는 파셜 브레이크다운 리스트(BKLp)로부터 백그라운드 코드(BGC) 및 앰비언스 정보(Amb)를 추출하여 위의 카메라 임포트 데이터(Cim), 오리지널 어셋 키 임포트 데이터(Ki_org), 임시 어셋 키 임포트 데이터(Ki_tem) 및 씬 정보 스크립트 임포트 데이터(Si_scr)와 연관시킬 수 있다. Furthermore, the import data (Dim) is obtained by extracting the background code (BGC) and the ambience information (Amb) from the partial breakdown list (BKLp) to obtain the above camera import data (Cim), the original asset key import data (Ki_org), and the temporary asset. It can be associated with key import data (Ki_tem) and scene information script import data (Si_scr).
백그라운드 코드(BGC)는 각 씬 또는 컷에 사용되는 배경의 식별자일 수 있다. 백그라운드 코드(BGC)는 각 씬 또는 컷에 따른 배경 레벨과 배경 서브 레벨을 확인하기 위한 정보일 수 있다.The background code BGC may be an identifier of a background used for each scene or cut. The background code BGC may be information for identifying a background level and a background sub-level according to each scene or cut.
앰비언스 정보(Amb)는 각 씬 또는 컷에 사용되는 앰비언스의 식별자일 수 있다. 앰비언스는 애니메이션에서 배경음 혹은 공간음을 의미할 수 있다. 즉, 공간 자체가 가지고 있는 음향을 의미하고, 이러한 앰비언스가 각 씬 또는 컷에 따라 어떠한지를 확인하기 위해서 앰비언스 정보(Amb)가 사용될 수 있다.The ambience information Amb may be an identifier of an ambience used for each scene or cut. Ambience may mean background sound or spatial sound in animation. That is, it means the sound of the space itself, and the ambience information Amb may be used to check what kind of ambience is according to each scene or cut.
즉, 카메라 임포트 데이터(Cim), 오리지널 어셋 키 임포트 데이터(Ki_org), 임시 어셋 키 임포트 데이터(Ki_tem) 및 씬 정보 스크립트 임포트 데이터(Si_scr)와 백그라운드 코드(BGC) 및 앰비언스 정보(Amb)는 개별 컷에 따라 각각 연결될 수 있다. 즉, 하나의 컷에 대한 카메라 임포트 데이터(Cim), 오리지널 어셋 키 임포트 데이터(Ki_org), 임시 어셋 키 임포트 데이터(Ki_tem) 및 씬 정보 스크립트 임포트 데이터(Si_scr)와 그 컷에 대한 백그라운드 코드(BGC) 및 앰비언스 정보(Amb)가 같이 연결되어 하나의 임포트 데이터(Dim)가 형성될 수 있다. 이렇듯 임포트 데이터(Dim)는 각 컷에 따라 각각 별도의 데이터가 정리된 형태로 존재할 수 있다.That is, camera import data (Cim), original asset key import data (Ki_org), temporary asset key import data (Ki_tem), scene information script import data (Si_scr), background code (BGC), and ambience information (Amb) are individually cut can be connected to each other. That is, camera import data (Cim), original asset key import data (Ki_org), temporary asset key import data (Ki_tem) and scene information script import data (Si_scr) for one cut and background code (BGC) for that cut and the ambience information Amb may be connected together to form one import data Dim. As such, the import data Dim may exist in a form in which separate data is arranged according to each cut.
또한, 임포트 데이터(Dim)는 3D 게임 엔진(230)에서 자동으로 제작 과정을 수행할 수 있다. 즉, 액터 연결, 액터 레벨 구성, 시퀀스 생성, 카메라 생성, 시퀀스 액터 등록, 씬 파일 구성 및 프리뷰 렌더링 등의 단계가 3D 게임 엔진(230)에서 자동으로 수행되도록 임포트 데이터(Dim)가 자동 실행 코드를 포함할 수 있다. 3D 게임 엔진(230)은 임포트 데이터(Dim)를 이용하여 자동으로 제작 단계를 수행하고, 추가적인 수정이나 변경은 제2 작업 지시(Wp2)를 통해서 제어될 수 있다. 물론 제2 작업 지시(Wp2)를 통해서 임포트 데이터(Dim)에 따른 작업도 제어될 수 있다.In addition, the import data Dim may be automatically produced by the
도 5는 도 2의 DCC를 세부적으로 설명하기 위한 블록도이다.FIG. 5 is a block diagram for describing the DCC of FIG. 2 in detail.
도 5를 참조하면, DCC(210)는 모델링 모듈(211) 및 애니메이션 모듈(212)을 포함할 수 있다. 모델링 모듈(211) 및 애니메이션 모듈(212)은 서로 다른 하드웨어로 구현될 수도 있고, 동일 혹은 일부가 중복되는 하드웨어에 의해서 각각 구현될 수 있다.Referring to FIG. 5 , the
모델링 모듈(211)은 제1 작업 지시(Wp1)에 의해서 모델링 작업을 수행할 수 있다. 모델링 작업이란 DCC(210)를 이용하여 캐릭터 및 배경과 같은 오브젝트를 모델링(modeling)하는 것을 의미할 수 있다. 즉, 추후 애니메이션 단계에서 사용하기 위해서 오브젝트의 디자인은 모델링 작업에서 완성되어야 한다. 모델링 모듈(211)은 폴리곤 모델링을 수행할 수 있다. 모델링 모듈(211)은 폴리곤 모델링을 수행한 후에 텍스쳐링 작업을 수행할 수 있다. 텍스쳐링 작업은 오브젝트의 표면의 질감 및 색상을 적용하기 위한 작업일 수 있다. 텍스쳐링 작업은 쉐이더를 이용하여 메티리얼을 적용하는 방식으로 진행될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.The
이어서, 모델링 모듈(211)은 리깅(rigging)을 수행할 수 있다. 리깅은 모델링된 오브젝트에 뼈를 붙이는 작업을 의미할 수 있다. 리깅을 수행해야 추후 애니메이션 단계를 거친 오브젝트의 움직임이 자연스러울 수 있다. 따라서 모델링 모듈(211)은 움직일 수 있는 관절 부분과 같이 움직여야 하는 뼈 부분을 제1 작업 지시(Wp1)에 따라 정의할 수 있다.Subsequently, the
애니메이션 모듈(212)은 모델링 모듈(211)이 생성한 오브젝트를 이용하여 오브젝트들을 움직이게 할 수 있다. 애니메이션 모듈(212)은 제1 작업 지시(Wp1)에 따라서 애니메이션 단계를 수행할 수 있다. 애니메이션 단계는 오브젝트의 움직이는 포인트 즉, 리깅 단계에서 관절에 해당하는 부분의 전 위치와 후 위치를 정의하는 방식을 사용될 수 있다. 애니메이션 모듈(212)은 시간에 따른 전 위치 및 후 위치를 정의하고, 그 사이의 오브젝트의 움직임은 인터폴레이션을 이용하여 자연스럽게 채울 수 있다. 이에 따라서, 오브젝트의 움직임이 사실적으로 표현될 수 있다.The
애니메이션 모듈(212)은 오브젝트의 애니메이션 작업을 완료한 후에 퍼블리싱(publishing)을 통하여 익스포트 데이터(Dex)를 생성할 수 있다. 즉, 애니메이션 모듈(212)은 애니메이션 작업이 완료된 오브젝트의 키 데이터, 카메라 데이터, 씬 정보 스크립트 데이터 등을 종합하여 익스포트 데이터(Dex)를 생성할 수 있다.The
도 6은 도 2의 제1 AI 모듈을 세부적으로 설명하기 위한 블록도이다.FIG. 6 is a block diagram illustrating in detail the first AI module of FIG. 2 .
도 6을 참조하면, 제1 AI 모듈(220)은 서치 모듈(221) 및 딥러닝 모델(222)을 포함할 수 있다.Referring to FIG. 6 , the
서치 모듈(221)은 익스포트 데이터(Dex)를 수신할 수 있다. 서치 모듈(221)은 익스포트 데이터(Dex)에 대응하는 리스트 정보 요청(Ra)을 생성할 수 있다. 리스트 정보 요청(Ra)은 익스포트 데이터(Dex)에 포함된 카메라, 캐릭터 및 배경의 정보에 대한 씬 정보를 서치하기 위한 내용일 수 있다.The
서치 모듈(221)은 익스포트 데이터(Dex)에 포함된 카메라, 캐릭터 및 배경 정보를 이용하여 관련된 씬 또는 컷을 서치할 수 있는 리스트 정보 요청(Ra)을 생성한다. 이때, 컷이란 애니메이션 촬영의 기본 단위로서, 편집점과 편집점 사이에 위치한 촬영물을 의미할 수 있다. The
애니메이션에서는 이러한 컷들이 모여 하나의 씬을 이룰 수 있다. 씬은 같은 시간, 같은 장소에서 하나의 사건이 마무리되는 장면을 의미할 수 있다. 이러한 씬이 모여서 하나의 시퀀스를 이룰 수 있다. 시퀀스는 장소, 시간, 액션의 연속성을 통해 하나의 에피소드가 시작되고 끝나는 독립된 구성단위를 의미할 수 있다. 즉, 하나의 상황이 시작되서 끝나는 곳까지의 장면일 수 있다.In animation, these cuts can be combined to form a single scene. A scene may mean a scene in which an event is finished at the same time and place. These scenes can be combined to form a sequence. A sequence may mean an independent unit in which an episode starts and ends through a continuity of place, time, and action. That is, it may be a scene from where a situation begins to where it ends.
서치 모듈(221)은 익스포트 데이터(Dex)에 대한 컷을 서치할 수 있는 식별자로 구성된 리스트 정보 요청(Ra)을 생성할 수 있다. 서치 모듈(221)은 리스트 정보 요청(Ra)을 통해서, 인공지능 데이터베이스(300) 내의 브레이크다운 리스트(BKL)를 검색할 수 있다. 서치 모듈(221)은 인공지능을 통해서 구현된 일종의 서치봇(searchbot)일 수 있다.The
딥러닝 모델(222)은 파셜 브레이크다운 리스트(BKLp)를 수신할 수 있다. 파셜 브레이크다운 리스트(BKLp)는 인공지능 데이터베이스(300)가 리스트 정보 요청(Ra)에 대응하여 생성한 리스트일 수 있다. 즉, 파셜 브레이크다운 리스트(BKLp)는 브레이크다운 리스트 중 리스트 정보 요청(Ra)에 의해서 추출된 리스트일 수 있다.The
딥러닝 모델(222)은 익스포트 데이터(Dex) 및 파셜 브레이크다운 리스트(BKLp)를 이용하여 임포트 데이터(Dim)를 생성할 수 있다. 딥러닝 모델(222)은 이미 트레이닝 데이터를 이용하여 트레이닝이 완료된 상태일 수 있다. 딥러닝 모델(222)은 예를 들어, DFN(Deep Feedforward Network), CNN(Convolutional Neural Network), GNN(Graph Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), SVM(Support vector machine), ANN(Artificial Neural Network), LSTM(Long Short-Term Memory), GRU(Gated Recurrent Units), DRN(Deep Residual Network), GAN(Generative Adversarial Network), GCN(Graph Convolutional Network), SNN(Spiking Neural Network) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.The
도 7은 도 2의 3D 게임 엔진을 세부적으로 설명하기 위한 블록도이다.7 is a block diagram illustrating the 3D game engine of FIG. 2 in detail.
도 7을 참조하면, 3D 게임 엔진(230)은 액터 연결 모듈(231), 액터 레벨 구성 모듈(232), 시퀀스 생성 모듈(233), 카메라 생성 모듈(234), 시퀀스 액터 등록 모듈(235), 씬 파일 구성 모듈(236) 및 프리뷰 렌더링 모듈(237)을 포함할 수 있다. 액터 연결 모듈(231), 액터 레벨 구성 모듈(232), 시퀀스 생성 모듈(233), 카메라 생성 모듈(234), 시퀀스 액터 등록 모듈(235), 씬 파일 구성 모듈(236) 및 프리뷰 렌더링 모듈(237)은 서로 다른 하드웨어로 구현될 수도 있고, 동일 혹은 일부가 중복되는 하드웨어에 의해서 각각 구현될 수 있다.Referring to FIG. 7 , the
액터 연결 모듈(231)은 임포트 데이터(Dim)의 오리지널 어셋 키 임포트 데이터(Ki_org)와 임시 어셋 키 임포트 데이터(Ki_tem)를 통해서 어셋의 버전에 맞는 스켈레탈(Skeletal) 메쉬를 어셋과 연결시킬 수 있다. 스켈레탈 메쉬는 표면을 구성하는 폴리곤 세트와 폴리곤의 버텍스 애니메이션에 사용할 수 있는 계층형 상호 연결 본(bone) 세트를 포함할 수 있다. 즉, 모델링 작업의 리깅까지 완료된 오브젝트를 3D 게임 엔진(230) 상에 구현하는 것을 의미할 수 있다. The
3D 게임 엔진(230)에서는 이러한 오브젝트를 액터라고 칭하고, 액터 연결 모듈(231)은 이러한 액터를 임포트 데이터(Dim)를 통해서 연결할 수 있다. 액터 연결 모듈(231)은 액터를 연결할 때, 어셋의 코드를 분류해서 스켈레탈 메쉬와 연결할 수 있다. 이때, 액터 연결 모듈(231)은 오리지널 어셋 키 임포트 데이터(Ki_org)의 경우에는 정해진 코드에 따라 연결시키지만, 임시 어셋 키 임포트 데이터(Ki_tem)는 어셋 코드가 중복되는 경우 최초의 어셋 코드를 확인하여 스켈레탈 메쉬와 연결시킬 수 있다.In the
액터 레벨 구성 모듈(232)은 비어 있는 레벨에 각 씬에 사용된 액터들을 임포트 데이터(Dim)를 통해서 임포트하고, 지정된 위치로 소환할 수 있다. 액터 레벨 구성 모듈(232)은 임포트된 액터들을 액터 레벨로 저장할 수 있다.The actor
시퀀스 생성 모듈(233)은 임포트 데이터(Dim)에 대응하는 컷에 따른 시퀀스를 생성하고, 각 컷에 맞는 세팅을 수행할 수 있다. 시퀀스는 상술하였듯이 씬들의 집합으로 장소, 시간, 액션의 연속성을 통해 하나의 에피소드가 시작되고 끝나는 독립된 구성단위를 의미할 수 있다. 즉, 하나의 상황이 시작되서 끝나는 곳까지의 장면일 수 있다.The
카메라 생성 모듈(234)은 생성된 시퀀스 내에 3D 게임 엔진(230)의 카메라를 생성할 수 있다. 카메라 생성 모듈(234)은 임포트 데이터(Dim)의 카메라 임포트 데이터(Cim)를 이용하여 카메라를 생성할 수 있다. 카메라 생성 모듈(234)은 카메라를 바인딩 시켜 카메라의 위치 및 방향을 결정할 수 있다.The
시퀀스 액터 등록 모듈(235)은 시퀀스 내 애니메이션 트랙을 생성할 수 있다. 시퀀스 액터 등록 모듈(235)은 임포트 데이터(Dim)의 오리지널 어셋 키 임포트 데이터(Ki_org) 및 임시 어셋 키 임포트 데이터(Ki_tem)의 키 값을 3D 게임 엔진(230)에 등록시킬 수 있다. 이를 통해서 시퀀스 내에 어셋에 해당하는 액터가 등록될 수 있다.The sequence
씬 파일 구성 모듈(236)은 각 씬에 부합하는 백그라운드 코드(BGC)를 확인하여 각 씬에 맞는 배경 레벨, 배경 서브 레벨, 앰비언스 레벨 및 액터 레벨을 조합하여 씬을 구성할 수 있다. 씬 파일 구성 모듈(236)은 구성된 씬을 씬 파일로 저장할 수 있다.The scene
프리뷰 렌더링 모듈(237)은 씬 파일과 시퀀스들을 렌더링하여 프리뷰 렌더링을 수행할 수 있다. 프리뷰 렌더링은 최종 영상 전에 렌더링된 영상을 확인할 수 있게 하여 수정 사항을 체크하게 하는 작업일 수 있다. 프리뷰 렌더링 모듈(237)에서 프리뷰 렌더링 영상을 확인하고, 제작자(100)가 제2 작업 지시(Wp2)를 통해서 애니메이션 이미지(Pr)을 수정할 수 있다.The
도 8은 도 1의 인공지능 데이터베이스의 구조를 세부적으로 설명하기 위한 블록도이다.8 is a block diagram for explaining the structure of the artificial intelligence database of FIG. 1 in detail.
도 8을 참조하면, 인공지능 데이터베이스(300)는 제2 AI 모듈(310) 및 데이터베이스(320)를 포함할 수 있다.Referring to FIG. 8 , the
제2 AI 모듈(310)은 씬 정보(Is)를 수신하고, 이를 변환하여 브레이크다운 리스트(BKL)를 생성할 수 있다. 씬 정보(Is)는 다양한 형식을 가질 수 있다. 예를 들어, 씬 정보는 키워드 테이블, 텍스트, 스케치 영상, 슬라이드 데이터와 같은 형식으로 제공될 수 있다. 또는 씬 정보(Is)는 스피치 데이터와 같은 음성 데이터의 형식으로 제공될 수도 있다. 즉, 씬 정보(Is)는 스크립트 단계, 스토리보드 단계 및 컨셉아트 단계 중 어느 하나의 단계에서 생성된 정보일 수 있다.The
제2 AI 모듈(310)은 다양한 형식의 씬 정보(Is)를 미리 설정된 포맷으로 변환하여 브레이크다운 리스트(BKL)를 생성할 수 있다. 브레이크다운 리스트(BKL)는 애니메이션 제작에 필요한 정보가 포함될 리스트일 수 있다. 구체적으로, 브레이크다운 리스트(BKL)는 각 씬 또는 각 컷에 필요한 세부적인 사항이 기재된 리스트일 수 있다. 브레이크다운 리스트(BKL)는 데이터가 복수의 텍스트 덩어리로 링크되어 있는 형태일 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 브레이크다운 리스트(BKL)는 이미지나 영상 형태의 데이터를 포함할 수도 있다.The
브레이크다운 리스트(BKL)는 예를 들어, 각 씬 또는 각 컷의 카메라 정보, 캐릭터 정보, 배경 정보, 특수효과 정보 및 사운드 정보 중 적어도 하나를 포함할 수 있다. 브레이크다운 리스트(BKL)는 카메라의 시간에 따른 무빙, 화면 전환, 캐릭터의 움직임, 배경의 변화, 특수효과의 위치 및 시간 등 세밀한 사항에 대한 내용을 모두 포함할 수 있다. 브레이크다운 리스트(BKL)는 하나의 애니메이션의 모든 씬에 대한 내용을 포함할 수 있다. 이에 따라서, 브레이크다운 리스트(BKL)는 추후에 어셋 및 배경에 따라 필요한 씬에 대한 일부분이 포함된 파셜 브레이크다운 리스트(BKLp)가 추출될 수 있다.The breakdown list BKL may include, for example, at least one of camera information, character information, background information, special effect information, and sound information of each scene or each cut. The break-down list (BKL) may include all detailed information such as camera moving according to time, screen change, character movement, background change, and location and time of special effects. The breakdown list (BKL) may include content for all scenes of one animation. Accordingly, from the breakdown list BKL, a partial breakdown list BKLp including a part of a scene required according to an asset and a background may be extracted later.
제2 AI 모듈(310)은 인공지능에 의해서 자동으로 씬 정보(Is)를 브레이크다운 리스트(BKL)로 변환시킬 수 있다. 제2 AI 모듈(310)은 다양한 알고리즘을 통해서 구현될 수 있다. 특히 제2 AI 모듈(310)은 자연어 처리 모델을 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아닐 수 있다.The
제2 AI 모듈(310)은 데이터베이스(320)로 브레이크다운 리스트(BKL)를 전송할 수 있다. 데이터베이스(320)는 브레이크다운 리스트(BKL)를 저장할 수 있다. 데이터베이스(320)는 리스트 정보 요청(Ra)을 수신할 수 있다.The
데이터베이스(320)는 리스트 정보 요청(Ra)에 따라 브레이크다운 리스트(BKL)에서 대응되는 부분을 추출하여 파셜 브레이크다운 리스트(BKLp)를 생성할 수 있다. 이때, 리스트 정보 요청(Ra)은 씬 정보 스크립트 데이터(S_scr)를 기반으로 생성되어 익스포트 데이터(Dex)에 대응되는 씬에 대한 식별자를 포함할 수 있다.The
데이터베이스(320)는 리스트 정보 요청(Ra)에 따라서 브레이크다운 리스트(BKL)에서 대응되는 씬에 해당하는 부분을 추출하여 파셜 브레이크다운 리스트(BKLp)를 생성하고, 이를 애니메이션 제작 장치(200)로 전송할 수 있다.The
본 발명의 몇몇 실시예들에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 시스템은 인공지능을 통해서 프리프로덕션 단계의 씬 정보를 미리 설정된 브레이크다운 리스트(BKL)로 자동으로 변환할 수 있다. 이에 따라서, 애니메이션 제작과정에서 걸리는 시간을 대폭 단축시킬 수 있다. 나아가, 서로 다른 형태의 씬 정보를 하나의 정리된 포맷으로 정리하여 복수의 제작자를 통해서 이루어지는 프리프로덕션의 단계의 결과를 명확하게 정리할 수 있다.An AI-based animation production system using a game engine according to some embodiments of the present invention may automatically convert scene information of a pre-production stage into a preset breakdown list (BKL) through artificial intelligence. Accordingly, it is possible to significantly reduce the time taken in the animation production process. Furthermore, by organizing different types of scene information into one organized format, it is possible to clearly organize the results of the pre-production stage performed by a plurality of producers.
또한, 본 실시예는 애니메이션 제작 장치(200) 내에서 DCC(210)와 3D 게임 엔진(230)을 동시에 사용하여 애니메이션 제작의 최적의 효율을 도모할 수 있다. 즉, 기존의 DCC만을 사용한 제작 단계는 여러 단계 특히, 렌더링 단계에서 수정을 위한 작업 시간이 오래 걸릴 수 있다. 이에 반해서, 본 실시예는 모델링, 애니메이션 단계 이후를 3D 게임 엔진(230)에서 수행하여 실시간으로 렌더링을 수행하고 프리뷰를 진행하여 수정 및 변경의 작업이 매우 쉽고 빠르게 진행될 수 있다.In addition, in the present embodiment, the
나아가, 인공지능 기반 모듈을 DCC(210)와 3D 게임 엔진(230) 사이에 배치하여 익스포트 데이터(Dex)를 변환하여 임포트 데이터(Dim)를 자동으로 생성할 수 있다. 이러한 임포트 데이터(Dim)는 자동 실행 코드를 탑재하여 3D 게임 엔진(230)이 자동으로 애니메이션 제작의 후반 단계를 수행할 수 있게 할 수 있다. 구체적으로, 제1 AI 모듈(220)은 익스포트 데이터(Dex)에 따라 인공지능 데이터베이스(300)를 서치하여 대응되는 부분의 씬 정보를 결합하여 임포트 데이터(Dim)를 생성하고, 이를 3D 게임 엔진(230)으로 전송할 수 있다. 이에 따라서, 제작자(100)는 기존의 모델링, 애니메이션 작업 이후의 단계를 자동으로 3D 게임 엔진(230)에서 진행하여 제작기간의 단축 및 수정 사항의 용이한 반영을 도모할 수 있다.Furthermore, by arranging the AI-based module between the
이하, 도 1 내지 도 8 및 도 9 내지 도 13을 참조하여, 본 발명의 몇몇 실시예들에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 방법을 설명한다. 상술한 실시예와 중복되는 부분은 간략히 하거나 생략한다.Hereinafter, an AI-based animation production method using a game engine according to some embodiments of the present invention will be described with reference to FIGS. 1 to 8 and FIGS. 9 to 13 . Parts overlapping with the above-described embodiment will be simplified or omitted.
도 9는 본 발명의 몇몇 실시예들에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 방법을 설명하기 위한 순서도이고, 도 10은 도 9의 브레이크다운 리스트 생성 단계를 세부적으로 설명하기 위한 순서도이다. 도 11은 도 9의 익스포트 데이터 생성 단계를 세부적으로 설명하기 위한 순서도이고, 도 12는 도 9의 임포트 데이터 생성 단계를 세부적으로 설명하기 위한 순서도이다. 도 13은 도 9의 애니메이션 이미지 생성 단계를 세부적으로 설명하기 위한 순서도이다.9 is a flowchart illustrating an AI-based animation production method using a game engine according to some embodiments of the present invention, and FIG. 10 is a flowchart illustrating in detail a step of generating a breakdown list of FIG. 9 . FIG. 11 is a flowchart for explaining in detail the step of generating export data of FIG. 9 , and FIG. 12 is a flowchart for explaining in detail the step of generating import data of FIG. 9 . 13 is a flowchart for explaining in detail an animation image generation step of FIG. 9 .
도 9를 참조하면, 본 발명의 몇몇 실시예들에 따른 게임 엔진을 이용한 인공지능 기반 애니메이션 제작 방법은 씬 정보에 대응하는 브레이크다운 리스트를 생성한다(S100).Referring to FIG. 9 , an AI-based animation production method using a game engine according to some embodiments of the present invention generates a breakdown list corresponding to scene information ( S100 ).
세부적으로, 도 10을 참조하면, 제2 AI 모듈을 통해서 씬 정보를 브레이크다운 리스트로 변환한다(S110).In detail, referring to FIG. 10 , the scene information is converted into a breakdown list through the second AI module ( S110 ).
구체적으로, 도 8을 참조하면, 제2 AI 모듈(310)은 씬 정보(Is)를 수신하고, 이를 변환하여 브레이크다운 리스트(BKL)를 생성할 수 있다. 씬 정보(Is)는 다양한 형식을 가질 수 있다. 예를 들어, 씬 정보는 키워드 테이블, 텍스트, 스케치 영상, 슬라이드 데이터와 같은 형식으로 제공될 수 있다. 또는 씬 정보(Is)는 스피치 데이터와 같은 음성 데이터의 형식으로 제공될 수도 있다. 즉, 씬 정보(Is)는 스크립트 단계, 스토리보드 단계 및 컨셉아트 단계 중 어느 하나의 단계에서 생성된 정보일 수 있다. 제2 AI 모듈(310)은 다양한 형식의 씬 정보(Is)를 미리 설정된 포맷으로 변환하여 브레이크다운 리스트(BKL)를 생성할 수 있다.Specifically, referring to FIG. 8 , the
다시, 도 10을 참조하면, 브레이크다운 리스트를 데이터베이스에 저장한다(S120).Again, referring to FIG. 10 , the breakdown list is stored in the database ( S120 ).
구체적으로, 도 8을 참조하면, 제2 AI 모듈(310)은 데이터베이스(320)로 브레이크다운 리스트(BKL)를 전송할 수 있다. 데이터베이스(320)는 브레이크다운 리스트(BKL)를 저장할 수 있다.Specifically, referring to FIG. 8 , the
다시, 도 9를 참조하면, DCC를 통해서 익스포트 데이터를 생성한다(S200).Again, referring to FIG. 9 , export data is generated through DCC (S200).
세부적으로, 도 11을 참조하면, 모델링 작업을 수행한다(S210).In detail, referring to FIG. 11 , a modeling operation is performed ( S210 ).
구체적으로, 도 5를 참조하면, 모델링 모듈(211)은 제1 작업 지시(Wp1)에 의해서 모델링 작업을 수행할 수 있다. 모델링 모듈(211)은 폴리곤 모델링을 수행할 수 있다. 모델링 모듈(211)은 폴리곤 모델링을 수행한 후에 텍스쳐링 작업을 수행할 수 있다. 텍스쳐링 작업은 오브젝트의 표면의 질감 및 색상을 적용하기 위한 작업일 수 있다. 이어서, 모델링 모듈(211)은 리깅을 수행할 수 있다. Specifically, referring to FIG. 5 , the
다시, 도 11을 참조하면, 애니메이션 작업을 수행하여 익스포트 데이터 생성한다(S220).Again, referring to FIG. 11 , an animation operation is performed to generate export data (S220).
구체적으로, 도 5를 참조하면, 애니메이션 모듈(212)은 모델링 모듈(211)이 생성한 오브젝트를 이용하여 오브젝트들을 움직이게 할 수 있다. 애니메이션 모듈(212)은 제1 작업 지시(Wp1)에 따라서 애니메이션 단계를 수행할 수 있다. 애니메이션 단계는 오브젝트의 움직이는 포인트 즉, 리깅 단계에서 관절에 해당하는 부분의 전 위치와 후 위치를 정의하는 방식을 사용될 수 있다. 애니메이션 모듈(212)은 시간에 따른 전 위치 및 후 위치를 정의하고, 그 사이의 오브젝트의 움직임은 인터폴레이션을 이용하여 자연스럽게 채울 수 있다. 이에 따라서, 오브젝트의 움직임이 사실적으로 표현될 수 있다.Specifically, referring to FIG. 5 , the
애니메이션 모듈(212)은 오브젝트의 애니메이션 작업을 완료한 후에 퍼블리싱(publishing)을 통하여 익스포트 데이터(Dex)를 생성할 수 있다. 즉, 애니메이션 모듈(212)은 애니메이션 작업이 완료된 오브젝트의 키 데이터, 카메라 데이터, 씬 정보 스크립트 데이터 등을 종합하여 익스포트 데이터(Dex)를 생성할 수 있다.The
다시, 도 9를 참조하면, 파셜 브레이크다운 리스트 및 익스포트 데이터를 통해서 임포트 데이터를 생성한다(S300).Again, referring to FIG. 9 , import data is generated through the partial breakdown list and the export data ( S300 ).
세부적으로, 도 12를 참조하면, 익스포트 데이터에 대응하는 리스트 정보 요청을 생성한다(S310).In detail, referring to FIG. 12 , a list information request corresponding to the export data is generated ( S310 ).
구체적으로, 도 6을 참조하면, 서치 모듈(221)은 익스포트 데이터(Dex)에 포함된 카메라, 캐릭터 및 배경 정보를 이용하여 관련된 씬 또는 컷을 서치할 수 있는 리스트 정보 요청(Ra)을 생성한다. 서치 모듈(221)은 익스포트 데이터(Dex)에 대한 컷을 서치할 수 있는 식별자로 구성된 리스트 정보 요청(Ra)을 생성할 수 있다. 서치 모듈(221)은 리스트 정보 요청(Ra)을 통해서, 인공지능 데이터베이스(300) 내의 브레이크다운 리스트를 검색할 수 있다. 서치 모듈(221)은 인공지능을 통해서 구현된 일종의 서치봇(searchbot)일 수 있다.Specifically, referring to FIG. 6 , the
다시, 도 12를 참조하면, 리스트 정보 요청에 대응하는 파셜 브레이크다운 리스트를 수신한다(S320). Referring again to FIG. 12 , a partial breakdown list corresponding to the list information request is received ( S320 ).
구체적으로, 도 6을 참조하면, 딥러닝 모델(222)은 파셜 브레이크다운 리스트(BKLp)를 수신할 수 있다. 파셜 브레이크다운 리스트(BKLp)는 인공지능 데이터베이스(300)가 리스트 정보 요청(Ra)에 대응하여 생성한 리스트일 수 있다. 즉, 파셜 브레이크다운 리스트(BKLp)는 브레이크다운 리스트 중 리스트 정보 요청(Ra)에 의해서 추출된 리스트일 수 있다.Specifically, referring to FIG. 6 , the
다시, 도 12를 참조하면, 딥러닝 모델에 파셜 브레이크다운 리스트와 익스포트 데이터를 입력하여 임포트 데이터를 획득한다(S330). Again, referring to FIG. 12 , import data is obtained by inputting a partial breakdown list and export data to the deep learning model (S330).
구체적으로, 도 6을 참조하면, 딥러닝 모델(222)은 익스포트 데이터(Dex) 및 파셜 브레이크다운 리스트(BKLp)를 이용하여 임포트 데이터(Dim)를 생성할 수 있다. 딥러닝 모델(222)은 이미 트레이닝 데이터를 이용하여 트레이닝이 완료된 상태일 수 있다.Specifically, referring to FIG. 6 , the
다시, 도 9를 참조하면, 임포트 데이터를 3D 게임 엔진으로 제공한다(S400).Again, referring to FIG. 9 , the import data is provided to the 3D game engine (S400).
구체적으로, 도 2를 참조하면, 임포트 데이터(Dim)는 3D 게임 엔진(230)으로 전송되어 3D 게임 엔진(230)이 자동으로 여러 단계를 거쳐 애니메이션 이미지(Pr)를 생성하는 것을 드라이브할 수 있다.Specifically, referring to FIG. 2 , the import data Dim is transmitted to the
다시, 도 9를 참조하면, 3D 게임 엔진을 통해서 애니메이션 이미지를 생성한다(S500).Again, referring to FIG. 9 , an animation image is generated through the 3D game engine ( S500 ).
세부적으로, 도 13을 참조하면, 3D 게임 엔진을 이용하여 어셋과 스켈레톤 메쉬를 연결하여 액터를 생성한다(S510).In detail, referring to FIG. 13 , an actor is created by connecting an asset and a skeleton mesh using a 3D game engine ( S510 ).
구체적으로, 도 7을 참조하면, 액터 연결 모듈(231)은 임포트 데이터(Dim)의 오리지널 어셋 키 임포트 데이터(Ki_org)와 임시 어셋 키 임포트 데이터(Ki_tem)를 통해서 어셋의 버전에 맞는 스켈레탈 메쉬를 어셋과 연결시킬 수 있다. 즉, 액터 연결 모듈(231)은 액터를 연결할 때, 어셋의 코드를 분류해서 스켈레탈 메쉬와 연결할 수 있다.Specifically, referring to FIG. 7 , the
다시, 도 13을 참조하면, 3D 게임 엔진을 이용하여 액터를 지정된 위치로 스폰하고 액터 레벨로 저장한다(S520).Again, referring to FIG. 13 , an actor is spawned at a designated location using a 3D game engine and stored as an actor level (S520).
구체적으로, 도 7을 참조하면, 액터 레벨 구성 모듈(232)은 비어 있는 레벨에 각 씬에 사용된 액터들을 임포트 데이터(Dim)를 통해서 임포트하고, 지정된 위치로 소환할 수 있다. 액터 레벨 구성 모듈(232)은 임포트된 액터들을 액터 레벨로 저장할 수 있다.Specifically, referring to FIG. 7 , the actor
다시, 도 13을 참조하면, 3D 게임 엔진을 이용하여 시퀀스를 생성하고 세팅한다(S530).Again, referring to FIG. 13 , a sequence is created and set using a 3D game engine ( S530 ).
구체적으로, 도 7을 참조하면, 시퀀스 생성 모듈(233)은 임포트 데이터(Dim)에 대응하는 컷에 따른 시퀀스를 생성하고, 각 컷에 맞는 세팅을 수행할 수 있다. Specifically, referring to FIG. 7 , the
다시, 도 13을 참조하면, 3D 게임 엔진을 이용하여 카메라를 생성하고 바인딩한다(S540).Again, referring to FIG. 13 , a camera is created and bound using a 3D game engine ( S540 ).
구체적으로, 도 7을 참조하면, 카메라 생성 모듈(234)은 생성된 시퀀스 내에 3D 게임 엔진(230)의 카메라를 생성할 수 있다. 카메라 생성 모듈(234)은 임포트 데이터(Dim)의 카메라 임포트 데이터(Cim)를 이용하여 카메라를 생성할 수 있다. 카메라 생성 모듈(234)은 카메라를 바인딩 시켜 카메라의 위치 및 방향을 결정할 수 있다.Specifically, referring to FIG. 7 , the
다시, 도 13을 참조하면, 3D 게임 엔진을 이용하여 애니메이션 트랙을 생성하고 임포트 데이터를 등록한다(S550).Referring again to FIG. 13 , an animation track is created using a 3D game engine and import data is registered ( S550 ).
구체적으로, 도 7을 참조하면, 시퀀스 액터 등록 모듈(235)은 시퀀스 내 애니메이션 트랙을 생성할 수 있다. 시퀀스 액터 등록 모듈(235)은 임포트 데이터(Dim)의 오리지널 어셋 키 임포트 데이터(Ki_org) 및 임시 어셋 키 임포트 데이터(Ki_tem)의 키 값을 3D 게임 엔진(230)에 등록시킬 수 있다. 이를 통해서 시퀀스 내에 어셋에 해당하는 액터가 등록될 수 있다.Specifically, referring to FIG. 7 , the sequence
다시, 도 13을 참조하면, 3D 게임 엔진을 이용하여 씬 파일을 구성한다(S560).Again, referring to FIG. 13 , a scene file is configured using a 3D game engine ( S560 ).
구체적으로, 도 7을 참조하면, 씬 파일 구성 모듈(236)은 각 씬에 부합하는 백그라운드 코드(BGC)를 확인하여 각 씬에 맞는 배경 레벨, 배경 서브 레벨, 앰비언스 레벨 및 액터 레벨을 조합하여 씬을 구성할 수 있다. 씬 파일 구성 모듈(236)은 구성된 씬을 씬 파일로 저장할 수 있다.Specifically, referring to FIG. 7 , the scene
다시, 도 13을 참조하면, 3D 게임 엔진을 이용하여 프리뷰 렌더링을 수행한다(S570).Again, referring to FIG. 13 , preview rendering is performed using a 3D game engine ( S570 ).
구체적으로, 도 7을 참조하면, 프리뷰 렌더링 모듈(237)은 씬 파일과 시퀀스들을 렌더링하여 프리뷰 렌더링을 수행할 수 있다. 프리뷰 렌더링은 최종 영상 전에 렌더링된 영상을 확인할 수 있게 하여 수정 사항을 체크하게 하는 작업일 수 있다.Specifically, referring to FIG. 7 , the
이러한 과정을 통해서 애니메이션 이미지(Pr)는 생성되고, 제작자(100)에게 전달될 수 있다. Through this process, the animation image Pr may be generated and delivered to the
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and various modifications and variations will be possible by those skilled in the art to which this embodiment belongs without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present embodiment.
Claims (10)
상기 익스포트 데이터를 수신하고, 상기 익스포트 데이터에 대응하는 리스트 정보 요청을 생성하고, 상기 리스트 정보 요청에 따른 파셜 브레이크다운 리스트를 수신하고, 상기 익스포트 데이터 및 상기 파셜 브레이크다운 리스트를 입력으로하여 임포트 데이터를 생성하는 제1 AI(artificial Intelligence) 모듈로서, 상기 임포트 데이터는 상기 파셜 브레이크다운 리스트로부터 추출된 백그라운드 코드 및 앰비언스 정보를 포함하고, 상기 파셜 브레이크다운 리스트는 상기 익스포트 데이터에 연관된 씬 정보가 포함되는 제1 AI 모듈; 및
상기 임포트 데이터를 수신하고, 상기 임포트 데이터에 의해서 자동으로 액터 레벨 및 배경 레벨을 구성하여 씬 파일을 생성하고, 상기 씬 파일을 통해 애니메이션 이미지를 생성하는 3D 게임 엔진을 포함하되,
상기 파셜 브레이크다운 리스트는 인공지능 데이터베이스로부터 수신되고,
상기 인공지능 데이터베이스는 상기 파셜 브레이크다운 리스트를 포함하는 브레이크다운 리스트를 저장하고, 상기 브레이크다운 리스트 중 일부를 상기 파셜 브레이크다운 리스트로 추출하고,
상기 인공지능 데이터베이스는,
다양한 형태의 씬 정보를 수신하고, 상기 씬 정보를 미리 설정된 포맷의 브레이크다운 리스트로 변환하는 제2 AI 모듈과,
상기 브레이크다운 리스트를 저장하고, 상기 리스트 정보 요청에 대응하는 상기 파셜 브레이크다운 리스트를 추출하여 상기 제1 AI 모듈로 전송하는 데이터베이스를 포함하고,
상기 파셜 브레이크다운 리스트는 상기 브레이크다운 리스트 중 상기 익스포트 데이터와 관련된 일부인 애니메이션 제작 시스템.
Digital Content Creation tools (DCC) for generating export data including camera data, original asset key data, and temporary asset key data according to a first operation instruction;
Receiving the export data, generating a list information request corresponding to the export data, receiving a partial breakdown list according to the list information request, and importing data by inputting the export data and the partial breakdown list as inputs A first AI (artificial intelligence) module for generating, wherein the import data includes background code and ambience information extracted from the partial breakdown list, wherein the partial breakdown list includes scene information related to the export data 1 AI module; and
A 3D game engine that receives the import data, automatically configures an actor level and a background level according to the import data to generate a scene file, and generates an animation image through the scene file,
The partial breakdown list is received from an artificial intelligence database,
The artificial intelligence database stores a breakdown list including the partial breakdown list, and extracts a part of the breakdown list as the partial breakdown list,
The artificial intelligence database,
a second AI module for receiving various types of scene information and converting the scene information into a breakdown list of a preset format;
a database for storing the breakdown list, extracting the partial breakdown list corresponding to the list information request, and transmitting the partial breakdown list to the first AI module,
The partial breakdown list is a part of the breakdown list related to the export data.
상기 제1 AI 모듈은,
상기 익스포트 데이터에서 리스트 정보 요청을 추출하는 서치 모듈과,
미리 학습이 완료된 상태에서, 상기 익스포트 데이터와 상기 파셜 브레이크다운 리스트를 입력으로 상기 임포트 데이터를 출력하는 딥러닝 모델을 포함하는 애니메이션 제작 시스템.
According to claim 1,
The first AI module,
a search module for extracting a list information request from the export data;
An animation production system comprising a deep learning model that outputs the import data by inputting the export data and the partial breakdown list as inputs in a state in which learning is completed in advance.
상기 씬 정보는 키워드 테이블, 텍스트, 스케치 영상, 슬라이드 및 스피치 중 적어도 하나의 형태를 포함하는 애니메이션 제작 시스템.
According to claim 1,
The scene information includes at least one of a keyword table, text, a sketch image, a slide, and a speech.
상기 카메라 데이터는 카메라의 위치, 방향 및 화각 등에 대한 데이터를 포함하고,
상기 오리지널 어셋 키 데이터 및 상기 임시 어셋 키 데이터는 애니메이션 상의 오브젝트가 모델링 및 애니메이션 단계를 거쳐 퍼블리싱된 데이터이고,
상기 익스포트 데이터는 씬 별로 첨부된 씬 정보 스크립트 데이터를 포함하는 애니메이션 제작 시스템.
According to claim 1,
The camera data includes data about the position, direction, and angle of view of the camera,
The original asset key data and the temporary asset key data are data published by an object on animation through modeling and animation,
The export data is an animation production system including scene information script data attached to each scene.
상기 임포트 데이터는,
상기 카메라 데이터, 상기 오리지널 어셋 키 데이터, 상기 임시 어셋 키 데이터 및 상기 씬 정보 스크립트 데이터에 각각 대응되는 카메라 임포트 데이터, 오리지널 어셋 키 임포트 데이터, 임시 어셋 키 임포트 데이터 및 씬 정보 스크립트 임포트 데이터를 포함하고,
상기 파셜 브레이크다운 리스트에서 추출되고, 상기 오리지널 어셋 키 임포트 데이터 및 상기 임시 어셋 키 임포트 데이터에 대응하는 씬의 배경에 대한 백그라운드 코드와,
상기 파셜 브레이크다운 리스트에서 추출되어 상기 오리지널 어셋 키 임포트 데이터 및 상기 임시 어셋 키 임포트 데이터에 대응하는 씬의 앰비언스에 대한 앰비언스 정보를 포함하는 애니메이션 제작 시스템.
7. The method of claim 6,
The imported data is
camera data, original asset key import data, temporary asset key import data, and scene information script import data corresponding to the camera data, the original asset key data, the temporary asset key data and the scene information script data, respectively;
a background code for a scene background extracted from the partial breakdown list and corresponding to the original asset key import data and the temporary asset key import data;
An animation production system that is extracted from the partial breakdown list and includes ambience information about an ambience of a scene corresponding to the original asset key import data and the temporary asset key import data.
DCC를 통해서 카메라 데이터, 오리지널 어셋 키 데이터, 임시 어셋 키 데이터 및 씬 정보 스크립트 데이터를 포함하는 익스포트 데이터를 생성하고,
상기 익스포트 데이터를 기초로 생성된 리스트 정보 요청에 따라 상기 브레이크다운 리스트에서 추출된 파셜 브레이크다운 리스트와, 상기 익스포트 데이터를 제1 AI 모듈에 입력하여 임포트 데이터를 생성하되, 상기 임포트 데이터는 3D 게임 엔진이 자동으로 씬 파일을 생성하게 하는 데이터이고,
상기 3D 게임 엔진에 상기 임포트 데이터를 제공하여 애니메이션 이미지를 생성하는 것을 포함하되,
상기 브레이크다운 리스트를 생성하는 것은,
상기 씬 정보를 제2 AI 모듈에 입력하여 상기 브레이크다운 리스트를 생성하는 것을 포함하고,
상기 씬 정보는 키워드 테이블, 텍스트, 스케치 영상, 슬라이드 및 스피치 중 적어도 하나의 형태를 포함하고,
상기 파셜 브레이크다운 리스트는 상기 브레이크다운 리스트 중 상기 익스포트 데이터와 관련된 일부인 애니메이션 제작 방법.
Corresponds to the scene information and generates a breakdown list formed in a preset format through AI,
Generate export data including camera data, original asset key data, temporary asset key data and scene information script data through DCC;
In response to a request for list information generated based on the export data, the partial breakdown list extracted from the breakdown list and the export data are input to a first AI module to generate import data, wherein the import data is a 3D game engine This is the data that automatically creates the scene file,
Comprising generating an animation image by providing the import data to the 3D game engine,
To create the breakdown list,
and generating the breakdown list by inputting the scene information to a second AI module,
The scene information includes at least one form of a keyword table, text, sketch image, slide, and speech,
The partial breakdown list is a part of the breakdown list related to the export data.
상기 애니메이션 이미지를 생성하는 것은,
상기 3D 게임 엔진을 이용하여, 어셋과 스켈레톤 메쉬를 연결하여 액터를 생성하고,
상기 3D 게임 엔진을 이용하여, 상기 액터를 지정된 위치로 스폰하여 액터 레벨로 저장하고,
상기 3D 게임 엔진을 이용하여, 시퀀스를 생성하고 세팅하고,
상기 3D 게임 엔진을 이용하여, 카메라를 생성하여 바인딩하고,
상기 3D 게임 엔진을 이용하여, 애니메이션 트랙을 생성하고 상기 임포트 데이터를 등록하고,
상기 3D 게임 엔진을 이용하여, 씬 파일을 구성하고,
상기 3D 게임 엔진을 이용하여, 프리뷰 렌더링을 수행하는 것을 포함하는 애니메이션 제작 방법.
9. The method of claim 8,
To create the animated image,
Using the 3D game engine, an actor is created by connecting an asset and a skeleton mesh,
Using the 3D game engine, spawn the actor to a designated location and store it as an actor level,
using the 3D game engine to create and set a sequence,
Using the 3D game engine, create and bind a camera,
using the 3D game engine to create an animation track and register the import data,
By using the 3D game engine, a scene file is constructed,
and performing preview rendering using the 3D game engine.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210112679A KR102317229B1 (en) | 2021-08-25 | 2021-08-25 | Artificial intelligence-based animation production system using game engine and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210112679A KR102317229B1 (en) | 2021-08-25 | 2021-08-25 | Artificial intelligence-based animation production system using game engine and method therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102317229B1 true KR102317229B1 (en) | 2021-10-26 |
Family
ID=78268520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210112679A KR102317229B1 (en) | 2021-08-25 | 2021-08-25 | Artificial intelligence-based animation production system using game engine and method therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102317229B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309981A (en) * | 2023-04-06 | 2023-06-23 | 北京优酷科技有限公司 | Animation processing method and computing device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040096799A (en) | 2004-06-30 | 2004-11-17 | 주식회사 연세교육미디어 | On/off line integrate education system using interactive publication and embodiment method thereof |
| KR20160020640A (en) * | 2014-08-13 | 2016-02-24 | 동서대학교산학협력단 | Import method for applying data based on text to 3D graphic tool by data sharing mode between 3D graphic tool and game engine, and system for the same |
| KR101603681B1 (en) * | 2014-11-12 | 2016-03-16 | 세종대학교산학협력단 | System and method for generating artificial intelligence of game character based on imitation of game play data |
| KR20180082042A (en) * | 2017-01-09 | 2018-07-18 | 진형우 | Machinima manufacturing method based on 3D Game Engine |
| KR20210083690A (en) * | 2019-12-27 | 2021-07-07 | (주)스튜디오게일 | Animation Content Production System, Method and Computer program |
-
2021
- 2021-08-25 KR KR1020210112679A patent/KR102317229B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040096799A (en) | 2004-06-30 | 2004-11-17 | 주식회사 연세교육미디어 | On/off line integrate education system using interactive publication and embodiment method thereof |
| KR20160020640A (en) * | 2014-08-13 | 2016-02-24 | 동서대학교산학협력단 | Import method for applying data based on text to 3D graphic tool by data sharing mode between 3D graphic tool and game engine, and system for the same |
| KR101603681B1 (en) * | 2014-11-12 | 2016-03-16 | 세종대학교산학협력단 | System and method for generating artificial intelligence of game character based on imitation of game play data |
| KR20180082042A (en) * | 2017-01-09 | 2018-07-18 | 진형우 | Machinima manufacturing method based on 3D Game Engine |
| KR20210083690A (en) * | 2019-12-27 | 2021-07-07 | (주)스튜디오게일 | Animation Content Production System, Method and Computer program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309981A (en) * | 2023-04-06 | 2023-06-23 | 北京优酷科技有限公司 | Animation processing method and computing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102338136B1 (en) | Emoji animation creation method and device, storage medium and electronic device | |
| US20240078838A1 (en) | Face reenactment | |
| CN109964255B (en) | 3D printing using 3D video data | |
| US20150062132A1 (en) | Multi-character authoring interface for large scale animations | |
| Lombardo et al. | An avatar-based interface for the Italian sign language | |
| KR102317229B1 (en) | Artificial intelligence-based animation production system using game engine and method therefor | |
| EP3809364A1 (en) | Computing apparatus and method for constructing a mosaic image | |
| CN112598773A (en) | Method and device for realizing skeleton skin animation | |
| US20230154089A1 (en) | Synthesizing sequences of 3d geometries for movement-based performance | |
| CN111667557A (en) | Animation production method and device, storage medium and terminal | |
| CN111145318A (en) | Rendering method and device based on NGUI | |
| KR102316114B1 (en) | Artificial intelligence-based layout system utilizing animatic image and big data and method therefor | |
| KR102482262B1 (en) | Apparatus and method for augmenting data using object segmentation and background synthesis | |
| CN114140564A (en) | Expression creating method and device | |
| KR102108422B1 (en) | System and Method for Optimizing Facial Expression of Virtual Characters through AI-based Facial Expression Classification and Retargeting, and Computer Readable Storage Medium | |
| CN111640170B (en) | Bone animation generation method, device, computer equipment and storage medium | |
| CN112988306A (en) | Animation processing method and device | |
| KR102316111B1 (en) | Artificial intelligence-based animation layout system utilizing big data and method therefor | |
| US20160225194A1 (en) | Apparatus and method for creating block-type structure using sketch-based user interaction | |
| Isoherranen et al. | Use of pull product development for enhancing lean startups | |
| KR20160020639A (en) | Data export method for sharing data between 3D graphic tool and game engine, and system for the same | |
| CN114723398A (en) | Stage creative arrangement method, stage creative arrangement device and electronic equipment | |
| KR102341863B1 (en) | Artificial intelligence-based digital-idol contents making system using biometric information | |
| KR102316112B1 (en) | Artificial intelligence-based multi object layout system utilizing big data and method therefor | |
| CN116193098B (en) | Three-dimensional video generation method, device, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |