KR102337020B1 - Augmented reality video production system and method using 3d scan data - Google Patents
Augmented reality video production system and method using 3d scan data Download PDFInfo
- Publication number
- KR102337020B1 KR102337020B1 KR1020200009117A KR20200009117A KR102337020B1 KR 102337020 B1 KR102337020 B1 KR 102337020B1 KR 1020200009117 A KR1020200009117 A KR 1020200009117A KR 20200009117 A KR20200009117 A KR 20200009117A KR 102337020 B1 KR102337020 B1 KR 102337020B1
- Authority
- KR
- South Korea
- Prior art keywords
- character
- scan data
- video
- camera
- motion
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Abstract
일 실시예는, 복수의 관절을 가지는 캐릭터(character)를 3D(dimension)스캔하여 생성되는 스캔데이터로서, 상기 복수의 관절에 대한 본(bone)데이터를 포함하고 있는 3D스캔데이터를 로딩하는 단계; 상기 본데이터를 이용하여 가상의 공간에서 상기 캐릭터에게 복수의 동작을 부여하고, 제1레이어에서 상기 캐릭터의 각 동작을 클립(clip)의 단위로 배치하는 단계; 인접한 클립들의 영상이 연속적으로 연결되도록 상기 복수의 동작에 대해 동작 블렌딩(blending)을 적용하는 단계; 제2레이어에 상기 가상의 공간에 대한 배경영상을 배치하는 단계; 상기 가상의 공간을 촬영하는 가상의 카메라를 설정하고, 상기 캐릭터 및 상기 배경영상에 상기 카메라의 시점(view point)을 적용하는 단계; 및 상기 카메라의 시점에 따라 상기 가상의 공간의 시간적인 변화를 동영상으로 생성하는 단계를 포함하는 동영상제작방법을 제공한다.In one embodiment, as scan data generated by 3D (dimension) scanning of a character having a plurality of joints, loading 3D scan data including bone data for the plurality of joints; giving a plurality of motions to the character in a virtual space using the bone data, and arranging each motion of the character in units of clips in a first layer; applying motion blending to the plurality of motions so that images of adjacent clips are continuously connected; disposing a background image for the virtual space on a second layer; setting a virtual camera for photographing the virtual space, and applying a viewpoint of the camera to the character and the background image; and generating a temporal change of the virtual space as a moving picture according to the viewpoint of the camera.
Description
본 실시예는 동영상제작기술에 관한 것이다. This embodiment relates to a video production technology.
최근 동영상 공유 사이트 혹은 소셜 네트워크 서비스(SNS)가 유행하면서 참신하고 독특한 동영상들이 다량으로 만들어지고 있다. 이러한 동영상들은 주로 사용자가 직접 연출하고 촬영하는 것에 기반하여 제작되거나 타인이 제작한 컨텐츠를 편집하는 방식으로 제작되고 있다. 그런데, 이러한 연출/촬영에 기반한 동영상 제작이나 편집에 기반한 동영상 제작 방식은 사용자의 많은 시간적 혹은 재정적 투자를 요구하는 방식으로 일반인이 쉽게 이용하기 어려운 방식이다. 예를 들어, 연출/촬영에 기반하여 동영상을 제작하기 위해서는 카메라에 대한 재정적 투자가 필요하고, 특정 장소(연출 공간)에서 다수의 시행착오를 수반하는 촬영 활동(시간적 투자)이 요구된다. 또한, 편집에 기반한 동영상 제작 방식도 고가의 편집툴이 필요하기 때문에 많은 재정적 투자가 요구되는데, 특히, 이러한 방식은 편집툴을 다루기 위한 고도의 기술을 요구한다는 측면에서 일반인이 이용하기 더욱 어려운 방식이다. 최근 유행하고 있는 동영상 공유 사이트 혹은 소셜 네트워크 서비스에서 전문가가 아닌 일반인들의 더 적극적인 참여를 유도하기 위해서는 종래의 동영상 제작 방식이 가지는 전술한 문제를 해결하는 새로운 기술의 개발이 요구된다.Recently, as a video sharing site or social network service (SNS) is popular, a lot of novel and unique videos are being made. These videos are mainly produced based on directing and shooting by the user or by editing content produced by others. However, this method of producing a video based on directing/shooting or a video production method based on editing is a method that requires a lot of time or financial investment from users and is difficult for the general public to use. For example, in order to produce a video based on directing/shooting, a financial investment in a camera is required, and a filming activity (time investment) that involves a lot of trial and error in a specific place (direction space) is required. In addition, the video production method based on editing also requires a lot of financial investment because expensive editing tools are required. In particular, this method is more difficult for the general public to use in terms of requiring a high level of skill to handle the editing tool. . In order to induce more active participation of non-professionals in the recently popular video sharing site or social network service, it is required to develop a new technology that solves the above-mentioned problem of the conventional video production method.
한편, 종래의 동영상 제작 방식은 사용자(제작자)가 아닌 타인을 중심 캐릭터로 삼아 동영상을 제작하는 방식이다. 예를 들어, 연출/촬영에 기반하여 동영상을 제작하는 경우, 연출/촬영을 담당하는 사용자는 중심 캐릭터를 담당할 타인을 섭외하고 타인의 연기 혹은 활동을 촬영함으로써 동영상을 제작하는데, 이때, 동영상의 중심 캐릭터는 타인이 된다. 타인을 중심 캐릭터로 설정하는 방식은, 사용자(제작자)와 타인과의 호흡이 잘 맞지 않는 경우, 동영상 제작이 어렵다는 문제도 있지만, 자신을 중심 캐릭터로 출연시키고 싶어하는 다수의 사용자에게 동영상 제작의 욕구를 충족시키기에 부족한 측면이 있다. 사용자 자신이 동영상의 중심 캐릭터가 되고, 그 중심 캐릭터가 사용자의 조작에 의해 용이하게 제어되는 경우, 자신을 표출하고 싶은 많은 사용자들의 동영상 제작 참여가 유발될 수 있다.On the other hand, the conventional video production method is a method of producing a video by using other people, not the user (producer) as a central character. For example, in the case of producing a video based on directing/shooting, the user in charge of directing/shooting creates a video by recruiting others who will be in charge of the central character and filming the acting or activities of others. The central character becomes a stranger. In the method of setting others as the central character, there is a problem that it is difficult to produce a video if the user (producer) and others do not match well, but the desire of making a video is given to many users who want to appear as the main character. There are aspects that are insufficient to satisfy. When the user himself becomes the central character of the video and the central character is easily controlled by the user's manipulation, many users who want to express themselves may participate in the production of the video.
사용자 자신은 디지털 영상 장치의 촬영에 의해 디지털 컨텐츠화될 수 있다. 예를 들어, 사용자 자신은 디지털 카메라에 의한 촬영을 통해 스틸 사진 혹은 동영상 속의 캐릭터로 삽입될 수 있다. 그런데, 디지털 카메라에 의해 생성된 캐릭터는 사용자에 대한 평면적인 정보만을 수록하고 있기 때문에, 변형-예를 들어, 회전 등-이 쉽지 않고, 움직임의 조작도 쉽지 않기 때문에 전술한 사용자 자신을 캐릭터로 동영상을 제작하는 방식에 활용하기 어렵다. 이에 반해, 3D(dimension)스캔장치는 사용자에 대하여 입체적인 정보를 포함하는 3D스캔데이터를 생성해 준다는 측면에서, 사용자를 중심 캐릭터로 하는 동영상 제작에 훨씬 유용할 수 있다. 하지만, 3D스캔장치를 활용한 최근 기술들은 3D스캔데이터를 3D프린터와 결합시켜 단순히 3D피규어를 제작하는 등 그 활용의 범위가 제한되어 있고, 전술한 동영상 제작 방식에 대한 사용자의 욕구를 충족시키는 기술에 이르지 못하고 있다.The user himself may be converted into digital contents by photographing the digital image device. For example, the user himself/herself may be inserted as a character in a still picture or moving picture through shooting with a digital camera. However, since the character created by the digital camera contains only planar information about the user, it is not easy to transform (for example, rotate, etc.), and it is not easy to manipulate the movement. It is difficult to use in the method of making On the other hand, a 3D (dimension) scanning device may be much more useful for producing a moving picture with the user as the central character in that it generates 3D scan data including three-dimensional information about the user. However, recent technologies using 3D scanning devices have limited scope of use, such as simply producing 3D figures by combining 3D scan data with a 3D printer. can't reach
이러한 배경에서, 본 실시예의 목적은, 사용자가 3D스캔데이터를 이용하여 용이하게 동영상을 제작할 수 있는 기술을 제공하는 것이다.Against this background, an object of the present embodiment is to provide a technology that allows a user to easily create a moving picture using 3D scan data.
전술한 목적을 달성하기 위하여, 일 실시예는, 복수의 관절을 가지는 캐릭터(character)를 3D(dimension)스캔하여 생성되는 스캔데이터로서, 상기 복수의 관절에 대한 본(bone)데이터를 포함하고 있는 3D스캔데이터를 로딩하는 단계; 상기 본데이터를 이용하여 가상의 공간에서 상기 캐릭터에게 복수의 동작을 부여하고, 제1레이어에서 상기 캐릭터의 각 동작을 클립(clip)의 단위로 배치하는 단계; 인접한 클립들의 영상이 연속적으로 연결되도록 상기 복수의 동작에 대해 동작 블렌딩(blending)을 적용하는 단계; 제2레이어에 상기 가상의 공간에 대한 배경영상을 배치하는 단계; 상기 가상의 공간을 촬영하는 가상의 카메라를 설정하고, 상기 캐릭터 및 상기 배경영상에 상기 카메라의 시점(view point)을 적용하는 단계; 및 상기 카메라의 시점에 따라 상기 가상의 공간의 시간적인 변화를 동영상으로 생성하는 단계를 포함하는 동영상제작방법을 제공한다.In order to achieve the above object, one embodiment is scan data generated by 3D (dimension) scanning a character having a plurality of joints, including bone data for the plurality of joints. loading 3D scan data; giving a plurality of motions to the character in a virtual space using the bone data, and arranging each motion of the character in units of clips in a first layer; applying motion blending to the plurality of motions so that images of adjacent clips are continuously connected; disposing a background image for the virtual space on a second layer; setting a virtual camera for photographing the virtual space, and applying a viewpoint of the camera to the character and the background image; and generating a temporal change of the virtual space as a moving picture according to the viewpoint of the camera.
상기 동영상제작방법은, 상기 제1레이어에 상기 캐릭터의 각 동작을 배치하는 단계에서, 각 클립마다 상기 캐릭터에 대한 하나의 동작이 완료되도록 상기 클립을 설정하되, 상기 클립의 길이에 따라 상기 동작의 속도를 조절하여 슬로우 모션 혹은 패스트 모션을 구현할 수 있다.In the video production method, in the step of arranging each motion of the character on the first layer, the clip is set so that one motion for the character is completed for each clip, and the motion of the motion is set according to the length of the clip. Slow motion or fast motion can be implemented by adjusting the speed.
상기 동영상제작방법은, 제3레이어에 상기 가상의 공간에 대한 효과성 물체들의 움직임을 상기 캐릭터의 주변 영역으로 배치하는 단계를 더 포함할 수 있다.The video production method may further include arranging the movement of the effect objects in the virtual space as a peripheral area of the character on a third layer.
상기 동영상제작방법은, 상기 복수의 동작에 대해 동작 블렌딩을 적용하는 단계에서, 인접한 두 개의 클립에서 상기 캐릭터의 이전 클립의 마무리 자세와 다음 클립의 시작 자세가 일치하도록 각 클립의 동작을 제어할 수 있다.In the video production method, in the step of applying motion blending to the plurality of motions, the motion of each clip may be controlled so that the finishing posture of the previous clip and the starting posture of the next clip of the character in two adjacent clips coincide with each other. have.
상기 동영상제작방법은, 상기 카메라의 시점을 적용하는 단계에서, 상기 카메라가 제1시간에서 제1위치로 설정되고 제2시간에서 제2위치로 설정되는 경우, 상기 제1시간에서 상기 제2시간 동안 상기 카메라의 위치가 상기 제1위치에서 상기 제2위치로 서서히 변경될 수 있다.In the video production method, in the step of applying the viewpoint of the camera, when the camera is set to a first position at a first time and set to a second position at a second time, the first time to the second time During this time, the position of the camera may be gradually changed from the first position to the second position.
상기 동영상제작방법은, 상기 동영상을 생성하는 단계에서, 음향을 더 결합시켜 상기 동영상을 생성할 수 있다.In the video production method, in the step of generating the video, sound may be further combined to generate the video.
상기 동영상제작방법은, 상기 동영상을 생성하는 단계 이후에, 실제 카메라가 촬영중인 실시간 영상에 상기 캐릭터를 합성하는 단계; 상기 실시간 영상에서 상기 캐릭터가 상기 복수의 동작을 연속적으로 취하도록 하는 단계; 상시 실시간 영상에서 상기 캐릭터가 상기 복수의 동작을 연속적으로 취하는 증강 현실 영상에 대한 증강 현실 동영상을 생성하는 단계를 더 포함할 수 있다.The video production method may include, after generating the video, synthesizing the character into a real-time video being photographed by a real camera; causing the character to continuously perform the plurality of motions in the real-time image; The method may further include generating an augmented reality video for an augmented reality image in which the character continuously performs the plurality of motions in a regular real-time image.
상기 동영상제작방법은, 상기 증강 현실 동영상을 생성하는 단계 이전에, 상기 실시간 영상의 배경 중에서 크로마키 색상을 가지는 배경 부분에 특정 이미지를 합성하는 단계를 더 포함할 수 있다.The video production method may further include, before generating the augmented reality video, synthesizing a specific image with a background part having a chroma key color among the backgrounds of the real-time video.
상기 동영상제작방법은, 상기 동영상을 생성하는 단계 이후에, 상기 캐릭터 및 상기 캐릭터와는 별개인 하나 이상의 별도 캐릭터를 실제 카메라가 촬영중인 실시간 영상에 합성하는 단계; 상기 실시간 영상에서 상기 캐릭터 및 상기 하나 이상의 별도 캐릭터가 상기 복수의 동작을 연속적으로 취하도록 하는 단계; 상기 실시간 영상에서 상기 캐릭터 및 상기 하나 이상의 별도 캐릭터가 상기 복수의 동작을 연속적으로 취하는 증강 현실 영상에 대한 증강 현실 동영상을 생성하는 단계를 더 포함할 수 있다.The video production method may include, after the step of generating the video, synthesizing the character and one or more separate characters separate from the character into a real-time video being photographed by a real camera; causing the character and the one or more separate characters to continuously perform the plurality of motions in the real-time image; The method may further include generating an augmented reality video for the augmented reality image in which the character and the one or more separate characters continuously perform the plurality of motions in the real-time image.
다른 실시예는, 복수의 관절을 가지는 캐릭터(character)를 3D(dimension)스캔하여 스캔로우데이터를 생성하는 3D스캐너; 상기 스캔로우데이터를 처리하여 상기 복수의 관절에 대한 본(bone)데이터를 포함하는 3D스캔데이터를 생성하는 제1서버; 및 상기 서버로부터 상기 3D스캔데이터를 다운로드하고, 상기 3D스캔데이터의 상기 본데이터를 이용하여 가상의 공간에서 상기 캐릭터에게 복수의 동작을 부여하고, 상기 가상의 공간을 촬영하는 카메라의 시점에 따라 상기 가상의 공간의 시간적인 변화를 동영상으로 생성하는 단말장치를 포함하는 동영상제작시스템을 제공한다.Another embodiment provides a 3D scanner for generating scan raw data by 3D (dimension) scanning a character having a plurality of joints; a first server for processing the scan raw data to generate 3D scan data including bone data for the plurality of joints; and downloading the 3D scan data from the server, giving a plurality of motions to the character in a virtual space by using the raw data of the 3D scan data, and depending on the viewpoint of a camera capturing the virtual space To provide a video production system including a terminal device for generating a temporal change in a virtual space as a video.
상기 동영상제작시스템에서, 상기 단말장치의 화면으로 다수의 레이어가 시간축 방향으로 늘어서도록 표시되고, 상기 캐릭터의 각 동작은 제1레이어에서 클립(clip)의 단위로 배치되고, 제2레이어에 상기 가상의 공간에 대한 배경영상이 배치되며, 제3레이어에 상기 가상의 공간에 대한 효과성 물체들의 움직임이 배치될 수 있다.In the video production system, a plurality of layers are displayed so as to be arranged in a time axis direction on the screen of the terminal device, and each motion of the character is arranged in units of clips in the first layer, and the virtual A background image for the space of , may be disposed on the third layer, and movement of effective objects in the virtual space may be disposed on the third layer.
상기 동영상제작시스템에서, 상기 제3레이어에서 상기 효과성 물체들의 움직임은 바(bar)의 형태로 재생시점 및 재생구간이 설정되도록 표시되고, 상기 단말장치는 상기 바의 양단에 표시되는 조절표시기에 대한 사용자조작을 인식하여 상기 효과성 물체들의 움직임에 대한 재생구간을 설정할 수 있다.In the video production system, the movement of the effect objects in the third layer is displayed in the form of a bar so that a playback time and a playback section are set, and the terminal device is displayed on an adjustment indicator displayed at both ends of the bar. By recognizing the user's operation for the effect, it is possible to set a playback section for the movement of the effective objects.
상기 동영상제작시스템에서, 상기 가상의 공간은 바닥면과 상기 바닥면 상의 구조물로 표시되고, 상기 단말장치는 사용자설정에 따라 상기 바닥면 혹은 상기 구조물에 대한 이미지를 변경할 수 있다.In the video production system, the virtual space is displayed as a floor surface and a structure on the floor surface, and the terminal device may change an image of the floor surface or the structure according to a user setting.
다른 실시예는, 복수의 관절을 가지는 캐릭터(character)를 3D(dimension)스캔하여 스캔로우데이터를 생성하는 단말장치; 및 상기 스캔로우데이터를 처리하여 상기 복수의 관절에 대한 본(bone)데이터를 포함하는 3D스캔데이터를 생성하는 제1서버를 포함하되, 상기 단말장치는 상기 제1서버로부터 상기 3D스캔데이터를 다운로드하고, 상기 3D스캔데이터의 상기 본데이터를 이용하여 가상의 공간에서 상기 캐릭터에게 복수의 동작을 부여하고, 상기 가상의 공간을 촬영하는 카메라의 시점에 따라 상기 가상의 공간의 시간적인 변화를 동영상으로 생성하는 동영상제작시스템을 제공한다.Another embodiment provides a terminal device for generating scan raw data by 3D (dimension) scanning a character having a plurality of joints; and a first server that processes the scan raw data to generate 3D scan data including bone data for the plurality of joints, wherein the terminal device downloads the 3D scan data from the first server A plurality of motions are given to the character in a virtual space using the original data of the 3D scan data, and temporal changes in the virtual space are recorded as a video according to the viewpoint of a camera photographing the virtual space. Provides a video production system to create.
이상에서 설명한 바와 같이 본 실시예에 의하면, 사용자가 3D스캔데이터를 이용하여 용이하게 동영상을 제작할 수 있게 된다. 사용자는 자신을 중심 캐릭터로 삼은 동영상을 제작하여 온라인 등의 커뮤니티를 통해 타인과 공유할 수 있다. 이를 통해, 온라인 커뮤니티에서의 동영상 공유가 더욱 활성화될 수 있고, 자신을 표출하려는 사용자의 욕구가 쉽게 충족될 수 있다. 또한, 3D스캔데이터에 대한 활용도가 높아짐으로써 3D스캔장치들에 대한 수요가 증가하고 관련 산업의 발전에 기여할 수 있다.As described above, according to this embodiment, a user can easily create a moving picture using 3D scan data. Users can create a video with themselves as the central character and share it with others through online communities. Through this, video sharing in an online community may be further activated, and a user's desire to express himself may be easily satisfied. In addition, as the utilization of 3D scan data increases, the demand for 3D scan devices may increase and contribute to the development of related industries.
도 1은 일 실시예에 따른 동영상제작시스템의 구성도이다.
도 2는 일 실시예에 따른 단말장치의 구성도이다.
도 3은 일 실시예에 따른 3D 캐릭터의 구성 예시 도면이다.
도 4는 일 실시예에 따른 동영상제작방법의 흐름도이다.
도 5는 일 실시예에 따른 단말장치에서 3D스캔데이터를 수신하는 것을 나타내는 도면이다.
도 6은 일 실시예에 따른 단말장치에서 각 레이어에 대한 제어화면을 나타내는 도면이다.
도 7은 도 6의 제어창을 좀 더 구체적으로 나타내는 도면이다.
도 8은 일 실시예에 따른 단말장치에서 캐릭터효과에 대한 제어화면을 나타내는 도면이다.
도 9는 일 실시예에 따른 단말장치에서 녹음에 대한 제어화면을 나타내는 도면이다.
도 10은 일 실시예에 따른 단말장치에서 실시간 영상에 다수의 3D 캐릭터를 합성한 화면을 나타내는 도면이다.
도 11은 다른 실시예에 따른 동영상제작시스템의 구성도이다.
도 12는 다른 실시예에 따른 단말장치의 구성도이다.
도 13은 다른 실시예에 따른 단말장치에서 생성한 스캔데이터의 예시 도면이다.
도 14는 다른 실시예에 따른 단말장치에서 스캔데이터를 편집하는 구성의 예시 도면이다.
도 15 및 도 16은 다른 실시예에 따른 단말장치에서 2D 이미지를 이용하여 3D 캐릭터를 생성하는 구성의 예시 도면이다.1 is a block diagram of a video production system according to an embodiment.
2 is a block diagram of a terminal device according to an embodiment.
3 is a diagram illustrating a configuration of a 3D character according to an embodiment.
4 is a flowchart of a video production method according to an embodiment.
5 is a diagram illustrating reception of 3D scan data in a terminal device according to an embodiment.
6 is a diagram illustrating a control screen for each layer in a terminal device according to an embodiment.
7 is a diagram illustrating the control window of FIG. 6 in more detail.
8 is a diagram illustrating a control screen for a character effect in a terminal device according to an embodiment.
9 is a diagram illustrating a control screen for recording in a terminal device according to an exemplary embodiment.
10 is a diagram illustrating a screen in which a plurality of 3D characters are synthesized in a real-time image in a terminal device according to an exemplary embodiment.
11 is a block diagram of a video production system according to another embodiment.
12 is a block diagram of a terminal device according to another embodiment.
13 is an exemplary diagram of scan data generated by a terminal device according to another embodiment.
14 is an exemplary diagram of a configuration for editing scan data in a terminal device according to another embodiment.
15 and 16 are diagrams illustrating a configuration of generating a 3D character using a 2D image in a terminal device according to another embodiment.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is formed between each component. It should be understood that elements may also be “connected,” “coupled,” or “connected.”
도 1은 일 실시예에 따른 동영상제작시스템의 구성도이다.1 is a block diagram of a video production system according to an embodiment.
도 1을 참조하면, 동영상제작시스템(100)은 단말장치(110), 적어도 하나의 서버(120, 140), 3D스캐너(130) 등을 포함할 수 있다.Referring to FIG. 1 , a
단말장치(110)는 사용자 인터페이스를 제공하는 장치로서, 동영상 제작을 위한 사용자 조작을 입력받고, 동영상 제작에 필요한 정보 및 동영상 제작의 결과물을 사용자에게 표시할 수 있다.The
단말장치(110)는 사용자 인터페이스로서 터치패널을 포함하는 디스플레이패널을 포함할 수 있다. 단말장치(110)는 터치패널에 대한 신호를 수신하여 사용자 조작을 인식할 수 있고, 동영상 제작에 필요한 정보 및 동영상 제작의 결과물을 디스플레이패널을 통해 표시할 수 있다.The
단말장치(110)는 동영상 제작 이외에 다른 기능을 더 수행할 수 있다. 예를 들어, 단말장치(110)는 무선통신을 수행할 수 있다. 단말장치(110)는 모바일로 호칭되는 전화기의 일종으로서, 터치패널, 디스플레이패널 및 데이터프로세서 등을 포함할 수 있다. 단말장치(110)는 무선통신에 사용되는 이러한 터치패널, 디스플레이패널 및 데이터프로세서를 이용하여 동영상제작시스템(100)에 필요한 기능을 수행할 수 있다.The
3D스캐너(130)는 캐릭터(10)를 3D스캔하고 스캔데이터를 생성할 수 있다. 여기서, 캐릭터(10)는 복수의 관절을 포함하는 개체로서, 사람, 동물 등일 수 있다.The
3D스캐너(130)는 3D뎁스카메라, 거리측정장치 등을 포함하고 있으면서 이를 이용하여 캐릭터(10)의 외형에 대한 입체적인 형상을 디지털데이터 형식의 스캔데이터로서 생성할 수 있다.The
3D스캐너(130)와 단말장치(110)는 물리적으로 서로 다른 공간에 배치될 수 있다. 예를 들어, 단말장치(110)는 소형장치로서 사용자가 거주하는 공간에 배치될 수 있고, 3D스캐너(130)는 대형장치로서 특정 공간-예를 들어, 3D스캔전문매장-에 배치될 수 있다.The
서로 이격되어 배치되는 3D스캐너(130)와 단말장치(110)는 서버(120)를 통해 서로 연동될 수 있다. 예를 들어, 3D스캐너(130)는 생성된 스캔데이터를 네트워크를 경유하여 제1서버(120)로 송신할 수 있다. 그리고, 단말장치(110)는 제1서버(120)를 통해 스캔데이터를 다운로드하거나 스캔데이터가 재처리된 3D스캔데이터를 다운로드할 수 있다. 이때, 스캔데이터 및/혹은 3D스캔데이터에는 식별번호가 부여될 수 있는데, 3D스캐너(130)는 식별번호가 부여된 스캔데이터를 제1서버(120)로 송신하고, 단말장치(110)는 해당 식별번호에 대응되는 스캔데이터 혹은 3D스캔데이터를 제1서버(120)로부터 다운로드할 수 있다. 식별번호는 스캔코드로 명명될 수 있는데, 이러한 스캔코드에 대한 상세한 예시는 후술한다.The
3D스캐너(130)와 단말장치(110)는 네트워크를 통해 직접 연동될 수 있다. 3D스캐너(130)는 스캔데이터 혹은 스캔데이터를 재처리한 3D스캔데이터를 단말장치(110)로 직접 송신할 수 있다. 그리고, 단말장치(110)는 이러한 스캔데이터 혹은 3D스캔데이터를 이용하여 동영상을 제작할 수 있다.The
3D스캐너(130)와 단말장치(110)는 동일한 하드웨어로 구현되는 장치일 수 있다. 예를 들어, 단말장치(110)는 3D뎁스카메라를 포함할 수 있는데, 단말장치(110)는 이러한 3D뎁스카메라를 이용하여 3D스캐너(130)와 동일한 기능을 수행할 수 있다. 이러한 실시예에서 단말장치(110)는 직접 캐릭터(10)를 3D스캔하여 스캔데이터를 생성할 수 있다.The
제1서버(120)는 스캔데이터를 3D스캔데이터로 변환할 수 있다. 3D스캔데이터는 캐릭터(10)에 포함되는 복수의 관절에 대한 본(bone)데이터를 포함할 수 있다. 제1서버(120)는 스캔데이터를 통해 확인되는 캐릭터(10)의 특징부-예를 들어, 변곡점, 종단점, 교차점 등-를 분석하여 관절의 위치를 파악하고, 관절에 대한 정보, 관절과 관절 사이의 스켈레톤(뼈대)에 대한 정보, 스켈레톤을 덮고 있는 살에 대한 정보 등을 포함하는 본데이터를 생성할 수 있다. 그리고, 캐릭터(10)의 실사 이미지를 포함하는 스캔데이터에 본데이터를 결합시켜 3D스캔데이터를 생성할 수 있다.The
제1서버(120)는 내부에 프로그램화된 분석알고리즘을 이용하여 본데이터를 생성할 수도 있고, 스캔데이터에 대해 접근권한을 가지고 있는 관리자의 제어에 의해 생성되는 본데이터를 전달받을 수도 있다.The
일 실시예에서는 본데이터가 제1서버(120)에서 생성되는 것으로 설명하였으나, 실시예에 따라서는 본데이터가 3D스캐너(130)에서 생성되거나 단말장치(110)에서 생성될 수 있다.In one embodiment, it has been described that the present data is generated by the
단말장치(110)는 3D스캔데이터를 이용하여 제작한 동영상을 제2서버(140)에 업로드할 수 있다. 제2서버(140)는 동영상을 공유하거나 소셜네트워크서비스를 지원하는 서버일 수 있다. 단말장치(110)를 이용하는 사용자는 제2서버(140)를 통해 직접 제작한 동영상을 다른 사람들과 공유할 수 있다.The
도 2는 일 실시예에 따른 단말장치의 구성도이다.2 is a block diagram of a terminal device according to an embodiment.
도 2를 참조하면, 단말장치(110)는 저장부(210), 동작제어부(220), 배경설정부(230), 카메라제어부(240), 음향제어부(250), 동영상제작 및 재생부(260), 인터페이스부(270), 단말기통신부(280), 중앙제어부(290) 등을 포함할 수 있다.Referring to FIG. 2 , the
저장부(210)는 동영상 제작에 필요한 각종 데이터를 저장할 수 있다. 예를 들어, 저장부(210)는 3D스캔데이터를 저장할 수 있다. 3D스캔데이터에는 캐릭터의 외형에 대한 입체적인 실사 이미지와 함께, 캐릭터의 3D모델링데이터에 대응되는 본데이터가 포함될 수 있다. 저장부(210)는 각종 설정데이터를 저장할 수 있다. 단말장치(110)는 사용자 조작을 인식하여 각종 설정에서 하나의 설정을 선택할 수 있는데, 여기서, 설정에 대응되는 설정데이터는 저장부(210)에 미리 저장되어 있을 수 있다. 이하에서, 미리 저장되거나 미리 설정된 것으로 기술되는 구성들은 저장부(210)에 미리 저장되어 있는 것으로 이해할 수 있다.The
동작제어부(220)는 3D스캔데이터의 본데이터를 이용하여 가상의 공간에서 3D 캐릭터에게 복수의 동작을 부여할 수 있다. 여기서, 3D 캐릭터는 실제 공간의 캐릭터가 아닌 가상의 공간에서의 캐릭터를 의미한다. 이하에서 조작되고 제어되는 것으로 설명되는 3D 캐릭터는 가상의 공간에서의 캐릭터로 이해하면 된다.The
동작제어부(220)는 본데이터를 이용하여 가상의 공간에서 3D 캐릭터에게 복수의 동작을 부여할 수 있다. 가상의 공간에서 3D 캐릭터가 동작한다는 것은 가상의 공간에 부여되는 공간 좌표 상에서 3D 캐릭터에 대응되는 좌표가 시간적으로 변화한다는 것을 의미할 수 있다. 디지털적인 측면에서 시간에 대응되는 3D 캐릭터의 좌표들의 조합이 캐릭터의 동작으로 이해될 수 있다. 여기서, 좌표는 공간상의 위치를 특정하기 위한 하나의 방법으로 이해될 수 있으며, 공간상의 위치를 특정할 수 있는 다른 방법으로 3D 캐릭터의 동작이 구현될 수 있다.The
한편, 3D 캐릭터는 복수의 관절을 포함하는데, 3D 캐릭터의 동작은 이러한 복수의 관절이 가상의 공간에서 시간의 흐름에 따라 이동하는 것으로 구현될 수 있다. 여기서의 이동은 공간상의 움직임으로 회전을 포함하는 개념으로 이해될 수 있다. 동작제어부(220)는 본데이터를 통해 획득되는 복수의 관절에 대한 정보, 그 관절들 사이의 스켈레톤에 대한 정보, 그 스켈레톤을 덮고 있는 살에 대한 정보를 동역학적 개념이 접목된 알고리즘에 적용하여 3D 캐릭터의 동작을 구현할 수 있다.Meanwhile, the 3D character includes a plurality of joints, and the motion of the 3D character may be implemented by moving the plurality of joints in a virtual space with the passage of time. Here, movement may be understood as a concept including rotation as movement in space. The
동작제어부(220)는 3D 캐릭터의 동작을 나타내는 가상의 공간상의 디지털데이터-예를 들어, 시간의 흐름에 따른 좌표데이터-를 저장부(210)에 저장하고, 후술하는 동영상제작 및 재생부(260)가 이러한 디지털데이터를 이용하여 동영상을 생성할 수 있다.The
동작제어부(220)는 가상의 공간에서 3D 캐릭터에 복수의 동작을 부여할 수 있는데, 이때, 각각의 동작은 클립(clip)의 단위로 형성될 수 있다. 클립(clip)은 동영상의 작은 단위로서, 각각의 동작에 대응되는 클립은 동일한 시간을 가질 수도 있고, 서로 다른 시간을 가질 수도 있다. 3D 캐릭터의 동작은 속도제어가 가능한데, 이때, 사용자는 각각의 동작에 대응되는 클립의 시간길이를 조절하여 3D 캐릭터의 동작에 대한 속도를 제어할 수 있다. 예를 들어, 클립의 시간길이가 길어지면 하나의 동작이 완성되는데 소요되는 시간이 길어지는 것을 의미하고 이에 따라 3D 캐릭터의 동작이 슬로우 모션화할 수 있다. 반대로, 클립의 시간길이가 짧아지면 하나의 동작이 완성되는데 소요되는 시간이 짧아지는 것을 의미하고 이에 따라 3D 캐릭터의 동작이 패스트 모션화할 수 있다.The
동작제어부(220)는 가상의 공간에서의 3D 캐릭터의 동작을 제1레이어에 배치할 수 있다. 이하에서 레이어의 개념을 이용하여 동영상 제작 과정을 설명하는데, 여기서, 레이어는 가상의 레이어로서 서로 다른 레이어에 배치되는 구성 요소들은 서로 충돌되지 않고 동일한 시간에서 서로 중첩될 수 있는 것으로 이해할 수 있다.The
동작제어부(220)는 인접한 클립들의 영상이 연속적으로 연결되도록 복수의 동작에 대해 동작 블렌딩(blending)을 적용할 수 있다. 블렌딩은 서로 다른 특성의 구성이 시간의 경계에서 연속적으로 연결되도록 하는 기술로서, 일 실시예에서는 3D 캐릭터의 동작과 카메라의 설정에 블렌딩 기술이 적용될 수 있다. 3D 캐릭터의 동작에 적용되는 블렌딩을 동작 블렌딩이라 호칭하고, 카메라의 설정에 적용되는 블렌딩을 카메라 블렌딩이라 호칭할 수 있다.The
동작 블렌딩은 3D 캐릭터의 자세에 의해 구현될 수 있다. 예를 들어, 동작제어부(220)는 인접한 두 개의 클립에서 3D 캐릭터의 이전 클립의 마무리 자세와 다음 클립의 시작 자세가 일치하도록 각 클립의 동작을 제어할 수 있다. 이러한 제어에 따라 인접한 두 개의 클립에서 3D 캐릭터의 동작이 자연스럽게 연결될 수 있다.Motion blending may be implemented by the posture of the 3D character. For example, the
배경설정부(230)는 제2레이어에 가상의 공간에 대한 배경영상을 배치할 수 있다. 가상의 공간은 바닥면과 바닥면 상의 구조물로 표시될 수 있다. 바닥면은 3D 캐릭터가 공중에 부양되지 않은 상태에서 3D 캐릭터의 최하단이 접하는 부분으로, 3D 캐릭터는 공중에 부양되지 않은 상태에서 바닥면을 따라 이동할 수 있다.The
배경설정부(230)는 사용자설정에 따라 바닥면 혹은 구조물에 대한 이미지를 변경할 수 있다. 이와 같이 가상의 공간을 바닥면과 그 상부의 공간으로 구분하지 않는 경우, 사용자설정에 따른 이미지의 바닥면이 가상의 공간의 바닥면과 불일치할 수 있고, 이 경우, 3D 캐릭터가 바닥면이 아닌 위치에 기립하는 부자연스러운 상황이 연출될 수 있다.The
저장부(210)에는 사용자가 저장한 다수의 이미지가 저장되어 있을 수 있다. 배경설정부(230)는 사용자설정에 따라 이러한 다수의 이미지 중 하나의 이미지로 바닥면 혹은 그 상부의 공간을 설정할 수 있다.A plurality of images stored by the user may be stored in the
배경설정부(230)는 가상의 공간에 배경효과를 배치할 수 있다. 배경효과는 제3레이어에 배치될 수 있다. 배경효과는 가상의 공간에 대한 효과성 물체들의 움직임을 3D 캐릭터의 주변 영역으로 배치함으로써 생성될 수 있다. 예를 들어, 강설 혹은 강우에 대응되는 효과성 물체들-예를 들어, 눈 혹은 비-의 움직임을 3D 캐릭터의 주변 영역에 배치함으로써 배경효과가 구현될 수 있다.The
배경설정부(230)는 짧은 시구간에 정의된 디지털데이터를 반복 재생함으로써 배경효과에 대한 재생시간을 조절할 수 있다. 후술하는 사용자 인터페이스에서 제3레이어에서 효과성 물체들의 움직임은 바(bar)의 형태로 재생시점 및 재생구간이 설정되도록 표시될 수 있는데, 배경설정부(230)는 바의 양단에 표시되는 조절표시기에 대한 사용자조작을 인식하여 효과성 물체들의 움직임에 대한 재생구간을 설정할 수 있다.The
3D 캐릭터의 각 동작은 제1레이어에서 클립의 단위로 배치되고, 제2레이어에는 가상의 공간에 대한 배경영상이 배치되며, 제3레이어에는 가상의 공간에 대한 효과성 물체들의 움직임이 배치될 수 있다. 여기서, 각각의 레이어는 단말장치의 화면으로 시간축 방향으로 늘어서도록 표시될 수 있다. 그리고, 사용자는 시간축 방향으로 각 레이어의 배치요소-캐릭터의 동작, 배경영상, 효과성 물체들의 움직임-의 구현길이를 제어하여 각 배치요소의 재생시간을 조절할 수 있다.Each motion of the 3D character is arranged in units of clips on the first layer, a background image for virtual space is arranged on the second layer, and the movement of effect objects in the virtual space can be arranged on the third layer. have. Here, each layer may be displayed so as to be arranged in a time axis direction on the screen of the terminal device. In addition, the user can adjust the playback time of each arrangement element by controlling the implementation length of the arrangement elements of each layer - the movement of the character, the background image, and the effect objects - in the time axis direction.
카메라제어부(240)는 가상의 공간을 촬영하는 가상의 카메라를 설정하고, 3D 캐릭터 및 배경영상에 카메라의 시점(view point)을 적용시켜 영상을 생성할 수 있다. 여기서, 카메라는 가상의 카메라로서, 표시의 측면에서 보면 가상의 공간을 바라보는 시점의 기능을 수행하고, 데이터처리의 측면에서 보면, 3차원(3D)의 공간데이터를 2차원의 이미지데이터로 변환하는 기준을 제공할 수 있다. 예를 들어, 카메라제어부(240)가 바닥면을 기준으로 제1측에 카메라를 설정하고, 제1측의 시점으로 가상의 공간을 2차원 이미지데이터로 변환할 수 있다. 다른 예로서, 카메라제어부(240)는 제1측에서 시계방향으로 90도 회전한 제2측에 카메라를 설정하고, 제2측의 시점으로 가상의 공간을 2차원 이미지데이터로 변환할 수 있다. 동영상은 2차원의 이미지데이터들이 시간축으로 배열됨으로써 생성될 수 있는데, 이때, 2차원의 이미지데이터들은 카메라의 설정에 의해 그 시점(view point)가 결정될 수 있다.The
동영상제작 및 재생부(260)는 카메라의 시점에 따라 가상의 공간의 시간적인 변화를 동영상으로 생성할 수 있다. 예를 들어, 카메라제어부(240)에 따라 카메라의 시점이 가상의 공간에 적용되고, 그러한 시점으로 가상의 공간에 대한 2차원 이미지데이터들-가상의 공간이 카메라에 의해 촬영된 것과 같은 2차원 이미지데이터들-이 생성될 수 있는데, 동영상제작 및 재생부(260)는 이러한 시간적인 흐름에 맞추어 2차원 이미지데이터들을 연속적으로 배치하고 통합함으로써 동영상을 제작할 수 있다.The video production and
카메라제어부(240)는 카메라의 설정에 있어서, 카메라 블렌딩 기술을 적용할 수 있다. 카메라제어부(240)는 제1시간에서 제1위치로 카메라를 설정하고, 제2시간에서 제2위치로 카메라를 설정할 수 있다. 이때, 카메라제어부(240)는 카메라의 시점이 연속적으로 변화되도록 제1시간에서 제2시간 동안 카메라의 위치가 제1위치에서 제2위치로 서서히 변경되도록 카메라를 설정할 수 있다.The
음향제어부(250)는 음향데이터를 제어할 수 있다. 음향데이터는 사용자설정에 의한 음향파일에서 추출될 수 있고, 녹음에 의해 생성될 수도 있다. 사용자가 3D 캐릭터의 동작에 맞추어 더빙을 추가하고자 하는 경우, 음향제어부(250)는 사용자의 음성을 음향데이터로 변환할 수 있다.The
동영상제작 및 재생부(260)는 전술한 카메라의 시점에 따른 영상데이터에 음향데이터를 결합시켜 동영상을 생성할 수 있다.The video production and
그리고 동영상 제작 및 재생부(260)는 기 생성한 동영상을 단말장치(110)의 디스플레이부(미도시)를 통해 재생할 수 있다.In addition, the video production and
또한, 동영상제작 및 재생부(260)는 단말장치(110)에 구비된 실제 카메라(미도시)가 촬영중인 실시간 영상에 3D 캐릭터를 합성할 수 있다. 그리고 동영상제작 및 재생부(260)는 기 생성한 동영상의 캐릭터 동작을 실시간 영상에 합성한 3D 캐릭터에 적용시킬 수 있다. Also, the video production and
다시 말해서, 동영상제작 및 재생부(260)는 실제 카메라(미도시)가 촬영 중인 실시간 영상에서 실제 바닥면을 인식하고, 실제 바닥면에 3D 캐릭터를 배치하는 증강 현실 기법을 통해 실시간 영상에 3D 캐릭터의 동작 영상이 합성된 증강 현실 동영상을 생성할 수 있다.In other words, the video production and
여기서, 저장부(210)에 다수의 3D 캐릭터에 해당하는 다수의 3D스캔데이터가 저장된 경우, 동영상제작 및 재생부(260)는 사용자의 설정에 따라 다수의 3D 캐릭터를 실시간 영상의 실제 바닥면에 배치할 수 있다. Here, when a plurality of 3D scan data corresponding to a plurality of 3D characters are stored in the
예를 들어, 저장부(210)에 제 1 캐릭터, 제 2 캐릭터 및 제 3 캐릭터에 해당하는 3D스캔데이터가 저장된 경우, 동영상제작 및 재생부(260)는 도 10과 같이 사용자의 설정에 따라 제 1 캐릭터(1010), 제 2 캐릭터(1020) 및 제 3 캐릭터(1030)를 실시간 영상의 실제 바닥면(1040)에 배치할 수 있다. 여기서, 실제 바닥면(1040)은 지면, 도로면, 책상, 테이블 등의 상판 면 등일 수 있다.For example, when 3D scan data corresponding to the first character, the second character, and the third character are stored in the
그리고, 동영상제작 및 재생부(260)는 사용자의 설정에 따라 다수의 3D 캐릭터에 각각 상이한 동작을 적용시키거나, 다수의 3D 캐릭터에 동일한 동작(예를 들어, 군무 동작)을 적용시킬 수 있다.In addition, the video production and
일 실시예에서, 저장부(210)는 실시간 영상에 배치될 수 있는 다수의 증강 현실용 오브젝트를 저장할 수 있다. 여기서, 증강 현실용 오브젝트는 실제 바닥면에 배치될 수 있는 구조물(예를 들어, 공연 무대, 육상 트랙, 잔디 구장), 구조물에 적용할 수 있는 장치(예를 들어, 무대 조명, 경기장 조명, 전광판) 등 일 수 있다.In an embodiment, the
위와 같이 저장부(210)에서 다수의 증강 현실용 오브젝트를 저장한 경우, 동영상제작 및 재생부(260)는 사용자의 설정에 따라 실시간 영상에 하나 이상의 증강 현실용 오브젝트와 3D 캐릭터를 적절하게 배치할 수 있다.When a plurality of augmented reality objects are stored in the
예를 들어, 증강 현실용 오브젝트가 공연 무대인 경우, 동영상제작 및 재생부(260)는 실시간 영상의 실제 바닥면에 공연 무대를 배치하고, 공연 무대의 상단면에 3D 캐릭터를 배치할 수 있다.For example, when the object for augmented reality is a performance stage, the video production and
한편, 동영상제작 및 재생부(260)는 저장부(210)에 저장된 다수의 이미지 중 사용자가 선택한 이미지를 크로마키 기법을 통해 실시간 영상에 합성할 수도 있다.Meanwhile, the video production and
구체적으로, 동영상제작 및 재생부(260)는 실시간 영상의 배경 중에서 크로마키 색상을 가지는 배경 부분에 사용자가 선택한 이미지를 합성할 수 있다.Specifically, the video production and
인터페이스부(270)는 사용자 조작을 인식하고, 사용자에게 정보를 제공하는 부분이다. 인터페이스부(270)는 터치패널을 포함하고 있으면서, 터치패널을 통해 사용자 조작을 인식할 수 있다. 전술한 사용자설정이나 후술하는 사용자설정은 이러한 사용자 조작에 따라 결정되는 것을 이해될 수 있다. 인터페이스부(270)는 디스플레이패널을 포함하고 있으면서, 디스플레이패널을 화면으로 사용하면서 화면으로 동영상 제작 과정에서 창출되는 정보나 동영상 제작의 결과물을 표시할 수 있다.The
단말기통신부(280)는 외부 장치와 데이터를 송수신할 수 있는 부분으로, 제1서버로부터 3D스캔데이터를 수신할 수 있고, 제1서버로 식별정보를 송신할 수 있다. 그리고, 단말기통신부(280)는 온라인 커뮤니티에 업로드되어 있는 타인의 동영상을 다운로드 받아 화면에 표시할 수 있고, 동영상제작 및 재생부(260)에서 제작된 동영상을 온라인 커뮤니티에 업로드할 수 있다.The
중앙제어부(290)는 단말장치(110)의 제반 제어를 처리하는 구성으로서 다른 각 구성의 유기적인 연결을 제어하고, 각 구성에서 구현되지 않는 기능들을 구현할 수 있다.The
도 3은 일 실시예에 따른 가상의 3D 캐릭터의 구성 예시 도면이다.3 is a diagram illustrating a configuration of a virtual 3D character according to an embodiment.
도 3을 참조하면, 가상의 공간에서 3D 캐릭터(20)는 다수의 본(BN)으로 구성될 수 있다. 그리고, 각각의 본(BN)은 적어도 하나의 관절(JT), 스켈레톤(SK), 살(WT) 등을 포함할 수 있다. 각각의 본(BN)은 신체의 일부에 매칭될 수 있는데, 예를 들어, 팔, 다리, 손, 발, 몸체, 머리 등에 매칭될 수 있고, 이러한 매칭정보는 본데이터에 포함될 수 있다. 관절(JT)은 매칭정보에 따라 그 특성이 제한될 수 있는데, 예를 들어, 관절(JT)은 신체에 대응되는 부위에 따라 회전범위 등이 제한될 수 있다. 종단에 위치하는 스켈레톤(SK)은 하나의 관절(JT)과 연결될 수 있고, 두 개의 스켈레톤(SK) 사이에 위치하는 스켈레톤(SK)은 양단으로 두 개의 관절(JT)과 연결될 수 있다. 살(WT)은 무게값을 가질 수 있는데, 이러한 무게값에 따라 본(BN)의 움직임 속도, 가속도 등이 결정될 수 있다.Referring to FIG. 3 , the
일부의 설명은 실제 공간에서의 개념으로 설명되고 있으나 이러한 개념은 가상의 공간에서도 동일하게 적용될 수 있는 것으로 동영상제작시스템에서는 가상의 공간에서의 디지털 값으로 처리되는 것으로 이해될 수 있다. 이러한 본데이터에 대한 가상의 공간에서의 동역학적 처리는 미리 개발된 다수의 스켈레톤 알고리즘을 통해 구현될 수 있고, 시판되거나 무료로 배포되고 있는 API(application programming interface) 등에 의해 구현될 수도 있다.Some explanations are described as concepts in real space, but these concepts can be equally applied in virtual space, and it can be understood that in the video production system, digital values are processed in virtual space. The dynamic processing of this data in a virtual space may be implemented through a number of pre-developed skeleton algorithms, or may be implemented by an application programming interface (API) that is commercially available or distributed free of charge.
도 4는 일 실시예에 따른 동영상제작방법의 흐름도이다.4 is a flowchart of a video production method according to an embodiment.
도 4를 참조하면, 장치는 3D스캔데이터를 로딩할 수 있다(S400)-도 4를 참조하여 설명하는 장치는 전술한 단말장치이거나 다른 장치일 수 있음-. 3D스캔데이터는 복수의 관절을 가지는 캐릭터를 3D스캔하여 생성되는 스캔데이터로서, 복수의 관절에 대한 본데이터를 포함할 수 있다.Referring to FIG. 4 , the device may load 3D scan data ( S400 )—the device described with reference to FIG. 4 may be the aforementioned terminal device or another device. The 3D scan data is scan data generated by 3D scanning a character having a plurality of joints, and may include bone data for a plurality of joints.
장치는 본데이터를 이용하여 가상의 공간에서 3D 캐릭터에게 복수의 동작을 부여하고, 제1레이어에서 3D 캐릭터의 각 동작을 클립의 단위로 배치할 수 있다(S402). 여기서, 3D 캐릭터은 3D스캔데이터를 이미지화한 가상의 캐릭터이고, 3D 캐릭터의 동작은 예를 들어, 전측보행, 후측보행, 좌측보행, 우측보행, 구보, 돌기, 팔돌리기 등 신체를 가동시켜 3D 캐릭터에 움직임을 형성하는 것으로 가상의 공간에 위치하는 3D 캐릭터의 관절에 대한 제어를 통해 수행될 수 있다.The device may give a plurality of motions to the 3D character in a virtual space by using the present data, and may arrange each motion of the 3D character in a clip unit in the first layer (S402). Here, the 3D character is a virtual character imaged from 3D scan data, and the 3D character's motion is, for example, anteriorly, posteriorly, leftward, rightwardly, canter, protrude, and rotate. Forming a movement may be performed through control of the joints of a 3D character located in a virtual space.
그리고 3D 캐릭터에게 부여될 수 있는 동작은 감정표현동작을 포함할 수 있다. 감정표현동작은 얼굴의 세부 구성들에 대한 미세한 위치 제어를 통해 구현될 수도 있고, 팔, 몸체, 다리, 손가락 등의 신체 구성에 대한 위치 제어를 통해 구현될 수도 있다.And the motion that can be given to the 3D character may include an emotion expression motion. The emotion expression motion may be implemented through fine position control for detailed facial components, or may be implemented through position control for body components such as arms, body, legs, and fingers.
장치는 각 동작에 대한 제어시퀀스를 미리 저장하고 있으면서, 사용자설정에 의해 하나의 동작이 선택되면 해당 동작에 대응되는 제어시퀀스에 따라 3D 캐릭터를 동작시킬 수 있다. 제어시퀀스에는 3D 캐릭터의 각 관절에 대한 시간별 위치제어값이 포함될 수 있다.The device may operate the 3D character according to the control sequence corresponding to the corresponding motion when one motion is selected by the user setting while pre-stored control sequences for each motion. The control sequence may include time-based position control values for each joint of the 3D character.
장치는 인접한 동작들의 경계에서 동작 블렌딩을 적용할 수 있다(S404). 동작 블렌딩은 서로 다른 동작이 연속적으로 이루어지도록 제어하는 것으로 장치는 이전 동작의 마지막 자세와 다음 동작의 처음 자세가 동일해 지도록 동작 블렌딩을 수행할 수 있다.The device may apply motion blending at the boundary of adjacent motions (S404). Motion blending is to control different motions to be continuously performed, and the device may perform motion blending so that the last posture of the previous motion and the first posture of the next motion are the same.
장치는 제2레이어에 가상의 공간에 대한 배경영상을 배치할 수 있다(S406). 배경영상은 배경화면과 배경효과를 포함할 수 있다.The device may arrange a background image for the virtual space on the second layer (S406). The background image may include a background screen and background effects.
배경영상은 3D데이터일 수 있다. 배경영상이 3D데이터로 구성되는 경우, 가상의 공간을 촬영하는 카메라의 시점에 따라 배경영상도 변할 수 있다.The background image may be 3D data. When the background image is composed of 3D data, the background image may also change according to the viewpoint of a camera that captures the virtual space.
장치는 가상의 공간을 촬영하는 가상의 카메라를 설정하고, 3D 캐릭터 및 배경영상에 카메라의 시점을 적용시켜 각 시간에서의 이미지를 결정할 수 있다(S408). 장치는 시간단위-예를 들어, 10ms, 100ms, 1s 등-마다 2차원 이미지데이터를 생성할 수 있는데, 이러한 2차원 이미지데이터에 시점(view point)은 카메라의 방향에 따라 결정될 수 있다.The device may determine an image at each time by setting a virtual camera that shoots a virtual space, and applying the camera's viewpoint to the 3D character and background image (S408). The device may generate two-dimensional image data every time unit - for example, 10 ms, 100 ms, 1 s, etc. - and a view point in the two-dimensional image data may be determined according to the direction of the camera.
카메라의 설정은 예를 들어, 위치 및 방향에 대한 설정일 수 있고, 카메라 효과에 대한 설정일 수 있다. 카메라 효과는 예를 들어, 줌인(zoom-in), 줌아웃(zoom-out), 카메라 회전 등의 기법일 수 있다.The setting of the camera may be, for example, a setting for a position and a direction, or a setting for a camera effect. The camera effect may be, for example, a technique such as a zoom-in, a zoom-out, and a camera rotation.
장치는 서로 다른 카메라 설정의 사이에 카메라 블렌딩을 적용할 수 있다. 예를 들어, 장치는 카메라가 제1시간에서 제1위치로 설정되고 제2시간에서 제2위치로 설정되는 경우, 제1시간에서 제2시간 동안 카메라의 위치가 제1위치에서 제2위치로 서서히 변경되도록 카메라 설정을 제어할 수 있다.The device may apply camera blending between different camera settings. For example, if the camera is set to the first position at a first time and set to a second position at a second time, the device may change the position of the camera from the first position to the second position during the first time to a second time. You can control the camera settings to change gradually.
장치는 시간단위마다 생성되는 2차원 이미지데이터를 결합하여 동영상을 생성할 수 있다(S410). 이러한 동영상은 카메라의 시점에 따라 가상의 공간의 시간적인 변화를 촬영한 것과 같을 수 있다. 장치는 음향을 더 결합시켜 동영상을 생성할 수 있다. 음향은 미리 생성된 음악파일일 수도 있고, 사용자에 의해 녹음된 음성파일일 수도 있다.The device may generate a moving picture by combining the two-dimensional image data generated for each time unit (S410). Such a moving picture may be the same as capturing a temporal change in a virtual space according to the viewpoint of the camera. The device may further combine the sound to create a moving picture. The sound may be a pre-generated music file or a voice file recorded by the user.
장치는 생성된 동영상을 온라인 커뮤니티, 동영상 공유 사이트, 소셜 네트워크 서비스 등에 업로드하여 동영상을 공유할 수 있다(S412).The device may share the video by uploading the generated video to an online community, video sharing site, social network service, or the like (S412).
한편, 단말장치는 스마트폰과 같은 개인 휴대용 무선통신장치에 앱(APP)의 형태로 구현될 수 있는데, 이러한 구현 방법에서의 단말장치의 인터페이스 및 그 제어에 대한 예시를 좀더 설명한다.On the other hand, the terminal device may be implemented in the form of an app (APP) in a personal portable wireless communication device such as a smart phone. An example of the interface of the terminal device and its control in this implementation method will be described in more detail.
도 5는 일 실시예에 따른 단말장치에서 3D스캔데이터를 수신하는 것을 나타내는 도면이다.5 is a diagram illustrating reception of 3D scan data in a terminal device according to an embodiment.
도 5를 참조하면, 사용자는 3D스캐너(130)를 통해 자신에 대한 스캔데이터(SD)를 생성할 수 있다. 이때, 3D스캐너(130)는 단말장치(110)와 공간적으로 이격된 곳에 위치할 수 있는데, 사용자는 3D스캐너(130)가 스캔한 데이터를 추후 단말장치(110)에서 이용할 수 있도록 스캔코드(SC)를 스캔데이터(SD)에 매칭시킬 수 있다.Referring to FIG. 5 , the user may generate scan data SD for himself/herself through the
3D스캐너(130)는 스캔코드(SC)가 매칭된 스캔데이터(SD)를 제1서버(120)로 송신할 수 있다. 스캔데이터(SD)는 사용자의 외관에 대한 3차원(3D) 실사이미지를 포함하는 데이터로서, 사용자의 관절에 대한 정보는 포함하지 않을 수 있다.The
제1서버(120)는 스캔데이터(SD)를 3D스캔데이터(3DSD)로 변환하거나 스캔데이터(SD)에 대응되는 3D스캔데이터(3DSD)를 다른 장치 혹은 관리자 조작은 인식하여 획득할 수 있다.The
그리고, 단말장치(110)는 스캔코드(SC)를 제1서버(120)로 송신하고, 그에 대응되는 3D스캔데이터(3DSD)를 수신하여 저장부에 저장하거나 로딩할 수 있다. 단말장치(110)는 화면에 스캔코드를 입력할 수 있는 창을 표시하고, 해당 창으로 입력되는 스캔코드를 제1서버(120)로 송신할 수 있다.In addition, the
도 6은 일 실시예에 따른 단말장치에서 각 레이어에 대한 제어화면을 나타내는 도면이고, 도 7은 도 6의 제어창을 좀더 구체적으로 나타내는 도면이다.6 is a diagram illustrating a control screen for each layer in a terminal device according to an embodiment, and FIG. 7 is a diagram illustrating the control window of FIG. 6 in more detail.
도 6 및 도 7을 참조하면, 단말장치는 동영상 제작을 위한 각 레이어의 제어화면을 표시할 수 있다.6 and 7 , the terminal device may display a control screen of each layer for video production.
제어화면은 미리보기창(610)과 제어창(620)으로 구성될 수 있다.The control screen may include a
미리보기창(610)은 현재 재생시간에서의 동영상의 이미지를 표시하거나 재생시간 전체 구간에서의 동영상을 표시할 수 있다. 제어창(620)에는 시간축창(670)이 있고, 현재 재생시간을 지시하는 재생시간지시자(622)가 표시될 수 있는데, 미리보기창(610)은 정지화면에서 재생시간지시자(622)가 지시하는 현재 재생시간에서의 동영상의 이미지를 표시할 수 있고, 동영상화면에서 재생시간 전체 구간에서의 동영상을 표시할 수 있다.The
제어창(620)은 시간축창(670) 및 다수의 레이어창(630, 640, 650, 660)으로 구성될 수 있다.The
시간축창(670)은 재생시간지시자(622)가 지시하는 현재 재생시간을 표시할 수 있고, 동영상의 전체 재생시간을 표시할 수 있다. 필요에 따라, 시간축창(670)에 저장버튼이나 화면비율조절버튼 등이 더 배치될 수 있다.The
동작레이어창(630)에는 캐릭터에 대한 복수의 동작을 부여하는 동작블럭들(632)이 배치될 수 있다. 각 동작블럭들(632)이 하나의 클립을 형성할 수 있다.In the
동작블럭들(632)의 시간축방향 길이가 각 클립의 재생시간을 결정할 수 있다. 사용자는 각 동작블럭(632)의 시간축방향의 좌우측단(734)을 조작하여 각 동작블럭(632)의 길이를 조절할 수 있다. 각 동작블럭(632)은 최초 배치될 때, 3D 캐릭터의 동작에 따라 미리 설정된 재생시간을 가지도록 배치될 수 있다. 그리고, 사용자가 이러한 동작블럭(632)의 길이를 조절하는 경우, 각 동작의 슬로우 모션화 혹은 패스트 모션화가 구현될 수 있다.The length of the operation blocks 632 in the time axis direction may determine the playback time of each clip. The user can adjust the length of each operation block 632 by manipulating the left and right ends 734 in the time axis direction of each
카메라레이어창(640)에는 카메라설정블럭들(642)이 배치될 수 있다. 각 카메라설정블럭들(642)마다 하나의 카메라설정이 적용될 수 있으며, 그러한 카메라설정의 시간은 각 카메라설정블럭들(642)의 시간축방향길이에 의해 결정될 수 있다. 카메라설정블럭(642)이 배치되지 않는 시간대에서는 카메라에 대한 기본 설정이 적용될 수 있다.Camera setting blocks 642 may be arranged in the
한편, 동영상의 재생시간은 동작레이어창(630)에 배치되는 동작블럭들(632)의 길이의 합에 의해 결정될 수 있는데, 이렇게 결정된 재생시간을 초과하는 카메라설정블럭(642) 부분(643)은 비활성화되고 동영상에 포함되지 않을 수 있다.On the other hand, the playback time of the moving picture may be determined by the sum of the lengths of the motion blocks 632 arranged in the
배경레이어창(650)에는 배경영상블럭(652)이 배치될 수 있다. 배경레이어창(650)은 배경효과레이어창(754)과 배경화면레이어창(756)으로 구분될 수 있다. 그리고, 배경효과레이어창(754)에는 배경효과블럭(755)이 배치되고, 배경화면레이어창(756)에는 배경화면블럭(757)이 배치될 수 있다. 배경효과블럭(755) 및 배경화면블럭(757)의 시간축 방향 길이에 따라 배경효과 및 배경화면의 재생시간이 결정될 수 있는데, 배경효과가 일정 영상을 반복재생하는 형태로 구현되는 경우, 배경효과블럭(755)의 길이가 변해도 배경효과의 재생속도가 변하지는 않고, 재생시간만 변할 수 있다.A
재생시간은 동작블럭들(632)의 시작시간과 종료시간으로 결정될 수 있는데, 시간축방향에서 동작블럭들(632)의 종료시간 이전은 활성부분(722)이고, 이후는 비활성부분(724)으로 표시되고, 비활성부분(724)에 해당되는 카메라레이어창(640), 배경레이어창(650)의 구성들은 동영상 제작에서 무시될 수 있다.The playback time may be determined by the start time and end time of the operation blocks 632 . In the time axis direction, before the end time of the operation blocks 632 , the
도 8은 일 실시예에 따른 단말장치에서 캐릭터효과에 대한 제어화면을 나타내는 도면이다.8 is a diagram illustrating a control screen for a character effect in a terminal device according to an embodiment.
단말장치는 3D 캐릭터에 효과를 부여할 수 있다. 예를 들어, 단말장치는 3D 캐릭터의 신체의 특정 부분에서 불, 번개, 바람 등의 효과가 발생하도록 제어할 수 있다.The terminal device may apply an effect to the 3D character. For example, the terminal device may control effects such as fire, lightning, and wind to occur in a specific part of the 3D character's body.
단말장치는 효과가 부여될 수 있는 위치를 3D 캐릭터와 함께 화면에 표시할 수 있다. 그리고, 단말장치는 사용자조작을 인식하여 사용자선택 위치에 3D 캐릭터의 효과를 표시할 수 있으며, 시간축 상으로 3D 캐릭터의 효과가 부여된 시간 이후에는 3D 캐릭터의 동작 등에 있어서 효과가 적용된 3D 캐릭터로 그 동작을 표시할 수 있다.The terminal device may display a position to which the effect can be applied together with the 3D character on the screen. And, the terminal device can recognize the user operation and display the effect of the 3D character at the user-selected position, and after the time when the effect of the 3D character is given on the time axis, it is a 3D character to which the effect is applied in the motion of the 3D character, etc. action can be displayed.
도 9는 일 실시예에 따른 단말장치에서 녹음에 대한 제어화면을 나타내는 도면이다.9 is a diagram illustrating a control screen for recording in a terminal device according to an exemplary embodiment.
단말장치는 사용자의 음성을 녹음하여 동영상에 결합시킬 수 있다. 도 9와 같이 제어화면에는 녹음버튼이 표시되고, 시간축으로 녹음의 길이가 표시될 수 있다. 한편, 도면에는 도시되지 않았으나, 동영상의 미리 보기 창과 함께 녹음제어창이 화면에 표시될 수 있다. 이러한 실시예에서 사용자는 동영상을 보면서 음성을 더빙의 형식으로 녹음할 수 있게 된다.The terminal device may record the user's voice and combine it with the video. As shown in FIG. 9 , the record button may be displayed on the control screen, and the length of the recording may be displayed on the time axis. Meanwhile, although not shown in the drawings, the recording control window may be displayed on the screen together with the preview window of the video. In this embodiment, the user can record a voice in the form of dubbing while watching a video.
이상에서는 3D스캐너(130)가 캐릭터(10)의 외형을 스캔하고, 이에 대한 스캔데이터를 생성하는 실시예에 대해서 설명하였다.In the above, an embodiment in which the
이하에서는 캐릭터(10)의 스캔데이터를 3D스캐너(130)가 아닌 단말장치(110 또는 별도의 휴대장치에서 생성하는 실시예에 대해 설명하도록 한다.Hereinafter, an embodiment in which the scan data of the
도 11은 다른 실시예에 따른 동영상제작시스템의 구성도이다.11 is a block diagram of a video production system according to another embodiment.
도 11을 참조하면, 동영상제작시스템(1100)은 단말장치(1110) 및 적어도 하나의 서버(1120, 140) 등을 포함할 수 있다. 여기서, 제2서버(140)는 일 실시예의 구성과 동일하므로 제2서버(140)에 대한 설명은 생략하도록 한다.Referring to FIG. 11 , a
단말장치(1110)는 사용자 인터페이스를 제공하는 장치로서, 동영상 제작을 위한 사용자 조작을 입력받고, 동영상 제작에 필요한 정보 및 동영상 제작의 결과물을 사용자에게 표시할 수 있다.The
단말장치(1110)는 사용자 인터페이스로서 터치패널을 포함하는 디스플레이패널을 포함할 수 있다. 단말장치(1110)는 터치패널에 대한 신호를 수신하여 사용자 조작을 인식할 수 있고, 동영상 제작에 필요한 정보 및 동영상 제작의 결과물을 디스플레이패널을 통해 표시할 수 있다.The
단말장치(1110)는 동영상 제작 이외에 다른 기능을 더 수행할 수 있다. 예를 들어, 단말장치(1110)는 무선통신을 수행할 수 있다. 단말장치(1110)는 모바일로 호칭되는 전화기의 일종으로서, 터치패널, 디스플레이패널 및 데이터프로세서 등을 포함할 수 있다. 단말장치(1110)는 무선통신에 사용되는 이러한 터치패널, 디스플레이패널 및 데이터프로세서를 이용하여 동영상제작시스템(1100)에 필요한 기능을 수행할 수 있다.The
구체적으로 단말장치(1110)는 일 실시예에서 3D스캐너(130)가 수행했던 캐릭터(10)의 3D스캔을 수행할 수 있다.Specifically, the
이를 위해 단말장치(1110)는 3D뎁스카메라를 구비할 수 있다.To this end, the
다시 말해서, 단말장치(1110)는 3D뎁스카메라를 사용하여 캐릭터(10)를 3D스캔하고, 이에 대한 스캔데이터를 생성할 수 있다. 여기서, 스캔데이터는 3D스캔에 대한 폴리곤데이터와 2D텍스쳐데이터를 포함할 수 있다.In other words, the
스캔데이터를 생성한 단말장치(1110)는 스캔데이터를 제1서버(1120)로 송신할 수 있다.The
여기서, 단말장치(1110)는 스캔데이터를 편집한 후에 제1서버(1120)로 송신할 수 있다.Here, the
다시 말해서, 스캔데이터가 도 13과 같이 캐릭터(10)의 전신에 대한 스캔데이터인 경우, 단말장치(1110)는 사용자의 설정에 따라 도 13과 같이 편집하지 않은 스캔데이터인 전신 스캔데이터를 송신하거나, 도 14의 14A와 같이 전신 스캔데이터에서 캐릭터(10)의 몸체를 제거한 스캔데이터인 두상 스캔데이터를 생성 및 제1서버(120)에 송신할 수 있다.In other words, when the scan data is scan data for the whole body of the
또한, 단말장치(1110)는 도 14의 14B와 같이 전신 스캔데이터에서 캐릭터(10)의 두상을 제거한 스캔데이터인 몸체 스캔데이터를 생성 및 제1서버(1120)에 송신할 수도 있다.Also, as shown in 14B of FIG. 14 , the
한편, 다른 실시예에서 캐릭터(10)의 3D 스캔을 단말장치(1110)에서 수행하지 않고, 별도의 휴대장치(예를 들어, 3D뎁스카메라를 구비한 태블릿 PC, 디지털 카메라, 노트북 등)에서 캐릭터(10)의 3D 스캔을 수행하여 스캔데이터를 생성할 수도 있다.On the other hand, in another embodiment, the 3D scan of the
이러한 경우, 단말장치(1110)는 블루투스와 같은 근거리 무선통신 또는 케이블 통신을 통해 휴대장치로부터 스캔데이터를 수신하고, 위와 같은 스캔데이터의 편집만을 수행한 후에 제1서버(1120)로 송신할 수 있다.In this case, the
단말장치(1110)가 스캔데이터를 제1서버(1120)에 송신한 후, 단말장치(1110)는 제1서버(1120)로부터 3D스캔데이터를 다운로드할 수 있다. 여기서, 3D스캔데이터는 캐릭터(10)에 포함되는 복수의 관절에 대한 본(bone)데이터를 포함할 수 있다.After the
다시 말해서, 단말장치(1110)가 제1서버(1120)에 송신한 스캔데이터가 전신 스캔데이터인 경우, 3D스캔데이터는 캐릭터(10)의 전신 관절에 대한 본 데이터를 포함할 수 있다.In other words, when the scan data transmitted by the
단말장치(1110)가 제1서버(1120)에 송신한 스캔데이터가 두상 스캔데이터인 경우, 3D스캔데이터는 캐릭터(10)의 목관절에 대한 본 데이터를 포함한 두상 3D스캔데이터일 수 있다.When the scan data transmitted by the
단말장치(1110)가 제1서버(1120)에 송신한 스캔데이터가 몸체 스캔데이터인 경우, 3D스캔데이터는 몸체 관절에 대한 본 데이터를 포함한 몸체 3D스캔데이터일 수 있다. 여기서, 몸체 관절은 캐릭터(10)의 전신 관절 중에서 목관절을 제외한 관절을 의미할 수 있다.When the scan data transmitted by the
3D스캔데이터를 다운로드한 단말장치(1110)는 일 실시예에서와 같이 3D스캔데이터를 이용하여 동영상을 제작할 수 있고, 동영상을 제2서버(140)에 업로드할 수 있다.The
제2서버(140)는 동영상을 공유하거나 소셜네트워크서비스를 지원하는 서버일 수 있다. 단말장치(1110)를 이용하는 사용자는 제2서버(140)를 통해 직접 제작한 동영상을 다른 사람들과 공유할 수 있다.The
다른 실시예에서 단말장치(1110)는 다수의 두상 3D일러스트 데이터, 다수의 몸체 3D일러스트 데이터, 다수의 전신 3D일러스트 데이터를 저장할 수 있다. 여기서, 두상 3D일러스트 데이터, 몸체 3D일러스트 데이터, 전신 3D일러스트 데이터는 3D일러스트 이미지에 본 데이터를 결합한 데이터일 수 있다.In another embodiment, the
3D스캔데이터가 두상 3D스캔데이터인 경우, 단말장치(1110)는 사용자의 설정에 따라 다수의 몸체 3D일러스트 데이터 중 어느 하나를 두상 3D스캔데이터와 결합하여 가상의 3D 캐릭터를 생성할 수 있다.When the 3D scan data is
3D스캔데이터가 몸체 3D스캔데이터인 경우, 단말장치(1110)는 사용자의 설정에 따라 다수의 두상 3D일러스트 데이터 중 어느 하나를 몸체 3D스캔데이터와 결합하여 가상의 3D 캐릭터를 생성할 수도 있다.When the 3D scan data is
또한, 단말장치(1110)는 캐릭터(10)의 스캔데이터에서 캐릭터(10)의 두상 2D 텍스쳐를 추출하거나, 캐릭터(10)를 촬영한 사진데이터에서 두상 2D이미지를 추출한 후에 도 15와 같이 전신 3D일러스트(1510)의 2D이미지 합성면(1512)에 두상 2D텍스쳐 또는 두상 2D이미지를 합성하여 도 16의 16A와 같이 가상의 3D 캐릭터를 생성할 수도 있다. 여기서, 단말장치(1110)는 도 16의 16B와 같이 2D이미지 합성면(1512)을 꾸밀 수 있는 다양한 3D아이템들을 더 저장할 수도 있다.In addition, the
단말장치(1110)는 가상의 3D 캐릭터를 이용해서 동영상을 제작할 수 있고, 동영상을 제2서버(140)에 업로드할 수도 있다.The
제1서버(1120)는 스캔데이터를 3D스캔데이터로 변환할 수 있다. 여기서, 제1서버(1120)는 스캔데이터에 포함된 2D텍스쳐데이터로 3D스캔데이터의 질감과 윤곽을 표현할 수 있다.The
스캔데이터가 전신 스캔데이터인 경우, 제1서버(120)는 캐릭터(10)의 전신 관절에 대한 본데이터를 포함한 3D스캔데이터(전신 3D스캔데이터)를 생성할 수 있다.When the scan data is whole body scan data, the
스캔데이터가 두상 스캔데이터인 경우, 제1서버(1120)는 캐릭터(10)의 목관절에 대한 본 데이터를 포함한 3D스캔데이터(두상 3D스캔데이터)를 생성할 수 있다.When the scan data is head scan data, the
스캔데이터가 몸체 스캔데이터인 경우, 제1서버(1120)는 캐릭터(10)의 몸체 관절에 대한 본 데이터를 포함한 3D스캔데이터(몸체 3D스캔데이터)를 생성할 수 있다.When the scan data is body scan data, the
제1서버(1120)에서 본데이터를 생성하는 구성과 3D스캔데이터를 생성하는 구성은 일 실시예와 동일하므로, 다른 실시예에서는 이에 대한 설명을 생략하도록 한다.Since the configuration for generating the present data and the configuration for generating the 3D scan data in the
도12는 다른 실시예에 따른 단말장치의 구성도이다.12 is a block diagram of a terminal device according to another embodiment.
도 12를 참조하면, 단말장치(1110)는 저장부(1210), 스캔데이터 편집부(1220), 동작제어부(220), 배경설정부(230), 카메라제어부(240), 음향제어부(250), 동영상제작 및 재생부(260), 인터페이스부(270), 단말기통신부(280), 중앙제어부(290) 등을 포함할 수 있다. 여기서, 동작제어부(220), 배경설정부(230), 카메라제어부(240), 음향제어부(250), 동영상제작 및 재생부(260), 인터페이스부(270), 단말기통신부(280), 중앙제어부(290)는 일 실시예의 구성과 동일하므로 이에 대한 설명은 생략하도록 한다.12 , the
저장부(1210)는 동영상 제작에 필요한 각종 데이터를 저장할 수 있다. 예를 들어, 저장부(1210)는 스캔데이터와 3D스캔데이터를 저장할 수 있다. 여기서, 저장부(1210)는 제1서버(1120)로부터 3D스캔데이터를 수신하여 저장할 수 있다. 3D스캔데이터에는 캐릭터의 외형에 대한 입체적인 실사 이미지와 함께, 캐릭터의 3D모델링데이터에 대응되는 본데이터가 포함될 수 있다.The
또한, 저장부(1210)는 캐릭터(10)를 촬영한 사진데이터를 더 저장할 수도 있다.Also, the
저장부(1210)는 각종 설정데이터를 저장할 수 있다. 단말장치(1110)는 사용자 조작을 인식하여 각종 설정에서 하나의 설정을 선택할 수 있는데, 여기서, 설정에 대응되는 설정데이터는 저장부(1210)에 미리 저장되어 있을 수 있다. 이하에서, 미리 저장되거나 미리 설정된 것으로 기술되는 구성들은 저장부(1210)에 미리 저장되어 있는 것으로 이해할 수 있다.The
한편, 저장부(1210)는 다수의 두상 3D일러스트 데이터, 다수의 몸체 3D일러스트 데이터, 다수의 전신 3D일러스트 데이터를 저장할 수도 있다.Meanwhile, the
스캔데이터 편집부(1220)는 단말장치(1110)에 구비된 실제 카메라(미도시) 또는 별도의 휴대장치를 통해 생성된 스캔데이터를 편집할 수 있다.The scan
다시 말해서, 스캔데이터가 도 13과 같이 캐릭터(10)의 전신에 대한 스캔데이터인 경우, 스캔데이터 편집부(1220)는 사용자의 설정에 따라 도 14의 14A와 같이 전신 스캔데이터에서 캐릭터(10)의 몸체를 제거한 스캔데이터인 두상 스캔데이터를 생성할 수 있다.In other words, when the scan data is scan data of the whole body of the
또한, 스캔데이터 편집부(1220)는 사용자의 설정에 따라 도 14의 14B와 같이 전신 스캔데이터에서 캐릭터(10)의 두상을 제거한 스캔데이터인 몸체 스캔데이터를 생성할 수 있다.Also, the scan
스캔데이터 편집부(1220)는 위와 같이 스캔데이터를 편집한 후에 단말기 통신부(280)를 통해 스캔데이터를 제1서버(1120)로 송신할 수 있다.The scan
한편, 스캔데이터 편집부(1220)는 사용자의 설정에 따라 캐릭터(10)의 스캔데이터에서 캐릭터(10)의 두상에 대한 2D텍스쳐를 추출할 수도 있다.Meanwhile, the scan
또한, 스캔데이터 편집부(1220)는 사용자의 설정에 따라 캐릭터(10)의 사진데이터에서 캐릭터(10)의 두상에 대한 2D이미지를 추출할 수도 있다.Also, the scan
스캔데이터 편집부(1220)는 사용자의 설정에 따라 편집하지 않은 스캔데이터를 제1서버(1120)로 송신할 수도 있다.The scan
저장부(1210)에 저장된 3D스캔데이터가 두상 3D스캔데이터인 경우, 스캔데이터 편집부(1220)는 사용자의 설정에 따라 저장부(1210)에 저장된 다수의 몸체 3D일러스트 데이터 중 어느 하나를 두상 3D스캔데이터와 결합하여 가상의 3D 캐릭터를 생성할 수 있다.When the 3D scan data stored in the
저장부(1210)에 저장된 3D스캔데이터가 몸체 3D스캔데이터인 경우, 스캔데이터 편집부(1220)는 사용자의 설정에 따라 저장부(1210)에 저장된 다수의 두상 3D일러스트 데이터 중 어느 하나를 몸체 3D스캔데이터와 결합하여 가상의 3D 캐릭터를 생성할 수도 있다.When the 3D scan data stored in the
위와 같이 3D 캐릭터를 생성한 후, 단말장치(1110)는 일 실시예와 동일한 구성을 통해 3D 캐릭터에 대한 동영상을 제작할 수 있다.After generating the 3D character as described above, the
한편, 스캔데이터 편집부(1220)에서 두상에 대한 2D텍스쳐 또는 2D 이미지를 추출한 경우, 스캔데이터 편집부(1220)는 사용자의 설정에 따라 저장부(1210)에 저장된 다수의 전신 3D일러스트 데이터 중 어느 하나에 2D텍스쳐 또는 2D 이미지를 합성하여 가상의 3D 캐릭터를 생성할 수도 있다.On the other hand, when the scan
앞서서 설명하지 못한 추가적인 예시에 대해 좀더 설명한다.Additional examples not previously described will be further described.
일 실시예에 따른 영상제작방법은 비지니스모델(business model)과 결합하여 수익창출의 도구로 사용될 수 있다.The image production method according to an embodiment may be used as a tool for generating revenue in combination with a business model.
단말장치를 구성하는 앱은 무료로 배포될 수 있으나, 그 앱에 선택사항으로 추가되는 아이템들 중 일부는 유료의 형태로 배포될 수 있다. 기술적인 측면에서 보면, 단말장치는 사용자조작을 인식하여 유료 아이템에 대한 사용자선택을 인식하고, 사용자선택된 아이템과 사용자정보를 제1서버로 송신할 수 있다. 그리고, 제1서버는 사용자정보를 통해 사용자계정에서의 아이템비용지급관련사항을 체크하고, 아이템비용이 지급되었거나 지급되는 것으로 처리되는 경우, 단말장치에서 해당 아이템이 활성화될 수 있도록 관련 데이터를 단말장치로 송신할 수 있다. 유료 아이템은 예를 들어, 캐릭터의 동작에 대한 것일 수 있고, 카메라의 설정에 대한 것일 수 있다. 캐릭터의 복수의 동작이 연속적으로 결합된 프리셋이 유료 아이템으로 사용될 수 있다. 이 경우, 사용자는 프리셋에 포함되는 연속 동작을 자신의 캐릭터에 손쉽게 적용할 수 있다.The app constituting the terminal device may be distributed free of charge, but some of the items optionally added to the app may be distributed in the form of a fee. From a technical point of view, the terminal device may recognize a user operation to recognize a user's selection of a paid item, and transmit the user's selected item and user information to the first server. Then, the first server checks the item cost payment related matters in the user account through the user information, and when the item cost has been paid or processed as being paid, the first server transmits related data to the terminal device so that the corresponding item can be activated in the terminal device can be sent to The paid item may be for, for example, a motion of a character or a setting of a camera. A preset in which a plurality of motions of a character are continuously combined may be used as a paid item. In this case, the user can easily apply the continuous motion included in the preset to his/her character.
3D 캐릭터는 3D스캔데이터에 의해 생성될 수 있으나, 실시예에 따라서는 가상으로 생성된 3D일러스트 캐릭터가 추가적으로 더 사용될 수 있다. 이러한 3D일러스트 캐릭터는 유료 아이템의 형태로 각 단말장치에 배포될 수 있다. The 3D character may be generated by 3D scan data, but depending on the embodiment, a virtual 3D illustration character may be additionally used. These 3D illustration characters may be distributed to each terminal device in the form of a paid item.
또한, 사용자가 3D 제작 툴이 설치된 컴퓨터를 이용하여 3D일러스트 캐릭터를 제작할 수 있고, 컴퓨터와 단말장치 간의 케이블 통신 또는 근거리 무선통신을 통해 단말장치에 저장 및 사용될 수도 있다.In addition, a user may produce a 3D illustration character using a computer installed with a 3D production tool, and may be stored and used in a terminal device through cable communication or short-range wireless communication between the computer and the terminal device.
3D일러스트 캐릭터는 신체의 전체가 하나로 배포될 수 있고, 머리, 몸, 다리 등으로 구분되어 배포될 수도 있다. 일러스트 캐릭터가 구분되어 배포될 경우, 사용자의 선택에 따라 조합적으로 하나의 3D 일러스트 캐릭터가 완성될 수도 있다.The 3D illustration character can be distributed as a whole body or divided into a head, body, legs, etc. When the illustration characters are divided and distributed, one 3D illustration character may be completed in combination according to the user's selection.
단말장치는 사용자조작에 따라 필터레이어를 더 배치할 수 있고, 단말장치는 필터레이어를 구성하는 필터의 특성에 따라 동영상의 이미지에 필터효과를 적용시킬 수 있다.The terminal device may further arrange a filter layer according to a user operation, and the terminal device may apply a filter effect to the image of the moving picture according to characteristics of filters constituting the filter layer.
단말장치는 사용자조작에 따라 텍스트레이어를 더 배치할 수 있고, 단말장치는 텍스트레이어를 구성하는 텍스트들을 동영상에 더 결합시킬 수 있다.The terminal device may further arrange a text layer according to a user operation, and the terminal device may further combine texts constituting the text layer to the video.
본 실시예는 3D 스캔을 통해 제작된 자신의 3D스캔데이터를 누구나가 보유하고 있는 스마트 폰과 PC(personal computer) 디바이스를 이용하여 간단한 방법으로 자신이 주체가 되는 동영상을 제작할 수 있는 시스템을 제공하는 것으로 가상 공간 속에서 자신의 모습을 한 캐릭터를 사용해 실제 자신이 행동한 듯한 다양한 동작으로 조합하고 여러 효과들을 추가하여 재미있고 멋있는 자신만의 동영상을 제작할 수 있게 도와준다.This embodiment provides a system that can produce a video in which one is the subject in a simple way using a smart phone and a personal computer (PC) device that anyone has their own 3D scan data produced through 3D scan. It helps you to create your own fun and cool videos by using a character that looks like you in a virtual space, combining it with various motions that appear to be acting in real life, and adding various effects.
동영상 컨텐츠가 온라인 상에서 하나의 소통 수단이 되어가고 있을 만큼 다량의 컨텐츠들이 제작되어 공유되고 있다. 또한, 개인방송 채널을 통해 정기적으로 자신이 직접 출연하는 동영상을 제작 및 공유하여 채널의 구독자 수 확보를 통해 광고 수익 등의 간접 매출을 발생시키는 사업자들도 생겨나고 있다. 하지만, 동영상 제작에는 많은 시간과 기술들이 필요한 관계로 창작의 욕구를 가진 사용자들이 있더라도 쉽게 접근하지 못하는 상황이며 많은 동영상들이 제작되는 만큼 소재의 고갈을 해소하지 못 하고 있다. As video content is becoming a means of communication online, a large amount of content is produced and shared. In addition, there are also businesses that generate and share videos of themselves appearing regularly through personal broadcasting channels, thereby generating indirect sales such as advertising revenues by securing the number of subscribers to the channel. However, since a lot of time and skills are required to produce a video, even if there are users with a desire to create, it is not easily accessible, and as many videos are produced, the exhaustion of materials cannot be resolved.
본 실시예는 이를 해결하는 방법으로 자신의 모습을 한 고유 캐릭터라는 소재의 제공과 더불어 기획한 동영상을 쉽고 간단한 조작으로 제작하여 공유할 수 있는 새로운 커뮤니티 컨텐츠의 제작 도구가 될 것이다. As a way to solve this problem, this embodiment will be a tool for creating new community content that can create and share a planned video with an easy and simple operation, along with the provision of a material called a unique character in his or her own appearance.
또한, 3D스캐너를 보유한 사업자들의 비즈니스 모델이 고가의 카메라를 사용해 추출한 3D 모델링 데이터를 3D 프린터로 제작한 피규어 판매에 그치고 있는 사업 형태에 새로운 추가 비지니스 모델을 제시하는 해결책이 될 수 있을 것이다.In addition, the business model of operators with 3D scanners will be a solution to presenting a new additional business model to the business model of 3D modeling data extracted using expensive cameras and selling figures made with 3D printers.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as "include", "comprise" or "have" described above mean that the corresponding component may be embedded, unless otherwise stated, and does not exclude other components. It should be construed as being able to further include other components. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless otherwise defined. Terms commonly used, such as those defined in the dictionary, should be interpreted as being consistent with the meaning of the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present invention.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
Claims (14)
상기 본데이터를 이용하여 가상의 공간에서 상기 캐릭터에게 복수의 동작을 부여하고, 제1레이어에서 상기 캐릭터의 각 동작을 클립(clip)의 단위로 배치하는 단계;
인접한 클립들의 영상이 연속적으로 연결되도록 상기 복수의 동작에 대해 동작 블렌딩(blending)을 적용하는 단계;
제2레이어에 상기 가상의 공간에 대한 배경영상을 배치하는 단계;
제3레이어에 상기 가상의 공간에 대한 효과성 물체들의 움직임을 상기 캐릭터의 주변 영역으로 배치하는 단계;
상기 가상의 공간을 촬영하는 가상의 카메라를 설정하고, 상기 캐릭터 및 상기 배경영상에 상기 카메라의 시점(view point)을 적용하는 단계;
상기 카메라의 시점에 따라 상기 가상의 공간의 시간적인 변화를 동영상으로 생성하는 단계;
실제 카메라가 촬영중인 실시간 영상에 상기 캐릭터를 합성하고, 실시간 영상에서 상기 캐릭터가 상기 복수의 동작을 연속적으로 취하는 증강 현실 영상에 대한 제1 증강 현실 동영상을 생성하는 단계; 및
상기 캐릭터 및 상기 캐릭터와는 별개인 하나 이상의 별도 캐릭터를 실제 카메라가 촬영중인 실시간 영상에 합성하고, 실시간 영상에서 상기 캐릭터 및 상기 하나 이상의 별도 캐릭터가 상기 복수의 동작을 연속적으로 취하는 증강 현실 영상에 대한 제2 증강 현실 동영상을 생성하는 단계를 포함하고,
상기 복수의 동작에 대해 동작 블렌딩을 적용하는 단계에서,
인접한 두 개의 클립에서 상기 캐릭터의 이전 클립의 마무리 자세와 다음 클립의 시작 자세가 일치하도록 각 클립의 동작을 제어하고,
상기 카메라의 시점을 적용하는 단계에서,
상기 카메라가 제1시간에서 제1위치로 설정되고 제2시간에서 제2위치로 설정되는 경우, 상기 제1시간에서 상기 제2시간 동안 상기 카메라의 위치가 상기 제1위치에서 상기 제2위치로 서서히 변경되고,
상기 제1 증강 현실 동영상을 생성하는 단계 혹은 상기 제2 증강 현실 동영상을 생성하는 단계에서,
실제 바닥면에 증강 현실용 오브젝트인 공연 무대를 배치하고, 실제 바닥면이 아닌 상기 공연 무대의 상단면에 상기 캐릭터를 배치하는 동영상제작방법.Loading 3D scan data generated by 3D (dimension) scanning of a character having a plurality of joints, the 3D scan data including bone data for the plurality of joints;
giving a plurality of motions to the character in a virtual space by using the present data, and arranging each motion of the character in units of clips in a first layer;
applying motion blending to the plurality of motions so that images of adjacent clips are continuously connected;
disposing a background image for the virtual space on a second layer;
arranging the movement of the effect objects with respect to the virtual space in a third layer as a peripheral area of the character;
setting a virtual camera for photographing the virtual space, and applying a viewpoint of the camera to the character and the background image;
generating a temporal change in the virtual space as a moving picture according to the viewpoint of the camera;
synthesizing the character with a real-time image being photographed by a real camera, and generating a first augmented reality video for the augmented reality image in which the character continuously performs the plurality of motions in the real-time image; and
For an augmented reality image in which the character and one or more separate characters separate from the character are synthesized into a real-time image being photographed by a real camera, and the character and the one or more separate characters continuously perform the plurality of motions in the real-time image generating a second augmented reality video;
In the step of applying motion blending to the plurality of motions,
controlling the motion of each clip so that the finishing posture of the previous clip and the starting posture of the next clip of the character in two adjacent clips coincide,
In the step of applying the viewpoint of the camera,
When the camera is set to the first position at a first time and set to a second position at a second time, the position of the camera from the first position to the second position during the second time at the first time change slowly,
In the step of generating the first augmented reality video or generating the second augmented reality video,
A video production method for arranging a performance stage, which is an object for augmented reality, on a real floor surface, and arranging the character on an upper surface of the performance stage rather than an actual floor surface.
상기 제1레이어에 상기 캐릭터의 각 동작을 배치하는 단계에서,
각 클립마다 상기 캐릭터에 대한 하나의 동작이 완료되도록 상기 클립을 설정하되, 상기 클립의 길이에 따라 상기 동작의 속도를 조절하여 슬로우 모션 혹은 패스트 모션을 구현하는 동영상제작방법.According to claim 1,
In the step of arranging each motion of the character on the first layer,
A video production method for implementing slow motion or fast motion by setting the clip so that one motion for the character is completed for each clip, and adjusting the speed of the motion according to the length of the clip.
상기 동영상을 생성하는 단계에서,
음향을 더 결합시켜 상기 동영상을 생성하는 동영상제작방법.According to claim 1,
In the step of creating the video,
A video production method for generating the video by further combining sound.
상기 제1 증강 현실 동영상을 생성하는 단계 이전에,
상기 실시간 영상의 배경 중에서 크로마키 색상을 가지는 배경 부분에 특정 이미지를 합성하는 단계를 더 포함하는 동영상제작방법.The method of claim 1,
Before generating the first augmented reality video,
The video production method further comprising the step of synthesizing a specific image with a background portion having a chroma key color among the background of the real-time video.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190009901 | 2019-01-25 | ||
| KR20190009901 | 2019-01-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200092893A KR20200092893A (en) | 2020-08-04 |
| KR102337020B1 true KR102337020B1 (en) | 2021-12-08 |
Family
ID=72048976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200009117A KR102337020B1 (en) | 2019-01-25 | 2020-01-23 | Augmented reality video production system and method using 3d scan data |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102337020B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102638853B1 (en) * | 2023-04-12 | 2024-02-21 | 블래스트 주식회사 | Method for avoiding interference between body parts of animated character and device thereof |
| KR102638847B1 (en) * | 2023-05-12 | 2024-02-21 | 블래스트 주식회사 | Vector determination method for avoiding interference between body parts of animated character and device thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101909552B1 (en) * | 2017-08-31 | 2018-10-22 | 아이캐스트 주식회사 | 3d scanner and method for 3d scaning |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080246759A1 (en) * | 2005-02-23 | 2008-10-09 | Craig Summers | Automatic Scene Modeling for the 3D Camera and 3D Video |
| WO2017099500A1 (en) * | 2015-12-08 | 2017-06-15 | 스타십벤딩머신 주식회사 | Animation generating method and animation generating device |
-
2020
- 2020-01-23 KR KR1020200009117A patent/KR102337020B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101909552B1 (en) * | 2017-08-31 | 2018-10-22 | 아이캐스트 주식회사 | 3d scanner and method for 3d scaning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200092893A (en) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11206373B2 (en) | Method and system for providing mixed reality service | |
| JP6785282B2 (en) | Live broadcasting method and equipment by avatar | |
| JP6317854B2 (en) | Virtual three-dimensional space generation method, video system, control method thereof, and recording medium readable by computer device | |
| EP3096208B1 (en) | Image processing for head mounted display devices | |
| US20150105889A1 (en) | Cloud 3d model construction system and construction method thereof | |
| CN101946500A (en) | Real time video inclusion system | |
| CN103918011A (en) | Rendering system, rendering server, control method thereof, program, and recording medium | |
| JP2011209887A (en) | Method and program for creating avatar, and network service system | |
| KR102337020B1 (en) | Augmented reality video production system and method using 3d scan data | |
| KR102435185B1 (en) | How to create 3D images based on 360° VR shooting and provide 360° VR contents service | |
| KR101881295B1 (en) | Video system based on layer mixer using augmented reality | |
| CN113646752B (en) | VR live broadcast distribution system, distribution server, control method for distribution server, computer-readable storage medium for distribution server program, and processing method for VR original photograph data | |
| US20220385808A1 (en) | Selfie setup and stock videos creation | |
| JP2020074041A (en) | Imaging device for gaming, image processing device, and image processing method | |
| KR101773891B1 (en) | System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner | |
| CN115379195B (en) | Video generation method, device, electronic equipment and readable storage medium | |
| KR20200028830A (en) | Real-time computer graphics video broadcasting service system | |
| US20210225086A1 (en) | Augmented reality custom face filter | |
| KR101695209B1 (en) | A system and method for composing real-time image and chroma-key Image of subject | |
| KR101843024B1 (en) | System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner | |
| JP2020150289A (en) | Imaging system, imaging apparatus, management device and imaging method | |
| JP7218979B1 (en) | Information processing device, information processing method and program | |
| KR102493140B1 (en) | Online remembrance and funeral service provision system | |
| KR102579892B1 (en) | Apparatus providing guide information based on augmented reality content and method thereof | |
| KR102516780B1 (en) | User upload VR system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |