KR20200028829A - Real-time computer graphics video production system using rig combined virtual camera - Google Patents

Real-time computer graphics video production system using rig combined virtual camera Download PDF

Info

Publication number
KR20200028829A
KR20200028829A KR1020190093568A KR20190093568A KR20200028829A KR 20200028829 A KR20200028829 A KR 20200028829A KR 1020190093568 A KR1020190093568 A KR 1020190093568A KR 20190093568 A KR20190093568 A KR 20190093568A KR 20200028829 A KR20200028829 A KR 20200028829A
Authority
KR
South Korea
Prior art keywords
rig
real
time
virtual camera
motion
Prior art date
Application number
KR1020190093568A
Other languages
Korean (ko)
Other versions
KR102227260B1 (en
Inventor
박관우
우창헌
Original Assignee
(주)위지윅스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)위지윅스튜디오 filed Critical (주)위지윅스튜디오
Publication of KR20200028829A publication Critical patent/KR20200028829A/en
Application granted granted Critical
Publication of KR102227260B1 publication Critical patent/KR102227260B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a real time CG image production system using a rig-combined virtual camera. According to the present invention, the real time CG image production system includes: a real time performance capture part creating capture data by sensing the movement of the face and/or body of an actor in real time; a real time rig-combined virtual camera control part enabling the position of a camera for a CG image to be moved variously by manipulating the movement of a virtual camera and a rig in real time; and a real time CG image rendering part connected to the real time performance capture part and the real time rig-combined virtual camera control part in a wireless or wired way, creating the movement of a character in accordance with the capture data, and creating a CG image seen from the direction and position of the virtual camera. According to the present invention, the real time CG image production system is capable of providing various camera movements satisfying requests from an image production director by using a virtual rig and a virtual camera.

Description

리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템{REAL-TIME COMPUTER GRAPHICS VIDEO PRODUCTION SYSTEM USING RIG COMBINED VIRTUAL CAMERA}Real-time CG video production system using league-coupled virtual cameras {REAL-TIME COMPUTER GRAPHICS VIDEO PRODUCTION SYSTEM USING RIG COMBINED VIRTUAL CAMERA}

본 발명은 실시간 CG 영상 제작 시스템에 관한 것으로, 특히 가상 카메라와 리그를 결합함으로써 다양한 시점에서의 영상 제작이 가능하여 풍성한 화면을 만들 수 있는 실시간 CG 영상 제작 시스템에 관한 것이다.The present invention relates to a real-time CG video production system, and in particular, to a real-time CG video production system capable of producing a rich screen by making a video from various viewpoints by combining a virtual camera and a rig.

실제 영화 촬영에서 감독의 카메라 이동에 대한 요구는 영상미를 위해 크게 요구되고 있으며, 이에 다양한 기구와 기법들이 활용되고 있다. 기존 카메라 조작을 위해 사용되는 대표적인 도구들로는 레일, 크레인, 드론 등을 활용하여 부감 등의 카메라 효과를 얻어낸다. 최종 영상미를 위해서 이러한 리그들은 거의 모든 영화에서 카메라 감독에 의해 익숙하게 활용하고 있다.In actual filming, the director's demand for camera movement is highly demanded for visual beauty, and various mechanisms and techniques are used. As representative tools used for the operation of the existing cameras, rails, cranes, drones, etc. are used to obtain camera effects such as overhead view. For the final visual beauty, these leagues are used familiarly by camera directors in almost every movie.

유튜버와 같이 소규모로 실시간으로 영상을 제공하는 경우에는 장소의 문제로 한 대 혹은 두 대 정도의 카메라를 이용하여 좁은 지역에서 촬영할 수밖에 없어서 멀리서 바라보는 영상이나 다양한 카메라 이동 기술을 활용하는 것 보다는 장소 고정형 혹은 손으로 들고 촬영하는 핸드헬드 형태로 영상을 제작하고 있다.In the case of providing real-time video at a small scale, such as YouTube, it is a matter of location, so it is necessary to shoot in a small area using one or two cameras, so rather than using a video viewed from a distance or various camera movement technologies The video is produced in the form of a fixed or handheld handheld.

본 발명과 관련된 실시간 CG 영상 제작 시스템은 주로 모션캡처 시스템이 구비된 조그만 방안에서 이루어지고 실제 렌즈에 의한 카메라가 아닌 카메라의 위치와 방향 정보만을 활용하는 가상 카메라를 활용하고 있어, 현실에서의 촬영과 같이 가상의 리그를 만들어 활용할 수 있어 촬영 환경과 유사한 영상을 얻을 수 있어 다양한 방법으로 활용될 수 있다.The real-time CG image production system related to the present invention is mainly made in a small room equipped with a motion capture system, and utilizes a virtual camera that utilizes only the position and orientation information of the camera, not the camera by an actual lens. Likewise, a virtual rig can be created and utilized, so images similar to the shooting environment can be obtained and used in various ways.

이와 관련하여, 한국등록특허 제10-1873026호는, 일 영역에 카메라가 결합되는 복수 개의 지지부; 상기 복수 개의 지지부 각각에 구비되어 상기 카메라를 고정하는 복수 개의 카메라 고정부; 상기 복수 개의 지지부의 각 전방에 결합되고, 상기 복수 개의 지지부 간의 전방측 횡방향 거리가 가변하도록 하는 제1 위치 조절부; 상기 복수 개의 지지부의 각 후방에 결합되고, 상기 복수 개의 지지부 간의 후방측 횡방향 거리가 가변하도록 하는 제2 위치 조절부; 상기 제1 및 제2 위치 조절부는 신축 집게 구조(Lazy tongs mechanism)로 형성되고, 상기 신축 집게 구조는 복수의 링크를 포함하며, 상기 복수의 링크는 서로 다른 링크간의 결합지점에 각각 축이 형성되고, 상기 지지부의 전단부 및 후단부의 상방 및 하방에 각각 배치되는 복수의 패널로 구성되고, 상기 복수의 패널 각각에는 상하방향으로 연장된 슬라이딩 장공이 형성되는 제2 결합수단;을 더 포함하며, 상기 제1 및 제2 위치 조절부는 상기 지지부의 상방 및 하방에 위치된 축이 상기 지지부에서 상기 전단부 및 후단부의 상방 및 하방에 배치된 상기 패널의 상기 슬라이딩 장공에 각각 결합되며, 상기 제1 위치 조절부 및 제2 위치 조절부의 횡방향 길이를 서로 다르게 제어할 수 있는 제어부;를 더 포함하고, 상기 제1 및 제2 위치 조절부는 탄성을 갖는 물질로 마련되어 각각의 횡방향 거리가 서로 다르게 제어됨으로써 만곡하게 휘어지는 다시점 영상 촬영용 카메라 리그 장치를 개시하고 있다.In this regard, Korean Registered Patent No. 10-1873026 includes a plurality of support portions to which a camera is coupled to an area; A plurality of camera fixing parts provided on each of the plurality of supporting parts to fix the camera; A first position adjusting unit coupled to each front side of the plurality of support portions and allowing a front side lateral distance between the plurality of support portions to vary; A second position adjusting unit coupled to each rear portion of the plurality of supporting portions and allowing a rear side lateral distance between the plurality of supporting portions to vary; The first and second position adjusting units are formed of a lazy tongs mechanism, the telescopic tongs structure includes a plurality of links, and the plurality of links each have an axis formed at a coupling point between different links. , It is composed of a plurality of panels that are respectively disposed above and below the front end and the rear end of the support portion, and each of the plurality of panels includes a second engaging means in which sliding long holes extending in the vertical direction are formed; The first and second position adjusting units are coupled to the sliding long holes of the panel disposed above and below the front end and the rear end of the shaft in the shafts positioned above and below the support, respectively. A control unit capable of differently controlling the lateral lengths of the second and second position adjusting units; and further comprising the first and second position adjusting units made of an elastic material. Is relevant discloses a respective lateral distance from each other is different from control by being bent curved back-view image shooting camera rig equipment.

그러나, 이는 현실 세계를 촬영하여 제작되는 드라마나 영화에는 적용될 수 있지만, 이를 이용하여 실시간 CG 영상을 제작하기는 한계가 있다.However, this can be applied to a drama or movie produced by shooting the real world, but there is a limit to producing a real-time CG image using it.

한국등록특허공보 제10-1873026호(2018.06.25.)Korean Registered Patent Publication No. 10-1873026 (2018.06.25.)

본 발명은 가상 카메라가 다양한 리그와 결합되어 효과적으로 움직일 수 있게 하고, 가상 카메라에서 촬영된 다양한 시점의 영상을 이용하여 실시간 CG 영상을 제작함으로써 화려하고 다이나믹한 CG 영상 제작이 가능한 실시간 CG 영상 제작 시스템을 제공하고자 한다.The present invention provides a real-time CG video production system capable of producing a colorful and dynamic CG video by enabling a virtual camera to effectively move in combination with various rigs, and producing real-time CG video using images from various viewpoints captured by the virtual camera. Want to provide.

상기의 목적을 달성하기 위하여 본 발명에 따른 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템은,In order to achieve the above object, a real-time CG video production system using a rig-coupled virtual camera according to the present invention,

실시간으로 연기자의 얼굴 및/또는 몸의 움직임을 센싱하여 캡처 데이터를 생성하는 실시간 퍼포먼스 캡처부와;A real-time performance capture unit that senses the movement of the performer's face and / or body in real time to generate capture data;

실시간으로 리그와 가상 카메라의 움직임을 조작하여 CG 영상의 카메라의 위치를 다양하게 움직일 수 있도록 하는 실시간 리그 결합형 가상 카메라 제어부; 및A real-time rig-coupled virtual camera control unit capable of manipulating the movement of the rig and the virtual camera in real time to variously move the position of the camera of the CG image; And

상기 실시간 퍼포먼스 캡처부 및 상기 실시간 리그 결합형 가상 카메라 제어부와 무선 또는 유선으로 각각 연결되며, 캡처 데이터에 따라 캐릭터의 움직임을 생성하고, 가상 카메라의 위치와 방향에서 본 CG 영상을 생성하는 실시간 CG 영상 렌더링부를 포함하는 점에 그 특징이 있다.The real-time CG image that is connected to the real-time performance capture unit and the real-time rig-coupled virtual camera control unit wirelessly or by wire, generates a character movement according to the captured data, and generates a CG image viewed from the position and direction of the virtual camera. The feature is that it includes a rendering unit.

여기서, 상기 실시간 퍼포먼스 캡처부는 얼굴의 움직임을 측정하는 센서로부터 얼굴의 움직임 정보를 추출하는 실시간 얼굴모션 캡처부와; 몸동작을 실시간으로 측정하는 센서로부터 몸의 움직임 정보를 추출하는 실시간 몸동작 모션 캡처부로 구성될 수 있다.Here, the real-time performance capture unit and a real-time face motion capture unit for extracting the motion information of the face from the sensor for measuring the movement of the face; It may be configured as a real-time body motion motion capture unit that extracts body motion information from a sensor that measures body motion in real time.

또한, 상기 실시간 리그 결합형 가상 카메라 제어부는 가상 리그의 종류에 따라 레일의 경우 1차원(1차원 변위)으로, 크레인의 경우 3차원(3차원 위치)으로, 드론의 경우 6차원(3차원 위치, 3방향 회전)의 자유도로 제어 가능한 가상 리그 모션 제어부와; 가상 리그에 연결되어 추가적인 카메라의 모션(상하좌우로 회전)을 할 수 있도록 제어하는 가상 카메라 모션 제어부로 구성될 수 있다. In addition, the real-time rig-coupled virtual camera control unit is one-dimensional (one-dimensional displacement) for rails, three-dimensional (three-dimensional position) for cranes, and six-dimensional (three-dimensional position) for drones, depending on the type of virtual rig. , 3-way rotation) and a virtual rig motion control unit capable of controlling the degree of freedom; It may be configured as a virtual camera motion control unit connected to the virtual rig to control additional camera motion (rotating up, down, left, and right).

또한, 상기 실시간 CG 영상 렌더링부는, 상기 실시간 퍼포먼스 캡처부에서 전송된 캡처 데이터를 활용하여 캐릭터의 얼굴과 몸의 움직임을 시뮬레이션하는 캐릭터 렌더링부와; 3차원 배경 환경을 시뮬레이션하는 배경 렌더링부와; 상기 가상 리그 모션 제어부에서 측정된 가상 리그의 모션 데이터를 3차원 맵 상에서의 위치 및 방향값의 움직임으로 변환하는 가상 리그 움직임 계산부와; 상기 가상 카메라 모션 제어부에서 측정된 회전 데이터를 가상 리그 움직임 계산부에서 미리 계산된 가상 리그의 움직임 정보와 결합하여 최종 가상 카메라의 움직임으로 계산하는 가상 카메라 움직임 계산부; 및 상기 캐릭터 렌더링부에서 그려지는 캐릭터 영상과 배경 랜더링부에서 그려지는 배경 영상, 그리고 가상카메라 움직임 계산부에서 계산되는 최종 가상 카메라의 위치와 방향에서 보여지는 최종 CG 영상을 생성하는 통합 렌더링부로 구성될 수 있다.In addition, the real-time CG image rendering unit, character rendering unit for simulating the movement of the face and body of the character by using the captured data transmitted from the real-time performance capture unit; A background rendering unit simulating a 3D background environment; A virtual rig motion calculator for converting motion data of the virtual rig measured by the virtual rig motion controller into motion of position and direction values on a 3D map; A virtual camera motion calculator that combines rotation data measured by the virtual camera motion controller with motion information of a virtual rig pre-calculated by the virtual rig motion calculator to calculate a motion of the final virtual camera; And an integrated rendering unit that generates a character image drawn in the character rendering unit, a background image drawn in the background rendering unit, and a final CG image shown in the position and direction of the final virtual camera calculated by the virtual camera motion calculation unit. You can.

또한, 상기 실시간 퍼포먼스 캡처부는 얼굴 모션, 몸동작 모션 중 적어도 하나의 동작을 캡처하여 시뮬레이션할 수 있다.In addition, the real-time performance capture unit may capture and simulate at least one of a face motion and a body motion motion.

또한, 상기 실시간 CG 영상 렌더링부에서 결합되는 리그는 레일 리그에 해당하는 것일 수 있다.Also, the rig combined in the real-time CG image rendering unit may correspond to a rail rig.

또한, 상기 실시간 CG 영상 렌더링부에서 결합되는 리그는 크레인 리그에 해당하는 것일 수 있다.Further, the rig combined in the real-time CG image rendering unit may correspond to a crane rig.

또한, 상기 실시간 CG영상 렌더링부에서 결합되는 리그는 드론 리그에 해당하는 것일 수 있다.Also, the rig combined in the real-time CG image rendering unit may correspond to a drone league.

또한, 상기 실시간 CG영상 렌더링부에서 결합되는 리그가 캐릭터와 일정 거리 및 방향에 있어 항상 캐릭터를 향할 수 있도록 배치된 리그에 해당하는 것일 수 있다.In addition, the rig combined in the real-time CG image rendering unit may correspond to a rig that is arranged to always face the character at a certain distance and direction from the character.

이와 같은 본 발명에 의하면, 실시간 CG 영상 제작 시스템에서 가상 리그와 가상 카메라를 이용하여 영상 제작 감독의 요구에 맞는 다양한 카메라 무브먼트가 제공될 수 있다.According to the present invention, various camera movements suitable for the needs of a video production director can be provided using a virtual rig and a virtual camera in a real-time CG video production system.

도 1은 본 발명에 따른 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템에서 가상 카메라와 결합하여 사용할 수 있는 리그 종류를 나타낸 도면이다.
도 3은 가상 리그 조작 제어기의 일 예를 나타낸 도면이다.
도 4는 레일 리그 활용에 따른 영상의 효과를 나타낸 도면이다.
도 5는 크레인 리그 활용에 따른 영상의 효과를 나타낸 도면이다.
도 6a 및 도 6b는 드론 리그 활용에 따른 영상의 효과를 나타낸 도면이다.1 is a view schematically showing the configuration of a real-time CG image production system using a rig-coupled virtual camera according to the present invention.
2 is a view showing a type of rig that can be used in combination with a virtual camera in a real-time CG video production system utilizing a rig-coupled virtual camera according to the present invention.
3 is a view showing an example of a virtual rig operation controller.
4 is a view showing the effect of the video according to the use of the rail rig.
5 is a view showing the effect of the video according to the utilization of the crane rig.
6A and 6B are diagrams showing the effect of an image according to the use of a drone rig.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.The terms or words used in the present specification and claims should not be interpreted as being limited to a conventional or lexical meaning, and the inventor can appropriately define the concept of terms in order to best describe his or her invention. Based on the principles, it should be interpreted as meanings and concepts consistent with the technical spirit of the present invention.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part “includes” a certain component, this means that other components may be further included rather than excluding other components unless specifically stated to the contrary. In addition, terms such as “… unit”, “… group”, “module”, and “device” described in the specification mean a unit that processes at least one function or operation, which is hardware or software or a combination of hardware and software. Can be implemented as

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템의 구성을 개략적으로 나타낸 도면이다.1 is a diagram schematically showing the configuration of a real-time CG image production system using a rig-coupled virtual camera according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템(100)은 실시간 퍼포먼스 캡처부(110), 실시간 리그 결합형 가상 카메라 제어부(120) 및 실시간 CG 영상 렌더링부(130)를 포함하여 구성된다.Referring to FIG. 1, a real-time CG image production system 100 using a rig-coupled virtual camera according to the present invention includes a real-time performance capture unit 110, a real-time rig-coupled virtual camera control unit 120, and real-time CG image rendering. It comprises a portion 130.

실시간 퍼포먼스 캡처부(110)는 실시간으로 연기자의 얼굴 및/또는 몸의 움직임을 센싱하여 캡처 데이터를 생성한다. 퍼포먼스 캡처 장비로는 Faceware, VICON, Optitrack, XSens 등이 사용될 수 있으며, 일반적인 영상처리 방법으로 제작 가능하다. 퍼포먼스 캡처 장비를 통해 추출된 얼굴 및 몸동작 캡처 데이터를 활용하여 실시간 CG 영상 렌더링부(130)의 캐릭터 렌더링부(131)에서 해당되는 CG 캐릭터의 움직임을 만들어낸다. 또한, 이상과 같은 실시간 퍼포먼스 캡처부(110)는 얼굴 모션, 몸동작 모션 중 적어도 하나의 동작을 캡처하여 시뮬레이션할 수 있다.The real-time performance capture unit 110 senses the movement of the performer's face and / or body in real time to generate capture data. Faceware, VICON, Optitrack, XSens, etc. can be used as a performance capture device, and can be produced by general image processing methods. The movement of the corresponding CG character is generated by the character rendering unit 131 of the real-time CG image rendering unit 130 by using the facial and body motion capture data extracted through the performance capture device. In addition, the real-time performance capture unit 110 as described above may capture and simulate at least one of a face motion and a body motion motion.

실시간 리그 결합형 가상 카메라 제어부(120)는 실시간으로 리그와 가상 카메라의 움직임을 조작하여 CG 영상의 카메라의 위치를 다양하게 움직일 수 있도록 한다. 즉, 3차원 맵에서의 카메라의 위치를 조작하기 위해 리그 조작 제어기(300)(도 3 참조)의 움직임과 가상카메라의 모션 정보를 추출하여 실시간 CG 영상 렌더링부(130)로 전송한다.The real-time rig-coupled virtual camera controller 120 manipulates the movement of the rig and the virtual camera in real time to move the position of the camera of the CG image in various ways. That is, in order to manipulate the position of the camera in the 3D map, the motion of the rig manipulation controller 300 (see FIG. 3) and motion information of the virtual camera are extracted and transmitted to the real-time CG image rendering unit 130.

실시간 CG 영상 렌더링부(130)는 상기 실시간 퍼포먼스 캡처부(110) 및 상기 실시간 리그 결합형 가상 카메라 제어부(120)와 무선 또는 유선으로 각각 연결되며, 캡처 데이터에 따라 캐릭터의 움직임을 생성하고, 가상 카메라의 위치와 방향에서 본 CG 영상을 생성한다. 즉, 실시간 CG 영상 렌더링부(130)는 실시간 퍼포먼스 캡처부(110)로부터 전송된 캡처 데이터와 실시간 리그결합형 가상카메라 제어부(120)에서 전송된 리그 모션 데이터 및 가상카메라 모션데이터를 활용하여 렌더링할 가상 카메라의 위치를 결정하고, 내부 배경 데이터를 활용하여 통합적으로 CG 영상을 생성한다.The real-time CG image rendering unit 130 is connected to the real-time performance capture unit 110 and the real-time rig-coupled virtual camera control unit 120 wirelessly or wired, and generates character movements according to the captured data, Generates a CG image viewed from the camera's position and orientation. That is, the real-time CG image rendering unit 130 renders using the captured data transmitted from the real-time performance capture unit 110 and the rig motion data and the virtual camera motion data transmitted from the real-time rig-coupled virtual camera control unit 120. The location of the virtual camera is determined, and the internal background data is used to generate an integrated CG image.

여기서, 상기 실시간 퍼포먼스 캡처부(110)는 얼굴의 움직임을 측정하는 센서로부터 얼굴의 움직임 정보를 추출하는 실시간 얼굴모션 캡처부(111)와; 몸동작을 실시간으로 측정하는 센서로부터 몸의 움직임 정보를 추출하는 실시간 몸동작 모션 캡처부(112)로 구성될 수 있다. 얼굴의 움직임을 측정하는 센서로는 Faceware 등의 상용 제품이 사용될 수 있으며, 영상 처리 기법을 이용하여 직접 제작할 수도 있다. 또한, 몸의 움직임을 측정하는 센서로는 Vicon, Optitrack, XSens 등의 상용 제품이 사용될 수 있으며, 일반적인 광학 기법이나 관성식 센서 기술을 활용하여 제작할 수도 있다. 얼굴과 몸의 캡처 데이터는 실시간 CG 영상 렌더링부(130)에 전송되어 캐릭터의 움직임을 생성하는데 사용된다. Here, the real-time performance capture unit 110 includes a real-time face motion capture unit 111 for extracting motion information of the face from a sensor for measuring the motion of the face; It may be configured as a real-time body motion motion capture unit 112 for extracting body motion information from a sensor that measures the body motion in real time. As a sensor for measuring the movement of the face, commercial products such as Faceware may be used, or may be directly manufactured using image processing techniques. In addition, commercial sensors such as Vicon, Optitrack, XSens, etc. can be used as sensors to measure the movement of the body, and can also be manufactured using general optical techniques or inertial sensor technology. The captured data of the face and body is transmitted to the real-time CG image rendering unit 130 and is used to generate character movement.

또한, 상기 실시간 리그 결합형 가상 카메라 제어부(120)는 가상 리그의 종류에 따라 레일의 경우 1차원(1차원 변위)으로, 크레인의 경우 3차원(3차원 위치)으로, 드론의 경우 6차원(3차원 위치, 3방향 회전)의 자유도로 제어 가능한 가상 리그 모션 제어부(121)와; 가상 리그에 연결되어 추가적인 카메라의 모션(상하좌우로 회전)을 할 수 있도록 제어하는 가상 카메라 모션 제어부(122)로 구성될 수 있다. 여기서, 가상 리그 모션 제어부(120)에서 측정된 가상 리그의 모션 데이터는 실시간 CG 영상 렌더링부(130)의 가상리그 움직임 계산부(133)에서 3차원 맵 상에서의 위치 및 방향값의 움직임으로 변환된다. 가상 리그의 모션을 제어하기 위해서 많이 사용되는 게임 컨트롤러를 리그 조작 제어기(300)로 활용할 수 있다. 각각의 게임 컨트롤러의 각각의 버튼들은 전,후 및 상하좌우 등 다양한 방향으로의 움직임을 제어하는데 최적의 기능을 보여준다. 또한, 가상 카메라 모션 제어부(122)의 회전값을 측정하는 방법은 가상 카메라로 사용되는 장치에 부착된 관성 및 자이로센서에 의해 회전값을 측정하는 방법과 VIVE 시스템의 트래커와 같이 부가적인 위치 및 방향 측정센서를 활용하여 구성할 수 있다. 가상 카메라 모션 제어부(122)에서 측정된 회전 데이터는 실시간 CG 영상 렌더링부(130)의 가상 카메라 움직임 계산부(134)에서 미리 계산된 가상 리그의 움직임 정보와 결합되어 최종 가상 카메라의 움직임으로 계산된다.In addition, the real-time rig-coupled virtual camera control unit 120 is one-dimensional (one-dimensional displacement) for a rail, three-dimensional (three-dimensional position) for a crane, or six-dimensional for a drone (depending on the type of the virtual rig). A virtual rig motion control unit 121 capable of controlling a degree of freedom in 3D position and rotation in 3 directions; It may be configured as a virtual camera motion control unit 122 that is connected to the virtual rig and controls to allow additional camera motion (rotating up, down, left, and right). Here, the motion data of the virtual rig measured by the virtual rig motion control unit 120 is converted into motion of a position and direction value on a 3D map by the virtual league motion calculation unit 133 of the real-time CG image rendering unit 130. . In order to control the motion of the virtual rig, a game controller that is frequently used may be utilized as the rig operation controller 300. Each button of each game controller shows the optimal function to control movement in various directions such as front, back, up, down, left, and right. In addition, the method for measuring the rotation value of the virtual camera motion control unit 122 is a method for measuring the rotation value by the inertial and gyro sensors attached to a device used as a virtual camera, and additional positions and directions, such as a tracker of the VIVE system. It can be configured by using a measuring sensor. The rotation data measured by the virtual camera motion control unit 122 is combined with the motion information of the virtual rig previously calculated by the virtual camera motion calculation unit 134 of the real-time CG image rendering unit 130 and calculated as the final virtual camera motion. .

또한, 상기 실시간 CG 영상 렌더링부(130)는, 실시간 퍼포먼스 캡처부에서 전송된 캡처 데이터를 활용하여 캐릭터의 얼굴과 몸의 움직임을 시뮬레이션하는 캐릭터 렌더링부(131)와; 3차원 배경 환경을 시뮬레이션하는 배경 렌더링부(132)와; 가상 리그 모션 제어부에서 측정된 가상 리그의 모션 데이터를 3차원 맵 상에서의 위치 및 방향값의 움직임으로 변환하는 가상 리그 움직임 계산부(133)와; 가상 카메라 모션 제어부에서 측정된 회전 데이터를 가상 리그 움직임 계산부에서 미리 계산된 가상 리그의 움직임 정보와 결합하여 최종 가상 카메라의 움직임으로 계산하는 가상 카메라 움직임 계산부(134); 및 상기 캐릭터 렌더링부에서 그려지는 캐릭터 영상과 배경 랜더링부에서 그려지는 배경 영상, 그리고 가상카메라 움직임 계산부에서 계산되는 최종 가상 카메라의 위치와 방향에서 보여지는 최종 CG 영상을 생성하는 통합 렌더링부(135)로 구성될 수 있다.In addition, the real-time CG image rendering unit 130, a character rendering unit 131 that simulates the movement of the face and body of the character by using the captured data transmitted from the real-time performance capture unit; A background rendering unit 132 that simulates a 3D background environment; A virtual rig motion calculator 133 for converting motion data of the virtual rig measured by the virtual rig motion controller into motion of position and direction values on a 3D map; A virtual camera motion calculator 134 for combining the rotation data measured by the virtual camera motion controller with motion information of the virtual rig pre-calculated by the virtual rig motion calculator to calculate the motion of the final virtual camera; And an integrated rendering unit (135) for generating a character image drawn in the character rendering unit, a background image drawn in the background rendering unit, and a final CG image shown in the position and direction of the final virtual camera calculated by the virtual camera motion calculation unit. ).

또한, 상기 실시간 CG 영상 렌더링부(130)에서 결합되는 리그는 레일 리그에 해당하는 것일 수 있다. 또한, 상기 실시간 CG 영상 렌더링부(130)에서 결합되는 리그는 크레인 리그에 해당하는 것일 수 있다. 또한, 상기 실시간 CG영상 렌더링부(130)에서 결합되는 리그는 드론 리그에 해당하는 것일 수 있다. 또한, 상기 실시간 CG영상 렌더링부(130)에서 결합되는 리그가 캐릭터와 일정 거리 및 방향에 있어 항상 캐릭터를 향할 수 있도록 배치된 리그에 해당하는 것일 수 있다.In addition, the rig combined in the real-time CG image rendering unit 130 may correspond to a rail rig. In addition, the rig combined in the real-time CG image rendering unit 130 may correspond to a crane rig. In addition, the rig combined in the real-time CG image rendering unit 130 may correspond to a drone league. In addition, the rig combined in the real-time CG image rendering unit 130 may correspond to a rig arranged to always face the character at a certain distance and direction from the character.

한편, 도 2는 본 발명에 따른 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템에서 가상 카메라와 결합하여 사용할 수 있는 리그 종류를 나타낸 도면이다.On the other hand, Figure 2 is a view showing a type of rig that can be used in combination with a virtual camera in a real-time CG video production system using a rig-coupled virtual camera according to the present invention.

도 2를 참조하면, 가상 리그에는 현실 세계에서 많이 사용되는 레일 리그, 크레인 리그, 드론 리그 등이 있으며, 기타 움직이는 모든 물체에 리그를 부착할 수 있다. Referring to FIG. 2, virtual rigs include rail rigs, crane rigs, and drone rigs that are frequently used in the real world, and rigs can be attached to all other moving objects.

도 3은 가상 리그 조작 제어기의 일 예를 나타낸 도면이다. 3 is a view showing an example of a virtual rig operation controller.

도 3에 도시된 바와 같이, 가상 리그 조작 제어기(300)는 게임기에 많이 사용되는 버튼이 많이 있는 Xbox용 게임 컨트롤러를 활용하였으며, 이 제어기를 통해 상하좌우, 앞뒤 이동과 롤(roll), 피치(pitch), 요(yaw)의 회전이 제어 가능하다.As shown in FIG. 3, the virtual rig operation controller 300 utilized an Xbox game controller having a lot of buttons that are frequently used in game machines, and through this controller, up, down, left, and right, forward and backward movement, roll, and pitch ( pitch, yaw rotation can be controlled.

도 4는 레일 리그 활용에 따른 영상의 효과를 나타낸 도면이다.4 is a view showing the effect of the video according to the use of the rail rig.

도 4를 참조하면, 레일 리그의 경우 1차원으로 이동하는 리그로서 x축으로 이동한다고 가정할 경우, 최종 가상 카메라의 위치(X_cameraF)는 레일의 위치(X_rail)에 가상 카메라의 위치가 이동하는 경우이다. 여기에 가상 카메라 조작에 해당하는 롤, 피치, 요 값을 통해 레일위를 이동하면서 다양한 방향으로 촬영하는 영상 제작이 가능하다. 도 4에서 레일 이동 전의 영상(A)과 레일 이동 후의 영상(B)을 보여준다. 영상을 보았을 때 앞으로 이동했음을 알 수 있다.Referring to FIG. 4, in the case of the rail rig, assuming that the rig moves in one dimension and moves in the x-axis, the position of the final virtual camera (X_cameraF) is the position of the virtual camera in the position of the rail (X_rail) to be. Here, it is possible to produce an image that shoots in various directions while moving on the rail through the roll, pitch, and yaw values corresponding to the virtual camera operation. In Fig. 4, the image A before the rail movement and the image B after the rail movement are shown. When you watch the video, you can see that it has moved forward.

도 5는 크레인 리그 활용에 따른 영상의 효과를 나타낸 도면이다. 5 is a view showing the effect of the video according to the utilization of the crane rig.

도 5를 참조하면, 크레인 리그의 경우 3차원으로 이동하는 리그로서 크레인의 3차원 위치를 (X_crane, Y_crane, Z_crane)이라고 할 때, 최종 가상 카메라의 위치(X_cameraF, Y_cameraF, Z_cameraF)는 크레인의 위치와 동일하게 이동하게 된다. 여기에 가상 카메라 조작에 해당하는 롤, 피치, 요 값을 통해 크레인 위를 이동하면서 다양한 방향으로 촬영하는 영상 제작이 가능하다. 도 5에서 크레인 이동 전의 영상(A)과 부감 영상을 위해 레일을 상방향 대각선으로 이동하는 중의 영상(B), 그리고 이동 후의 영상(C)을 보면 어떻게 크레인이 동작하는지를 알 수 있다. Referring to FIG. 5, in the case of a crane rig, when the three-dimensional position of the crane is (X_crane, Y_crane, Z_crane) as a rig moving in three dimensions, the position of the final virtual camera (X_cameraF, Y_cameraF, Z_cameraF) is the position of the crane And move in the same way. Here, it is possible to produce an image that shoots in various directions while moving on the crane through roll, pitch, and yaw values corresponding to the operation of the virtual camera. In FIG. 5, the image (A) before moving the crane, the image (B) while moving the rail diagonally upward for the overhead image, and the image (C) after the movement show how the crane operates.

도 6a 및 도 6b는 드론 리그 활용에 따른 영상의 효과를 나타낸 도면이다. 6A and 6B are diagrams showing the effect of an image according to the use of a drone rig.

도 6a 및 도 6b를 참조하면, 드론 리그의 경우 6차원의 자유도를 가지고 이동하는 리그로서 드론의 3차원 위치를 (X_drone, Y_drone, Z_drone), 3차원 각도를 (Roll_drone, Yaw_drone, Pitch_drone)이라고 할 때, 최종 가상 카메라의 위치(X_cameraF, Y_cameraF, Z_cameraF)는 드론의 위치와 동일하게 이동하고, 최종 카메라의 방향(Roll_cameraF, Yaw_cameraF, Pitch_cameraF)는 드론의 3차원 각도값에 카메라의 3차원 각도값(Roll_camera, Yaw_camera, Pitch_camera)을 더해준 값이 된다. 3차원 각도값의 더하기는 많이 알려져 있는 쿼터니언을 활용하여 쉽게 구할 수 있다.6A and 6B, in the case of a drone league, a 3D position of a drone (X_drone, Y_drone, Z_drone), and a 3D angle (Roll_drone, Yaw_drone, Pitch_drone) as a league moving with 6-dimensional degrees of freedom At this time, the position of the final virtual camera (X_cameraF, Y_cameraF, Z_cameraF) moves the same as the position of the drone, and the direction of the final camera (Roll_cameraF, Yaw_cameraF, Pitch_cameraF) is the 3D angle value of the camera to the 3D angle value of the drone ( It becomes the value that added Roll_camera, Yaw_camera, Pitch_camera). Addition of 3D angular values can be easily obtained by using a well-known quaternion.

도 6a 및 도 6b에 도시된 바와 같이, 드론을 좌로 기울인 영상(A), 드론을 기울이지 않은 영상(B), 우로 기술인 영상(C), 드론을 앞으로 기울인 영상(D), 드론을 기울이지 않은 영상(E), 드론을 위로 기울인 영상(F), 드론을 왼쪽으로 돌린 영상(G), 드론을 돌리지 않은 영상(H), 드론을 오른쪽으로 돌린 영상(I)의 모습을 각각 볼 수 있다. 이 예에서 볼 수 있듯이 다양한 방법으로 카메라의 위치와 방향을 조작할 수 있음을 알 수 있다.6A and 6B, an image in which the drone is tilted to the left (A), an image in which the drone is not tilted (B), an image in which the drone is tilted (C), an image in which the drone is tilted forward (D), and an image in which the drone is not tilted (E), the image with the drone tilted up (F), the image with the drone rotated to the left (G), the image with the drone not rotated (H), and the image with the drone rotated to the right (I) can be seen, respectively. As you can see from this example, it can be seen that the camera's position and orientation can be manipulated in various ways.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.As described above, the present invention has been described in detail through preferred embodiments, but the present invention is not limited thereto, and various modifications and applications can be made without departing from the spirit of the present invention. It is obvious to the technician. Therefore, the true scope of protection of the present invention should be interpreted by the following claims, and all technical spirits within the equivalent scope should be interpreted as being included in the scope of the present invention.

100: 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템
110: 실시간 퍼포먼스 캡처부 111: 실시간 얼굴 모션 캡처부
112: 실시간 몸동작 모션 캡처부
120: 실시간 리그 결합형 가상 카메라 제어부
121: 가상 리그 모션 제어부 122: 가상 카메라 모션 제어부
130: 실시간 CG 영상 렌더링부 131: 캐릭터 렌더링부
132: 배경 렌더링부 133: 가상 리그 움직임 계산부
134: 가상 카메라 움직임 계산부 135: 통합 렌더링부
300: 리그 조작 제어기100: Real-time CG video production system using league-coupled virtual camera
110: real-time performance capture unit 111: real-time face motion capture unit
112: real-time body motion motion capture unit
120: real-time rig combination virtual camera control
121: virtual rig motion control 122: virtual camera motion control
130: real-time CG image rendering unit 131: character rendering unit
132: background rendering unit 133: virtual league motion calculation unit
134: virtual camera motion calculation unit 135: integrated rendering unit
300: rig operation controller

Claims (9)

실시간으로 연기자의 얼굴 및/또는 몸의 움직임을 센싱하여 캡처 데이터를 생성하는 실시간 퍼포먼스 캡처부와;
실시간으로 리그와 가상 카메라의 움직임을 조작하여 CG 영상의 카메라의 위치를 다양하게 움직일 수 있도록 하는 실시간 리그 결합형 가상 카메라 제어부; 및
상기 실시간 퍼포먼스 캡처부 및 상기 실시간 리그 결합형 가상 카메라 제어부와 무선 또는 유선으로 각각 연결되며, 캡처 데이터에 따라 캐릭터의 움직임을 생성하고, 가상 카메라의 위치와 방향에서 본 CG 영상을 생성하는 실시간 CG 영상 렌더링부를 포함하는 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템.
A real-time performance capture unit that senses the movement of the performer's face and / or body in real time to generate capture data;
A real-time rig-coupled virtual camera control unit capable of manipulating the movement of the rig and the virtual camera in real time to variously move the position of the camera of the CG image; And
The real-time CG image that is connected to the real-time performance capture unit and the real-time rig-coupled virtual camera control unit wirelessly or by wire, generates a character movement according to the captured data, and generates a CG image viewed from the position and direction of the virtual camera. Real-time CG video production system using a rig-coupled virtual camera including a rendering unit.
제1항에 있어서,
상기 실시간 퍼포먼스 캡처부는,
얼굴의 움직임을 측정하는 센서로부터 얼굴의 움직임 정보를 추출하는 실시간 얼굴모션 캡처부와;
몸동작을 실시간으로 측정하는 센서로부터 몸의 움직임 정보를 추출하는 실시간 몸동작 모션 캡처부로 구성된 것을 특징으로 하는 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템.According to claim 1,
The real-time performance capture unit,
A real-time face motion capture unit that extracts face motion information from a sensor that measures face motion;
A real-time CG video production system using a rig-coupled virtual camera, characterized by consisting of a real-time body motion motion capture unit that extracts body motion information from sensors that measure body motion in real time. 제1항에 있어서,
상기 실시간 리그 결합형 가상 카메라 제어부는,
가상 리그의 종류에 따라 레일의 경우 1차원(1차원 변위)으로, 크레인의 경우 3차원(3차원 위치)으로, 드론의 경우 6차원(3차원 위치, 3방향 회전)의 자유도로 제어 가능한 가상 리그 모션 제어부와;
가상 리그에 연결되어 추가적인 카메라의 모션(상하좌우로 회전)을 할 수 있도록 제어하는 가상 카메라 모션 제어부로 구성된 것을 특징으로 하는 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템.
According to claim 1,
The real-time league-coupled virtual camera control unit,
Depending on the type of the virtual rig, the rail can be controlled with one degree of freedom (one-dimensional displacement), three-dimensional (three-dimensional position) for cranes, and six-dimensional (three-dimensional position, three-way rotation) for drones. A rig motion control unit;
A real-time CG video production system using a rig-coupled virtual camera that is connected to a virtual rig and consists of a virtual camera motion control unit that controls additional camera motion (rotating up, down, left, and right).
제3항에 있어서,
상기 실시간 CG 영상 렌더링부는,
상기 실시간 퍼포먼스 캡처부에서 전송된 캡처 데이터를 활용하여 캐릭터의 얼굴과 몸의 움직임을 시뮬레이션하는 캐릭터 렌더링부와;
3차원 배경 환경을 시뮬레이션하는 배경 렌더링부와;
상기 가상 리그 모션 제어부에서 측정된 가상 리그의 모션 데이터를 3차원 맵 상에서의 위치 및 방향값의 움직임으로 변환하는 가상 리그 움직임 계산부와;
상기 가상 카메라 모션 제어부에서 측정된 회전 데이터를 상기 가상 리그 움직임 계산부에서 미리 계산된 가상 리그의 움직임 정보와 결합하여 최종 가상 카메라의 움직임으로 계산하는 가상 카메라 움직임 계산부; 및
상기 캐릭터 렌더링부에서 그려지는 캐릭터 영상과 상기 배경 랜더링부에서 그려지는 배경 영상, 그리고 상기 가상카메라 움직임 계산부에서 계산되는 최종 가상 카메라의 위치와 방향에서 보여지는 최종 CG 영상을 생성하는 통합 렌더링부로 구성된 것을 특징으로 하는 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템.
According to claim 3,
The real-time CG image rendering unit,
A character rendering unit that simulates the movement of the character's face and body by using the captured data transmitted from the real-time performance capture unit;
A background rendering unit simulating a 3D background environment;
A virtual rig motion calculator for converting motion data of the virtual rig measured by the virtual rig motion controller into motion of position and direction values on a 3D map;
A virtual camera motion calculator that combines rotation data measured by the virtual camera motion controller with motion information of a virtual rig pre-calculated by the virtual rig motion calculator to calculate a final virtual camera motion; And
Consists of an integrated rendering unit that generates the character image drawn in the character rendering unit, the background image drawn in the background rendering unit, and the final CG image shown in the position and direction of the final virtual camera calculated by the virtual camera motion calculation unit. Real-time CG video production system utilizing a league-coupled virtual camera, characterized in that.
제1항에 있어서,
상기 실시간 퍼포먼스 캡처부는 얼굴 모션, 몸동작 모션 중 적어도 하나의 동작을 캡처하여 시뮬레이션하는 것을 특징으로 하는 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템.
According to claim 1,
The real-time performance capture unit is a real-time CG video production system using a rig-coupled virtual camera characterized in that it captures and simulates at least one of a face motion and a body motion motion.
제1항에 있어서,
상기 실시간 CG 영상 렌더링부에서 결합되는 리그는 레일 리그에 해당하는 것을 특징으로 하는 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템.
According to claim 1,
The rig combined in the real-time CG image rendering unit is a real-time CG video production system using a rig-coupled virtual camera, characterized in that corresponding to the rail rig.
제1항에 있어서,
상기 실시간 CG 영상 렌더링부에서 결합되는 리그는 크레인 리그에 해당하는 것을 특징으로 하는 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템.
According to claim 1,
The rig combined in the real-time CG image rendering unit is a real-time CG video production system using a rig-coupled virtual camera, characterized in that the crane rig.
제1항에 있어서,
상기 실시간 CG영상 렌더링부에서 결합되는 리그는 드론 리그에 해당하는 것을 특징으로 하는 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템.
According to claim 1,
The real-time CG image production system using a rig-coupled virtual camera, characterized in that the rig combined in the real-time CG image rendering unit corresponds to a drone rig.
제1항에 있어서,
상기 실시간 CG영상 렌더링부에서 결합되는 리그가 캐릭터와 일정 거리 및 방향에 있어 항상 캐릭터를 향할 수 있도록 배치된 리그에 해당하는 것을 특징으로 하는 리그 결합형 가상 카메라를 활용한 실시간 CG 영상 제작 시스템.According to claim 1,
A real-time CG video production system using a league-coupled virtual camera, characterized in that the rig combined in the real-time CG image rendering unit corresponds to a rig arranged to always face the character at a certain distance and direction.
KR1020190093568A 2018-09-07 2019-07-31 Real-time computer graphics video production system using rig combined virtual camera KR102227260B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180106824 2018-09-07
KR20180106824 2018-09-07

Publications (2)

Publication Number Publication Date
KR20200028829A true KR20200028829A (en) 2020-03-17
KR102227260B1 KR102227260B1 (en) 2021-03-12

Family

ID=70003908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190093568A KR102227260B1 (en) 2018-09-07 2019-07-31 Real-time computer graphics video production system using rig combined virtual camera

Country Status (1)

Country Link
KR (1) KR102227260B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080050283A (en) * 2006-12-02 2008-06-05 한국전자통신연구원 Corelation extract method for generating 3d motion data and motion capture system and method for easy composition of humanoid character to real background image using as the same
JP4384659B2 (en) * 2003-03-13 2009-12-16 ソニー ピクチャーズ エンターテインメント インコーポレイテッド Motion capture system and method
KR101273531B1 (en) * 2010-04-21 2013-06-14 동서대학교산학협력단 Between Real image and CG Composed Animation authoring method and system by using motion controlled camera
KR20130065580A (en) * 2011-12-09 2013-06-19 삼성전자주식회사 Electronic apparatus, method for producting of augemented reality image and computer-readable recording medium
KR20150124208A (en) * 2014-04-28 2015-11-05 (주)에프엑스기어 Apparatus and method for physical simulation of cloth for virtual fitting based on augmented reality
KR101873026B1 (en) 2015-12-17 2018-07-02 한국전자통신연구원 Camera rig apparatus for shooting multi-view image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4384659B2 (en) * 2003-03-13 2009-12-16 ソニー ピクチャーズ エンターテインメント インコーポレイテッド Motion capture system and method
KR20080050283A (en) * 2006-12-02 2008-06-05 한국전자통신연구원 Corelation extract method for generating 3d motion data and motion capture system and method for easy composition of humanoid character to real background image using as the same
KR101273531B1 (en) * 2010-04-21 2013-06-14 동서대학교산학협력단 Between Real image and CG Composed Animation authoring method and system by using motion controlled camera
KR20130065580A (en) * 2011-12-09 2013-06-19 삼성전자주식회사 Electronic apparatus, method for producting of augemented reality image and computer-readable recording medium
KR20150124208A (en) * 2014-04-28 2015-11-05 (주)에프엑스기어 Apparatus and method for physical simulation of cloth for virtual fitting based on augmented reality
KR101873026B1 (en) 2015-12-17 2018-07-02 한국전자통신연구원 Camera rig apparatus for shooting multi-view image

Also Published As

Publication number Publication date
KR102227260B1 (en) 2021-03-12

Similar Documents

Publication Publication Date Title
WO2021238804A1 (en) Mixed reality virtual preview photographing system
KR100869447B1 (en) Apparatus and method for indicating a target by image processing without three-dimensional modeling
CN105264436B (en) System and method for controlling equipment related with picture catching
US8384665B1 (en) Method and system for making a selection in 3D virtual environment
US20100302145A1 (en) Virtual desktop coordinate transformation
CN110825234A (en) Projection type augmented reality tracking display method and system for industrial scene
JP2011215920A (en) Program, information storage medium and image generation system
CN102221887A (en) Interactive projection system and method
KR20110099176A (en) Pointing device of augmented reality
US9242379B1 (en) Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
US20120287159A1 (en) Viewing of real-time, computer-generated environments
WO2020050103A1 (en) Virtual viewpoint control device and method for controlling same
JP2022184958A (en) animation production system
JP2021193613A (en) Animation creation method
JP2011113206A (en) System and method for video image communication
KR102227260B1 (en) Real-time computer graphics video production system using rig combined virtual camera
JP2023116432A (en) animation production system
TW202013005A (en) Camera module and system using the same
JP6964302B2 (en) Animation production method
CN202133957U (en) Face recognition-based projection system moving along with view line of first person
Aloor et al. Design of VR headset using augmented reality
US20220035154A1 (en) Animation production system
US20220351443A1 (en) Animation production system
JP7390542B2 (en) Animation production system
KR101230950B1 (en) An Haptic Apparatus and method of controlling thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant