KR102368771B1 - Image synthesis apparatus using sequence image meta information and method thereof - Google Patents

Image synthesis apparatus using sequence image meta information and method thereof Download PDF

Info

Publication number
KR102368771B1
KR102368771B1 KR1020210078171A KR20210078171A KR102368771B1 KR 102368771 B1 KR102368771 B1 KR 102368771B1 KR 1020210078171 A KR1020210078171 A KR 1020210078171A KR 20210078171 A KR20210078171 A KR 20210078171A KR 102368771 B1 KR102368771 B1 KR 102368771B1
Authority
KR
South Korea
Prior art keywords
camera
image
unit
zoom
synthesizing
Prior art date
Application number
KR1020210078171A
Other languages
Korean (ko)
Inventor
손승현
임주영
오호준
Original Assignee
주식회사 웨스트월드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨스트월드 filed Critical 주식회사 웨스트월드
Priority to KR1020210078171A priority Critical patent/KR102368771B1/en
Application granted granted Critical
Publication of KR102368771B1 publication Critical patent/KR102368771B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H04N5/2254—
    • H04N5/23206—
    • H04N5/23216—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to an image synthesis apparatus and method. The image synthesis apparatus may include: a camera for recording video; a remote control part for remotely controlling at least the lens value of the camera; a meta file storage part for storing the lens value of the camera controlled by the remote control part as a meta file; and a synthesizing device part for running synthesis software that synthesizes an image source and the image taken by the camera, and extracting and applying the lens value of a virtual 3D camera generated on the synthesizing software from the meta file.

Description

시퀀스 이미지 메타 정보를 이용한 이미지 합성 장치 및 방법{Image synthesis apparatus using sequence image meta information and method thereof}Image synthesis apparatus using sequence image meta information and method thereof

본 발명은 시퀀스 이미지 메타 정보를 이용한 이미지 합성 장치 및 방법에 관한 것으로, 더 상세하게는 3D 이미지의 합성 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for synthesizing an image using sequence image meta information, and more particularly, to an apparatus and method for synthesizing a 3D image.

일반적으로, 영화 등 영상 분야에서 사용되는 영상 편집, 합성 소프트웨어의 기술 발달로 인하여 사용자가 임의의 3D 영상 배경에 인물 등 다른 이미지를 손쉽게 합성할 수 있도록 도움을 주고 있다.In general, due to the development of image editing and synthesizing software used in image fields such as movies, it is helping a user to easily synthesize other images such as a person in an arbitrary 3D image background.

이러한 이미지의 합성은 소프트웨어의 종류에 따라 차이가 있지만, 가상의 3D 카메라를 생성하고, 생성된 3D 카메라의 초점 거리 등을 조절하여 이미지를 배치하고 합성하게 된다.Although the synthesis of these images differs depending on the type of software, a virtual 3D camera is created and the image is arranged and synthesized by adjusting the focal length of the created 3D camera.

등록특허 10-0941749호(증강 현실 장치 및 가상 이미지 합성 방법, 2010년 2월 3일 등록)에는 증강 현실 장치 및 가상 이미지 합성 방법이 기재되어 있다.Registered Patent No. 10-0941749 (augmented reality device and virtual image synthesis method, registered on February 3, 2010) describes an augmented reality device and virtual image synthesis method.

위의 등록특허에는 카메라를 이용하여 실사 영상을 촬영하여 입력받으며, 카메라에 부착된 카메라 센서로부터 카메라의 위치 정보 및 초기 자세 정보를 수신하는 단계, 초기 자세 정보에 카메라 센서로부터 수신되는 카메라의 회전 정보를 더하여 카메라의 현재 자세 정보를 생성하는 단계, 카메라의 위치 정보 및 카메라의 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 계산하는 단계, 그리고 계산된 합성 위치를 기초하여 가상 이미지를 실사 영상에 합성하는 단계를 포함하는 방법이 기재되어 있다.The above registered patent includes the steps of taking a live-action image using a camera and receiving an input, receiving position information and initial posture information of the camera from a camera sensor attached to the camera, and rotation information of the camera received from the camera sensor in the initial posture information Generating the current posture information of the camera by adding A method comprising the steps is described.

즉, 위의 등록특허에는 배경이 되는 실사이미지의 촬영시 카메라의 위치 및 자세정보, 회전 정보를 더하여 현재 자세 정보를 생성한 후, 가상 이미지 합성 위치를 연산하여, 연산된 위치에 이미지를 배치하여 실사 이미지에 합성한다.That is, in the above registered patent, the current posture information is generated by adding the camera position, posture information, and rotation information when shooting a live image that becomes the background, and then the virtual image synthesis position is calculated, and the image is placed at the calculated position. Composite to the actual image.

그러나 카메라를 이용하여 영상을 촬영할 때, 카메라의 위치 보다는 카메라의 초점 거리 등 광학적 요소가 더욱 중요하지만 이러한 광학적 요소를 고려하지 않고 단순히 카메라의 위치 정보 및 자세 정보만 이용하기 때문에 정확한 가상 이미지 위치를 설정하기 어렵다.However, when shooting an image using a camera, optical factors such as the focal length of the camera are more important than the location of the camera. hard to do

또한, 위의 이유를 포함하여 가상 이미지를 배경 영상에 정위치 시키기 위해서는 복잡한 연산과정을 수행해야 하기 때문에 합성 작업에 상대적으로 많은 시간이 소요되는 문제점이 있었다.In addition, in addition to the above reasons, there is a problem in that a relatively large amount of time is required for synthesizing because a complex calculation process must be performed in order to position the virtual image on the background image.

상기와 같은 문제점을 고려한 본 발명이 해결하고자 하는 기술적 과제는, 영상 합성 소프트웨어에서 배경에 합성할 이미지의 정확한 위치를 자동으로 설정할 수 있는 이미지 합성 장치 및 방법을 제공함에 있다.The technical problem to be solved by the present invention in consideration of the above problems is to provide an image synthesizing apparatus and method capable of automatically setting an exact position of an image to be synthesized in a background in image synthesizing software.

보다 구체적으로 본 발명이 해결하고자 하는 기술적 과제는, 시퀀스 이미지 메타 정보를 자동으로 추출하고, 합성 소프트웨어에서 생성된 3D 카메라의 메타 정보로 사용함으로써, 합성 이미지의 위치를 정확하게 설정할 수 있는 이미지 합성 장치 및 방법을 제공함에 있다.More specifically, the technical problem to be solved by the present invention is an image synthesizing apparatus capable of accurately setting the position of a synthesized image by automatically extracting sequence image meta information and using it as meta information of a 3D camera generated by synthesizing software, and to provide a method.

상기와 같은 과제를 해결하기 위한 본 발명의 일측면에 따른 이미지 합성 장치는, 영상을 촬영하는 카메라와, 적어도 상기 카메라의 렌즈값을 원격에서 제어하는 원격 제어부와, 상기 원격 제어부에서 제어된 카메라의 렌즈값을 메타파일로 저장하는 메타파일 저장부와, 상기 카메라에서 촬영된 이미지와 소스 이미지를 합성하는 합성 소프트웨어를 구동하되, 상기 합성 소프트웨어 상에서 생성되는 가상 3D 카메라의 렌즈값을 상기 메타파일에서 추출하여 적용하는 합성장치부를 포함할 수 있다.An image synthesizing apparatus according to an aspect of the present invention for solving the above problems includes a camera for taking an image, a remote controller for remotely controlling at least a lens value of the camera, and a camera controlled by the remote controller A meta file storage unit for storing the lens value as a meta file, and synthesis software for synthesizing the image taken by the camera and the source image, the lens value of the virtual 3D camera generated on the synthesis software is extracted from the meta file It may include a synthesizing device to be applied.

본 발명의 실시예에서, 상기 렌즈값은, 줌, 조리개 및 초점값일 수 있다.In an embodiment of the present invention, the lens values may be zoom, iris, and focus values.

본 발명의 실시예에서, 상기 메타파일은, 상기 카메라에서 촬영된 영상 프레임의 촬영 시간 정보에 상기 줌, 조리개 및 초점값을 매칭하여 저장할 수 있다.In an embodiment of the present invention, the metafile may match and store the zoom, iris, and focus values with the shooting time information of the image frame captured by the camera.

본 발명의 실시예에서, 상기 합성장치부는, 합성 소프트웨어 상에서 프레임 레인지를 생성하고, 프레임 레인지에 따라 가상 3D 카메라를 생성한 후, 상기 줌, 조리개, 초점값을 각 프레임 레인지마다 렌즈 특성의 에니메이션 키 값으로 생성하여, 각 프레임마다 줌, 조리개, 초점값의 변화에 맞춰 소스이미지를 재배치할 수 있다.In an embodiment of the present invention, the synthesizing device unit generates a frame range on the synthesizing software, creates a virtual 3D camera according to the frame range, and then sets the zoom, iris, and focus values as an animation key of lens characteristics for each frame range. By creating a value, the source image can be rearranged according to changes in zoom, iris, and focus values for each frame.

본 발명의 실시예에서, 상기 원격 제어부는, 사용자의 제어명령 입력을 위한 입력부와, 상기 입력부를 통해 입력된 제어명령을 해석하고, 통신부를 통해 상기 카메라에 제어명령을 송신함과 아울러 카메라로부터 수신된 현재 상태 정보를 표시부에 표시하는 제어부와, 카메라로부터 수신된 메타정보를 추출하는 메타정보 추출부를 포함할 수 있다.In an embodiment of the present invention, the remote control unit includes an input unit for inputting a user's control command, interprets the control command input through the input unit, transmits the control command to the camera through the communication unit, and receives the control command from the camera It may include a control unit for displaying the current state information of the display unit, and a meta information extraction unit for extracting the meta information received from the camera.

또한, 본 발명의 다른 측면에 따른 이미지 합성 방법은, a) 카메라로 이미지를 촬영하되, 원격 제어부에서 상기 카메라의 렌즈값 정보를 추출하는 단계와, b) 상기 원격 제어부에서 메타파일 저장부에 추출된 카메라의 렌즈값 정보를 저장하는 단계와, c) 합성장치부에서 합성 소프트웨어를 실행하고, 합성 소프트웨어에서 가상 3D 카메라를 생성하고, 상기 메타파일 저장부에 저장된 카메라의 렌즈값 정보로 상기 가상 3D 카메라의 렌즈값을 설정하여, 상기 카메라에서 촬영된 영상과 소스이미지를 합성하는 단계를 포함할 수 있다.In addition, the image synthesis method according to another aspect of the present invention comprises the steps of: a) taking an image with a camera, extracting lens value information of the camera from a remote control unit, and b) extracting the image from the remote control unit to a metafile storage unit storing the lens value information of the used camera; c) executing the synthesis software in the synthesis device unit, creating a virtual 3D camera in the synthesis software, and using the lens value information of the camera stored in the metafile storage unit, the virtual 3D It may include setting a lens value of the camera, and synthesizing the image captured by the camera and the source image.

본 발명의 실시예에서, 상기 카메라 렌즈값 정보는, 줌, 조리개 및 초점값일 수 있다.In an embodiment of the present invention, the camera lens value information may be a zoom value, an aperture value, and a focus value.

본 발명의 실시예에서, 상기 카메라의 렌즈값 정보는, 상기 카메라에서 촬영된 영상의 프레임에 매칭된 상기 줌, 조리개 및 초점값이며, 상기 합성장치부에서 상기 카메라에서 촬영된 영상의 프레임마다 상기 가상 3D 카메라의 줌, 조리개 및 초점값을 변환할 수 있다.In an embodiment of the present invention, the lens value information of the camera is the zoom, iris, and focus values matched to a frame of an image photographed by the camera, and the synthesizing device unit provides the information for each frame of the image photographed by the camera. You can convert the zoom, iris and focus values of the virtual 3D camera.

본 발명의 실시예에서, 상기 줌, 조리개 및 초점값은, 프레임이 촬영된 시간인 타임코드에 매칭될 수 있다.In an embodiment of the present invention, the zoom, iris, and focus values may be matched to a time code that is a time at which a frame is captured.

본 발명의 실시예에서, 상기 c) 단계의 합성은, 상기 합성 소프트웨어 상에서 프레임 레인지를 생성하는 과정과, 상기 프레임 레인지에 따라 가상 3D 카메라를 생성하는 과정과, 상기 줌, 조리개, 초점값을 각 프레임 레인지마다 렌즈 특성의 에니메이션 키 값으로 생성하는 과정과, 에니메이션 키 값을 이용하여 프레임마다 줌, 조리개, 초점값의 변화에 맞춰 소스이미지를 재배치하는 과정을 포함할 수 있다.In an embodiment of the present invention, the synthesis of step c) includes the process of generating a frame range on the synthesizing software, the process of generating a virtual 3D camera according to the frame range, and setting the zoom, iris, and focus values respectively. It may include a process of generating an animation key value of a lens characteristic for each frame range, and a process of rearranging the source image according to changes in zoom, iris, and focus values for each frame using the animation key value.

본 발명은 촬영에 사용되는 카메라의 렌즈값을 시퀀스 이미지들의 메타 정보에 기입하고, 메타 정보를 합성 소프트웨어상의 가상 3D 카메라의 렌즈값으로 사용함으로써, 이질감 없는 이미지 합성이 가능한 효과가 있다.According to the present invention, by writing the lens value of the camera used for photographing in meta information of sequence images, and using the meta information as the lens value of the virtual 3D camera on the synthesizing software, image synthesis without heterogeneity is possible.

또한, 본 발명은 합성 이미지의 합성 위치를 연산할 필요가 없기 때문에 합성 작업시간을 상대적으로 줄일 수 있어, 작업 효율을 향상시키고 시간과 비용을 줄일 수 있는 효과가 있다.In addition, since it is not necessary to calculate the synthesis position of the composite image according to the present invention, the synthesis operation time can be relatively reduced, thereby improving the operation efficiency and reducing the time and cost.

도 1은 본 발명 이미지 합성 장치의 블록 구성도이다.
도 2는 원격 제어부의 일실시 블록 구성도이다.
도 3은 줌, 조리개 및 초점값의 예시도이다.
도 4는 합성 과정의 예시도이다.1 is a block diagram of an image synthesizing apparatus of the present invention.
2 is a block diagram of an embodiment of a remote control unit.
3 is an exemplary diagram of zoom, iris, and focus values.
4 is an exemplary diagram of a synthesis process.

이하, 본 발명 이미지 합성 장치 및 방법에 대하여 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, an apparatus and method for synthesizing an image of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 실시 예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이며, 아래에 설명되는 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시 예들로 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 발명을 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.The embodiments of the present invention are provided to more completely explain the present invention to those of ordinary skill in the art, and the embodiments described below may be modified in various other forms, The scope is not limited to the following examples. Rather, these embodiments are provided so as to more fully and complete the present invention, and to fully convey the spirit of the present invention to those skilled in the art.

본 명세서에서 사용된 용어는 특정 실시 예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는"포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.　The terms used herein are used to describe specific embodiments, not to limit the present invention. As used herein, the singular form may include the plural form unless the context clearly dictates otherwise. Also, as used herein, “comprise” and/or “comprising” refers to the specific existence of the recited shapes, numbers, steps, actions, members, elements, and/or groups thereof. and does not exclude the presence or addition of one or more other shapes, numbers, movements, members, elements and/or groups. As used herein, the term “and/or” includes any one and all combinations of one or more of those listed items.

본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역 및/또는 부위들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부위들은 이들 용어에 의해 한정되지 않음은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역 또는 부위를 다른 부재, 영역 또는 부위와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역 또는 부위는 본 발명의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역 또는 부위를 지칭할 수 있다.Although the terms first, second, etc. are used herein to describe various elements, regions and/or regions, it is to be understood that these elements, parts, regions, layers and/or regions are not limited by these terms. . These terms do not imply a specific order, upper and lower, or superiority, and are used only to distinguish one member, region or region from another member, region or region. Accordingly, a first member, region, or region described below may refer to a second member, region, or region without departing from the teachings of the present invention.

이하, 본 발명의 실시 예들은 본 발명의 실시 예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시 예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.Hereinafter, embodiments of the present invention will be described with reference to the drawings schematically illustrating embodiments of the present invention. In the drawings, variations of the illustrated shape may be expected, for example depending on manufacturing technology and/or tolerances. Therefore, the embodiment of the present invention should not be construed as limited to the specific shape of the region shown in the present specification, but should include, for example, a change in shape caused by manufacturing.

도 1은 본 발명의 바람직한 실시예에 따른 이미지 합성 장치의 블록 구성도이다.1 is a block diagram of an image synthesizing apparatus according to a preferred embodiment of the present invention.

도 1을 참조하면 본 발명은, 영상을 촬영하는 카메라(20)와, 상기 카메라(20)를 원격에서 제어하는 원격 제어부(30)와, 상기 원격 제어부(30)의 제어값을 메타 파일로 저장하는 메타파일 저장부(40)와, 상기 카메라(20)에서 촬영된 영상을 저장하는 촬영이미지 저장부(50)와, 합성에 사용되는 소스이미지를 저장하는 소스이미지 저장부(60)와, 상기 메타파일 저장부(40)에 저장된 원격 제어부(30)의 제어값을 실행되는 합성 소프트웨어의 가상 3D 카메라의 제어값으로 설정하고, 그 제어값에 해당하는 위치에 상기 촬영이미지 저장부(50)에 저장된 이미지를 배치하고, 소스이미지 저장부(60)에 저장된 합성용 소스이미지를 배경으로 합성하는 합성장치부(10)를 포함하여 구성된다.Referring to FIG. 1 , the present invention includes a camera 20 that captures an image, a remote control unit 30 that remotely controls the camera 20, and a meta file that stores control values of the remote control unit 30 a meta file storage unit 40, a photographed image storage unit 50 for storing images captured by the camera 20, a source image storage unit 60 for storing a source image used for synthesis, and the The control value of the remote control unit 30 stored in the metafile storage unit 40 is set as the control value of the virtual 3D camera of the synthetic software to be executed, and the captured image storage unit 50 is located at a location corresponding to the control value. and a synthesizing device unit 10 for arranging the stored images and synthesizing the source image for synthesis stored in the source image storage unit 60 as a background.

이하, 상기와 같이 구성된 본 발명 이미지 합성 장치의 구성과 작용에 대하여 보다 상세히 설명한다.Hereinafter, the configuration and operation of the image synthesizing apparatus of the present invention configured as described above will be described in more detail.

먼저, 합성장치부(10)는 영상 합성 처리를 위한 프로세서, 영상 합성 소프트웨어가 저장되는 저장부, 영상 합성 소프트웨어의 처리 과정이 일시 저장되는 메모리, 영상 합성 소프트웨어의 실행 및 합성 처리 과정을 표시하여 모니터링할 수 있도록 하는 디스플레이, 사용자 명령을 입력할 수 있는 입력 수단을 포함할 수 있다.First, the synthesis device unit 10 displays and monitors a processor for image synthesis processing, a storage unit storing image synthesis software, a memory temporarily storing a processing process of the image synthesis software, and execution and synthesis processing of the image synthesis software It may include a display that allows the user to do so, and an input means for inputting a user command.

또한, 합성장치부(10)는 유선 또는 무선 네트워크의 노드일 수 있으며, 촬영이미지 저장부(50), 메타파일 저장부(40), 소스이미지 저장부(60)에 저장된 파일을 네트워크를 통해 입력받을 수 있다.In addition, the synthesizing device unit 10 may be a node of a wired or wireless network, and inputs the files stored in the photographed image storage unit 50 , the meta file storage unit 40 , and the source image storage unit 60 through the network. can receive

그리고 메타파일 저장부(40), 촬영이미지 저장부(50), 소스이미지 저장부(60)의 일부 또는 전부가 이동 가능한 메모리 장치인 경우에는 메모리 장치를 인식하고, 저장된 파일을 인식할 수 있는 적어도 하나 이상의 포트를 포함할 수 있다.And when some or all of the meta file storage unit 40, the photographed image storage unit 50, and the source image storage unit 60 are movable memory devices, the memory device can be recognized and the stored file can be recognized at least. It may include more than one port.

상기 합성장치부(10)는 단일한 장치이거나 다수의 장치가 협업 가능한 워크스테이션 형태일 수 있다.The synthesizing device unit 10 may be a single device or a workstation in which a plurality of devices can collaborate.

카메라(20)는 촬영 현장에서 광학적 이미지를 촬상하는 실물 카메라이며, 바람직하게는 촬상된 이미지를 합성장치부(10)에서 인식 가능한 디지털 파일로 저장하는 것일 수 있다.The camera 20 is a real camera that captures an optical image at the shooting site, and preferably stores the captured image as a digital file recognizable by the synthesizing device unit 10 .

카메라(20)는 적어도 초점 거리의 조절이 가능한 렌즈, 렌즈를 통해 입사되는 광량 조절이 가능한 조리개를 포함할 수 있다. The camera 20 may include at least a lens capable of adjusting a focal length, and an aperture capable of controlling an amount of light incident through the lens.

카메라(20)는 동영상 또는 정지 이미지를 촬영할 수 있다.The camera 20 may capture a moving image or a still image.

또한, 카메라(20)는 원격 제어부(30)의 제어에 따라 초점 거리의 조절, 조리개의 조절이 가능한 것으로 한다. 이를 위하여 카메라(20)는 제어명령의 수신과 현재 설정된 정보를 송신하기 위한 통신부와, 수신된 제어명령에 따라 렌즈를 구동하는 구동부를 제어하는 제어부를 포함할 수 있다.In addition, it is assumed that the camera 20 is capable of adjusting the focal length and adjusting the aperture according to the control of the remote controller 30 . To this end, the camera 20 may include a communication unit for receiving a control command and transmitting currently set information, and a control unit for controlling a driving unit for driving the lens according to the received control command.

도면에서 카메라(20)는 하나인 것으로 도시하였으나, 카메라(20)는 3D 이미지의 획득을 위하여 다수로 마련된 것이 바람직하다.In the drawings, the camera 20 is illustrated as one, but it is preferable that a plurality of cameras 20 are provided to obtain a 3D image.

원격 제어부(30)는 적어도 하나 이상의 상기 카메라(20)를 원격에서 제어하는 장치이며, 카메라(20)와 무선 통신을 통해 카메라(20)의 다양한 동작을 제어하는 것으로 한다.The remote control unit 30 is a device that remotely controls at least one or more of the cameras 20 , and controls various operations of the camera 20 through wireless communication with the camera 20 .

도 2는 원격 제어부(30)의 블록 구성도이다.2 is a block diagram of the remote control unit 30 .

도 2를 참조하면 원격 제어부(30)는 사용자의 제어명령 입력을 위한 입력부(32)와, 입력부(32)를 통해 입력된 제어명령을 해석하고, 통신부(33)를 통해 상기 카메라(20)에 제어명령을 송신함과 아울러 카메라(20)로부터 수신된 현재 상태 정보를 표시부(34)에 표시하는 제어부(31)와, 카메라(20)로부터 수신된 메타정보를 추출하는 메타정보 추출부(35)와, 추출된 정보를 상기 메타파일 저장부(40)에 저장하는 인터페이스(36)를 포함할 수 있다.Referring to FIG. 2 , the remote control unit 30 interprets the control command input through the input unit 32 and the input unit 32 for inputting the user's control command, and transmits the control command to the camera 20 through the communication unit 33 . A control unit 31 that transmits a control command and displays the current status information received from the camera 20 on the display unit 34 , and a meta information extraction unit 35 that extracts meta information received from the camera 20 . and an interface 36 for storing the extracted information in the metafile storage unit 40 .

원격 제어부(30)는 전원공급부를 포함하며, 도면에서는 생략하였다.The remote control unit 30 includes a power supply unit, and is omitted from the drawings.

원격 제어부(30)의 입력부(32)는 사용자의 제어명령을 입력받는 수단으로, 제어명령 입력을 위한 키들을 구비하거나, 터치 패널에 제어명령의 입력을 위한 메뉴를 표시하고, 선택된 메뉴를 실행하는 방식을 사용할 수 있다.The input unit 32 of the remote control unit 30 is a means for receiving a user's control command, and includes keys for inputting a control command, or displays a menu for input of a control command on the touch panel, and executes the selected menu. method can be used.

다른 예로서 원격 제어부(30)의 입력부(32)는 다이얼을 포함할 수 있다. 원격 제어부(30)의 제어부(31)는 카메라(20)에서 사용되는 모든 렌즈군에 대한 정보를 저장하며, 상기 다이얼의 회전수 또는 회전 각도에 따라 원격으로 그 회전 정도에 따라 렌즈의 수치값을 변환할 수 있다.As another example, the input unit 32 of the remote control unit 30 may include a dial. The control unit 31 of the remote control unit 30 stores information on all lens groups used in the camera 20, and remotely adjusts the numerical value of the lens according to the rotation degree according to the rotation speed or rotation angle of the dial. can be converted

이러한 구성에서는 카메라(20)의 상태 정보를 획득할 필요 없이, 제어부(31)에서 확인된 렌즈의 수치값을 메타 정보로 사용할 수 있다.In this configuration, the numerical value of the lens confirmed by the controller 31 may be used as meta information without the need to acquire state information of the camera 20 .

원격 제어부(30)의 입력부(32)는 제어용 컴퓨터(도면 미도시)와의 인터페이스를 제공하고, 사용자의 명령을 제어용 컴퓨터로부터 제공받을 수도 있다.The input unit 32 of the remote control unit 30 may provide an interface with a control computer (not shown), and may receive a user's command from the control computer.

입력부(32)를 통해 입력된 사용자 제어명령은 제어부(31)에서 해석되고, 규정된 통신데이터로 변경되어 통신부(33)를 통해 카메라(20)로 송신된다.The user control command input through the input unit 32 is interpreted by the control unit 31 , is changed into prescribed communication data, and transmitted to the camera 20 through the communication unit 33 .

통신부(33)는 유선 또는 무선 방식의 통신을 지원하며, 무선 통신의 경우 근거리 무선통신 또는 광학적 통신을 포함할 수 있다.The communication unit 33 supports wired or wireless communication, and in the case of wireless communication, may include short-range wireless communication or optical communication.

또한, 제어부(31)는 표시부(34)에 제어 상태를 표시할 수 있다. 이때의 제어 상태는 카메라(20)의 전원 온/오프, 줌(Zoom) 제어명령, 조리개(Iris)값, 초점(Focus)값의 설정을 포함하는 것으로 한다.Also, the control unit 31 may display a control state on the display unit 34 . The control state at this time shall include setting of power on/off of the camera 20 , a zoom control command, an iris value, and a focus value.

상기 통신부(33)를 통해 제어명령을 수신한 카메라는 제어명령에 따라 줌, 조리개, 초점값을 제어명령에 부합하게 조작하고, 그 조작 상태 정보를 다시 통신부(33)로 송신할 수 있다.The camera receiving the control command through the communication unit 33 may operate the zoom, iris, and focus values according to the control command according to the control command, and transmit the operation state information back to the communication unit 33 .

카메라(20)의 조작 상태 정보는 통신부(33)에 수신되고, 제어부(31)에서 인식되어 표시부(34)에 표시되는 것으로 한다.It is assumed that the operation state information of the camera 20 is received by the communication unit 33 , recognized by the control unit 31 and displayed on the display unit 34 .

즉, 사용자는 표시부(34)에 표시된 정보를 확인하여, 카메라(20)의 설정 상태를 확인할 수 있다.That is, the user can check the setting state of the camera 20 by checking the information displayed on the display unit 34 .

카메라(20)의 조작 상태 정보는 매 프레임마다의 줌, 조리개 및 초점값일 수 있다.The operation state information of the camera 20 may be zoom, iris, and focus values for every frame.

또한, 메타정보 추출부(35)는 수신된 카메라(20)의 조작 상태 정보에서 메타파일 저장부(40)에 저장할 데이터를 추출한다. Also, the meta information extraction unit 35 extracts data to be stored in the meta file storage unit 40 from the received operation state information of the camera 20 .

이때, 메타정보 추출부(35)에 의해 추출되는 데이터는 렌즈값과 관련된 데이터이며, 구체적으로 줌, 조리개 및 초점값인 것으로 한다.In this case, the data extracted by the meta information extraction unit 35 is data related to a lens value, and specifically, it is assumed that zoom, iris, and focus values.

도 3에는 줌, 조리개 및 초점값의 예를 도시하였다.3 shows examples of zoom, iris, and focus values.

타임코드(timecode)는 각 프레임의 촬영 시간을 기록한 것이며, 줌, 조리개 및 초점값 중 하나의 값이 변화된 시간을 나타내는 것일 수 있다.A timecode is a recording of the shooting time of each frame, and may indicate a time when one of zoom, iris, and focus values is changed.

값의 변화된 시간을 기록한 타임코드 정보를 이용하면, 두 타임코드 정보 사이의 시간에 촬영된 영상의 프레임은 이전 타임코드의 줌, 조리개 및 초점값 정보가 그대로 적용되는 것으로 해석될 수 있다.If the time code information in which the time of the change is recorded is used, it may be interpreted that the zoom, iris, and focus value information of the previous time code is applied to the frame of the image captured at the time between the two time code information.

메타정보 추출부(25)는 각 타임코드에서의 줌, 조리개 및 초점값 정보를 추출하는 것으로 하며, 인터페이스(36)를 통해 메타파일 저장부(40)에 저장한다.The meta information extraction unit 25 extracts zoom, iris, and focus value information from each time code, and stores it in the meta file storage unit 40 through the interface 36 .

이때, 인터페이스(36)는 이동식 메모리인 메타파일 저장부(40)를 인식하기 위한 포트일 수 있으며, 메타파일 저장부(40)와 통신가능한 통신모듈일 수 있다.In this case, the interface 36 may be a port for recognizing the metafile storage unit 40 which is a removable memory, and may be a communication module capable of communicating with the metafile storage unit 40 .

상기 메타파일 저장부(40)와는 별도로 카메라(20)를 통해 촬영된 이미지는 촬영이미지 저장부(50)에 저장된다.Separately from the meta file storage unit 40 , an image photographed through the camera 20 is stored in the photographed image storage unit 50 .

여기서 메타파일 저장부(40)와 촬영이미지 저장부(50)는 물리적으로 서로 분리된 별개의 저장수단을 사용할 수 있으며, 물리적으로 단일한 저장수단에 메타파일과 촬영이미지를 분리하여 저장할 수 있다. Here, the metafile storage unit 40 and the photographed image storage unit 50 may use separate storage means physically separated from each other, and may physically store the metafile and the photographed image separately in a single storage means.

그 다음, 합성장치부(10)는 합성 소프트웨어를 구동하며, 상기 촬영이미지 저장부(50)에 저장된 촬영이미지와 메타파일 저장부(40)에 저장된 메타파일의 정보를 이용하여, 소스이미지 저장부(60)에 저장된 이미지에 촬영이미지를 합성한다.Then, the synthesizing device unit 10 drives the synthesizing software, and using the captured image stored in the captured image storage unit 50 and information of the metafile stored in the metafile storage unit 40, the source image storage unit The photographed image is synthesized with the image stored in (60).

도 4는 합성장치부(10)에서 합성 소프트웨어를 이용한 합성 과정의 예시도이다.4 is an exemplary diagram of a synthesis process using synthesis software in the synthesis apparatus unit 10 .

도 4를 참조하면 합성장치부(10)는 사용자의 조작에 따라 합성 소프트웨어를 실행하고, 가상 3D 카메라(11)를 생성한다.Referring to FIG. 4 , the synthesizing unit 10 executes synthesizing software according to a user's manipulation and creates a virtual 3D camera 11 .

가상 3D 카메라(11)는 합성 소프트웨어에서 지원하는 툴이며, 촬영이미지(12)와 소스이미지(13)의 배치에 기준이 된다.The virtual 3D camera 11 is a tool supported by the synthesis software, and serves as a reference for the arrangement of the captured image 12 and the source image 13 .

이때, 생성된 가상 3D 카메라(11)의 줌, 조리개, 초점값은 메타파일 저장부(40)의 메타파일로부터 자동 설정되는 것으로 한다.In this case, it is assumed that the generated zoom, iris, and focus values of the virtual 3D camera 11 are automatically set from the metafile of the metafile storage unit 40 .

따라서, 본 발명은 합성 이미지의 위치 매칭을 위한 연산이 요구되지 않으며, 종래에 비하여 더 빠르게 이미지를 배열하고 합성할 수 있게 된다.Accordingly, in the present invention, an operation for matching the position of the composite image is not required, and images can be arranged and synthesized faster than in the prior art.

좀 더 구체적으로, 상기 메타파일을 읽어온 합성장치부(10)는 합성 소프트웨어 상에서 프레임 레인지를 생성하고, 프레임 레인지에 따라 가상 3D 카메라(11)를 생성한 후, 줌, 조리개, 초점값을 각 프레임 레인지마다 렌즈 특성의 에니메이션 키 값으로 생성하여 각 프레임마다 줌, 조리개, 초점값의 변화에 맞춰 소스이미지(13)를 재배치함으로써 자연스러운 합성 이미지를 제작할 수 있게 된다.More specifically, the synthesizing device unit 10 that reads the metafile creates a frame range on the synthesizing software, creates a virtual 3D camera 11 according to the frame range, and then sets zoom, iris, and focus values respectively. It is possible to create a natural composite image by creating animation key values of lens characteristics for each frame range and rearranging the source image 13 according to changes in zoom, iris, and focus values for each frame.

본 발명은 상기 실시예에 한정되지 않고 본 발명의 기술적 요지를 벗어나지 아니하는 범위 내에서 다양하게 수정, 변형되어 실시될 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어서 자명한 것이다.It is obvious to those of ordinary skill in the art that the present invention is not limited to the above embodiments and can be variously modified and modified within the scope without departing from the technical gist of the present invention. will be.

10:합성장치부 20:카메라
30:원격 제어부 40:메타파일 저장부
50:촬영이미지 저장부 60:소스 저장부10: synthesis device unit 20: camera
30: remote control unit 40: meta file storage unit
50: photographed image storage unit 60: source storage unit

Claims (10)

영상을 촬영하는 카메라;
적어도 상기 카메라의 줌, 조리개 및 초점값인 렌즈값을 원격에서 제어하는 원격 제어부;
상기 원격 제어부에서 제어된 카메라의 렌즈값을 메타파일로 저장하되, 상기 카메라에서 촬영된 영상 프레임의 촬영 시간 정보에 상기 줌, 조리개 및 초점값을 매칭하여 저장하는 메타파일 저장부; 및
상기 카메라에서 촬영된 이미지와 소스 이미지를 합성하는 합성 소프트웨어를 구동하되, 상기 합성 소프트웨어 상에서 생성되는 가상 3D 카메라의 렌즈값을 상기 메타파일에서 추출하여 적용하는 합성장치부를 포함하되,
상기 합성장치부는,
합성 소프트웨어 상에서 프레임 레인지를 생성하고, 프레임 레인지에 따라 가상 3D 카메라를 생성한 후, 상기 줌, 조리개, 초점값을 각 프레임 레인지마다 렌즈 특성의 에니메이션 키 값으로 생성하여, 각 프레임마다 줌, 조리개, 초점값의 변화에 맞춰 소스이미지를 재배치하는 것을 특징으로 하는 이미지 합성 장치.a camera for taking images;
a remote control unit for remotely controlling at least lens values that are zoom, iris, and focus values of the camera;
a metafile storage unit for storing the lens value of the camera controlled by the remote control unit as a metafile, and storing the zoom, iris, and focus values by matching the shooting time information of the image frame captured by the camera; and
Comprising a synthesizing device for driving synthesizing software for synthesizing the image taken by the camera and the source image, and extracting and applying the lens value of the virtual 3D camera generated on the synthesizing software from the meta file,
The synthesizing device unit,
After creating a frame range on the synthesis software and creating a virtual 3D camera according to the frame range, the zoom, iris, and focus values are generated as animation key values of lens characteristics for each frame range, and zoom, iris, An image synthesizing apparatus characterized in that the source image is rearranged according to the change of the focus value. 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 원격 제어부는,
사용자의 제어명령 입력을 위한 입력부;
상기 입력부를 통해 입력된 제어명령을 해석하고, 통신부를 통해 상기 카메라에 제어명령을 송신함과 아울러 카메라로부터 수신된 현재 상태 정보를 표시부에 표시하는 제어부; 및
카메라로부터 수신된 메타정보를 추출하는 메타정보 추출부를 포함하는 이미지 합성 장치.According to claim 1,
The remote control unit,
an input unit for inputting a user's control command;
a control unit that interprets the control command input through the input unit, transmits the control command to the camera through the communication unit, and displays current status information received from the camera on the display unit; and
An image synthesizing apparatus comprising a meta-information extracting unit for extracting meta-information received from a camera. a) 카메라로 이미지를 촬영하되, 원격 제어부에서 상기 카메라의 줌, 조리개 및 초점값인 렌즈값 정보를 추출하는 단계;
b) 상기 원격 제어부에서 메타파일 저장부에 추출된 카메라의 촬영된 영상 프레임에 매칭된 상기 줌, 조리개 및 초점값인 렌즈값 정보를 저장하는 단계; 및
c) 합성장치부에서 합성 소프트웨어를 실행하고, 합성 소프트웨어에서 가상 3D 카메라를 생성하고, 상기 메타파일 저장부에 저장된 카메라의 렌즈값 정보로 상기 가상 3D 카메라의 줌, 조리개 및 초점값을 렌즈값으로 설정하되, 프레임이 촬영된 시간인 타임코드에 매칭되도록 하여, 상기 카메라에서 촬영된 영상과 소스이미지를 합성하는 단계를 포함하는 이미지 합성 방법.a) taking an image with a camera, and extracting lens value information that is zoom, aperture, and focus values of the camera from a remote control unit;
b) storing lens value information that is the zoom, iris, and focus values matched to the captured image frame of the camera extracted from the remote control unit in the meta file storage unit; and
c) The synthesis device unit executes the synthesis software, the synthesis software creates a virtual 3D camera, and the zoom, aperture, and focus values of the virtual 3D camera are converted to lens values as lens value information of the camera stored in the metafile storage unit. and setting the frame to match the time code, which is the time at which the frame was captured, and synthesizing the image captured by the camera and the source image. 삭제delete 삭제delete 삭제delete 제6항에 있어서,
상기 c) 단계의 합성은,
상기 합성 소프트웨어 상에서 프레임 레인지를 생성하는 과정;
상기 프레임 레인지에 따라 가상 3D 카메라를 생성하는 과정;
상기 줌, 조리개, 초점값을 각 프레임 레인지마다 렌즈 특성의 에니메이션 키 값으로 생성하는 과정; 및
에니메이션 키 값을 이용하여 프레임마다 줌, 조리개, 초점값의 변화에 맞춰 소스이미지를 재배치하는 과정을 포함하는 이미지 합성 방법.7. The method of claim 6,
The synthesis of step c) is,
generating a frame range on the synthesis software;
generating a virtual 3D camera according to the frame range;
generating the zoom, iris, and focus values as animation key values of lens characteristics for each frame range; and
An image compositing method comprising the process of rearranging the source image according to changes in zoom, iris, and focus values for each frame using animation key values.
KR1020210078171A 2021-06-16 2021-06-16 Image synthesis apparatus using sequence image meta information and method thereof KR102368771B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210078171A KR102368771B1 (en) 2021-06-16 2021-06-16 Image synthesis apparatus using sequence image meta information and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210078171A KR102368771B1 (en) 2021-06-16 2021-06-16 Image synthesis apparatus using sequence image meta information and method thereof

Publications (1)

Publication Number Publication Date
KR102368771B1 true KR102368771B1 (en) 2022-03-02

Family

ID=80815316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210078171A KR102368771B1 (en) 2021-06-16 2021-06-16 Image synthesis apparatus using sequence image meta information and method thereof

Country Status (1)

Country Link
KR (1) KR102368771B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060040081A (en) * 2004-11-04 2006-05-10 엘지전자 주식회사 Mobile phone offering image meta information
KR20200072338A (en) * 2018-12-12 2020-06-22 서울과학기술대학교 산학협력단 Apparatus and method for composing video data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060040081A (en) * 2004-11-04 2006-05-10 엘지전자 주식회사 Mobile phone offering image meta information
KR20200072338A (en) * 2018-12-12 2020-06-22 서울과학기술대학교 산학협력단 Apparatus and method for composing video data

Similar Documents

Publication Publication Date Title
JP4858525B2 (en) Camera control apparatus and camera control method
EP3166079A1 (en) Augmented reality method and system based on wearable device
EP2629267A2 (en) Real-time compositing of live recording-based and computer graphics-based media streams
WO2022100712A1 (en) Method and system for displaying virtual prop in real environment image, and storage medium
KR20190013308A (en) Mobile terminal and method for controlling the same
CN104796610A (en) Mobile terminal and camera sharing method, device and system thereof
KR20170112406A (en) Apparatus and method for taking a picture with avatar in augmented reality
CN113545030B (en) Method, user equipment and system for automatically generating full-focus image through mobile camera
CN103813094A (en) Electronic device and related method capable of capturing images, and machine readable storage medium
CN105453544A (en) Display control device and control method therefor
CN111598983A (en) Animation system, animation method, storage medium, and program product
JP2005027284A (en) Image pickup apparatus, image pickup method and image pickup program
US7002584B2 (en) Video information producing device
US20160344946A1 (en) Screen System
JP4892405B2 (en) Image processing apparatus and method
KR102368771B1 (en) Image synthesis apparatus using sequence image meta information and method thereof
CN105225265A (en) 3-D view automatic synthesis method and device
CN111492396A (en) Mixed reality service providing method and system
WO2023236656A1 (en) Method and apparatus for rendering interactive picture, and device, storage medium and program product
KR102474451B1 (en) Apparatus, method, system and program for recording data in virtual production
JP7190594B1 (en) IMAGING DEVICE AND CONTROL METHOD THEREOF, IMAGE PROCESSING DEVICE AND IMAGE PROCESSING SYSTEM
KR101518696B1 (en) System for augmented reality contents and method of the same
JP2017158021A (en) Information terminal device, imaging device, image information processing system, and image information processing method
KR102514702B1 (en) A mobile terminal for generating a photographed image and a method for generating a photographed image
KR20060085510A (en) Picture composing system for mobile communication terminal and producing method for composed picture

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant