KR20170141026A - System for generating an avatar of real-picture using apparatus for adaptively compositing image - Google Patents
System for generating an avatar of real-picture using apparatus for adaptively compositing image Download PDFInfo
- Publication number
- KR20170141026A KR20170141026A KR1020160073941A KR20160073941A KR20170141026A KR 20170141026 A KR20170141026 A KR 20170141026A KR 1020160073941 A KR1020160073941 A KR 1020160073941A KR 20160073941 A KR20160073941 A KR 20160073941A KR 20170141026 A KR20170141026 A KR 20170141026A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- content information
- signal
- video
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 영상 합성 장치를 이용한 실사 아바타 제작 시스템에 관한 것으로서, 더욱 상세하게는 콘텐츠제어정보를 콘텐츠정보에 포함시키고 상기 콘텐츠제어정보가 포함된 콘텐츠정보에 따라 영상물을 제작하는 영상 합성 장치를 이용한 실사 아바타 제작 시스템에 관한 것이다.The present invention relates to a live-action avatar production system using a video synthesizer, and more particularly to a live-action avatar production system using a video synthesizer that includes content control information in content information and produces a video content according to content information including the content control information And an avatar production system.
일반적으로 크로마키(chroma key) 기법은 가상의 공간에서 피사체를 촬영한 영상과 미리 설정되어 있는 배경 영상 또는 이미지를 합성하여 하나의 홍보용 영상물을 생성하는 기법을 의미한다. 상기 크로마키는 영상 합성을 위한 것으로, 특정한 색(chroma)을 키(key)로 지정한 후, 주 영상에서 키(key)에 해당하는 화소(pixel)를 다른 영상으로 대체한다.Generally, the chroma key technique refers to a technique of generating a single PR video by composing an image of a subject in a virtual space and a predetermined background image or image. The chroma key is used for image synthesis. After a specific chroma is designated as a key, the chroma key replaces a pixel corresponding to a key in the main image with another image.
이러한 크로마키(chroma key) 기법을 이용한 영상물을 제작기술은 "크로마키 기법을 적용한 개인 홍보 영상 제작 시스템 및 방법"(공개번호 10-2007-0064082, 출원인 : 주식회사 피알존)에 개시된바와 같이 사용자가 크로마키 기법을 적용하여 합성하고자 하는 배경 영상선택하고, 상기에서 배경 영상을 선택한 사용자는 다음 단계로 개인 또는 단체를 홍보하기 위한 영상물 촬영 작업이 이루어진다. 이때 영상물 촬영에 있어서 뒷 배경은 사용자가 미리 선택한 배경 영상이 크로마키 기법에 의해 합성되기 위하여 단색으로 이루어진 배경스크린이 피사체의 뒤에 위치하며, 카메라와 마이크로폰에 의해 영상과 음향이 기록된다. 상기에서 촬영된 영상물은 사용자가 선택한 배경 영상과 실시간으로 합성되어 기록되며, 동영상압축부를 통해 파일을 압축하고 상기에서 압축된 동영상 파일은 CD(Compact Disc)와 같은 기록매체에 저장함으로 개인 홍보용 영상물 제작이 완료된다.As disclosed in "Personal Promotional Video Production System and Method Using Chroma Key Technique" (Publication No. 10-2007-0064082, Applied to: Pir John, Inc.), the technique of producing a video using the chroma key technique The user selects a background image to be synthesized by applying a chroma key technique, and a user who selects a background image in the above step performs a video image capturing operation to promote an individual or a group in the next step. In this case, a background screen of monochrome is placed behind the subject in order to synthesize the background image selected by the user in advance by the chroma key technique, and images and sounds are recorded by the camera and the microphone. The video image photographed in the above is synthesized and recorded in real time with the background image selected by the user, and the file is compressed through the video compression unit, and the compressed video file is stored in a recording medium such as a CD (Compact Disc) Is completed.
이러한 크로마키 기법을 이용하여 영상물을 제작하기 위해서는 객체(object)가 특정한 카메라 연출 기법 하에서 배경(background)과 동일한 크로마(chroma) 범위에 들 수 있으므로 카메라 기법을 미리 계획해야 하고, 상기 연출계획과 함께 노이즈가 없는 카메라와 색상이 일정한 배경스크린(background screen)을 사용하는 등 여러 복잡한 영상레코더, 크로마키 시스템, 인코더의 장비 및 숙달된 편집기술이 필요하다. 따라서 종래기술을 이용하여 상기 크로마키 기법을 통해 영상물을 제작하려면 많은 비용과 복잡한 인터페이스를 활용해야만 하고, 비전문가는 쉽게 영상제작을 할 수 없는 불편함이 있다.In order to produce a video using such a chroma key technique, the object can be in the same chroma range as the background under a specific camera rendering technique. Therefore, it is necessary to plan the camera technique in advance. There are a number of complex video recorders, chroma key systems, encoders and advanced editing techniques that require a noiseless camera and a constantly colored background screen. Therefore, it is inconvenient for a non-specialist to easily produce a video image, because a cost and a complicated interface must be utilized in order to produce a video image through the chroma key technique using a conventional technique.
따라서 본 발명의 목적은 상기와 같은 불편함을 개선하기 위하여 안출된 것으로서, 콘텐츠제어정보를 콘텐츠정보에 포함시키고 상기 콘텐츠제어정보가 포함된 콘텐츠정보에 따라 영상물을 제작하는 영상 합성 장치를 이용한 실사 아바타 제작 시스템을 제공함에 있다.It is therefore an object of the present invention to provide a real image avatar using an image synthesizing apparatus that includes content control information in content information and produces a video content according to content information including the content control information, And a manufacturing system.
상기 목적을 달성하기 위해 본 발명은 크로마키를 이용하기 위한 카메라, 적외선 센서 및 마이크로폰과 연결되는 외부장치 인터페이스와; 시나리오에 따라 상기 크로마키를 이용하여 영상물을 제작하기 위한 복수개의 콘텐츠 정보가 저장되고, 상기 콘텐츠 정보에 포함된 각각의 배경음향 발생신호, 행동제어신호 및 배경영상 출력신호에 따른 해당 콘텐츠 내용정보가 매칭되어 저장되며, 상기 크로마키를 이용하여 제작된 영상물을 저장하는 메모리와; 상기 카메라로부터 입력되는 라이브 영상정보와 상기 콘텐츠 내용정보를 합성하여 실시간 3층 영상으로 표시부에 출력하는 영상처리부와; 상기 콘텐츠정보를 출력하는 중 상기 배경음향 발생신호가 감지되면, 상기 배경음향 발생신호에 매칭된 배경음향 내용정보를 출력하도록 제어하고, 상기 라이브 영상 정보를 수신하면 이를 상기 콘텐츠 내용정보에 합성하여 출력하도록 제어하며, 상기 행동제어 발생신호가 감지되면, 상기 적외선 센서를 구동시키고, 상기 적외선 센서로부터 움직임 감지신호가 수신되면 행동제어 발생신호에 매칭된 효과음원 내용정보를 출력하도록 제어하는 제어부를 포함하여 구성되는 것이 특징이다.According to an aspect of the present invention, there is provided an electronic device including a camera for using a chroma key, an infrared sensor, and an external device interface connected to the microphone; A plurality of pieces of content information for producing a video material using the chroma key are stored according to a scenario, and corresponding content content information according to background sound generation signals, behavior control signals, and background video output signals included in the content information A memory for storing video images produced using the chroma key; A video processor for synthesizing live video information input from the camera and the content content information and outputting the synthesized live video information to a display unit in a real-time three-layer video; And controls to output background sound content information matched with the background sound generation signal when the background sound generation signal is detected while outputting the content information. When the live sound image information is received, And controlling the infrared sensor to drive the infrared sensor when the behavior control generation signal is detected and to output the effect source content information matched with the behavior control occurrence signal when the motion detection signal is received from the infrared sensor, .
이때, 상기 콘텐츠 정보는 배경음향 내용정보, 효과음원 내용정보, 효과영상 내용정보 및 배경영상 내용정보를 포함하는 콘텐츠 내용정보와 배경음향 발생신호, 행동제어신호 및 배경영상 출력신호를 포함하는 콘텐츠제어정보 및 알파채널정보를 포함하여 구성되는 것이 특징이다.At this time, the content information includes content content information including background sound content information, effect sound source content information, effect video content information and background video content information, and content control information including a background sound generation signal, a behavior control signal, Information and alpha channel information.
또한, 상기 마이크로폰으로부터 입력된 아날로그신호를 오디오코덱을 통해 디지털 오디오신호로 변환하고, 디지털 오디오신호를 상기 오디오코덱을 통해 아날로그신호를 변환하여 재생하는 오디오 처리부를 더 포함하는 것이 특징이다.The audio processor may further include an audio processor for converting the analog signal input from the microphone into a digital audio signal through an audio codec, and converting the digital signal into an analog signal through the audio codec.
본 발명은 콘텐츠제어정보를 콘텐츠정보에 포함시키고 상기 콘텐츠제어정보가 포함된 콘텐츠정보에 따라 영상물을 제작하는 크로마키를 이용한 영상물제작 장치 및 그 방법을 제공함으로서 여러 복잡한 영상레코더, 크로마키시스템, 인코더의 장비 및 숙달된 편집기술 없이도 크로마키를 이용하여 영상물을 제작할 수 있음으로 영상물을 제작하기 위한 비용을 줄이고 사용자의 편의성을 증대시키는 효과가 있다.The present invention provides an apparatus and method for producing a video material using a chroma key for embedding content control information into content information and producing a video content according to content information including the content control information, thereby providing various complicated video recorders, a chroma key system, It is possible to manufacture a video image using a chroma key without the need for equipment and skilled editing techniques, thereby reducing the cost of producing a video image and increasing the convenience of the user.
도 1은 본 발명의 일실시 예에 따른 영상 합성 장치를 이용한 실사 아바타 제작 시스템 구성도.
도 2는 본 발명의 일실시 예에 따른 영상 합성 장치의 블록도.
도 3은 본 발명의 일실시 예에 따라 영상 합성 장치에서 크로마키를 이용하여 영상물을 제작하는 동작의 흐름도.
도 4는 본 발명의 일실시 예에 따라 영상 합성 장치에서 콘텐츠 정보에 입력되는 라이브 영상정보를 합성 및 출력하는 동작의 흐름도.1 is a block diagram of a live-action avatar production system using a video composition apparatus according to an embodiment of the present invention;
2 is a block diagram of a video synthesizer according to an embodiment of the present invention;
3 is a flowchart illustrating an operation of generating a video image using a chroma key in an image synthesizer according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating an operation of synthesizing and outputting live image information input to content information in a video synthesizer according to an exemplary embodiment of the present invention.
하기의 설명에서는 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다. 이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 또한 하기에서 콘텐츠정보는 크로마키를 이용한 영상물을 제작하기 위해 시나리오에 따라 출력되는 영상정보와 음원정보를 의미한다.In the following description, only parts necessary for understanding the operation and operation according to the present invention will be described, and the description of other parts will be omitted so as not to disturb the gist of the present invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. In the following, content information means image information and sound source information output according to a scenario to produce a video image using a chroma key.
도 1은 본 발명의 일실시 예에 따른 크로마키를 이용한 영상물 제작시스템 구성도이다. 상기 도 1을 참조하여 콘텐츠제어정보를 콘텐츠정보에 포함시키고 크로마키를 이용하여 상기 콘텐츠제어정보가 포함된 콘텐츠정보에 따라 영상물을 제작하는 영상물 제작시스템을 설명한다. 상기 크로마키를 이용한 영상물 제작시스템은 배경스크린 10, 카메라 20, 적외선 센서 30, 마이크로폰 40, 휴대용 단말기 50 및 영상제작 장치 60을 포함한다.1 is a block diagram of a video production system using a chroma key according to an embodiment of the present invention. Referring to FIG. 1, a video production system for embedding content control information in content information and producing a video content according to content information including the content control information using a chroma key will be described. The video production system using the chroma key includes a
상기 배경스크린 10은 본 발명의 일실시예에 따라 동영상의 촬영시 피사체 모델의 등 뒤에 설치되는 것으로, 후에 크로마키 기법에 의한 영상 편집이 가능하도록 단색 배경을 사용하되 일반적으로 청색으로 이루어진 블루스크린(Blue screen)을 적용함이 바람직하다.The
상기 카메라 20은 본 발명의 일실시예에 따라 피사체를 촬영하여 디지털 영상 신호로 변환하고 변환된 영상 신호를 기록하는 수단으로, 피사체를 다양한 각도에서 촬영하기 위해서는 다수개의 설치도 가능하다.The
상기 적외선 센서 30은 적외선을 이용해 온도, 압력, 방사선의 세기 등의 물리량이나 화학량을 검지하여 신호처리가 가능한 전기량으로 변환하는 장치로서, 본 발명의 일실시예에 따라 상기 콘텐츠제어정보가 포함된 콘텐츠정보에 따라 행동제어 신호가 발생하면 구동되어 상기 배경스크린 10의 해당 부분에 적외선을 방사하고, 사용자의 움직임이 감지되면, 감지신호를 상기 영상제작 장치 60에 전달한다. 또한 상기 적외선 센서 30은 상기 카메라 20에 일체형으로 구성되거나 독립적인 장치로 구성될 수 있다.The
상기 마이크로폰 40은 본 발명의 일실시예에 따라 사용자의 음성신호를 전기신호로 변환하는 것으로, 상기 카메라 20을 통해 촬영된 영상과 사용자의 목소리를 함께 기록하기 위해 구비된 수단이다.The
상기 휴대용 단말기 50은 개인용 컴퓨터 단말기(PC)와 같은 단말기가 될 수 있고 통신망을 통하여 상기 콘텐츠 제어정보가 포함된 콘텐츠정보가 저장된 웹서버와 연결된다. 그리고 본 발명의 일실시예에 따라 상기 휴대용 단말기 50은 사용자에 요청에 의해 해당 콘텐츠정보를 요청 및 수신하여 상기 영상제작 장치 60에 제공할 수 있다.The
또한 상기 영상제작 장치 60에서 제작된 콘텐츠정보를 ASF(Active Streaming Format : 능동스트리밍) 파일, MP3파일 및 이미지 파일의 3가지 파일로 동시에 저장되어 차후 MP3플레이어 또는 홈페이지의 동영상 콘텐츠와 CD앨범 등 으로 활용할 수 있다.Also, the content information produced by the
상기 영상제작 장치 60은 상기 크로마키를 이용한 영상물을 제작하기 위한 전반적인 기능을 수행한다. 상기 영상제작 장치 60은 본 발명의 일실시예에 따라 콘텐츠 종류정보가 표시된 상태에서 사용자에 의해 해당 콘텐츠가 선택되면, 해당 콘텐츠정보를 분석하고 이를 출력한다. 여기서 상기 콘텐츠정보는 콘텐츠 내용정보 (예를 들어 배경음향 내용정보, 효과음원 내용정보, 효과영상 내용정보 및 배경영상 내용정보와 콘텐츠제어정보 즉, SPS(Sound Packet Signal : 배경음향 발생신호), APS(Action Packet Signal : 행동제어신호), MPS(Movie Packet Signal : 배경영상 출력신호), MCPS(Movie Control Packet Signal : 배경영상을 제어하는 신호) 및/또는 알파채널정보 즉, 배경영상 앞쪽에 출력되는 영상정보를 포함한다. 상기 콘텐츠정보를 출력하는 중 첫 번째, 상기 배경음향 발생신호가 감지되면, 상기 배경음향 발생신호에 미리 매칭된 배경음향 내용정보를 추출하고 이를 출력하며, 두 번째 상기 카메라 20으로부터 라이브 영상 정보를 수신하면 이를 상기 알파채널정보와 배경영상(효과영상)정보에 합성하여 실시간 3층 영상을 출력하며, 세 번째 상기 행동제어 발생신호가 감지되면, 상기적외선 센서 30을 구동시키고, 상기 적외선 센서 30으로부터 움직임 감지신호를 수신하면 상기 행동제어 발생신호에 미리 매칭된 효과음원 내용정보 및/또는 효과영상 내용정보를 추출하고 이를 출력한다.The
또한 마이크로폰 40으로부터 입력된 음성신호 또는 배경음악으로 사용될 음향을 함께 믹싱할 수 있는 기능도 포함한다. 이후 상기 출력되는 콘텐츠가 종료되면 상기 제작된 콘텐츠 정보를 ASF파일, MP3파일 및 이미지 파일의 3가지 파일로 동시에 저장한다. 또한 상기 콘텐츠 정보가 제작되는 동안 실시간으로 저장할 수 있다.It also includes the ability to mix together the audio signal input from the
도 2는 본 발명의 일실시 예에 따른 영상제작 장치의 블록도이다. 상기 도 2를 참조하여 영상제작 장치의 구조를 설명하면, 상기 영상제작 장치 60은 통신인터페이스 201, 오디오 처리부 203, 키패드 205, 외부장치 인터페이스 209, 메모리 209, 영상처리부 211, 표시부 213 및 제어부 215를 포함하여 구성된다.2 is a block diagram of an image production apparatus according to an embodiment of the present invention. 2, the
상기 통신인터페이스 201은 유/무선 통신망과 연결될 수 있다. 본 발명의 실시 예에 따라 유선일 경우 상기 휴대용 단말기 50과 연결되고, 무선일 경우 콘텐츠정보가 저장된 웹서버와 연결되어 사용자의 요청에 따른 콘텐츠 정보를 제공받을 수 있다. 또한 외부장치로부터 수신되는 정보 및 콘텐츠정보를 복조 및 복호화하는 수신기 등을 구비할 수 있다.The
상기 오디오 처리부 203은 코덱을 구성할 수 있으며, 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오코덱을 구비한다. 상기 오디오 처리부 203은 본 발명의 실시 예에 따라 디지털 오디오신호를 상기 오디오코덱을 통해 아날로그신호를 변환하여 재생한다. 그리고 상기 마이크로폰 40으로부터 입력된 아날로그신호를 상기 오디오코덱을 통해 디지털 오디오신호로 변환한다. 또한 상기 코덱은 별도로 구비거나 또는 상기 제어부 215에 포함될 수 있다.The
상기 키패드 205는 숫자 및 문자 정보를 입력하기 위한 키들과 각종 기능 들을 설정하기 위한 기능키들을 구비한다. 또한, 본 발명의 실시 예에 따라 상기 키패드 205를 이용하여 소정 콘텐츠를 선택하고 제작된 영상물을 편집 또는 제작하는 기능을 설정 및 실행할 수 있다. 또한 상기 키패드 205는 마우스를 포함할 수 있다.The
상기 외부장치 인터페이스 209는 본 발명의 실시 예에 따라 상기 카메라 20, 적외선 센서 30 및 마이크로폰 40등과 같은 외부장치와 연결된다. 상기 외부장치 인터페이스 209는 상기 카메라 20로부터 라이브 영상정보를 수신하고, 구동명령신호를 상기 적외선 센서 30에 전달하며, 상기 적외선 센서 30으로부터 발생되는 움직임 감지신호를 수신한다. 또한 상기 마이크로폰 40으로부터 오디오 신호를 수신한다.The
상기 메모리 209는 프로그램 메모리 및 데이터 메모리들로 구성될 수 있다. 상기 프로그램 메모리에는 영상제작장치 60의 일반적인 동작을 제어하기 위한 프로그램이 저장된다. 상기 데이터 메모리에는 상기 프로그램들을 수행하는 중에 발생되는 데이터들이 일시 저장된다. 그리고 본 발명의 일실시 예에 따라 크로마키를 이용하여 영상물을 제작하는데 필요한 전반적인 프로그램이 저장된다.The
또한 상기 데이터 메모리에는 크로마키를 이용한 영상물을 제작하기 위해 시나리오에 따라 출력되는 다양한 종류의 콘텐츠 정보가 저장되어 있다. 여기서 상기 콘텐츠 정보는 배경음향 내용정보, 효과음원 내용정보, 효과영상 내용정보 및 배경영상 내용정보를 포함하는 콘텐츠 내용정보와 배경음향 발생신호, 행동제어신호, 배경영상 출력신호 및/또는 배경영상을 제어하는 신호를 포함하는 콘텐츠제어정보 및/또는 알파채널정보를 포함하여 구성된다. 또한 상기 각각의 배경음향 발생신호, 행동제어신호, 배경영상 출력신호 및 배경영상을 제어하는 신호에는 각각의 해당 콘텐츠 내용정보가 매칭되어 있다.In addition, various kinds of contents information outputted according to a scenario are stored in the data memory in order to produce a video material using a chroma key. Here, the content information may include content content information including background sound content information, effect sound source content information, effect video content information, and background video content information, a background sound generation signal, a behavior control signal, a background image output signal and / Content control information and / or alpha channel information including a control signal. Also, the corresponding contents content information is matched to the signals for controlling the background sound generating signals, the behavior control signal, the background image output signal, and the background image.
따라서 시나리오에 따라 콘텐츠 정보가 출력되는 중 감지되는 신호에 따라 해당 배경음향 내용정보, 효과음원 내용정보, 효과영상 내용정보 또는 배경영상 내용정보가 출력될 수 있다.Accordingly, the background sound content information, the effect sound source content information, the effect video content information, or the background video content information may be output according to a signal detected during the output of the content information according to the scenario.
상기 영상처리부 211은 본 발명의 일실시 예에 따라 상기 콘텐츠 내용정보를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 영상처리부 211은 제어부 215의 제어 하에 상기 콘텐츠 내용정보를 표시부 213의 규격에 맞춰 전송하며, 또한 상기 콘텐츠 내용정보를 압축 및 신장하는 기능을 수행한다. 또한 표시부 213에 출력되는 상기 콘텐츠 내용정보 값을 전송하거나 제어부 215의 제어 하에 상기 시작주소 값을 변경 설정하여 전송한다.The
또한 상기 영상처리부 211은 알파채널정보, 배경영상(효과영상)정보 및 상기 라이브 영상정보를 이용한 실시간 3층 영상을 합성하여 출력할 수 있다.In addition, the
상기 표시부 213은 상기 영상처리부 211에서 출력되는 영상데이터를 표시한다. 여기서 상기 표시부 213은 LCD를 사용할 수 있으며, 이런 경우 상기 표시부 213은 LCD제어부(LCD controller), 영상 정보를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다.The
상기 제어부 215는 본 발명의 일실시 예에 따라 크로마키를 이용한 영상물을 제작하기 위한 상기 영상제작 장치 60의 전반적인 동작을 제어하는 기능을 수행한다. 그리고 상기 코덱을 포함할 수 있다. 또한, 상기 제어부 215는 콘텐츠 종류정보가 표시된 상태에서 사용자에 의해 해당 콘텐츠가 선택되면, 해당 콘텐츠정보를 분석하고 이를 출력한다.The
상기 콘텐츠정보를 출력하는 중 첫 번째, 상기 배경음향 발생신호가 감지되면, 상기 배경음향 발생신호에 미리 매칭된 배경음향 내용정보를 추출하고 이를 출력하도록 제어하며, 두 번째 상기 카메라 20으로부터 라이브 영상 정보를 수신하면 이를 상기 콘텐츠 정보에 포함된 알파채널정보와 배경영상(효과영상)정보에 합성하여 실시간 3층 영상을 출력하도록 제어하며, 세 번째 상기 행동제어 발생신호가 감지되면, 상기 적외선 센서 30을 구동시키고, 상기 적외선 센서 30으로부터 움직임 감지신호를 수신하면 상기 행동제어 발생신호에 미리 매칭된 효과음원 내용정보 및/또는 효과영상 내용정보를 추출하고 이를 출력하도록 제어한다. 또한 상기 마이크로폰 40으로부터 입력된 음성신호 또는 배경음악으로 사용될 음향을 함께 믹싱하도록 제어한다. 이후 상기 출력되는 콘텐츠가 종료되면 상기 제작된 콘텐츠 정보를 ASF파일, MP3파일 및 이미지 파일의 3가지 파일로 동시에 저장하도록 제어한다.The control unit controls to output the background sound content information matched in advance to the background sound generation signal when the background sound generation signal is detected and to output the extracted background sound content information, Layer image by combining the alpha channel information and the background image (effect image) information included in the content information, and when the third behavior control generation signal is detected, the
도 3은 본 발명의 일실시 예에 따라 영상제작 장치에서 크로마키를 이용하여 영상물을 제작하는 동작의 흐름도이고 도 4는 본 발명의 일실시 예에 따라 영상제작 장치에서 콘텐츠 정보에 입력되는 라이브 영상정보를 합성 및 출력하는 동작의 흐름도이다. 상기 도 3과 도 4를 참조하여 본 발명의 일실시 예에 따라 영상제작 장치에서 크로마키를 이용하여 영상물을 제작하는 동작을 설명한다. 하기에서는 상기 도 1에서 설명한 크로마키를 이용한 영상물 제작시스템이 구동되는 상태를 가정하여 설명할 것이다.FIG. 3 is a flowchart illustrating an operation of producing an image using a chroma key in an image producing apparatus according to an exemplary embodiment of the present invention. FIG. 4 is a flowchart illustrating an operation of generating a live image FIG. 2 is a flowchart of an operation of synthesizing and outputting information; FIG. Referring to FIGS. 3 and 4, the operation of producing an image using a chroma key in an image producing apparatus according to an embodiment of the present invention will be described. In the following description, it is assumed that the video production system using the chroma key described in FIG. 1 is driven.
콘텐츠 종류가 표시된 상태인 301단계에서 사용자가 키패드 205를 이용하여 해당 콘텐츠를 선택하면, 제어부 215는 303단계에서 이를 감지하고 305단계로 진행한다. 상기 305단계에서 제어부 215는 메모리 209를 제어하여 상기 선택된 해당 콘텐츠 정보를 추출하고 이를 분석한다. 그리고 제어부 215는 오디오 처리부 203, 영상처리부 211 및 표시부 213을 제어하여 상기 분석된 콘텐츠 정보를 출력한다. 여기서 상기 콘텐츠 정보는 시나리오를 가지고 있으며, 콘텐츠 내용정보 (예를 들어 배경음향 내용정보, 효과음원 내용정보, 효과영상 내용정보 및 배경 영상 내용정보와 콘텐츠제어정보 즉, SPS(Sound Packet Signal : 배경음향 발생신호), APS(Action Packet Signal : 행동제어신호), MPS(Movie Packet Signal : 배경영상 출력신호), MCPS(Movie Control Packet Signal: 배경영상을 제어하는 신호) 및/또는 알파채널정보를 포함하여 구성된다.If the user selects the corresponding content using the
상기 콘텐츠정보가 출력되는 중 첫 번째, 상기 배경음향 발생신호발생하면, 제어부 215는 307단계에서 이를 감지하고 309단계로 진행한다. 상기 309단계에서 제어부 215는 메모리 209를 제어하여 상기 배경음향 발생신호에 미리 매칭된 배경음향 내용정보를 추출하고 오디오 처리부 203을 제어하여 이를 출력한다.If the background sound generation signal is generated first, the
상기 콘텐츠정보가 출력되는 중 두 번째, 상기 카메라 20으로부터 라이브 영상정보를 수신하면, 제어부 215는 313단계에서 이를 감지하고 315단계로 진행한다. 상기 315단계에서 제어부 215는 영상처리부 211 및 표시부 213을 제어하여 상기 콘텐츠 정보에 포함된 알파채널정보와 배경영상(효과영상)정보에 상기 입력된 라이브 영상정보를 합성하여 실시간 3층 영상을 출력한다. 또한 이때 제어부 215는 오디오 처리부 203을 제어하여 상기 마이크로폰 40으로부터 입력되는 오디오정보를 믹싱 및 출력한다. 상기 입력된 라이브 영상정보를 합성하여 출력하는 동작을 상기 도 4를 참조하여 좀 더 자세히 설명한다. 상기 도 4를 참조하면, 상기 카메라 20으로부터 라이브 영상정보를 수신하면, 제어부 215는 401단계에서 영상처리부 211을 제어하여 상기 입력된 라이브 영상정보의 각각의 이미지를 추출하고 403단계로 진행한다. 상기 403단계에서 제어부 215는 영상처리부 211을 제어하여 콘텐츠 배경영상 정보와 상기 입력된 라이브 영상정보에 해당하는 색상값 정보를 분리시키는 키 정보를 산출하고 상기 콘텐츠 배경영상 정보와 라이브 영상정보를 믹싱하는 작업을 실행하고 405단계로 진행한다. 상기 405단계에서 제어부 215는 상기 콘텐츠정보를 분석하여 상기 콘텐츠정보에 알파채널정보가 존재하는지 판단한다.When the live image information is received from the
상기 판단결과 상기 콘텐츠정보에 알파채널정보가 존재하면, 제어부 215는 407단계에서 이를 감지하고 409단계로 진행하여 알파채널정보에 해당하는 키 정보를 추출하고 영상처리부 211을 제어하여 상기 콘텐츠 배경영상 정보와 상기 입력된 라이브 영상정보에 상기 알파채널정보를 믹싱하고 411단계로 진행한다. 상기 411단계에서 제어부 215는 영상처리부 211과 표시부 213을 제어하여 상기 알파채널정보가 믹싱된 상기 콘텐츠 배경영상 정보와 상기 입력된 라이브 영상정보를 3층 영상으로 출력한다. 반면, 상기 판단결과 상기 콘텐츠정보에 알파채널정보가 존재하지 않으면, 제어부 215는 407단계에서 이를 감지하고 413단계로 진행하여 상기 믹싱된 콘텐츠 배경영상 정보와 라이브 영상정보를 2층 영상으로 출력한다.If it is determined that the alpha channel information is present in the content information, the
상기 콘텐츠정보가 출력되는 중 세 번째 상기 행동제어 발생신호가 발생하면, 제어부 215는 317단계에서 이를 감지하고 319단계로 진행한다. 상기 319단계에서 제어부 215는 외부장치 인테페이스 207을 통하여 상기 적외선센서 30을 구동시킨다. 이때 상기 적외선 센서 30은 상기 배경스크린 10의 해당 부분에 적외선을 방사시킨다.When the third behavior control generation signal is generated, the
그리고 상기 적외선 센서 30으로부터 움직임 감지신호를 수신하면, 제어부 215는 321단계에서 이를 감지하고 323단계로 진행한다. 상기 323단계에서 제어부 215는 메모리 209를 제어하여 상기 행동제어 발생신호에 미리 매칭된 효과음원 내용정보 및/또는 효과영상 내용정보를 추출한다. 그리고 제어부 215는 오디오 처리부 203, 영상처리부 211 및/또는 표시부 213을 제어하여 상기 추출한 효과음원 내용정보 및/또는 효과영상 내용정보 출력한다.Upon receiving the motion detection signal from the
상기 출력되는 콘텐츠가 종료될 때까지 시나리오에 따라 상기 과정들이 반복 수행된다. 이후 상기 출력되는 콘텐츠가 종료되면, 제어부 215는 325단계에서 이를 감지하고 327단계로 진행한다. 상기 327단계에서 제어부 215는 메모리 209를 제어하여 상기 제작된 콘텐츠 정보를 ASF파일, MP3파일 및 이미지 파일의 3가지 파일로 동시에 저장한다. 또한 상기 콘텐츠 정보가 제작되는 동안 실시간으로 저장될 수 있다.The above processes are repeatedly performed according to the scenario until the output content is terminated. If the output content is terminated, the
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명은 청구범위 및 청구범위와 균등한 것들에 의하여 정해져야 한다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention. Therefore, the present invention should be determined by equivalents to the claims and the claims.
10 : 배경스크린
20 : 카메라
30 : 센서
40 : 마이크로폰
50 : 휴대용 단말기
60 : 영상 합성 장치10: background screen 20: camera
30: sensor 40: microphone
50: portable terminal 60: image synthesizer
Claims (3)
상기 카메라로부터 입력되는 라이브 영상정보와 상기 콘텐츠 내용정보를 합성하여 실시간 3층 영상으로 표시부에 출력하는 영상처리부와;
상기 콘텐츠정보를 출력하는 중 상기 배경음향 발생신호가 감지되면, 상기 배경음향 발생신호에 매칭된 배경음향 내용정보를 출력하도록 제어하고, 상기 라이브 영상 정보를 수신하면 이를 상기 콘텐츠 내용정보에 합성하여 출력하도록 제어하며, 상기 행동제어 발생신호가 감지되면, 상기 적외선 센서를 구동시키고, 상기 적외선 센서로부터 움직임 감지신호가 수신되면 행동제어 발생신호에 매칭된 효과음원 내용정보를 출력하도록 제어하는 제어부를 포함함을 특징으로 하는 영상 합성 장치를 이용한 실사 아바타 제작 시스템.
An external device interface connected to a camera, an infrared sensor and a microphone for using the chroma key; A plurality of pieces of content information for producing a video material using the chroma key are stored according to a scenario, and corresponding content content information according to background sound generation signals, behavior control signals, and background video output signals included in the content information A memory for storing video images produced using the chroma key;
A video processor for synthesizing the live video information input from the camera and the content content information and outputting the synthesized live video information to the display unit in a real time three layer image;
And controls to output background sound content information matched with the background sound generation signal when the background sound generation signal is detected while outputting the content information. When the live sound image information is received, And controlling the infrared sensor to drive the infrared sensor when the behavior control generation signal is detected and to output the effect source content information matched with the behavior control occurrence signal when the motion detection signal is received from the infrared sensor A real image avatar production system using a video image synthesizer.
상기 콘텐츠 정보는 배경음향 내용정보, 효과음원 내용정보, 효과영상 내용정보 및 배경영상 내용정보를 포함하는 콘텐츠 내용정보와 배경음향 발생신호, 행동제어신호 및 배경영상 출력신호를 포함하는 콘텐츠제어정보 및 알파채널정보를 포함하여 구성됨을 특징으로 하는 영상 합성 장치를 이용한 실사 아바타 제작 시스템.
The method according to claim 1,
The content information includes content content information including background sound content information, effect sound source content information, effect video content information and background video content information, content control information including a background sound generation signal, a behavior control signal, and a background image output signal, Alpha channel information, and alpha channel information.
상기 마이크로폰으로부터 입력된 아날로그신호를 오디오코덱을 통해 디지털 오디오신호로 변환하고, 디지털 오디오신호를 상기 오디오코덱을 통해 아날로그신호를 변환하여 재생하는 오디오 처리부를 더 포함함을 특징으로 하는 영상 합성 장치를 이용한 실사 아바타 제작 시스템.
The method according to claim 1,
Further comprising an audio processor for converting the analog signal input from the microphone into a digital audio signal through an audio codec and converting the digital signal into an analog signal through the audio codec and reproducing the analog signal. Live avatar production system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160073941A KR20170141026A (en) | 2016-06-14 | 2016-06-14 | System for generating an avatar of real-picture using apparatus for adaptively compositing image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160073941A KR20170141026A (en) | 2016-06-14 | 2016-06-14 | System for generating an avatar of real-picture using apparatus for adaptively compositing image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20170141026A true KR20170141026A (en) | 2017-12-22 |
Family
ID=60936680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160073941A KR20170141026A (en) | 2016-06-14 | 2016-06-14 | System for generating an avatar of real-picture using apparatus for adaptively compositing image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20170141026A (en) |
-
2016
- 2016-06-14 KR KR1020160073941A patent/KR20170141026A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7952535B2 (en) | Electronic visual jockey file | |
US8391671B2 (en) | Information processing device and method, recording medium, and program | |
CN1246196A (en) | Non-linear editing system for home entertainment environments | |
WO2006011399A1 (en) | Information processing device and method, recording medium, and program | |
WO2015122627A1 (en) | Image editing method and apparatus therefor | |
KR100934471B1 (en) | Image Production Apparatus and Method Using Chroma Key | |
KR20130112162A (en) | Video display terminal and method for displaying a plurality of video thumbnail simultaneously | |
JP4572615B2 (en) | Information processing apparatus and method, recording medium, and program | |
US10972811B2 (en) | Image processing device and image processing method | |
KR20090044105A (en) | Live-image providing system using contents of 3d virtual space | |
US20180302593A1 (en) | Apparatus and method for processing image | |
KR20130123820A (en) | Real time image synthesis apparatus and image synthesis method | |
US10616724B2 (en) | Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device | |
KR100775187B1 (en) | Thumbnail recording method and terminal using the same | |
KR101285382B1 (en) | A device having function editting of image and Method thereof | |
US8913870B2 (en) | Method of capturing moving picture and apparatus for reproducing moving picture | |
KR20170141026A (en) | System for generating an avatar of real-picture using apparatus for adaptively compositing image | |
KR20210096867A (en) | Video production device using chromakey that is effective for video production | |
KR20230014522A (en) | Chroma Key Imaging Devices and Their Methods | |
TWI535281B (en) | System device and method of compositing a real-time selfie music video with effects adapted for karaoke | |
KR101454333B1 (en) | Real time system for mixing captured image and backgroud image | |
JP6799092B2 (en) | Imaging device and imaging method | |
WO2018180662A1 (en) | Image processing device and image processing method | |
JP2016123136A (en) | Image processing apparatus | |
JP6643081B2 (en) | Album moving image generating apparatus, album moving image generating method, and program |