KR101373631B1 - 실시간 크로마키 합성 시스템 및 방법 - Google Patents

실시간 크로마키 합성 시스템 및 방법 Download PDF

Info

Publication number
KR101373631B1
KR101373631B1 KR1020120102898A KR20120102898A KR101373631B1 KR 101373631 B1 KR101373631 B1 KR 101373631B1 KR 1020120102898 A KR1020120102898 A KR 1020120102898A KR 20120102898 A KR20120102898 A KR 20120102898A KR 101373631 B1 KR101373631 B1 KR 101373631B1
Authority
KR
South Korea
Prior art keywords
image
real
time
background
chroma key
Prior art date
Application number
KR1020120102898A
Other languages
English (en)
Inventor
유제진
Original Assignee
(주)지니트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지니트 filed Critical (주)지니트
Priority to KR1020120102898A priority Critical patent/KR101373631B1/ko
Application granted granted Critical
Publication of KR101373631B1 publication Critical patent/KR101373631B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

본 발명은 실시간 크로마키 합성 시스템 및 방법에 관한 것이다. 본 발명에 따른 실시간 크로마키 합성 시스템은 영상파일 저장부, 하나 이상의 영상 입력부, 모드 입력부, 영상선택 입력부, 합성영상 생성부를 포함한다. 상기 영상파일 저장부는 하나 이상의 영상 파일을 저장한다. 상기 하나 이상의 영상 입력부는 실시간 영상을 실시간으로 입력받는다. 상기 모드 입력부는 크로마키(Chroma key) 모드, PIP(Picture In Picture) 모드, 오버랩(Overlap) 모드를 포함하는 복수의 영상합성모드 중 하나의 모드를 선택 입력받는다. 상기 영상선택 입력부는 사용자로부터 상기 하나 이상의 영상 입력부에서 수신되는 실시간 영상 중 포그라운드(Foreground) 영상으로 사용할 실시간 영상에 대한 선택 입력을 수신하고, 상기 하나 이상의 영상 입력부에서 수신되는 실시간 영상 및 상기 영상파일 저장부에 저장된 하나 이상의 영상 파일 중 백그라운드(Background) 영상으로 사용될 영상에 대한 선택 입력을 수신한다. 상기 합성영상 생성부는 상기 선택된 포그라운드 영상 및 백그라운드 영상을 합성하여 실시간으로 합성 영상을 생성한다.

Description

실시간 크로마키 합성 시스템 및 방법 {SYSTEM FOR COMPOSING IMAGES BY REAL TIME AND METHOD THEREOF}
본 발명은 실시간 크로마키 합성 시스템 및 방법에 관한 것으로, 보다 상세하게는 가상스튜디오에서 배경 영상에 적용된 빛의 방향이 스튜디오에서 촬영할 오브젝트에 적용된 빛의 방향과 서로 달라서 합성 영상에서 배경과 촬영된 오브젝트의 빛의 적용에 대한 부조화가 발생되는 문제점을 해소할 수 있는 기술에 관한 것이다.
가상스튜디오는 실제 세트의 2차원 화면에 컴퓨터 그래픽으로 만들어낸 가상의 세트를 크로마키 합성 기술로 합성하여 3차원의 영상 화면을 재현해 내는 것을 의미한다.
여기서, 크로마키는 컬러텔레비전 방송의 화면 합성 기술로, 색상 차이를 이용하여 어떤 피사체만을 뽑아내어 다른 화면에 끼워 넣는 방법을 의미하며, 배경이나 인물을 촬영한 뒤 어느 하나를 분리하여 다른 카메라에 옮겨 구성하는 방식이다. 최근에는 뉴스나 일기예보, 선거방송에서 시작된 크로마키 합성기술이 드라마나 영화, 인터넷방송국, 개인방송국까지 확산되는 추세에 있다.
크로마키 기법을 이용한 영상 합성 방법은 배경 영상을 제작한 다음, 배경 영상에 합성할 피촬영자의 영상을 촬영한다. 이때, 피촬영자를 촬영할 때에는 블루스크린을 배경으로 하여 촬영한다. 이후, 블루스크린을 배경으로 하여 촬영한 피촬영자의 영상에서 크로마키 기법을 이용하여 블루스크린을 제거한 피촬영자의 영상을 기 제작한 배경 영상과 합성한다.
그러나 상술한 바와 같은 종래의 크로마키를 이용한 영상 합성 방법은 가상스튜디오에서 배경 영상에 적용된 빛의 방향이 스튜디오에서 촬영할 오브젝트에 적용된 빛의 방향과 서로 달라서 합성 영상에서 배경과 촬영된 오브젝트의 빛의 적용에 대한 부조화가 발생할 수 있다. 즉, 도 1과 같이 크로마키로 합성한 배경 영상과 피촬영자 간의 빛의 부조화로 인하여 배경 영상과 피촬영자의 영상이 부자연스럽게 합성된다는 문제점이 있다.
한편, 이와 같은 크로마키 기법은 블루스크린을 배경으로 하는 피사체를 자연스럽게 추출하기 위하여, 기본적으로 파란색과 유사한 색상범위에 해당하는 픽셀 값들을 제거하여 대상물을 추출한다. 한국등록특허 제1130210호 "초고화질 영상을 위한 크로마키 시스템"에서는 인코더/디코더부 이전에 하나의 HD 영상에 대한 색상정보를 기준으로 나머지 HD 영상에 대한 색상정보와의 편차를 상기 인코더/디코더부에 제공하거나, 인코더/디코더부와 별도로 상기 편차를 이용하여 HD 영상의 색상을 균일화하여 자연스러운 초고화질 영상을 제공하고 있다.
하지만, 크로마키 기법을 통한 합성시 블루스크린 때문에 배경과 오브젝트 사이의 경계부분이 부드럽지 못하다. 즉, 가상스튜디오에서 조명의 반사광으로 인하여 경계부분에 그림자와 같이 파란색이나 검은 띠가 남게 되므로, 합성된 영상이 부자연스러운 문제점이 있다. 따라서 크로마키 처리 중 경계 부분의 색상처리가 자연스럽게 될 수 있는 기술이 필요하다.
한편, 학교와 기업에서는 스튜디오를 위한 라이브 방송과 교육용 컨텐츠 제작을 위해 가상스튜디오 솔루션을 이용하여 가상 공간에서의 뉴스, 교육방송 등의 라이브 방송과 다양한 교육, 홍보 컨텐츠를 제작할 수 있는 환경이 필요하다. 즉, 거대한 규모의 비용을 들여 스튜디오 환경을 구성해야 할 필요가 있다.
따라서 완벽한 제작환경을 갖추지 못한 학교방송의 경우 교육용 컨텐츠를 위해 사용될 배경 영상과 인물 혹은 촬영 대상과의 조명의 방향과 밝기를 유사하게 처리할 수 있는 기술의 적용이 필요하다.
한국등록특허 제1130210호
본 발명은 가상스튜디오에서 배경 영상에 적용된 빛의 방향이 스튜디오에서 촬영할 오브젝트에 적용된 빛의 방향과 서로 달라서 합성 영상에서 배경과 촬영된 오브젝트의 빛의 적용에 대한 부조화가 발생하는 문제점, 즉 크로마키로 합성한 배경 영상과 피촬영자 간의 빛의 부조화로 인하여 배경 영상과 피촬영자의 영상이 부자연스럽게 합성되는 문제점을 해소하는 것을 목적으로 한다.
또한, 본 발명은 크로마키 기법을 통한 합성시 블루스크린 때문에 배경과 오브젝트 사이의 경계부분이 부드럽지 못한 문제점, 즉 가상스튜디오에서 조명의 반사광으로 인하여 경계부분에 그림자와 같이 파란색이나 검은 띠의 노이즈가 남게 되므로, 합성된 영상이 부자연스러운 문제점을 해소하는 것을 목적으로 한다.
또, 본 발명은 완벽한 제작환경을 갖추지 못한 학교방송의 경우 교육용 컨텐츠를 위해 사용될 배경 영상과 인물 혹은 촬영 대상과의 조명의 방향과 밝기를 유사하게 처리할 수 있는 기술을 제공하는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명에 따른 실시간 크로마키 합성 시스템은 영상파일 저장부, 하나 이상의 영상 입력부, 모드 입력부, 영상선택 입력부, 합성영상 생성부를 포함한다. 상기 영상파일 저장부는 하나 이상의 영상 파일을 저장한다. 상기 하나 이상의 영상 입력부는 실시간 영상을 실시간으로 입력받는다. 상기 모드 입력부는 크로마키(Chroma key) 모드, PIP(Picture In Picture) 모드, 오버랩(Overlap) 모드를 포함하는 복수의 영상합성모드 중 하나의 모드를 선택 입력받는다. 상기 영상선택 입력부는 사용자로부터 상기 하나 이상의 영상 입력부에서 수신되는 실시간 영상 중 포그라운드(Foreground) 영상으로 사용할 실시간 영상에 대한 선택 입력을 수신하고, 상기 하나 이상의 영상 입력부에서 수신되는 실시간 영상 및 상기 영상파일 저장부에 저장된 하나 이상의 영상 파일 중 백그라운드(Background) 영상으로 사용될 영상에 대한 선택 입력을 수신한다. 상기 합성영상 생성부는 상기 선택된 포그라운드 영상 및 백그라운드 영상을 합성하여 실시간으로 합성 영상을 생성한다. 이때, 상기 합성영상 생성부는 사용자에 의해 상기 영상합성모드들 중 크로마키 모드가 선택되면, 크로마키 기법을 이용하여 상기 포그라운드 영상으로부터 오브젝트를 추출하고, 상기 추출된 오브젝트를 상기 백그라운드 영상에 합성하여 실시간으로 합성 영상을 생성하는 것을 특징으로 한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 합성 모드의 사용자 선택이 실시간 이루어져도 영상 합성이 실시간으로 이루어질 수 있는 효과가 있으며, 사용자가 원하는 영상을 실시간으로 변경 선택만 하면 실시간 영상 간의 합성뿐만 아니라 실시간 영상과 기존의 영상 파일 간의 합성이 가능하므로 사용상 편하다.
또한, 백그라운드 영상에서 빛의 방향을 나타내는 Y패턴을 추출하여 오브젝트의 밝기를 조절함에 따라서 합성 영상에서 나타나는 배경과 오브젝트의 부조화를 줄일 수 있다. 또한, 이러한 기술을 이용하여 완벽한 제작환경을 갖추지 못한 학교방송의 경우 교육용 컨텐츠를 위해 사용될 배경 영상과 인물 혹은 촬영 대상과의 조명의 방향과 밝기를 유사하게 처리할 수 있기 때문에, 거대한 규모의 비용을 들여 스튜디오 환경을 구성하지 않아도 자연스런 합성이 가능하다.
또, 포그라운드 영상에서 오브젝트 추출시 경계영역의 투명도를 배경에 가까울수록 높게 적용함에 따라서 크로마키 처리 중 색상의 경계가 부드러우며, 가장자리에 청색이나 검은 띠가 남지 않아 자연스러운 합성이 가능한 효과가 있다.
도 1은 종래의 크로마키 기법이 적용된 합성 영상을 나타낸 화면이다.
도 2는 본 발명의 일실시예에 따른 실시간 크로마키 합성 시스템의 개략적인 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 크로마키 모드 선택시 백그라운드 영상과 포그라운드 영상의 합성 과정을 나타낸 도면이다.
도 4는 본 발명에 따른 크로마키 모드 선택시 포그라운드 영상에서 오브젝트를 추출하기 위해 오브젝트와 배경의 경계영역을 처리하는 과정을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 실시간 크로마키 합성 방법의 개략적인 흐름을 나타낸 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며, 설명의 편의와 이해를 위하여 실제와는 달리 과장된 수치가 제시되었을 수 있다.
<시스템에 대한 설명>
도 2는 본 발명의 일실시예에 따른 실시간 크로마키 합성 시스템의 개략적인 구성을 나타낸 도면이다.
도 2를 참조하면, 본 발명에 따른 실시간 크로마키 합성 시스템(100)은 영상파일 저장부(110), 영상 입력부(120), 모드 입력부(130), 영상선택 입력부(140), 합성영상 생성부(150)를 포함한다.
영상파일 저장부(110)는 합성에서 백그라운드 영상으로 선택될 수 있는 하나 이상의 영상 파일을 저장해두며, 여기서 영상 파일은 동영상 파일이나 이미지 파일일 수 있다.
영상 입력부(120)는 카메라, 캠코더와 같은 디지털 영상 기기나 그 외의 외부 장치로부터 실시간 영상을 실시간으로 입력받는다. 상기 실시간 영상은 뉴스나 일기예보를 방송하기 위해 현장에서 실시간으로 촬영되고 있는 영상 및 사이버강의나 웨딩 촬영과 같이 기존에 녹화되어 있는 영상을 의미한다.
모드 입력부(130)는 크로마키(Chroma key) 모드, PIP(Picture In Picture) 모드, 오버랩(Overlap) 모드를 포함하는 복수의 영상합성모드 중 하나의 모드를 선택 입력받는다. 상기 모드들에 대해 간단히 설명하면 다음과 같다.
먼저, 크로마키 모드는 합성할 오브젝트를 파란색이나 초록색과 같은 단색판을 배경으로 촬영한 후 그 화면에서 배경을 제거하고, 남은 오브젝트를 다른 화면에 합성하는 기법을 의미한다.
PIP 모드는 화면 전체 영역에 표시된 주화면 위에 부화면이 표시되는 합성 기술을 의미하는 것으로, 텔레비전에서는 배경이 되는 쪽을 모화면, 작게 표시되는 쪽을 PIP라고 한다.
오버랩 모드는 하나의 화면이 끝나기 전에 다음 화면이 겹치면서 먼저 화면이 차차 사라지게 하는 기법을 의미한다.
영상선택 입력부(140)는 사용자로부터 하나 이상의 영상 입력부(120)에서 수신되는 실시간 영상 중 포그라운드(Foreground) 영상으로 사용할 실시간 영상에 대한 선택 입력을 수신하고, 하나 이상의 영상 입력부(120)에서 수신되는 실시간 영상 및 상기 영상파일 저장부(110)에 저장된 하나 이상의 영상 파일 중 백그라운드(Background) 영상으로 사용될 영상에 대한 선택 입력을 수신한다. 여기서, 상기 포그라운드 영상과 백그라운드 영상은 합성에 사용될 영상으로, 사용자에 의해 포그라운드 영상은 실시간 영상들 중에서 선택되고, 백그라운드 영상은 실시간 영상들 및 영상 파일들 중에서 선택되며, 상기 선택은 실시간으로 이루어진다.
합성영상 생성부(150)는 상기 선택된 포그라운드 영상 및 백그라운드 영상을 합성하여 실시간으로 합성 영상을 생성한다.
일예로, 사용자에 의해 상기 영상합성모드들 중 PIP 모드가 선택되면, 합성영상 생성부(150)는 백그라운드 영상을 화면 전체 영역에 표시하고, 그 위에 포그라운드 영상을 작게 표시하는 합성 영상을 생성한다.
다른 일예로, 오버랩 모드가 선택되면, 합성영상 생성부(150)는 포그라운드 영상이 끝나기 전에 백그라운드 영상이 겹쳐지면서 포그라운드 영상이 사라지도록 합성한다.
또 다른 일예로, 크로마키 모드가 선택되면, 합성영상 생성부(150)는 크로마키 기법을 이용하여 포그라운드 영상으로부터 오브젝트를 추출하고, 상기 추출된 오브젝트를 백그라운드 영상에 합성하여 실시간으로 합성 영상을 생성한다. 이하에서는 전술한 바를 서울 영상 파일, 부산 영상 파일, 제주 영상 파일 등 지역 영상 파일들이 영상파일 저장부(110)에 저장되어 있고, 기상캐스터 영상이 실시간으로 입력되고 있으며, 크로마키 기법을 이용하여 일기예보 방송을 만드는데, 서울, 부산, 제주 지역 순으로 날씨를 예보해야 하는 경우를 예로 들어 설명하기로 한다. 먼저, 사용자가 기상캐스터 영상을 포그라운드 영상으로 선택하고, 서울 영상 파일을 백그라운드 영상으로 선택한 후 크로마키 모드를 선택하면, 크로마키 기법을 이용하여 포그라운드 영상에서의 기상캐스터를 추출하여 서울 영상에 실시간으로 합성한다. 그리고 부산과 제주 지역의 날씨를 순서대로 예보하기 위해 사용자가 서울 영상 파일을 선택한 바와 마찬가지로 부산 영상 파일, 제주 영상 파일을 차례로 선택하면, 앞서 설명한 바와 같은 방식으로 실시간 합성이 이루어지게 된다. 본 발명에서는 실시간 영상 간의 합성도 가능하므로, 만약 실시간 영상이 기상캐스터 영상, 서울 영상, 부산 영상, 제주 영상인 경우에는 기상캐스터 영상으로부터 오브젝트를 추출하고, 추출된 오브젝트를 실시간으로 입력되는 서울 영상, 부산 영상, 제주 영상에 합성하면 된다.
이와 같은 실시간 크로마키 합성 시스템(100)에 의하면 합성 모드의 사용자 선택이 실시간 이루어져도 영상 합성이 실시간으로 이루어질 수 있는 효과가 있으며, 사용자가 원하는 영상을 실시간으로 변경 선택만 하면 실시간 영상 간의 합성뿐만 아니라 실시간 영상과 기존의 영상 파일 간의 합성이 가능하므로 사용상 편하다.
한편, 기존의 크로마키 기법 적용시에는 가상스튜디오에서 배경 영상에 적용된 빛의 방향이 스튜디오에서 촬영할 오브젝트에 적용된 빛의 방향과 서로 달라서 합성 영상에서 배경과 촬영된 오브젝트의 빛의 적용에 대한 부조화가 발생할 수 있다. 즉, 도 1과 같이 크로마키로 합성한 배경 영상과 피촬영자 간의 빛의 부조화로 인하여 배경 영상과 피촬영자의 영상이 부자연스럽게 합성된다는 문제점이 있었다. 이러한 문제점을 해결하기 위해, 합성영상 생성부(150)는 그레이스케일영상 생성부(151), Y패턴 추출부(152), 오브젝트 밝기 조절부(153)를 포함한다.
그레이스케일영상 생성부(151)는 도 3과 같이 사용자에 의해 선택된 백그라운드 영상을 그레이스케일(Gray Scale) 처리하여 그레이스케일 영상을 생성하며, 상기 그레이스케일은 백색에서 흑색까지를 단계적으로 나누어 밝기의 정도를 나타낸 척도를 의미하는 것으로, 본 발명에서는 백그라운드 영상을 256 그레이 레벨(Gray Level)로 샘플링하여 처리한다.
Y패턴 추출부(152)는 상기 생성된 그레이스케일영상에서 빛의 방향을 나타내는 하나 이상의 Y패턴을 추출한다. 일반적으로 가상스튜디오에서의 조명은 여러 개이기 때문에 빛의 방향은 여러 방향으로 향하고, 그만큼 Y패턴은 하나 이상으로 나타날 수 있으므로, 그레이스케일영상에서 나타난 Y패턴들을 추출하는 것이 바람직하다. 그리고 상기 Y패턴을 추출하는 방법은 그레이스케일 영상에서 밝기 방향값을 추출하며, 명도값의 최대값과 최소값을 측정하여 밝기의 정도 값을 계산하는 방식으로 이루어진다.
오브젝트 밝기 조절부(153)는 상기 추출된 Y패턴에 따라, 상기 추출된 오브젝트의 밝기를 조절하는 것으로, Y패턴값을 기준으로 방향에 따라 계산된 밝기 정도의 차이를 오브젝트에 적용하여 변화된 명도값을 적용하면 된다. 즉, 전술한 바와 같이 도 3의 백그라운드 영상에서 Y패턴을 추출하여 포그라운드로부터 추출한 오브젝트에 적용하면, 백그라운드 영상의 명도가 왼쪽에서 오른쪽으로 어두워지는 것과 마찬가지로 합성 영상에서의 오브젝트의 명도도 왼쪽에서 오른쪽으로 어두워지는 것을 알 수 있다.
이와 같이, 백그라운드 영상에서 빛의 방향을 나타내는 Y패턴을 추출하여 오브젝트의 밝기를 조절함에 따라서 합성 영상에서 나타나는 배경과 오브젝트의 부조화를 줄일 수 있다. 또한, 이러한 기술을 이용하여 완벽한 제작환경을 갖추지 못한 학교방송의 경우 교육용 컨텐츠를 위해 사용될 배경 영상과 인물 혹은 촬영 대상과의 조명의 방향과 밝기를 유사하게 처리할 수 있기 때문에, 거대한 규모의 비용을 들여 스튜디오 환경을 구성하지 않아도 자연스런 합성이 가능하다.
한편, 크로마키 기법을 통한 합성시 블루스크린 때문에 배경과 오브젝트 사이의 경계부분이 부드럽지 못하다. 다시 말해, 가상스튜디오에서 조명의 반사광으로 인하여 경계부분에 그림자와 같이 파란색이나 검은 띠의 노이즈가 남게 되므로, 합성된 영상이 부자연스러운 문제점이 있었다. 따라서 본 발명에서의 합성영상 생성부(150)는 경계정보 추출부(154), 투명도 조절부(155)를 포함한다.
경계정보 추출부(154)는 포그라운드 영상에서 오브젝트와 배경의 경계영역으로부터 경계정보를 추출하며, 상기 경계정보는 경계영역에 알파값이 적용된 픽셀정보를 의미한다.
투명도 조절부(155)는 상기 추출된 경계정보를 이용하여 경계영역의 투명도(Transparency)를 조절한다. 이는 경계영역에 그라데이션을 주는 방식으로, 경계영역의 투명도 비율을 조절하면 되는데, 상기 투명도 비율은 이미 기설정되어 있거나, 사용자에 의해 설정될 수 있다. 또한, 자연스러운 추출을 위해서 경계영역의 투명도는 도 4와 같이 포그라운드 영상에서 배경에 가까울수록 높게 적용되는 것이 바람직하다.
이와 같이, 포그라운드 영상에서 오브젝트 추출시 경계영역의 투명도를 배경에 가까울수록 높게 적용함에 따라서 크로마키 처리 중 색상의 경계가 부드러우며, 가장자리에 청색이나 검은 띠가 남지 않아 자연스러운 합성이 가능한 효과가 있다.
<방법에 대한 설명>
본 발명의 실시간 크로마키 합성 방법에 대해서 도 5에 도시된 흐름도와 더불어 도 2 내지 도 4에 나타난 예시도를 참조하여 설명하되, 편의상 순서를 붙여 설명한다.
1. 하나 이상의 영상 파일을 저장하는 단계<S510>
영상파일 저장부에 하나 이상의 영상 파일을 저장해두는 단계로, 상기 하나 이상의 영상 파일은 합성에서 백그라운드 영상으로 선택될 수 있는 동영상 파일이나 이미지 파일을 의미한다.
2. 실시간 영상을 실시간으로 입력받는 단계<S520>
하나 이상의 영상 입력부에서 실시간 영상을 실시간으로 입력받는다. 상기 실시간 영상은 뉴스나 일기예보를 방송하기 위해 현장에서 실시간으로 촬영되고 있는 영상 및 사이버강의나 웨딩 촬영과 같이 기존에 녹화되어 있는 영상을 의미한다.
3. 하나의 모드를 선택 입력받는 단계<S530>
크로마키(Chroma key) 모드, PIP(Picture In Picture) 모드, 오버랩(Overlap) 모드를 포함하는 복수의 영상합성모드 중 하나의 모드를 선택 입력받는다. 상기 모드들에 관해서는 앞서 살펴보았으므로, 이에 관한 설명은 생략하기로 한다.
4. 포그라운드 영상 및 백그라운드 영상을 선택 입력받는 단계<S540>
사용자로부터 하나 이상의 영상 입력부에서 수신되는 실시간 영상 중 포그라운드(Foreground) 영상으로 사용할 실시간 영상에 대한 선택 입력을 수신하고, 하나 이상의 영상 입력부에서 수신되는 실시간 영상 및 상기 영상파일 저장부에 저장된 하나 이상의 영상 파일 중 백그라운드(Background) 영상으로 사용될 영상에 대한 선택 입력을 수신한다. 여기서, 상기 포그라운드 영상과 백그라운드 영상은 합성에 사용될 영상으로, 사용자에 의해 포그라운드 영상은 실시간 영상들 중에서 선택되고, 백그라운드 영상은 실시간 영상들 및 영상 파일들 중에서 선택되며, 상기 선택은 실시간으로 이루어진다.
5. 실시간 영상 합성단계<S550>
상기 단계 S540에서 선택된 포그라운드 영상 및 백그라운드 영상을 합성하여 실시간으로 합성 영상을 생성한다. 일예로, 사용자에 의해 상기 영상합성모드들 중 PIP 모드가 선택되면, 백그라운드 영상을 화면 전체 영역에 표시하고, 그 위에 포그라운드 영상을 작게 표시하는 합성 영상을 생성한다. 다른 일예로, 오버랩 모드가 선택되면, 포그라운드 영상이 끝나기 전에 백그라운드 영상이 겹쳐지면서 포그라운드 영상이 사라지도록 합성한다. 또 다른 일예로, 크로마키 모드가 선택되면, 크로마키 기법을 이용하여 포그라운드 영상으로부터 오브젝트를 추출하고, 상기 추출된 오브젝트를 백그라운드 영상에 합성하여 실시간으로 합성 영상을 생성한다.
이와 같은 본 발명에 의하면 합성 모드의 사용자 선택이 실시간 이루어져도 영상 합성이 실시간으로 이루어질 수 있는 효과가 있으며, 사용자가 원하는 영상을 실시간으로 변경 선택만 하면 실시간 영상 간의 합성뿐만 아니라 실시간 영상과 기존의 영상 파일 간의 합성이 가능하므로 사용상 편하다.
한편, 기존의 크로마키 기법 적용시에는 도 1과 같이 크로마키로 합성한 배경 영상과 피촬영자 간의 빛의 부조화로 인하여 배경 영상과 피촬영자의 영상이 부자연스럽게 합성된다는 문제점이 있었다. 따라서 본 발명에서의 실시간 영상 합성단계에서는 하기와 같은 단계가 진행된다.
5-1. 그레이스케일 영상을 생성하는 단계<S551>
사용자에 의해 선택된 백그라운드 영상을 그레이스케일(Gray Scale) 처리하여 그레이스케일 영상을 생성한다. 여기서, 상기 그레이스케일은 백색에서 흑색까지를 단계적으로 나누어 밝기의 정도를 나타낸 척도를 의미한다.
5-2. Y패턴을 추출하는 단계<S552>
상기 단계 S551에서 생성된 그레이스케일 영상에서 빛의 방향을 나타내는 하나 이상의 Y패턴을 추출한다. 일반적으로 가상스튜디오에서의 조명은 여러 개이기 때문에 빛의 방향은 여러 방향으로 향하고, 그만큼 Y패턴은 하나 이상으로 나타날 수 있으므로, 그레이스케일영상에서 나타난 Y패턴들을 추출하는 것이 바람직하다.
5-3. 오브젝트의 밝기를 조절하는 단계<S553>
상기 단계 S552에서 추출된 Y패턴에 따라, 상기 추출된 오브젝트의 밝기를 조절한다. 즉, 전술한 바와 같이 도 3의 백그라운드 영상에서 Y패턴을 추출하여 포그라운드로부터 추출한 오브젝트에 적용하면, 백그라운드 영상의 밝기가 왼쪽에서 오른쪽으로 어두워지는 것과 마찬가지로 합성 영상에서의 오브젝트의 밝기도 왼쪽에서 오른쪽으로 어두워지는 것을 알 수 있다.
전술한 바와 같이, 백그라운드 영상에서 빛의 방향을 나타내는 Y패턴을 추출하여 오브젝트의 밝기를 조절함에 따라서 합성 영상에서 나타나는 배경과 오브젝트의 부조화를 줄일 수 있는 효과가 있다. 또한, 이러한 기술을 이용하여 완벽한 조명시설을 갖추지 못한 대부분의 방송환경에서 촬영을 한 후 합성을 해도 보다 양질의 컨텐츠를 얻을 수 있다.
한편, 크로마키 기법을 통한 합성시 가상스튜디오에서 조명의 반사광으로 인하여 경계부분에 그림자와 같이 파란색이나 검은 띠의 노이즈가 남게 되므로, 합성된 영상이 부자연스러운 문제점이 있었다. 이러한 문제점을 해결하기 위해 본 발명에서의 실시간 영상 합성단계에서는 하기와 같은 단계가 진행된다.
5-4. 경계정보를 추출하는 단계<S554>
포그라운드 영상에서 오브젝트와 배경의 경계영역으로부터 경계정보를 추출한다.
5-5. 경계영역의 투명도를 조절하는 단계<S555>
상기 단계 S554에서 추출된 경계정보를 이용하여 경계영역의 투명도를 조절한다. 즉, 경계영역에 그라데이션을 주는 방식으로, 경계영역의 투명도 비율을 조절하면 되는데, 상기 투명도 비율은 이미 기설정되어 있거나, 사용자에 의해 설정될 수 있다. 또한, 자연스러운 추출을 위해서 경계영역의 투명도는 도 4와 같이 포그라운드 영상에서 배경에 가까울수록 높게 적용되는 것이 바람직하다.
이와 같이, 포그라운드 영상에서 오브젝트 추출시 경계영역의 투명도를 배경에 가까울수록 높게 적용함에 따라서 크로마키 처리 중 색상의 경계가 부드러우며, 가장자리에 청색이나 검은 띠가 남지 않아 자연스러운 합성이 가능한 효과가 있다.
상기 단계 S51~S53과 단계 S54~S55는 전술한 바와 같이 순서대로 진행될 수도 있고, 서로 다른 수단을 통해 동시에 진행될 수도 있다.
한편, 본 발명에 따른 실시간 크로마키 합성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 실시간 크로마키 합성 시스템

Claims (9)

  1. 하나 이상의 영상 파일을 저장하는 영상파일 저장부;
    실시간 영상을 실시간으로 입력받는 하나 이상의 영상 입력부;
    크로마키(Chroma key) 모드, PIP(Picture In Picture) 모드, 오버랩(Overlap) 모드를 포함하는 복수의 영상합성모드 중 하나의 모드를 선택 입력받는 모드 입력부;
    사용자로부터 상기 하나 이상의 영상 입력부에서 수신되는 실시간 영상 중 포그라운드(Foreground) 영상으로 사용할 실시간 영상에 대한 선택 입력을 수신하고, 상기 하나 이상의 영상 입력부에서 수신되는 실시간 영상 및 상기 영상파일 저장부에 저장된 하나 이상의 영상 파일 중 백그라운드(Background) 영상으로 사용될 영상에 대한 선택 입력을 수신하는 영상선택 입력부; 및
    상기 선택된 포그라운드 영상 및 백그라운드 영상을 합성하여 실시간으로 합성 영상을 생성하는 합성영상 생성부를 포함하고,
    상기 합성영상 생성부는,
    사용자에 의해 상기 영상합성모드들 중 크로마키 모드가 선택되면, 크로마키 기법을 이용하여 상기 포그라운드 영상으로부터 오브젝트를 추출하고, 상기 추출된 오브젝트를 상기 백그라운드 영상에 합성하여 실시간으로 합성 영상을 생성하며,
    상기 합성영상 생성부는,
    상기 백그라운드 영상을 그레이스케일(Gray Scale) 처리하여 그레이스케일 영상을 생성하는 그레이스케일영상 생성부;
    상기 생성된 그레이스케일 영상에서 빛의 방향을 나타내는 하나 이상의 Y패턴을 추출하는 Y패턴 추출부; 및
    상기 추출된 Y패턴에 따라, 상기 추출된 오브젝트의 밝기를 조절하는 오브젝트 밝기 조절부를 포함하는
    실시간 크로마키 합성 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 합성영상 생성부는,
    상기 포그라운드 영상에서 오브젝트와 배경의 경계영역으로부터 경계정보를 추출하는 경계정보 추출부; 및
    상기 추출된 경계정보를 이용하여 상기 경계영역의 투명도를 조절하는 투명도 조절부를 포함하는 것
    을 특징으로 하는 실시간 크로마키 합성 시스템.
  4. 제3항에 있어서,
    상기 경계영역의 투명도는,
    상기 포그라운드 영상에서 배경에 가까울수록 높게 적용되는 것
    을 특징으로 하는 실시간 크로마키 합성 시스템.
  5. (a) 영상파일 저장부에 하나 이상의 영상 파일을 저장하는 단계;
    (b) 하나 이상의 영상 입력부에서 실시간 영상을 실시간으로 입력받는 단계;
    (c) 크로마키(Chroma key) 모드, PIP(Picture In Picture) 모드, 오버랩(Overlap) 모드를 포함하는 복수의 영상합성모드 중 하나의 모드를 선택 입력받는 단계;
    (d) 사용자로부터 상기 하나 이상의 영상 입력부에서 수신되는 실시간 영상 중 포그라운드(Foreground) 영상으로 사용할 실시간 영상에 대한 선택 입력을 수신하고, 상기 하나 이상의 영상 입력부에서 수신되는 실시간 영상 및 상기 영상파일 저장부에 저장된 하나 이상의 영상 파일 중 백그라운드(Background) 영상으로 사용될 영상에 대한 선택 입력을 수신하는 단계; 및
    (e) 상기 선택된 포그라운드 영상 및 백그라운드 영상을 합성하여 실시간으로 합성 영상을 생성하는 단계를 포함하고,
    상기 (e)단계에서는,
    사용자에 의해 상기 영상합성모드들 중 크로마키 모드가 선택되면, 크로마키 기법을 이용하여 상기 포그라운드 영상으로부터 오브젝트를 추출하고, 상기 추출된 오브젝트를 상기 백그라운드 영상에 합성하여 실시간으로 합성 영상을 생성하며,
    상기 (e)단계는,
    상기 백그라운드 영상을 그레이스케일(Gray Scale) 처리하여 그레이스케일 영상을 생성하는 단계;
    상기 생성된 그레이스케일 영상에서 빛의 방향을 나타내는 하나 이상의 Y패턴을 추출하는 단계; 및
    상기 추출된 Y패턴에 따라, 상기 추출된 오브젝트의 밝기를 조절하는 단계를 포함하는
    실시간 크로마키 합성 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 (e)단계는,
    상기 포그라운드 영상에서 오브젝트와 배경의 경계영역으로부터 경계정보를 추출하는 단계; 및
    상기 추출된 경계정보를 이용하여 상기 경계영역의 투명도를 조절하는 단계를 포함하는 것
    을 특징으로 하는 실시간 크로마키 합성 방법.
  8. 제7항에 있어서,
    상기 경계영역의 투명도는,
    상기 포그라운드 영상에서 배경에 가까울수록 높게 적용되는 것
    을 특징으로 하는 실시간 크로마키 합성 방법.
  9. 제5항, 제7항, 제8항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
KR1020120102898A 2012-09-17 2012-09-17 실시간 크로마키 합성 시스템 및 방법 KR101373631B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120102898A KR101373631B1 (ko) 2012-09-17 2012-09-17 실시간 크로마키 합성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120102898A KR101373631B1 (ko) 2012-09-17 2012-09-17 실시간 크로마키 합성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101373631B1 true KR101373631B1 (ko) 2014-03-12

Family

ID=50648510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120102898A KR101373631B1 (ko) 2012-09-17 2012-09-17 실시간 크로마키 합성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101373631B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101790208B1 (ko) * 2017-05-26 2017-10-25 주식회사 대경바스컴 실시간 3d 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법
KR101834925B1 (ko) 2017-09-25 2018-03-06 주식회사 대경바스컴 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방법
CN112204950A (zh) * 2018-05-31 2021-01-08 连普乐士株式会社 在广播收听端显示利用色度键的个性化背景的方法和***及非暂时性计算机可读记录介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050015737A (ko) * 2003-08-07 2005-02-21 이형석 조명제어에 의한 사실적 영상합성 방법
KR20090008732A (ko) * 2007-07-18 2009-01-22 삼성전자주식회사 디지털 영상 기기의 영상 합성 장치 및 이를 이용한 영상합성 방법
KR20090103128A (ko) * 2008-03-27 2009-10-01 주식회사 제스틴 합성이미지 제공시스템 및 방법
KR20120026920A (ko) * 2010-09-10 2012-03-20 장종진 크로마키를 이용한 제품 홍보 사진 또는 동영상 제공 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050015737A (ko) * 2003-08-07 2005-02-21 이형석 조명제어에 의한 사실적 영상합성 방법
KR20090008732A (ko) * 2007-07-18 2009-01-22 삼성전자주식회사 디지털 영상 기기의 영상 합성 장치 및 이를 이용한 영상합성 방법
KR20090103128A (ko) * 2008-03-27 2009-10-01 주식회사 제스틴 합성이미지 제공시스템 및 방법
KR20120026920A (ko) * 2010-09-10 2012-03-20 장종진 크로마키를 이용한 제품 홍보 사진 또는 동영상 제공 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101790208B1 (ko) * 2017-05-26 2017-10-25 주식회사 대경바스컴 실시간 3d 가상 스튜디오 방송 편집 및 송출 기기와 이를 이용한 방송 편집 및 송출 방법
KR101834925B1 (ko) 2017-09-25 2018-03-06 주식회사 대경바스컴 객체 위치 변화를 벡터로 변환하여 영상 및 음향 신호를 동기화한 가상스튜디오 방송 편집 및 송출 기기와 이를 이용한 방법
CN112204950A (zh) * 2018-05-31 2021-01-08 连普乐士株式会社 在广播收听端显示利用色度键的个性化背景的方法和***及非暂时性计算机可读记录介质

Similar Documents

Publication Publication Date Title
JP6276794B2 (ja) カラーレジームを定義する装置及び方法
US9160938B2 (en) System and method for generating three dimensional presentations
US7689062B2 (en) System and method for virtual content placement
RU2468401C2 (ru) Окружающее освещение
US9679369B2 (en) Depth key compositing for video and holographic projection
US10572984B2 (en) Method for inverse tone mapping of an image with visual effects
KR101817145B1 (ko) 멀티 레이어 기반 크로마키 합성 시스템 및 방법
CN107016718B (zh) 一种场景渲染方法和装置
KR101985880B1 (ko) 디스플레이 장치 및 이의 제어 방법
JP6897681B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113473207A (zh) 直播方法、装置、存储介质及电子设备
US9754363B2 (en) Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable medium comprising UHD content created using same
KR101373631B1 (ko) 실시간 크로마키 합성 시스템 및 방법
CN102739984A (zh) 一种高清虚拟布景的实现方法及***
JP2015514367A (ja) カラーグレーディングプレビュー方法及び装置
CN116055800A (zh) 一种移动端获得定制背景实时舞蹈视频的方法
CN112153472A (zh) 一种画面特效的生成方法及装置、存储介质及电子设备
CN104050700A (zh) 图像合成方法及装置
JP5166794B2 (ja) 視聴環境制御装置および視聴環境制御方法
CN105321153A (zh) 视频监控低照度图像色彩还原方法和装置
US9967546B2 (en) Method and apparatus for converting 2D-images and videos to 3D for consumer, commercial and professional applications
KR20170059310A (ko) 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템
KR102374665B1 (ko) 개인방송을 위한 방송영상 생성방법 및 이를 위한 방송영상 생성시스템
Wang Research on the application of nonlinear editing technology in vlog production
Routhier What Are the “Killer Apps” for HDR? Analysis of SDR Assets to Predict the Potential of HDR

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190314

Year of fee payment: 6