KR101969864B1 - 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법 - Google Patents

객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법 Download PDF

Info

Publication number
KR101969864B1
KR101969864B1 KR1020170173612A KR20170173612A KR101969864B1 KR 101969864 B1 KR101969864 B1 KR 101969864B1 KR 1020170173612 A KR1020170173612 A KR 1020170173612A KR 20170173612 A KR20170173612 A KR 20170173612A KR 101969864 B1 KR101969864 B1 KR 101969864B1
Authority
KR
South Korea
Prior art keywords
image
background
background image
importance
synthesized
Prior art date
Application number
KR1020170173612A
Other languages
English (en)
Inventor
정승원
이찬희
김민섭
좌정우
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020170173612A priority Critical patent/KR101969864B1/ko
Application granted granted Critical
Publication of KR101969864B1 publication Critical patent/KR101969864B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법에 관한 것으로서, 더욱 상세하게는 특정 객체영상을 다른 배경영상에 합성함에 있어서, 사용자로부터 배경영상에서 중요 영역을 지정받음과 동시에, 심카빙(seam carving/insertion) 알고리즘을 이용하여 배경영상의 모든 화소(pixel)에 대해 중요도를 계산하여 배경영상의 전체 이미지에 대한 중요도를 산출하여 배경영상을 중요영역과 비중요 영역으로 구분함으로써, 객체영상 합성 시, 배경영상에서 상대적으로 중요도가 낮은 부분에 객체영상을 합성할 수 있도록 객체영상이 합성되는 영역을 자동으로 가이드하는 동시에, 객체영상이 배경영상에 합성되는 경우, 객체영상의 크기에 따라, 배경영상의 중요도 수치를 기반으로 객체영상 및 배경영상이 연동하여 자동으로 리사이징(resizing)됨으로써, 사용자가 손쉽게 영상을 보완할 수 있어 자연스러운 합성영상을 만들 수 있는 영상 합성 방법에 관한 것이다.

Description

객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법{Method of synthesizing images based on mutual interlocking of object and background images}
본 발명은 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법에 관한 것으로서, 더욱 상세하게는 특정 객체영상을 다른 배경영상에 합성함에 있어서, 사용자로부터 배경영상에서 중요 영역을 지정받음과 동시에, 심카빙(seam carving/insertion) 알고리즘을 이용하여 배경영상의 모든 화소(pixel)에 대해 중요도를 계산하여 배경영상의 전체 이미지에 대한 중요도를 산출하여 배경영상을 중요영역과 비중요 영역으로 구분함으로써, 객체영상 합성 시, 배경영상에서 상대적으로 중요도가 낮은 부분에 객체영상을 합성할 수 있도록 객체영상이 합성되는 영역을 자동으로 가이드하는 동시에, 객체영상이 배경영상에 합성되는 경우, 객체영상의 크기에 따라, 배경영상의 중요도 수치를 기반으로 객체영상 및 배경영상이 연동하여 자동으로 리사이징(resizing)됨으로써, 사용자가 손쉽게 영상을 보완할 수 있어 자연스러운 합성영상을 만들 수 있는 영상 합성 방법에 관한 것이다.
사용자의 편의에 따라 새로운 영상을 형성하기 위해 영상의 단편을 수정하거나 합성하는 영상 편집/합성 기술은 다양한 방법으로 개발되어 왔으며, 일반적으로 원치 않는 영상 부분을 지우거나 원하는 부분을 분리하고 새로운 부분과 합성하는 목적을 가지고 개발되고 있다.
영상을 합성하기 위하여 이미지 내의 객체 추출이 요구되는데, 객체를 추출하는 영상 분할 기술(image segmentation)로는 워터쉐드(watershed) 알고리즘과 그래프 컷(graph cut) 알고리즘 등의 기술들이 개발되어 다양한 방법으로 활용되고 있다.
또한, 영상 크기 조정을 위해 개발된 기술로는 심카빙(seam carving/insertion) 알고리즘이 있다. 이 알고리즘은 원본 영상에서 각각의 화소(pixel)간 중요도를 계산하여, 중요도가 낮은 화소를 연결시킨 심(Seam)을 설정하고, 심(Seam)을 자동으로 제거(carving)하거나 삽입(insertion)하여 영상의 크기를 축소하거나 확장한다. 이 기술은 본래 다양한 해상도를 갖는 장치에서 이미지를 표시하는 데 있어서 왜곡 없이 나타내기 위한 목적으로 고안되었다.
한편, 영상 편집/합성 기술의 일 예로서, 한국공개특허 제2012-0027876호에는 배경 이미지를 선택하고, 배경 이미지에 합성될 객체 이미지를 추출하는 동시에, 배경 이미지 내에 객체 이미지가 합성될 수 있는 위치를 가이드 표시하여, 가이드 정보에 따라 배경 이미지에 객체 이미지를 합성하는 기술에 대해 개시되어 있다.
또한, 한국공개특허 제2006-0062314호에서는, 파노라마 영상에 일반 영상이미지로부터 추출된 객체 영상 이미지를 합성하고, 사용자의 선택에 따라 합성 영상을 확대/축소하는 기술에 대해 개시되어 있다.
그러나, 상기와 같은 종래기술들은 단순히 배경영상에 객체영상을 덮어씌워 합성하는 방식을 이용하고 있고, 영상의 확대 및 축소 과정에서도 객체영상과 배경영상의 비율 등에 상관없이 단순히 전체 영상을 확대하거나 축소하는 등의 방식을 이용하고 있어, 영상 편집에 한계가 있으며, 이에 따라 자연스러운 합성영상을 제공하기 어려운 문제점이 있다.
1. 한국공개특허 제2012-0027876호(공개일: 2012.03.22)의 "이동 단말기 및 그의 3D 이미지 합성방법" 2. 한국공개특허 제2006-0062314호(공개일: 2004.01.07)의 "파노라마 영상이미지를 배경으로 하는 영상이미지합성편집 시스템 및 그 방법"
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 특정 객체영상을 다른 배경영상에 합성함에 있어서, 사용자로부터 배경영상에서 중요 영역을 지정받음과 동시에, 심카빙(seam carving/insertion) 알고리즘을 이용하여 배경영상의 모든 화소(pixel)에 대해 중요도를 계산하여 배경영상의 전체 이미지에 대한 중요도를 산출하여 배경영상을 중요영역과 비중요 영역으로 구분함으로써, 객체영상 합성 시, 배경영상에서 상대적으로 중요도가 낮은 부분에 객체영상을 합성할 수 있도록 객체영상이 합성되는 영역을 자동으로 가이드하는 동시에, 객체영상이 배경영상에 합성되는 경우, 객체영상의 크기에 따라, 배경영상의 중요도 수치를 기반으로 객체영상 및 배경영상이 연동하여 자동으로 리사이징(resizing)됨으로써, 사용자가 손쉽게 영상을 보완할 수 있어 자연스러운 합성영상을 만들 수 있는 영상 합성 방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은, 영상 합성 방법에 있어서, 영상 합성시 배경이 될 배경영상을 입력받는 단계와; 상기 입력된 배경영상의 모든 화소(pixel)에 대해 중요도를 계산하여, 각 화소의 중요도로 구성된 중요도 맵(energy map)을 생성하는 단계와; 상기 중요도 맵에서 상대적으로 중요도가 낮은 화소의 연결로 이루어지는 심(seam)을 탐색하여 추출하는 단계와; 상기 배경영상에 합성될 객체영상을 호출하는 단계와; 상기 합성될 객체영상의 크기에 맞추어 배경영상에서 중요도가 낮은 부분의 심(seam)을 제거하거나 확장하여 배경영상의 크기를 조절하고, 객체영상의 합성 추천 영역을 가이드하는 단계; 및 합성되는 객체영상의 크기에 따라, 배경영상의 중요도 수치를 기반으로 상기 객체영상 및 배경영상을 연동하여 리사이징(resizing)하는 단계;를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따른 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법은, 객체영상이 합성될 배경영상의 입력 과정에서, 사용자로부터 배경영상에서 중요 영역을 지정받음과 동시에, 배경영상의 모든 화소(pixel)에 대해 중요도를 계산하여 배경영상의 전체 이미지에 대한 중요도를 산출하여 배경영상을 중요영역과 비중요 영역으로 구분함으로써, 객체영상 합성 시, 배경영상에서 상대적으로 중요도가 낮은 부분에 객체영상을 합성할 수 있도록 객체영상이 합성되는 영역을 자동으로 가이드할 수 있으며, 특히 객체영상이 배경영상에 합성되는 경우, 객체영상의 크기에 따라, 배경영상의 중요도 수치를 기반으로 객체영상 및 배경영상이 연동하여 자동으로 리사이징(resizing)됨으로써, 합성하고자 하는 두 영상을 보완하면서 손쉽게 합성하여 자연스러운 합성영상을 만들 수 있으며 영상편집이 쉽고 용이한 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 합성 방법을 순차적으로 보여주는 순서도
도 2는 본 발명의 일 실시예에서 사용자에 의해 입력된 배경영상의 예를 보여주는 도면
도 3은 본 발명의 일 실시예에 있어 사용자가 배경영상에서 보존하고자 하는 영역을 선택하여 입력하는 예를 보여주는 도면
도 4는 본 발명의 일 실시예에 있어 배경영상에서 수직방향으로 20개의 심(seam)을 찾아 추출한 예를 보여주는 도면
도 5는 본 발명의 일 실시예에서 배경영상에 합성될 객체영상을 호출하면 자동으로 배경영상의 크기가 조절되는 모습을 예로 보여주는 도면
도 6은 본 발명의 일 실시예에 있어 배경영상에서 객체영상의 합성 추천 영역을 가이드하는 모습을 예로 보여주는 도면
도 7은 본 발명의 일 실시예에서 배경영상에 합성되는 객체영상의 크기 조절에 따라 배경영상이 연동하여 리사이징(resizing) 되는 모습을 예로 보여주는 도면
도 8은 본 발명의 일 실시예에 있어 합성영상에서 전경(foreground)을 선택하여 축소시킨 모습을 예로 보여주는 도면
이하, 본 발명의 실시예에 대하여 상세히 설명하지만, 본 발명은 그 요지를 이탈하지 않는 한 이하의 실시예에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 합성 방법을 순차적으로 보여주는 순서도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 합성 방법은, 영상 합성시 배경이 될 배경영상을 입력받는 단계(S110)와; 상기 입력된 배경영상의 모든 화소(pixel)에 대해 중요도를 계산하여, 각 화소의 중요도로 구성된 중요도 맵(energy map)을 생성하는 단계(S120)와; 상기 중요도 맵에서 상대적으로 중요도가 낮은 화소의 연결로 이루어지는 심(seam)을 탐색하여 추출하는 단계(S130)와; 상기 배경영상에 합성될 객체영상을 호출하는 단계(S140)와; 상기 합성될 객체영상의 크기에 맞추어 배경영상에서 중요도가 낮은 부분의 심(seam)을 제거하거나 확장하여 배경영상의 크기를 조절하고, 객체영상의 합성 추천 영역을 가이드하는 단계(S150); 및 합성되는 객체영상의 크기에 따라, 배경영상의 중요도 수치를 기반으로 상기 객체영상 및 배경영상을 연동하여 리사이징(resizing)하는 단계(S160);를 포함하여 이루어질 수 있다.
즉, 이와 같이 구성된 본 발명의 일 실시예에 따른 영상 합성 방법은, 특정 객체영상을 다른 배경영상에 합성함에 있어서, 심카빙(seam carving/insertion) 알고리즘을 이용하여 배경영상의 모든 화소(pixel)에 대해 중요도를 계산하여 배경영상의 전체 이미지에 대한 중요도를 산출하여 배경영상을 중요영역과 비중요 영역으로 구분함으로써, 객체영상 합성 시, 배경영상에서 상대적으로 중요도가 낮은 부분에 객체영상을 합성할 수 있도록 객체영상이 합성되는 영역을 자동으로 가이드하는 동시에, 객체영상이 배경영상에 합성되는 경우, 객체영상의 크기에 따라, 배경영상의 중요도 수치를 기반으로 객체영상 및 배경영상이 연동하여 자동으로 리사이징(resizing)됨으로써, 사용자가 손쉽게 영상을 보완할 수 있어 자연스러운 합성영상을 만들 수 있는 장점이 있다.
이하, 도 1의 순서도와 첨부된 도면을 참조하여, 상술한 바와 같은 본 발명의 일 실시예에 따른 영상 합성 방법에 대해 보다 구체적으로 설명한다.
설명에 앞서, 본 발명에 따른 영상 합성 방법은, 디스플레이를 탑재한 PC나 노트북 또는 스마트 단말기 등의 마우스 입력 또는 터치 입력을 통해 사용자의 입력을 받을 수 있는 모든 장치에 적용 가능하다.
또한, 본 발명은 심카빙(seam carving/insertion) 알고리즘을 이용하여, 특정 영상에서 추출한 객체영상을 배경이 될 영상에 합성하는 방법에 관한 것으로서, 여기서 심카빙 알고리즘은 원본 영상의 내용을 분석하여 중요하지 않다고 판단되는 심(seam)들을 복제하여 확장하거나 또는 제거함으로써 영상의 크기를 늘리거나 줄이는 영상 크기 조절 방식을 말하며, 기존의 보간법 또는 크롭 방식과 다르게 영상 내 콘텐츠의 본질적 형상을 그대로 유지하면서도 영상의 크기를 효과적으로 조절할 수 있다.
이러한 심카빙 알고리즘을 이용하는 방식은 영상의 크기 변경으로 인하여 소멸하는 화소의 갯수를 줄일 수는 없으나, 각 화소들의 중요도를 계산하여 최대한 콘텐츠를 원형 그대로 유지한 상태로 영상의 크기를 조절할 수 있다.
도 1에 도시된 바와 같이, 심카빙(seam carving/insertion) 알고리즘을 이용하여, 특정 영상에서 추출한 객체영상을 배경이 될 영상에 합성하는 과정에 있어서는, 먼저 영상 합성시 배경이 될 배경영상을 불러온다(S110).
이때, 도 2에서는 사용자에 의해 입력된 배경영상의 예를 보여주고 있다.
또한, 사용자의 선택에 따라, 배경영상에서 중요 영역 또는 비중요 영역을 입력받을 수 있다(S115).
즉, 사용자의 선택에 따라, 배경영상에서 중요 영역 또는 비중요 영역을 지정하여, 추후 심카빙 알고리즘을 이용한 배경영상의 리사이징(resizing) 과정에서, 사용자에 의해 지정된 중요 영역을 보존할 수 있고, 또한 사용자에 의해 지정된 비중요 영역을 우선적으로 제거 또는 확장할 수 있다.
도 3은 사용자가 배경영상에서 보존하고자 하는 영역을 선택하여 입력하는 예를 보여주는 도면으로서, 도 3에 도시된 바와 같이, 사용자가 배경영상에서 보존하고자 하는 영역을 선택하여 지정하는 경우에는, 보존하고자 하는 영역에 속한 화소의 에너지값이 대폭 증가하게 되어, 추후 해당 영역이 심카빙 알고리즘을 이용한 제거(carving) 또는 확장(insertion) 과정에서 선택되지 않도록 할 수 있다.
또한, 사용자가 배경영상에서 제거 또는 확장 대상 영역을 선택하여 지정하면, 제거 또는 확장 대상으로 선택된 영역에 속한 화소의 에너지값이 대폭 낮아지며, 이에 따라 추후 해당 영역이 심카빙 알고리즘을 이용한 제거(carving) 또는 확장(insertion) 과정에서 우선적으로 선택될 수 있다.
이후, 상기와 같이 입력된 배경영상의 모든 화소(pixel)에 대해 중요도를 계산하여, 각 화소의 중요도로 구성된 중요도 맵(또는 에너지 맵, energy map)을 생성한다(S120).
이때, 배경영상에서 사용자에 의해 중요 영역 또는 비중요 영역이 지정되어 있는 경우, 중요도 계산 결과에 상관없이, 상기 중요 영역은 상대적으로 중요도가 높게 설정되고, 상기 비중요 영역은 상대적으로 중요도가 낮게 설정될 수 있다.
여기서, 배경영상에서 각 화소의 중요도를 계산함에 있어서는, 화소의 변화도(gradient) 크기값이나, 웨이브릿 필터(wavelet filter)의 결과 에너지값 등을 이용하여 각 화소의 중요도를 구할 수 있다.
즉, 화소의 중요도는 화소의 에너지(energy)값과 비례하며, 상술한 바와 같이 화소의 중요도로 구성된 중요도 맵(energy map)에서, 상대적으로 중요도가 낮은 화소일수록 해당 화소의 에너지값이 낮게 나타나고, 상대적으로 중요도가 높은 화소일수록 해당 화소의 에너지값이 높게 나타난다.
일반적으로 영상의 평탄한 영역이나 주변과 비슷한 영역의 화소들이 낮은 에너지값을 가지며 중요도가 낮게 나타난다.
다음에, 배경영상의 중요도 맵에서, 상대적으로 중요도가 낮은 화소의 연결로 이루어지는 심(seam)을 탐색하여 추출한다(S130).
이때, 심(seam)은 중요도 맵(energy map)에서 상대적으로 에너지값이 낮은 화소를 수직방향 또는 수평방향으로 연결한 라인을 말한다.
도 4는 배경영상에서 수직방향으로 20개의 심(seam)을 찾아 추출한 예를 보여주고 있다.
이때, 영상에서 심(seam)을 찾는 방법으로는 동적 프로그래밍(dynamic programming)이나, 탐욕 알고리즘(greedy algorithm) 또는 그래프 컷(graph cut) 등의 기법이 활용될 수 있다.
일반적으로 영상의 평탄한 영역이나 주변과 비슷한 영역의 화소들이 낮은 에너지값을 갖기 때문에 이와 같은 영역에서 심(seam)이 탐색되며, 심카빙(seam carving/insertion) 알고리즘을 이용하여 영상에서 심(seam)을 제거(carving)하거나 확장(insertion)하는 방식을 통하여 영상의 중요 부분에 손실을 가하지 않고 영상의 크기를 조절할 수 있다.
한편, 상기와 같이 배경영상을 설정한 후에는 배경영상 위에 증강하여 합성할 객체영상을 호출한다(S140).
이때, 배경영상에 합성될 객체영상의 크기 비율에 맞추어, 배경영상에서 중요도가 낮은 부분의 심(seam)이 자동으로 제거되거나 확장되어 배경영상의 크기가 조절되며, 더불어 배경영상에서 중요도가 낮은 영역에 객체영상이 합성될 수 있도록 객체영상의 합성 추천 영역을 가이드해 줄 수 있다(S150).
도 5는 배경영상에 합성될 객체영상을 호출하면 자동으로 배경영상의 크기가 조절되는 모습을 예로 보여주는 도면이고, 도 6은 배경영상에서 객체영상의 합성 추천 영역을 가이드하는 모습을 예로 보여주는 도면이다.
즉, 도 5에서는 객체영상을 호출하면 객체영상의 크기 비율에 맞추어 배경영상에서 추출된 심(seam)들이 확장(insertion)된 예를 보여주고 있으며, 원본 배경영상의 가로폭(W)이 확장된 가로폭(W')으로 변경되었다.
또한, 도 6에서와 같이, 배경영상에서 상대적으로 중요도가 낮은 영역에 객체영상이 합성될 수 있도록 선택된 객체영상의 합성 추천 영역을 화면상에 제시하여 가이드를 줄 수 있다.
또한, 배경영상에 객체영상을 입력하여 합성하는 경우, 객체영상의 크기에 따라, 배경영상의 중요도 수치를 기반으로 객체영상 및 배경영상을 연동하여 리사이징(resizing)을 수행할 수 있다(S160).
도 7은 배경영상에 합성되는 객체영상의 크기 조절에 따라 배경영상이 연동하여 리사이징(resizing) 되는 모습을 예로 보여주는 도면이다.
도 7에 도시된 바와 같이, 배경영상에 객체영상을 합성하는 과정에서는, 사용자가 객체영상의 크기를 조절하는 경우, 객체영상에 대한 배경영상의 크기 비율에 따라, 객체영상의 크기가 조절되는 만큼 배경영상의 크기가 리사이징(resizing)될 수 있으며, 이와 같은 리사이징 과정을 통해 자연스러운 합성영상을 만들 수 있다.
이때에는, 앞서 설명한 바와 같이 배경영상에 사용자에 의해 지정된 중요 영역이나 비중요 영역이 있는 경우, 이에 따라 배경영상에서 증감된 중요도(energy) 수치를 바탕으로, 배경영상의 심(seam)들을 제거(carving)하거나 확장(insertion)하여 배경영상의 리사이징(resizing)을 진행하게 된다.
이와 같이, 본 발명의 일 실시예에 따른 영상 합성 방법은, 심카빙(seam carving/insertion) 알고리즘을 이용하여, 합성하고자 하는 두 영상을 보완하면서 손쉽게 합성하여 자연스러운 합성영상을 만들 수 있으며, 사용자가 객체영상의 크기를 조절함에 따라 배경영상의 크기가 자동으로 조절됨으로써, 영상편집이 쉽고 용이한 장점이 있다.
한편, 배경영상과 객체영상의 합성이 완료된 후에도, 추가적으로 심카빙 알고리즘(seam carving/insertion)을 이용하여, 합성된 해당 영상을 사용자의 목적에 맞게 편집할 수 있다(S165).
즉, 사용자는 합성된 영상에서 배경(background) 또는 전경(foreground)을 선택하여 사용자의 목적에 맞게 편집할 수 있는데, 영상에서 배경을 선택하는 경우, 기존에 계산된 에너지값에 따른 중요도가 그대로 적용되어 심카빙 알고리즘(seam carving/insertion)을 통해 중요도가 낮은 배경의 심(seam)들을 제거(carving)하거나 확장(insertion)함으로써 배경만을 리사이징(resizing) 할 수 있으며, 또한 영상에서 중요도가 높은 전경을 선택하는 경우에는 에너지값에 따른 중요도를 반전시킴으로써, 전경으로부터 심(seam)들을 추출하고, 심카빙 알고리즘(seam carving/insertion)을 통해 상기 심(seam)들을 제거하거나 확장하여 전경을 리사이징(resizing)할 수 있다.
이때, 도 8에서는 합성영상에서 전경(foreground)을 선택하여 축소시킨 모습을 예로 보여주고 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법은, 객체영상이 합성될 배경영상의 입력 과정에서, 사용자로부터 배경영상에서 중요 영역을 지정받음과 동시에, 배경영상의 모든 화소(pixel)에 대해 중요도를 계산하여 배경영상의 전체 이미지에 대한 중요도를 산출하여 배경영상을 중요영역과 비중요 영역으로 구분함으로써, 객체영상 합성 시, 배경영상에서 상대적으로 중요도가 낮은 부분에 객체영상을 합성할 수 있도록 객체영상이 합성되는 영역을 자동으로 가이드할 수 있으며, 특히 객체영상이 배경영상에 합성되는 경우, 객체영상의 크기에 따라, 배경영상의 중요도 수치를 기반으로 객체영상 및 배경영상이 연동하여 자동으로 리사이징(resizing)됨으로써, 합성하고자 하는 두 영상을 보완하면서 손쉽게 합성하여 자연스러운 합성영상을 만들 수 있으며 영상편집이 쉽고 용이한 효과가 있다.
본 발명은, 본 발명에 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환 변형이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것은 아니다.

Claims (12)

  1. 영상 합성 방법에 있어서,
    영상 합성시 배경이 될 배경영상을 입력받는 단계와;
    상기 입력된 배경영상의 모든 화소(pixel)에 대해 중요도를 계산하여, 각 화소의 중요도로 구성된 중요도 맵(energy map)을 생성하는 단계와;
    상기 중요도 맵에서 상대적으로 중요도가 낮은 화소의 연결로 이루어지는 심(seam)을 탐색하여 추출하는 단계와;
    상기 배경영상에 합성될 객체영상을 호출하는 단계와;
    상기 호출된 객체영상의 크기에 맞추어 배경영상에서 중요도가 낮은 부분의 심(seam)을 자동으로 제거하거나 확장하여, 호출된 배경영상이 삽입되어 합성될 수 있도록 배경영상의 크기를 조절하고, 크기가 조절된 배경영상에서 상대적으로 중요도가 낮은 영역을 객체 영상의 합성 추천 영역으로 선택하여, 선택된 객체영상의 합성 추천 영역을 화면상에 가이드하는 단계; 및
    합성되는 객체영상에 대한 배경영상의 크기 비율에 따라, 배경영상의 중요도 수치를 기반으로, 객체영상의 크기가 조절되는 만큼 배경영상의 크기도 조절되도록, 상기 객체영상 및 배경영상을 연동하여 리사이징(resizing)하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법.
  2. 제 1항에 있어서,
    상기 중요도 맵(energy map)을 생성하는 단계 이전에,
    사용자의 선택에 따라, 배경영상에서 제거 또는 확장 대상 영역이나, 보존하고자 하는 영역을 별도로 입력받는 사용자 입력 단계가 추가되는 것을 특징으로 하는 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법.
  3. 제 2항에 있어서,
    상기 사용자 입력 단계에서는,
    상기 배경영상에서 제거 또는 확장 대상 영역을 입력받는 경우,
    해당 입력받은 영역에서 우선적으로 심(seam)이 탐색되도록 상기 해당 입력받은 영역의 중요도가 상대적으로 낮게 설정되는 것을 특징으로 하는 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법.
  4. 제 2항에 있어서,
    상기 사용자 입력 단계에서는,
    상기 배경영상에서 보존하고자 하는 영역을 입력받는 경우,
    해당 입력받은 영역의 중요도가 상대적으로 높게 설정되는 것을 특징으로 하는 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법.
  5. 제 1항에 있어서,
    상기 영상 합성 방법은,
    영상을 리사이징(resizing) 하는 과정에서 심카빙(seam carving/insertion) 알고리즘을 이용하는 것을 특징으로 하는 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법.
  6. 제 1항에 있어서,
    상기 배경영상의 모든 화소(pixel)에 대해 중요도를 계산함에 있어서는,
    화소의 변화도(gradient) 크기값 또는 웨이브릿 필터(wavelet filter)의 결과 에너지값을 이용하여 각 화소에 대해 중요도를 계산하는 것을 특징으로 하는 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법.
  7. 제 1항에 있어서,
    상기 심(seam)을 탐색하여 추출하는 단계에서는,
    동적 프로그래밍(dynamic programming), 탐욕 알고리즘(greedy algorithm) 또는 그래프 컷(graph cut) 알고리즘 중 어느 하나의 알고리즘을 이용하여 심(seam)을 추출하는 것을 특징으로 하는 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법.
  8. 삭제
  9. 삭제
  10. 제 1항에 있어서,
    상기 배경영상과 객체영상이 합성된 이후에,
    사용자의 선택에 따라, 합성된 영상의 배경(background) 또는 전경(foreground)을 리사이징(resizing)하는 사용자 편집 단계가 추가되는 것을 특징으로 하는 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법.
  11. 제 10항에 있어서,
    상기 사용자 편집 단계에서, 상기 합성된 영상의 배경(background)을 리사이징(resizing)하는 경우,
    상대적으로 중요도가 낮은 배경의 심(seam)들을 제거하거나 확장하여 배경을 리사이징(resizing)하는 것을 특징으로 하는 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법.
  12. 제 10항에 있어서,
    상기 사용자 편집 단계에서, 상기 합성된 영상의 전경(foreground)을 리사이징(resizing)하는 경우,
    상대적으로 중요도가 높은 전경의 중요도를 반전시켜, 전경으로부터 심(seam)들을 추출하고, 상기 심(seam)들을 제거하거나 확장하여 전경을 리사이징(resizing)하는 것을 특징으로 하는 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법.
KR1020170173612A 2017-12-15 2017-12-15 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법 KR101969864B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170173612A KR101969864B1 (ko) 2017-12-15 2017-12-15 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170173612A KR101969864B1 (ko) 2017-12-15 2017-12-15 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법

Publications (1)

Publication Number Publication Date
KR101969864B1 true KR101969864B1 (ko) 2019-04-18

Family

ID=66284945

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170173612A KR101969864B1 (ko) 2017-12-15 2017-12-15 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법

Country Status (1)

Country Link
KR (1) KR101969864B1 (ko)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012657A (zh) * 2019-12-19 2021-06-22 北京嗨动视觉科技有限公司 图层处理方法及装置、视频处理设备和计算机可读存储介质
WO2021133001A1 (ko) * 2019-12-26 2021-07-01 주식회사 픽스트리 시멘틱 이미지 추론 방법 및 장치
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
CN117893450A (zh) * 2024-03-15 2024-04-16 西南石油大学 一种数字病理图像增强的方法、装置和设备
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062314A1 (en) 2002-08-13 2006-03-23 Nokia Corporation Symbol interleaving
US20120027876A1 (en) 2010-07-27 2012-02-02 Sara Beth Ford Composition and Method for the Topical Treatment of Dermatitis
KR20120010796A (ko) * 2010-07-27 2012-02-06 (주)자람테크놀로지 응답 속도를 개선한 내용 기반의 영상 크기 조절 방법 및 장치
KR20140041998A (ko) * 2012-09-26 2014-04-07 주식회사 에이아이오코리아 영상합성기의 크로마키 피사체영상과 배경영상 합성장치 및 방법
KR20150119621A (ko) * 2014-04-16 2015-10-26 삼성전자주식회사 디스플레이 장치 및 그의 이미지 합성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062314A1 (en) 2002-08-13 2006-03-23 Nokia Corporation Symbol interleaving
US20120027876A1 (en) 2010-07-27 2012-02-02 Sara Beth Ford Composition and Method for the Topical Treatment of Dermatitis
KR20120010796A (ko) * 2010-07-27 2012-02-06 (주)자람테크놀로지 응답 속도를 개선한 내용 기반의 영상 크기 조절 방법 및 장치
KR20140041998A (ko) * 2012-09-26 2014-04-07 주식회사 에이아이오코리아 영상합성기의 크로마키 피사체영상과 배경영상 합성장치 및 방법
KR20150119621A (ko) * 2014-04-16 2015-10-26 삼성전자주식회사 디스플레이 장치 및 그의 이미지 합성 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Shai Avidan ET AL:"Seam carving for content-aware image resizing", ACM Transactions on Graphics (TOG) TOG Homepage, Volume 26, Issue 3, July 2007 Article No. 10(2007.07.31.) 1부.* *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
CN113012657A (zh) * 2019-12-19 2021-06-22 北京嗨动视觉科技有限公司 图层处理方法及装置、视频处理设备和计算机可读存储介质
KR102349289B1 (ko) * 2019-12-26 2022-01-11 주식회사 픽스트리 시멘틱 이미지 추론 방법 및 장치
WO2021133001A1 (ko) * 2019-12-26 2021-07-01 주식회사 픽스트리 시멘틱 이미지 추론 방법 및 장치
KR20210082691A (ko) * 2019-12-26 2021-07-06 주식회사 픽스트리 시멘틱 이미지 추론 방법 및 장치
CN117893450A (zh) * 2024-03-15 2024-04-16 西南石油大学 一种数字病理图像增强的方法、装置和设备
CN117893450B (zh) * 2024-03-15 2024-05-24 西南石油大学 一种数字病理图像增强的方法、装置和设备

Similar Documents

Publication Publication Date Title
KR101969864B1 (ko) 객체영상과 배경영상의 상호 연동에 기반한 영상 합성 방법
KR101612551B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
US9374528B2 (en) Panoramic expansion image display device and method of displaying panoramic expansion image
EP2792138B1 (en) Editing color values using graphical representation of the color values
US8823726B2 (en) Color balance
CN103797787B (zh) 图像处理方法和图像处理设备
US20110012912A1 (en) Image processing device and image processing method
US8290297B2 (en) Method for editing images and videos
JP2007271908A (ja) マルチ画像生成装置
JP4141968B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN111489429B (zh) 一种图像渲染控制方法、终端设备和存储介质
JP2004228994A (ja) 画像編集装置、画像のトリミング方法、及びプログラム
US20080143742A1 (en) Method and apparatus for editing image, generating editing image, and storing edited image in portable display device
GB2317292A (en) Processing image data
JP4801009B2 (ja) 画像処理装置、画像処理方法、ならびに、プログラム
JP2008160345A (ja) 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP6241320B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JPWO2017217011A1 (ja) 画像処理装置および重畳画像生成方法
US6879329B2 (en) Image processing apparatus having processing operation by coordinate calculation
US20150009227A1 (en) Color grading preview method and apparatus
KR100901273B1 (ko) 렌더링 시스템 및 이를 이용한 데이터 처리 방법
JP2009290485A (ja) 画像処理装置
JP6930091B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2006041614A (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP5900321B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant