KR20180074977A - 영상 간의 특질 변환 시스템 및 그 방법 - Google Patents
영상 간의 특질 변환 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20180074977A KR20180074977A KR1020160178801A KR20160178801A KR20180074977A KR 20180074977 A KR20180074977 A KR 20180074977A KR 1020160178801 A KR1020160178801 A KR 1020160178801A KR 20160178801 A KR20160178801 A KR 20160178801A KR 20180074977 A KR20180074977 A KR 20180074977A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- group
- pixels
- target image
- reference image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000009466 transformation Effects 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 12
- 238000011426 transformation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 3
- 238000003786 synthesis reaction Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 description 52
- 238000013459 approach Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010422 painting Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
본 발명은 입력되는 영상 또는 이미지를 포함하는 대상 영상(Target Image)의 스타일을 기준이 되는 영상 또는 이미지를 포함하는 참조 영상(Reference Image)의 스타일로 특질 변환하는 시스템 및 그 방법에 관한 것으로, 참조 영상 및 대상 영상에서의 의미적 유사성을 고려하여 영상 내 복수의 화소에 대한 특질을 변환하여 보다 자연스럽고 완성적인 최종 결과 영상의 합성 결과를 도출할 수 있다.
Description
본 발명은 영상 간의 특질 변환 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 입력되는 영상 또는 이미지를 포함하는 대상 영상(Target Image)의 스타일을 기준이 되는 영상 또는 이미지를 포함하는 참조 영상(Reference Image)의 스타일로 특질 변환하는 시스템 및 그 방법에 관한 것이다.
사진과 같은 2차원 영상에 사람이 직접 그림을 그린 듯한 효과를 표현하는 그래픽스 기술을 회화적 렌더링(painterly rendering)이라 한다. 회화적 렌더링 기술은 인간 친화적인 영상을 표현하고자 하는 것으로서, 광고, 영화, 포스터 등의 다양한 컨텐츠의 제작에 활용된다.
컨텐츠 산업의 규모를 살펴보면, 세계적으로 컨텐츠 시장의 규모는 연평균 5.0%의 성장률을 보이며, 그 중 애니메이션이나 영화 및 광고 등의 영상을 기반으로 하는 컨텐츠 또한 꾸준히 증가하고 있는 추세이다.
이러한 관련 산업의 규모를 보아, 각종 컨텐츠 제작에 많은 활용이 가능한 특질 변환 기술을 포함하는 회화적 렌더링 기술에 대한 수요는 충분하며, 앞으로도 더욱 증가할 것으로 전망된다.
회화적 렌더링 기술은 1990년대 들어 본격적으로 연구되기 시작하였으며, 브러시의 표현, 그려지는 과정 재현, 실제 안료의 재현, 실제 예술가들의 색상 재현 등의 요소에 대해 연구가 진행되고 있다. 이중 실제 예술가들의 색상 재현은 영상의 미적인 효과 측면에서 중요한 요소 중의 하나로 인식되고 있다.
참조 영상(Reference Image)에 나타나는 색상의 느낌을 대상 영상(Target Image)에 전이시키는 색상 변환 기법은 크게 글로벌 접근 방법과 로컬 접근 방법으로 구분된다.
글로벌 접근 방법은 영상의 영역을 구분하지 않고, 영상의 전체 영역의 색상 정보를 대상으로 평균 값 및 편차 값을 구하고, 이를 기반으로 영상의 색상을 변환하는 방식이다. 이러한 글로벌 접근 방법은 사용자 입력 등과 같은 추가적인 수작업이 필요 없는 장점을 가지지만, 실제 회화 작품과 같이 영역별로 명확한 구분을 가지는 영상에 사용하기에는 한계가 존재하였다.
이에 반해, 로컬 접근 방법은 참조 영상 및 대상 영상을 영역별로 구분하고, 각 영역간 매칭 정보를 할당해 영상의 색상을 변환한다. 이러한 로컬 접근 방법은 글로벌 접근 방법에 비해 보다 나은 결과를 얻을 수 있지만, 사용자가 매칭 정보를 지정해줘야 하는 단점이 존재하였다.
또한, 화학적 렌더링 기술 중 색상 변환 기법 외에, 참조 영상에 나타나는 특질의 느낌을 대상 영상에 반영하는 특질 변환 기법을 포함한다.
특질 변환 기법은 오래전부터 많은 연구 및 개발자에 의해 연구되어 오던 분야이며, 최근에 등장한 스타일 변환 기술인 아티피(Artify), 팔레트 및 프리즈마(Prisma) 등의 어플리케이션은 일반인들에게도 많은 관심을 끌고 있다.
다만, 기존의 특질 변환 기법에 기반한 스타일 변환 기술은 유사 색상, 텍스처 및 형태의 영상 구역 간의 특질을 전환시키는 것이 일반적이다. 다만 이 경우, 입력되는 대상 영상과 기준이 되는 참조 영상 간의 의미적 유사성을 고려하지 못해 각종 특질 변환에 실패할 확률이 높다는 문제점이 존재하였다.
이하에서는, 도 1 및 도 2를 참조하여 특질 변환 기법에 기반한 스타일 변환 기술인 종래 기술에 대하여 상세히 설명하고자 한다.
도 1은 종래 기술이 적용된 색 변환의 예를 도시한 것이다.
보다 상세하게는, 도 1은 대상 영상(A)에 종래의 특질 변환 기법이 적용되어 색 변환이 수행된 실시예를 도시한 것이다.
도 1을 참조하면, 입력되는 대상 영상(A)에 기준이 되는 참조 영상(B)의 색 변환이 수행되어 최종 결과 영상(C)이 출력된 것이다.
최종 결과 영상(C)은 대상 영상(A)에 참조 영상(B)의 색 변환을 적용한 결과물이나, 색 변환이 불완전한 결과를 나타내는 것을 확인할 수 있다.
도 2는 종래 기술이 적용된 스타일 변환의 예를 도시한 것이다.
보다 상세하게는, 도 2는 대상 영상(A)에 종래의 특질 변환 기법이 적용되어 스타일 변환이 수행된 실시예를 도시한 것이다.
도 2를 참조하면, 입력되는 대상 영상(A)에 기준이 되는 참조 영상(B)의 스타일 변환이 수행되어 최종 결과 영상(C)이 출력된 것이다.
최종 결과 영상(C)은 대상 영상(A)에 참조 영상(B)의 스타일 변환을 적용한 결과물이나, 스타일 변환이 불완전한 결과를 나타내는 것을 확인할 수 있다.
특질 변환 기법이 적용된 종래 기술은 딥 러닝(Deep Learning) 기술의 발달로 인해 비약적으로 다양한 특질을 변환시킬 수 있게 되어 상당한 결과를 초래하였다.
다만, 도 1 및 도 2에 도시된 바와 같이, 종래 기술은 참조 영상 및 대상 영상 내의 내용 및 의미적 차이를 간과하고, 한 영상의 특징을 다른 영상에 통째로 변환하는 것에 불과하므로, 불완전한 결과를 출력한다는 한계가 존재하였다.
또한, 종래 기술은 참조 영상 및 대상 영상 내 개별 객체 간의 매칭을 진행함으로써, 모든 객체에 대응되는 페어(pair)가 존재하지 않을 시, 부자연스러운 최종 결과 영상을 출력한다는 문제점이 존재하였다.
본 발명은 참조 영상 및 대상 영상에서의 의미적 유사성을 고려하여 영상 내 복수의 화소에 대한 특질을 변환함으로써, 보다 자연스러운 합성 결과를 도출할 수 있는 영상 간의 특질 변환 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명은 데이터베이스부에 저장되어 유지되는 복수의 참조 영상들을 이용하여 하나의 대상 영상에 복수의 특질 변환을 적용하여 사용자의 선호도에 따른 다양하고 폭넓은 최종 결과 영상을 출력할 수 있는 영상 간의 특질 변환 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명은 의미적 분할을 그룹 단위로 진행함으로써 참조 영상 및 대상 영상 간의 의미적 매칭을 개별 객체 단위로 진행할 때 보다 높은 확률의 최종 결과 영상을 출력할 수 있는 영상 간의 특질 변환 시스템 및 그 방법을 제공하고자 한다.
본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 참조 영상(reference image) 및 대상 영상(target image) 각각을 복수의 화소로 분할하고, 상기 분할된 복수의 화소를 의미 정보에 기초하여 참조 영상 그룹 및 대상 영상 그룹으로 그룹화하는 영상 그룹부, 상기 참조 영상 그룹 및 상기 대상 영상 그룹 각각에서의 상기 의미 정보에 기초하여 동일 그룹으로 매칭하는 그룹 매칭부 및 상기 매칭된 동일 그룹에서의 상기 대상 영상 내 복수의 화소를 대응되는 상기 참조 영상 내 복수의 화소로 특질을 변환하는 영상 변환부를 포함한다.
또한, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 상기 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 상기 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력하는 최종 영상 출력부를 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 상기 의미 정보에 기반하여 의미적 분할이 수행된 복수의 참조 영상들을 저장하여 유지하는 데이터베이스부를 더 포함하고, 상기 데이터베이스부는 상기 의미 정보에 기반하여 그룹화된 복수의 상기 참조 영상 그룹을 포함하는 제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상의 상기 복수의 참조 영상들을 포함할 수 있다.
상기 영상 변환부는 상기 대상 영상 내 복수의 화소에 대응되는, 상기 데이터베이스부에 포함된 상기 복수의 참조 영상들 각각의 복수의 화소로 특질을 변환할 수 있다.
상기 영상 변환부는 상기 의미 정보에 의해 매칭되는 상기 대상 영상 및 상기 복수의 참조 영상들 각각의 동일 그룹에 기초하여, 하나의 상기 대상 영상 내 복수의 화소에 대응하는 상기 제1 참조 영상, 상기 제2 참조 영상 및 상기 제3 참조 영상 중 적어도 어느 하나 이상의 상기 복수의 참조 영상 그룹 각각의 복수의 화소로 그룹별 특질 변환하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시예에 따른 영상 간의 특질 변환 시스템은 복수의 참조 영상들과, 의미 정보에 기반하여 의미적 분할이 수행된 참조 영상(reference image) 그룹을 저장하여 유지하는 데이터베이스부, 대상 영상(target image)을 복수의 화소로 분할하고, 상기 분할된 복수의 화소를 의미 정보에 기초하여 대상 영상 그룹으로 그룹화하는 영상 그룹부, 상기 의미 정보에 기초하여 상기 대상 영상 그룹과, 상기 데이터베이스부에 저장되어 유지되는 상기 참조 영상 그룹을 동일 그룹으로 매칭하는 그룹 매칭부 및 상기 매칭된 동일 그룹에서의 상기 대상 영상 내 복수의 화소를 대응되는 상기 참조 영상 내 복수의 화소로 특질을 변환하는 영상 변환부를 포함한다.
또한, 본 발명의 다른 실시예에 따른 영상 간의 특질 변환 시스템은 상기 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 상기 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력하는 최종 영상 출력부를 더 포함할 수 있다.
본 발명의 실시예에 따른 영상 간의 특질 변환 방법은 참조 영상(reference image) 및 대상 영상(target image) 각각을 복수의 화소로 분할하는 단계, 상기 분할된 복수의 화소를 의미 정보에 기초하여 참조 영상 그룹 및 대상 영상 그룹으로 그룹화하는 단계, 상기 참조 영상 그룹 및 상기 대상 영상 그룹 각각에서의 상기 의미 정보에 기초하여 동일 그룹으로 매칭하는 단계 및 상기 매칭된 동일 그룹에서의 상기 대상 영상 내 복수의 화소를 대응되는 상기 참조 영상 내 복수의 화소로 특질을 변환하는 단계를 포함한다.
또한, 본 발명의 실시예에 따른 영상 간의 특질 변환 방법은 상기 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 상기 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력하는 단계를 더 포함할 수 있다.
상기 특질을 변환하는 단계는 상기 대상 영상 내 복수의 화소에 대응되는 데이터베이스부에 포함된 복수의 참조 영상들 각각의 복수의 화소로 특질을 변환하되, 상기 데이터베이스부는 상기 의미 정보에 기반하여 그룹화된 복수의 상기 참조 영상 그룹들을 포함하는 제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상의 상기 복수의 참조 영상들을 포함할 수 있다.
상기 특질을 변환하는 단계는 상기 의미 정보에 의해 매칭되는 상기 대상 영상 및 상기 복수의 참조 영상들 각각의 동일 그룹에 기초하여, 하나의 상기 대상 영상 내 복수의 화소에 대응하는 상기 제1 참조 영상, 상기 제2 참조 영상 및 상기 제3 참조 영상 중 적어도 어느 하나 이상의 상기 복수의 참조 영상 그룹 각각의 복수의 화소로 그룹별 특질 변환하는 것을 특징으로 할 수 있다.
본 발명의 다른 실시예에 따른 영상 간의 특질 변환 방법은 대상 영상(target image)을 복수의 화소로 분할하는 단계, 상기 분할된 복수의 화소를 의미 정보에 기초하여 대상 영상 그룹으로 그룹화하는 단계, 상기 대상 영상 그룹과, 데이터베이스부에 저장되어 유지되는 복수의 참조 영상들에 의해 그룹화된 참조 영상 그룹을 상기 의미 정보에 기초하여 동일 그룹으로 매칭하는 단계 및 상기 매칭된 동일 그룹을 기반으로 상기 대상 영상 내 복수의 화소를 대응되는 상기 참조 영상 내 복수의 화소로 특질을 변환하는 단계를 포함한다.
또한, 본 발명의 다른 실시예에 따른 영상 간의 특질 변환 방법은 상기 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 상기 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 참조 영상 및 대상 영상에서의 의미적 유사성을 고려하여 영상 내 복수의 화소에 대한 특질을 변환함으로써, 보다 자연스럽고 완성적인 합성 결과를 도출할 수 있다.
또한, 본 발명의 실시예에 따르면, 데이터베이스부에 저장되어 유지되는 복수의 참조 영상들을 이용하여 하나의 대상 영상에 복수의 특질 변환을 적용하여 사용자의 선호도에 따른 다양하고 폭넓은 최종 결과 영상을 출력할 수 있다.
또한, 본 발명의 실시예에 따르면, 의미적 분할을 그룹 단위로 진행함으로써 참조 영상 및 대상 영상 간의 의미적 매칭을 개별 객체 단위로 진행할 때 보다 높은 확률의 최종 결과 영상을 출력할 수 있다.
도 1은 종래 기술이 적용된 색 변환의 예를 도시한 것이다.
도 2는 종래 기술이 적용된 스타일 변환의 예를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템의 구성을 설명하기 위해 도시한 것이다.
도 4는 본 발명의 다른 실시예에 따른 영상 간의 특질 변환 시스템의 구성을 설명하기 위해 도시한 것이다.
도 5a 및 도 5b는 종래 기술 및 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템이 적용된 최종 결과 영상의 예를 도시한 것이다.
도 6a 내지 도 6e는 복수의 참조 영상을 이용한 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템이 적용된 최종 결과 영상의 예를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 영상 간의 특질 변환 방법의 흐름도를 도시한 것이다.
도 8은 본 발명의 다른 실시예에 따른 영상 간의 특질 변환 방법의 흐름도를 도시한 것이다.
도 2는 종래 기술이 적용된 스타일 변환의 예를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템의 구성을 설명하기 위해 도시한 것이다.
도 4는 본 발명의 다른 실시예에 따른 영상 간의 특질 변환 시스템의 구성을 설명하기 위해 도시한 것이다.
도 5a 및 도 5b는 종래 기술 및 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템이 적용된 최종 결과 영상의 예를 도시한 것이다.
도 6a 내지 도 6e는 복수의 참조 영상을 이용한 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템이 적용된 최종 결과 영상의 예를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 영상 간의 특질 변환 방법의 흐름도를 도시한 것이다.
도 8은 본 발명의 다른 실시예에 따른 영상 간의 특질 변환 방법의 흐름도를 도시한 것이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용되는 "실시예", "예", "측면", "예시" 등은 기술된 임의의 양상(aspect) 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되어야 하는 것은 아니다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다. 즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
또한, 본 명세서 및 청구항들에서 사용되는 단수 표현("a" 또는 "an")은, 달리 언급하지 않는 한 또는 단수 형태에 관한 것이라고 문맥으로부터 명확하지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
또한, 본 명세서 및 청구항들에서 사용되는 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 3은 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템의 구성을 설명하기 위해 도시한 것이다.
본 발명의 실시예에 따른 영상 간의 특질 변환 시스템(300)은 참조 영상 및 대상 영상을 의미 정보에 기반하여 그룹화하고, 동일 그룹 내에서의 대상 영상 내 복수의 화소를 참조 영상 내 복수의 화소로 특질 변환한다.
이를 위해, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템(300)은 영상 그룹부(310), 그룹 매칭부(320) 및 영상 변환부(330)를 포함한다.
영상 그룹부(310)는 참조 영상(Reference Image) 및 대상 영상(Target Image) 각각을 복수의 화소로 분할하고, 분할된 복수의 화소를 의미 정보에 기초하여 참조 영상 그룹(311) 및 대상 영상 그룹(312)으로 그룹화한다.
보다 상세하게는, 영상 그룹부(310)는 참조 영상 및 대상 영상 각각에 대해 의미적 분할을 수행할 수 있다.
예를 들면, 영상 그룹부(310)는 대상 영상 및 참조 영상이 풍경 이미지 또는 영상일 경우, 입력되는 영상 또는 이미지를 포함하는 대상 영상과, 기준이 되는 영상 또는 이미지를 포함하는 참조 영상에서의 복수의 화소를 분할하고, 분할된 복수의 화소에 따른 배경(sky), 객체(object) 및 그라운드(ground)의 의미적 분할에 기초하여 세 그룹으로 그룹화할 수 있다.
이후, 영상 그룹부(310)는 참조 영상에 대한 참조 영상 배경 그룹, 참조 영상 객체 그룹 및 참조 영상 그라운드 그룹을 포함하는 참조 영상 그룹(311)과, 대상 영상에 대한 대상 영상 배경 그룹, 대상 영상 객체 그룹 및 대상 영상 그라운드 그룹을 포함하는 대상 영상 그룹(312)으로 그룹화할 수 있다.
실시예에 따라서, 그룹 분류 및 분할의 방법은 슈퍼픽셀(superpixel)을 재조합하는 방식일 수 있으나, 심층 신경망(Deep Neural Net) 기반의 영상 분류기 등 다양한 방법론이 적용될 수도 있다.
실시예에 따라서, 영상 그룹부(310)는 의미 정보에 기초하여 영상 또는 이미지 내의 복수의 화소에 따른 배경, 객체 및 그라운드의 그룹으로 그룹화할 수 있으나, 배경에서도 구름, 태양, 달, 비, 눈 및 배경 색 등으로 세분화된 의미 정보에 의해 세분화된 그룹으로 그룹화될 수 있다.
또한, 객체에서도 사람, 건물, 차량(Vehicles), 동물 및 가로등 등으로 세분화된 의미 정보에 의해 세분화된 그룹으로 그룹화될 수 있고, 그라운드에서도 산, 바다, 땅 및 강 등으로 세분화된 의미 정보에 의해 세분화된 그룹으로 그룹화될 수도 있다. 즉, 의미 정보에 기초하여 분류되는 그룹의 종류 및 의미 정보의 종류는 이에 한정되는 것은 아니며 다양한 실시예에 따라 다양하게 적용 가능할 수 있다.
실시예에 따라서, 대상 영상 및 참조 영상은 풍경, 인물 및 객체 영역의 이미지 또는 영상일 수 있으며, 영상 그룹부(310)는 대상 영상 및 참조 영상의 풍경, 인물 및 객체 영역 각각에서의 서로 다른 의미 정보를 기준으로 그룹화할 수 있다. 다만, 본 발명에서는 풍경 이미지 또는 영상을 기본으로 하여 수행된다.
그룹 매칭부(320)는 참조 영상 그룹(311) 및 대상 영상 그룹(312) 각각에서의 의미 정보에 기초하여 동일 그룹을 매칭한다.
예를 들면, 그룹 매칭부(320)는 영상 그룹부(310)를 통해 그룹화된 참조 영상에 대한 참조 영상 배경 그룹, 참조 영상 객체 그룹 및 참조 영상 그라운드 그룹을 포함하고 참조 영상 그룹(311)과, 대상 영상에 대한 대상 영상 배경 그룹, 대상 영상 객체 그룹 및 대상 영상 그라운드 그룹을 포함하는 대상 영상 그룹(312)을 의미 정보에 기초하여 동일 그룹으로 매칭할 수 있다.
실시예에 따라서, 그룹 매칭부(320)는 의미 정보에 기초하여 참조 영상 배경 그룹과 대상 영상 배경 그룹을 매칭하고, 참조 영상 객체 그룹과 대상 영상 객체 그룹을 매칭하며, 참조 영상 그라운드 그룹과 대상 영상 그라운드 그룹을 매칭할 수 있다.
또한, 복수의 참조 영상들과 대상 영상 간의 의미적 분할에 따른 동일 그룹의 매칭은 사용자의 선택 입력 및 기설정된 설정 값에 의해 수행될 수 있다.
영상 변환부(330)는 매칭된 동일 그룹에서의 대상 영상 내 복수의 화소를 대응되는 참조 영상 내 복수의 화소로 특질을 변환한다.
보다 상세하게는, 영상 변환부(330)는 그룹 매칭부(320)에 의해 매칭된 참조 영상 배경 그룹 ― 대상 영상 배경 그룹, 참조 영상 객체 그룹 ― 대상 영상 객체 그룹, 참조 영상 그라운드 그룹 ― 대상 영상 그라운드 그룹 각각에서의, 매칭 그룹 간 스타일 변환을 수행할 수 있다.
예를 들면, 영상 변환부(330)는 참조 영상 배경 그룹 ― 대상 영상 배경 그룹으로 매칭된 동일 그룹 내에서, 대상 영상 내 복수의 화소에 대응되는 참조 영상 내 복수의 화소로 특질(스타일)을 변환할 수 있다.
또 다른 예로, 영상 변환부(330)는 참조 영상 객체 그룹 ― 대상 영상 객체 그룹으로 매칭된 동일 그룹 내에서 대상 영상 내 복수의 화소에 대응되는 참조 영상 내 복수의 화소로 특질을 변환할 수 있고, 참조 영상 그라운드 그룹 ― 대상 영상 그라운드 그룹으로 매칭된 동일 그룹 내에서 대상 영상 내 복수의 화소에 대응되는 참조 영상 내 복수의 화소로 특질을 변환할 수 있다.
실시예에 따라서, 영상 변환부(330)는 기존에 사용되는 특질 변환 방법을 적용하여 대상 영상 내 복수의 화소에서 참조 영상 내 복수의 화소로 특질을 변환할 수 있다. 상기 기존에 사용되는 특질 변환 방법은 토탈 로스(Total Loss)의 합이 최소가 되는 방향으로 점진적인 재합성을 진행하는 방법일 수 있다.
본 발명의 실시예에 따른 영상 간의 특질 변환 시스템(300)은 의미 정보에 기반하여 의미적 분할이 수행된 복수의 참조 영상들을 저장하여 유지하는 데이터베이스부(350)를 포함할 수 있다.
데이터베이스부(350)는 의미 정보에 기반하여 그룹화된 복수의 참조 영상 그룹을 포함하는 제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상의 복수의 참조 영상들을 저장하여 유지할 수 있다.
실시예에 따르면, 데이터베이스부(350)는 제1 참조 영상의 복수의 화소를 의미 정보에 기초하여 제1 참조 영상 배경 그룹, 제1 참조 영상 객체 그룹 및 제1 참조 영상 그라운드 그룹으로 그룹화하여 저장하여 유지할 수 있고, 제2 참조 영상의 복수의 화소를 동일한 의미 정보에 기초하여 제2 참조 영상 배경 그룹, 제2 참조 영상 객체 그룹 및 제2 참조 영상 그라운드 그룹으로 그룹화하여 저장하여 유지할 수 있으며, 제3 참조 영상의 복수의 화소를 동일한 의미 정보에 기초하여 제3 참조 영상 배경 그룹, 제3 참조 영상 객체 그룹 및 제3 참조 영상 그라운드 그룹으로 그룹화하여 저장하여 유지할 수 있다.
다만, 데이터베이스부(350)에 저장되어 유지되는 참조 영상의 개수 및 종류는 이에 한정되는 것은 아니며, 배경, 객체 및 그라운드를 포함하는 의미 정보 또한 실시예에 따라 다양하게 적용될 수 있음은 당연하다.
이에 따라, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템(300)의 영상 변환부(330)는 대상 영상 내 복수의 화소에 대응되어 데이터베이스부(350)에 포함된 복수의 참조 영상들 각각의 복수의 화소로 특질을 변환할 수 있다.
영상 변환부(330)는 의미 정보에 의해 매칭되는 대상 영상 및 복수의 참조 영상들 각각의 동일 그룹에 기초하여, 하나의 대상 영상 내 복수의 화소에 대응하는 제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상의 복수의 참조 영상 그룹 각각의 복수의 화소로 그룹별 특질을 변환할 수 있다.
실시예에 따라서, 영상 변환부(330)는 대상 영상에 대해 의미 정보 기초하여 그룹화된 대상 영상 배경 그룹, 대상 영상 객체 그룹 및 대상 영상 그라운드 그룹 중, 적어도 어느 하나 또는 하나 이상의 그룹은 의미적 분할이 동일한 참조 영상 그룹(311) 내의 복수의 화소로 특질을 변환하고, 그 외의 나머지 그룹은 데이터베이스부(350)에 저장되어 유지되는 의미적 분할이 동일한 복수의 참조 영상들(제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상)의 복수의 화소로 특질 변환할 수 있다.
예를 들면, 영상 변환부(330)는 대상 영상 배경 그룹, 대상 영상 객체 그룹 및 대상 영상 그라운드 그룹을 포함하는 대상 영상 그룹(312) 중, 대상 영상 배경 그룹에 매칭된 동일 그룹에 따른 참조 영상 그룹(311) 내의 참조 영상 배경 그룹에 포함된 참조 영상 내 복수의 화소로 특질을 변환할 수 있다.
이후, 영상 변환부(330)는 나머지 대상 영상 객체 그룹 및 대상 영상 그라운드 그룹에 대해 의미 정보가 동일한 복수의 참조 영상들(제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상)의 객체 그룹 및 그라운드 그룹을 매칭하고, 복수의 참조 영상들의 객체 그룹 및 그라운드 그룹 내 참조 영상의 복수의 화소로 특질을 변환할 수 있다.
여기서, 상기 복수의 참조 영상들의 개수 및 종류는 한정되는 것은 아니다.
본 발명의 실시예에 따른 영상 간의 특질 변환 시스템(300)은 최종 영상 출력부(340)를 더 포함할 수 있다.
최종 영상 출력부(340)는 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력할 수 있다.
대상 영상 그룹을 하나의 영상으로 합성하는 방법은 기존에 사용되는 영상 병합 방법이 적용될 수 있으며, 복수의 화소에 기초하여 분류된 그룹을 하나의 영상을 합성하는 과정에서 적용되는 방법 및 수식은 공용으로 사용되는 일반적인 적용법이 적용될 수 있으므로, 이에 한정되는 것은 아니다.
도 4는 본 발명의 다른 실시예에 따른 영상 간의 특질 변환 시스템의 구성을 설명하기 위해 도시한 것이다.
본 발명의 다른 실시예에 따른 영상 간의 특질 변환 시스템(400)은 입력되는 대상 영상을 의미 정보에 기반하여 그룹화하고, 의미적 분할에 기초하여 대상 영상 내 복수의 화소를 데이터베이스부 내에 저장되어 유지되는 참조 영상 내 복수의 화소로 특질 변환한다.
이를 위해, 본 발명의 다른 실시예에 따른 영상 간의 특질 변환 시스템(400)은 영상 그룹부(410), 그룹 매칭부(420), 영상 변환부(430) 및 데이터베이스부(450)를 포함한다.
데이터베이스부(450)는 복수의 참조 영상들과, 의미 정보에 기반하여 의미적 분할이 수행된 참조 영상(reference image) 그룹을 저장하여 유지한다.
예를 들면, 데이터베이스부(450)는 의미 정보에 기반하여 그룹화된 복수의 참조 영상 그룹을 포함하는 제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상의 복수의 참조 영상들을 저장하여 유지할 수 있다.
실시예에 따라서, 데이터베이스부(350)는 제1 참조 영상의 복수의 화소를 의미 정보에 기초하여 제1 참조 영상 배경 그룹, 제1 참조 영상 객체 그룹 및 제1 참조 영상 그라운드 그룹으로 그룹화하여 저장하여 유지할 수 있고, 제2 참조 영상의 복수의 화소를 동일한 의미 정보에 기초하여 제2 참조 영상 배경 그룹, 제2 참조 영상 객체 그룹 및 제2 참조 영상 그라운드 그룹으로 그룹화하여 저장하여 유지할 수 있으며, 제3 참조 영상의 복수의 화소를 동일한 의미 정보에 기초하여 제3 참조 영상 배경 그룹, 제3 참조 영상 객체 그룹 및 제3 참조 영상 그라운드 그룹으로 그룹화하여 저장하여 유지할 수 있다.
다만, 데이터베이스부(450)에 저장되어 유지되는 참조 영상의 개수 및 종류는 이에 한정되는 것은 아니며, 배경, 객체 및 그라운드를 포함하는 의미 정보 또한 실시예에 따라 다양하게 적용될 수 있음은 당연하다.
영상 그룹부(410)는 대상 영상(target image)을 복수의 화소로 분할하고, 분할된 복수의 화소를 의미 정보에 기초하여 대상 영상 그룹으로 그룹화한다.
예를 들면, 영상 그룹부(410)는 대상 영상이 풍경 이미지 또는 영상일 경우, 입력되는 영상 또는 이미지를 포함하는 대상 영상을 복수의 화소로 분할하고, 분할된 복수의 화소에 따른 배경(sky), 객체(object) 및 그라운드(ground)의 의미적 분할에 기초하여 세 그룹으로 그룹화할 수 있다.
이후, 영상 그룹부(410)는 대상 영상에 대한 대상 영상 배경 그룹, 대상 영상 객체 그룹 및 대상 영상 그라운드 그룹을 포함하는 대상 영상 그룹으로 그룹화할 수 있다.
실시예에 따라서, 그룹 분류 및 분할의 방법은 슈퍼픽셀(superpixel)을 재조합하는 방식일 수 있으나, 심층 신경망(Deep Neural Net) 기반의 영상 분류기 등 다양한 방법론이 적용될 수도 있다.
실시예에 따라서, 영상 그룹부(410)는 의미 정보에 기초하여 영상 또는 이미지 내의 복수의 화소에 따른 배경, 객체 및 그라운드의 그룹으로 그룹화할 수 있으나, 배경에서도 구름, 태양, 달, 비, 눈 및 배경 색 등으로 세분화된 의미 정보에 의해 세분화된 그룹으로 그룹화될 수 있다.
또한, 객체에서도 사람, 건물, 차량(Vehicles), 동물 및 가로등 등으로 세분화된 의미 정보에 의해 세분화된 그룹으로 그룹화될 수 있고, 그라운드에서도 산, 바다, 땅 및 강 등으로 세분화된 의미 정보에 의해 세분화된 그룹으로 그룹화될 수도 있다. 즉, 의미 정보에 기초하여 분류되는 그룹의 종류 및 의미 정보의 종류는 이에 한정되는 것은 아니며 다양한 실시예에 따라 다양하게 적용 가능할 수 있다.
실시예에 따라서, 대상 영상은 풍경, 인물 및 객체 영역의 이미지 또는 영상일 수 있으며, 영상 그룹부(410)는 대상 영상의 풍경, 인물 및 객체 영역 각각에서의 서로 다른 의미 정보를 기준으로 그룹화할 수 있다. 다만, 본 발명에서는 풍경 이미지 또는 영상을 기본으로 하여 수행된다.
그룹 매칭부(420)는 의미 정보에 기초하여 대상 영상 그룹과, 데이터베이스부(450)에 저장되어 유지되는 참조 영상 그룹을 동일 그룹으로 매칭한다.
예를 들면, 그룹 매칭부(420)는 영상 그룹부(410)를 통해 그룹화된 대상 영상에 대한 대상 영상 배경 그룹, 대상 영상 객체 그룹 및 대상 영상 그라운드 그룹을 포함하는 대상 영상 그룹과, 데이터베이스부(450)에 저장되어 유지되는 제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상의 배경 그룹, 객체 그룹 및 그라운드 그룹을 의미 정보에 기초하여 동일 그룹으로 매칭할 수 있다.
영상 변환부(430)는 매칭된 동일 그룹에서의 대상 영상 내 복수의 화소를 대응되는 참조 영상 내 복수의 화소로 특질을 변환한다.
보다 상세하게는, 영상 변환부(430)는 그룹 매칭부(420)에 의해 매칭된 참조 영상 배경 그룹 ― 대상 영상 배경 그룹, 참조 영상 객체 그룹 ― 대상 영상 객체 그룹, 참조 영상 그라운드 그룹 ― 대상 영상 그라운드 그룹 각각에서의, 매칭 그룹 간 스타일 변환을 수행할 수 있다.
예를 들면, 영상 변환부(430)는 참조 영상 배경 그룹 ― 대상 영상 배경 그룹으로 매칭된 동일 그룹 내에서, 대상 영상 내 복수의 화소에 대응되는 참조 영상 내 복수의 화소로 특질(스타일)을 변환할 수 있다.
또 다른 예로, 영상 변환부(430)는 참조 영상 객체 그룹 ― 대상 영상 객체 그룹으로 매칭된 동일 그룹 내에서 대상 영상 내 복수의 화소에 대응되는 참조 영상 내 복수의 화소로 특질을 변환할 수 있고, 참조 영상 그라운드 그룹 ― 대상 영상 그라운드 그룹으로 매칭된 동일 그룹 내에서 대상 영상 내 복수의 화소에 대응되는 참조 영상 내 복수의 화소로 특질을 변환할 수 있다.
실시예에 따라서, 영상 변환부(430)는 기존에 사용되는 특질 변환 방법을 적용하여 대상 영상 내 복수의 화소에서 참조 영상 내 복수의 화소로 특질을 변환할 수 있다. 상기 기존에 사용되는 특질 변환 방법은 토탈 로스(Total Loss)의 합이 최소가 되는 방향으로 점진적인 재합성을 진행하는 방법일 수 있다.
여기서, 상기 참조 영상 배경 그룹, 상기 참조 영상 객체 그룹 및 상기 참조 영상 그라운드 그룹은 데이터베이스부(450)에 저장되어 유지되는 제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 또는 하나 이상에 대한 그룹일 수 있다.
실시예에 따라서, 배경 그룹, 객체 그룹 및 그라운드 그룹 각각은 서로 다른 참조 영상 내 그룹일 수 있다.
또한, 복수의 참조 영상들과 대상 영상 간의 의미적 분할에 따른 동일 그룹의 매칭은 사용자의 선택 입력 및 기설정된 설정 값에 의해 수행될 수 있다.
본 발명의 다른 실시예에 따른 영상 간의 특질 변환 시스템(400)은 최종 영상 출력부(440)를 더 포함할 수 있다.
최종 영상 출력부(440)는 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력할 수 있다.
대상 영상 그룹을 하나의 영상으로 합성하는 방법은 기존에 사용되는 영상 병합 방법이 적용될 수 있으며, 복수의 화소에 기초하여 분류된 그룹을 하나의 영상을 합성하는 과정에서 적용되는 방법 및 수식은 공용으로 사용되는 일반적인 적용법이 적용될 수 있으므로, 이에 한정되는 것은 아니다.
도 5a 및 도 5b는 종래 기술 및 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템이 적용된 최종 결과 영상의 예를 도시한 것이다.
보다 상세하게는, 도 5a는 종래 기술이 적용되어 스타일이 변환된 최종 결과 영상의 예를 도시한 것이고, 도 5b는 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템이 적용되어 스타일이 변환된 최종 결과 영상의 예를 도시한 것이다.
도 5a는 도 2의 최종 결과 영상(C)과 동일한 도면으로, 대상 영상에 참조 영상의 스타일 변환이 적용된 결과물이나, 스타일 변환이 불완전한 결과를 나타낸 것을 알 수 있다.
그에 반해, 도 5b는 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템이 적용된 최종 결과 영상으로, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 입력되는 대상 영상을 복수의 화소로 분할하고, 분할된 복수의 화소를 배경(sky), 객체(object) 및 그라운드(ground)의 의미 정보에 기초하여 그룹화하고, 참조 영상의 배경(sky), 객체(object) 및 그라운드(ground)의 의미 정보에 기초하여 그룹화된 그룹과의 매칭을 통해 대상 영상 내 복수의 화소의 특질을 변환한 결과이다.
예를 들면, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 대상 영상과 참조 영상을 배경-배경, 객체-객체 및 그라운드-그라운드 그룹으로 매칭시킨 후, 각 매칭 영역간 복수의 화소의 특질 변환을 수행한 것이다.
이에 따라 도 5a 및 도 5b에 도시된 바와 같이, 대상 영상 및 참조 영상 내 복수의 화소를 의미 정보에 기초하여 복수의 그룹으로 그룹화하고, 동일 그룹을 매칭하여 동일 그룹 내에서의 화소의 특질을 변환함으로써, 종래 기술에 나타났던 부자연스러운 최종 결과 영상에 비해 보다 자연스럽고 완성적인 결과물을 출력할 수 있다.
도 6a 내지 도 6e는 복수의 참조 영상을 이용한 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템이 적용된 최종 결과 영상의 예를 도시한 것이다.
보다 상세하게는, 도 6a 내지 도 6c는 복수의 참조 영상들의 예를 도시한 것이고, 도 6d는 대상 영상의 예를 도시한 것이며, 도 6e는 화소의 특질이 변환된 최종 결과 영상의 예를 도시한 것이다.
본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 복수의 참조 영상들(도 6a 내지 도 6c)와, 대상 영상(도 6d)을 의미 정보에 기초하여 배경 그룹, 객체 그룹 및 그라운드 그룹으로 그룹화한다.
이후, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 참조 영상인 도 6a에서의 배경 그룹과 대상 영상인 도 6d에서의 배경 그룹을 매칭하고, 참조 영상인 도 6b에서의 객체 그룹과 대상 영상인 도 6d에서의 객체 그룹을 매칭하며, 참조 영상인 도 6c에서의 그라운드 그룹과 대상 영상인 도 6d에서의 그라운드 그룹을 매칭한다.
이후, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 각 매칭된 그룹에서의 대상 영상 내 복수의 화소를 참조 영상(도 6a 내지 도 6c) 내 복수의 화소로 특질을 변환한다.
도 6e를 참조하면, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 도 6a 내지 도 6c에 도시된 복수의 참조 영상들 각각의 배경 그룹, 객체 그룹 및 그라운드 그룹 내 스타일(특질)로 대상 영상을 변환한 것을 확인할 수 있다.
이에 따라서, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 한정된 참조 영상의 스타일(특질) 변환에서 벗어나, 다양한 복수의 참조 영상들을 하나의 대상 영상에 스타일 변환을 적용함으로써, 보다 다양하고 폭넓은 최종 결과 영상을 출력할 수 있다.
예를 들면, 본 발명의 실시예에 따른 영상 간의 특질 변환 시스템은 명화를 참조 영상으로 이용하여 대상 영상의 특질 변환을 수행하는 경우, 명화 하나를 대상 영상에 적용하는 종래 기술에서 더 나아가 복수의 화가들의 스타일(복수의 참조 영상들)을 조합하거나 작고한 화가의 화풍을 담은 새로운 작품을 생성해 나갈 수 있는 효과 또한 제공할 수 있다.
도 7은 본 발명의 실시예에 따른 영상 간의 특질 변환 방법의 흐름도를 도시한 것이다.
도 7을 참조하면, 단계 710에서 참조 영상(reference image) 및 대상 영상(target image) 각각을 복수의 화소로 분할한다.
이후, 단계 720에서 분할된 복수의 화소를 의미 정보에 기초하여 참조 영상 그룹 및 대상 영상 그룹으로 그룹화한다.
단계 720은 는 대상 영상 및 참조 영상이 풍경 이미지 또는 영상일 경우, 입력되는 영상 또는 이미지를 포함하는 대상 영상과, 기준이 되는 영상 또는 이미지를 포함하는 참조 영상에서의 복수의 화소를 분할하고, 분할된 복수의 화소에 따른 배경(sky), 객체(object) 및 그라운드(ground)의 의미적 분할에 기초하여 세 그룹으로 그룹화하는 단계일 수 있다.
실시예에 따라서, 대상 영상 및 참조 영상은 풍경 이미지 또는 영상에 한정되는 것은 아니며, 인물 및 객체 영역의 이미지 또는 영상일 수 있고, 서로 다른 의미 정보를 기준으로 그룹화될 수도 있다.
단계 730에서 참조 영상 그룹 및 대상 영상 그룹 각각에서의 의미 정보에 기초하여 동일 그룹으로 매칭한다.
예를 들면, 단계 730은 참조 영상에 대한 참조 영상 배경 그룹, 참조 영상 객체 그룹 및 참조 영상 그라운드 그룹을 포함하고 참조 영상 그룹과, 대상 영상에 대한 대상 영상 배경 그룹, 대상 영상 객체 그룹 및 대상 영상 그라운드 그룹을 포함하는 대상 영상 그룹을 의미 정보에 기초하여 동일 그룹으로 매칭하는 단계일 수 있다.
단계 740에서 매칭된 동일 그룹에서의 대상 영상 내 복수의 화소를 대응되는 참조 영상 내 복수의 화소로 특질을 변환한다.
본 발명의 실시예에 따른 영상 간의 특질 변환 방법은 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력하는 단계 750을 더 포함할 수 있다.
대상 영상 그룹을 하나의 영상으로 합성하는 방법은 기존에 사용되는 영상 병합 방법이 적용될 수 있으며, 복수의 화소에 기초하여 분류된 그룹을 하나의 영상을 합성하는 과정에서 적용되는 방법 및 수식은 공용으로 사용되는 일반적인 적용법이 적용될 수 있으므로, 한정되는 것은 아니다.
도 8은 본 발명의 다른 실시예에 따른 영상 간의 특질 변환 방법의 흐름도를 도시한 것이다.
도 8을 참조하면, 단계 810에서 대상 영상(target image)을 복수의 화소로 분할한다.
이후, 단계 820에서 분할된 복수의 화소를 의미 정보에 기초하여 대상 영상 그룹으로 그룹화한다.
단계 820은 는 대상 영상이 풍경 이미지 또는 영상일 경우, 입력되는 영상 또는 이미지를 포함하는 대상 영상을 복수의 화소로 분할하고, 분할된 복수의 화소에 따른 배경(sky), 객체(object) 및 그라운드(ground)의 의미적 분할에 기초하여 세 그룹으로 그룹화하는 단계일 수 있다.
실시예에 따라서, 대상 영상은 풍경 이미지 또는 영상에 한정되는 것은 아니며, 인물 및 객체 영역의 이미지 또는 영상일 수 있고, 서로 다른 의미 정보를 기준으로 그룹화될 수도 있다.
단계 830에서 대상 영상 그룹과, 데이터베이스부에 저장되어 유지되는 복수의 참조 영상들에 의해 그룹화된 참조 영상 그룹을 의미 정보에 기초하여 동일 그룹으로 매칭한다.
예를 들면, 단계 830은 그룹화된 대상 영상에 대한 대상 영상 배경 그룹, 대상 영상 객체 그룹 및 대상 영상 그라운드 그룹을 포함하는 대상 영상 그룹과, 데이터베이스부에 저장되어 유지되는 제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상의 배경 그룹, 객체 그룹 및 그라운드 그룹을 의미 정보에 기초하여 동일 그룹으로 매칭하는 단계일 수 있다.
다만, 데이터베이스부에 저장되어 유지되는 참조 영상의 개수 및 종류는 이에 한정되는 것은 아니며, 배경, 객체 및 그라운드를 포함하는 의미 정보 또한 실시예에 따라 다양하게 적용될 수 있음은 당연하다.
단계 840에서 매칭된 동일 그룹에서의 대상 영상 내 복수의 화소를 대응되는 참조 영상 내 복수의 화소로 특질을 변환한다.
본 발명의 다른 실시예에 따른 영상 간의 특질 변환 방법은 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력하는 단계 850을 더 포함할 수 있다.
대상 영상 그룹을 하나의 영상으로 합성하는 방법은 기존에 사용되는 영상 병합 방법이 적용될 수 있으며, 복수의 화소에 기초하여 분류된 그룹을 하나의 영상을 합성하는 과정에서 적용되는 방법 및 수식은 공용으로 사용되는 일반적인 적용법이 적용될 수 있으므로, 한정되는 것은 아니다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (14)
- 참조 영상(reference image) 및 대상 영상(target image) 각각을 복수의 화소로 분할하고, 상기 분할된 복수의 화소를 의미 정보에 기초하여 참조 영상 그룹 및 대상 영상 그룹으로 그룹화하는 영상 그룹부;
상기 참조 영상 그룹 및 상기 대상 영상 그룹 각각에서의 상기 의미 정보에 기초하여 동일 그룹으로 매칭하는 그룹 매칭부; 및
상기 매칭된 동일 그룹에서의 상기 대상 영상 내 복수의 화소를 대응되는 상기 참조 영상 내 복수의 화소로 특질을 변환하는 영상 변환부
를 포함하는 영상 간의 특질 변환 시스템.
- 제1항에 있어서,
상기 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 상기 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력하는 최종 영상 출력부
를 더 포함하는 영상 간의 특질 변환 시스템.
- 제1항에 있어서,
상기 의미 정보에 기반하여 의미적 분할이 수행된 복수의 참조 영상들을 저장하여 유지하는 데이터베이스부를 더 포함하고,
상기 데이터베이스부는
상기 의미 정보에 기반하여 그룹화된 복수의 상기 참조 영상 그룹을 포함하는 제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상의 상기 복수의 참조 영상들을 포함하는 영상 간의 특질 변환 시스템.
- 제3항에 있어서,
상기 영상 변환부는
상기 대상 영상 내 복수의 화소에 대응되는, 상기 데이터베이스부에 포함된 상기 복수의 참조 영상들 각각의 복수의 화소로 특질을 변환하는 영상 간의 특질 변환 시스템.
- 제4항에 있어서,
상기 영상 변환부는
상기 의미 정보에 의해 매칭되는 상기 대상 영상 및 상기 복수의 참조 영상들 각각의 동일 그룹에 기초하여, 하나의 상기 대상 영상 내 복수의 화소에 대응하는 상기 제1 참조 영상, 상기 제2 참조 영상 및 상기 제3 참조 영상 중 적어도 어느 하나 이상의 상기 복수의 참조 영상 그룹 각각의 복수의 화소로 그룹별 특질 변환하는 것을 특징으로 하는 영상 간의 특질 변환 시스템.
- 복수의 참조 영상들과, 의미 정보에 기반하여 의미적 분할이 수행된 참조 영상(reference image) 그룹을 저장하여 유지하는 데이터베이스부;
대상 영상(target image)을 복수의 화소로 분할하고, 상기 분할된 복수의 화소를 의미 정보에 기초하여 대상 영상 그룹으로 그룹화하는 영상 그룹부;
상기 의미 정보에 기초하여 상기 대상 영상 그룹과, 상기 데이터베이스부에 저장되어 유지되는 상기 참조 영상 그룹을 동일 그룹으로 매칭하는 그룹 매칭부; 및
상기 매칭된 동일 그룹에서의 상기 대상 영상 내 복수의 화소를 대응되는 상기 참조 영상 내 복수의 화소로 특질을 변환하는 영상 변환부
를 포함하는 영상 간의 특질 변환 시스템.
- 제1항에 있어서,
상기 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 상기 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력하는 최종 영상 출력부
를 더 포함하는 영상 간의 특질 변환 시스템.
- 참조 영상(reference image) 및 대상 영상(target image) 각각을 복수의 화소로 분할하는 단계;
상기 분할된 복수의 화소를 의미 정보에 기초하여 참조 영상 그룹 및 대상 영상 그룹으로 그룹화하는 단계;
상기 참조 영상 그룹 및 상기 대상 영상 그룹 각각에서의 상기 의미 정보에 기초하여 동일 그룹으로 매칭하는 단계; 및
상기 매칭된 동일 그룹에서의 상기 대상 영상 내 복수의 화소를 대응되는 상기 참조 영상 내 복수의 화소로 특질을 변환하는 단계
를 포함하는 영상 간의 특질 변환 방법.
- 제8항에 있어서,
상기 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 상기 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력하는 단계
를 더 포함하는 영상 간의 특질 변환 방법.
- 제8항에 있어서,
상기 특질을 변환하는 단계는
상기 대상 영상 내 복수의 화소에 대응되는 데이터베이스부에 포함된 복수의 참조 영상들 각각의 복수의 화소로 특질을 변환하되,
상기 데이터베이스부는
상기 의미 정보에 기반하여 그룹화된 복수의 상기 참조 영상 그룹들을 포함하는 제1 참조 영상, 제2 참조 영상 및 제3 참조 영상 중 적어도 어느 하나 이상의 상기 복수의 참조 영상들을 포함하는 영상 간의 특질 변환 방법.
- 제10항에 있어서,
상기 특질을 변환하는 단계는
상기 의미 정보에 의해 매칭되는 상기 대상 영상 및 상기 복수의 참조 영상들 각각의 동일 그룹에 기초하여, 하나의 상기 대상 영상 내 복수의 화소에 대응하는 상기 제1 참조 영상, 상기 제2 참조 영상 및 상기 제3 참조 영상 중 적어도 어느 하나 이상의 상기 복수의 참조 영상 그룹 각각의 복수의 화소로 그룹별 특질 변환하는 것을 특징으로 하는 영상 간의 특질 변환 방법.
- 대상 영상(target image)을 복수의 화소로 분할하는 단계;
상기 분할된 복수의 화소를 의미 정보에 기초하여 대상 영상 그룹으로 그룹화하는 단계;
상기 대상 영상 그룹과, 데이터베이스부에 저장되어 유지되는 복수의 참조 영상들에 의해 그룹화된 참조 영상 그룹을 상기 의미 정보에 기초하여 동일 그룹으로 매칭하는 단계; 및
상기 매칭된 동일 그룹을 기반으로 상기 대상 영상 내 복수의 화소를 대응되는 상기 참조 영상 내 복수의 화소로 특질을 변환하는 단계
를 포함하는 영상 간의 특질 변환 방법.
- 제12항에 있어서,
상기 특질이 변환된 대상 영상 내 복수의 화소를 포함하는 상기 대상 영상 그룹을 하나의 영상으로 합성하여 최종 결과 영상을 출력하는 단계
를 더 포함하는 영상 간의 특질 변환 방법.
- 제8항 내지 제13항 중 어느 하나의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160178801A KR101882111B1 (ko) | 2016-12-26 | 2016-12-26 | 영상 간의 특질 변환 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160178801A KR101882111B1 (ko) | 2016-12-26 | 2016-12-26 | 영상 간의 특질 변환 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180074977A true KR20180074977A (ko) | 2018-07-04 |
| KR101882111B1 KR101882111B1 (ko) | 2018-07-25 |
Family
ID=62912745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160178801A KR101882111B1 (ko) | 2016-12-26 | 2016-12-26 | 영상 간의 특질 변환 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101882111B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110381339A (zh) * | 2019-08-07 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 图片传输方法及装置 |
| WO2020130747A1 (ko) * | 2018-12-21 | 2020-06-25 | 삼성전자 주식회사 | 스타일 변환을 위한 영상 처리 장치 및 방법 |
| KR102260628B1 (ko) * | 2020-02-13 | 2021-06-03 | 이인현 | 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법 |
| KR102535692B1 (ko) * | 2022-08-18 | 2023-05-26 | 주식회사 페블러스 | 복수의 이미지에 포함되는 픽셀 사이의 대응 관계를 반영하는 이미지를 획득하기 위한 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치 |
| US11662898B2 (en) | 2020-02-06 | 2023-05-30 | Samsung Electronics Co., Ltd. | Method for providing filter and electronic device supporting the same |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102229572B1 (ko) | 2019-11-28 | 2021-03-18 | 영남대학교 산학협력단 | 영상 스타일 변환 장치 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090078986A (ko) * | 2008-01-16 | 2009-07-21 | 재단법인서울대학교산학협력재단 | 온톨로지 기반의 시맨틱 어노테이션 시스템 및 그 방법 |
| KR101112142B1 (ko) | 2010-03-30 | 2012-03-13 | 중앙대학교 산학협력단 | 참조 이미지를 이용한 카툰 렌더링 장치 및 방법 |
| KR20140037373A (ko) * | 2012-09-17 | 2014-03-27 | 중앙대학교 산학협력단 | 영상의 색상 변환 장치 및 방법 |
| KR101653812B1 (ko) | 2014-12-05 | 2016-09-05 | 연세대학교 산학협력단 | 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법 |
-
2016
- 2016-12-26 KR KR1020160178801A patent/KR101882111B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090078986A (ko) * | 2008-01-16 | 2009-07-21 | 재단법인서울대학교산학협력재단 | 온톨로지 기반의 시맨틱 어노테이션 시스템 및 그 방법 |
| KR101112142B1 (ko) | 2010-03-30 | 2012-03-13 | 중앙대학교 산학협력단 | 참조 이미지를 이용한 카툰 렌더링 장치 및 방법 |
| KR20140037373A (ko) * | 2012-09-17 | 2014-03-27 | 중앙대학교 산학협력단 | 영상의 색상 변환 장치 및 방법 |
| KR101394363B1 (ko) | 2012-09-17 | 2014-05-14 | 중앙대학교 산학협력단 | 영상의 색상 변환 장치 및 방법 |
| KR101653812B1 (ko) | 2014-12-05 | 2016-09-05 | 연세대학교 산학협력단 | 감성 효과 생성을 위한 인물 영상 처리 장치 및 그 방법 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020130747A1 (ko) * | 2018-12-21 | 2020-06-25 | 삼성전자 주식회사 | 스타일 변환을 위한 영상 처리 장치 및 방법 |
| KR20200078214A (ko) * | 2018-12-21 | 2020-07-01 | 삼성전자주식회사 | 스타일 변환을 위한 영상 처리 장치 및 방법 |
| US11887215B2 (en) | 2018-12-21 | 2024-01-30 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for style transformation |
| CN110381339A (zh) * | 2019-08-07 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 图片传输方法及装置 |
| US11662898B2 (en) | 2020-02-06 | 2023-05-30 | Samsung Electronics Co., Ltd. | Method for providing filter and electronic device supporting the same |
| KR102260628B1 (ko) * | 2020-02-13 | 2021-06-03 | 이인현 | 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법 |
| KR102535692B1 (ko) * | 2022-08-18 | 2023-05-26 | 주식회사 페블러스 | 복수의 이미지에 포함되는 픽셀 사이의 대응 관계를 반영하는 이미지를 획득하기 위한 이미지 처리 방법 및 그러한 방법을 수행하는 전자 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101882111B1 (ko) | 2018-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180074977A (ko) | 영상 간의 특질 변환 시스템 및 그 방법 | |
| US11610351B2 (en) | Method and device for image synthesis | |
| CN108830912B (zh) | 一种深度特征对抗式学习的交互式灰度图像着色方法 | |
| CN111199531B (zh) | 基于泊松图像融合及图像风格化的交互式数据扩展方法 | |
| US9734613B2 (en) | Apparatus and method for generating facial composite image, recording medium for performing the method | |
| US7532752B2 (en) | Non-photorealistic sketching | |
| DE102017009049A1 (de) | Ermöglichen von Transformationen Skizze-zu-Gemälde | |
| US7593020B2 (en) | Image editing using image-wide matting | |
| US20190221042A1 (en) | Virtualizing content | |
| US7630541B2 (en) | Image-wide matting | |
| WO2021012491A1 (zh) | 多媒体信息展示方法、装置、计算机设备及存储介质 | |
| KR102260628B1 (ko) | 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법 | |
| Ding et al. | Regional style and color transfer | |
| KR20230073751A (ko) | 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법 | |
| Yang et al. | Training with augmented data: Gan-based flame-burning image synthesis for fire segmentation in warehouse | |
| KR101394363B1 (ko) | 영상의 색상 변환 장치 및 방법 | |
| KR101191319B1 (ko) | 객체의 움직임 정보에 기반한 회화적 렌더링 장치 및 방법 | |
| Vonikakis et al. | Morphset: Augmenting categorical emotion datasets with dimensional affect labels using face morphing | |
| RU2710659C1 (ru) | Совместная неконтролируемая сегментация объектов и подрисовка | |
| CN111064905B (zh) | 面向自动驾驶的视频场景转换方法 | |
| Yang et al. | Capsule based image synthesis for interior design effect rendering | |
| KR0151918B1 (ko) | 화상 처리를 이용한 화상 생성 장치 및 그 방법 | |
| Daru et al. | Neural style transfer to design drapes | |
| Bagwari et al. | An edge filter based approach of neural style transfer to the image stylization | |
| Kong et al. | Extracting generic features of artistic style via deep convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |