KR20140038436A - 3d 컨텐츠를 리타깃팅하기 위한 방법 및 디바이스 - Google Patents
3d 컨텐츠를 리타깃팅하기 위한 방법 및 디바이스 Download PDFInfo
- Publication number
- KR20140038436A KR20140038436A KR1020137031641A KR20137031641A KR20140038436A KR 20140038436 A KR20140038436 A KR 20140038436A KR 1020137031641 A KR1020137031641 A KR 1020137031641A KR 20137031641 A KR20137031641 A KR 20137031641A KR 20140038436 A KR20140038436 A KR 20140038436A
- Authority
- KR
- South Korea
- Prior art keywords
- cropping window
- map
- window
- view
- final
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001914 filtration Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명은 적어도 하나의 제1 뷰 및 제2 뷰를 포함하는 3D 컨텐츠를 크롭핑(cropping)하는 방법에 관한 것이며, 본 방법은: 제1 뷰로부터 제1 돌출 맵(saliency map)과, 제2 뷰로부터 제2 돌출 맵을 결정하는 단계(10, 12); 제1 및 제2 돌출 맵들로부터 최종 크롭핑 윈도우를 결정하는 단계(18, 24, 32); 및 최종 크롭핑 윈도우에 따라 제1 뷰 및 제2 뷰를 크롭핑하는 단계(20)를 포함한다.
Description
본 발명은 3D 컨텐츠 리타깃팅(retargeting)에 관한 것이다. 보다 상세하게, 본 발명은 적어도 하나의 제1 뷰 및 제2 뷰를 포함하는 3D 컨텐츠를 크롭핑(cropping)하는 방법에 관한 것이다.
영화관에서의 3D 영화와 같은 3D 스크린 및 소재(materials)의 급증(proliferation)으로 인해, 시네마 종횡비(aspect ratio)(2:35)로부터 TV 스크린(16:9)로의 3D 스트림들의 변환(transfer)을 가능하게 하기 위한 종횡비 컨버전(aspect ratio conversion)에 대한 필요가 존재한다. 또한, 3D 입체적 디스플레이를 지원하는 태블릿들, 스마트폰들과 같은 새로운 디바이스들의 임박한 출현(imminent emergence)을 상상할 수 있다. 이러한 디바이스들은 이들 자체의 종횡비를 제공할 것이다. 이에 따라, 임의의 디바이스들을 다루기 위한 종횡비 컨버전이 의무적이다. 자동의 해법은 시각적 안락함을 최대화시키는 높은 값에 관한 것이다.
현재, 종횡비 컨버전은 오퍼레이터(operator)에 의해 수동으로{예컨대, 집중된 크롭핑(centered cropping)}, 또는 동일한 방식으로 모든 프레임들을 프로세싱함으로써{예컨대, 아나모르피즘 오퍼레이터(anamorphism operator), 검정 스트라이프 필링(black stripes filling)} 다루어진다. 양 유형의 방법들은 컨버전을 수행하기 위해 컨텐츠 자체를 고려하지 않는다. 게다가, 검정 스트라이프 추가(black stripes addition)는 영화를 풀 스크린에서 디스플레이되도록 하는 것과 비교하여 원래의 3D 효과를 매우 감소시킨다.
본 발명을 통해, 원래의 3D 효과를 감소시키지 않으면서, 적어도 하나의 제1 뷰 및 제2 뷰를 포함하는 3D 컨텐츠를 크롭핑하는 방법을 얻고자 한다.
본 발명은 종래 기술의 결점들 중 적어도 하나를 경감시키는 것을 목표로 한다. 본 발명은 적어도 하나의 제1 뷰 및 제2 뷰를 포함하는 3D 컨텐츠를 크롭핑하는 방법에 관한 것이며:
- 제1 뷰로부터 제1 돌출 맵(saliency map)과, 제2 뷰로부터 제2 돌출 맵을 결정하는 단계;
- 제1 및 제2 돌출 맵들로부터 최종 크롭핑 윈도우를 결정하는 단계; 및
- 최종 크롭핑 윈도우에 따라 제1 뷰 및 제2 뷰를 크롭핑하는 단계
를 포함한다.
제1 실시예에 따르면, 제1 및 제2 돌출 맵들로부터 최종 크롭핑 윈도우를 결정하는 단계는:
- 제1 돌출 맵으로부터 제1 크롭핑 윈도우를 결정하는 단계;
- 제2 돌출 맵으로부터 제2 크롭핑 윈도우를 결정하는 단계; 및
- 제1 및 제2 크롭핑 윈도우들을 하나의 최종 크롭핑 윈도우로 결합하는 단계
를 포함한다.
제2 실시예에 따르면, 최종 크롭핑 윈도우는 파라미터들에 의해 식별되며, 본 방법은:
- 최종 크롭핑 윈도우의 파라미터들을 시간에 따라 필터링하는 단계;
- 최종 크롭핑 윈도우 경계들(borders)이 회피될(avoided) 구역들을 표시하는 금지된 영역 맵(forbidden area map)을 결정하는 단계; 및
- 금지된 영역 맵을 사용하여, 최종 크롭핑 윈도우의 종횡비(aspect ratio)를 타깃 종횡비로 컨버전하는 단계
를 더 포함한다.
제2 실시예의 한 변형에 따르면, 최종 크롭핑 윈도우는 파라미터들에 의해 식별되며, 본 방법은:
- 최종 크롭핑 윈도우의 파라미터들을 시간에 따라 필터링하는 단계;
- 최종 크롭핑 윈도우 경계들이 회피될 구역들을 표시하는 금지된 영역 맵을 결정하는 단계; 및
- 금지된 영역 맵과 깊이 맵을 사용하여, 최종 크롭핑 윈도우의 종횡비를 타깃 종횡비로 컨버전하는 단계
를 더 포함한다.
유리하게도, 금지된 영역 맵을 결정하는 단계는:
- 적어도 두 개의 뷰들 중 하나의 뷰를 구역들의 분할 맵(segmentation map)으로 분할(segmenting)하는 단계;
- 분할 맵의 각 구역에 대하여, 적어도 두 개의 뷰들 중 하나의 뷰의 돌출 맵으로부터 돌출 값(saliency value)을 계산하는 단계; 및
- 금지된 영역 맵을 형성하도록 각 구역에 대하여 계산된 돌출 값을 임계화(thresholding)하는 단계
를 포함한다.
제3 실시예에 따르면, 제1 및 제2 돌출 맵들로부터 최종 크롭핑 윈도우를 결정하는 단계는:
- 제1 및 제2 돌출 맵들을 단일 돌출 맵으로 결합하는 단계; 및
- 단일 돌출 맵에 기초하여 최종 크롭핑 윈도우를 결정하는 단계
를 포함한다.
본 발명의 다른 특징들 및 장점들은 이것의 일부 실시예들에 대한 다음의 설명과 함께 나타날 것이며, 이 설명은 첨부 도면들과 연계되어 이루어진다.
본 발명에 따른 리타깃팅 방법은 완전히 자동적이며, 장면의 총체적인 이해를 위한 근본적인 부분들을 누락시키지 않고 양호한 최종의 품질을 보장하며, 검정 스트라이프들을 갖는 버전과 비교하여 3D 효과들 및 불규칙한 경험을 개선시킨다.
도 1a는 본 발명의 제1 실시예에 따라 방법의 흐름도를 도시하는 도면.
도 1b는 본 발명의 제1 실시예의 변형에 따라 방법의 흐름도를 도시하는 도면.
도 2는 본 발명의 제2 실시예에 따라 방법의 흐름도를 도시하는 도면.
도 3은 본 발명의 제3 실시예에 따라 방법의 흐름도를 도시하는 도면.
도 4는 도 3에 도시된 흐름도의 제1 세부사항을 나타내는 도면.
도 5는 화상, 분할 맵(segmentation map), 돌출 맵(saliency map), 및 금지된 영역 맵(forbidden area map)을 좌에서 우로 나타내는 도면.
도 6은 도 3에 도시된 흐름도의 다른 세부사항을 나타내는 도면.
도 7은 승자 독식 알고리즘(winner-take all algorithm)을 도시하는 도면.
도 8은 크롭핑 윈도우들을 이들의 파라미터들과 함께 나타내는 도면.
도 9는 화상의 돌출 맵, 화상의 제1 크롭핑 윈도우; 금지된 영역 맵 및 최종의 크롭핑 윈도우를 나타내는 도면.
도 10은 본 발명에 따라 리타깃팅 디바이스(2)를 개략적으로 도시하는 도면.
도 1b는 본 발명의 제1 실시예의 변형에 따라 방법의 흐름도를 도시하는 도면.
도 2는 본 발명의 제2 실시예에 따라 방법의 흐름도를 도시하는 도면.
도 3은 본 발명의 제3 실시예에 따라 방법의 흐름도를 도시하는 도면.
도 4는 도 3에 도시된 흐름도의 제1 세부사항을 나타내는 도면.
도 5는 화상, 분할 맵(segmentation map), 돌출 맵(saliency map), 및 금지된 영역 맵(forbidden area map)을 좌에서 우로 나타내는 도면.
도 6은 도 3에 도시된 흐름도의 다른 세부사항을 나타내는 도면.
도 7은 승자 독식 알고리즘(winner-take all algorithm)을 도시하는 도면.
도 8은 크롭핑 윈도우들을 이들의 파라미터들과 함께 나타내는 도면.
도 9는 화상의 돌출 맵, 화상의 제1 크롭핑 윈도우; 금지된 영역 맵 및 최종의 크롭핑 윈도우를 나타내는 도면.
도 10은 본 발명에 따라 리타깃팅 디바이스(2)를 개략적으로 도시하는 도면.
본 발명의 원리들은 다양한 형태의 하드웨어, 펌웨어, 특수용 프로세서들, 또는 이들의 결합으로 구현될 수 있음이 이해될 것이다. 바람직하게도, 본 발명의 원리들은 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 게다가, 소프트웨어는 프로그램 저장 디바이스에서 실제로 구현되는 어플리케이션 프로그램으로서 바람직하게 구현된다. 어플리케이션 프로그램은 임의의 적절한 체계를 포함하는 장비로 업로딩되고, 이에 의해 실행될 수 있다. 바람직하게도, 장비는 하나 이상의 중앙 프로세싱 유닛들(CPU), 랜덤 액세스 메모리(RAM), 및 입력/출력(I/O) 인터페이스(들)과 같은 하드웨어를 구비하는 컴퓨터 플랫폼에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로명령어 코드를 포함한다. 본 명세서에 설명된 다양한 프로세스들 및 기능들은 운영 체제를 통해 실행되는 마이크로명령어 코드의 부분 또는 어플리케이션 프로그램의 부분 (또는 이들의 결합) 일 수 있다. 또한, 추가적인 데이터 저장 디바이스들 및 프린팅 디바이스와 같은 다양한 다른 주변 디바이스들이 컴퓨터 플랫폼에 연결될 수도 있다. 본 발명은 리타깃팅 수단을 포함하는 임의의 전자 디바이스에서 실현될 수 있다. 예를 들어, 본 발명은 텔레비전, 모바일 비디오폰, PDA, 개인용 컴퓨터, 디지털 비디오 카메라, 네비게이션 시스템, 또는 차량 비디오 시스템에서 실현될 수도 있다.
본 발명은 3D 컨텐츠를 리타깃팅하기 위한 방법에 관한 것이다. 3개의 실시예들이 본 명세서에 개시된다. 두 개의 제1 실시예들은 2D 리타깃팅 방법의 확장이다. 수용 가능한 3D 품질을 보장하기 위한 새로운 단계들이 추가된다. 제3 실시예는 3D 컨텐츠 전용의 리타깃팅 방법이다. 3D 컨텐츠는 좌 뷰 및 우 뷰로 이루어진다. 하지만, 본 발명은 2개 보다 많은 뷰들로 확장될 수 있다. 다음에서, 크롭핑 윈도우는 상부 좌 및 하부 우 픽셀들의 좌표들, 또는 중심 및 높이 및 폭의 좌표들인 파라미터들로 식별된다.
모든 실시예들은 크롭핑-기반이며, 즉 관심 구역들(regions of interest)이라고도 부르는 가장 중요한 컨텐츠를 갖는 원래의 뷰들의 픽셀들의 서브-영역이 추출된다. 게다가, 최종 크롭핑 윈도우는, 비록 이 최종 크롭핑 윈도우의 결정이 각각의 뷰의 컨텐츠에 기초할지라도, 좌 및 우 뷰들과 동일하다.
일부 실시예들은 시각적 주의 모델(visual attention model)을 언급한다. 이 시각적 주의 모델은 어떤 영역/픽셀이 뷰에서 가장 시각적으로 매력적인지를 표시하는 돌출 맵(그레이 레벨 맵)을 제공한다. 이러한 돌출 맵들은 화상 내의 관심 구역들을 결정하기 위해 사용될 수 있다. 이러한 시각적 주의 모델의 예시는 번호 1695288 하에 2005년 06월 30일에 공개된 EP 특허 출원 04804828.4에 개시된다. 돌출 맵을 제공하는 다른 시각적 주의 모델들이 사용될 수 있다. 본 발명은 EP 특허 출원 04804828.4에 개시된 모델로 모두 제한되지는 않는다.
도 1a는 제1 실시예에 따라 좌 및 우 뷰들을 포함하는 3D 컨텐츠를 리타깃팅하는 방법을 나타낸다. 이는 각각의 뷰에서 하나의 크롭핑 윈도우를 얻기 위해 독립적으로 각각의 뷰에 규칙적인 2D 리프레이밍(regular 2D reframing)을 적용하고, 각각의 뷰에 적용될 최종 크롭핑 윈도우를 얻기 위해 3D 컨텐츠와 관련된 일부 제약들(constraints)을 고려함으로써 모든 크롭핑 윈도우를 결합하는 단계를 포함한다.
이러한 목적으로, 단계(10)에서, 제1 관심 구역(ROI1)은 좌 뷰에서 결정되고, 단계(12)에서, 제2 관심 구역(ROI2)은 우 뷰에서 결정된다.
단계(14)에서, 좌 크롭핑 윈도우는 제1 관심 구역(ROI1)으로부터 결정되고, 우 크롭핑 윈도우는 제2 관심 구역(ROI2)으로부터 결정된다. 예를 들어, 좌 크롭핑 윈도우는 제1 관심 구역을 애워싸는 가장 작은 윈도우이고, 우 크롭핑 윈도우는 제2 관심 구역을 애워싸는 가장 작은 윈도우이다.
단계(18)에서, 좌 및 우 크롭핑 윈도우들은 평탄화된 크롭핑 윈도우(smoothed cropping window)에 결합된다. 이 단계 동안, 3D 컨텐츠에 링크된 다음의 제약들이 고려되는데: 좌 및 우 크롭핑된 뷰들 사이에는 어떤 수직 디스패러티(disparity)도 허용되지 않으며; 각 뷰의 크롭핑 윈도우들은 동일한 높이 및 동일한 수직 좌표들을 가진다.
크롭핑 윈도우 결합( CombineCroppingWindow ) 단계(18)는 단계들(14 및 16)에서 개별적으로 각각의 뷰에 적용된 2D 리프레이밍에 대한 결과들을 취하고, 두 개의 크롭핑 윈도우들을 평탄화된 크롭핑 윈도우로 수학적으로 결합하며, 평탄화된 크롭핑 윈도우의 중심 좌표들은 (xsmooth, ysmooth)이고, 사이즈(높이 및 폭)는 (hsmooth, wsmooth)이다. (xleft, yleft)는 좌 크롭핑 윈도우의 중심 좌표들이고, (xright, yright)는 우 크롭핑 윈도우의 중심 좌표들이다. (hleft, wleft)는 좌 크롭핑 윈도우의 높이 및 폭이고, (hright, wright)는 우 크롭핑 윈도우의 높이 및 폭이다. 
이고, 
이다. 한 변형에 따르면, 최소 및 최대 값은 수학식 8에서 얻어진다. 동일한 크롭핑 윈도우는 양 뷰들에 적용된다. 따라서, 좌 및 우 크롭핑 뷰들 사이에는 어떤 수직 디스패러티도 존재하지 않는다.
평탄화된 크롭핑 윈도우를 결정하기 위한 다른 방식은 어떤 크롭핑 윈도우가 그것 내에서 이용 가능한 돌출 양(saliency quantity)을 최대화하는지를 결정하는 것이다. 크롭핑 윈도우 좌표들은 두 개의 뷰들 사이에서 처음에 결정된 최소 x 및 y 좌표들, 및 다음의 수학식에서 설명되는 것과 같은 최대 x 및 y 좌표들로 다양하다.
SMleft(x, y)는 좌 뷰 내의 픽셀(x, y)의 돌출 값이고, SMright(x, y)는 우 뷰 내의 픽셀(x, y)의 돌출 값이다. (x1, y1)은 평탄화 크롭핑 윈도우의 상부 좌 픽셀의 좌표들이고, (x2, y2)는 평탄화 크롭핑 윈도우의 하부 우 픽셀의 좌표들이다. (x1left, y1left)는 좌 크롭핑 윈도우의 상부 좌 픽셀의 좌표들이고, (x2left, y2left)는 좌 크롭핑 윈도우의 하부 우 픽셀의 좌표들이다. (x1right, y1right)는 우 크롭핑 윈도우의 상부 좌 픽셀의 좌표들이고, (x2right, y2left)는 좌 크롭핑 윈도우의 하부 우 픽셀의 좌표들이다.
단계(20)에서, 좌 및 우 뷰들 모두는 평탄화된 크롭핑 윈도우에 의해 범위가 정해진(delimited) 부분을 각각의 뷰에서 추출함으로써 좌 크롭핑 뷰 및 우 크롭핑 뷰로 크롭핑된다.
제1 실시예는 구현하기에 간단하고 신속하다.
도 1b는 제1 실시예의 특정 구현에 따라 좌 및 우 뷰들을 포함하는 3D 컨텐츠를 리타깃팅하는 방법을 나타낸다. 이는 각각의 뷰에서 하나의 크롭핑 윈도우를 얻기 위해 각각의 뷰에 규칙적인 2D 리프레이밍을 독립적으로 적용하고, 각각의 뷰에 적용될 최종 크롭핑 윈도우를 얻기 위해 3D 컨텐츠에 관한 일부 제약들을 고려함으로써 모든 크롭핑 윈도우를 결합하는 단계를 포함한다. 이러한 특정 구현에서, 제1 및 제2 관심 구역들은 돌출 맵들을 사용하여 결정된다.
이러한 목적으로, 단계(10)에서, 좌 뷰에 대한 좌 돌출 맵이 결정되고, 단계(12)에서, 우 뷰에 대한 우 돌출 맵이 결정된다. 양 돌출 맵들은, 예를 들어 EP 특허 출원 04804828.4의 모델을 사용하여 결정된다. 이에 따라, 돌출 맵은 화상 내의 돌출 구역들을 표시한다.
단계(14)에서, 좌 크롭핑 윈도우는 좌 돌출 맵에 기초하여 결정되고, 단계(16)에서, 우 크롭핑 윈도우는 우 돌출 맵에 기초하여 결정된다. 각각의 크롭핑 윈도우의 위치는 이것의 CropWind 좌표들에 의해 대응하는 뷰에서 식별된다. 크롭핑 윈도우들은, 예를 들어 번호 1764736 하에서 2007년 03월 21일에 공개된 EP 출원 05291938.8에 개시된 리프레이밍 방법 중 하나를 사용하여 결정된다. 한 예시로서, 가장 돌출한 픽셀은 돌출 맵에서 식별되며, 즉 돌출 맵 내에서 이것의 돌출 값은 가장 높다. 미리 정의된 사이즈의 제1 윈도우는 이것의 중심이 이 가장 돌출한 픽셀에 위치되도록 뷰에 위치 지정된다. 제1 윈도우와 연관된 돌출 값 SM1 및 뷰와 연관된 돌출 값 SM view 가 계산된다. 비율 
이 1에 근접한 경우, 즉 임계치 T보다 더 높은 경우(예컨대, ψ0 ≥ 0.8), 뷰에 대한 크롭핑 윈도우는 제1 윈도우이다. ψ0가 1에 근접하지 않은 경우, 즉 T보다 더 낮은 경우, 제1 윈도우와 동일한 사이즈의 제2 윈도우는, 이것의 중심이, 제1 윈도우의 외부에 위치된 뷰의 가장 돌출한 픽셀에 위치되도록 뷰에 위치 지정된다. 제2 윈도우와 연관된 돌출 값 SM2가 계산된다. 
사이의 비율이 1에 근접한 경우, 뷰에 대한 크롭핑 윈도우는 제1 및 제2 윈도우들을 포함하는 가장 작은 윈도우이다. 비율 ψ1이 1에 근접하지 않은 경우, 제3 윈도우는, 이것의 중심이, 제1의 두 개의 윈도우들의 외부에 위치된 뷰의 제3의 가장 돌출한 픽셀에 위치되도록 뷰에 위치 지정된다. 3개의 윈도우들과 연관된 3개의 돌출 값들과 돌출 값 SM view 의 합계 사이의 비율은 1과 비교된다. 이것이 1에 근접한 경우, 뷰에 대한 크롭핑 윈도우는 3개의 윈도우들을 포함하는 보다 더 작은 윈도우이다. 이것이 1에 근접하지 않은 경우, 각각의 위치 지정된 윈도우와 연관된 돌출 값들과 SM view 의 합계 사이의 비율이 1에 근접할 때까지, 새로운 윈도우들을 위치 지정하는 프로세스가 반복된다. 따라서, 각각의 반복(k)에서, 새로운 윈도우는, 이것의 중심이, 이미 위치 지정된 윈도우들의 외부에 위치된 가장 돌출한 픽셀(k)에 위치되도록 뷰에 위치 지정된다. 이에 따라, 뷰에 대한 크롭핑 윈도우는 모든 위치 지정된 윈도우들을 포함하는 보다 더 작은 윈도우이다. 다른 방법들이 사용될 수 있으며, 본 발명은 돌출 맵에 기초하여 크롭핑 윈도우들의 위치를 결정하기 위한 이러한 방법으로 모두 제한되지는 않는다.
단계(18)에서, 좌 및 우 크롭핑 윈도우들은 하나의 평탄화된 크롭핑 윈도우로 결합된다. 이 단계 동안, 3D 컨텐츠에 링크된 다음의 제약들이 고려되는데: 좌 및 우 크롭핑된 뷰들 사이에는 어떤 수직 디스패러티도 허용되지 않으며; 각 뷰의 크롭핑 윈도우들은 동일한 높이 및 동일한 수직 좌표들을 가진다.
크롭핑 윈도우 결합( CombineCroppingWindow) 단계(18)는 단계들(14 및 16)에서 개별적으로 각각의 뷰에 적용된 2D 리프레이밍에 대한 결과들을 취하고, 두 개의 크롭핑 윈도우들을 평탄화된 크롭핑 윈도우로 수학적으로 결합하며, 평탄화된 크롭핑 윈도우의 중심 좌표들은 (xsmooth, ysmooth)이고, 사이즈(높이 및 폭)는 (hsmooth, wsmooth)이다. (xleft, yleft)는 좌 크롭핑 윈도우의 중심 좌표들이고, (xright, yright)는 우 크롭핑 윈도우의 중심 좌표들이다. (hleft, wleft)는 좌 크롭핑 윈도우의 높이 및 폭이고, (hright, wright)는 우 크롭핑 윈도우의 높이 및 폭이다. 
이고, 
이다. 한 변형에 따르면, 최소 및 최대 값은 수학식 8에서 얻어진다. 동일한 크롭핑 윈도우는 양 뷰들에 적용된다. 따라서, 좌 및 우 크롭핑 뷰들 사이에는 어떤 수직 디스패러티도 존재하지 않는다.
평탄화된 크롭핑 윈도우를 결정하기 위한 다른 방식은 어떤 크롭핑 윈도우가 그것 내에서 이용 가능한 돌출 양을 최대화하는지를 결정하는 것이다. 크롭핑 윈도우 좌표들은 두 개의 뷰들 사이에서 처음에 결정된 최소 x 및 y 좌표들, 및 다음의 수학식에서 설명되는 것과 같은 최대 x 및 y 좌표들로 다양하다.
SMleft(x, y)는 좌 뷰 내의 픽셀(x, y)의 돌출 값이고, SMright(x, y)는 우 뷰 내의 픽셀(x, y)의 돌출 값이다. (x1, y1)은 평탄화 크롭핑 윈도우의 상부 좌 픽셀의 좌표들이고, (x2, y2)는 평탄화 크롭핑 윈도우의 하부 우 픽셀의 좌표들이다. (x1left, y1left)는 좌 크롭핑 윈도우의 상부 좌 픽셀의 좌표들이고, (x2left, y2left)는 좌 크롭핑 윈도우의 하부 우 픽셀의 좌표들이다. (x1right, y1right)는 우 크롭핑 윈도우의 상부 좌 픽셀의 좌표들이고, (x2right, y2left)는 좌 크롭핑 윈도우의 하부 우 픽셀의 좌표들이다.
단계(20)에서, 좌 및 우 뷰들 모두는 평탄화된 크롭핑 윈도우에 의해 범위가 정해진 부분을 각각의 뷰에서 추출함으로써 좌 크롭핑 뷰 및 우 크롭핑 뷰로 크롭핑된다.
제1 실시예는 구현하기에 간단하고 신속하다.
도 2는 제2 실시예를 나타낸다. 제1 실시예의 단계들과 동일한 단계들이 동일한 참조 부호들과 함께 도 2에서 식별된다.
단계(10)에서, 좌 뷰에 대한 좌 돌출 맵이 결정되고, 단계(12)에서, 우 뷰에 대한 우 돌출 맵이 결정된다.
단계(22)에서, 각각의 뷰에 대하여 시각적 주의 모델에서 유래하는 두 개의 돌출 맵들은 돌출 맵의 2D 표현과 함께 3D 돌출 정보를 설명하는 고유한 돌출 맵으로 결합된다. ForVAM3D 결합( CombineForVAM3D) 단계(22)는 고유한 2D 돌출 맵을 생성하기 위해 두 개의 돌출 맵들로 제공된 공통 영역들을 하이라이팅(highlight)한다. 단계(22) 동안, 양 돌출 맵들은 두 개의 뷰들에서 공통적으로 돌출된 일부 영역들을 하이라이팅하는 2D 맵인 고유한 돌출 맵(SaliencyMap_3Dlike)으로 합병된다. 한 예시로서, SaliencyMap_3Dlike의 픽셀(x, y)에 대한 돌출 맵 SM3Dlike(x, y)은 다음과 같이 정의된다:
여기서, SMleft(x, y)는 좌 돌출 맵 내의 픽셀(x, y)의 돌출 값이고, SMright(x, y)는 우 돌출 맵 내의 픽셀(x, y)의 돌출 값이고, DM(x, y)은 위치(x, y)에서의 깊이 값이다.
단계(24)에서, 평탄화된 크롭핑 윈도우는 SaliencyMap_3Dlike에 기초하여 결정된다. 단계(24)는, 예를 들어 SaliencyMap_3Dlike인 돌출 맵과 함께하는 단계(14 또는 16)와 동일하다.
단계(20)에서, 좌 및 우 뷰들 모두는 평탄화된 크롭핑 윈도우에 의해 범위가 정해진 부분을 각각의 뷰에서 추출함으로써 좌 크롭핑 뷰 및 우 크롭핑 뷰로 크롭핑된다.
도 3은 제3 실시예를 나타낸다. 이 실시예는 3D 컨텐츠에 관한 것이다. 크롭핑 윈도우 확장에 관한 결정은 아마도 깊이 맵을 사용한다. 3차원의 데이터는 평탄화된 크롭핑 윈도우를 결정하도록 사용된다.
제1 실시예의 단계들과 동일한 단계들은 동일한 참조 부호들과 함께 도 2에서 식별된다.
단계(10)에서, 제1 관심 구역(ROI1)은 좌 뷰에서 결정되고, 단계(12)에서, 제2 관심 구역(ROI2)은 우 뷰에서 결정된다. 한 변형에 따르면, 좌 뷰에 대한 좌 돌출 맵이 결정되고, 단계(12)에서, 우 뷰에 대한 우 돌출 맵이 결정된다.
단계(30)에서, 금지된 영역 맵 생성( CreateForbiddenAreaMap )이라고도 부르는 단계는 일부 3D 제약들의 고려사항(respect)을 보장하는 리프레이밍 3D(Reframing3D) 단계(32)로 맵을 제공하는데: 오브젝트가 스크린의 전면에 있는 경우, 크롭핑 윈도우의 경계에는 어떤 오브젝트도 허용되지 않는다. 실제로, 사람의 두뇌는 이를 다룰 수 없다. 금지된 영역 맵은 좌 또는 우 뷰들 중 하나로부터 생성된다. 도 3 및 도 4에서, 금지된 영역 맵은 좌 뷰로부터 생성되지만, 동일한 것이 우 뷰로부터 만들어질 수 있다.
단계(30)는 도 4에 상세화된다. 이는 하나의 오브젝트(도 5의 우 이미지의 백색 픽셀들)와 같은, 크롭핑 윈도우가 위치될 수 없는 금지된 영역 맵을 정의한다.
단계(300)에서, 이미지 프로세싱 2009에서의 IEEE 트랜잭션(transactions)에 공개된 J. van de Weijer 외의 "실사회 어플리케이션들을 위한 컬러 명칭들을 학습(Learning Color Names for Real-World Applications)"에 개시된 것과 같은 컬러 분할 알고리즘(color segmentation algorithm)은 분할 맵을 얻도록 사용된다. 분할 맵을 제공하는 임의의 다른 방법이 사용될 수도 있다. 분할 맵은 뷰들 중 하나의 뷰에 적용된다.
단계(302)에서, 돌출 값은 분할 맵에서 식별된 각각의 컬러 구역을 위해 계산된다. 한 예시로서, 주어진 구역에 속하는 픽셀들의 돌출 값들은 평균화된다. 평균화된 값은 구역의 돌출 값으로 간주된다.
단계(304)에서, 구역들의 돌출 값들은 임계화된다. 구역의 돌출 양(또는 돌출의 평균)이 임계치(T)보다 더 우세한 경우(임계화 단계), 최종 금지된 맵은 이 구역에서 1(또는 255, 백색 픽셀들)로 셋팅된다. 금지된 오브젝트를 갖는 이러한 검정색 및 백색 맵은 도 5에 나타내어진다. 다음의 수학식은 적응적인 임계치(T)의 계산을 요약한다:
여기서, μR 및 σR은 각각 구역(R)의 평균 및 표준 편차이다. μR 및 σR은분할을 위해 사용된 뷰와 연관된 돌출 맵으로부터 계산된다.
단계(32)에서, 평탄화된 크롭핑 윈도우가 결정된다. 이 단계(32)는 도 6에 상세화된다.
단계(322)에서, 각각의 뷰에 대한 제1 크롭핑 윈도우가 독립적으로 결정된다. 단계(322)의 목표는 단계들(10 및 12)에서 결정된 관심 구역들 또는 돌출 맵 SM(x, y)으로부터 폭(W) 및 높이(H)의 고려되는 뷰 S(x, y)의 가장 눈에 띄는(conspicuous) 부분들을 둘러싸는 크롭핑 윈도우를 각각의 뷰에 대하여 정의하는 것이다. 이러한 목적으로, 크롭핑 윈도우들은 아마도 제1 및 제2 관심 구역들을 둘러싸는 가장 작은 윈도우들이다.
많은 2D 리프레이밍 방법들이 적용될 수 있다. 한 예시로서, 돌출 맵은 가장 돌출한 영역들을 식별하도록 우선적으로 이진화된다. 임계치보다 더 큰 돌출 값을 갖는 픽셀들은 이진화된 맵에서 255로 셋팅된다. 모든 식별된 돌출 영역들, 즉 백색 픽셀들을 포함하는 가장 작은 윈도우는 제1 크롭핑 윈도우이다.
한 변형에 따르면, 승자 독식 알고리즘(Winner-Take-All algorithm)은 WxH 후보들 중에서 1 ＜ k ＜ K인 K 영역들 Ak을 선택하도록 의도적으로 사용된다. 이러한 선택은 두 개의 단계들로 구성된다. 첫째로, 뷰 S(x, y)는 픽셀 단위 기반으로 스캐닝되고(scanned), 각각의 픽셀 위치 p(x, y)에서 특징 벡터(feature vector) 
가 계산되며, 예를 들어 제2 특징(feature)은 현재의 픽셀에 대한 화상의 중심까지의 유클리디안 거리(euclidean distance)이다. 수학식 4에 의해 설명된 바와 같이, 가장 높은 돌출 값 및 중심까지의 최대 거리를 포함하는 K 제1 픽셀들을 갖는 서브세트(M)가 계산된다. 둘째로, k번째 후보 (Ck)가 위치 및 기억될 때, Ak에 포함된 픽셀들을 의미하는 이웃들(neighbors)은 (k+1)번째 후보(Ck +1)를 결정하도록 금지된다(inhibited). Ak는 1도인 시각적인 각도(visual angle)와 동일한 반경(radius)을 갖는 원(circle) 내의 픽셀들의 세트이다. 이웃의 사이즈는 시청 거리에 의존한다. 시청 거리가 멀어질수록, 이웃의 크기는 보다 더 커진다.
돌출 맵은 최대 값의 많은 픽셀들을 가질 수 있으며; 따라서, 화상의 중심에 보다 더 근접한 픽셀들이 선호된다. 장면 중심의 치우침(bias)은 중요한 역할을 하며: 관찰자들(observers)은, 비록 돌출이 널(null)일지라도, 장면의 중심 근처에 고정되는 경향이 있다.
반복 수(iteration number)(또는 다른 말로, 수 K)에 대하여, 크롭핑 윈도우의 사이즈에 대한 이러한 파라미터의 영향을 강조(underline)하는 것이 중요하다. 반복 수가 박약한(weak) 경우(또는 다른 말로, 위치의 수 K가 박약한 경우), 크롭핑 윈도우의 사이즈는 작을 것이다. 반대로, 큰 수의 반복은 보다 더 큰 바운딩 박스(bounding box)를 보장할 것이다. 비록 이러한 접근법이 편리한 것 같을지라도, 하나의 양상(aspect)은 분명하게 무시된다: 돌출 맵에서의 돌출의 분배. 이러한 양상은 도 7에 도시되며, 이는 두 개의 상이한 이미지들을 나타낸다. 실제로, 돌출의 분배{또는 평균 관찰자 변화성(average observer variability)}는 풍경(landscape)의 화상에서 성길(sparse) 것이다. 다른 말로, 피크(peaks)의 돌출과 평균 배경 레벨 사이의 분리(separation)는 중요하다. 분명하게 아무것도 팝-아웃되지 않은 풍경의 이미지에 관하여, 돌출의 분배는 보다 더 균일하다. 이러한 경우에, K 제1 위치들을 선택하는 것은 에러의 결과를 산출할 수 있다. 이러한 문제를 해결하기 위해, 반복은 바운딩 박스에 의해 둘러싸이는 돌출의 양(amount)에 의해 모니터링된다. 따라서, K는 이전 영역들(previous areas)(A1..k)에 의해 포함된 돌출 양(saliency quantity)(SQ)에 의해 제한된다. 관계(수학식 3)가 검증되지 않는 동안은 반복 프로세스가 계속된다. K는:
과 같이 크롭핑 윈도우 내의 돌출의 P 퍼센트를 갖도록 조정된다. P는 0 ＜ P ＜ 1과 같이 맵의 전체 돌출 양(SQtotal)에 적용된 최대 양이다. 이러한 크롭핑 윈도우들의 한 예시는 도 7에 도시된다.
단계(324)에서, 좌 및 우 크롭핑 윈도우들은 상부 좌 좌표들(xLR, yLR)의, 높이(hLR)의, 그리고 폭(WHR)의 중간 크롭핑 윈도우에 결합된다. 좌 및 우 크롭핑 윈도우들의 결합은 최대( max ) 및 최소( min ) 오퍼레이터들을 각각의 x 및 y 성분에 적용함으로써 수행된다:
또 다른 해법은 크롭핑 윈도우 결합( CombineCroppingWindow ) 모듈의 수학식 1의 해법을 적용하는 것이다.
단계(326)에서, 크롭핑 윈도우의 파라미터들(위치, 사이즈)은 시간에 따라 필터링된다. 이 단계는 시간적 일관성으로 언급된다. 시간적 일관성은 크롭핑 윈도우의 위치와 사이즈 사이에 작용되며, 시간에 따른 중간의 크롭핑 윈도우 좌표들/사이즈의 안정화(stabilization)를 포함한다. 시간은 색인(i)으로 식별된다. 시간적 일관성은, 예를 들어 칼만 필터링(kalman filtering) 및 비선형 필터링의 2개의 순차적인 단계들을 포함한다.
칼만 필터는 현재의 샘플의 궤도(trajectory)를 더 잘 예측하도록 우선적으로 적용된다. 칼만 필터는 매력적인 귀납적 성질(appealing recursive nature)을 특징으로 한다. {바이너(Wiener) 필터가 하는 것처럼} 추정치(estimation)를 제공하기 위해 모든 이전 데이터에 대해 작용하기보다는 오히려, 칼만 필터는 장기의(long-term) 이전 데이터를 요구하지 않는다. 칼만 필터는 예측된 출력과 실제의 출력 사이의 평균 제곱 에러(mean square error)가 최소화되는 선형 시스템이다. 칼만 필터는 예측 에러를 최소화하기 위해 시스템 내부의 부정확(inaccuracy)의 두 고유한 소스들인 프로세스(Wi) 및 측정 잡음(Vi)을 고려한다. 다음의 수학식에서, Xi는 좌표들의 벡터(xi LR, yi LR) 및 크롭핑 윈도우 사이즈(wi LR, hi LR)를 대표하는 일반적인 명칭이다. 칼만 필터는 상태 방정식(state equation)(수학식 9)과 측정 방정식(수학식 10)에 의해 정의된다:
여기서, A는 일정한 전이 행렬(constant transition matrix)이고, H는 또한 일정한 측정 행렬(constant measurement matrix)이다.
W 및 V(행렬 1x2)는 프로세스 및 측정 잡음을 각각 나타낸다. 이들은 독립적이며, 백색이며, 정규 확률치(normal probability)를 갖는 것으로 가정된다. 이들은 경험적으로 셋팅되고, 연관된 잡음 공분산 행렬(noise covariance matrix)은 R 및 Q로 주어진다. 칼만 필터링은 G로부터의 문서에 상세화된다. 2001년 SIGGRAPH 2001의 코스 8에 공개된 "칼만 필터에 대한 소개(An introduction to the Kalman filter)"라는 제목이 부여된 G.Welch 및 G.Bishop으로부터의 문서에 상세화된다.
프로세스 잡음의 결정은 매우 어렵다. 이러한 연구에서, 프로세스 잡음 공분산은 일정하다. 불확실(uncertainty)이 높을수록, 필터는 보다 더 신속하게 수렴한다(converge). 크롭핑 윈도우는 새로운 돌출 변경들에 신속히 적응하는 경향을 가질 것이다. 필터는 카메라 움직임에 근접한 것으로 고려될 것이기 때문에 적절하게 신속히 수렴해야 한다.
미디안 필터링(median filtering)은 바람직하지 않은(unlikely) 샘플들을 회피하는 것을 가능하게 하는 개선책(improvement)이다. 칼만 필터의 유일한 사용은 현실적인 효과를 획득하기에 충분하지 않다. 비선형 필터링은 교란시킬 수 있는 궤도의 빠른(short) 증가 또는 감소를 (수평적으로 그리고/또는 수직적으로) 제거하도록 적응된다. 프레임들에 걸친(over) 긴 궤도는 자연스러운 카메라 움직임을 시뮬레이팅하도록 선호된다. 각각의 필터링은 크롭핑 윈도우 CWLR i(xLR, yLR, wLR, hLR)의 중심 좌표들 및 사이즈에 독립적으로 적용된다. 이 단계의 결과는 평탄한 공간적 궤도 및 사이즈를 갖는 크롭핑 윈도우 
이다.
단계(328)에서, 종횡비 컨버전이 적용된다. 사용된 상이한 변수들(variables) 및 기호들(notations)은 도 8에 도시된다. 크롭핑 윈도우는 한 방향으로 또는 다른 방향으로, 또는 심지어 상이한 비율로 각 방향으로 확장된다. 리타깃팅은 이 또한 깊이 맵에 기초하기 때문에 정육면체이다. 모티베이션(motivation)은 경계 또는 강한 디스패러티가 크롭핑 윈도우에 의해 "컷(cut)"되는 것을 회피하는 것이다. 한 흥미로운 해법은 동일한 디스패러티를 갖는 일부 오브젝트들을 완전히 포함하거나 또는 완전히 거부하는 것이다.
돌출 맵들로부터 추출된 중간 윈도우의 사이즈와, 사용자 설정 또는 어플리케이션에 의해 한정된 최종 종횡비 사이에는 어떤 관계{어떤 컨조인트 분석(conjoint analysis)}도 존재하지 않는다. 실제로, 단계(322)는 리타깃팅 어플리케이션의 종횡비로부터 완전히 상관되지 않는 돌출 피크치(Ak)(도 7에 표현됨)의 경계들에 뒤이어(following) 가장 중요한 구역들에 대한 정확한 추정을 수행한다. 이방성 확장(anisotropic extension)은 현재의 비율(RSM)에 따른 방향으로 크롭핑 윈도우 CWSM i(xSM, ySM, wSM, hSM)를 확장함으로써 크롭핑 윈도우 사이즈를 다듬는다. 확장은 폭 또는 높이에 대하여 타깃팅된(targeted) 종횡비(RTG)에 도달하는 것이다. 
이 타깃 종횡비이고, 
이 중간의 크롭핑 윈도우의 종횡비이라는 것을 가정해보자. RTG ＞ RSM인 경우, 수평의 확장은 (현재의 직사각형의 폭에 대해) 수행되며, 그 밖의 수직의 확장은 (현재의 직사각형의 높이에 대해) 수행된다. 수평의 확장(수직 확장 각각)을 가정해보면:
여기서, 
이고, 
이고, 
이다.
일단 확장의 측면이 한정되면, 윈도우를 확장하기 위한 여러 방법들이 더 존재한다. 다른 말로, dright 및 dleft는 상이한 방식으로 계산될 수 있다. 폭(WSM)은 최종 종횡비에 도달하도록 확장되어야 한다는 것을 가정해보자.
깊이 맵 및/또는 금지된 영역 맵은 한 방향 또는 다른 방향으로 크롭핑 윈도우를 확장하도록 사용된다.
깊이 맵은 이용 가능할 수 있거나, 또는 유스 케이스(use case)에 의존하지 않는다. 결과적으로, 종횡비 컨버전 단계(328)의 두 변형들이 개시되는데, 하나는 깊이 맵이 이용 가능하지 않을 때에 사용되고, 하나는 깊이 맵이 이용 가능할 때에 사용된다.
깊이 맵이 이용 가능하지 않을 때, 단계(30)의 금지된 영역 맵만이 사용된다. 각각의 확장 측면의 양(quantity) 및 표현(representation)을 특징짓기 위해, 평탄화된 LR 좌표( SmoothedLRCoord ) 윈도우에 인접한 픽셀들의 열들(columns)에서의 기울기(gradients)(글로벌 그래디언트 또는 GG)의 합계가 계산된다. 동일한 것이 수평으로 적용될 수 있다. 최적의 크롭핑 윈도우 CW(xopt, yopt)는 최소화에 대한 다음의 문제가 해법을 가질 때에 발견된다(yopt=ySM을 가정함):
실제로, (타깃 종횡비에서의) 윈도우는 수학식 14가 최소화되도록 간격 
내의 x축하에서의 수평 변환(translation)을 수행함으로써 결정된다. dw는 최대의 확장 폭이다.
대응하는 xmin은 최적의 크롭핑 윈도우의 좌 측면이다. 그 다음에,
xopt = xSM + dx (수학식 13에서 정의된 dx)
dleft = xSM - xmin - wsm/2
dright = dw - dleft.
한 변형에 따르면, dright는 수학식 14가 최소화되도록 간격 
내의 x축하에서의 수평 변환을 수행함으로써 우선적으로 결정된다.
최소화 문제에 대한 어떤 해법도 존재하지 않을 때, 확장은 각각의 측면에 동등하게 수행되는데, 이는 즉, dleft = dright = dw/2를 의미한다.
깊이 맵이 이용 가능할 때, 양 맵들에 대한 컨피던스(confidence)(Confx)가 계산된다. 그리고 나서, 이 컨피던스는 최상의 크롭핑 윈도우를 찾기 위해 최대화된다.
실제로, (타깃 종횡비에서의) 윈도우는 수학식 15가 최대화되도록 간격 
내의 x축하에서의 수평 변환을 수행함으로써 결정된다. dw는 최대 확장 폭이다.
대응하는 xmin은 최적의 크롭핑 윈도우의 좌 측면이다. 그 다음에,
xopt = xSM + dx (수학식 13에서 정의된 dx)
dleft = xSM - xmin - wsm/2
dright = dw - dleft.
한 변형에 따르면, dright는 수학식 15가 최대화되도록 간격 
내의 x축하에서의 수평 변환을 수행함으로써 우선적으로 결정된다.
단계(20)에서, 좌 및 우 뷰들 모두는 평탄화된 크롭핑 윈도우에 의해 범위가 정해진 부분을 각각의 뷰에서 추출함으로써 좌 크롭핑 뷰 및 우 크롭핑 뷰로 크롭핑된다.
도 9는 상부 좌측면에서의 돌출 맵, 상부 우측면에서의 제1 돌출 피크치, 및 대응하는 제1 크롭핑 윈도우를 나타낸다{단계(322)}. 하부 좌측면 이미지는 금지된 영역 맵, 및 최종의 크롭핑 윈도우이도록 여러 양들(quantities)을 최소화시켜야 하는 슬라이딩 윈도우이다. 하부 우측면은 오브젝트들의 컷팅을 회피하기 위해 최종의 좌 및 우의 선택된 양들을 제공한다. 실제로, 금지된 영역 맵은 최종 크롭핑 윈도우 경계들이 회피될 (백색의) 구역들을 나타낸다.
본 발명에 따른 리타깃팅 방법은 완전히 자동적이며, 장면의 총체적인 이해를 위한 근본적인 부분들(fundamental parts)을 누락시키지 않고 양호한 최종의 품질을 보장하며, 검정 스트라이프들을 갖는 버전과 비교하여 3D 효과들 및 불규칙한 경험을 개선시킨다.
본 발명은 유리하게도 다음과 같은 많은 포스트-프로덕션(post production) 과제들을 위한 것일 수 있다:
● 종횡비 컨버전을 위한 컨텐츠 준비. TV 소유자는 캐치-업(catch-up) TV 및 VOD의 경우에 인터넷, 모바일 TV, 정기적인 TV 채널들...과 같은 여러 지원들을 위해 재 포맷된 컨텐츠를 가지는 것을 인식할 것이다.
● 블루-레이 디스크를 위한 컨텐츠 준비. 영화관으로부터 TV 종횡비로의 종횡비 컨버전은 블루-레이 지원의 준비에 있어서 요구된다.
도 10은 본 발명에 따라 리타깃팅 디바이스(2)를 개략적으로 도시한다. 리타깃팅 디바이스(2)의 필수 요소들만이 도 10에 도시된다. 리타깃팅 디바이스(2)는 어드레스 및 데이터 버스(24)에 의해 함께 연결된:
- 마이크로프로세서(또는 CPU)와 같은 프로세싱 유닛(21),
- ROM(판독 전용 메모리) 유형의 비-휘발성 메모리(22),
- 랜덤 액세스 메모리(RAM)(23),
- 입력 및 출력 인터페이스(25), 및
- 아마도, 사람-기계 인터페이스(26)
를 포함한다.
메모리들(22 및 23)의 설명에 사용된 단어 "레지스터(register)"는 언급된 메모리들의 각각에 있어서, 소용량(일부 2진 데이터)의 메모리 구역(zone), 뿐만 아니라 (전체의 프로그램이 저장되게 하거나, 또는 오디오/비디오 서비스를 나타내는 데이터의 모든 또는 일부분이 수신되게 하는) 대용량의 메모리 구역을 지칭하는 것이 주목된다.
비-휘발성 메모리(22)는 본 발명에 따른 리타깃팅 방법의 단계들을 구현하는 알고리즘들을 포함한다. 전원이 인가될 때, 프로세싱 유닛(21)은 이들 알고리즘들의 명령어들을 로딩 및 실행한다. 랜덤 액세스 메모리(23)는 특히 디바이스의 전원 인가 시에 로딩될 프로세서 유닛(21)의 운영 프로그램들, 뿐만 아니라 프로세싱될, 즉 리타깃팅될 이미지들을 포함한다. 입력/출력 인터페이스(25)의 기능은 입력 신호(즉, 리프레이밍될 이미지 또는 이미지들)를 수신하고, 본 발명에 따른 방법의 단계들(10 내지 20)에 따라 리타깃팅된 이미지 또는 이미지들을 발행(emit)하는 것이다. 리타깃팅 디바이스(2)의 사람-기계 인터페이스(26)는, 요구 사항들(requirements)과 호환될 수 없는 리타깃팅 에러가 발생하자마자, 오퍼레이터(operator)가 프로세싱을 방해(interrupt)하는 것을 가능하게 한다. 이 인터페이스는 또한 텍스트 구역들(text zones) 및 페이스들(faces)과 같은 이러한 인터페이스를 사용하여 인지 정보(cognitive information)를 오퍼레이터가 수동으로 식별하는 것을 가능하게 할 수 있다. 리타깃팅된 이미지들은 랜덤 액세스 메모리에 저장되고, 그 다음에 아마도 판독-전용 메모리에 전달되어 차후의 프로세싱 작동들에 대해 뷰와 함께 보관되도록(archived) 한다. 사람-기계 인터페이스(26)는 아마도 제어 패널, 예를 들어 키보드 및 디스플레이 스크린을 포함한다.
변형들에 따르면, 본 발명과 호환 가능한 리타깃팅 디바이스들은 순전히 하드웨어 실현(hardware realisation)에 따라, 예를 들어 전용의 구성 요소{예를 들어, ASIC(주문형 반도체: Application Specific Integrated Circuit) 또는 FPGA(필드-프로그래밍 가능한 게이트 어레이) 또는 VLSI(초고밀도 집적회로: Very Large Scale Integration)}의 형태로, 또는 디바이스에 집적된 여러 전자 구성 요소들의 형태로, 또는 심지어 하드웨어 요소들 및 소프트웨어 요소들의 혼합의 형태로 구현된다.
10: 제1 관심 구역 결정 단계 12: 제2 관심 구역 결정 단계
14, 16: 리프레이밍 2D 단계 18: 크롭핑 윈도우 결합 단계
20: 크롭핑 뷰 단계 30: 금지된 영역 맵 생성 단계
32: 3D 전용의 리프레이밍 단계 300: 컬러 분할 단계
302: 데이터 합병 단계 304: 임계화 단계
14, 16: 리프레이밍 2D 단계 18: 크롭핑 윈도우 결합 단계
20: 크롭핑 뷰 단계 30: 금지된 영역 맵 생성 단계
32: 3D 전용의 리프레이밍 단계 300: 컬러 분할 단계
302: 데이터 합병 단계 304: 임계화 단계
Claims (12)
- 적어도 하나의 제1 뷰 및 제2 뷰를 포함하는 3D 컨텐츠를 리타깃팅(retargeting)하기 위한 방법에 있어서,
- 상기 제1 뷰로부터 제1 관심 구역과, 상기 제2 뷰로부터 제2 관심 구역을 결정하는 단계(10, 12);
- 상기 제1 관심 구역으로부터 제1 크롭핑 윈도우(cropping window)와, 상기 제2 관심 구역으로부터 제2 크롭핑 윈도우를 결정하는 단계(14, 322, 16, 322);
- 상기 제1 및 제2 크롭핑 윈도우들을 하나의 최종 크롭핑 윈도우로 결합하는 단계(18, 324); 및
- 상기 최종 크롭핑 윈도우에 따라 상기 제1 뷰 및 상기 제2 뷰를 크롭핑하는 단계(20)로서, 크롭핑된 제1 및 제2 뷰들은 리타깃팅된 3D 컨텐츠를 형성하는, 크롭핑 단계(20);
를 포함하는 것을 특징으로 하는, 3D 컨텐츠를 리타깃팅하기 위한 방법. - 제1항에 있어서, 최종 크롭핑 윈도우는 파라미터들에 의해 식별되며,
- 최종 크롭핑 윈도우의 파라미터들을 시간에 따라 필터링하는 단계(326);
- 최종 크롭핑 윈도우 경계들(borders)이 회피될(avoided) 구역들을 표시하는 금지된 영역 맵(forbidden area map)을 결정하는 단계(30); 및
- 금지된 영역 맵을 사용하여, 최종 크롭핑 윈도우의 종횡비(aspect ratio)를 타깃 종횡비로 컨버전하는 단계(328)
를 더 포함하는, 3D 컨텐츠를 리타깃팅하기 위한 방법. - 제1항에 있어서, 최종 크롭핑 윈도우는 파라미터들에 의해 식별되고,
- 최종 크롭핑 윈도우의 파라미터들을 시간에 따라 필터링하는 단계(326);
- 최종 크롭핑 윈도우 경계들이 회피될 구역들을 표시하는 금지된 영역 맵을 결정하는 단계(30); 및
- 금지된 영역 맵과 깊이 맵을 사용하여, 최종 크롭핑 윈도우의 종횡비를 타깃 종횡비로 컨버전하는 단계(328)
를 더 포함하는, 3D 컨텐츠를 리타깃팅하기 위한 방법. - 제2항 또는 제3항에 있어서, 금지된 영역 맵을 결정하는 단계(30)는:
- 상기 적어도 두 개의 뷰들 중 하나의 뷰를 구역들의 분할 맵(segmentation map)으로 분할(segmenting)하는 단계(300);
- 분할 맵의 각 구역에 대하여, 상기 적어도 두 개의 뷰들 중 상기 하나의 뷰의 돌출 맵(saliency map)으로부터 돌출 값(saliency value)을 계산하는 단계(302); 및
- 금지된 영역 맵을 형성하도록 각 구역에 대하여 계산된 상기 돌출 값을 임계화(thresholding)하는 단계(304)
를 포함하는, 3D 컨텐츠를 리타깃팅하기 위한 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1 및 제2 관심 구역들을 결정하는 단계(10, 12)는 제1 및 제2 돌출 맵들을 결정하는 단계를 포함하는, 3D 컨텐츠를 리타깃팅하기 위한 방법.
- 적어도 하나의 제1 뷰 및 제2 뷰를 포함하는 3D 컨텐츠를 리타깃팅하기 위한 디바이스에 있어서,
- 상기 제1 뷰로부터 제1 관심 구역과, 상기 제2 뷰로부터 제2 관심 구역을 결정하기 위한 수단;
- 상기 제1 관심 구역으로부터 제1 크롭핑 윈도우와, 상기 제2 관심 구역으로부터 제2 크롭핑 윈도우를 결정하기 위한 수단;
- 상기 제1 및 제2 크롭핑 윈도우들을 하나의 최종 크롭핑 윈도우로 결합하기 위한 수단; 및
- 상기 최종 크롭핑 윈도우에 따라 상기 제1 뷰 및 상기 제2 뷰를 크롭핑하기 위한 수단으로서, 크롭핑된 제1 및 제2 뷰들은 리타깃팅된 3D 컨텐츠를 형성하는, 크롭핑 수단
을 포함하는 것을 특징으로 하는, 3D 컨텐츠를 리타깃팅하기 위한 디바이스. - 제6항에 있어서, 최종 크롭핑 윈도우는 파라미터들에 의해 식별되며,
- 최종 크롭핑 윈도우의 파라미터들을 시간에 따라 필터링하기 위한 수단;
- 최종 크롭핑 윈도우 경계들이 회피될 구역들을 표시하는 금지된 영역 맵을 결정하기 위한 수단; 및
- 금지된 영역 맵을 사용하여, 최종 크롭핑 윈도우의 종횡비를 타깃 종횡비로 컨버전하기 위한 수단
을 더 포함하는, 3D 컨텐츠를 리타깃팅하기 위한 디바이스. - 제6항에 있어서, 최종 크롭핑 윈도우는 파라미터들에 의해 식별되고,
- 최종 크롭핑 윈도우의 파라미터들을 시간에 따라 필터링하기 위한 수단;
- 최종 크롭핑 윈도우 경계들이 회피될 구역들을 표시하는 금지된 영역 맵을 결정하기 위한 수단; 및
- 금지된 영역 맵과 깊이 맵을 사용하여, 최종 크롭핑 윈도우의 종횡비를 타깃 종횡비로 컨버전하기 위한 수단
을 더 포함하는, 3D 컨텐츠를 리타깃팅하기 위한 디바이스. - 제7항 또는 제8항에 있어서, 금지된 영역 맵을 결정하기 위한 수단은:
- 상기 적어도 두 개의 뷰들 중 하나의 뷰를 구역들의 분할 맵으로 분할하기 위한 수단;
- 분할 맵의 각 구역에 대하여, 상기 적어도 두 개의 뷰들 중 상기 하나의 뷰의 돌출 맵으로부터 돌출 값을 계산하기 위한 수단; 및
- 금지된 영역 맵을 형성하도록 각 구역에 대하여 계산된 상기 돌출 값을 임계화하기 위한 수단
을 포함하는, 3D 컨텐츠를 리타깃팅하기 위한 디바이스. - 제6항 내지 제9항 중 어느 한 항에 있어서, 관심 구역들은 돌출 맵들을 통해 결정하는 단계를 포함하는, 3D 컨텐츠를 리타깃팅하기 위한 디바이스.
- 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품으로서, 이러한 프로그램이 컴퓨터에서 실행될 때, 제1항 내지 제5항 중 어느 한 항에 따른 방법의 단계들을 수행하기 위한 프로그램 코드 명령어들을 포함하는, 컴퓨터 프로그램 제품.
- 제1항 내지 제5항 중 어느 한 항에 따른 방법의 단계들을 적어도 프로세서가 수행하게 하기 위한 명령어들이 저장된, 프로세서 판독 가능한 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP11305661.8 | 2011-05-31 | ||
| EP11305661A EP2530642A1 (en) | 2011-05-31 | 2011-05-31 | Method of cropping a 3D content |
| PCT/EP2012/059535 WO2012163743A1 (en) | 2011-05-31 | 2012-05-23 | Method and device for retargeting a 3d content |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20140038436A true KR20140038436A (ko) | 2014-03-28 |
Family
ID=44558272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137031641A KR20140038436A (ko) | 2011-05-31 | 2012-05-23 | 3d 컨텐츠를 리타깃팅하기 위한 방법 및 디바이스 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9743062B2 (ko) |
| EP (2) | EP2530642A1 (ko) |
| JP (1) | JP6039657B2 (ko) |
| KR (1) | KR20140038436A (ko) |
| CN (1) | CN103582900A (ko) |
| TW (1) | TWI553590B (ko) |
| WO (1) | WO2012163743A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2894852A1 (en) * | 2014-01-14 | 2015-07-15 | Alcatel Lucent | Process for increasing the quality of experience for users that watch on their terminals a high definition video stream |
| US9626584B2 (en) * | 2014-10-09 | 2017-04-18 | Adobe Systems Incorporated | Image cropping suggestion using multiple saliency maps |
| US9805445B2 (en) * | 2014-10-27 | 2017-10-31 | Adobe Systems Incorporated | Image zooming |
| WO2016204481A1 (ko) * | 2015-06-16 | 2016-12-22 | 엘지전자 주식회사 | 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법 |
| EP3223524A1 (en) | 2016-03-22 | 2017-09-27 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
| EP3306928A1 (en) * | 2016-10-07 | 2018-04-11 | Thomson Licensing | Method and apparatus for encoding a video |
| EP3336845A1 (en) | 2016-12-16 | 2018-06-20 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| US20210398333A1 (en) * | 2020-06-19 | 2021-12-23 | Apple Inc. | Smart Cropping of Images |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3632529A1 (de) | 1986-09-25 | 1988-04-07 | Basf Ag | Verfahren zur herstellung von aldehyden und/oder ketonen durch umsetzung von epoxiden |
| JPH0563978A (ja) | 1991-08-30 | 1993-03-12 | Toshiba Corp | 画像読取装置 |
| GB2372659A (en) | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
| JP2005072674A (ja) | 2003-08-27 | 2005-03-17 | Sharp Corp | 三次元画像生成装置および三次元画像生成システム |
| EP1544792A1 (en) | 2003-12-18 | 2005-06-22 | Thomson Licensing S.A. | Device and method for creating a saliency map of an image |
| JP2008519469A (ja) * | 2004-10-06 | 2008-06-05 | トムソン ライセンシング | ピクチャ・クロッピング機能を提供するための方法および装置 |
| WO2006106522A2 (en) * | 2005-04-07 | 2006-10-12 | Visionsense Ltd. | Method for reconstructing a three- dimensional surface of an object |
| TW200719281A (en) | 2005-07-28 | 2007-05-16 | Thomson Licensing | Method and device for generating a sequence of images of reduced size |
| EP1764736A1 (en) | 2005-09-19 | 2007-03-21 | Thomson Licensing | Method and device for image cropping |
| JP4249187B2 (ja) | 2006-01-13 | 2009-04-02 | エヌ・ティ・ティ・コムウェア株式会社 | 立体映像処理装置並びにそのプログラム |
| TW200733741A (en) * | 2006-02-20 | 2007-09-01 | Inventec Appliances Corp | Method for converting image screen specification for handheld multimedia playing device |
| WO2008028334A1 (en) | 2006-09-01 | 2008-03-13 | Thomson Licensing | Method and device for adaptive video presentation |
| FR2912237A1 (fr) | 2007-02-07 | 2008-08-08 | Thomson Licensing Sas | Procede de traitement d'image |
| US8824833B2 (en) * | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
| TW200937344A (en) * | 2008-02-20 | 2009-09-01 | Ind Tech Res Inst | Parallel processing method for synthesizing an image with multi-view images |
| JP2009212929A (ja) | 2008-03-05 | 2009-09-17 | Fujifilm Corp | 画像トリミング範囲の評価方法、装置およびプログラム |
| US9240056B2 (en) | 2008-04-02 | 2016-01-19 | Microsoft Technology Licensing, Llc | Video retargeting |
| FR2929797A1 (fr) | 2008-04-03 | 2009-10-09 | Thomson Licensing Sas | Procede et dispositif de codage d'une sequence d'images |
| US20100259595A1 (en) * | 2009-04-10 | 2010-10-14 | Nokia Corporation | Methods and Apparatuses for Efficient Streaming of Free View Point Video |
| JP2011039801A (ja) * | 2009-08-12 | 2011-02-24 | Hitachi Ltd | 画像処理装置および画像処理方法 |
| US8711204B2 (en) * | 2009-11-11 | 2014-04-29 | Disney Enterprises, Inc. | Stereoscopic editing for video production, post-production and display adaptation |
| WO2011104151A1 (en) * | 2010-02-26 | 2011-09-01 | Thomson Licensing | Confidence map, method for generating the same and method for refining a disparity map |
| US9591281B2 (en) * | 2010-12-22 | 2017-03-07 | Thomson Licensing | Apparatus and method for determining a disparity estimate |
| FR2968108A1 (fr) | 2011-06-20 | 2012-06-01 | Thomson Licensing | Procede de reduction de la taille d’une image stereoscopique |
| EP4296963A3 (en) * | 2012-08-21 | 2024-03-27 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
-
2011
- 2011-05-31 EP EP11305661A patent/EP2530642A1/en not_active Withdrawn
-
2012
- 2012-05-04 TW TW101115871A patent/TWI553590B/zh not_active IP Right Cessation
- 2012-05-23 CN CN201280026599.5A patent/CN103582900A/zh active Pending
- 2012-05-23 WO PCT/EP2012/059535 patent/WO2012163743A1/en active Application Filing
- 2012-05-23 KR KR1020137031641A patent/KR20140038436A/ko not_active Application Discontinuation
- 2012-05-23 US US14/123,213 patent/US9743062B2/en not_active Expired - Fee Related
- 2012-05-23 JP JP2014513121A patent/JP6039657B2/ja not_active Expired - Fee Related
- 2012-05-23 EP EP12723455.7A patent/EP2715660A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| TWI553590B (zh) | 2016-10-11 |
| CN103582900A (zh) | 2014-02-12 |
| TW201248545A (en) | 2012-12-01 |
| US20140232821A1 (en) | 2014-08-21 |
| WO2012163743A1 (en) | 2012-12-06 |
| EP2530642A1 (en) | 2012-12-05 |
| JP6039657B2 (ja) | 2016-12-07 |
| JP2014522596A (ja) | 2014-09-04 |
| EP2715660A1 (en) | 2014-04-09 |
| US9743062B2 (en) | 2017-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20140038436A (ko) | 3d 컨텐츠를 리타깃팅하기 위한 방법 및 디바이스 | |
| KR102185179B1 (ko) | 멀티-뷰 장면 분할 및 전파 | |
| US20180255254A1 (en) | Automatic lens flare detection and correction for light-field images | |
| US9117295B2 (en) | Refinement of depth maps by fusion of multiple estimates | |
| US11663733B2 (en) | Depth determination for images captured with a moving camera and representing moving features | |
| US8861836B2 (en) | Methods and systems for 2D to 3D conversion from a portrait image | |
| US8331711B2 (en) | Image enhancement | |
| JP2014522596A5 (ko) | ||
| US20160117832A1 (en) | Method and apparatus for separating foreground image, and computer-readable recording medium | |
| KR101584115B1 (ko) | 시각적 관심맵 생성 장치 및 방법 | |
| US10650488B2 (en) | Apparatus, method, and computer program code for producing composite image | |
| US9171357B2 (en) | Method, apparatus and computer-readable recording medium for refocusing photographed image | |
| US10298914B2 (en) | Light field perception enhancement for integral display applications | |
| CN112396610A (zh) | 一种图像处理方法、计算机设备、存储介质 | |
| KR101726692B1 (ko) | 객체 추출 장치 및 방법 | |
| EP3096291B1 (en) | Method and device for bounding an object in a video | |
| CN115965531A (zh) | 模型训练方法及图像生成方法、装置、设备和存储介质 | |
| CN110602479A (zh) | 视频转换方法及*** | |
| US9077963B2 (en) | Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data | |
| KR102677022B1 (ko) | 영상 처리 장치 및 그 영상 처리 방법 | |
| Sethi et al. | Multi-Operator based Saliency Detection | |
| CN115689888A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |