KR20100002036A - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20100002036A
KR20100002036A KR1020080093866A KR20080093866A KR20100002036A KR 20100002036 A KR20100002036 A KR 20100002036A KR 1020080093866 A KR1020080093866 A KR 1020080093866A KR 20080093866 A KR20080093866 A KR 20080093866A KR 20100002036 A KR20100002036 A KR 20100002036A
Authority
KR
South Korea
Prior art keywords
frame
video data
image
shot
current frame
Prior art date
Application number
KR1020080093866A
Other languages
English (en)
Inventor
정길수
정현권
이대종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2009/003404 priority Critical patent/WO2009157713A2/en
Priority to US12/490,572 priority patent/US20090317062A1/en
Publication of KR20100002036A publication Critical patent/KR20100002036A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

현재 프레임이 이전 프레임과는 다른 샷(shot)으로 구분되는 경우, 현재 프레임보다 시간상으로 뒤에 출력되는 프레임을 이용하여 현재 프레임의 움직임을 추정하고, 추정된 움직임을 이용하여 현재 프레임을 3차원 영상으로 출력하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법이 개시된다.
Figure P1020080093866
2차원, 3차원, 영상 변환, 메타데이터, 움직임 추정

Description

영상 처리 방법 및 장치{Image processing method and apparatus}
본 발명은 영상 처리 방법 및 그 장치에 대한 것으로, 보다 구체적으로 현재 프레임 뒤의 프레임을 참조하여 현재 프레임의 움직임을 추정하여 비디오 데이터를 3차원 영상으로 출력할 수 있도록 하는 영상 처리 방법 및 장치에 대한 것이다.
디지털 기술의 발달로 3차원 영상 기술이 널리 보급되고 있다. 3차원 영상 기술은 2차원 영상에 깊이에 대한 정보를 부여하여 보다 사실적인 영상을 표현하는 기술이다. 3차원 영상 기술은 처음부터 비디오 데이터를 3차원으로 영상으로 생성하는 기술과, 2차원 영상으로 생성된 비디오 데이터를 3차원 영상으로 변환하는 기술이 있으며, 두 기술에 대한 연구가 함께 이루어지고 있다.
본 발명은 현재 프레임 뒤의 프레임을 이용하여 현재 프레임을 3차원 영상으로 처리하는 영상 처리 방법 및 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법에 있어서, 현재 프레임이 이전 프레임과는 다른 샷(shot)으로 구분되는 경우, 상기 현재 프레임보다 시간상으로 뒤에 출력되는 프레임을 이용하여 상기 현재 프레임의 움직임을 추정하는 단계 및 상기 추정된 움직임을 이용하여 상기 현재 프레임을 3차원 영상으로 출력하는 단계를 포함하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법을 제공할 수 있다.
바람직한 실시 예에서, 상기 방법은 비디오 데이터에 대한 메타데이터로부터, 상기 비디오 데이터의 프레임들을 소정의 샷으로 구분하기 위한 샷 정보를 추출하는 단계 및 상기 샷 정보를 이용하여 상기 현재 프레임이 이전 프레임과는 다른 샷으로 구분되는 프레임인지를 판단하는 단계를 더 포함하고, 상기 샷 정보는 이전 프레임을 이용하여 현재 프레임의 움직임을 예측할 수 있는 일련의 프레임들의 묶음을 하나의 샷으로 구분하기 위한 정보가 될 수 있다.
또한, 상기 방법은 상기 현재 프레임이 이전 프레임과 동일한 샷으로 구분되는 경우, 상기 현재 프레임 이전의 프레임을 이용하여 상기 현재 프레임의 움직임을 추정하는 단계를 더 포함할 수 있다. 또한, 상기 현재 프레임이 이전 프레임과는 다른 샷으로 구분되는 프레임인지를 판단하는 단계는 상기 샷 정보로부터 샷 시각 시각을 추출하는 단계 및 상기 현재 프레임의 출력 시각이 상기 샷 시작 시각과 같은 경우, 상기 현재 프레임이 상기 이전 프레임과는 다른 샷으로 구분된다고 판단하는 단계를 포함할 수 있다.
또한, 상기 방법은 상기 메타데이터를 상기 비디오 데이터가 기록된 디스크로부터 독출하거나, 통신망을 통해 서버로부터 다운로드하는 단계를 더 포함할 수 있다. 또한, 상기 메타데이터는 상기 비디오 데이터를 식별하기 위한 식별 정보를 포함하고, 상기 식별 정보는 상기 비디오 데이터가 기록된 디스크를 식별하기 위한 디스크 식별자 및 상기 비디오 데이터가 상기 디스크에 포함된 타이틀 중 몇 번째 타이틀인지를 식별하기 위한 타이틀 식별자를 포함할 수 있다. 또한, 상기 움직임을 추정하는 단계는 상기 현재 프레임보다 시간상으로 뒤에 출력되는 프레임을 하나 이상 저장하는 단계, 상기 현재 프레임을 소정 크기의 블록으로 분할하는 단계, 상기 분할된 블록별로, 상기 뒤에 출력되는 프레임들 중 하나의 프레임에 포함된 블록을 선택하는 단계 및 상기 분할된 블록과 상기 선택된 블록을 이용하여, 상기 분할된 블록별로 움직임 정도 및 움직임 방향에 대한 모션 벡터를 구하는 단계를 포함할 수 있다.
또한, 상기 방법은 상기 분할된 블록별로 선택된 블록들을 합성하여 새로운 프레임을 생성하는 단계 및 상기 현재 프레임과 상기 새로운 프레임을 이용하여 좌안 및 우안 영상을 생성하는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 장치에 있어서, 현재 프레임이 이전 프레임과는 다른 샷(shot)으로 구분되는 경우, 상기 현재 프레임보다 시간상으로 뒤에 출력되는 프 레임들 중 하나 이상을 이용하여 상기 현재 프레임의 움직임을 추정하는 움직임 추정부를 포함하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 통신망을 통해 영상 처리 장치와 통신하는 서버에서 수행하는 메타데이터 전송 방법에 있어서, 상기 영상 처리 장치로부터 2차원 영상의 비디오 데이터를 3차원 영상으로 변환하기 위한 메타데이터를 요청받는 단계 및 상기 요청에 상응하여 상기 메타데이터를 상기 영상 처리 장치에 전송하는 단계를 포함하고, 상기 메타데이터는 상기 비디오 데이터의 프레임들을 소정의 샷으로 구분하기 위한 샷 정보를 포함하고, 상기 샷 정보는 이전 프레임을 이용하여 현재 프레임의 움직임을 예측할 수 있는 일련의 프레임들의 묶음을 하나의 샷으로 구분하기 위한 정보인, 통신망을 통해 영상 처리 장치와 통신하는 서버에서 수행하는 메타데이터 전송 방법을 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 통신망을 통해 영상 처리 장치와 통신하는 서버에 있어서, 상기 영상 처리 장치로부터 2차원 영상의 비디오 데이터를 3차원 영상으로 변환하기 위한 메타데이터를 요청받고, 상기 요청에 상응하여 상기 메타데이터를 상기 영상 처리 장치에 전송하는 송수신부 및 상기 메타데이터를 저장하는 메타데이터 저장부를 포함하고, 상기 메타데이터는 상기 비디오 데이터의 프레임들을 소정의 샷으로 구분하기 위한 샷 정보를 포함하고, 상기 샷 정보는 이전 프레임을 이용하여 현재 프레임의 움직임을 예측할 수 있는 일련의 프레임들의 묶음을 하나의 샷으로 구분하기 위한 정보인, 통신망을 통해 영상 처리 장치와 통신 하는 서버를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법에 있어서, 현재 프레임이 이전 프레임과는 다른 샷(shot)으로 구분되는 경우, 상기 현재 프레임보다 시간상으로 뒤에 출력되는 프레임을 이용하여 상기 현재 프레임의 움직임을 추정하는 단계 및 상기 추정된 움직임을 이용하여 상기 현재 프레임을 3차원 영상으로 출력하는 단계를 포함하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 정보 저장 매체를 제공할 수 있다.
본 발명에 따르면, 현재 프레임 뒤의 프레임을 이용하여 현재 프레임을 3차원 영상으로 처리할 수 있는 영상 처리 방법 및 장치를 제공할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 메타데이터를 도시한 도면이다. 본 발명의 일 실시 예에 따른 메타데이터에는 2차원 영상의 비디오 데이터를 3차원 영상으로 변환하기 위한 정보가 포함되어 있다. 메타데이터에 기록된 정보가 어떤 비디오 데이터에 대한 정보인지를 표시하기 위해, 메타데이터에는 비디오 데이터가 기록된 디스크를 식별하기 위한 디스크 식별 정보가 기록되어 있다. 디스크 식별 정보는 비디오 데이터가 기록되어 있는 디스크를 식별하기 위한 디스크 식별자 및 디스크 식별자에 의해 식별되는 디스크 내에서, 비디오 데이터가 몇 번째 타이틀인지 를 나타내기 위한 타이틀 식별자를 포함할 수 있다.
비디오 데이터는 일련의 프레임들으로 이루어져 있으므로, 메타데이터에는 프레임들에 대한 정보가 포함되어 있다. 프레임들에 대한 정보는 프레임들을 소정의 기준에 따라 구분하기 위한 정보가 포함될 수 있다. 유사성이 있는 일련의 프레임들의 묶음을 하나의 유닛(unit)이라고 할 때, 비디오 데이터의 프레임들은 복수의 유닛들로 구분될 수 있다. 본 발명에서는 비디오 데이터의 프레임들을 소정의 유닛들로 구분하기 위한 정보가 메타데이터에 포함된다.
또한, 본 발명에서는 이전 프레임을 참조하여 현재 프레임의 움직임을 예측할 수 있는 일련의 프레임들의 묶음을 하나의 유닛으로 구분하고, 이러한 프레임들의 묶음을 샷(shot)으로 부르기로 한다. 프레임간에 유사성이 떨어져서, 이전 프레임을 이용하여 현재 프레임의 움직임을 예측할 수 없는 경우, 현재 프레임과 이전 프레임은 서로 다른 샷으로 구분된다.
메타데이터에는 비디오 데이터의 프레임들을 샷으로 구분하기 위한 정보가 포함되어 있다. 샷에 대한 정보는, 하나의 샷으로 구분되는 프레임들의 출력 시각에 대한 정보를 포함하며, 이는 샷 시작 시각 및 샷 종료 시각을 포함한다. 샷 시작 시각은 하나의 샷에 포함되는 프레임들 중 시간상으로 최초에 출력되는 프레임의 출력 시각을 뜻하고, 샷 종료 시각은 하나의 샷에 포함되는 프레임들 중 시간상으로 최후에 출력되는 프레임의 출력 시각 정보를 뜻한다.
경우에 따라, 샷에 대한 정보는 하나의 샷으로 구분되는 프레임들에 대한 샷 타입 정보를 포함할 수도 있다. 샷 타입 정보는 각 샷별로, 그 샷에 포함되는 프레 임들을 2차원 영상으로 출력할 것인지 또는 3차원 영상으로 출력할 것인지를 나타내는 정보이다.
이와 같이, 본 발명의 일 실시 예에 따르면 비디오 데이터를 3차원 영상으로 변환하기 위한 메타데이터가 제공될 수 있으며, 메타데이터에는 비디오 데이터의 프레임들을 샷으로 구분하기 위한 샷 정보가 포함된다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 방법을 수행하기 위한 영상 처리 시스템을 나타낸 도면이다.
도 2를 참조하면, 영상 처리 시스템은 서버(100), 통신망(110) 및 영상 처리 장치(200)를 포함한다. 서버(100)는 방송국이나 일반 콘텐츠 생성 업체 등의 콘텐츠 제공자가 운영하는 것으로, 비디오 데이터, 오디오 데이터 등의 AV 스트림 및/또는 AV 스트림에 대한 메타데이터(100)를 콘텐츠로 저장하고 있다. 서버(100)는 사용자가 요청한 콘텐츠를 추출하여 이를 사용자에게 제공한다.
통신망(110)은 유선 또는 무선 통신망을 포함한다.
영상 처리 장치(200)는 통신망(110)을 통하여 서버(100)와 정보를 송수신한다. 영상 처리 장치(200)는 통신부(210), 로컬스토리지(220), 비디오 데이터 디코딩부(230), 메타데이터 해석부(240), 3차원 영상 변환부(250)를 포함한다. 경우에 따라, 영상 처리 장치(200)는 3차원 포맷으로 생성된 3차원 영상을 화면에 출력하는 출력부(260)를 더 포함할 수도 있다.
통신부(210)는 유선 또는 무선 통신망(110)을 이용하여 서버(100)에 사용자가 원하는 콘텐츠를 요청하고, 서버(100)로부터 콘텐츠를 수신한다. 통신부(210)가 무선 통신 기술을 수행하는 경우, 통신부(210)는 무선 신호 송수신부(미도시), 기저대역 처리부(미도시)및 링크 제어부(미도시)를 포함할 수 있다. 무선 통신 방법으로는 무선 랜(WLAN), 블루투스(bluetooth), 지그비(zigbee), 와이브로(WiBro) 기술 등이 이용될 수 있다.
로컬 스토리지(local storage)(220)는 통신부(210)가 서버(100)로부터 다운로드 한 정보를 저장한다. 본 발명에서 로컬 스토리지(220)는 통신부(210)를 통해 서버(100)로부터 전송된 콘텐츠, 즉, 비디오 데이터, 오디오 데이터 및/또는 비디오 데이터나 오디오 데이터에 대한 메타데이터를 저장한다.
비디오 데이터, 오디오 데이터 및/또는 비디오 데이터나 오디오 데이터에 대한 메타데이터는 다중화된 상태로 또는 독립적으로 서버(100)에 저장되어 있을 수도 있고, 디스크에 기록되어 있을 수 있다.
비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터가 다중화된 상태로 또는 독립적으로 디스크에 기록되어 있는 경우, 비디오 데이터 및/또는 메타데이터가 기록되어 있는 디스크가 영상 처리 장치(200)에 로딩되면, 비디오 데이터 디코딩부(230)와 메타데이터 해석부(240)는 로딩된 디스크로부터 비디오 데이터와 메타데이터를 각 각 독출한다. 메타데이터는 디스크의 리드인 영역, 사용자 데이터 영역, 리드 아웃 영역 중 하나 이상의 영역에 기록되어 있을 수 있다.
비디오 데이터가 디스크에 기록되어 있는 경우, 메타데이터 해석부(240)는 메타데이터로부터 비디오 데이터가 기록되어 있는 디스크를 식별하기 위한 디스크 식별자 및 비디오 데이터가 디스크 내에서 몇 번째 타이틀인지를 나타내는 타이틀 식별자를 추출하고 이를 이용하여 메타데이터가 어느 비디오 데이터에 대한 메타데이터인지를 판단한다.
비디오 데이터 디코딩부(230)와 메타데이터 해석부(240)는 로컬 스토리지(220) 또는 디스크로부터 각각 비디오 데이터 및 메타데이터를 독출하고 이를 디코딩한다. 메타데이터 해석부(240)는 메타데이터에 포함되어 있는 샷 타입 정보를 이용하여, 소정 샷으로 구분되는 프레임들을 2차원 영상으로 출력할 것인지, 또는 3차원 영상으로 출력할 것인지를 판단하고, 판단 결과에 따라 3차원 영상 변환부(250)를 제어한다. 3차원 영상 변환부(250)는 메타데이터 해석부(240)의 제어에 따라, 비디오 데이터를 2차원 영상 그대로 출력부(260)로 보내거나, 또는 2차원 영상의 비디오 데이터를 이전 또는 이후 프레임을 이용하여 3차원 영상으로 변환한다. 3차원 영상 변환부(250)가 2차원 영상의 비디오 데이터를 3차원 영상으로 변환하는 것에 대해서는 도 3을 참조하여 상세히 설명하기로 한다. 출력부(260)는 3차원 영상으로 변환된 비디오 데이터를 화면(미도시)에 출력한다.
도 3은 본 발명의 일 실시 예에 따른 영상 처리 장치(300)의 내부 블록도이다. 도 3을 참조하면, 본 발명의 일 실시 예에 따른 영상 처리 장치(300)는 비디오 데이터 디코딩부(310), 메타데이터 해석부(320), 3차원 영상 변환부(330) 및 출력부(340)를 포함한다.
2차원 영상의 비디오 데이터와, 비디오 데이터에 대한 메타데이터가 다중화된 상태로 또는 분리되어 하나의 디스크에 기록되어 있는 경우, 비디오 데이터와 메타데이터가 기록되어 있는 디스크가 영상 처리 장치(300)에 로딩되면, 비디오 데 이터 디코딩부(310)와 메타데이터 해석부(320)는 로딩된 디스크로부터 비디오 데이터와 메타데이터를 각 각 독출한다. 메타데이터는 디스크의 리드인 영역, 사용자 데이터 영역, 리드 아웃 영역 중 하나 이상의 영역에 기록되어 있을 수 있다.
도 3에서는 도시하지 않았지만, 도 2에서와 같이, 영상 처리 장치(300)는 서버나 데이터베이스로부터 정보를 수신하기 위한 통신부 및 통신부를 통해 수신한 정보를 저장하는 로컬스토리지를 더 포함할 수 있다. 영상 처리 장치(300)는 통신망을 통해 외부 서버나 외부 단말로부터 비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터를 다운로드하고 이를 로컬 스토리지(미도시)에 저장할 수 있다.
비디오 데이터 디코딩부(310)는 디스크 또는 로컬 스토리지로부터 비디오 데이터를 독출하고 이를 디코딩한다. 전술한 바와 같이, 비디오 데이터 디코딩부(310)에 의해 디코딩된 비디오 데이터는 프레임 간에 유사성에 따라 소정의 샷으로 구분될 수 있다.
메타데이터 해석부(320)는 디스크 또는 로컬 스토리지로부터 비디오 데이터에 대한 메타데이터를 독출하고 이를 해석한다. 비디오 데이터가 디스크에 기록되어 있는 경우, 메타데이터 해석부(320)는 메타데이터로부터 비디오 데이터가 기록되어 있는 디스크를 식별하기 위한 디스크 식별자 및 비디오 데이터가 디스크 내에서 몇 번째 타이틀인지를 나타내는 타이틀 식별자를 추출하고 이를 이용하여 메타데이터가 어느 비디오 데이터에 대한 메타데이터인지를 판단한다.
영상 블록부(331)는 2차원 영상의 비디오 데이터의 프레임을 소정 크기의 블록으로 분할한다. 이전 프레임 저장부(332)와 이후 프레임 저장부(333)는 각각 현 재 프레임 전의 프레임들과 현재 프레임 뒤의 프레임들을 소정 개수만큼 저장한다.
움직임 추정부(335)는 현재 프레임 전의 프레임 또는 현재 프레임 뒤의 프레임을 이용하여 현재 프레임의 움직임을 추정한다. 2차원 영상의 비디오 데이터를 3차원 영상으로 변환하기 위해서는 이전 프레임을 참조하여 현재 프레임의 움직임 정보를 추출하여야 한다. 그러나 현재 프레임이 새로운 샷에 포함되는 경우, 이전 프레임을 이용하여 현재 프레임의 움직임 정보를 찾을 수 없기 때문에, 본 발명에서 움직임 추정부(335)는 현재 프레임이 새로운 샷에 포함되는 경우, 현재 프레임 이후의 프레임을 이용하여 현재 프레임의 움직임을 추정한다.
스위칭(334)은 메타데이터 해석부(320)의 제어에 따라 움직임 추정부(335)가 이전 프레임 저장부(332)에 저장된 프레임들을 참조하도록 하거나, 또는 이후 프레임 저장부(333)에 저장된 프레임들을 참조하도록 한다.
메타데이터 해석부(320)는 메타데이터로부터 샷 정보를 추출한다. 전술한 바와 같이, 샷 정보는 샷 타입 정보 및 하나의 샷에 포함되는 프레임들 중 시간상으로 최초에 출력되는 프레임의 출력 시각인 샷 시작 시각 및 하나의 샷에 포함되는 프레임들 중 시간상으로 최후에 출력되는 프레임의 출력 시각인 샷 종료 시각을 포함한다. 메타데이터 해석부(320)는 샷 타입 정보를 이용하여 소정의 샷에 포함되는 프레임들을 2차원 영상으로 출력할 것인지, 또는 3차원 영상으로 출력할 것인지를 판단한다.
메타데이터 해석부(320)는 소정 샷에 포함되는 프레임이 2차원 영상으로 출력되어야 한다고 판단하면, 스위칭(334)을 제어하여, 움직임 추정부(335)가 이전 프레임 저장부(332)에 저장되어 있는 이전 프레임 또는 이후 프레임 저장부(333)에 저장되어 있는 이후 프레임을 참조하지 못하도록 한다.
메타데이터 해석부(320)는 소정 샷에 포함되는 프레임이 3차원 영상으로 출력되어야 한다고 판단하면, 스위칭(334)을 제어하여 움직임 추정부(335)가 이전 프레임 또는 이후 프레임을 참조하여 현재 프레임의 움직임을 추정하도록 한다.
메타데이터 해석부(320)는 샷 정보를 이용하여 현재 프레임의 출력 시각이 샷 시작 시각인지를 판단하고, 현재 프레임의 출력 시각이 샷 시작 시각인 경우, 현재 프레임이 새로운 샷에 포함된다고 판단한다. 현재 프레임이 새로운 샷에 포함된다는 것은 이전 샷에 포함되는 프레임을 참조하여 새로운 샷에 포함되는 현재 프레임의 움직임을 예측할 수 없다는 것을 의미한다. 메타데이터 해석부(320)는 현재 프레임이 새로운 샷에 포함된다고 판단하면, 스위칭(334)을 제어하여, 움직임 추정부(335)가 이전 프레임 저장부(332)에 저장되어 있는 이전 프레임을 참조하여 현재 프레임의 움직임을 추정하지 못하도록 하고, 이후 프레임 저장부(333)에 저장되어 있는 이후 프레임을 참조하여 현재 프레임의 움직임을 추정하도록 한다.
메타데이터 해석부(320)는 현재 프레임이 새로운 샷에 포함되지 않는다고 판단하면, 스위칭(334)을 제어하여, 움직임 추정부(335)가 이후 프레임 저장부(333)에 저장되어 있는 이후 프레임을 참조하여 현재 프레임의 움직임을 추정하지 못하도록 하고, 이전 프레임 저장부(332)에 저장되어 있는 이전 프레임을 참조하여 현재 프레임의 움직임을 추정하도록 한다.
현재 프레임이 이전 프레임과는 다른 샷에 포함되는 경우, 움직임 추정 부(335)는 영상 블록부(331)에 의해 분할된 블록별로, 이후 프레임 저장부(333)에 저장되어 있는 현재 프레임 뒤의 소정 개수의 프레임 중 하나의 프레임에 포함된 블록 중에서 분할된 블록에 가장 유사한 블록을 선택한다. 움직임 추정부(335)는 현재 프레임의 분할된 블록과 선택된 블록을 이용하여 분할된 블록별로 움직임 정도 및 움직임 방향에 대한 모션 벡터를 구한다.
블록 합성부(336)는 선택된 블록들을 합성하여 새로운 프레임을 생성하고 생성된 프레임을 출력부(340)로 보낸다.
출력부(460)는 새로운 프레임과 현재 프레임 중 어느 하나를 좌안 영상으로 결정하고 나머지 프레임을 우안 영상으로 결정하거나, 또는 새로운 프레임과 현재 프레임을 이용하여 좌안 영상 및 우안 영상을 새로 생성한다. 출력부(460)는 좌안, 우안 영상을 화면(미도시)에 출력한다.
소정 샷에 포함되는 프레임이 2차원 영상으로 출력되어야 하는 경우, 즉, 샷 타입 정보가 소정 샷에 포함되는 프레임이 2차원 영상으로 출력되어야 함을 표시하는 경우, 움직임 추정부(335)는 이전 또는 이후 프레임을 참조하여 현재 프레임의 움직임을 추정하지 않고 영상 블록부(331)로부터 받은 2차원 영상을 그대로 블록 합성부(336)로 보내고, 블록 합성부(336)는 2차원 영상 그대로를 출력부(340)로 보낸다. 출력부(340)는 좌안 및 우안 영상으로 동일한 2차원 영상을 화면에 출력한다.
이와 같이, 본 발명의 실시 예에 따르면 메타데이터를 이용하여 현재의 프레임이 새로운 샷에 포함되는 프레임인지를 판단하고, 현재 프레임이 새로운 샷으로 구분되는 프레임인 경우, 현재 프레임 이전의 프레임이 아닌 현재 프레임 뒤의 프레임을 이용하여 현재 프레임의 움직임을 추정하고, 추정된 움직임을 이용하여 현재 프레임을 3차원 영상으로 출력할 수 있다.
도 4는 도 3의 영상 처리 장치(300)의 메타데이터 해석부(320)가 스위칭(334)을 제어하여 이전 프레임 저장부(332) 및 이후 프레임 저장부(333)의 출력을 제어하는 것을 설명하기 위한 도면이다.
도 4를 참조하면, 2차원 영상의 비디오 데이터는 복수의 프레임들을 포함한다. 출력 시각이 t-1 이전의 프레임들과, 출력 시각이 t이후의 프레임들 사이에는 유사성이 없으므로, 출력 시각이 t-1 이전의 프레임들과, 출력 시각이 t 이후의 프레임들은 서로 다른 샷에 포함된다.
메타데이터 해석부(320)는 메타데이터에 포함된 샷 정보를 이용하여, 샷 시작 시각 또는 샷 종료 시각 중 하나를 감지한다. 도 4에서 샷 종료 시각이 t-1이고, 샷 시작 시각이 t라고 가정한다.
현재 시각이 t-1인 경우, 영상 블록부(331)는 출력 시각이 t-1인 프레임을 소정의 크기의 블록으로 분할한다. 이전 프레임 저장부(332)는 출력 시각이 t-2 이전의 프레임을 저장하고, 이후 프레임 저장부(333)는 출력 시각이 t 이후인 프레임을 저장한다. 이전 프레임 저장부(332) 및 이후 프레임 저장부(333)는 하나 이상의 프레임을 저장할 수 있다. 메타데이터 해석부(320)는 현재 프레임의 출력 시각이 샷 종료 시각과 같으므로, 현재 프레임 다음의 프레임이 새로운 샷에 포함되는 프레임이라고 판단한다. 메타데이터 해석부(320)는 스위칭(334)을 제어하여 움직임 추정부(335)가 이후 프레임 저장부(333)에 저장되어 있는 프레임을 참조하지 못하도록 하고, 이전 프레임 저장부(332)에 저장되어 있는 프레임만을 참조하도록 한다. 움직임 추정부(335)는 출력 시각이 t-1인 프레임의 분할된 블록별로, 이전 프레임 저장부(332)에 저장되어 있는 프레임 중 하나의 프레임의 블록을 선택하고, 선택된 블록과 분할된 블록을 이용하여 분할된 블록의 움직임을 추정한다.
현재 시각이 t인 경우, 영상 블록부(331)는 출력 시각이 t인 프레임을 소정의 크기의 블록으로 분할한다. 이전 프레임 저장부(332)는 출력 시각이 t-1 이전의 프레임을 저장하고, 이후 프레임 저장부(333)는 출력 시각이 t+1 이후인 프레임을 저장한다. 메타데이터 해석부(320)는 현재 프레임의 출력 시각이 t이므로, 현재 프레임이 새로운 샷에 포함되는 프레임이라고 판단하고, 스위칭(334)을 제어하여 움직임 추정부(335)가 이후 프레임 저장부(333)에 저장되어 있는 프레임을 참조하도록 하고, 이전 프레임 저장부(332)에 저장되어 있는 프레임을 참조하지 못하도록 한다. 움직임 추정부(335)는 출력 시각이 t인 프레임의 분할된 블록별로, 이후 프레임 저장부(333)에 저장되어 있는 프레임 중 하나의 프레임의 블록을 선택하고, 선택된 블록과 분할된 블록을 이용하여 분할된 블록별로 움직임을 추정한다. 즉, 움직임 추정부(335)는 현재 프레임 이후의 프레임을 참조하여, 이전 프레임으로부터 현재 프레임까지의 움직임을 예측할 수 있다.
현재 시각이 t+1인 경우, 영상 블록부(331)는 출력 시각이 t+1인 프레임을 소정의 크기의 블록으로 분할한다. 메타데이터 해석부(320)는 현재 프레임이 새로운 샷에 포함되는 프레임이 아니므로, 스위칭(334)을 제어하여 움직임 추정부(335) 가 이후 프레임 저장부(333)에 저장되어 있는 프레임을 참조하지 못하도록 하고, 이전 프레임 저장부(332)에 저장되어 있는 프레임만을 참조하도록 한다. 움직임 추정부(335)는 출력 시각이 t+1인 프레임의 분할된 블록별로, 이전 프레임 저장부(332)에 저장되어 있는 프레임 중 하나의 프레임의 블록을 선택하고, 선택된 블록과 분할된 블록을 이용하여 분할된 블록의 움직임을 추정한다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다. 영상 처리 장치(300)는 디스크(미도시)가 로딩되고, 로딩된 디스크에 기록된 소정의 비디오 데이터를 재생할 것을 지시받으면, 디스크 식별자 및 타이틀 식별자를 이용하여 재생할 것을 지시받은 비디오 데이터에 대한 메타데이터가 로딩된 디스크에 또는 영상 처리 장치(300) 내부의 로컬 스토리지(미도시)에 존재하는지를 판단한다. 영상 처리 장치(300)는 디스크나 로컬 스토리지에 비디오 데이터에 대한 메타데이터가 존재하지 않는 경우, 통신망을 통해 외부 서버 등으로부터 타이틀에 대한 메타데이터를 다운로드 할 수도 있다.
영상 처리 장치(300)는 현재 출력하려는 프레임이 이전 프레임과 다른 샷에 포함되는 프레임인지를 판단한다(단계 510). 영상 처리 장치(300)는 현재 프레임이 이전 프레임과는 다른 새로운 샷에 포함되는 프레임이라고 판단되면, 현재 프레임보다 시간상으로 늦게 출력되는 프레임을 이용하여 현재 프레임의 움직임을 추정한다(단계 520). 영상 처리 장치(300)는 현재 프레임이 이전 프레임과 동일한 샷에 포함되는 프레임이라고 판단되면, 현재 프레임 전의 프레임을 이용하여 현재 프레임의 움직임을 추정한다(단계 530). 영상 처리 장치(300)는 추정된 움직임을 이용 하여 현재 프레임을 3차원 영상으로 출력한다(단계 540). 영상 처리 장치(300)는 비디오 데이터 출력이 종료되었는지를 판단하고(단계 560), 비디오 데이터가 전부 출력되지 않은 경우, 현재 프레임이 이전 프레임과 동일한 샷에 포함되는 프레임인지를 판단한다(단계 510).
이와 같이, 본 발명의 일 실시 예에 의하면 현재 프레임이 새로운 샷에 포함되는 경우, 현재 프레임 뒤의 프레임을 참조하여 현재 프레임의 움직임을 예측할 수 있다. 이 경우, 현재 프레임이 새로운 샷에 포함되는 프레임임에도 불구하고 현재 프레임과 유사성이 없는 이전 프레임을 참조하여 현재 프레임의 움직임을 추정하기 위해 소요되는 불필요한 연산량이 감소될 수 있다. 또한, 현재 프레임이 새로운 샷에 포함되는 프레임인 경우, 현재 프레임 뒤의 프레임을 참조하여 현재 프레임의 움직임을 예측함으로써, 보다 정확히 현재 프레임의 움직임을 예측할 수 있게 된다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 메타데이터를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 방법을 수행하기 위한 영상 처리 시스템을 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 영상 처리 장치의 내부 블록도이다.
도 4는 도 3의 영상 처리 장치의 메타데이터 해석부가 스위칭을 제어하여 이전 프레임 저장부 및 이후 프레임 저장부의 출력을 제어하는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다.

Claims (19)

  1. 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법에 있어서,
    현재 프레임이 이전 프레임과는 다른 샷(shot)으로 구분되는 경우, 상기 현재 프레임보다 시간상으로 뒤에 출력되는 프레임을 이용하여 상기 현재 프레임의 움직임을 추정하는 단계; 및
    상기 추정된 움직임을 이용하여 상기 현재 프레임을 3차원 영상으로 출력하는 단계를 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법.
  2. 제1 항에 있어서, 비디오 데이터에 대한 메타데이터로부터, 상기 비디오 데이터의 프레임들을 소정의 샷으로 구분하기 위한 샷 정보를 추출하는 단계; 및
    상기 샷 정보를 이용하여 상기 현재 프레임이 이전 프레임과는 다른 샷으로 구분되는 프레임인지를 판단하는 단계를 더 포함하고,
    상기 샷 정보는 이전 프레임을 이용하여 현재 프레임의 움직임을 예측할 수 있는 일련의 프레임들의 묶음을 하나의 샷으로 구분하기 위한 정보인 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법.
  3. 제1 항에 있어서, 상기 현재 프레임이 이전 프레임과 동일한 샷으로 구분되 는 경우, 상기 현재 프레임 이전의 프레임을 이용하여 상기 현재 프레임의 움직임을 추정하는 단계를 더 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법.
  4. 제2 항에 있어서, 상기 현재 프레임이 이전 프레임과는 다른 샷으로 구분되는 프레임인지를 판단하는 단계는 상기 샷 정보로부터 샷 시각 시각을 추출하는 단계; 및
    상기 현재 프레임의 출력 시각이 상기 샷 시작 시각과 같은 경우, 상기 현재 프레임이 상기 이전 프레임과는 다른 샷으로 구분된다고 판단하는 단계를 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법.
  5. 제2 항에 있어서, 상기 메타데이터를 상기 비디오 데이터가 기록된 디스크로부터 독출하거나, 통신망을 통해 서버로부터 다운로드하는 단계를 더 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법.
  6. 제2 항에 있어서, 상기 메타데이터는 상기 비디오 데이터를 식별하기 위한 식별 정보를 포함하고, 상기 식별 정보는 상기 비디오 데이터가 기록된 디스크를 식별하기 위한 디스크 식별자 및 상기 비디오 데이터가 상기 디스크에 포함된 타이 틀 중 몇 번째 타이틀인지를 식별하기 위한 타이틀 식별자를 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법.
  7. 제1 항에 있어서, 상기 움직임을 추정하는 단계는
    상기 현재 프레임보다 시간상으로 뒤에 출력되는 프레임을 하나 이상 저장하는 단계;
    상기 현재 프레임을 소정 크기의 블록으로 분할하는 단계;
    상기 분할된 블록별로, 상기 뒤에 출력되는 프레임들 중 하나의 프레임에 포함된 블록을 선택하는 단계; 및
    상기 분할된 블록과 상기 선택된 블록을 이용하여, 상기 분할된 블록별로 움직임 정도 및 움직임 방향에 대한 모션 벡터를 구하는 단계를 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법.
  8. 제7 항에 있어서, 상기 분할된 블록별로 선택된 블록들을 합성하여 새로운 프레임을 생성하는 단계; 및
    상기 현재 프레임과 상기 새로운 프레임을 이용하여 좌안 및 우안 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법.
  9. 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 장치에 있어서,
    현재 프레임이 이전 프레임과는 다른 샷(shot)으로 구분되는 경우, 상기 현재 프레임보다 시간상으로 뒤에 출력되는 프레임들 중 하나 이상을 이용하여 상기 현재 프레임의 움직임을 추정하는 움직임 추정부를 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 장치.
  10. 제9 항에 있어서, 비디오 데이터에 대한 메타데이터로부터, 상기 비디오 데이터의 프레임들을 소정의 샷으로 구분하기 위한 샷 정보를 추출하고, 상기 샷 정보를 이용하여 상기 현재 프레임이 이전 프레임과는 다른 샷으로 구분되는 프레임인지를 판단하는 메타데이터 해석부를 더 포함하고,
    상기 샷 정보는 이전 프레임을 이용하여 현재 프레임의 움직임을 예측할 수 있는 일련의 프레임들의 묶음을 하나의 샷으로 구분하기 위한 정보인 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 장치.
  11. 제9 항에 있어서, 상기 움직임 추정부는 현재 프레임이 이전 프레임과 동일한 샷으로 구분되는 경우, 상기 현재 프레임보다 시간상으로 먼저 출력되는 프레임들 중 하나 이상을 이용하여 상기 현재 프레임의 움직임을 추정하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 장치.
  12. 제10 항에 있어서, 상기 메타데이터 해석부는 상기 샷 정보로부터 샷 시각 시각을 추출하고, 상기 현재 프레임의 출력 시각이 상기 샷 시작 시각과 같은 경우, 상기 현재 프레임이 상기 이전 프레임과는 다른 샷으로 구분된다고 판단하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 장치.
  13. 제10 항에 있어서, 상기 메타데이터 해석부는 상기 메타데이터를 상기 비디오 데이터가 기록된 디스크로부터 독출하거나, 통신망을 통해 서버로부터 다운로드하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 장치.
  14. 제10 항에 있어서, 상기 메타데이터는 상기 비디오 데이터를 식별하기 위한 식별 정보를 포함하고, 상기 식별 정보는 상기 비디오 데이터가 기록된 디스크를 식별하기 위한 디스크 식별자 및 상기 비디오 데이터가 상기 디스크에 포함된 타이틀 중 몇 번째 타이틀인지를 식별하기 위한 타이틀 식별자를 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 장치.
  15. 제9 항에 있어서, 상기 현재 프레임보다 시간상으로 뒤에 출력되는 프레임을 하나 이상 저장하는 이후 프레임 저장부;
    상기 현재 프레임을 소정 크기의 블록으로 분할하는 영상 블록부를 더 포함 하고,
    상기 움직임 추정부는 상기 분할된 블록별로, 상기 뒤에 출력되는 프레임들 중 하나의 프레임에 포함된 블록을 선택하고, 상기 분할된 블록과 상기 선택된 블록을 이용하여, 상기 분할된 블록별로 움직임 정도 및 움직임 방향에 대한 모션 벡터를 구하는 단계를 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 장치.
  16. 제15 항에 있어서, 상기 분할된 블록별로 선택된 블록들을 합성하여 새로운 프레임을 생성하는 블록 합성부; 및
    상기 현재 프레임과 상기 새로운 프레임을 이용하여 좌안 및 우안 영상을 생성하는 출력부를 더 포함하는 것을 특징으로 하는 영상 처리 장치.
  17. 통신망을 통해 영상 처리 장치와 통신하는 서버에서 수행하는 메타데이터 전송 방법에 있어서,
    상기 영상 처리 장치로부터 2차원 영상의 비디오 데이터를 3차원 영상으로 변환하기 위한 메타데이터를 요청받는 단계; 및
    상기 요청에 상응하여 상기 메타데이터를 상기 영상 처리 장치에 전송하는 단계를 포함하고,
    상기 메타데이터는 상기 비디오 데이터의 프레임들을 소정의 샷으로 구분하기 위한 샷 정보를 포함하고, 상기 샷 정보는 이전 프레임을 이용하여 현재 프레임 의 움직임을 예측할 수 있는 일련의 프레임들의 묶음을 하나의 샷으로 구분하기 위한 정보인 것을 특징으로 하는 통신망을 통해 영상 처리 장치와 통신하는 서버에서 수행하는 메타데이터 전송 방법.
  18. 통신망을 통해 영상 처리 장치와 통신하는 서버에 있어서,
    상기 영상 처리 장치로부터 2차원 영상의 비디오 데이터를 3차원 영상으로 변환하기 위한 메타데이터를 요청받고, 상기 요청에 상응하여 상기 메타데이터를 상기 영상 처리 장치에 전송하는 송수신부; 및
    상기 메타데이터를 저장하는 메타데이터 저장부를 포함하고,
    상기 메타데이터는 상기 비디오 데이터의 프레임들을 소정의 샷으로 구분하기 위한 샷 정보를 포함하고, 상기 샷 정보는 이전 프레임을 이용하여 현재 프레임의 움직임을 예측할 수 있는 일련의 프레임들의 묶음을 하나의 샷으로 구분하기 위한 정보인 것을 특징으로 하는 통신망을 통해 영상 처리 장치와 통신하는 서버.
  19. 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법에 있어서,
    현재 프레임이 이전 프레임과는 다른 샷(shot)으로 구분되는 경우, 상기 현재 프레임보다 시간상으로 뒤에 출력되는 프레임을 이용하여 상기 현재 프레임의 움직임을 추정하는 단계; 및
    상기 추정된 움직임을 이용하여 상기 현재 프레임을 3차원 영상으로 출력하 는 단계를 포함하는 것을 특징으로 하는 2차원 영상의 비디오 데이터를 3차원 영상으로 출력하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 정보 저장 매체.
KR1020080093866A 2008-06-24 2008-09-24 영상 처리 방법 및 장치 KR20100002036A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2009/003404 WO2009157713A2 (en) 2008-06-24 2009-06-24 Image processing method and apparatus
US12/490,572 US20090317062A1 (en) 2008-06-24 2009-06-24 Image processing method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US7518408P 2008-06-24 2008-06-24
US61/075,184 2008-06-24

Publications (1)

Publication Number Publication Date
KR20100002036A true KR20100002036A (ko) 2010-01-06

Family

ID=41812276

Family Applications (9)

Application Number Title Priority Date Filing Date
KR1020080091268A KR101539935B1 (ko) 2008-06-24 2008-09-17 3차원 비디오 영상 처리 방법 및 장치
KR1020080091269A KR20100002032A (ko) 2008-06-24 2008-09-17 영상 생성 방법, 영상 처리 방법, 및 그 장치
KR1020080092417A KR20100002033A (ko) 2008-06-24 2008-09-19 영상 데이터 출력 방법 및 장치와, 영상 데이터 디스플레이방법 및 장치
KR1020080093371A KR20100002035A (ko) 2008-06-24 2008-09-23 3차원 비디오 영상 처리 방법 및 장치
KR1020080093866A KR20100002036A (ko) 2008-06-24 2008-09-24 영상 처리 방법 및 장치
KR1020080093867A KR20100002037A (ko) 2008-06-24 2008-09-24 영상 처리 방법 및 장치
KR1020080094896A KR20100002038A (ko) 2008-06-24 2008-09-26 영상 처리 방법 및 장치
KR1020080105485A KR20100002048A (ko) 2008-06-24 2008-10-27 영상 처리 방법, 영상 출력 방법 및 그 장치
KR1020080105928A KR20100002049A (ko) 2008-06-24 2008-10-28 영상 처리 방법 및 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020080091268A KR101539935B1 (ko) 2008-06-24 2008-09-17 3차원 비디오 영상 처리 방법 및 장치
KR1020080091269A KR20100002032A (ko) 2008-06-24 2008-09-17 영상 생성 방법, 영상 처리 방법, 및 그 장치
KR1020080092417A KR20100002033A (ko) 2008-06-24 2008-09-19 영상 데이터 출력 방법 및 장치와, 영상 데이터 디스플레이방법 및 장치
KR1020080093371A KR20100002035A (ko) 2008-06-24 2008-09-23 3차원 비디오 영상 처리 방법 및 장치

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020080093867A KR20100002037A (ko) 2008-06-24 2008-09-24 영상 처리 방법 및 장치
KR1020080094896A KR20100002038A (ko) 2008-06-24 2008-09-26 영상 처리 방법 및 장치
KR1020080105485A KR20100002048A (ko) 2008-06-24 2008-10-27 영상 처리 방법, 영상 출력 방법 및 그 장치
KR1020080105928A KR20100002049A (ko) 2008-06-24 2008-10-28 영상 처리 방법 및 장치

Country Status (7)

Country Link
US (6) US20090315884A1 (ko)
EP (4) EP2292019A4 (ko)
JP (4) JP2011525743A (ko)
KR (9) KR101539935B1 (ko)
CN (4) CN102077600A (ko)
MY (1) MY159672A (ko)
WO (4) WO2009157668A2 (ko)

Families Citing this family (208)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US20100045779A1 (en) * 2008-08-20 2010-02-25 Samsung Electronics Co., Ltd. Three-dimensional video apparatus and method of providing on screen display applied thereto
JP2010088092A (ja) * 2008-09-02 2010-04-15 Panasonic Corp 立体映像伝送システム、映像表示装置および映像出力装置
JP2010062695A (ja) * 2008-09-02 2010-03-18 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9264690B2 (en) * 2008-09-07 2016-02-16 Dolby Laboratories Licensing Corporation Conversion of interleaved data sets, including chroma correction and/or correction of checkerboard interleaved formatted 3D images
US20110234754A1 (en) * 2008-11-24 2011-09-29 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
CA2745021C (en) * 2008-12-02 2014-10-28 Lg Electronics Inc. Method for displaying 3d caption and 3d display apparatus for implementing the same
RU2537800C2 (ru) * 2008-12-19 2015-01-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство для наложения трехмерной графики на трехмерное видеоизображение
CN102576412B (zh) 2009-01-13 2014-11-05 华为技术有限公司 图像处理以为图像中的对象进行分类的方法和***
KR20100112940A (ko) * 2009-04-10 2010-10-20 엘지전자 주식회사 데이터 처리방법 및 수신 시스템
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
US9215435B2 (en) 2009-06-24 2015-12-15 Dolby Laboratories Licensing Corp. Method for embedding subtitles and/or graphic overlays in a 3D or multi-view video data
WO2011006104A1 (en) * 2009-07-10 2011-01-13 Dolby Laboratories Licensing Corporation Modifying images for a 3-dimensional display mode
JP2011029849A (ja) * 2009-07-23 2011-02-10 Sony Corp 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
EP2460360A1 (en) * 2009-07-27 2012-06-06 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
KR101056281B1 (ko) 2009-08-03 2011-08-11 삼성모바일디스플레이주식회사 유기 전계발광 표시장치 및 그의 구동방법
KR20110013693A (ko) * 2009-08-03 2011-02-10 삼성모바일디스플레이주식회사 유기 전계발광 표시장치 및 그의 구동방법
JP5444955B2 (ja) * 2009-08-31 2014-03-19 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
US8614737B2 (en) * 2009-09-11 2013-12-24 Disney Enterprises, Inc. System and method for three-dimensional video capture workflow for dynamic rendering
US20110063298A1 (en) * 2009-09-15 2011-03-17 Samir Hulyalkar Method and system for rendering 3d graphics based on 3d display capabilities
US8988495B2 (en) * 2009-11-03 2015-03-24 Lg Eletronics Inc. Image display apparatus, method for controlling the image display apparatus, and image display system
JP2011109398A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置及び画像伝送システム
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5502436B2 (ja) * 2009-11-27 2014-05-28 パナソニック株式会社 映像信号処理装置
US20110134211A1 (en) * 2009-12-08 2011-06-09 Darren Neuman Method and system for handling multiple 3-d video formats
TWI491243B (zh) * 2009-12-21 2015-07-01 Chunghwa Picture Tubes Ltd 影像處理方法
JP2011139261A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、およびプログラム
KR20120123087A (ko) * 2010-01-13 2012-11-07 톰슨 라이센싱 3ｄ 텍스트를 3ｄ 콘텐츠와 결합하기 위한 시스템 및 방법
WO2011086653A1 (ja) * 2010-01-14 2011-07-21 パナソニック株式会社 映像出力装置、映像表示システム
EP2526701A1 (en) * 2010-01-21 2012-11-28 General instrument Corporation Stereoscopic video graphics overlay
US9325964B2 (en) * 2010-02-09 2016-04-26 Koninklijke Philips N.V. 3D video format detection
US9025933B2 (en) * 2010-02-12 2015-05-05 Sony Corporation Information processing device, information processing method, playback device, playback method, program and recording medium
JP2011166666A (ja) * 2010-02-15 2011-08-25 Sony Corp 画像処理装置、画像処理方法およびプログラム
KR101445777B1 (ko) * 2010-02-19 2014-11-04 삼성전자 주식회사 재생 기기 및 그 제어방법
JP5873813B2 (ja) * 2010-02-19 2016-03-01 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ステレオロゴ挿入
KR20130008569A (ko) * 2010-02-24 2013-01-22 톰슨 라이센싱 입체 영상을 위한 자막 표시
KR20110098420A (ko) * 2010-02-26 2011-09-01 삼성전자주식회사 디스플레이장치 및 그 구동방법
US20110216083A1 (en) * 2010-03-03 2011-09-08 Vizio, Inc. System, method and apparatus for controlling brightness of a device
CA2791870C (en) * 2010-03-05 2017-01-17 General Instrument Corporation Method and apparatus for converting two-dimensional video content for insertion into three-dimensional video content
US9426441B2 (en) * 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8830300B2 (en) * 2010-03-11 2014-09-09 Dolby Laboratories Licensing Corporation Multiscalar stereo video format conversion
US8817072B2 (en) * 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
JP2011199388A (ja) * 2010-03-17 2011-10-06 Sony Corp 再生装置、再生制御方法、およびプログラム
JP2011217361A (ja) * 2010-03-18 2011-10-27 Panasonic Corp 立体映像再生装置、立体映像再生方法、及び集積回路
KR20110107151A (ko) * 2010-03-24 2011-09-30 삼성전자주식회사 휴대 단말기의 입체 영상 처리 방법 및 장치
US20130010064A1 (en) * 2010-03-24 2013-01-10 Panasonic Corporation Video processing device
JP5526929B2 (ja) * 2010-03-30 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
SG10201502669RA (en) * 2010-04-12 2015-05-28 Fortem Solutions Inc Camera projection meshes
KR20110115103A (ko) * 2010-04-14 2011-10-20 삼성전자주식회사 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치
US9237366B2 (en) * 2010-04-16 2016-01-12 Google Technology Holdings LLC Method and apparatus for distribution of 3D television program materials
US20110255003A1 (en) * 2010-04-16 2011-10-20 The Directv Group, Inc. Method and apparatus for presenting on-screen graphics in a frame-compatible 3d format
KR101697184B1 (ko) 2010-04-20 2017-01-17 삼성전자주식회사 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
US9414042B2 (en) * 2010-05-05 2016-08-09 Google Technology Holdings LLC Program guide graphics and video in window for 3DTV
KR20120119927A (ko) * 2010-05-11 2012-11-01 삼성전자주식회사 무선 충전이 가능한 3ｄ 안경 및 무선전력전송 시스템
JP5848754B2 (ja) 2010-05-12 2016-01-27 ペリカン イメージング コーポレイション 撮像装置アレイおよびアレイカメラのためのアーキテクチャ
KR101082234B1 (ko) * 2010-05-13 2011-11-09 삼성모바일디스플레이주식회사 유기전계발광 표시장치 및 그의 구동방법
JP2011249895A (ja) * 2010-05-24 2011-12-08 Panasonic Corp 信号処理システム及び信号処理装置
US20110292038A1 (en) * 2010-05-27 2011-12-01 Sony Computer Entertainment America, LLC 3d video conversion
KR101699875B1 (ko) * 2010-06-03 2017-01-25 엘지디스플레이 주식회사 3ｄ 액정 표시장치 및 구동방법
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
JP5682149B2 (ja) * 2010-06-10 2015-03-11 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US8402502B2 (en) * 2010-06-16 2013-03-19 At&T Intellectual Property I, L.P. Method and apparatus for presenting media content
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US8640182B2 (en) 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
KR101645404B1 (ko) 2010-07-06 2016-08-04 삼성디스플레이 주식회사 유기 전계발광 표시장치
US8918831B2 (en) * 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
KR101279660B1 (ko) * 2010-07-07 2013-06-27 엘지디스플레이 주식회사 입체영상 표시장치 및 그 구동방법
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
JP5609336B2 (ja) * 2010-07-07 2014-10-22 ソニー株式会社 画像データ送信装置、画像データ送信方法、画像データ受信装置、画像データ受信方法および画像データ送受信システム
US8848038B2 (en) * 2010-07-09 2014-09-30 Lg Electronics Inc. Method and device for converting 3D images
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
WO2012017687A1 (ja) * 2010-08-05 2012-02-09 パナソニック株式会社 映像再生装置
KR101674688B1 (ko) * 2010-08-12 2016-11-09 엘지전자 주식회사 입체영상 재생 장치 및 입체영상 재생 방법
JP2012044625A (ja) * 2010-08-23 2012-03-01 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
KR101218815B1 (ko) * 2010-08-26 2013-01-21 주식회사 티스마트 ３ｄ 사용자 인터페이스 처리방법 및 이를 이용하는 셋탑박스
US8994792B2 (en) * 2010-08-27 2015-03-31 Broadcom Corporation Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
JP5058316B2 (ja) * 2010-09-03 2012-10-24 株式会社東芝 電子機器、画像処理方法、及び画像処理プログラム
EP2426931A1 (en) * 2010-09-06 2012-03-07 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
CN103262544A (zh) * 2010-09-10 2013-08-21 青岛海信电器股份有限公司 3d电视界面的显示方法和装置
JP2012094111A (ja) * 2010-09-29 2012-05-17 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2012044272A1 (en) * 2010-09-29 2012-04-05 Thomson Licensing Automatically switching between three dimensional and two dimensional contents for display
JP5543892B2 (ja) * 2010-10-01 2014-07-09 日立コンシューマエレクトロニクス株式会社 再生装置、再生方法、表示装置、及び表示方法
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
CN102447959A (zh) * 2010-10-01 2012-05-09 日立民用电子株式会社 接收机
TWI420151B (zh) * 2010-10-07 2013-12-21 Innolux Corp 顯示方法
KR101232086B1 (ko) * 2010-10-08 2013-02-08 엘지디스플레이 주식회사 액정표시장치 및 그의 로컬디밍 제어방법
US20120092327A1 (en) * 2010-10-14 2012-04-19 Sony Corporation Overlaying graphical assets onto viewing plane of 3d glasses per metadata accompanying 3d image
JP5550520B2 (ja) * 2010-10-20 2014-07-16 日立コンシューマエレクトロニクス株式会社 再生装置及び再生方法
KR20120047055A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 디스플레이 장치 및 이에 적용되는 그래픽 영상 제공방법
CN102469319A (zh) * 2010-11-10 2012-05-23 康佳集团股份有限公司 三维菜单生成方法及三维显示装置
JP5789960B2 (ja) * 2010-11-18 2015-10-07 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP5786315B2 (ja) * 2010-11-24 2015-09-30 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
CN101984671B (zh) * 2010-11-29 2013-04-17 深圳市九洲电器有限公司 一种3dtv接收***合成视频图像和界面图形的方法
CN101980545B (zh) * 2010-11-29 2012-08-01 深圳市九洲电器有限公司 一种自动检测3dtv视频节目格式的方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2012129845A (ja) * 2010-12-16 2012-07-05 Jvc Kenwood Corp 画像処理装置
JP5611807B2 (ja) * 2010-12-27 2014-10-22 Ｎｅｃパーソナルコンピュータ株式会社 映像表示装置
US8600151B2 (en) 2011-01-03 2013-12-03 Apple Inc. Producing stereoscopic image
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
CN105554551A (zh) * 2011-03-02 2016-05-04 华为技术有限公司 3d格式描述信息的获取方法和装置
CN102157012B (zh) * 2011-03-23 2012-11-28 深圳超多维光电子有限公司 对场景进行立体渲染的方法、图形图像处理装置及设备、***
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
KR101801141B1 (ko) * 2011-04-19 2017-11-24 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3ｄ 영상처리장치 및 그 입체감 조정방법
JP2012231254A (ja) * 2011-04-25 2012-11-22 Toshiba Corp 立体映像生成装置及び立体映像生成方法
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
CN102231829B (zh) * 2011-06-27 2014-12-17 深圳超多维光电子有限公司 一种视频文件的显示格式识别方法、装置及视频播放器
US9294752B2 (en) 2011-07-13 2016-03-22 Google Technology Holdings LLC Dual mode user interface system and method for 3D video
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
WO2013023325A1 (zh) * 2011-08-18 2013-02-21 北京世纪高蓝科技有限公司 基于图像运动信息的2d转3d方法
CN103002297A (zh) * 2011-09-16 2013-03-27 联咏科技股份有限公司 动态深度值产生方法及其装置
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8952996B2 (en) * 2011-09-27 2015-02-10 Delta Electronics, Inc. Image display system
IN2014CN02708A (ko) 2011-09-28 2015-08-07 Pelican Imaging Corp
US8813109B2 (en) 2011-10-21 2014-08-19 The Nielsen Company (Us), Llc Methods and apparatus to identify exposure to 3D media presentations
US8687470B2 (en) 2011-10-24 2014-04-01 Lsi Corporation Optical disk playback device with three-dimensional playback functionality
JP5289538B2 (ja) * 2011-11-11 2013-09-11 株式会社東芝 電子機器、表示制御方法及びプログラム
CN102413350B (zh) * 2011-11-30 2014-04-16 四川长虹电器股份有限公司 蓝光3d视频处理方法
FR2983673A1 (fr) * 2011-12-02 2013-06-07 Binocle Procede de correction pour la projection alternative d'images stereoscopiques
US8479226B1 (en) * 2012-02-21 2013-07-02 The Nielsen Company (Us), Llc Methods and apparatus to identify exposure to 3D media presentations
US8713590B2 (en) 2012-02-21 2014-04-29 The Nielsen Company (Us), Llc Methods and apparatus to identify exposure to 3D media presentations
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US10445398B2 (en) * 2012-03-01 2019-10-15 Sony Corporation Asset management during production of media
WO2013155215A1 (en) 2012-04-10 2013-10-17 Dirtt Environmental Solutions Inc. Tamper evident wall cladding system
US20150109411A1 (en) * 2012-04-26 2015-04-23 Electronics And Telecommunications Research Institute Image playback apparatus for 3dtv and method performed by the apparatus
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
KR20140039649A (ko) 2012-09-24 2014-04-02 삼성전자주식회사 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치
KR20140049834A (ko) * 2012-10-18 2014-04-28 삼성전자주식회사 방송 수신 장치 및 그 제어 방법, 사용자 단말 장치 및 그 화면 제공 방법
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US20150296198A1 (en) * 2012-11-27 2015-10-15 Intellectual Discovery Co., Ltd. Method for encoding and decoding image using depth information, and device and image system using same
KR101430985B1 (ko) * 2013-02-20 2014-09-18 주식회사 카몬 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
CN104079941B (zh) * 2013-03-27 2017-08-25 中兴通讯股份有限公司 一种深度信息编解码方法、装置及视频处理播放设备
CN104469338B (zh) * 2013-09-25 2016-08-17 联想(北京)有限公司 一种控制方法和装置
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US10491916B2 (en) * 2013-10-01 2019-11-26 Advanced Micro Devices, Inc. Exploiting camera depth information for video encoding
CN103543953B (zh) * 2013-11-08 2017-01-04 深圳市汉普电子技术开发有限公司 播放无3d标识的3d片源的方法及触摸设备
JP2015119464A (ja) * 2013-11-12 2015-06-25 セイコーエプソン株式会社 表示装置、および表示装置の制御方法
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
CN104143308B (zh) 2014-07-24 2016-09-07 京东方科技集团股份有限公司 一种三维图像的显示方法及装置
US10228751B2 (en) 2014-08-06 2019-03-12 Apple Inc. Low power mode
US9647489B2 (en) 2014-08-26 2017-05-09 Apple Inc. Brownout avoidance
EP3467776A1 (en) 2014-09-29 2019-04-10 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US10708391B1 (en) 2014-09-30 2020-07-07 Apple Inc. Delivery of apps in a media stream
US10231033B1 (en) 2014-09-30 2019-03-12 Apple Inc. Synchronizing out-of-band content with a media stream
CN105095895B (zh) * 2015-04-23 2018-09-25 广州广电运通金融电子股份有限公司 有价文件识别装置自修正识别方法
CN105376546A (zh) * 2015-11-09 2016-03-02 中科创达软件股份有限公司 一种2d转3d方法、装置及移动终端
CN105472374A (zh) * 2015-11-19 2016-04-06 广州华多网络科技有限公司 一种3d视频直播方法、装置及***
US20170150138A1 (en) * 2015-11-25 2017-05-25 Atheer, Inc. Method and apparatus for selective mono/stereo visual display
US20170150137A1 (en) * 2015-11-25 2017-05-25 Atheer, Inc. Method and apparatus for selective mono/stereo visual display
CN105872519B (zh) * 2016-04-13 2018-03-27 万云数码媒体有限公司 一种基于rgb压缩的2d加深度3d图像横向存储方法
US10433025B2 (en) 2016-05-10 2019-10-01 Jaunt Inc. Virtual reality resource scheduling of process in a cloud-based virtual reality processing system
CN106101681A (zh) * 2016-06-21 2016-11-09 青岛海信电器股份有限公司 三维图像显示处理方法、信号输入设备及电视终端
CN106982367A (zh) * 2017-03-31 2017-07-25 联想(北京)有限公司 视频传输方法及其装置
US10038500B1 (en) * 2017-05-11 2018-07-31 Qualcomm Incorporated Visible light communication
US10735707B2 (en) * 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN107589989A (zh) * 2017-09-14 2018-01-16 晨星半导体股份有限公司 基于安卓平台的显示装置及其图像显示方法
US10817307B1 (en) 2017-12-20 2020-10-27 Apple Inc. API behavior modification based on power source health
US11363133B1 (en) 2017-12-20 2022-06-14 Apple Inc. Battery health-based power management
EP3644604A1 (en) * 2018-10-23 2020-04-29 Koninklijke Philips N.V. Image generating apparatus and method therefor
CN109257585B (zh) * 2018-10-25 2021-04-06 京东方科技集团股份有限公司 一种亮度校正装置及方法、显示装置、显示***及方法
CN109274949A (zh) * 2018-10-30 2019-01-25 京东方科技集团股份有限公司 一种视频图像处理方法及其装置、显示设备
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
CA3157197A1 (en) 2019-10-07 2021-04-15 Boston Polarimetrics, Inc. Systems and methods for surface normals sensing with polarization
KR102558903B1 (ko) 2019-11-30 2023-07-24 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법
KR102241615B1 (ko) * 2020-01-15 2021-04-19 한국과학기술원 비디오 웹페이지 소스코드의 메타데이터를 이용하여 비디오 제목을 식별하는 방법 및 이를 수행하는 장치들
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN112004162B (zh) * 2020-09-08 2022-06-21 宁波视睿迪光电有限公司 一种在线3d内容播放***及方法
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11770513B1 (en) * 2022-07-13 2023-09-26 Rovi Guides, Inc. Systems and methods for reducing a number of focal planes used to display three-dimensional objects

Family Cites Families (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4523226A (en) * 1982-01-27 1985-06-11 Stereographics Corporation Stereoscopic television system
US4667228A (en) * 1983-10-14 1987-05-19 Canon Kabushiki Kaisha Image signal processing apparatus
JPS63116593A (ja) * 1986-11-04 1988-05-20 Matsushita Electric Ind Co Ltd 立体画像再生装置
US5262879A (en) * 1988-07-18 1993-11-16 Dimensional Arts. Inc. Holographic image conversion method for making a controlled holographic grating
US5058992A (en) * 1988-09-07 1991-10-22 Toppan Printing Co., Ltd. Method for producing a display with a diffraction grating pattern and a display produced by the method
JP2508387B2 (ja) * 1989-10-16 1996-06-19 凸版印刷株式会社 回折格子パタ―ンを有するディスプレイの作製方法
US5291317A (en) * 1990-07-12 1994-03-01 Applied Holographics Corporation Holographic diffraction grating patterns and methods for creating the same
JP3081675B2 (ja) * 1991-07-24 2000-08-28 オリンパス光学工業株式会社 画像記録装置および画像再生装置
US5740274A (en) * 1991-09-12 1998-04-14 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
US6011581A (en) * 1992-11-16 2000-01-04 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US6084978A (en) * 1993-12-16 2000-07-04 Eastman Kodak Company Hierarchical storage and display of digital images used in constructing three-dimensional image hard copy
KR100358021B1 (ko) * 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템
US5739844A (en) * 1994-02-04 1998-04-14 Sanyo Electric Co. Ltd. Method of converting two-dimensional image into three-dimensional image
US5684890A (en) * 1994-02-28 1997-11-04 Nec Corporation Three-dimensional reference image segmenting method and apparatus
US6104828A (en) * 1994-03-24 2000-08-15 Kabushiki Kaisha Topcon Ophthalmologic image processor
JP2846840B2 (ja) * 1994-07-14 1999-01-13 三洋電機株式会社 ２次元映像から３次元映像を生成する方法
EP0703716B1 (en) * 1994-09-22 2002-11-27 Sanyo Electric Co. Ltd Method of converting two-dimensional images into three-dimensional images
US6985168B2 (en) * 1994-11-14 2006-01-10 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
JPH09116931A (ja) * 1995-10-18 1997-05-02 Sanyo Electric Co Ltd 時分割立体映像信号の左右映像識別方法
US5917940A (en) * 1996-01-23 1999-06-29 Nec Corporation Three dimensional reference image segmenting method and device and object discrimination system
JPH09322199A (ja) * 1996-05-29 1997-12-12 Olympus Optical Co Ltd 立体映像ディスプレイ装置
US5986781A (en) * 1996-10-28 1999-11-16 Pacific Holographics, Inc. Apparatus and method for generating diffractive element using liquid crystal display
JPH10224822A (ja) * 1997-01-31 1998-08-21 Sony Corp 映像表示方法および表示装置
JPH10313417A (ja) * 1997-03-12 1998-11-24 Seiko Epson Corp デジタルガンマ補正回路並びにそれを用いた液晶表示装置及び電子機器
DE19806547C2 (de) * 1997-04-30 2001-01-25 Hewlett Packard Co System und Verfahren zur Erzeugung von stereoskopischen Anzeigesignalen von einer Einzelcomputergraphikpipeline
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
JP4698831B2 (ja) * 1997-12-05 2011-06-08 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
US6850631B1 (en) * 1998-02-20 2005-02-01 Oki Electric Industry Co., Ltd. Photographing device, iris input device and iris image input method
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
US6704042B2 (en) * 1998-12-10 2004-03-09 Canon Kabushiki Kaisha Video processing apparatus, control method therefor, and storage medium
JP2000298246A (ja) * 1999-02-12 2000-10-24 Canon Inc 表示装置、表示方法および記憶媒体
JP2000275575A (ja) * 1999-03-24 2000-10-06 Sharp Corp 立体映像表示装置
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
JP2001012946A (ja) * 1999-06-30 2001-01-19 Toshiba Corp 動画像処理装置及び方法
US6839663B1 (en) * 1999-09-30 2005-01-04 Texas Tech University Haptic rendering of volumetric soft-bodies objects
BR0015959A (pt) * 1999-12-14 2002-08-06 Scientific Atlanta Sistema e método para o processamento de vìdeo adaptativo com alocação de recursos coordenados
US6968568B1 (en) * 1999-12-20 2005-11-22 International Business Machines Corporation Methods and apparatus of disseminating broadcast information to a handheld device
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
JP4635403B2 (ja) * 2000-04-04 2011-02-23 ソニー株式会社 立体画像作成方法およびその装置
JP2001320693A (ja) * 2000-05-12 2001-11-16 Sony Corp サービス提供装置および方法、受信端末装置および方法、サービス提供システム
WO2001097531A2 (en) * 2000-06-12 2001-12-20 Vrex, Inc. Electronic stereoscopic media delivery system
US6762755B2 (en) 2000-10-16 2004-07-13 Pixel Science, Inc. Method and apparatus for creating and displaying interactive three dimensional computer images
JP3667620B2 (ja) * 2000-10-16 2005-07-06 株式会社アイ・オー・データ機器 ステレオ画像撮影アダプタ、ステレオ画像撮影用カメラ、および、ステレオ画像処理装置
GB0100563D0 (en) * 2001-01-09 2001-02-21 Pace Micro Tech Plc Dynamic adjustment of on-screen displays to cope with different widescreen signalling types
US6678323B2 (en) * 2001-01-24 2004-01-13 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through Communications Research Centre Bandwidth reduction for stereoscopic imagery and video signals
KR20020096203A (ko) * 2001-06-18 2002-12-31 (주)디지털국영 입체영상을 확대/축소하는 방법
JP2003157292A (ja) * 2001-11-20 2003-05-30 Nec Corp 製品レイアウト管理方式および管理方法
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
GB0129992D0 (en) * 2001-12-14 2002-02-06 Ocuity Ltd Control of optical switching apparatus
US20040218269A1 (en) * 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
JP2003284099A (ja) * 2002-03-22 2003-10-03 Olympus Optical Co Ltd 映像情報信号記録媒体及び映像表示装置
US6771274B2 (en) * 2002-03-27 2004-08-03 Sony Corporation Graphics and video integration with alpha and video blending
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
KR100912984B1 (ko) * 2002-04-12 2009-08-20 미쓰비시덴키 가부시키가이샤 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법
JP4652389B2 (ja) * 2002-04-12 2011-03-16 三菱電機株式会社 メタデータ処理方法
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP4154569B2 (ja) * 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
US20050259147A1 (en) * 2002-07-16 2005-11-24 Nam Jeho Apparatus and method for adapting 2d and 3d stereoscopic video signal
KR100488804B1 (ko) * 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
JP2004186863A (ja) * 2002-12-02 2004-07-02 Amita Technology Kk 立体映像表示装置及び立体映像信号処理回路
JP4183499B2 (ja) * 2002-12-16 2008-11-19 三洋電機株式会社 映像ファイル処理方法及び映像処理方法
JP2004246066A (ja) * 2003-02-13 2004-09-02 Fujitsu Ltd 仮想環境作成方法
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP4677175B2 (ja) * 2003-03-24 2011-04-27 シャープ株式会社 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004309868A (ja) * 2003-04-08 2004-11-04 Sony Corp 撮像装置及び立体映像生成装置
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
EP1617684A4 (en) * 2003-04-17 2009-06-03 Sharp Kk THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
JP2005026800A (ja) * 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
ITRM20030345A1 (it) * 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per ricavare una mappa di profondita'
US7411611B2 (en) * 2003-08-25 2008-08-12 Barco N. V. Device and method for performing multiple view imaging by means of a plurality of video processing devices
EP1510940A1 (en) * 2003-08-29 2005-03-02 Sap Ag A method of providing a visualisation graph on a computer and a computer for providing a visualisation graph
WO2005055607A1 (en) * 2003-12-08 2005-06-16 Electronics And Telecommunications Research Institute System and method for encoding and decoding an image using bitstream map and recording medium thereof
JP2005175997A (ja) * 2003-12-12 2005-06-30 Sony Corp 復号化装置、電子機器、コンピュータ、復号化方法、プログラム及び記録媒体
KR100544677B1 (ko) * 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
JP4230959B2 (ja) * 2004-05-19 2009-02-25 株式会社東芝 メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム
JP4227076B2 (ja) * 2004-05-24 2009-02-18 株式会社東芝 立体画像を表示する表示装置及び立体画像を表示する表示方法
KR100543219B1 (ko) * 2004-05-24 2006-01-20 한국과학기술연구원 2차원 이미지에서의 햅틱 벡터 필드 생성방법 및 3차원높이 정보 추출방법
KR100708838B1 (ko) 2004-06-30 2007-04-17 삼성에스디아이 주식회사 입체 영상 표시 장치 및 그 구동 방법
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
KR20040077596A (ko) * 2004-07-28 2004-09-04 손귀연 평판 표시패널을 이용한 입체 영상표시장치
CN100573231C (zh) * 2004-09-08 2009-12-23 日本电信电话株式会社 三维显示方法、装置
KR100694069B1 (ko) * 2004-11-29 2007-03-12 삼성전자주식회사 상이한 크기를 가지는 복수 개의 데이터 블록들을포함하는 저장 장치 및 이를 이용한 파일 관리 방법 및이를 포함하는 인쇄 장치
KR100656575B1 (ko) 2004-12-31 2006-12-11 광운대학교 산학협력단 3차원 입체 동영상 디스플레이 장치
TWI261099B (en) * 2005-02-17 2006-09-01 Au Optronics Corp Backlight modules
KR20060122672A (ko) * 2005-05-26 2006-11-30 삼성전자주식회사 메타 데이터를 획득하기 위한 애플리케이션을 포함하는정보저장매체, 메타 데이터를 획득하는 장치 및 방법
KR100828358B1 (ko) * 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
KR100813977B1 (ko) * 2005-07-08 2008-03-14 삼성전자주식회사 2차원/3차원 영상 호환용 고해상도 입체 영상 디스플레이장치
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
JP4717728B2 (ja) * 2005-08-29 2011-07-06 キヤノン株式会社 ステレオ表示装置及びその制御方法
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR100793750B1 (ko) * 2006-02-14 2008-01-10 엘지전자 주식회사 다양한 셋팅 정보를 저장하는 영상기기 및 그 제어방법
KR100780701B1 (ko) 2006-03-28 2007-11-30 (주)오픈브이알 3차원 이미지 자동 생성장치 및 방법
KR20070098364A (ko) * 2006-03-31 2007-10-05 (주)엔브이엘소프트 3차원 영상 데이터를 코드화하여 저장하는 장치 및 방법
KR101137347B1 (ko) * 2006-05-11 2012-04-19 엘지전자 주식회사 이동통신 단말기 및 그 단말기를 이용한 이미지 표출 방법
JP2007304325A (ja) * 2006-05-11 2007-11-22 Ｎｅｃディスプレイソリューションズ株式会社 液晶表示装置および液晶パネル駆動方法
US7953315B2 (en) * 2006-05-22 2011-05-31 Broadcom Corporation Adaptive video processing circuitry and player using sub-frame metadata
US20070294737A1 (en) * 2006-06-16 2007-12-20 Sbc Knowledge Ventures, L.P. Internet Protocol Television (IPTV) stream management within a home viewing network
CN102685533B (zh) * 2006-06-23 2015-03-18 图象公司 对2d电影进行转换用于立体3d显示的方法和***
KR100761022B1 (ko) * 2006-08-14 2007-09-21 광주과학기술원 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
EP1901474B1 (en) 2006-09-13 2011-11-30 Stmicroelectronics Sa System for synchronizing modules in an integrated circuit in mesochronous clock domains
EP2074832A2 (en) * 2006-09-28 2009-07-01 Koninklijke Philips Electronics N.V. 3 menu display
CN101682793B (zh) * 2006-10-11 2012-09-26 皇家飞利浦电子股份有限公司 创建三维图形数据
JP4755565B2 (ja) * 2006-10-17 2011-08-24 シャープ株式会社 立体画像処理装置
KR101362941B1 (ko) * 2006-11-01 2014-02-17 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
TWI324477B (en) * 2006-11-03 2010-05-01 Quanta Comp Inc Stereoscopic image format transformation method applied to display system
JP5008677B2 (ja) * 2006-11-29 2012-08-22 パナソニック株式会社 映像音声装置ネットワークおよび信号再生方法
KR100786468B1 (ko) * 2007-01-02 2007-12-17 삼성에스디아이 주식회사 2차원 및 3차원 영상 선택 가능 디스플레이 장치
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
JP4564512B2 (ja) 2007-04-16 2010-10-20 富士通株式会社 表示装置、表示プログラム、および表示方法
KR100839429B1 (ko) * 2007-04-17 2008-06-19 삼성에스디아이 주식회사 전자 영상 기기 및 그 구동방법
WO2008140190A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
JP4462288B2 (ja) * 2007-05-16 2010-05-12 株式会社日立製作所 映像表示装置及びそれを適用した３次元映像表示装置
EP2198625A4 (en) * 2007-10-10 2013-11-06 Korea Electronics Telecomm METADATA STRUCTURE FOR STORING AND REPRODUCING STEREOSCOPIC DATA AND METHOD FOR STORING A STEREOSCOPIC CONTENT FILE USING THESE METADATA
US20090315981A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Image processing method and apparatus
US8482654B2 (en) * 2008-10-24 2013-07-09 Reald Inc. Stereoscopic image format with depth information

Also Published As

Publication number Publication date
EP2289247A2 (en) 2011-03-02
JP2011525743A (ja) 2011-09-22
US8488869B2 (en) 2013-07-16
WO2009157701A3 (en) 2010-04-15
MY159672A (en) 2017-01-13
JP5547725B2 (ja) 2014-07-16
EP2289247A4 (en) 2014-05-28
CN102067615B (zh) 2015-02-25
CN102067615A (zh) 2011-05-18
EP2289248A4 (en) 2014-07-02
KR20100002031A (ko) 2010-01-06
JP2011526103A (ja) 2011-09-29
WO2009157714A2 (en) 2009-12-30
US20090315977A1 (en) 2009-12-24
CN102067614B (zh) 2014-06-11
CN102077600A (zh) 2011-05-25
CN102067614A (zh) 2011-05-18
EP2289248A2 (en) 2011-03-02
CN102067613A (zh) 2011-05-18
KR20100002037A (ko) 2010-01-06
US20090315884A1 (en) 2009-12-24
WO2009157668A2 (en) 2009-12-30
US20090317061A1 (en) 2009-12-24
WO2009157714A3 (en) 2010-03-25
EP2279625A2 (en) 2011-02-02
US20100104219A1 (en) 2010-04-29
KR20100002035A (ko) 2010-01-06
US20090315979A1 (en) 2009-12-24
US20100103168A1 (en) 2010-04-29
WO2009157668A3 (en) 2010-03-25
WO2009157701A2 (en) 2009-12-30
KR20100002049A (ko) 2010-01-06
KR101539935B1 (ko) 2015-07-28
EP2279625A4 (en) 2013-07-03
WO2009157708A2 (en) 2009-12-30
JP2011525746A (ja) 2011-09-22
EP2292019A2 (en) 2011-03-09
KR20100002048A (ko) 2010-01-06
KR20100002033A (ko) 2010-01-06
KR20100002038A (ko) 2010-01-06
WO2009157708A3 (en) 2010-04-15
CN102067613B (zh) 2016-04-13
KR20100002032A (ko) 2010-01-06
EP2292019A4 (en) 2014-04-30
JP2011525745A (ja) 2011-09-22

Similar Documents

Publication Publication Date Title
KR20100002036A (ko) 영상 처리 방법 및 장치
JP5241500B2 (ja) カメラパラメータを利用した多視点動画符号化及び復号化装置並びに方法と、これを行うためのプログラムの記録された記録媒体
KR101467430B1 (ko) 클라우드 컴퓨팅 기반 어플리케이션 제공 방법 및 시스템
RU2699406C2 (ru) Устройство обработки информации и способ обработки информации
US10171541B2 (en) Methods, devices, and computer programs for improving coding of media presentation description data
RU2628319C2 (ru) Способ и устройство для определения опорных изображений для внешнего предсказания
US20090317062A1 (en) Image processing method and apparatus
CN103858431A (zh) 多视点数据编码方法和装置以及解码方法和装置
US20090315980A1 (en) Image processing method and apparatus
WO2015008576A1 (ja) 情報処理装置および情報処理方法
US11252397B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
JP6541309B2 (ja) 送信装置、送信方法、及びプログラム
US20230351705A1 (en) Method and apparatus for performing anchor based rendering for augmented reality media objects
CN108702534B (zh) 文件生成装置、文件生成方法以及再现装置和再现方法
KR20230041016A (ko) 혼합현실/증강현실을 지원하는 통신 시스템에서 3차원 미디어 데이터에 대해 지연 시간 보상 포즈 예측을 사용하는 렌더링을 수행하는 방법 및 장치
US9571790B2 (en) Reception apparatus, reception method, and program thereof, image capturing apparatus, image capturing method, and program thereof, and transmission apparatus, transmission method, and program thereof
EP3528500B1 (en) Method and apparatus for allocating differential bandwidth for each screen region by using image complexity information
CN111903135A (zh) 信息处理装置、信息处理方法以及程序
KR102603339B1 (ko) 멀티 디바이스 기반 화면 확장 방법
CN111869225B (zh) 信息处理装置、信息处理方法及非暂时性计算机可读存储介质
CN112422961A (zh) 数据传输方法、装置、显示设备及计算机可读存储介质
JP6890977B2 (ja) 送信装置、送信方法、およびプログラム
KR101246596B1 (ko) 서비스 영상 전송 시스템, 서버 및 방법
JP2021033354A (ja) 通信装置およびその制御方法
JP4902326B2 (ja) 動画送信サーバおよびその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application