KR20110082531A - 화상 처리 장치 및 방법, 화상 재생 장치 및 방법, 그리고 프로그램 - Google Patents

화상 처리 장치 및 방법, 화상 재생 장치 및 방법, 그리고 프로그램 Download PDF

Info

Publication number
KR20110082531A
KR20110082531A KR1020117009352A KR20117009352A KR20110082531A KR 20110082531 A KR20110082531 A KR 20110082531A KR 1020117009352 A KR1020117009352 A KR 1020117009352A KR 20117009352 A KR20117009352 A KR 20117009352A KR 20110082531 A KR20110082531 A KR 20110082531A
Authority
KR
South Korea
Prior art keywords
image
images
original images
moving
original
Prior art date
Application number
KR1020117009352A
Other languages
English (en)
Other versions
KR101615152B1 (ko
Inventor
미키오 와타나베
사토시 나카무라
코우이치 야하기
Original Assignee
후지필름 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지필름 가부시키가이샤 filed Critical 후지필름 가부시키가이샤
Publication of KR20110082531A publication Critical patent/KR20110082531A/ko
Application granted granted Critical
Publication of KR101615152B1 publication Critical patent/KR101615152B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)

Abstract

특히 3차원 화상 및 2차원 화상이 혼재해서 보존되어 있는 경우에 있어서 용이하게 3차원 화상을 인식할 수 있게 한다. 보간 화상 생성부(5)는 피사체를 상이한 시점으로부터 촬영함으로써 취득한 원화상(L1,R1)으로부터 보간 화상을 생성한다. 동화상 생성부(6)는 원화상(L1,R1) 및 보간 화상을 시점순으로 배치하는 동화상(D0)을 생성하고, 파일 생성부(7)는 원화상(L1,R1)의 3차원 화상 파일(F0), 동화상의 동화상 파일(M0), 및 3차원 화상 파일(F0) 및 동화상 파일(M0)의 관련을 나타내는 관련 정보 파일(R0)을 생성하고, 이들을 미디어(10A)에 기록한다.

Description

화상 처리 장치 및 방법, 화상 재생 장치 및 방법, 그리고 프로그램{IMAGE PROCESSING APPARATUS AND METHOD, AND IMAGE REPRODUCING APPARATUS, METHOD AND PROGRAM}
본 발명은 피사체를 상이한 시점으로부터 본 복수의 원화상 사이의 시점을 보간하기 위한 보간 화상을 생성하는 화상 처리 장치 및 방법에 관한 것이다. 또한, 본 발명은 화상 처리 방법을 컴퓨터에 실행시키기 위한 프로그램에 관한 것이다.
상이한 위치에 배치된 한 쌍 이상의 촬영 수단을 이용해서 화상을 취득하는 스테레오 카메라 등의 복안 촬영 장치를 사용하여 촬영을 행함으로써 시차를 이용하는 입체시가능한 3차원 화상이 취득될 수 있다. 이러한 복안 촬영 장치는 한 쌍의 촬영 수단의 광축에 폭주각을 제공해서 동일 피사체를 다른 시점으로부터 촬영함으로써 2개의 화상(좌측 및 우측)을 취득하고, 이 2개의 화상으로부터 시차를 이용해서 입체시가능한 3차원 화상이 작성되고 있다.
그런데, 미디어에 보존된 화상을 퍼스널 컴퓨터 등에 있어서 재생할 경우 보존된 화상의 섬네일 화상의 일람을 재생하는 것이 통례이다. 유저는 섬네일 화상의 일람으로부터 화상을 선택하면 선택된 화상을 확대해서 퍼스널 컴퓨터 모니터에 표시할 수 있다. 여기서, 동화상이 보존되어 있을 경우에 동화상의 1 씬(scene)을 섬네일 화상의 일람에 있어서 표시하고, 동화상 섬네일 화상을 선택함으로써 동화상을 재생하는 수법이 일본 특허 공개 평10(1998)-108123호 공보에 제안되어 있다.
상술한 바와 같이 생성된 3차원 화상을 포함하는 복수의 2차원 화상이 미디어에 보존되어 있을 경우에 그리고 섬네일 화상의 일람을 표시했을 경우에 3차원 화상에 있어서는 3차원 화상을 생성하는 복수의 원화상 중 어느 하나가 일람 화면에 포함된다. 이 경우, 유저는 그 섬네일 화상을 선택함으로써 3차원 화상을 입체시로 표시할 수 있다. 그러나, 3차원 화상은 정지 화상이므로 단지 섬네일 화상의 일람으로부터 3차원 화상과 2차원 화상을 구별하는 것은 곤란하다.
본 발명은 상기 사정을 고려하여 이루어진 것이며, 본 발명의 목적은 특히 3차원 화상 및 2차원 화상이 혼재해서 보존되어 있는 경우에 있어서 용이하게 3차원 화상을 인식할 수 있게 하는 것이다.
본 발명에 의한 화상 처리 장치는,
피사체를 상이한 시점으로부터 본 3차원 화상 생성용의 복수의 원화상을 취득하는 화상 취득 수단과,
적어도 상기 복수의 원화상 사이의 시점을 보간하는 하나 이상의 보간 화상을 생성하는 보간 화상 생성 수단과,
상기 복수의 원화상 및 상기 하나 이상의 보간 화상의 적어도 일부를 시점순으로 배치하는 동화상을 생성하는 동화상 생성 수단과,
상기 복수의 원화상 및 상기 동화상을 서로 관련시켜 보존하는 보존 수단을 구비하는 장치이다.
여기서 사용되는 "적어도 복수의 원화상 사이의 시점을 보간한다"라는 용어는 복수의 원화상 사이의 시점뿐만 아니라 가장 외측의 시점으로부토 본 원화상의 외측의 시점을 보간한다는 것을 언급한다.
여기서 사용되는 "복수의 원화상 및 하나 이상의 보간 화상의 적어도 일부를 시점순으로 배치하는 동화상을 생성한다"라는 용어는 원화상 및 보간 화상 모두를 사용하여 동화상을 생성하는 경우뿐만 아니라 모든 원화상 및 보간 화상의 일부 또는 예를 들면 보간 화상만을 사용하여 동화상을 생성하는 경우도 포함한다.
동화상은 섬네일 표시용의 동화상일 수 있다.
여기서 사용되는 "복수의 원화상 및 동화상을 서로 관련시켜 보존한다" 라는 용어는 복수의 원화상 및 동화상이 관리상 일체 불가분한 관계가 되는 것을 의미한다. 구체적으로는, 복수의 원화상 및 동화상은 복수의 원화상 및 동화상을 동일한 폴더에 보존하는, 복수의 원화상 및 동화상에 공통 파일명을 부여하는, 복수의 원화상 및 동화상이 서로 관련되는 것을 나타내는 정보를 보존하는, 복수의 원화상 및 동화상을 1개의 파일로 보존하는, 및 복수의 원화상 및 동화상의 하나 이상의 헤더 영역에 다른 화상 파일명을 기록하는 등의 수법에 의해 서로 관련되어 보존될 수 있다. 복수의 원화상 및 동화상이 서로 관련되어 보존되었을 경우에 있어서도 원화상 단체 또는 동화상 단체로의 액세스 등이 허용된다.
본 발명에 의한 화상 처리 장치에 있어서는, 상기 보간 화상 생성 수단은 상기 동화상이 소정 시간 재생되도록 상기 보간 화상의 수를 설정하는 수단일 수 있다.
또한, 본 발명에 의한 화상 처리 장치에 있어서는, 상기 보존 수단은 상기 복수의 원화상 및 상기 동화상을 개별 화상 파일로서 보존함과 아울러 상기 복수의 원화상의 화상 파일 및 상기 동화상의 화상 파일이 서로 관련되고 상기 동화상이 상기 복수의 원화상을 대표하는 화상인 것을 나타내는 정보를 포함하는 관련 정보 파일을 보존하는 수단일 수 있다.
또한, 본 발명에 의한 화상 처리 장치에 있어서는, 상기 보존 수단은 상기 복수의 원화상 및 상기 동화상을 상기 동화상이 상기 복수의 원화상을 대표하는 화상인 것을 나타내는 정보를 포함하는 1개의 화상 파일로서 보존하는 수단일 수 있다.
본 발명에 의한 화상 재생 장치는 본 발명의 화상 처리 장치에 의해 보존된 복수의 원화상을 포함하는 각종 화상을 재생하는 화상 재생 장치이며,
상기 화상 재생 장치는 상기 복수의 원화상으로부터 생성되는 3차원 화상을 2차원 표시하는 지시가 수신되었을 경우 상기 동화상을 재생하는 재생 수단을 구비한다.
본 발명에 의한 화상 재생 장치에 있어서는, 상기 재생 수단은 상기 동화상을 엔드리스 재생하는 수단일 수 있다.
본 발명에 의한 화상 처리 방법은,
피사체를 상이한 시점으로부터 본 3차원 화상 생성용의 복수의 원화상을 취득하는 스텝과,
적어도 상기 복수의 원화상 사이의 시점을 보간하는 하나 이상의 보간 화상을 생성하는 스텝과,
상기 복수의 원화상 및 상기 하나 이상의 보간 화상의 적어도 일부를 시점순으로 배치하는 동화상을 생성하는 스텝과,
상기 복수의 원화상 및 상기 동화상을 서로 관련시켜 보존하는 스텝을 구비하는 방법이다.
본 발명에 의한 화상 재생 방법은,
본 발명에 의한 화상 처리 방법에 의해 보존된 복수의 원화상을 포함하는 각종 화상을 재생하는 화상 재생 방법이며,
상기 방법은 복수의 원화상으로부터 생성되는 3차원 화상을 2차원 표시하는 지시가 수신되었을 경우 상기 동화상을 재생한다.
본 발명에 의한 화상 처리 방법 및 화상 재생 방법 각각은 컴퓨터에 이 방법을 실행시키기 위한 프로그램으로서 제공될 수 있다.
본 발명에 의하면, 복수의 원화상으로부터 적어도 복수의 원화상 사이의 시점을 보간하는 하나 이상의 보간 화상을 생성한다. 그 다음, 복수의 원화상 및 하나 이상의 보간 화상의 적어도 일부를 시점순으로 배치하는 동화상을 생성하고, 복수의 원화상 및 동화상을 서로 관련시켜 보존한다. 이 때문에, 3차원 화상을 표시할 때에 동화상을 재생함으로써 피사체를 보는 시점이 순차 변경되는 씬이 재생된다. 따라서, 특히 복수의 원화상으로부터 생성되는 입체시가 가능한 3차원 화상 및 다른 2차원 화상이 혼재해서 보존되어 있는 경우에 있어서 유저는 어느 화상이 표시된 섬네일 화상 일람으로부터의 3차원 화상인지를 용이하게 인식할 수 있다.
또한, 동화상이 소정 시간 재생되도록 보간 화상의 수를 설정함으로써 소정 시간의 동화상을 재생할 수 있다.
동화상의 화상 파일은 3차원 화상 및 동화상을 개별 화상 파일로서 보존하고, 3차원 화상의 화상 파일 및 동화상의 화상 파일이 관련됨과 아울러 동화상이 복수의 원화상을 대표하는 화상인 것을 나타내는 정보를 포함하는 정보 파일을 보존함으로써 퍼스널 컴퓨터 등으로 용이하게 취급될 수 있는 범용 파일 형식으로 생성될 수 있다. 그러므로, 동화상이 용이하게 재생될 수 있다.
복수의 원화상 및 동화상을 동화상이 복수의 원화상을 대표하는 화상인 것을 나타내는 정보를 포함하는 1개의 화상 파일로서 보존함으로써 서로 관련되는 복수의 원화상 및 동화상은 디스오더(sidorder)로부터 방지될 수 있다.
도 1은 본 발명의 실시형태에 의한 화상 처리 장치 및 화상 재생 장치를 적용한 복안 촬영 장치의 구성을 나타내는 개략 블록도이다.
도 2는 촬영부의 구성을 나타내는 개략 블록도이다.
도 3은 촬영부의 배치를 예시한다.
도 4는 원화상을 예시한다.
도 5는 보간 화상의 생성을 예시한다.
도 6은 입체 형상 모델과 원화상을 얻은 화상 투영면의 관계를 예시한다.
도 7은 본 실시형태에 있어서의 3차원 화상 파일의 파일 구성을 예시한다.
도 8은 본 실시형태에 있어서의 동화상 파일의 파일 구성을 예시한다.
도 9는 관련 정보 파일의 기술 내용을 예시한다.
도 10은 본 실시형태에 있어서 파일 생성시에 행하여지는 처리를 나타내는 플로우차트이다.
도 11은 3차원 화상 파일, 동화상 파일 및 관련 정보 파일의 기록 상태를 예시한다.
도 12는 본 실시형태에 있어서 섬네일 화상의 일람의 표시시에 행하여지는 처리를 나타내는 플로우차트이다.
도 13은 섬네일 화상의 일람 화면을 예시한다.
도 14는 본 실시형태에 있어서의 원화상 및 동화상을 격납하는 파일의 파일 구성을 예시한다.
이하, 도면을 참조해서 본 발명의 실시형태가 설명될 것이다. 도 1은 본 발명의 실시형태에 의한 화상 처리 장치 및 화상 재생 장치를 적용한 복안 촬영 장치의 구성을 나타내는 개략 블록도이다. 도 1에 나타낸 바와 같이, 본 실시형태에 의한 복안 촬영 장치(1)는 2개의 촬영부(2A,2B), 촬영 제어부(3), 화상 처리부(4), 보간 화상 생성부(5), 동화상 생성부(6), 파일 생성부(7), 3차원 화상 생성부(8), 프레임 버퍼(9), 미디어 제어부(10), 각종 입력 동작을 행하는 조작 버튼으로 이루어지는 입력부(11), 각종 정보를 표시하는 액정 모니터 등의 표시부(12), 제어부(13), 및 각 부를 접속하는 버스(14)를 구비한다.
도 2는 촬영부(2A,2B)의 구성을 예시한다. 도 2에 나타낸 바와 같이, 촬영부(2A,2B)는 렌즈(20A,20B), 애퍼처(21A,21B), 셔터(22A,22B), CCD(23A,23B), 아날로그 프런트 엔드(AFE)(24A,24B), 및 A/D 변환부(25A,25B)를 각각 구비한다. 촬영부(2A,2B)는, 도 3에 나타낸 바와 같이, 피사체를 예상하는 폭주각(α)을 가져서 미리 정해진 기선 길이(K)를 갖도록 배치되어 있다. 폭주각(α) 및 기선 길이(K)의 정보는 후술하는 ROM(12C)에 기억되어 있다.
렌즈(20A,20B) 각각은 피사체에 초점을 맞추기 위한 포커스 렌즈, 줌 기능을 실현하기 위한 줌 렌즈 등의 복수의 기능별 렌즈를 구비하고, 렌즈의 위치는 촬영 제어부(3)에 의해 행해지는 AF 처리에 의해 얻어지는 초점 데이터 및 미도시 줌 레버를 조작함으로써 얻어지는 줌 데이터에 의거하여 미도시 렌즈 구동부에 의해 조정된다.
애퍼처(21A,21B)는 촬영 제어부(3)에 의해 행해지는 AE 처리에 의해 얻어지는 애퍼처 값 데이터에 의거하여 미도시 애퍼처 구동부에 의해 조정된다.
셔터(22A,22B) 각각은 미캐니컬 셔터이며, 미도시 셔터 구동부에 의해 AE 처리에 의해 얻어지는 셔터 스피드에 따라 구동된다.
CCD(23A,23B) 각각은 2차원적으로 배열된 다수의 수광 소자를 갖는 광전면을 구비하고 있고, 피사체를 나타내는 광화상이 광전면에 형성되어 광전 변환됨으로써 아날로그 촬상 신호가 취득된다. CCD(23A,23B) 각각의 전면에는 R, G, B 필터가 규칙적으로 배열된 컬러 필터가 배치되어 있다.
AFE(24A,24B)는 CCD(23A,23B)으로부터 출력되는 아날로그 촬상 신호에 대하여 아날로그 노이즈를 제거하고 게인을 조절하는 처리(아날로그 처리)를 각각 시행한다.
A/D 변환부(25A,25B)는 AFE(24A,24B)에 의해 아날로그 처리된 아날로그 촬상 신호를 각각 변환한다. 촬영부(2A,2B) 각각에 취득되는 디지털 화상 데이터에 의해 나타내어지는 화상을 화상(L1, R1)으로 언급한다.
촬영 제어부(3)는 미도시 AF 처리부 및 AE 처리부로 구성된다. AF 처리부는 입력부(11)에 포함되는 릴리즈 버튼의 반누름 조작에 의해 촬영부(2A,2B)가 취득한 프리 화상에 의거해서 렌즈(20A,20B)의 초점 거리를 결정하고, 결정된 값을 촬영부(2A,2B)에 출력한다. AE 처리부는 프리 화상에 의거해서 애퍼처 값과 셔터 속도를 결정하고, 결정된 값을 촬영부(2A,2B)에 출력한다. 또한, 미리 정해진 포커스 위치, 애퍼처 값 및 셔터 속도를 이용해서 촬영을 행하는 것도 가능하다.
또한, 촬영 제어부(3)는 입력부(11)에 포함되는 릴리즈 버튼의 전체 누름 조작에 의해 촬영부(2A,2B)에 대하여 3차원 화상 생성용의 화상(L1, R1)의 본 화상을 취득시키는 지시를 행한다. 릴리즈 버튼이 조작되기 전에 촬영 제어부(3)는 촬영부(2A,2B)에 대하여 촬영 범위를 확인시키기 위한 본 화상보다도 화소수가 적은 스루 화상을 취득시키는 지시를 행한다.
여기서, 화상(L1, R1)은, 도 3에 나타낸 바와 같이, 피사체를 상이한 2개의 촬영 위치에 있어서 촬영함으로써 취득되는 화상이며, 도 4에 나타낸 바와 같이, 화상(L1, R1)에 포함되는 화상은 촬영 위치의 차이에 따른 시차를 갖는다. 화상(L1,R1)은 촬영부(2A,2B)의 촬영 위치, 즉 피사체를 향해서 좌측 및 우측의 촬영 위치에 있어서 취득되고, 화상(L1, R1)에 의거해서 3차원 화상을 생성한다. 이와 같이, 이하 화상(L1, R1)을 원화상(L1,R1)으로 언급한다. 3차원 화상이 생성될 시에 좌측에 표시되는 화상을 화상(L1), 오른쪽에 표시되는 화상을 화상(R1)으로 언급한다.
본 실시형태에 있어서는, 2개의 원화상(L1,R1)으로부터 입체시가능한 3차원 화상을 생성하지만, 3 이상의 촬영부를 구비하고, 3 이상의 상이한 촬영 위치에 있어서 촬영을 행함으로써 취득된 3 이상의 원화상으로부터 입체시가능한 3차원 화상을 생성하는 배치가 채택될 수 있다.
화상 처리부(4)는 촬영부(2A,2B)가 취득한 원화상(L1,R1)의 디지털 화상 데이터에 대하여 화질 보정 처리를 실시한다. 그러한 화질 보정 처리는 촬영부(2A,2B)의 화각의 차이, 촬영부(2A,2B)의 줌 배율의 차이, CCD의 회전에 의한 화상의 차이, 촬영부(2A,2B)가 폭주각(α)을 가져서 피사체를 촬영함으로써 야기되는 사다리꼴 왜곡을 보정하는 보정 처리, 및 화이트 밸런스를 조정하는 처리, 계조 보정, 샤프니스 보정, 및 색보정 처리를 포함한다. 화상 처리부(4)에 있어서의 처리후의 원화상(L1,R1)에 대해서도 동일 부호(L1, R1)를 이용한다.
보간 화상 생성부(5)는 촬영에 의해 취득된 원화상(L1,R1) 또는 미리 촬영에 의해 취득되어 미디어(10A)에 기록된 원화상(L1,R1)으로부터 하나 이상의 보간 화상을 생성한다. 본 실시형태에 있어서는, 보간 화상 생성부(5)는 후술하는 바와 같이 원화상(L1,R1) 및 보간 화상으로 이루어지는 동화상을 30프레임/초의 프레임 레이트에 의해 재생했을 경우에 미리 정해진 소정 시간(t) 재생가능한 몇몇 보간 화상(m)을 생성한다.
보간 화상 생성부(5)는 30×t≤m+2의 관계를 충족시키는 최소값(m)을 보간수로서 취득한다. 예를 들면, t=2인 경우 60프레임의 원화상(L1,R1) 및 보간 화상이 필요하기 때문에 m=58이 된다. 이 경우, 보간 화상 생성부(5)는 58개의 보간 화상을 생성한다.
도 5는 보간 화상의 생성을 예시한다. 도 5에 나타낸 바와 같이, 보간 화상 생성부(5)는 원화상(L1,R1)으로부터 m개의 보간 화상(H1~Hm)(도 5에 있어서는 m=4)을 생성한다. 보간 화상 생성부(5)는 보간 화상(Hk)을 촬영에 의해 취득했다고 가정했을 경우에 있어서의 원화상(L1) 및 보간 화상(H1)을 취득한 촬영부간의 폭주각, 보간 화상(Hk)(k=1~m) 및 보간 화상(Hk+1)을 취득한 촬영부간의 폭주각, 및 보간 화상(Hm) 및 원화상(R1)을 취득한 촬영부간의 폭주각이 각각 대응하도록 보간 화상(H1~Hm)을 생성한다.
여기서, 보간 화상 생성부(5)는 원화상(L1,R1)에 포함되는 대응하는 화소간의 시차가 점차 감소되도록 원화상(L1,R1)을 모핑(morphing)함으로써 보간 화상(H1,H2)을 생성한다. 구체적으로는, 좌우의 화상에 있어서 서로 대응하는 대응점을 검출하고, 대응점을 직선 또는 곡선으로 연결하고, 직선 또는 곡선을 분할해서 유사 대응점을 산출하고, 원화상(L1,R1)을 유사 대응점에 대응시키도록 변형함으로써 보간 화상(H1,H2)을 생성한다. 또한, 일본 특허 공개 2002-190020호 공보 등에 기재된 공지의 임의의 수법을 이용하는 것도 가능하다.
모핑 기술을 사용하는 대신에 원화상(L1,R1)에 포함되는 피사체의 입체 형상 모델을 작성함으로써 보간 화상을 생성할 수 있다. 입체 형상 모델은 원화상(L1,R1) 사이의 대응점을 취득하고, 대응점 사이의 시차에 의거해서 삼각측량의 원리에 의해 촬영 위치로부터 피사체의 대응점까지의 거리를 산출함으로써 작성될 수 있다. 여기에서, 촬영시에 있어서는 피사체의 각 점과 촬영부(2A,2B)의 초점을 잇는 직선이 교차하는 화상 투영면[촬영부(2A,2B)의 CCD(23A,23B)의 촬상면에 상당하는 면] 상의 점이 집합이 투영 화상, 즉 원화상(L1,R1)이 된다. 도 6은 입체 형상 모델과 원화상(L1,R1)을 얻은 화상 투영면의 관계를 예시한다. 여기에서는 설명을 위한 입체 형상 모델은 입방체이다. 따라서, 도 6에 나타낸 바와 같이, 원화상(L1,R1)의 화상 투영면 사이에 있어서 보간수에 상당하는 가상적인 화상 투영면(T)을 설정하고(도 6에 있어서는 1), 가상적인 화상 투영면(T) 각각으로의 투영 화상을 취득함으로써 보간 화상을 생성할 수 있다.
동화상 생성부(6)는 원화상(L1,R1) 및 m개의 보간 화상(Hk)(k=1~m)을 시점순으로 배치하는 동화상(D0)을 생성한다. 시점 순서는, 예를 들면 시점을 우측에서 좌측으로 또는 그 역일 수 있다.
파일 생성부(7)는 원화상(L1,R1)의 화상 데이터에 대하여, 예를 들면 JPEG 등의 압축 형식으로 압축을 행함으로써 3차원 표시용의 3차원 화상 파일(F0)을 생성한다. 또한, 파일 생성부(7)는 동화상(D0)의 화상 데이터에 대하여 모션 JPEG, MPEG 등의 공지의 임의의 압축 형식으로 압축을 행함으로써 동화상 파일(M0)을 생성한다. 또한, 이것과 함께, 파일 생성부(7)는 3차원 화상 파일(F0) 및 동화상 파일(M0)을 관련시키는 관련 정보 파일(R0)을 생성한다.
도 7은 본 실시형태에 있어서의 3차원 화상 파일의 파일 구성을 예시한다. 도 7에 나타낸 바와 같이, 3차원 화상 파일(F0)은 원화상(L1)의 헤더 영역[헤더(1)](40), 원화상(L1)의 화상 데이터 영역(41), 원화상(R1)의 헤더 영역[헤더(2)](42), 및 원화상(R1)의 화상 데이터 영역(43)을 이 순서로 배열해서 포함한다.
원화상(L1)의 헤더 영역(40)는 어드레스 개시 위치, 속성 정보 및 부대 정보를 헤더 정보로서 포함한다. 어드레스 개시 위치는 리스트로서 기술된 원화상(R1)의 헤더 영역(42)의 어드레스의 시작 위치이다. 속성 정보는 시점 순서, 화상 식별 코드, 대표 화상 플래그 및 촬영 조건 정보를 포함한다. 여기에서, 시점 순서는 원화상(L1,R1)을 왼쪽에서 보았을 때의 시점 순서이며, 즉 원화상(L1) 및 원화상(R1) 각각은 각각 시점 순서 1,2를 갖는다. 또한, 화상 식별 코드는 헤더 영역에 대응하는 화상 데이터 영역에 격납되는 화상이 원화상, 보간 화상, 또는 동화상인지를 나타내는 정보이며, 화상 식별 코드 1, 2, 및 3은 원화상, 보간 화상, 동화상에 제공된다. 또한, 대표 화상 플래그는 화상 파일(F0)을 다른 화상 파일과 함께 섬네일 화상의 일람에 표시했을 때에 섬네일 화상으로서 화상 파일(F0)을 사용하는지의 여부를 나타내는 플래그이다. 여기에서는 대표 화상 플래그는 "무효"로 설정되어 있다. 촬영 조건 정보는 촬영부(2A,2B)의 폭주각(α) 및 기선 길이(K)의 정보이며, ROM(13C)에 기억된 것을 사용할 수 있다. 원화상(L1)은 1의 시점 순서, 및 원화상을 나타내는 1의 화상 식별 코드를 갖는다. 부대 정보는 촬영 일시 등의 정보를 포함한다.
원화상(R1)의 헤더 영역(42)는 원화상(R1)의 속성 정보를 포함하고, 즉 시점 순서(=2), 화상 식별 코드(=1) 및 대표 화상 플래그(="무효")는 헤더 정보로서 기술된다.
도 8은 본 실시형태에 있어서의 동화상 파일의 파일 구성을 예시한다. 도 8에 나타낸 바와 같이, 동화상 파일(M0)은 동화상의 헤더 영역(50) 및 동화상 화상 데이터 영역(51)을 이 순서로 배열해서 포함한다.
동화상의 헤더 영역(50)에는 속성 정보 및 부대 정보를 헤더 정보로서 포함한다. 속성 정보는 화상 식별 코드 및 대표 화상 플래그를 포함한다. 여기에서, 3의 값은 화상 식별 코드가 동화상인 것부터 할당되어 있다. 또한, 대표 화상 플래그는 "유효"로 설정되어 있다. 부대 정보는 동화상의 작성 일시 등의 정보를 포함한다.
도 9는 관련 정보 파일의 기술 내용을 예시한다. 도 9에 나타낸 바와 같이, 관련 정보 파일(R0)은 서로 관련되는 3차원 화상 파일(F0) 및 동화상 파일(M0)의 파일명을 늘어놓아서 기술되어 있는 텍스트 화일이다. 3차원 화상 파일(F0)의 파일명, 대표 화상인 것을 의미하는 IDX의 문자 및 동화상 파일(MO)의 파일명은 관련되는 파일 단위로 기술되어 있다. 즉, 도 9의 기술을 참조함으로써 파일명이 ST1_O01.JPG의 3차원 화상 파일(F0)은 그 대표 화상인 파일명이 IDX_001.MPG의 동화상 파일(MO)과 관련되고, 파일명이 ST1_002.JPG의 3차원 화상 파일(FO)은 그 대표 화상인 파일명이 IDX_002.MPG의 동화상 파일(M0)과 관련되어 있다. 관련 정보 파일(R0)의 기술 내용은 3차원 화상 파일(F0) 및 동화상 파일(M0)이 생성될 때마다 갱신된다. 관련 정보 파일(RO)의 파일명은, 예를 들면 FL_MNG.TXT가 이용된다.
본 실시형태에 있어서는, 3차원 화상 파일(F0) 및 동화상 파일(M0)의 파일명은 일부 공통되어 있다. 이 때문에, 관련 정보 파일(R0)을 생성하지 않고, 파일명에만 의거해서 공통 파일명이 부여되어 있는 3차원 화상 파일(F0) 및 동화상 파일(M0)을 서로 관련시킬 수 있다.
3차원 화상 생성부(8)는 원화상(L1,R1)을 표시부(12)에 있어서 입체시가 가능하도록 3차원 처리해서 3차원 화상을 생성한다. 3차원 처리 타입은 입체시의 방법 및 표시부(12)가 3D액정 디스플레이인지의 여부에 의존하지만, 3차원 처리는 한 쌍의 화상(즉, 인접하는 화상 순서의 화상)의 색을, 예를 들면 빨강과 파랑을 다르게 해서 서로의 상부에 중첩시키거나(애너글리프 방식), 한 쌍의 화상의 편광 방향을 다르게 해서 서로의 상부에 중첩시키거나(편광 필터 방식), 또는 한 쌍의 화상을 1라인마다 교대로 조합시킴으로써(파라락스 배리어 방식 및 렌디큘러 방식) 수행될 수 있다.
프레임 버퍼(9)는 표시부(12)에 표시되는 화상을 일시적으로 격납하는 기억부이다.
미디어 제어부(10)는 기록 미디어(10A)에 액세스해서 3차원 화상 파일(F0), 동화상 파일(M0) 및 관련 정보 파일(R0)의 읽기/쓰기를 수행한다.
제어부(13)는 CPU(13A), 후술하는 바와 같이 보간 화상을 생성할 경우, 3차원 화상을 생성할 경우, 화상 파일을 생성할 경우 및 3차원 화상을 표시할 경우 등의 장치(1)가 각종 처리를 행할 때의 작업 영역이 되는 RAM(13B), 및 장치(1)의 동작 프로그램 및 각종 정수 등을 기억한 ROM(13C)을 구비하고, 장치(1)의 각 부의 동작을 제어한다.
본 실시형태에 있어서 행하여지는 처리가 설명될 것이다. 도 10은 본 실시형태에 있어서 파일 생성시에 행하여지는 처리를 나타내는 플로우차트이다. 동화상의 재생 시간(t)은 입력부(11)로부터 미리 입력되어 있는 것으로 한다. 촬영의 지시가 입력부(11)로부터 행하여짐으로써 제어부(13)는 처리를 개시하고, 촬영부(2A,2B)가 원화상(L1,R1)을 각각 취득한다(스텝ST1). 화상 처리부(4)는 원화상(L1,R1)에 대하여 화상 처리를 실시한다.
이어서, 보간 화상 생성부(5)는 t의 값에 의거해서 보간수(m)를 산출하고(스텝ST2), m개의 보간 화상을 원화상(L1,R1)으로부터 생성한다(스텝ST3). 그 다음, 동화상 생성부(6)는 원화상(L1,R1) 및 보간 화상(Hk)으로부터 동화상(D0)을 생성한다(스텝ST4). 파일 생성부(7)는 원화상(L1,R1)으로부터의 3차원 화상 파일(F0), 동화상(D0)로부터의 동화상 파일(M0), 및 관련 정보 파일(R0)을 생성한다(스텝ST5). 이어서, 미디어 제어부(10)는 3차원 화상 파일(F0), 동화상 파일(M0) 및 관련 정보 파일(R0)을 미디엄(10A)에 기록하고(스텝ST6), 처리를 종료한다.
3차원 화상 파일(F0), 동화상 파일(M0) 및 관련 정보 파일(R0)은 도 11에 나타낸 순서로 미디엄(10A)에 기록된다.
그 다음, 미디엄(10A)에 본 실시형태에 의해 생성된 3차원 화상 파일(F0) 및 동화상 파일(M0)을 포함하는 각종 화상 파일이 기록되었을 경우에 있어서의 미디어(10A)에 기록된 화상의 섬네일 화상의 일람을 표시부(12)에 표시할 경우의 처리가 설명될 것이다. 도 12는 섬네일 화상의 일람의 표시시에 행하여지는 처리를 나타내는 플로우차트이다. 섬네일 화상 일람의 표시 지시가 입력부(11)로부터 행하여짐으로써 제어부(13)는 처리를 개시하고, 미디엄 제어부(10)는 처리 대상 파일명을 최초 화상 파일에 설정하고(i=1, 스텝ST11), 대상 화상 파일을 미디어(10A)로부터 판독한다(스텝ST12).
그 다음, 제어부(13)는 판독된 화상 파일 헤더를 참조하고, 판독된 화상 파일이 3차원 화상 파일인지의 여부를 판정한다(스텝ST13). 스텝ST13이 긍정되면 제어부(13)는 관련 정보 파일(R0)을 참조하고, 대상 화상 파일과 관련된 동화상 파일(M0)이 미디어(10A)에 기록되어 있는 지의 여부를 판정한다(스텝ST14). 스텝ST14가 긍정되면 제어부(13)는 동화상 파일(M0)을 해동하고, 일람 표시용에 동화상 파일(M0)을 축소해서 일람 표시용의 섬네일 동화상을 생성한다(스텝ST15). 이어서, 제어부(13)는 섬네일 동화상을 일람 화면 상에 레이아웃해서 엔드리스 재생한다(스텝ST16).
한편, 스텝ST13이 부정되면 제어부(13)는 그 화상 파일의 섬네일 화상을 생성하고(스텝ST17), 이어서 섬네일 화상을 일람 화면 상에 레이아웃해서 표시한다(스텝ST18). 스텝ST14가 부정되면 처리는 스텝ST17로 진행된다.
스텝ST16 또는 스텝ST18에 계속해서, 표시된 섬네일 화상 또는 섬네일 동화상의 수가 인덱스 화면에 표시가능한 미리 정해진 수(Th1)에 도달했는 지의 여부가 판정되고(스텝ST19), 스텝ST19가 부정되면 미디어(10A)에 기록된 모든 화상이 일람 화면에 표시되었는 지의 여부가 판정된다(스텝ST20). 스텝ST20이 부정되면 처리 대상이 다음 화상 파일로 설정되고(i=i+1,스텝ST21), 이어서 처리가 스텝ST12로 리턴되고 스텝ST12 이후의 처리가 반복된다. 스텝ST19 또는 스텝ST20이 긍정되면 처리가 종료된다.
도 13은 본 실시형태에 의해 표시되는 섬네일 화상의 일람 화면을 예시한다. 도 13에 나타낸 바와 같이, 미디어(10A)에 기록되어 있는 화상 파일의 섬네일 화상이 표시된다. 표시된 복수의 섬네일 화상에 있어서, 3차원 화상 파일(F0) 및 동화상 파일(M0)이 관련되어 있는 것에 대해서는 동화상이 엔드리스 재생된다. 도 13에 있어서는 동화상이 재생되어 있는 섬네일 화상이 사선으로 지시되어 있다.
상술한 바와 같이, 본 실시형태에 있어서는 원화상(L1,R1)으로부터 원화상(L1,R1)의 시점을 보간하는 보간 화상(Hk)을 생성하고, 그 다음 원화상(L1,R1) 및 보간 화상(Hk)을 시점순으로 배치하는 동화상(D0)을 생성하고, 3차원 화상 파일(F0) 및 동화상 파일(M0)을 서로 관련시켜 보존한다. 이 때문에, 3차원 화상 파일(F0)에 대해서는 미디어(10A)에 기록된 화상 파일의 섬네일 화상의 일람 화면상에 있어서의 표시시에 동화상을 재생함으로써 피사체를 보는 시점이 순차 변경되는 씬이 재생된다. 이 때문에, 특히 복수의 3차원 화상 파일(F0) 및 2차원 화상의 화상 파일이 혼재해서 미디어(10A)에 기록되어 있는 경우에 있어서 섬네일 화상의 일람을 본 유저는 어느 화상이 3차원 화상인 지를 용이하게 인식할 수 있다.
또한, 동화상이 소정 시간(t) 재생되도록 보간 화상(Hk)의 수를 설정함으로써 소정 시간의 동화상을 재생할 수 있다.
또한, 원화상(L1,R1) 및 동화상(D0)을 상이한 파일의 3차원 화상 파일(F0) 및 동화상 파일(M0)로서 보존하고, 그 다음 3차원 화상 파일(F0) 및 동화상 파일(M0)이 서로 관련되고, 동화상(D0)이 원화상(L1,R1)을 대표하는 화상인 것을 나타내는 정보를 포함하는 관련 정보 파일(R0)을 보존한다. 이것은 동화상 파일(M0)을 퍼스널 컴퓨터 등으로 용이하게 취급될 수 있는 범용 파일 형식으로 생성할 수 있게 한다. 그러므로, 동화상을 용이하게 재생할 수 있다.
상기 실시형태에 있어서는, 3차원 화상 파일(F0) 및 동화상 파일(M0)을 별개에 보존하고 있지만, 원화상(L1,R1)의 화상 데이터 및 동화상의 화상 데이터를 포함하는 1개의 파일을 생성할 수 있다.
도 14는 원화상(L1,R1) 및 동화상을 격납하는 파일의 파일 구성을 예시한다. 도 14에 나타낸 바와 같이, 화상 파일(F1)은 원화상(L1)의 헤더 영역(헤더1)(70), 원화상(L1)의 화상 데이터 영역(71), 원화상(R1)의 헤더 영역(헤더2)(72), 원화상(R1)의 화상 데이터 영역(73), 동화상의 헤더 영역(헤더3)(74) 및 동화상의 화상 데이터 영역(75)을 이 순서로 배열해서 포함한다.
원화상(L1)의 헤더 영역(70)은 어드레스 개시 위치, 속성 정보 및 부대 정보를 헤더 정보로서 포함한다. 어드레스 개시 위치는 리스트로서 기술된 원화상(R1)의 헤더 영역(72)의 어드레스 개시 위치이다. 속성 정보는 시점 순서, 화상 식별 코드, 대표 화상 플래그 및 촬영 조건 정보를 포함한다. 여기에서 대표 화상 플래그는 "무효"로 설정되어 있다.
원화상(R1)의 헤더 영역(72)은 원화상(R1)의 속성 정보, 즉 시점 순서(=2), 화상 식별 코드(=1) 및 대표 화상 플래그(="무효")가 헤더 정보로서 기술된 것을 포함한다.
동화상 헤더 영역(74)은 동화상의 속성 정보 및 부대 정보를 헤더 정보로서 포함한다. 속성 정보는 화상 식별 코드(=3) 및 대표 화상 플래그를 포함한다. 여기에서 대표 화상 플래그는 "유효"로 설정되어 있다.
상술한 바와 같이, 원화상(L1,R1) 및 동화상을 1개의 화상 파일(F1)로서 보존할 경우라도 섬네일 화상의 재생시에 화상 파일(F1)의 헤더1,2,3의 기술을 참조함으로써 대표 화상 플래그가 "유효"로 설정되어 있는 동화상(D0)을 섬네일 동화상으로서 엔드리스 재생할 수 있다.
상기 실시형태에 있어서는, 원화상(L1,R1)의 촬영에 이어서 동화상을 생성하고 있다. 또한, 미리 미디어(10A)에 기록된 원화상(L1,R1)을 판독하고, 동화상(D0)을 생성할 수 있다.
또한, 상기 실시형태에 있어서는, 원화상 파일(F0) 및 화상 파일(F1)은 원화상(L1,R1)의 화상 데이터만을 포함하고 있지만, 그 파일은 보간 화상(Hk)의 화상 데이터를 포함할 수도 있다.
또한, 상기 실시형태에 있어서는, 본 발명에 의한 화상 처리 장치는 촬영부(2A,2B)를 구비한 복안 촬영 장치에 적용되지만, 그 장치는 단독으로 제공될 수 있다. 이 경우, 동일한 피사체를 다른 복수의 위치에 있어서 촬영함으로써 취득된 복수의 화상이 화상 처리 장치에 입력되고, 상기 실시형태와 같이 원화상 파일(F0) 및 동화상 파일(M0)이 작성된다. 이 경우, 촬영에 의해 취득된 원화상(L1,R1)뿐만아니라, 예를 들면 컴퓨터 그래픽스에 의해 작성된 원화상을 이용해서 보간 화상을 생성할 경우에도 상기 실시형태와 같이 원화상 파일(F0) 및 동화상 파일(M0)을 생성할 수 있다.
이상, 본 발명의 실시형태에 의한 장치(1)가 설명되었지만, 컴퓨터를 상기 보간 화상 생성부(5), 동화상 생성부(6) 및 파일 생성부(7)에 대응하는 수단으로서 기능시켜, 도 10, 도 12에 나타낸 것과 같은 처리를 행하게 하는 프로그램도 본 발명의 다른 실시형태이다. 또한, 그러한 프로그램을 기록한 컴퓨터 판독가능한 기록 매체도 본 발명의 또 다른 실시형태이다.

Claims (10)

  1. 피사체를 상이한 시점으로부터 본 3차원 화상 생성용의 복수의 원화상을 취득하는 화상 취득 수단;
    적어도 상기 복수의 원화상 사이의 시점을 보간하는 하나 이상의 보간 화상을 생성하는 보간 화상 생성 수단;
    상기 복수의 원화상 및 상기 하나 이상의 보간 화상의 적어도 일부를 시점순으로 배치하는 동화상을 생성하는 동화상 생성 수단; 및
    상기 복수의 원화상 및 상기 동화상을 서로 관련시켜 보존하는 보존 수단을 구비한 것을 특징으로 하는 화상 처리 장치.
  2. 제 1 항에 있어서,
    상기 보간 화상 생성 수단은 상기 동화상이 소정 시간 재생되도록 상기 보간 화상의 수를 설정하는 수단인 것을 특징으로 하는 화상 처리 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 보존 수단은 상기 복수의 원화상 및 상기 동화상을 개별 화상 파일로서 보존함과 아울러 상기 복수의 원화상의 화상 파일 및 상기 동화상의 화상 파일이 서로 관련되고 상기 동화상이 상기 복수의 원화상을 대표하는 화상인 것을 나타내는 정보를 포함하는 관련 정보 파일을 보존하는 수단인 것을 특징으로 하는 화상 처리 장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 보존 수단은 상기 복수의 원화상 및 상기 동화상을 상기 동화상이 상기 복수의 원화상을 대표하는 화상인 것을 나타내는 정보를 포함하는 1개의 화상 파일로서 보존하는 수단인 것을 특징으로 하는 화상 처리 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 기재된 화상 처리 장치에 의해 보존된 복수의 원화상을 포함하는 각종 화상을 재생하는 화상 재생 장치로서:
    상기 복수의 원화상으로부터 생성되는 3차원 화상을 2차원 표시하는 지시가 수신되었을 경우 상기 동화상을 재생하는 재생 수단을 구비한 것을 특징으로 하는 화상 재생 장치.
  6. 제 5 항에 있어서,
    상기 재생 수단은 상기 동화상을 엔드리스 재생하는 수단인 것을 특징으로 하는 화상 재생 장치.
  7. 피사체를 상이한 시점으로부터 본 3차원 화상 생성용의 복수의 원화상을 취득하는 스텝;
    적어도 상기 복수의 원화상 사이의 시점을 보간하는 하나 이상의 보간 화상을 생성하는 스텝;
    상기 복수의 원화상 및 상기 하나 이상의 보간 화상의 적어도 일부를 시점순으로 배치하는 동화상을 생성하는 스텝; 및
    상기 복수의 원화상 및 상기 동화상을 서로 관련시켜 보존하는 스텝을 구비하는 것을 특징으로 하는 화상 처리 방법.
  8. 제 7 항에 기재된 화상 처리 방법에 의해 보존된 복수의 원화상을 포함하는 각종 화상을 재생하는 화상 재생 방법으로서:
    상기 복수의 원화상으로부터 생성되는 3차원 화상을 2차원 표시하는 지시가 수신되었을 경우 상기 동화상을 재생하는 것을 특징으로 하는 화상 재생 방법.
  9. 피사체를 상이한 시점으로부터 본 3차원 화상 생성용의 복수의 원화상을 취득하는 스텝;
    적어도 상기 복수의 원화상 사이의 시점을 보간하는 하나 이상의 보간 화상을 생성하는 스텝;
    상기 복수의 원화상 및 상기 하나 이상의 보간 화상의 적어도 일부를 시점순으로 배치하는 동화상을 생성하는 스텝; 및
    상기 복수의 원화상 및 상기 동화상을 서로 관련시켜 보존하는 스텝을 구비하는 것을 특징으로 하는 화상 처리 방법을 컴퓨터에 실행시키기 위한 프로그램.
  10. 제 7 항에 기재된 화상 처리 방법에 의해 보존된 복수의 원화상을 포함하는 각종 화상을 재생하는 화상 재생 방법을 컴퓨터에 실행시키기 위한 프로그램으로서:
    상기 화상 재생 방법은 상기 복수의 원화상으로부터 생성되는 3차원 화상을 2차원 표시하는 지시가 수신되었을 경우 상기 동화상을 재생하는 것을 특징으로 하는 프로그램.
KR1020117009352A 2008-10-09 2009-10-08 화상 처리 장치 및 방법, 화상 재생 장치 및 방법, 그리고 프로그램 KR101615152B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-262818 2008-10-09
JP2008262818A JP5144456B2 (ja) 2008-10-09 2008-10-09 画像処理装置および方法、画像再生装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
KR20110082531A true KR20110082531A (ko) 2011-07-19
KR101615152B1 KR101615152B1 (ko) 2016-04-25

Family

ID=42100411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117009352A KR101615152B1 (ko) 2008-10-09 2009-10-08 화상 처리 장치 및 방법, 화상 재생 장치 및 방법, 그리고 프로그램

Country Status (7)

Country Link
US (1) US20110193937A1 (ko)
EP (1) EP2332341A4 (ko)
JP (1) JP5144456B2 (ko)
KR (1) KR101615152B1 (ko)
CN (1) CN102177722A (ko)
BR (1) BRPI0920871A2 (ko)
WO (1) WO2010041450A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2970573B1 (fr) * 2011-01-18 2013-08-09 Inst Telecom Telecom Bretagne Dispositif de capture d'images stereoscopiques
ITTO20110653A1 (it) * 2011-07-20 2013-01-21 Inst Rundfunktechnik Gmbh Apparecchio visore per la visualizzazione di immagini 3d
JP6019729B2 (ja) * 2012-05-11 2016-11-02 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2014123787A (ja) * 2012-12-20 2014-07-03 Sony Corp 画像処理装置、画像処理方法、および、プログラム
WO2016199381A1 (en) * 2015-06-08 2016-12-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP6931268B2 (ja) * 2015-06-08 2021-09-01 キヤノン株式会社 画像処理装置および画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963204A (en) * 1996-09-20 1999-10-05 Nikon Corporation Electronic camera with reproduction and display of images at the same timing
JP3790871B2 (ja) 1996-09-26 2006-06-28 株式会社ニコン 画像再生装置
EP0896301A1 (en) * 1997-08-06 1999-02-10 Victor Company Of Japan, Limited Stereoscopic image interpolating apparatus and method
JP3387900B2 (ja) * 2000-09-14 2003-03-17 キヤノン株式会社 画像処理方法及び装置
JP2002190020A (ja) * 2000-12-20 2002-07-05 Monolith Co Ltd 映像効果方法および装置
JP2004048644A (ja) * 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
JP4635477B2 (ja) * 2003-06-10 2011-02-23 カシオ計算機株式会社 画像撮影装置、擬似３次元画像生成方法、及び、プログラム
JP2008096721A (ja) * 2006-10-12 2008-04-24 Victor Co Of Japan Ltd 撮像装置
JP4457316B2 (ja) * 2006-12-01 2010-04-28 富士フイルム株式会社 画像再生装置及び方法
JP4686795B2 (ja) * 2006-12-27 2011-05-25 富士フイルム株式会社 画像生成装置及び画像再生装置

Also Published As

Publication number Publication date
KR101615152B1 (ko) 2016-04-25
BRPI0920871A2 (pt) 2018-06-26
US20110193937A1 (en) 2011-08-11
WO2010041450A1 (en) 2010-04-15
JP5144456B2 (ja) 2013-02-13
EP2332341A4 (en) 2012-05-09
EP2332341A1 (en) 2011-06-15
CN102177722A (zh) 2011-09-07
JP2010093626A (ja) 2010-04-22

Similar Documents

Publication Publication Date Title
JP4669032B2 (ja) 画像処理装置および方法並びにプログラム
JP5249149B2 (ja) 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム
US8384802B2 (en) Image generating apparatus and image regenerating apparatus
JP5002047B2 (ja) 立体画像データ再生装置
JP2010081010A (ja) ３次元撮影装置および方法並びにプログラム
JP5446949B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5647740B2 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
JP5420076B2 (ja) 再生装置、複眼撮像装置、再生方法及びプログラム
US9521395B2 (en) Imaging apparatus and method for controlling same
KR101615152B1 (ko) 화상 처리 장치 및 방법, 화상 재생 장치 및 방법, 그리고 프로그램
JP2011024003A (ja) 立体動画記録方法および装置、動画ファイル変換方法および装置
JP4657258B2 (ja) 立体画像表示装置およびその方法
WO2012101916A1 (ja) 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法
JP2013247543A (ja) 撮像装置、表示装置、および画像処理方法、並びにプログラム
JP4619412B2 (ja) 立体画像記録再生システム
JP4173684B2 (ja) 立体画像作成装置
JP2005229280A (ja) 画像処理装置および方法並びにプログラム
JP2010102137A (ja) ３次元撮影装置および方法並びにプログラム
JP5243562B2 (ja) 画像処理装置および方法並びにプログラム
JP2014090252A (ja) 画像処理装置およびその制御方法、撮像装置およびその制御方法、並びに画像処理プログラム
JP5462722B2 (ja) 立体撮像装置、立体画像表示装置、及び立体感調整方法
JP2012060346A (ja) 立体画像撮影装置
JP2012215980A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee