JPWO2011136190A1 - 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 - Google Patents
立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 Download PDFInfo
- Publication number
- JPWO2011136190A1 JPWO2011136190A1 JP2012512838A JP2012512838A JPWO2011136190A1 JP WO2011136190 A1 JPWO2011136190 A1 JP WO2011136190A1 JP 2012512838 A JP2012512838 A JP 2012512838A JP 2012512838 A JP2012512838 A JP 2012512838A JP WO2011136190 A1 JPWO2011136190 A1 JP WO2011136190A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- viewpoint
- stereoscopic
- maximum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 80
- 238000000034 method Methods 0.000 title claims description 26
- 238000012545 processing Methods 0.000 claims description 78
- 230000004927 fusion Effects 0.000 claims description 39
- 241000282412 Homo Species 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 20
- 238000007906 compression Methods 0.000 description 19
- 239000003550 marker Substances 0.000 description 19
- 230000006835 compression Effects 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 15
- 239000004973 liquid crystal related substance Substances 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
第1の実施形態に係る3D画像ファイルについて説明する。
第1の実施形態では、2視点から撮影した2枚の視点画像を例に説明したが、本発明に係る立体画像の視点の数は2点に限られず、多視点の視点画像であってもよい。
第2の実施形態のような多視点画像は、全てが実際に撮影された画像である必要はなく、仮想視点に対応した仮想視点画像を含んでいてもよい。
想定したサイズのディスプレイに表示すると、遠景側の視差量が人間の両眼間隔を超えると判断した場合に、当該サイズのディスプレイに表示しても立体視が可能になるように画像の視差量を調整してから記録するようにしてもよい。
次に、このように記録された3D画像ファイルを読み出して再生表示する処理について、図14のフローチャートを用いて説明する。
また、上記のように視差ずらし又は視差圧縮して生成された画像を、3D画像ファイルに記録してもよい。図16に、3D画像ファイルに記録する処理を行う場合のフローチャートを示す。
視差圧縮の処理(仮想視点画像の生成)にはある程度の時間を要するため、すぐには視差圧縮後の画像を表示することができず、視認者に煩わしさを感じさせる可能性がある。本実施形態では、視差圧縮処理を行っている間に、3Dディスプレイに2D表示を行わせる。
これまでの実施形態では、最大視差量(遠景)に基づいて視差量の調整を行い、3D表示を行っているが、視差量の調整として視差ずらしを行うと、近景側の視差量が増大するという欠点がある。したがって、視差ずらしを行う場合には、最大視差量(近景)を考慮して表示を行ってもよい。
次に、上記の実施形態を実現するための装置について説明する。
図21は上記立体撮像装置10の内部構成を示すブロック図である。
White Balance:自動ホワイトバランス)検出部50、VRAM52、RAM54、ROM56、及びEEPROM58等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の2枚の視差画像を撮像するが、撮像部20は、3つ以上あってもよい。
なお、第5〜第8の実施形態については、撮像部を有しない立体画像再生装置において実現することも可能である。
Claims (13)
- 立体視用の複数の視点画像と、該複数の視点画像に対する付属情報であって、前記複数の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された3次元画像ファイルを読み取り、該3次元画像ファイルから前記複数の視点画像及び付属情報を取得する第1の取得手段と、
出力先の立体ディスプレイのディスプレイサイズを取得する第2の取得手段と、
前記取得された前記立体ディスプレイのディスプレイサイズと前記最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいか否かを判別する判別手段と、
前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記第1の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の少なくとも遠景側の視差が小さくなる複数の視点画像を生成する画像処理手段と、
前記判別手段により前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記画像処理手段により生成された視点画像を前記立体ディスプレイに出力し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズ以下と判別されると、前記第1の取得手段により取得された視点画像を前記立体ディスプレイに出力する出力手段と、
を備えたことを特徴とする立体画像再生装置。 - 立体視用の複数の視点画像と、該複数の視点画像における遠景側の最大視差量を含む付属情報とが記録された3次元画像ファイルを読み取り、該3次元画像ファイルから前記複数の視点画像及び付属情報を取得する第1の取得手段と、
出力先の立体ディスプレイのディスプレイサイズを取得する第2の取得手段と、
前記取得した遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する判別手段と、
前記判別手段により両眼融合不能と判別されると、前記第1の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の遠景側の視差が小さくなる複数の視点画像を生成する画像処理手段と、
前記判別手段により両眼融合不能と判別されると、前記画像処理手段により生成された視点画像を前記立体ディスプレイに出力し、前記両眼融合可能と判別されると、前記第1の取得手段により取得された視点画像を前記立体ディスプレイに出力する出力手段と、
を備えたことを特徴とする立体画像再生装置。 - 前記判別手段は、前記取得した遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズとに基づいて、前記複数の視点画像を前記立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出手段を有し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越えるか否かより両眼融合可能か否かを判別することを特徴とする請求項2に記載の立体画像再生装置。
- 前記画像処理手段は、前記立体ディスプレイ上での前記複数の視点画像の遠景側の最大視差量を、人間の両眼間隔を示す所定値以下とする前記複数の視点画像間の視差ずらしを実施し、該視差ずらしされた視点シフト画像を生成することを特徴とする請求項1から3のいずれかに記載の立体画像再生装置。
- 前記3次元画像ファイルの付属情報は、前記複数の視点画像における近景側の最大視差量を含み、
前記立体ディスプレイ上での前記複数の視点画像の近景側の最大視差量と前記視点シフト画像の前記立体ディスプレイ上でのずらし量とを加算する加算手段と、
前記加算された近景側の最大視差量に対応する画像ずれ量が前記立体ディスプレイに表示される際に両眼融合限界を越えるか否かを判別する判別手段と、を備え、
前記出力手段は、前記判別手段により画像ずれ量が両眼融合限界を越えると判別されると、前記第1の取得手段により取得された複数の視点画像のうちのいずれか1つを前記立体ディスプレイに出力して2次元画像を表示させることを特徴とする請求項4に記載の立体画像再生装置。 - 前記画像処理手段は、前記第1の取得手段により取得された複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記第1の取得手段により取得された複数の視点画像のうちの少なくとも1つの視点画像と前記視差量算出手段により算出された視差量とに基づいて任意の仮想視点に対応する1又は複数の仮想視点画像を生成する仮想視点画像生成手段と、を有することを特徴とする請求項1又は2に記載の立体画像再生装置。
- 前記出力手段は、前記判別手段により前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別され、又は前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越えると判別されると、前記第1の取得手段により取得された複数の視点画像のうちのいずれか1つを前記立体ディスプレイに出力して2次元画像を表示させ、その後、前記画像処理手段により前記仮想視点画像が生成されると、前記2次元画像に代えて前記仮想視点画像を出力することを特徴とする請求項6に記載の立体画像再生装置。
- 前記複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の表示用画像を生成する表示用画像生成手段を備え、
前記画像処理手段は、前記第1の取得手段により取得した複数の視点画像の代わりに前記生成された複数の表示用画像を使用して、該複数の表示用画像間の少なくとも遠景側の視差が小さくなる複数の表示用画像を生成し、
前記出力手段は、前記表示用画像生成手段により生成された表示用画像、又は前記画像処理手段により生成された表示用画像を前記立体ディスプレイに出力することを特徴とする請求項1から7のいずれかに記載の立体画像再生装置。 - 前記画像処理手段により生成された視点画像及び前記表示用画像生成手段により生成された表示用画像のうちの少なくとも一方を、前記3次元画像ファイルに追記し又は上書きする記録手段を備えたことを特徴とする請求項1から8のいずれかに記載の立体画像再生装置。
- 複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、
前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得手段と、
前記複数の視点画像が記録される3次元画像ファイルを生成し、該3次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記3次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記3次元画像ファイルに記録する記録手段と、
請求項1から9のいずれかに記載の立体画像再生装置と、
を備えたことを特徴とする立体撮像装置。 - 前記出力先の立体ディスプレイと、
請求項1から9のいずれかに記載の立体画像再生装置と、
を備えたことを特徴とする立体ディスプレイ装置。 - 立体視用の複数の視点画像と、該複数の視点画像に対する付属情報であって、前記複数の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された3次元画像ファイルを読み取り、該3次元画像ファイルから前記複数の視点画像及び付属情報を取得する第1の取得工程と、
出力先の立体ディスプレイのディスプレイサイズを取得する第2の取得工程と、
前記取得された前記立体ディスプレイのディスプレイサイズと前記最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいか否かを判別する判別工程と、
前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記第1の取得工程により取得された複数の視点画像に基づいて該複数の視点画像間の少なくとも遠景側の視差が小さくなる複数の視点画像を生成する画像処理工程と、
前記判別工程により前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記画像処理工程により生成された視点画像を前記立体ディスプレイに出力し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズ以下と判別されると、前記第1の取得工程により取得された視点画像を前記立体ディスプレイに出力する出力工程と、
を備えたことを特徴とする立体画像再生方法。 - 立体視用の複数の視点画像と、該複数の視点画像に対する付属情報であって、前記複数の視点画像における遠景側の最大視差量を含む付属情報とが記録された3次元画像ファイルを読み取り、該3次元画像ファイルから前記複数の視点画像及び付属情報を取得する第1の取得工程と、
出力先の立体ディスプレイのディスプレイサイズを取得する第2の取得工程と、
前記取得した遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する判別工程と、
前記判別工程により両眼融合不能と判別されると、前記第1の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の少なくとも遠景側の視差が小さくなる複数の視点画像を生成する画像処理工程と、
前記判別工程により両眼融合不能と判別されると、前記画像処理工程により生成された視点画像を前記立体ディスプレイに出力し、前記両眼融合可能と判別されると、前記第1の取得工程により取得された視点画像を前記立体ディスプレイに出力する出力工程と、
を備えたことを特徴とする立体画像再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012512838A JP5449536B2 (ja) | 2010-04-28 | 2011-04-25 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010103905 | 2010-04-28 | ||
JP2010103905 | 2010-04-28 | ||
PCT/JP2011/060095 WO2011136190A1 (ja) | 2010-04-28 | 2011-04-25 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
JP2012512838A JP5449536B2 (ja) | 2010-04-28 | 2011-04-25 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011136190A1 true JPWO2011136190A1 (ja) | 2013-07-18 |
JP5449536B2 JP5449536B2 (ja) | 2014-03-19 |
Family
ID=44861489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012512838A Expired - Fee Related JP5449536B2 (ja) | 2010-04-28 | 2011-04-25 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9560341B2 (ja) |
JP (1) | JP5449536B2 (ja) |
CN (1) | CN102860019B (ja) |
WO (1) | WO2011136190A1 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
CN102860019B (zh) * | 2010-04-28 | 2015-07-29 | 富士胶片株式会社 | 立体图像再生装置及方法、立体摄像装置、立体显示器装置 |
CN102860017B (zh) * | 2010-04-28 | 2015-06-10 | 富士胶片株式会社 | 立体摄像装置及其制造方法 |
JP5750457B2 (ja) | 2011-01-25 | 2015-07-22 | 富士フイルム株式会社 | 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法 |
KR20130024504A (ko) * | 2011-08-31 | 2013-03-08 | 삼성전기주식회사 | 삼차원 카메라 시스템 및 주시각 조정 방법 |
JP6053276B2 (ja) * | 2011-12-02 | 2016-12-27 | キヤノン株式会社 | 撮像装置およびその制御方法、画像処理装置 |
US9521395B2 (en) | 2011-10-04 | 2016-12-13 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling same |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
US8997021B2 (en) * | 2012-11-06 | 2015-03-31 | Lytro, Inc. | Parallax and/or three-dimensional effects for thumbnail image displays |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
WO2016102338A1 (en) * | 2014-12-24 | 2016-06-30 | Koninklijke Philips N.V. | Autostereoscopic display device |
JPWO2016117194A1 (ja) * | 2015-01-21 | 2017-12-07 | ソニー株式会社 | 情報処理装置、通信システム、情報処理方法およびプログラム |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
JP6618271B2 (ja) * | 2015-05-01 | 2019-12-11 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置 |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
CN106572389A (zh) * | 2015-10-08 | 2017-04-19 | 小米科技有限责任公司 | 调节显示图像方法及装置 |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
CN108171682B (zh) * | 2017-12-04 | 2022-04-19 | 北京中科慧眼科技有限公司 | 基于远景的双目同步曝光率检测方法、***及存储介质 |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
US10567744B1 (en) | 2018-09-24 | 2020-02-18 | Cae Inc. | Camera-based display method and system for simulators |
US10567743B1 (en) | 2018-09-24 | 2020-02-18 | Cae Inc. | See-through based display method and system for simulators |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3735617B2 (ja) * | 1996-04-05 | 2006-01-18 | 松下電器産業株式会社 | 多視点画像伝送方法、多視点画像表示方法および多視点画像表示装置 |
US6163337A (en) * | 1996-04-05 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Multi-view point image transmission method and multi-view point image display method |
GB2354389A (en) * | 1999-09-15 | 2001-03-21 | Sharp Kk | Stereo images with comfortable perceived depth |
WO2001097531A2 (en) * | 2000-06-12 | 2001-12-20 | Vrex, Inc. | Electronic stereoscopic media delivery system |
JP2002095018A (ja) * | 2000-09-12 | 2002-03-29 | Canon Inc | 画像表示制御装置及び画像表示システム、並びに画像データの表示方法 |
JP4138425B2 (ja) * | 2002-09-25 | 2008-08-27 | シャープ株式会社 | 画像表示装置および方法 |
JP4490074B2 (ja) | 2003-04-17 | 2010-06-23 | ソニー株式会社 | 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム |
JP2005073049A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
JP4578294B2 (ja) * | 2005-03-18 | 2010-11-10 | 株式会社エヌ・ティ・ティ・データ三洋システム | 立体視画像表示装置、立体視画像表示方法及びコンピュータプログラム |
JP4763571B2 (ja) * | 2006-10-24 | 2011-08-31 | シャープ株式会社 | 立体画像生成装置及び立体画像復号装置 |
KR101427647B1 (ko) * | 2007-04-25 | 2014-08-07 | 삼성전자주식회사 | 패킷 생성과 처리에 관한 방법 및 그 장치 |
US8390674B2 (en) * | 2007-10-10 | 2013-03-05 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image |
CN101868970B (zh) * | 2007-10-19 | 2015-01-21 | 三星电子株式会社 | 记录三维图像数据的方法 |
JP2010169777A (ja) * | 2009-01-21 | 2010-08-05 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
US8878912B2 (en) * | 2009-08-06 | 2014-11-04 | Qualcomm Incorporated | Encapsulating three-dimensional video data in accordance with transport protocols |
US8629899B2 (en) * | 2009-08-06 | 2014-01-14 | Qualcomm Incorporated | Transforming video data in accordance with human visual system feedback metrics |
GB2473282B (en) * | 2009-09-08 | 2011-10-12 | Nds Ltd | Recommended depth value |
US20110116540A1 (en) * | 2009-11-18 | 2011-05-19 | General Instrument Corporation | Multimedia Content Handling in a Home-Network System |
US20130010064A1 (en) * | 2010-03-24 | 2013-01-10 | Panasonic Corporation | Video processing device |
CN102893613B (zh) * | 2010-04-28 | 2016-06-22 | 富士胶片株式会社 | 立体图像再生装置及方法、立体摄像装置、立体显示器装置 |
CN102860019B (zh) * | 2010-04-28 | 2015-07-29 | 富士胶片株式会社 | 立体图像再生装置及方法、立体摄像装置、立体显示器装置 |
-
2011
- 2011-04-25 CN CN201180020899.8A patent/CN102860019B/zh not_active Expired - Fee Related
- 2011-04-25 WO PCT/JP2011/060095 patent/WO2011136190A1/ja active Application Filing
- 2011-04-25 JP JP2012512838A patent/JP5449536B2/ja not_active Expired - Fee Related
-
2012
- 2012-10-24 US US13/659,638 patent/US9560341B2/en not_active Expired - Fee Related
-
2016
- 2016-12-13 US US15/377,353 patent/US20170094267A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US9560341B2 (en) | 2017-01-31 |
US20170094267A1 (en) | 2017-03-30 |
CN102860019B (zh) | 2015-07-29 |
WO2011136190A1 (ja) | 2011-11-03 |
JP5449536B2 (ja) | 2014-03-19 |
US20130093859A1 (en) | 2013-04-18 |
CN102860019A (zh) | 2013-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5449536B2 (ja) | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 | |
JP5449537B2 (ja) | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 | |
JP5584677B2 (ja) | 立体撮像装置及び画像補正方法 | |
JP4875225B2 (ja) | 立体撮像装置 | |
JP5166650B2 (ja) | 立体撮像装置、画像再生装置及び編集ソフトウエア | |
JP5449535B2 (ja) | 立体撮像装置及びその制御方法 | |
JP5486697B2 (ja) | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 | |
WO2013065543A1 (ja) | 視差調節装置及び方法、撮影装置、再生表示装置 | |
JP5160460B2 (ja) | 立体撮像装置および立体撮像方法 | |
JP5466773B2 (ja) | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 | |
JP5750457B2 (ja) | 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法 | |
JP5580486B2 (ja) | 画像出力装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131224 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5449536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |