JP2015156523A - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP2015156523A JP2015156523A JP2012129100A JP2012129100A JP2015156523A JP 2015156523 A JP2015156523 A JP 2015156523A JP 2012129100 A JP2012129100 A JP 2012129100A JP 2012129100 A JP2012129100 A JP 2012129100A JP 2015156523 A JP2015156523 A JP 2015156523A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- image data
- panorama
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 398
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 169
- 230000002194 synthesizing effect Effects 0.000 claims description 20
- 238000000034 method Methods 0.000 description 205
- 230000008569 process Effects 0.000 description 170
- 239000000203 mixture Substances 0.000 description 86
- 238000004891 communication Methods 0.000 description 48
- 230000015572 biosynthetic process Effects 0.000 description 31
- 238000003786 synthesis reaction Methods 0.000 description 31
- 238000001514 detection method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 22
- 238000005457 optimization Methods 0.000 description 14
- 238000000926 separation method Methods 0.000 description 13
- 230000007704 transition Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 101000629392 Caenorhabditis elegans DNA-dependent metalloprotease dvc-1 Proteins 0.000 description 9
- 102100026816 DNA-dependent metalloprotease SPRTN Human genes 0.000 description 9
- 101000629403 Homo sapiens DNA-dependent metalloprotease SPRTN Proteins 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 238000010408 sweeping Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000002156 mixing Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000005304 joining Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Optics & Photonics (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】パノラマ画像の効果的な再生表示のために、表示機器側でパノラマ画像データが全周パノラマ画像であることがわかるようにする。【解決手段】画像処理装置は、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備えるようにする。【選択図】図8
Description
本開示は画像処理装置、画像処理方法、及びそれらを実現するプログラムに関し、特にパノラマ画像データの表示に適した画像処理に関する。
上記特許文献1に示されるように、複数枚の画像から1枚のパノラマ画像を生成する画像処理が知られている。
例えばユーザがカメラを水平にスイープさせながら多数の撮像画像(フレーム画像データ)を得、これを合成することで、いわゆるパノラマ画像を得ることができる。
なお「スイープ」とは、パノラマ画像生成のための複数のフレーム画像データを得るために、撮像時に撮像装置の回転運動による撮像方向移動の動作をいう。例えば水平方向に撮像方向を移動させる場合、スイープ方向とは水平方向を指す。
例えばユーザがカメラを水平にスイープさせながら多数の撮像画像(フレーム画像データ)を得、これを合成することで、いわゆるパノラマ画像を得ることができる。
なお「スイープ」とは、パノラマ画像生成のための複数のフレーム画像データを得るために、撮像時に撮像装置の回転運動による撮像方向移動の動作をいう。例えば水平方向に撮像方向を移動させる場合、スイープ方向とは水平方向を指す。
パノラマ画像について再生表示を行う場合、いわゆるシングルビュー表示を行うことやスクロール表示を行うことが一般的であった。
シングルビュー表示とは、1枚の静止画表示としてパノラマ画像データの全体を縮小して表示するものである。この場合、パノラマ画像全体を見ることができるが、縮小により迫力のある画像とはなりにくい。
スクロール表示は、パノラマ画像データの一部を順次切り出してスクロールさせながら表示させていくものである。スクロール表示により、画面上で、パノラマ画像を部分毎に大きく見ることができる。
シングルビュー表示とは、1枚の静止画表示としてパノラマ画像データの全体を縮小して表示するものである。この場合、パノラマ画像全体を見ることができるが、縮小により迫力のある画像とはなりにくい。
スクロール表示は、パノラマ画像データの一部を順次切り出してスクロールさせながら表示させていくものである。スクロール表示により、画面上で、パノラマ画像を部分毎に大きく見ることができる。
しかしながら、スクロール表示は、例えば円筒面などに投影された状態のパノラマ画像データを単に順次切り出して表示するものであり、例えば水平線や建物等の直線部分が大きく湾曲するなど、ユーザ視点からの光景を必ずしも的確に反映するものではない。
これに対し、円筒面等に投影されたパノラマ画像を平面スクリーンに再度投影して表示画像とすることで、高い臨場感、没入感が得られる再生手法がある。このような再生表示の手法を、説明上「投影表示」ということとする。
例えばQuickTime VR . An Image-Based Approach to Virtual Environment Navigation[Apple Computer, Inc.]などが知られている。
このような投影表示を用いると、パノラマ画像の表示を見るユーザの満足度を高めることができると考えられるが、単にスクロール表示に代えて投影表示を行うことは次の点で困難となる。
これに対し、円筒面等に投影されたパノラマ画像を平面スクリーンに再度投影して表示画像とすることで、高い臨場感、没入感が得られる再生手法がある。このような再生表示の手法を、説明上「投影表示」ということとする。
例えばQuickTime VR . An Image-Based Approach to Virtual Environment Navigation[Apple Computer, Inc.]などが知られている。
このような投影表示を用いると、パノラマ画像の表示を見るユーザの満足度を高めることができると考えられるが、単にスクロール表示に代えて投影表示を行うことは次の点で困難となる。
投影表示を行うためのオーサリングにはパノラマ画像の画角が必要であるが、通常、ユーザがデジタルスチルカメラのパノラマモードで撮像したパノラマ画像の画角が正確にわかることは少ない。例えばパノラマ画像には、120°くらいの画角の画像や180°くらいの画角の画像から、360°画角の全周画像など、多様な画像がある。そして360°画角以外では、位置合わせ誤差、スイープ半径、歪曲収差などの影響により、パノラマ画像データから画角を求めようとしてもその計算が不正確になり、正確な画角を求めることができない。
このようにパノラマ画像データのみでは画角がわからず、投影表示のオーサリングを行うことができない。投影表示のために画角をわかるようにするには、例えばパノラマ撮像時にユーザが大まかに画角を見積もっておき、オーサリング時に画角を手動入力する必要がある。これは一般ユーザには困難な作業となる。また入力した画角が実際とは大きく食い違っていると、投影表示画像に歪みが生ずる結果となる。
このようなことから、投影表示が実使用上、或いは表示品質上、必ずしも常に最適な表示方式とはならない。
このようにパノラマ画像データのみでは画角がわからず、投影表示のオーサリングを行うことができない。投影表示のために画角をわかるようにするには、例えばパノラマ撮像時にユーザが大まかに画角を見積もっておき、オーサリング時に画角を手動入力する必要がある。これは一般ユーザには困難な作業となる。また入力した画角が実際とは大きく食い違っていると、投影表示画像に歪みが生ずる結果となる。
このようなことから、投影表示が実使用上、或いは表示品質上、必ずしも常に最適な表示方式とはならない。
本開示では、例えば専門家用、業務用から一般消費者向けの機器までを広く想定して、パノラマ画像の表示、特に高品質の投影表示を、手軽にかつ適切に実行できるようにするための画像処理を実現することを目的とする。
本開示の画像処理装置は、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備える。
本開示の画像処理方法は、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける処理を行う。
本開示のプログラムは、上記画像処理方法の処理を演算処理装置に実行させるプログラムである。
本開示のプログラムは、上記画像処理方法の処理を演算処理装置に実行させるプログラムである。
このような本開示では、複数のフレーム画像データから合成されて生成されたパノラマ画像データについて、再生表示の際などの全周パノラマ画像であるか否かを判別できる情報を加える。つまり少なくとも或るパノラマ画像データが全周パノラマ画像と判断される場合には、そのパノラマ画像データと、全周パノラマ画像であることを示す情報を関連付ける。このようにすると、例えば後の再生表示の際には、全周パノラマ画像であるか否かにより、表示処理方式を選択できることになる。
ここで、全周パノラマ画像とは、画角が360°(又はほぼ360°)であると判定できる場合である。つまり投影表示を行う際に、画角が確定できる場合である。
ここで、全周パノラマ画像とは、画角が360°(又はほぼ360°)であると判定できる場合である。つまり投影表示を行う際に、画角が確定できる場合である。
本開示によればパノラマ画像データが全周パノラマ画像である場合は、そのことを示す情報が関連付けられる。従って再生表示の際には、全周パノラマ画像であるか否かにより、適切な表示処理方式を選択できるという効果がある。例えば全周パノラマ画像の場合には、画角が360°であるとして、適切な投影表示を実行することなどが可能となる。
以下、実施の形態を次の順序で説明する。
なお、実施の形態における関連付け部11を少なくとも有する機器が請求項でいう画像処理装置となる。
<1.パノラマ合成及び再生表示の概要>
<2.画像処理装置構成例>
<3.第1構成例(メタデータ)>
<4.第2構成例(専用プログラム)>
<5.第3構成例(ファイルリンク情報)>
<6.第4構成例(専用フォーマット)>
<7.第5構成例(撮像装置への適用例)>
[7−1:撮像装置の構成]
[7−2:パノラマ合成及び関連付け処理]
[7−3:パノラマ画像表示]
<8.第6構成例(コンピュータ装置への適用例及びプログラム)>
<9.変形例>
なお、実施の形態における関連付け部11を少なくとも有する機器が請求項でいう画像処理装置となる。
<1.パノラマ合成及び再生表示の概要>
<2.画像処理装置構成例>
<3.第1構成例(メタデータ)>
<4.第2構成例(専用プログラム)>
<5.第3構成例(ファイルリンク情報)>
<6.第4構成例(専用フォーマット)>
<7.第5構成例(撮像装置への適用例)>
[7−1:撮像装置の構成]
[7−2:パノラマ合成及び関連付け処理]
[7−3:パノラマ画像表示]
<8.第6構成例(コンピュータ装置への適用例及びプログラム)>
<9.変形例>
<1.パノラマ合成及び再生表示の概要>
まずパノラマ合成についての概要を説明する。
後述する実施の形態の撮像装置50や、近年の一般的な撮像装置(デジタルスチルカメラ)は、撮像者がある回転軸で撮像装置50を回転運動させながら撮像して得られた複数枚の静止画像(フレーム画像データ)に対し、合成処理を行うことによってパノラマ画像を生成することができる。
特に実施の形態の撮像装置50では、画角が360°の全周パノラマ画像を生成できるものである。
まずパノラマ合成についての概要を説明する。
後述する実施の形態の撮像装置50や、近年の一般的な撮像装置(デジタルスチルカメラ)は、撮像者がある回転軸で撮像装置50を回転運動させながら撮像して得られた複数枚の静止画像(フレーム画像データ)に対し、合成処理を行うことによってパノラマ画像を生成することができる。
特に実施の形態の撮像装置50では、画角が360°の全周パノラマ画像を生成できるものである。
図1Aは、パノラマ撮像時の撮像装置50の動きを示したものである。パノラマ撮像時には遠景、近景の視差が合成時のつなぎ目の不自然さを生じさせるため、撮像時の回転中心は、ノーダルポイント(Nodal Point)と呼ばれる視差を生じないレンズ固有の点を回転中心にすることが望ましい。パノラマ撮像時の撮像装置50の回転運動のことを「スイープ」と呼ぶ。
図1Bは、撮像装置50のスイープによって得られた複数枚の静止画像に対して、適切に位置合わせを行ったときの概念図である。この図では撮像で得られる各静止画像を、撮像の時間的な順序で示している。即ち時刻0〜時刻(n−1)までに撮像されたフレーム画像データを、フレーム画像データFM#0、FM#1・・・FM#(n−1)としている。
n枚の静止画像からパノラマ画像を生成する場合は、図示するように連続して撮像された一連のn個のフレーム画像データFM#0〜FM#(n−1)について合成処理を行うこととなる。
n枚の静止画像からパノラマ画像を生成する場合は、図示するように連続して撮像された一連のn個のフレーム画像データFM#0〜FM#(n−1)について合成処理を行うこととなる。
この図1Bに示すように、撮像された各フレーム画像データは隣接するフレーム画像データと必ず重なり部分を持つ必要があるので、撮像装置50の各フレーム画像データの撮像時間間隔と、撮像者がスイープする速度の上限値は適切に設定しなければならない。
そして、このように位置合わせされたフレーム画像データ群は多くの重なり部分を持つため、各フレーム画像データに対して最終的なパノラマ画像に使用する領域を決定する必要がある。これは言い換えると、パノラマ合成処理における画像のつなぎ目(シーム:seam)を決めていることと同一である。
そして、このように位置合わせされたフレーム画像データ群は多くの重なり部分を持つため、各フレーム画像データに対して最終的なパノラマ画像に使用する領域を決定する必要がある。これは言い換えると、パノラマ合成処理における画像のつなぎ目(シーム:seam)を決めていることと同一である。
図2A、図2Bでは、シームSMの例を示している。
シームには、図2Aに示すようにスイープ方向に垂直な直線や、図2Bに示すように非直線(曲線など)とすることができる。
この図2A、図2Bにおいて、シームSM0はフレーム画像データFM#0,FM#1間のつなぎ目、シームSM1はフレーム画像データFM#1,FM#2間のつなぎ目、・・・シームSM(n−2)はフレーム画像データFM#(n−2),FM#(n−1)間のつなぎ目として示している。
なお、これらシームSM0〜SM(n−2)が合成時の隣接画像間のつなぎ目とされることで、各フレーム画像データにおいて斜線部とした部分は、最終的なパノラマ画像に使用されない画像領域となる。
シームには、図2Aに示すようにスイープ方向に垂直な直線や、図2Bに示すように非直線(曲線など)とすることができる。
この図2A、図2Bにおいて、シームSM0はフレーム画像データFM#0,FM#1間のつなぎ目、シームSM1はフレーム画像データFM#1,FM#2間のつなぎ目、・・・シームSM(n−2)はフレーム画像データFM#(n−2),FM#(n−1)間のつなぎ目として示している。
なお、これらシームSM0〜SM(n−2)が合成時の隣接画像間のつなぎ目とされることで、各フレーム画像データにおいて斜線部とした部分は、最終的なパノラマ画像に使用されない画像領域となる。
また、パノラマ合成を行う際には、シーム付近の画像の不自然さを低減することを目的とし、シーム付近の画像領域についてブレンド処理することも行われる場合もある。
そして、各フレーム画像データの共通部分を広範囲にブレンド処理することによって接合させる場合や、パノラマ画像に寄与する画素を共通部分から画素毎に選択する場合もあり、これらの場合には、つなぎ目は明確には存在しないが、本明細書においてはこの広範囲な接合部分もシームとして同一視するものとする。
そして、各フレーム画像データの共通部分を広範囲にブレンド処理することによって接合させる場合や、パノラマ画像に寄与する画素を共通部分から画素毎に選択する場合もあり、これらの場合には、つなぎ目は明確には存在しないが、本明細書においてはこの広範囲な接合部分もシームとして同一視するものとする。
また図1Bに示したように、各フレーム画像データの位置合わせの結果、一般的にスイープ方向だけでなく、スイープと垂直な方向にも若干の移動が認められる。これは撮像者のスイープ時の手振れ等によって生じるズレである。
各フレーム画像データのシームを決定し、その境界領域で接合、又はブレンド処理することによる接合を行い、最終的に手振れ量を考慮してスイープと垂直な方向な不要な部分をトリミングすることによって、図3に示すような、スイープ方向を長辺方向とする、広画角のパノラマ画像を得ることができる。
図3では縦線がシームを示しており、n個のフレーム画像データFM#0〜FM#(n−1)がシームSM0〜SM(n−2)でそれぞれ接合されてパノラマ画像が生成されている状態を模式的に示している。
図3では縦線がシームを示しており、n個のフレーム画像データFM#0〜FM#(n−1)がシームSM0〜SM(n−2)でそれぞれ接合されてパノラマ画像が生成されている状態を模式的に示している。
このようなパノラマ画像を得るためにユーザが撮像装置50を用いて行うパノラマ撮像の具体的操作例を説明する。
まず第一に、撮像装置50をパノラマ撮像モードに設定し、さらに最大撮像画角を設定する。最大撮像画角としては例えば120°、180°、360°などが選択可能であり、360°を選択した場合は、周囲の全風景をすべて写真に収めるいわゆる全周撮像ができる。なお、パノラマ撮像モードにおいて最大撮像画角を360°に設定した場合は「360°パノラマ撮像モード」、最大撮像画角を180°に設定した場合は「180°パノラマ撮像モード」などの表現を用いる。
次に撮像者は撮像装置50のシャッターボタンを押下することによってパノラマ撮像を開始するとともに、スイープ動作を行う。その後、パノラマ撮像の終了条件が満たされた場合にパノラマ撮像が完了する。終了条件は例えば以下の通りである。
・あらかじめ設定された最大撮像画角に到達した場合
・ユーザによるスイープ動作が停止した場合
・ユーザがシャッターボタンを再び押下した場合
・ユーザがシャッターボタンから指を離した場合(パノラマ撮像中にはシャッターボタンを押し続けるという仕様において)
・何らかのエラーが発生した場合
・あらかじめ設定された最大撮像画角に到達した場合
・ユーザによるスイープ動作が停止した場合
・ユーザがシャッターボタンを再び押下した場合
・ユーザがシャッターボタンから指を離した場合(パノラマ撮像中にはシャッターボタンを押し続けるという仕様において)
・何らかのエラーが発生した場合
撮像完了後は自動的にパノラマ合成処理が開始され、或る時間経過後にパノラマ画像の合成が完了するとともに、そのパノラマ画像データが記録デバイスに保存される。
その後は通常の静止画像と同様に一覧し、表示することができる。
その後は通常の静止画像と同様に一覧し、表示することができる。
このように生成されるパノラマ画像データと、その表示態様について説明する。
図4Aは、パノラマ合成時の投影処理の概念図である。パノラマ合成時の処理方式は多様であるが、例えば円筒面、球面、立方体などに投影する処理が行われることが多い。説明上「合成用投影処理」と呼び、後述の投影表示のために行う「表示用投影処理」と区別する。
この図4Aでは、パノラマ撮像動作時にスイープしながら撮像される多数のフレーム画像データFMを示している。フレーム画像データFM、つまり通常の写真撮影と同じ撮像画像は、三次元の光景を平面(例えばカメラのイメージャ平面)に投影したものといえる。このような多数のフレーム画像データFMから図3のようなパノラマ画像データを生成する際には、合成用投影処理として、例えば円筒面FRに各フレーム画像データFMを投影した状態とする。図では模式的に投影されたフレーム画像データFMpdを円筒面FRに沿わして示している。
このような合成用投影処理されたフレーム画像データFMpdをつなぎ合わせて図4Bのようにパノラマ画像データPDを生成する。パノラマ画像データPDは投影中心CTからみて円筒面FR上に再投影された画像データということができる。
図4Aは、パノラマ合成時の投影処理の概念図である。パノラマ合成時の処理方式は多様であるが、例えば円筒面、球面、立方体などに投影する処理が行われることが多い。説明上「合成用投影処理」と呼び、後述の投影表示のために行う「表示用投影処理」と区別する。
この図4Aでは、パノラマ撮像動作時にスイープしながら撮像される多数のフレーム画像データFMを示している。フレーム画像データFM、つまり通常の写真撮影と同じ撮像画像は、三次元の光景を平面(例えばカメラのイメージャ平面)に投影したものといえる。このような多数のフレーム画像データFMから図3のようなパノラマ画像データを生成する際には、合成用投影処理として、例えば円筒面FRに各フレーム画像データFMを投影した状態とする。図では模式的に投影されたフレーム画像データFMpdを円筒面FRに沿わして示している。
このような合成用投影処理されたフレーム画像データFMpdをつなぎ合わせて図4Bのようにパノラマ画像データPDを生成する。パノラマ画像データPDは投影中心CTからみて円筒面FR上に再投影された画像データということができる。
本実施の形態では、このようなパノラマ画像データPDについての表示態様としては、シングルビュー表示、リスト表示、スクロール表示、投影表示が実行可能である。表示態様を図5,図6,図7で例示する。
図5はスクロール表示と投影表示の概念を模式的に示している。
スクロール表示は、上述のように円筒面などに投影された画像であるパノラマ画像データPDの一部を、そのまま切り出し、自動的に、もしくは手動操作に応じて、上下左右にスクロールさせて表示するものである。
スクロール表示は、上述のように円筒面などに投影された画像であるパノラマ画像データPDの一部を、そのまま切り出し、自動的に、もしくは手動操作に応じて、上下左右にスクロールさせて表示するものである。
一方、投影表示は、スクロール表示とは異なり、円筒面、球面、立方体などに投影されたパノラマ画像データPDを、仮想的な平面スクリーンVSに再度の投影(表示用投影処理)を行った画像を表示するものである。
即ちこの場合、表示用投影処理として、パノラマ画像生成時の投影面上に投影された状態のパノラマ画像データを、平面投影する処理を行う。そして平面投影された画像を表示画像データとする。
これにより撮像時の画像を再現することができ、スクロール表示でみられる円筒投影、球面投影に起因する投影歪が解消され、臨場感、没入感が向上する表示が実現される。
即ちこの場合、表示用投影処理として、パノラマ画像生成時の投影面上に投影された状態のパノラマ画像データを、平面投影する処理を行う。そして平面投影された画像を表示画像データとする。
これにより撮像時の画像を再現することができ、スクロール表示でみられる円筒投影、球面投影に起因する投影歪が解消され、臨場感、没入感が向上する表示が実現される。
例えば図6は、360°パノラマ撮像モードで得られたパノラマ画像データPDの投影表示を模式的に示している。パノラマ画像データPDは、投影中心CTの周囲の360°の円筒面FRに投影された画像データである。このパノラマ画像データPDを、各角度に応じた仮想的な平面スクリーンVS0・・・VS45・・・等に投影させる。例えば平面スクリーンVS0は、投影中心CTから0°方向を中心とした平面スクリーン、平面スクリーンVS45は、投影中心CTから45°方向を中心とした平面スクリーンとして示している。図ではさらに135°方向、180°方向、225°方向、315°方向の各平面スクリーンVS135,VS180、VS225,VS315を例示している。
投影表示では、このような投影中心CTから視線方向に設定した平面スクリーンVSに投影した画像を表示させる。投影中心CTから平面スクリーンVSへのベクトル、距離を、自動的もしくは手動操作に応じて適切に設定することによって、視線方向の変更、ズームイン・ズームアウトが可能である。
例えば平面スクリーンVS0の投影画像、平面スクリーンVS1(1°方向)、平面スクリーンVS2(2°方向)・・・平面スクリーンVS45・・・平面スクリーンVS135・・・平面スクリーンVS315・・・平面スクリーンVS0への投影画像を順次表示させていけば、投影中心CTから周りを全周見渡していくような表示が可能となる。
また平面スクリーンVSの位置を投影中心CTから遠ざけたり、投影中心CTに近づけたりすることで、表示画像はズームイン/ズームアウトされる。
投影表示では、このような投影中心CTから視線方向に設定した平面スクリーンVSに投影した画像を表示させる。投影中心CTから平面スクリーンVSへのベクトル、距離を、自動的もしくは手動操作に応じて適切に設定することによって、視線方向の変更、ズームイン・ズームアウトが可能である。
例えば平面スクリーンVS0の投影画像、平面スクリーンVS1(1°方向)、平面スクリーンVS2(2°方向)・・・平面スクリーンVS45・・・平面スクリーンVS135・・・平面スクリーンVS315・・・平面スクリーンVS0への投影画像を順次表示させていけば、投影中心CTから周りを全周見渡していくような表示が可能となる。
また平面スクリーンVSの位置を投影中心CTから遠ざけたり、投影中心CTに近づけたりすることで、表示画像はズームイン/ズームアウトされる。
ただし、360°パノラマ撮像モードで撮像した全周パノラマ画像以外では、パノラマ画像データの画角が正確には求めることができない。すると表示用投影処理を行う時の3次元モデルを厳密に定義できない。このため、360°のパノラマ画像データ以外は、投影表示には適さない。
次に図7Aは、シングルビュー表示の例を、また図7Bではリスト表示の例を示している。
シングルビュー表示は、単にパノラマ画像データPDの全体を含む表示画像データを生成し、それを表示するもので、通常の表示動作である。パノラマ画像は例えば横長の画像となり、表示画面のアスペクト比との違いに合わせて、図7Aのように画面上の一部(この例の場合は上領域と下領域)が無表示の領域となる場合が多い。
リスト表示は、図7Bのように、再生表示可能な画像データを、一覧表示するものである。例えばユーザはリスト表示上で画像指定を行うことで、上述のスクロール表示や投影処理を行うパノラマ画像データPDを選択することができる。
なお図7Bのリスト表示の画像は、例えば横長のパノラマ画像の全体を縮小した画像ではないが、パノラマ画像データPDをリスト表示上に表す場合、パノラマ画像の一部を切り出して縮小し、図示のように表示すればよい。もちろん、例えば横長のパノラマ画像の全体を縮小して、複数個並べるようなリスト表示態様もある。
シングルビュー表示は、単にパノラマ画像データPDの全体を含む表示画像データを生成し、それを表示するもので、通常の表示動作である。パノラマ画像は例えば横長の画像となり、表示画面のアスペクト比との違いに合わせて、図7Aのように画面上の一部(この例の場合は上領域と下領域)が無表示の領域となる場合が多い。
リスト表示は、図7Bのように、再生表示可能な画像データを、一覧表示するものである。例えばユーザはリスト表示上で画像指定を行うことで、上述のスクロール表示や投影処理を行うパノラマ画像データPDを選択することができる。
なお図7Bのリスト表示の画像は、例えば横長のパノラマ画像の全体を縮小した画像ではないが、パノラマ画像データPDをリスト表示上に表す場合、パノラマ画像の一部を切り出して縮小し、図示のように表示すればよい。もちろん、例えば横長のパノラマ画像の全体を縮小して、複数個並べるようなリスト表示態様もある。
<2.画像処理装置構成例>
実施の形態の画像処理装置の構成例を説明する。
図8Aは、生成されたパノラマ画像データについての関連付け部11を備えた画像処理装置1と、パノラマ合成部10を有する構成例を示している。関連付け部11とパノラマ合成部10は同一機器内に一体に設けられてもよいし、別体機器にそれぞれ設けられてもよい。
また図8Bはパノラマ画像データを表示するための表示画像生成部20を備えた画像処理装置2と、表示部21を有する構成例を示している。表示画像生成部20と表示部21は同一機器内に一体に設けられてもよいし、別体機器にそれぞれ設けられてもよい。
実施の形態の画像処理装置の構成例を説明する。
図8Aは、生成されたパノラマ画像データについての関連付け部11を備えた画像処理装置1と、パノラマ合成部10を有する構成例を示している。関連付け部11とパノラマ合成部10は同一機器内に一体に設けられてもよいし、別体機器にそれぞれ設けられてもよい。
また図8Bはパノラマ画像データを表示するための表示画像生成部20を備えた画像処理装置2と、表示部21を有する構成例を示している。表示画像生成部20と表示部21は同一機器内に一体に設けられてもよいし、別体機器にそれぞれ設けられてもよい。
図8Aの構成において、パノラマ合成部10は、入力画像群FMSからパノラマ画像データPDを生成する。入力画像群FMSとは、撮像者がパノラマ撮像モードにおいてスイープさせながらの撮像動作を行うことで得られる一連のフレーム画像データFMのことである。パノラマ合成部10は、入力画像群FMSとしての複数のフレーム画像データFMを用いて、上記図1〜図3で説明したようにパノラマ画像データPDを生成する。
そしてパノラマ合成部10は、生成したパノラマ画像データPDを関連付け部11に供給する。なお、パノラマ合成部10の詳細な処理例については実施の形態の第5構成例の説明において述べる。
そしてパノラマ合成部10は、生成したパノラマ画像データPDを関連付け部11に供給する。なお、パノラマ合成部10の詳細な処理例については実施の形態の第5構成例の説明において述べる。
またパノラマ合成部10は、パノラマ画像データPDの生成処理における各種のパノラマ処理情報Ipも関連付け部11に供給する。
パノラマ処理情報Ipとは、パノラマ合成処理の過程で発生される各種の情報を総称している。
パノラマ処理情報Ipとは、パノラマ合成処理の過程で発生される各種の情報を総称している。
パノラマ処理情報Ipの内容としては、例えば360°パノラマ撮像モードや180°パノラマ撮像モードなどのモード種別を示す情報(以下、パノラマモード種別情報)が考えられる。
またパノラマ処理情報Ipの内容としては、パノラマ画像データPDが360°画角を有するか否かの判定結果を示す情報(以下、360°画角判定情報)が考えられる。例えば正確に360°画角であるか否かを判定した結果の情報である。なお大まかに略360°画角を有するか否かを判定した結果としてもよい。
またパノラマ処理情報Ipの内容としては、パノラマ画像データPDが360°画角を有し、両端位置合わせが行われたものであるか否かを示す情報(以下、両端位置合わせ情報)が考えられる。両端位置合わせについては実施の形態の第5構成例の説明において述べるが、簡単に言えば、パノラマ画像の0°と360°の位置、つまりパノラマ画像の両端で、垂直方向及び水平方向に画像のズレが無いように調整する処理である。
またパノラマ処理情報Ipの内容としては、合成用投影処理の投影面の情報(以下、合成用投影面情報)が考えられる。例えば円筒面、球面、多角形面、平面などを示す情報である。
またパノラマ処理情報の内容としては、パノラマ画像データPDの水平画角、垂直画角を示す情報(以下、水平垂直画角情報)が考えられる。
関連付け部11は、生成されたパノラマ画像データPDが、全周パノラマ画像と判断される場合に、そのパノラマ画像データPDと、そのパノラマ画像データPDが全周パノラマ画像であることを示す情報を関連付ける処理(関連付け処理)を行う。関連付け処理としての具体的な処理例は、実施の形態の第1構成例〜第4構成例で説明する。
そして関連付け部11は、記録又は送信のためのパノラマ画像データを出力する。説明上の区別のため、関連付け部11が出力する記録又は送信のためのパノラマ画像データを、特に「パノラマ画像ファイルPDr」と呼ぶこととする。
このパノラマ画像ファイルPDrは、記録媒体に記録されたり、他の機器に送信されたりするパノラマ画像データである。特にパノラマ画像データPDが略360°画角(もしくは正確に360°画角)を有する場合には、全周パノラマ画像であることを示す情報が関連付けられた状態の1又は複数のデータファイルである。
そして関連付け部11は、記録又は送信のためのパノラマ画像データを出力する。説明上の区別のため、関連付け部11が出力する記録又は送信のためのパノラマ画像データを、特に「パノラマ画像ファイルPDr」と呼ぶこととする。
このパノラマ画像ファイルPDrは、記録媒体に記録されたり、他の機器に送信されたりするパノラマ画像データである。特にパノラマ画像データPDが略360°画角(もしくは正確に360°画角)を有する場合には、全周パノラマ画像であることを示す情報が関連付けられた状態の1又は複数のデータファイルである。
続いて図8Bの構成において、表示画像生成部20は、パノラマ画像ファイルPDrを取り込む。
例えば上述の関連付け部11から出力されて記録媒体に記録されたパノラマ画像ファイルPDrが、記録媒体から読み出されて表示画像生成部20に供給される。或いは関連付け部11から出力されて送信出力されたパノラマ画像ファイルPDrが、受信されて表示画像生成部20に供給される。
表示画像生成部20は、例えば上述のシングルビュー表示、リスト表示、スクロール表示、投影表示のための表示画像データPDdspを生成する。特には、表示対象として選択されたパノラマ画像ファイルPDrのパノラマ画像が、全周パノラマ画像と判断される場合に、表示用投影処理を行って投影表示のための表示画像データPDdspを生成する。
そして表示画像生成部20は表示画像データPDdspを表示部21に供給する。表示画像生成部20の具体的な処理例は、実施の形態の第1構成例〜第4構成例で説明する。
例えば上述の関連付け部11から出力されて記録媒体に記録されたパノラマ画像ファイルPDrが、記録媒体から読み出されて表示画像生成部20に供給される。或いは関連付け部11から出力されて送信出力されたパノラマ画像ファイルPDrが、受信されて表示画像生成部20に供給される。
表示画像生成部20は、例えば上述のシングルビュー表示、リスト表示、スクロール表示、投影表示のための表示画像データPDdspを生成する。特には、表示対象として選択されたパノラマ画像ファイルPDrのパノラマ画像が、全周パノラマ画像と判断される場合に、表示用投影処理を行って投影表示のための表示画像データPDdspを生成する。
そして表示画像生成部20は表示画像データPDdspを表示部21に供給する。表示画像生成部20の具体的な処理例は、実施の形態の第1構成例〜第4構成例で説明する。
表示部21は、液晶パネル、有機EL(Electroluminescence)パネル、プラズマディスプレイパネル、CRT(Cathode Ray Tube)その他の表示デバイスと、その表示デバイスに対する表示駆動部を有し、各種の表示を行う。この表示部21には、表示画像生成部20から表示画像データPDdspが供給されて、その表示画像データPDdspに基づく表示動作を実行することとなる。例えばパノラマ画像に関してシングルビュー表示、リスト表示、スクロール表示、投影表示が行われる。
本例の場合、表示対象として選択されたパノラマ画像ファイルPDrのパノラマ画像が、全周パノラマ画像と判断された場合に、表示画像生成部20で表示用投影処理を行って表示画像データPDdspが生成されて表示部21に供給される。例えば図6の仮想的な平面スクリーンVSに投影された画像が順次供給されることになり、この場合、表示部21で投影表示が実行されることとなる。
本例の場合、表示対象として選択されたパノラマ画像ファイルPDrのパノラマ画像が、全周パノラマ画像と判断された場合に、表示画像生成部20で表示用投影処理を行って表示画像データPDdspが生成されて表示部21に供給される。例えば図6の仮想的な平面スクリーンVSに投影された画像が順次供給されることになり、この場合、表示部21で投影表示が実行されることとなる。
以上のような関連付け部11を備えた画像処理装置1や、表示画像生成部20を備えた画像処理装置2を有する電子機器としては、多様な構成例が考えられる。電子機器としての各種の装置構成例を図9,図10に例示する。
図9Aは、撮像機能を備えた装置DVC1において、画像処理装置1及び画像処理装置2が構成される例である。
この例の装置DVC1は、撮像部12、パノラマ合成部10、関連付け部11、記録再生部13、表示画像生成部20、表示部21を有する。
撮像部12は、例えばパノラマ画像データの撮像動作により、パノラマ画像を生成するための一連の複数のフレーム画像データFMを得る。この複数のフレーム画像データFMが入力画像群FMSとしてパノラマ合成部10に供給される。パノラマ合成部10は入力画像群FMSからパノラマ画像データPDを生成し、パノラマ画像データPD及びパノラマ処理情報Ipを出力する。関連付け部11は上述の関連付け処理を行い、パノラマ画像ファイルPDrを出力する。パノラマ画像ファイルPDrは記録再生部13において記録媒体に記録される。
記録再生部13において記録媒体から読み出されたパノラマ画像ファイルPDrは表示画像生成部20に供給され、表示画像データPDdspが生成される。この表示画像データPDdspは表示部21に供給され、投影表示等の表示が実行される。
このように装置DVC1は、パノラマ撮像機能、記録再生機能、表示機能を備えるものであり、例えばデジタルスチルカメラ、ビデオカメラ、携帯電話機、コンピュータ装置などが想定される。
この例の装置DVC1は、撮像部12、パノラマ合成部10、関連付け部11、記録再生部13、表示画像生成部20、表示部21を有する。
撮像部12は、例えばパノラマ画像データの撮像動作により、パノラマ画像を生成するための一連の複数のフレーム画像データFMを得る。この複数のフレーム画像データFMが入力画像群FMSとしてパノラマ合成部10に供給される。パノラマ合成部10は入力画像群FMSからパノラマ画像データPDを生成し、パノラマ画像データPD及びパノラマ処理情報Ipを出力する。関連付け部11は上述の関連付け処理を行い、パノラマ画像ファイルPDrを出力する。パノラマ画像ファイルPDrは記録再生部13において記録媒体に記録される。
記録再生部13において記録媒体から読み出されたパノラマ画像ファイルPDrは表示画像生成部20に供給され、表示画像データPDdspが生成される。この表示画像データPDdspは表示部21に供給され、投影表示等の表示が実行される。
このように装置DVC1は、パノラマ撮像機能、記録再生機能、表示機能を備えるものであり、例えばデジタルスチルカメラ、ビデオカメラ、携帯電話機、コンピュータ装置などが想定される。
図9Bは、外部からの画像データ入力機能を備えた装置DVC2において、画像処理装置1及び画像処理装置2が構成される例である。
この例の装置DVC2は、入力部14、パノラマ合成部10、関連付け部11、記録再生部13、表示画像生成部20、表示部21を有する。即ち上記図9Aと比べると、撮像部12に代わって入力部14が設けられる場合である。
入力部14は、例えば外部の撮像装置におけるパノラマ画像データの撮像動作により得られた、パノラマ画像を生成するための一連の複数のフレーム画像データFMを入力する。この複数のフレーム画像データFMが入力画像群FMSとしてパノラマ合成部10に供給される。以降の各部の動作は図9Aと同様である。
このように装置DVC2は、外部の撮像装置で得られたフレーム画像データFMを用いてパノラマ画像生成を行い、またパノラマ画像の表示を行う機器である。例えばデジタルスチルカメラ等の撮像装置に有線又は無線で接続されて使用される画像編集機、記録再生装置、テレビジョン受像器、携帯電話機、コンピュータ装置などが想定される。
この例の装置DVC2は、入力部14、パノラマ合成部10、関連付け部11、記録再生部13、表示画像生成部20、表示部21を有する。即ち上記図9Aと比べると、撮像部12に代わって入力部14が設けられる場合である。
入力部14は、例えば外部の撮像装置におけるパノラマ画像データの撮像動作により得られた、パノラマ画像を生成するための一連の複数のフレーム画像データFMを入力する。この複数のフレーム画像データFMが入力画像群FMSとしてパノラマ合成部10に供給される。以降の各部の動作は図9Aと同様である。
このように装置DVC2は、外部の撮像装置で得られたフレーム画像データFMを用いてパノラマ画像生成を行い、またパノラマ画像の表示を行う機器である。例えばデジタルスチルカメラ等の撮像装置に有線又は無線で接続されて使用される画像編集機、記録再生装置、テレビジョン受像器、携帯電話機、コンピュータ装置などが想定される。
図9Cの装置DVC3は、表示部21を有さない機器として画像処理装置1及び画像処理装置2が構成される例である。
この例の装置DVC3は、入力部14(又は撮像部12)、パノラマ合成部10、関連付け部11、記録再生部13、表示画像生成部20を有する。この場合の表示部21は装置DVC3に接続される外部機器となる。各部の動作は図9A又は図9Bと同様であるが、表示画像生成部20は生成した表示画像データPDdspを外部の表示部21に送信し、投影表示等の表示を実行させる。
このように画像処理装置1及び画像処理装置2は、表示機能を有しない機器としても実現可能である。
この例の装置DVC3は、入力部14(又は撮像部12)、パノラマ合成部10、関連付け部11、記録再生部13、表示画像生成部20を有する。この場合の表示部21は装置DVC3に接続される外部機器となる。各部の動作は図9A又は図9Bと同様であるが、表示画像生成部20は生成した表示画像データPDdspを外部の表示部21に送信し、投影表示等の表示を実行させる。
このように画像処理装置1及び画像処理装置2は、表示機能を有しない機器としても実現可能である。
図10Aは、画像処理装置1となる装置DVC4と、画像処理装置2となる装置DVC5の例である。
装置DVC4は、撮像部12(又は入力部14)、パノラマ合成部10、関連付け部11、記録部13Rを有する。
記録部13Rは、関連付け部11からのパノラマ画像ファイルPDrを可搬性記録媒体90に記録する。可搬性記録媒体90としては、メモリカード、光ディスク、磁気ディスクなどが想定される。
装置DVC5は、再生部13P、表示画像生成部20、表示部21を有する。
再生部13Pは、可搬性記録媒体90からパノラマ画像ファイルPDrを再生し、表示画像生成部20に供給する。表示画像生成部20はパノラマ画像ファイルPDrに基づいて表示画像データPDdspを生成し、表示部21に供給してパノラマ画像の表示を実行させる。
この例のように、画像処理装置1となる装置DVC4と、画像処理装置2となる装置DVC5が別体の構成として、可搬性記録媒体90によりパノラマ画像ファイルPDrが受け渡される構成も考えられる。なお、装置DVC5において表示部21を設けず、外部の表示部21を用いる例も考えられる。
装置DVC4は、撮像部12(又は入力部14)、パノラマ合成部10、関連付け部11、記録部13Rを有する。
記録部13Rは、関連付け部11からのパノラマ画像ファイルPDrを可搬性記録媒体90に記録する。可搬性記録媒体90としては、メモリカード、光ディスク、磁気ディスクなどが想定される。
装置DVC5は、再生部13P、表示画像生成部20、表示部21を有する。
再生部13Pは、可搬性記録媒体90からパノラマ画像ファイルPDrを再生し、表示画像生成部20に供給する。表示画像生成部20はパノラマ画像ファイルPDrに基づいて表示画像データPDdspを生成し、表示部21に供給してパノラマ画像の表示を実行させる。
この例のように、画像処理装置1となる装置DVC4と、画像処理装置2となる装置DVC5が別体の構成として、可搬性記録媒体90によりパノラマ画像ファイルPDrが受け渡される構成も考えられる。なお、装置DVC5において表示部21を設けず、外部の表示部21を用いる例も考えられる。
図10Bは、画像処理装置1となる装置DVC6と、画像処理装置2となる装置DVC7の例である。
装置DVC6は、撮像部12(又は入力部14)、パノラマ合成部10、関連付け部11、通信部15を有する。
通信部15は、関連付け部11からのパノラマ画像ファイルPDrを外部に送信する。
装置DVC7は、通信部16、表示画像生成部20、表示部21を有する。
通信部16は、装置DVC6から送信されてくるパノラマ画像ファイルPDrを受信し、表示画像生成部20に供給する。表示画像生成部20はパノラマ画像ファイルPDrに基づいて表示画像データPDdspを生成し、表示部21に供給してパノラマ画像の表示を実行させる。
この例のように、画像処理装置1となる装置DVC6と、画像処理装置2となる装置DVC7が別体の構成として、通信によりパノラマ画像ファイルPDrが受け渡される構成も考えられる。
通信部15、16の間の通信は、有線通信、無線通信のいずれも考えられる。また通信は、機器間のケーブル接続による通信、USB(Universal Serial Bus)等による通信、LAN(Local Area Network)通信、インターネット等の公衆ネットワークを利用した通信など、あらゆる通信形態が想定される。さらには、通信部15はインターネット上のサーバ等にパノラマ画像ファイルPDrをアップロードする通信を行い、また通信部16はサーバからパノラマ画像ファイルPDrをダウンロードする通信を行うものでもよい。また通信部15,16はクラウドコンピューティングを想定した通信を行ってもよい。
なお、装置DVC7においても表示部21を設けず、外部の表示部21を用いる例も考えられる。
装置DVC6は、撮像部12(又は入力部14)、パノラマ合成部10、関連付け部11、通信部15を有する。
通信部15は、関連付け部11からのパノラマ画像ファイルPDrを外部に送信する。
装置DVC7は、通信部16、表示画像生成部20、表示部21を有する。
通信部16は、装置DVC6から送信されてくるパノラマ画像ファイルPDrを受信し、表示画像生成部20に供給する。表示画像生成部20はパノラマ画像ファイルPDrに基づいて表示画像データPDdspを生成し、表示部21に供給してパノラマ画像の表示を実行させる。
この例のように、画像処理装置1となる装置DVC6と、画像処理装置2となる装置DVC7が別体の構成として、通信によりパノラマ画像ファイルPDrが受け渡される構成も考えられる。
通信部15、16の間の通信は、有線通信、無線通信のいずれも考えられる。また通信は、機器間のケーブル接続による通信、USB(Universal Serial Bus)等による通信、LAN(Local Area Network)通信、インターネット等の公衆ネットワークを利用した通信など、あらゆる通信形態が想定される。さらには、通信部15はインターネット上のサーバ等にパノラマ画像ファイルPDrをアップロードする通信を行い、また通信部16はサーバからパノラマ画像ファイルPDrをダウンロードする通信を行うものでもよい。また通信部15,16はクラウドコンピューティングを想定した通信を行ってもよい。
なお、装置DVC7においても表示部21を設けず、外部の表示部21を用いる例も考えられる。
以上、機器構成例を示したが、画像処理装置1,2を実現する機器構成はさらに多様に考えられる。
例えばクラウドコンピューティングシステムを想定した場合、関連付け部11や表示画像生成部20が、ユーザ使用機器ではなくネットワーク上に配置されることも考えられる。
また上述してきたパノラマ画像ファイルPDrは、パノラマ画像データPDと、そのパノラマ画像データPDが全周パノラマ画像であることを示す情報を関連付ける処理を行ったデータである。このパノラマ画像ファイルPDrとしては、全周パノラマ画像であることを示す情報(例えば後述するメタデータや専用プログラム)と、パノラマ画像データPDを組み込んだファイルとするということが考えられるが、さらにパノラマ画像データPDと、全周パノラマ画像であることを示す情報が別ファイルとして設けられ、それらがなんかの情報で関連付けられるという形態もある。
例えばクラウドコンピューティングシステムを想定した場合、関連付け部11や表示画像生成部20が、ユーザ使用機器ではなくネットワーク上に配置されることも考えられる。
また上述してきたパノラマ画像ファイルPDrは、パノラマ画像データPDと、そのパノラマ画像データPDが全周パノラマ画像であることを示す情報を関連付ける処理を行ったデータである。このパノラマ画像ファイルPDrとしては、全周パノラマ画像であることを示す情報(例えば後述するメタデータや専用プログラム)と、パノラマ画像データPDを組み込んだファイルとするということが考えられるが、さらにパノラマ画像データPDと、全周パノラマ画像であることを示す情報が別ファイルとして設けられ、それらがなんかの情報で関連付けられるという形態もある。
<3.第1構成例(メタデータ)>
以下、図8に示した関連付け部11及び表示画像生成部20としての具体的な構成例を説明していく。第1構成例は、関連付け部11がメタデータを用いた関連付け処理を行う例である。
以下、図8に示した関連付け部11及び表示画像生成部20としての具体的な構成例を説明していく。第1構成例は、関連付け部11がメタデータを用いた関連付け処理を行う例である。
図11Aは、画像処理装置1におけるパノラマ合成部10と関連付け部11を示している。この第1構成例では、関連付け部11はメタデータ生成部11aとデータ統合部11bを有する。
パノラマ合成部10はパノラマ画像データPDを生成するとともにパノラマ処理情報Ipを出力する。
パノラマ処理情報Ipはメタデータ生成部11aに供給される。メタデータ生成部11aはパノラマ処理情報Ipを反映したメタデータMTを生成する。上述のようにパノラマ処理情報Ipの内容としては、パノラマモード種別情報、360°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報などがある。
このうちパノラマモード種別情報、360°画角判定情報、或いは両端位置合わせ情報は、生成されたパノラマ画像データPDが、全周パノラマ画像と判断される場合に、そのパノラマ画像データPDが全周パノラマ画像であることを示す情報となり得る。
このうちパノラマモード種別情報、360°画角判定情報、或いは両端位置合わせ情報は、生成されたパノラマ画像データPDが、全周パノラマ画像と判断される場合に、そのパノラマ画像データPDが全周パノラマ画像であることを示す情報となり得る。
データ統合部11bは、パノラマ合成部10で生成されたパノラマ画像データPDと、メタデータ生成部11aで生成されたメタデータMTを統合してパノラマ画像ファイルPDrを生成する。例えばパノラマ画像ファイルPDrは図11Bのような構造となる。即ちヘッダ、パノラマ画像データPD、メタデータMTを含むデータファイル構造である。
図9,図10で例示した各装置DVC1〜DVC3、DVC4、DVC6では、このようなパノラマ画像ファイルPDrが、記録媒体に記録されたり、送信出力されたりする。
図9,図10で例示した各装置DVC1〜DVC3、DVC4、DVC6では、このようなパノラマ画像ファイルPDrが、記録媒体に記録されたり、送信出力されたりする。
図11Cは、画像処理装置2における表示画像生成部20を示している。この第1構成例では、表示画像生成部20はデータ分離部20a、メタデータ解釈部20b、画像生成処理部20cを有する。
データ分離部20aには、記録媒体から再生されたり、或いは受信されたりしたパノラマ画像ファイルPDrが入力される。データ分離部20aは、このパノラマ画像ファイルPDrからメタデータMTとパノラマ画像データPDを分離する。
メタデータMTはメタデータ解釈部20bで解釈され、パノラマ処理情報Ip(パノラマモード種別情報、360°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報)として画像生成処理部20cに供給される。
画像生成処理部20cはパノラマ画像データPDに基づいて表示画像データPDdspを生成して出力する。このときに、パノラマ処理情報Ipの内容に応じて、投影表示のための表示画像データPDdsp生成を行うか否かを決定する。即ち表示対象のパノラマ画像データPDが全周パノラマ画像と判断される場合に、投影表示のための処理を行い、全周パノラマ画像ではない場合は、他の表示、例えばスクロール表示やシングルビュー表示のための処理を行う。
そして生成した表示画像データPDdspを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
図9,図10で例示した各装置DVC1〜DVC3、DVC5、DVC7では、この表示画像データPDdspが表示部21に供給されてパノラマ画像表示が行われる。
データ分離部20aには、記録媒体から再生されたり、或いは受信されたりしたパノラマ画像ファイルPDrが入力される。データ分離部20aは、このパノラマ画像ファイルPDrからメタデータMTとパノラマ画像データPDを分離する。
メタデータMTはメタデータ解釈部20bで解釈され、パノラマ処理情報Ip(パノラマモード種別情報、360°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報)として画像生成処理部20cに供給される。
画像生成処理部20cはパノラマ画像データPDに基づいて表示画像データPDdspを生成して出力する。このときに、パノラマ処理情報Ipの内容に応じて、投影表示のための表示画像データPDdsp生成を行うか否かを決定する。即ち表示対象のパノラマ画像データPDが全周パノラマ画像と判断される場合に、投影表示のための処理を行い、全周パノラマ画像ではない場合は、他の表示、例えばスクロール表示やシングルビュー表示のための処理を行う。
そして生成した表示画像データPDdspを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
図9,図10で例示した各装置DVC1〜DVC3、DVC5、DVC7では、この表示画像データPDdspが表示部21に供給されてパノラマ画像表示が行われる。
以上の画像処理装置1、画像処理装置2の処理例を図12に示す。
図12Aは画像処理装置1としてパノラマ合成部10及び関連付け部11の処理を示している。
ステップF1でパノラマ合成部10は入力画像群FMSを取り込む。
ステップF2でパノラマ合成部10がパノラマ合成処理を行って、パノラマ画像データPDを生成する。パノラマ合成部10は、このパノラマ合成処理過程で得られたパノラマ処理情報Ipを関連付け部11(メタデータ生成部11a)に供給する。
ステップF3では、関連付け部11(メタデータ生成部11a)がパノラマ処理情報Ipに基づいてメタデータMTを生成する。
ステップF4では関連付け部11(データ統合部11b)が、パノラマ画像データPDとメタデータMTを統合し、例えば図11Bのようなパノラマ画像ファイルPDrを生成する。
ステップF5では、パノラマ画像ファイルPDrが、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力されたりする。
図12Aは画像処理装置1としてパノラマ合成部10及び関連付け部11の処理を示している。
ステップF1でパノラマ合成部10は入力画像群FMSを取り込む。
ステップF2でパノラマ合成部10がパノラマ合成処理を行って、パノラマ画像データPDを生成する。パノラマ合成部10は、このパノラマ合成処理過程で得られたパノラマ処理情報Ipを関連付け部11(メタデータ生成部11a)に供給する。
ステップF3では、関連付け部11(メタデータ生成部11a)がパノラマ処理情報Ipに基づいてメタデータMTを生成する。
ステップF4では関連付け部11(データ統合部11b)が、パノラマ画像データPDとメタデータMTを統合し、例えば図11Bのようなパノラマ画像ファイルPDrを生成する。
ステップF5では、パノラマ画像ファイルPDrが、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力されたりする。
図12Bでは、画像処理装置2の表示画像生成部20の処理を示している。
ステップF51で表示画像生成部20(データ分離部20a)は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたりしたパノラマ画像ファイルPDrを取り込む。
ステップF52で表示画像生成部20(データ分離部20a、メタデータ解釈部20b)が、パノラマ画像ファイルPDrからパノラマ画像データPDとメタデータMTを分離し、メタデータMTを抽出し、これを解釈してパノラマ処理情報Ipを得る。
ステップF53では、表示画像生成部20(画像生成処理部20c)は、今回の表示対象のパノラマ画像データPDが360°画角の全周パノラマ画像であるか否かで処理を分岐する。
ステップF51で表示画像生成部20(データ分離部20a)は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたりしたパノラマ画像ファイルPDrを取り込む。
ステップF52で表示画像生成部20(データ分離部20a、メタデータ解釈部20b)が、パノラマ画像ファイルPDrからパノラマ画像データPDとメタデータMTを分離し、メタデータMTを抽出し、これを解釈してパノラマ処理情報Ipを得る。
ステップF53では、表示画像生成部20(画像生成処理部20c)は、今回の表示対象のパノラマ画像データPDが360°画角の全周パノラマ画像であるか否かで処理を分岐する。
パノラマ画像データPDが全周パノラマ画像であるか否かの判断は各種考えられる。
パノラマ処理情報Ipにおける360°画角判定情報を参照することで、パノラマ画像データPDが正確に360°画角を有しているか否かを判断できる。このため、正確に360°画角を有する場合に全周パノラマ画像と判断してもよい。
パノラマ処理情報Ipにおける360°画角判定情報を参照することで、パノラマ画像データPDが正確に360°画角を有しているか否かを判断できる。このため、正確に360°画角を有する場合に全周パノラマ画像と判断してもよい。
またパノラマ処理情報Ipにおける両端位置合わせ情報を参照することで、パノラマ画像データPDが360°画角を有し、かつ両端位置合わせ処理が行われたものであるか否かを判断できる。このため、360°画角を有し、かつ両端位置合わせが行われていることを条件として、全周パノラマ画像と判断するようにしてもよい。
またパノラマ処理情報Ipにおけるパノラマモード種別情報を参照することで、パノラマ画像データPDが360°パノラマ撮像モードで撮像されたものであるか否か、つまりほぼ360°画角を有するか否かを判断できる。このため、360°パノラマ撮像モードで撮像されたものであれば全周パノラマ画像と判断するようにしてもよい。
なお、360°パノラマ撮像モードで撮像されたパノラマ画像データPDは、必ずしも正確な360°画角を有するものとはいえない。360°パノラマ撮像モードでは、撮像時に360°のスイープで得られたフレーム画像データFMからパノラマ画像データPDを生成するが、スイープはユーザが行うものであり、必ず正確に360°画角とはならないためである。ユーザが、360°に至る前にスイープをやめる場合もある。従って、360°パノラマ撮像モードで撮像されたパノラマ画像データPDは、略360°画角と推定される画像ということとなる。
なお、360°パノラマ撮像モードで撮像されたパノラマ画像データPDは、必ずしも正確な360°画角を有するものとはいえない。360°パノラマ撮像モードでは、撮像時に360°のスイープで得られたフレーム画像データFMからパノラマ画像データPDを生成するが、スイープはユーザが行うものであり、必ず正確に360°画角とはならないためである。ユーザが、360°に至る前にスイープをやめる場合もある。従って、360°パノラマ撮像モードで撮像されたパノラマ画像データPDは、略360°画角と推定される画像ということとなる。
ステップF53で以上のいずれかの判断手法が用いられ、全周パノラマ画像と判断された場合、表示画像生成部20(画像生成処理部20c)は、ステップF54に進んで、表示用投影処理を行って表示画像データPDdspを生成し、ステップF55でその表示画像データPDdspを出力する処理を行う。このステップF54,F55の処理を、ステップF56で、ユーザ操作や自動処理により表示終了となるまで継続する。これによって、表示部では、投影表示として、例えば全周を見渡すような表示や、任意の方向の表示などが実行される。
ここで投影表示を行うための表示用投影処理では、パノラマ画像の画角の情報が必要である。本例の場合、ステップF54の処理対象となるパノラマ画像データPDは、上述のように全周パノラマ画像と判断されたものであり、従って画像生成処理部20cはパノラマ画像データPDが画角360°のものとして表示用投影処理を行えばよいこととなる。これによって画像歪みの少ない高品質な投影表示を行うことができる。
また表示用投影処理では、パノラマ合成時において投影面(円筒面、球面、多角形面等)に投影が行われたパノラマ画像データPDを仮想的な平面スクリーンVSに再投影する。このためにはパノラマ画像データPDの投影面の情報が必要になる。本例ではパノラマ処理情報Ipにおける合成用投影面情報を参照することで、画像生成処理部20cは正確に平面スクリーンVSへの再投影処理を行うことができる。
また、投影表示では、仮想的な平面スクリーンVSの水平垂直角度を変えていくことで、スクロール表示と同様に周囲を水平垂直方向に見渡していく表示を行うことができる。例えば水平方向には360°画角であることで、水平方向には無制限にスクロールを行うことができるが垂直方向には限度がある。この場合に、画像生成処理部20cは、パノラマ処理情報Ipにおける水平垂直画角情報を参照して、垂直方向のスクロール可能範囲を制限することができる。
なお、水平垂直画角情報は、表示用に平面スクリーンVSへの投影処理自体に使用するものではなく、単に表示範囲の制限のために使用する情報であればよい。従って精度の高い画角の値を示すものでなくてよい。パノラマ画像データPDの生成時に、高精度の水平垂直画角を求めるという困難な演算を行うことを必要とするものではない。
なお、水平垂直画角情報は、表示用に平面スクリーンVSへの投影処理自体に使用するものではなく、単に表示範囲の制限のために使用する情報であればよい。従って精度の高い画角の値を示すものでなくてよい。パノラマ画像データPDの生成時に、高精度の水平垂直画角を求めるという困難な演算を行うことを必要とするものではない。
ステップF53で全周パノラマ画像ではないと判断された場合は、表示画像生成部20(画像生成処理部20c)はステップF57で、他の方式の表示画像データ生成処理を行う。例えばスクロール表示、或いはシングルビュー表示としての表示画像データPDdspを生成する。そしてステップF58で表示画像データPDdspを出力する処理を行う。このステップF57,F58の処理を、ステップF59で表示終了と判断されるまで継続する。これによって表示部では、投影表示以外のスクロール表示やシングルビュー表示が実行される。
全周パノラマ画像ではない場合、画角が正確にわからず、投影表示が高品質に実行できない。そこで、スクロール表示やシングルビュー表示を行うものである。
全周パノラマ画像ではない場合、画角が正確にわからず、投影表示が高品質に実行できない。そこで、スクロール表示やシングルビュー表示を行うものである。
以上のように第1構成例では、画像処理装置1においては、関連付け部11は、全周パノラマ画像であることを示す情報を含むメタデータMTを、パノラマ画像データPDに関連付けてパノラマ画像ファイルPDrを生成する。
メタデータMTには、パノラマ画像生成時のフレーム画像データの投影面の種別を示す合成用投影面情報や、パノラマ画像データPDの360°画角判定情報、両端位置合わせ情報、パノラマモード情報、水平垂直画角情報が含まれる。
一方で画像処理装置2では、表示画像生成部20は、パノラマ画像データPDが全周パノラマ画像であると判断されるときに表示用投影処理を行って表示画像データを生成し、投影表示を実行させるようにしている。全周パノラマ画像の判断はメタデータMDとして関連付けられている情報を用いている。
メタデータMTには、パノラマ画像生成時のフレーム画像データの投影面の種別を示す合成用投影面情報や、パノラマ画像データPDの360°画角判定情報、両端位置合わせ情報、パノラマモード情報、水平垂直画角情報が含まれる。
一方で画像処理装置2では、表示画像生成部20は、パノラマ画像データPDが全周パノラマ画像であると判断されるときに表示用投影処理を行って表示画像データを生成し、投影表示を実行させるようにしている。全周パノラマ画像の判断はメタデータMDとして関連付けられている情報を用いている。
このような構成により適切な投影表示が実行できる全周パノラマ画像については投影表示が自動的に実行されることになり、ユーザに対して臨場感のある表示を提供できる。一方で、全周パノラマ画像でなく画角が正確に特定できないときは、他の表示方式で表示を行うことで、低品質な投影表示を行うことがないように表示動作の切り替えができる。
またメタデータMTとしてパノラマモード種別情報、360°画角判定情報、両端位置合わせ情報等が含まれており、これらがパノラマ画像データPDと関連付けられていることで、全周パノラマ画像か否かの判断を容易かつ正確に実行できる。つまり表示方式の選択が容易かつ正確となる。
またメタデータMTに合成用投影面情報が含まれていることで、表示用投影処理が正確に実行できる。
またメタデータMTとしてパノラマモード種別情報、360°画角判定情報、両端位置合わせ情報等が含まれており、これらがパノラマ画像データPDと関連付けられていることで、全周パノラマ画像か否かの判断を容易かつ正確に実行できる。つまり表示方式の選択が容易かつ正確となる。
またメタデータMTに合成用投影面情報が含まれていることで、表示用投影処理が正確に実行できる。
<4.第2構成例(専用プログラム)>
実施の形態の第2構成例を説明する。第2構成例は、画像処理装置1の関連付け部11は、全周パノラマ画像であることを示す情報として、全周パノラマ画像の表示に用いる表示処理プログラム(専用プログラム)を、パノラマ画像データPDに関連付けるものである。
また画像処理装置2の表示画像生成部20は、パノラマ画像データPDに表示処理プログラムが関連付けられていることにより、全周パノラマ画像であると判断し、その表示処理プログラムに基づいて表示用投影処理を行って表示画像データを生成するようにする。
実施の形態の第2構成例を説明する。第2構成例は、画像処理装置1の関連付け部11は、全周パノラマ画像であることを示す情報として、全周パノラマ画像の表示に用いる表示処理プログラム(専用プログラム)を、パノラマ画像データPDに関連付けるものである。
また画像処理装置2の表示画像生成部20は、パノラマ画像データPDに表示処理プログラムが関連付けられていることにより、全周パノラマ画像であると判断し、その表示処理プログラムに基づいて表示用投影処理を行って表示画像データを生成するようにする。
図13Aは、画像処理装置1におけるパノラマ合成部10と関連付け部11を示している。この第2構成例では、関連付け部11は表示処理プログラム発生部11dとデータ統合部11eを有する。
パノラマ合成部10はパノラマ画像データPDを生成するとともにパノラマ処理情報Ipを出力する。
パノラマ処理情報Ipは表示処理プログラム発生部11dに供給される。表示処理プログラム発生部11dは、パノラマ処理情報Ipに基づいて表示処理プログラムPGを発生させる。表示処理プログラム発生部11dはパノラマ処理情報Ipにおけるパノラマモード種別情報、360°画角判定情報、両端位置合わせ情報のいずれかにより、パノラマ画像データPDが全周パノラマ画像か否かを判断して、全周パノラマ画像の場合に、表示処理プログラムPGを発生させる。
表示処理プログラムPGとしては、例えばFlash(Adobe)、QuickTimeVR(Apple)、HTML5で記述されたもので、広範囲の表示装置で再生表示が可能である。
表示処理プログラムPGとしては、例えばFlash(Adobe)、QuickTimeVR(Apple)、HTML5で記述されたもので、広範囲の表示装置で再生表示が可能である。
データ統合部11eは、パノラマ合成部10で生成されたパノラマ画像データPDと、表示処理プログラム発生部11dで発生された表示処理プログラムPGを統合してパノラマ画像ファイルPDrを生成する。例えばパノラマ画像ファイルPDrは図13Bのような構造となる。即ちヘッダ、パノラマ画像データPD、表示処理プログラムPGを含むデータファイル構造である。
図9,図10で例示した各装置DVC1〜DVC3、DVC4、DVC6では、このようなパノラマ画像ファイルPDrが、記録媒体に記録されたり、送信出力されたりする。
なおパノラマ画像ファイルPDrとしては図示のように、パノラマ画像データPDは通常のパノラマ保存形式とし、表示処理プログラムPGを加えてもよいが、表示処理プログラム自体にパノラマ画像データPDを埋め込む形式としてもよい。
図9,図10で例示した各装置DVC1〜DVC3、DVC4、DVC6では、このようなパノラマ画像ファイルPDrが、記録媒体に記録されたり、送信出力されたりする。
なおパノラマ画像ファイルPDrとしては図示のように、パノラマ画像データPDは通常のパノラマ保存形式とし、表示処理プログラムPGを加えてもよいが、表示処理プログラム自体にパノラマ画像データPDを埋め込む形式としてもよい。
図13Cは、画像処理装置2における表示画像生成部20を示している。この第2構成例では、表示画像生成部20はデータ分離部20f、画像生成処理部20cを有する。
データ分離部20fには、記録媒体から再生されたり、或いは受信されたりしたパノラマ画像ファイルPDrが入力される。データ分離部20aは、このパノラマ画像ファイルPDrからパノラマ画像データPDと表示処理プログラムPGを分離して画像生成処理部20cへ供給する。
なお、パノラマ画像データPDが全周パノラマ画像ではなかった場合、パノラマ画像ファイルPDrには表示処理プログラムPGは含まれていないため、データ分離部20fはパノラマ画像データPDのみを画像生成処理部20cへ供給する。
データ分離部20fには、記録媒体から再生されたり、或いは受信されたりしたパノラマ画像ファイルPDrが入力される。データ分離部20aは、このパノラマ画像ファイルPDrからパノラマ画像データPDと表示処理プログラムPGを分離して画像生成処理部20cへ供給する。
なお、パノラマ画像データPDが全周パノラマ画像ではなかった場合、パノラマ画像ファイルPDrには表示処理プログラムPGは含まれていないため、データ分離部20fはパノラマ画像データPDのみを画像生成処理部20cへ供給する。
画像生成処理部20cはパノラマ画像データPDに基づいて表示画像データPDdspを生成して出力する。このときに、表示処理プログラムPGが存在すれば、表示処理プログラムPGに基づいた処理を行って、投影表示のための表示画像データPDdsp生成を行う。パノラマ画像データPDが全周パノラマ画像ではなく、表示処理プログラムPGが抽出されない場合は、他の表示、例えばスクロール表示やシングルビュー表示のための処理を行う。
そして生成した表示画像データPDdspを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
図9,図10で例示した各装置DVC1〜DVC3、DVC5、DVC7では、この表示画像データPDdspが表示部21に供給されてパノラマ画像表示が行われる。
そして生成した表示画像データPDdspを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
図9,図10で例示した各装置DVC1〜DVC3、DVC5、DVC7では、この表示画像データPDdspが表示部21に供給されてパノラマ画像表示が行われる。
以上の画像処理装置1、画像処理装置2の処理例を図14に示す。
図14Aは画像処理装置1としてパノラマ合成部10及び関連付け部11の処理を示している。
ステップF11でパノラマ合成部10は入力画像群FMSを取り込む。
ステップF12でパノラマ合成部10がパノラマ合成処理を行って、パノラマ画像データPDを生成する。パノラマ合成部10は、このパノラマ合成処理過程で得られたパノラマ処理情報Ipを関連付け部11(表示処理プログラム発生部11d)に供給する。
ステップF13では、関連付け部11(表示処理プログラム発生部11d)がパノラマ処理情報Ipを確認し、生成されたパノラマ画像データPDが全周パノラマ画像か否かの判断を行う。
全周パノラマ画像か否かの判断は、第1構成例で述べたものと同様に、パノラマ処理情報Ipにおける360°画角判定情報を参照する方式、両端位置合わせ情報を参照する方式、パノラマモード種別情報を参照する方式などが考えられる。
図14Aは画像処理装置1としてパノラマ合成部10及び関連付け部11の処理を示している。
ステップF11でパノラマ合成部10は入力画像群FMSを取り込む。
ステップF12でパノラマ合成部10がパノラマ合成処理を行って、パノラマ画像データPDを生成する。パノラマ合成部10は、このパノラマ合成処理過程で得られたパノラマ処理情報Ipを関連付け部11(表示処理プログラム発生部11d)に供給する。
ステップF13では、関連付け部11(表示処理プログラム発生部11d)がパノラマ処理情報Ipを確認し、生成されたパノラマ画像データPDが全周パノラマ画像か否かの判断を行う。
全周パノラマ画像か否かの判断は、第1構成例で述べたものと同様に、パノラマ処理情報Ipにおける360°画角判定情報を参照する方式、両端位置合わせ情報を参照する方式、パノラマモード種別情報を参照する方式などが考えられる。
全周パノラマ画像の場合は、ステップF14からF15に進み、関連付け部11(表示処理プログラム発生部11d)は表示処理プログラムPGを発生させる。
ステップF16では関連付け部11(データ統合部11b)が、表示処理プログラムPGが発生された場合は、パノラマ画像データPDと表示処理プログラムPGを統合し、例えば図13Bのようなパノラマ画像ファイルPDrを生成する。表示処理プログラムPGが発生されなかった場合、つまり全周パノラマ画像ではない場合は、パノラマ画像データPDを含むパノラマ画像ファイルPDrを生成する。
ステップF17では、パノラマ画像ファイルPDrが、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力されたりする。
ステップF16では関連付け部11(データ統合部11b)が、表示処理プログラムPGが発生された場合は、パノラマ画像データPDと表示処理プログラムPGを統合し、例えば図13Bのようなパノラマ画像ファイルPDrを生成する。表示処理プログラムPGが発生されなかった場合、つまり全周パノラマ画像ではない場合は、パノラマ画像データPDを含むパノラマ画像ファイルPDrを生成する。
ステップF17では、パノラマ画像ファイルPDrが、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力されたりする。
図14Bでは、画像処理装置2の表示画像生成部20の処理を示している。
ステップF60で表示画像生成部20(データ分離部20f)は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたりしたパノラマ画像ファイルPDrを取り込む。
ステップF61で表示画像生成部20(データ分離部20f)が、パノラマ画像ファイルPDrの分離処理を行い、表示処理プログラムPGが含まれているか否かを確認する。
表示画像生成部20はステップF62で、表示処理プログラムPGの有無に応じて処理を分岐する。
ステップF60で表示画像生成部20(データ分離部20f)は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたりしたパノラマ画像ファイルPDrを取り込む。
ステップF61で表示画像生成部20(データ分離部20f)が、パノラマ画像ファイルPDrの分離処理を行い、表示処理プログラムPGが含まれているか否かを確認する。
表示画像生成部20はステップF62で、表示処理プログラムPGの有無に応じて処理を分岐する。
表示処理プログラムPGが存在した場合は、ステップF63で表示処理プログラムPGを取り込んで、画像生成部20cが表示画像生成のためのプログラムとして使用する状態とする。
そして表示画像生成部20(画像生成処理部20c)は、ステップF64に進んで、表示処理プログラムPGに従って表示用投影処理を行って表示画像データPDdspを生成し、ステップF65でその表示画像データPDdspを出力する処理を行う。このステップF64,F65の処理を、ステップF66で、ユーザ操作や自動処理により表示終了となるまで継続する。これによって、表示部では、投影表示として、例えば全周を見渡すような表示や、任意の方向の表示などが実行される。
なお、パノラマ画像データPDが360°画角であることや、パノラマ画像データPDの投影面の情報は、さらにはスクロール制限のための水平垂直画角情報などは、表示処理プログラムPG内に記述されていればよい。
そして表示画像生成部20(画像生成処理部20c)は、ステップF64に進んで、表示処理プログラムPGに従って表示用投影処理を行って表示画像データPDdspを生成し、ステップF65でその表示画像データPDdspを出力する処理を行う。このステップF64,F65の処理を、ステップF66で、ユーザ操作や自動処理により表示終了となるまで継続する。これによって、表示部では、投影表示として、例えば全周を見渡すような表示や、任意の方向の表示などが実行される。
なお、パノラマ画像データPDが360°画角であることや、パノラマ画像データPDの投影面の情報は、さらにはスクロール制限のための水平垂直画角情報などは、表示処理プログラムPG内に記述されていればよい。
ステップF62で表示処理プログラムPGが存在しないと判断された場合は、表示画像生成部20(画像生成処理部20c)はステップF67で、既存の表示処理プログラムに基づく表示画像データ生成処理を行う。例えば画像生成処理部20cにはスクロール表示やシングルビュー表示としての表示処理プログラムが記憶されているとすると、それらを用いてスクロール表示、或いはシングルビュー表示としての表示画像データPDdspを生成する。そしてステップF68で表示画像データPDdspを出力する処理を行う。このステップF67,F68の処理を、ステップF69で表示終了と判断されるまで継続する。これによって表示部では、投影表示以外のスクロール表示やシングルビュー表示が実行される。つまり全周パノラマ画像ではない場合はスクロール表示やシングルビュー表示が行われる。
以上のように第2構成例では、画像処理装置1においては、関連付け部11は、全周パノラマ画像に対応した投影表示を実行するための表示処理プログラムPGを、パノラマ画像データPDに関連付けてパノラマ画像ファイルPDrを生成する。
一方で画像処理装置2では、表示画像生成部20は、表示処理プログラムPGが存在すれば、その表示処理プログラムPGに基づいて表示用投影処理を行って投影表示のための表示画像データPDdspを生成する。
一方で画像処理装置2では、表示画像生成部20は、表示処理プログラムPGが存在すれば、その表示処理プログラムPGに基づいて表示用投影処理を行って投影表示のための表示画像データPDdspを生成する。
このような構成により適切な投影表示が実行できる全周パノラマ画像については投影表示が自動的に実行されることになり、ユーザに対して臨場感のある表示を提供できる。一方で、全周パノラマ画像でなく画角が正確に特定できないときは、他の表示方式で表示を行うことで、低品質な投影表示を行うことがないように表示動作の切り替えができる。
<5.第3構成例(ファイルリンク情報)>
実施の形態の第3構成例を説明する。第3構成例は、画像処理装置1の関連付け部11は、全周パノラマ画像であることを示す情報を含むデータファイルと、パノラマ画像データPDを含むデータファイルを関連付ける処理を行う。
また画像処理装置2の表示画像生成部20は、パノラマ画像データPDを含むデータファイルから関連付けられたデータファイルを確認し、情報を取得して、全周パノラマ画像であるか否かを判断する。そして全周パノラマ画像の場合には表示用投影処理を行って表示画像データを生成する。
実施の形態の第3構成例を説明する。第3構成例は、画像処理装置1の関連付け部11は、全周パノラマ画像であることを示す情報を含むデータファイルと、パノラマ画像データPDを含むデータファイルを関連付ける処理を行う。
また画像処理装置2の表示画像生成部20は、パノラマ画像データPDを含むデータファイルから関連付けられたデータファイルを確認し、情報を取得して、全周パノラマ画像であるか否かを判断する。そして全周パノラマ画像の場合には表示用投影処理を行って表示画像データを生成する。
図15Aは、画像処理装置1におけるパノラマ合成部10と関連付け部11を示している。この第3構成例では、関連付け部11はメタデータ生成部11aと関連付け情報付加部11cを有する。
パノラマ合成部10はパノラマ画像データPDを生成するとともにパノラマ処理情報Ipを出力する。パノラマ処理情報Ip(パノラマモード種別情報、360°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報など)はメタデータ生成部11aに供給される。
メタデータ生成部11aはパノラマ処理情報Ipを反映したメタデータMTを生成する。
関連付け情報付加部11cは、図15Bに示すように、パノラマ画像データPDを含むパノラマ画像ファイルPDr1を生成するとともに、メタデータMTを含むデータファイルPDr2を生成する。この場合にパノラマ画像ファイルPDr1とデータファイルPDr2には、それぞれファイルリンク情報LK1,LK2を付加し、互いに関連付けられるようにする。ファイルリンク情報LK1はデータファイルPDr2を指定する情報で、ファイルリンク情報LK2はパノラマ画像ファイルPDr1を指定する情報である。なお、パノラマ画像ファイルPDr1とデータファイルPDr2の一方のみに他方を指定するファイルリンク情報が付加されてもよい。
図9,図10で例示した各装置DVC1〜DVC3、DVC4、DVC6では、このようなパノラマ画像ファイルPDr1とデータファイルPDr2が、記録媒体に記録されたり、送信出力されたりする。各ファイルが記録される記録媒体は別の記録媒体でもよい。また各ファイルが別の機器やネットワークサーバ等に送信されてもよい。
関連付け情報付加部11cは、図15Bに示すように、パノラマ画像データPDを含むパノラマ画像ファイルPDr1を生成するとともに、メタデータMTを含むデータファイルPDr2を生成する。この場合にパノラマ画像ファイルPDr1とデータファイルPDr2には、それぞれファイルリンク情報LK1,LK2を付加し、互いに関連付けられるようにする。ファイルリンク情報LK1はデータファイルPDr2を指定する情報で、ファイルリンク情報LK2はパノラマ画像ファイルPDr1を指定する情報である。なお、パノラマ画像ファイルPDr1とデータファイルPDr2の一方のみに他方を指定するファイルリンク情報が付加されてもよい。
図9,図10で例示した各装置DVC1〜DVC3、DVC4、DVC6では、このようなパノラマ画像ファイルPDr1とデータファイルPDr2が、記録媒体に記録されたり、送信出力されたりする。各ファイルが記録される記録媒体は別の記録媒体でもよい。また各ファイルが別の機器やネットワークサーバ等に送信されてもよい。
図15Cは、画像処理装置2における表示画像生成部20を示している。この第3構成例では、表示画像生成部20は関連付け情報抽出部20d、対応データ取得部20e、メタデータ解釈部20b、画像生成処理部20cを有する。
関連付け情報抽出部20dには、記録媒体から再生されたり、或いは受信されたりしたパノラマ画像ファイルPDr1が入力される。関連付け情報抽出部20dは、このパノラマ画像ファイルPDr1からファイルリンク情報LK1を抽出して対応データ取得部20eに供給するとともに、パノラマ画像データPDを画像生成処理部20cに供給する。
関連付け情報抽出部20dには、記録媒体から再生されたり、或いは受信されたりしたパノラマ画像ファイルPDr1が入力される。関連付け情報抽出部20dは、このパノラマ画像ファイルPDr1からファイルリンク情報LK1を抽出して対応データ取得部20eに供給するとともに、パノラマ画像データPDを画像生成処理部20cに供給する。
対応データ取得部20eはファイルリンク情報LK1を用いてアクセスACLKを行い、関連付けられたデータファイルPDr2を取得する。例えば所定の記録媒体にアクセスしてデータファイルPDr2を読み出す。或いは所定の外部機器、ネットワークサーバ等にアクセスしてデータファイルPDr2を受信する。そして対応データ取得部20eはデータファイルPDr2を取得したら、メタデータMTを抽出し、メタデータ解釈部20bに供給する。即ち今回の表示対象のパノラマ画像データPDに関連付けられたメタデータMTが得られたことになる。
メタデータMTはメタデータ解釈部20bで解釈され、パノラマ処理情報Ip(パノラマモード種別情報、360°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報)として画像生成処理部20cに供給される。
メタデータMTはメタデータ解釈部20bで解釈され、パノラマ処理情報Ip(パノラマモード種別情報、360°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報)として画像生成処理部20cに供給される。
画像生成処理部20cはパノラマ画像データPDに基づいて表示画像データPDdspを生成して出力する。このときに、パノラマ処理情報Ipの内容に応じて、投影表示のための表示画像データPDdsp生成を行うか否かを決定する。即ち表示対象のパノラマ画像データPDが全周パノラマ画像と判断される場合に、投影表示のための処理を行い、全周パノラマ画像ではない場合は、他の表示、例えばスクロール表示やシングルビュー表示のための処理を行う。
そして生成した表示画像データPDdspを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
図9,図10で例示した各装置DVC1〜DVC3、DVC5、DVC7では、この表示画像データPDdspが表示部21に供給されてパノラマ画像表示が行われる。
そして生成した表示画像データPDdspを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
図9,図10で例示した各装置DVC1〜DVC3、DVC5、DVC7では、この表示画像データPDdspが表示部21に供給されてパノラマ画像表示が行われる。
以上の画像処理装置1、画像処理装置2の処理例を図16に示す。
図16Aは画像処理装置1としてパノラマ合成部10及び関連付け部11の処理を示している。
ステップF21でパノラマ合成部10は入力画像群FMSを取り込む。
ステップF22でパノラマ合成部10がパノラマ合成処理を行って、パノラマ画像データPDを生成する。パノラマ合成部10は、このパノラマ合成処理過程で得られたパノラマ処理情報Ipを関連付け部11(メタデータ生成部11a)に供給する。
ステップF23では、関連付け部11(メタデータ生成部11a)がパノラマ処理情報Ipに基づいてメタデータMTを生成する。
ステップF24では関連付け部11(関連付け情報付加部11c)が、パノラマ画像データPDとファイルリンク情報LK1を含むパノラマ画像ファイルPDr1を生成し、またメタデータMTとファイルリンク情報LK2を含むデータファイルPDr2を生成する。
ステップF25では、パノラマ画像ファイルPDr1とデータファイルPDr2が、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力されたりする。
図16Aは画像処理装置1としてパノラマ合成部10及び関連付け部11の処理を示している。
ステップF21でパノラマ合成部10は入力画像群FMSを取り込む。
ステップF22でパノラマ合成部10がパノラマ合成処理を行って、パノラマ画像データPDを生成する。パノラマ合成部10は、このパノラマ合成処理過程で得られたパノラマ処理情報Ipを関連付け部11(メタデータ生成部11a)に供給する。
ステップF23では、関連付け部11(メタデータ生成部11a)がパノラマ処理情報Ipに基づいてメタデータMTを生成する。
ステップF24では関連付け部11(関連付け情報付加部11c)が、パノラマ画像データPDとファイルリンク情報LK1を含むパノラマ画像ファイルPDr1を生成し、またメタデータMTとファイルリンク情報LK2を含むデータファイルPDr2を生成する。
ステップF25では、パノラマ画像ファイルPDr1とデータファイルPDr2が、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力されたりする。
図16Bは画像処理装置2の表示画像生成部20の処理を示している。
ステップF71で表示画像生成部20(関連付け情報抽出部20d)は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたりしたパノラマ画像ファイルPDr1を取り込む。
ステップF72で表示画像生成部20(関連付け情報抽出部20d、対応データ取得部20e、メタデータ解釈部20b)が、パノラマ画像ファイルPDr1から抽出したリンク情報LK1を用いてアクセスを行い、データファイルPDr2を取得する。そしてデータファイルPDr2からメタデータMTを抽出し、これを解釈してパノラマ処理情報Ipを得る。
ステップF73では、表示画像生成部20(画像生成処理部20c)は、今回の表示対象のパノラマ画像データPDが360°画角の全周パノラマ画像であるか否かで処理を分岐する。
ステップF71で表示画像生成部20(関連付け情報抽出部20d)は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたりしたパノラマ画像ファイルPDr1を取り込む。
ステップF72で表示画像生成部20(関連付け情報抽出部20d、対応データ取得部20e、メタデータ解釈部20b)が、パノラマ画像ファイルPDr1から抽出したリンク情報LK1を用いてアクセスを行い、データファイルPDr2を取得する。そしてデータファイルPDr2からメタデータMTを抽出し、これを解釈してパノラマ処理情報Ipを得る。
ステップF73では、表示画像生成部20(画像生成処理部20c)は、今回の表示対象のパノラマ画像データPDが360°画角の全周パノラマ画像であるか否かで処理を分岐する。
パノラマ画像データPDが全周パノラマ画像であるか否かの判断は、第1構成例で説明したように、パノラマ処理情報Ipにおけるパノラマモード種別情報、360°画角判定情報、両端位置合わせ情報のいずれかにより可能である。
ステップF73で全周パノラマ画像と判断された場合、表示画像生成部20(画像生成処理部20c)は、ステップF74に進んで、表示用投影処理を行って表示画像データPDdspを生成し、ステップF75でその表示画像データPDdspを出力する処理を行う。このステップF74,F75の処理を、ステップF76で、ユーザ操作や自動処理により表示終了となるまで継続する。これによって、表示部では、投影表示として、例えば全周を見渡すような表示や、任意の方向の表示などが実行される。
ステップF73で全周パノラマ画像と判断された場合、表示画像生成部20(画像生成処理部20c)は、ステップF74に進んで、表示用投影処理を行って表示画像データPDdspを生成し、ステップF75でその表示画像データPDdspを出力する処理を行う。このステップF74,F75の処理を、ステップF76で、ユーザ操作や自動処理により表示終了となるまで継続する。これによって、表示部では、投影表示として、例えば全周を見渡すような表示や、任意の方向の表示などが実行される。
なおこの場合、パノラマ画像データPDは全周パノラマ画像であるので、表示用投影処理で用いる画角は360°とすればよい。
またパノラマ処理情報Ipにおける合成用投影面情報を参照することで、画像生成処理部20cは正確に平面スクリーンVSへの再投影処理を行うことができる。
またパノラマ処理情報Ipにおける合成用投影面情報を参照することで、画像生成処理部20cは正確に平面スクリーンVSへの再投影処理を行うことができる。
ステップF73で全周パノラマ画像ではないと判断された場合は、表示画像生成部20(画像生成処理部20c)はステップF77で、他の方式の表示画像データ生成処理を行う。例えばスクロール表示、或いはシングルビュー表示としての表示画像データPDdspを生成する。そしてステップF78で表示画像データPDdspを出力する処理を行う。このステップF77,F78の処理を、ステップF79で表示終了と判断されるまで継続する。これによって表示部では、投影表示以外のスクロール表示やシングルビュー表示が実行される。つまりパノラマ画像データPDが全周パノラマ画像ではなく、画角が正確にわからない場合、スクロール表示やシングルビュー表示を行うようにする。
以上のように第3構成例では、画像処理装置1においては、関連付け部11は、全周パノラマ画像であることを示す情報を含むメタデータMTを含むデータファイルPDr2と、パノラマ画像データPDを含むパノラマ画像ファイルPDr1を生成し、これらをファイルリンク情報LK1、LK2で関連付ける。
一方で画像処理装置2では表示画像生成部20は、ファイルリンク情報を用いてパノラマ画像データPDに関連付けられたメタデータMTを取得し、メタデータMTからパノラマ画像データPDが全周パノラマ画像か否かを判断する。そしてパノラマ画像データPDが全周パノラマ画像であると判断されるときに表示用投影処理を行って表示画像データを生成し、投影表示を実行させるようにしている。
一方で画像処理装置2では表示画像生成部20は、ファイルリンク情報を用いてパノラマ画像データPDに関連付けられたメタデータMTを取得し、メタデータMTからパノラマ画像データPDが全周パノラマ画像か否かを判断する。そしてパノラマ画像データPDが全周パノラマ画像であると判断されるときに表示用投影処理を行って表示画像データを生成し、投影表示を実行させるようにしている。
このような構成により適切な投影表示が実行できる全周パノラマ画像については投影表示が自動的に実行されることになり、ユーザに対して臨場感のある表示を提供できる。一方で、全周パノラマ画像でなく画角が正確に特定できないときは、他の表示方式で表示を行うことで、低品質な投影表示を行うことがないように表示動作の切り替えができる。
なお、図15,図16ではメタデータMTを用いる例で説明したが、第2構成例で述べた表示処理プログラムPGを利用することも考えられる。
例えば図15Bに示したデータファイルPDr2には、メタデータMTではなく表示処理プログラムPGが含まれるようにする。表示画像生成部20は、関連付けられたデータファイルPDr2に表示処理プログラムPGが含まれていれば、その表示処理プログラムPGを用いて投影表示のための表示画像データPDdspの生成処理を行うようにする例である。
以上のようにパノラマ画像データPDと、全周パノラマ画像であることを示す情報が別ファイルとして設けられ、それらが関連付けられるという形態は多様に考えられる。関連づけの手法の1つとして、例えば映像編集データ上で映像素材を参照する情報としてUMID(Unique Material Identifier)が知られている(例えば特開2004−312233号公報参照)。例えば図15BのデータファイルPDr2は、UMIDのような形態で、メタデータMTを、別ファイルであるパノラマ画像ファイルPDr1におけるパノラマ画像データPDに関連付けるものでもよい。
例えば図15Bに示したデータファイルPDr2には、メタデータMTではなく表示処理プログラムPGが含まれるようにする。表示画像生成部20は、関連付けられたデータファイルPDr2に表示処理プログラムPGが含まれていれば、その表示処理プログラムPGを用いて投影表示のための表示画像データPDdspの生成処理を行うようにする例である。
以上のようにパノラマ画像データPDと、全周パノラマ画像であることを示す情報が別ファイルとして設けられ、それらが関連付けられるという形態は多様に考えられる。関連づけの手法の1つとして、例えば映像編集データ上で映像素材を参照する情報としてUMID(Unique Material Identifier)が知られている(例えば特開2004−312233号公報参照)。例えば図15BのデータファイルPDr2は、UMIDのような形態で、メタデータMTを、別ファイルであるパノラマ画像ファイルPDr1におけるパノラマ画像データPDに関連付けるものでもよい。
<6.第4構成例(専用フォーマット)>
実施の形態の第4構成例を説明する。第4構成例は、画像処理装置1の関連付け部11は、全周パノラマ画像であることを示す情報として、パノラマ画像データ自体を特定フォーマットのデータとする。
また画像処理装置2の表示画像生成部20は、パノラマ画像データが特定のフォーマットのデータとされていることにより、全周パノラマ画像であると判断し、表示用投影処理を行って表示画像データを生成する。
実施の形態の第4構成例を説明する。第4構成例は、画像処理装置1の関連付け部11は、全周パノラマ画像であることを示す情報として、パノラマ画像データ自体を特定フォーマットのデータとする。
また画像処理装置2の表示画像生成部20は、パノラマ画像データが特定のフォーマットのデータとされていることにより、全周パノラマ画像であると判断し、表示用投影処理を行って表示画像データを生成する。
図17Aは、画像処理装置1におけるパノラマ合成部10と関連付け部11を示している。この第4構成例では、関連付け部11はフォーマット処理部11fを有する。
パノラマ合成部10はパノラマ画像データPDを生成するとともにパノラマ処理情報Ipを出力する。
フォーマット処理部11fは、パノラマ処理情報Ipにおけるパノラマモード種別情報、360°画角判定情報、両端位置合わせ情報のいずれかにより、パノラマ画像データPDが全周パノラマ画像か否かを判断する。そして、全周パノラマ画像の場合に、専用フォーマットのパノラマ画像データPDを含むパノラマ画像ファイルPDrを生成する。全周パノラマ画像でない場合は、一般的な通常フォーマットのパノラマ画像データPDを含むパノラマ画像ファイルPDrを生成する。
なお、通常フォーマットのパノラマ画像データPDとは、例えばJPEG(Joint Photographic Experts Group)フォーマットなど通常使用されている画像データ形式である。一方で専用フォーマットとは、全周パノラマ画像専用の新規のデータフォーマットとする。
フォーマット処理部11fは、パノラマ処理情報Ipにおけるパノラマモード種別情報、360°画角判定情報、両端位置合わせ情報のいずれかにより、パノラマ画像データPDが全周パノラマ画像か否かを判断する。そして、全周パノラマ画像の場合に、専用フォーマットのパノラマ画像データPDを含むパノラマ画像ファイルPDrを生成する。全周パノラマ画像でない場合は、一般的な通常フォーマットのパノラマ画像データPDを含むパノラマ画像ファイルPDrを生成する。
なお、通常フォーマットのパノラマ画像データPDとは、例えばJPEG(Joint Photographic Experts Group)フォーマットなど通常使用されている画像データ形式である。一方で専用フォーマットとは、全周パノラマ画像専用の新規のデータフォーマットとする。
図17Bは、画像処理装置2における表示画像生成部20を示している。この第4構成例では、表示画像生成部20はフォーマット判定部20g、画像生成処理部20cを有する。
フォーマット判定部20gには、記録媒体から再生されたり、或いは受信されたパノラマ画像ファイルPDrが入力される。フォーマット判定部20gは、パノラマ画像ファイルPDrに含まれているパノラマ画像データPDが専用フォーマットであるか一般フォーマットであるかを判定する。そして抽出したパノラマ画像データPDとフォーマット判定情報FMを画像生成処理部20cに供給する。
フォーマット判定部20gには、記録媒体から再生されたり、或いは受信されたパノラマ画像ファイルPDrが入力される。フォーマット判定部20gは、パノラマ画像ファイルPDrに含まれているパノラマ画像データPDが専用フォーマットであるか一般フォーマットであるかを判定する。そして抽出したパノラマ画像データPDとフォーマット判定情報FMを画像生成処理部20cに供給する。
画像生成処理部20cはパノラマ画像データPDに基づいて表示画像データPDdspを生成して出力する。このときに、フォーマット判定情報FMにより全周パノラマ画像であるか否かを判断し、全周パノラマ画像であれば投影表示のための表示画像データPDdspの生成を行う。パノラマ画像データPDが全周パノラマ画像ではない場合は、他の表示、例えばスクロール表示やシングルビュー表示のための処理を行う。
そして生成した表示画像データPDdspを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
そして生成した表示画像データPDdspを図示しない表示部や、表示部を有する機器に供給し、表示を実行させる。
以上の画像処理装置1、画像処理装置2の処理例を図18に示す。
図18Aは画像処理装置1としてパノラマ合成部10及び関連付け部11の処理を示している。
ステップF41でパノラマ合成部10は入力画像群FMSを取り込む。
ステップF42でパノラマ合成部10がパノラマ合成処理を行って、パノラマ画像データPDを生成する。パノラマ合成部10は、パノラマ画像データPDと、パノラマ合成処理過程で得られたパノラマ処理情報Ipを関連付け部11(フォーマット処理部11f)に供給する。
ステップF43では、関連付け部11(フォーマット処理部11f)がパノラマ処理情報Ipを確認し、生成されたパノラマ画像データPDが全周パノラマ画像か否かの判断を行う。全周パノラマ画像か否かの判断は、第1構成例で述べたものと同様に、パノラマ処理情報Ipにおける360°画角判定情報を参照する方式、両端位置合わせ情報を参照する方式、パノラマモード種別情報を参照する方式などが考えられる。
図18Aは画像処理装置1としてパノラマ合成部10及び関連付け部11の処理を示している。
ステップF41でパノラマ合成部10は入力画像群FMSを取り込む。
ステップF42でパノラマ合成部10がパノラマ合成処理を行って、パノラマ画像データPDを生成する。パノラマ合成部10は、パノラマ画像データPDと、パノラマ合成処理過程で得られたパノラマ処理情報Ipを関連付け部11(フォーマット処理部11f)に供給する。
ステップF43では、関連付け部11(フォーマット処理部11f)がパノラマ処理情報Ipを確認し、生成されたパノラマ画像データPDが全周パノラマ画像か否かの判断を行う。全周パノラマ画像か否かの判断は、第1構成例で述べたものと同様に、パノラマ処理情報Ipにおける360°画角判定情報を参照する方式、両端位置合わせ情報を参照する方式、パノラマモード種別情報を参照する方式などが考えられる。
全周パノラマ画像の場合は、ステップF44からF45に進み、関連付け部11(フォーマット処理部11f)はパノラマ画像データPDを専用フォーマットへ変換してパノラマ画像ファイルPDrを生成する。
全周パノラマ画像ではない場合は、ステップF44からF46に進み、関連付け部11(フォーマット処理部11f)は通常フォーマットのパノラマ画像データPDを含むパノラマ画像ファイルPDrを生成する。
ステップF47では、パノラマ画像ファイルPDrが、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力される。
全周パノラマ画像ではない場合は、ステップF44からF46に進み、関連付け部11(フォーマット処理部11f)は通常フォーマットのパノラマ画像データPDを含むパノラマ画像ファイルPDrを生成する。
ステップF47では、パノラマ画像ファイルPDrが、図示していない記録再生部で記録媒体に記録されたり、或いは図示していない通信部により外部機器、ネットワーク等に送信出力される。
図18Bは、画像処理装置2の表示画像生成部20の処理を示している。
ステップF81で表示画像生成部20(フォーマット判定部20g)は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたパノラマ画像ファイルPDrを取り込む。
ステップF82で表示画像生成部20(フォーマット判定部20g)が、パノラマ画像ファイルPDrに含まれるパノラマ画像データPDのフォーマットを判定する。
そして表示画像生成部20はステップF83で、フォーマット判定結果に応じて処理を分岐する。
ステップF81で表示画像生成部20(フォーマット判定部20g)は、図示しない記録再生部で再生されたり、又は図示しない通信部で受信されたパノラマ画像ファイルPDrを取り込む。
ステップF82で表示画像生成部20(フォーマット判定部20g)が、パノラマ画像ファイルPDrに含まれるパノラマ画像データPDのフォーマットを判定する。
そして表示画像生成部20はステップF83で、フォーマット判定結果に応じて処理を分岐する。
専用フォーマットと判定された場合は、表示画像生成部20(画像生成処理部20c)は、ステップF84に進んで、表示用投影処理を行って表示画像データPDdspを生成し、ステップF85でその表示画像データPDdspを出力する。このステップF84,F85の処理を、ステップF86で、ユーザ操作や自動処理により表示終了となるまで継続する。これによって、表示部では、投影表示として、例えば全周を見渡すような表示や、任意の方向の表示などが実行される。
なお、表示用投影処理での投影演算で使用するパノラマ画像データPDの画角は360°とすればよい。
またパノラマ画像データPDの投影面の情報やスクロール制限のための水平垂直画角情報などは、専用フォーマットのデータ形式内に埋め込まれているようにすることが考えられる。
なお、表示用投影処理での投影演算で使用するパノラマ画像データPDの画角は360°とすればよい。
またパノラマ画像データPDの投影面の情報やスクロール制限のための水平垂直画角情報などは、専用フォーマットのデータ形式内に埋め込まれているようにすることが考えられる。
ステップF83で専用フォーマットではないと判断された場合は、表示画像生成部20(画像生成処理部20c)はステップF87で、他の方式、例えばスクロール表示、或いはシングルビュー表示としての表示画像データPDdspを生成する。そしてステップF88で表示画像データPDdspを出力する処理を行う。このステップF87,F88の処理を、ステップF89で表示終了と判断されるまで継続する。これによって表示部では、投影表示以外のスクロール表示やシングルビュー表示が実行される。
以上のように第4構成例では、画像処理装置1においては、関連付け部11は、全周パノラマ画像の場合は専用フォーマット化する。
一方で画像処理装置2では、表示画像生成部20は、専用フォーマットであればパノラマ画像データPDは全周パノラマ画像と判断して、表示用投影処理を行って投影表示のための表示画像データPDdspを生成する。
このような構成により適切な投影表示が実行できる全周パノラマ画像については投影表示が自動的に実行されることになり、ユーザに対して臨場感のある表示を提供できる。一方で、全周パノラマ画像でなく画角が正確に特定できないときは、他の表示方式で表示を行うことで、低品質な投影表示を行うことがないように表示動作の切り替えができる。
一方で画像処理装置2では、表示画像生成部20は、専用フォーマットであればパノラマ画像データPDは全周パノラマ画像と判断して、表示用投影処理を行って投影表示のための表示画像データPDdspを生成する。
このような構成により適切な投影表示が実行できる全周パノラマ画像については投影表示が自動的に実行されることになり、ユーザに対して臨場感のある表示を提供できる。一方で、全周パノラマ画像でなく画角が正確に特定できないときは、他の表示方式で表示を行うことで、低品質な投影表示を行うことがないように表示動作の切り替えができる。
<7.第5構成例(撮像装置への適用例)>
[7−1:撮像装置の構成]
続いて実施の形態の第5構成例として、本開示の画像処理装置1,2を備えた機器のより具体的な例として、撮像装置50を説明する。
図19は撮像装置50の構成例を示している。
撮像装置50はレンズユニット100、撮像素子101、画像処理部102、制御部103、表示部104、メモリ部105、記録デバイス106、操作部107、センサー部108、通信部109を備える。
[7−1:撮像装置の構成]
続いて実施の形態の第5構成例として、本開示の画像処理装置1,2を備えた機器のより具体的な例として、撮像装置50を説明する。
図19は撮像装置50の構成例を示している。
撮像装置50はレンズユニット100、撮像素子101、画像処理部102、制御部103、表示部104、メモリ部105、記録デバイス106、操作部107、センサー部108、通信部109を備える。
レンズユニット100は、被写体の光画像を集光する。レンズユニット100は制御部103からの指示に従い、適切な画像を得られるように、焦点距離、被写体距離、絞りなどを調整する機構を持つ。また光学的に画像のブレを抑止するための手ブレ補正機構も持つ。
撮像素子101は、レンズユニット100で集光された光画像を光電変換して電気信号に変換する。具体的には、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにより実現される。
撮像素子101は、レンズユニット100で集光された光画像を光電変換して電気信号に変換する。具体的には、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにより実現される。
画像処理部102は、撮像素子101からの電気信号をサンプリングするサンプリング回路、アナログ信号をデジタル信号に変換するA/D変換回路、デジタル信号に所定の画像処理を施す画像処理回路などから構成される。ここでは、この画像処理部102は、撮像素子101での撮像によるフレーム画像データを得る処理を行うとともに、パノラマ画像を合成する処理も行うものとして示している。
この画像処理部102は、専用のハードウエア回路のみではなく、CPU(Central Processing Unit)やDSP(Digital Signal Processor)を備え、柔軟な画像処理に対応するためにソフトウエア処理を行うことができる。
この画像処理部102は、専用のハードウエア回路のみではなく、CPU(Central Processing Unit)やDSP(Digital Signal Processor)を備え、柔軟な画像処理に対応するためにソフトウエア処理を行うことができる。
制御部103は、CPU及び制御プログラムからなり、撮像装置50の各部の制御を行う。制御プログラム自体は実際にはメモリ部105に格納され、CPUによって実行される。
上述の各構成例で説明したパノラマ合成部10や関連付け部11の処理、さらには表示画像生成部20の処理は、制御部103と画像処理部102によって実行される。従って本開示の画像処理装置1,2は、制御部103と画像処理部102によって実現される。
上述の各構成例で説明したパノラマ合成部10や関連付け部11の処理、さらには表示画像生成部20の処理は、制御部103と画像処理部102によって実行される。従って本開示の画像処理装置1,2は、制御部103と画像処理部102によって実現される。
表示部104は、画像処理部102によって処理され、メモリ部105に格納されている画像データをアナログ化するD/A変換回路と、アナログ化された画像信号を後段の表装置に適合する形式のビデオ信号にエンコードするビデオエンコーダと、入力されるビデオ信号に対応する画像を表示する表示装置とから構成される。
表示装置は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)パネル等により実現され、ファインダとしての機能も有する。
表示装置は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)パネル等により実現され、ファインダとしての機能も有する。
メモリ部105は、DRAM(Dynamic Random Access Memory)などの半導体メモリから構成され、画像処理部102で処理された画像データ、制御部103における制御プログラム及び各種データなどが一時記録される。
記録デバイス106は、フラッシュメモリ(Flash Memory)などの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録媒体と、それらの記録媒体に対する記録再生系回路・機構により構成される。
撮像装置50による撮像時には、画像処理部102でJPEG(Joint Photographic Experts Group)形式にエンコードされ、メモリ部105に格納されたJPEG画像データを記録メディアに記録する。
再生時には、記録媒体に保存されたJPEG画像データをメモリ部105に読み込み、画像処理部102でデコード処理を行う。デコードされた画像データは、表示部104で表示させたり、或いは通信部109により外部機器に送信出力することも可能である。
撮像装置50による撮像時には、画像処理部102でJPEG(Joint Photographic Experts Group)形式にエンコードされ、メモリ部105に格納されたJPEG画像データを記録メディアに記録する。
再生時には、記録媒体に保存されたJPEG画像データをメモリ部105に読み込み、画像処理部102でデコード処理を行う。デコードされた画像データは、表示部104で表示させたり、或いは通信部109により外部機器に送信出力することも可能である。
操作部107は、シャッターボタン、上下左右矢印キー、決定キー、キャンセルキーななどのハードウエアキー、操作ダイアル、タッチパネル、ズームレバーなどの入力デバイスを備え、撮像者(ユーザ)の入力操作を検出し、制御部103に伝達する。制御部103はユーザの入力操作に応じて撮像装置50の動作を決定し、各部が必要な動作を行うように制御する。
センサー部108は、ジャイロセンサー、加速度センサー、地磁気センサー、GPS(Global Positioning System)センサーなどで構成され、各種情報の検出を行う。これらの情報は、撮像された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。
センサー部108は、ジャイロセンサー、加速度センサー、地磁気センサー、GPS(Global Positioning System)センサーなどで構成され、各種情報の検出を行う。これらの情報は、撮像された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。
通信部109は外部機器との通信やネットワーク通信を行う。具体的には通信部109はUSB通信部、LAN通信部、インターネット等の公衆ネットワーク通信部、特定機器との専用通信部など、多様な例が考えられる。また伝送路の形態も、電波、赤外線等による無線伝送路や、ケーブル接続による有線伝送路のいずれでもよい。信号形態もデジタル電気信号通信、アナログ電気信号通信、光通信などが想定される。
画像処理部102、制御部103、表示部104、メモリ部105、記録デバイス106、操作部107、センサー部108、及び通信部109は、バス110を介して相互に接続され、画像データや制御信号等がやりとりされる。
[7−2:パノラマ合成及び関連付け処理]
次に、本実施の形態の撮像装置50のパノラマ合成処理及び関連付け処理についての詳細を説明する。
図20はパノラマ合成処理及び関連付け処理のために画像処理部102及び制御部103において実行される処理を、機能構成として示し、それらの機能構成部位によって実行される処理を示している。
なお、ここでは関連付け処理としては、上述の第1構成例で述べたメタデータを用いる例で説明する。
次に、本実施の形態の撮像装置50のパノラマ合成処理及び関連付け処理についての詳細を説明する。
図20はパノラマ合成処理及び関連付け処理のために画像処理部102及び制御部103において実行される処理を、機能構成として示し、それらの機能構成部位によって実行される処理を示している。
なお、ここでは関連付け処理としては、上述の第1構成例で述べたメタデータを用いる例で説明する。
機能構成としては、図20に一点鎖線で示すように、パノラマ合成部10、関連付け部11を備える。つまり画像処理部102又は制御部103にソフトウエア等により少なくとも関連付け部11としての機能が設けられることで、撮像装置50内に画像処理装置1が形成されることとなる。
まずパノラマ合成部10としての機能で実行される処理機能を説明する。図20ではパノラマ合成部10として実行される処理(アルゴリズムフロー)を各ブロックで示している。即ちパノラマ合成部10では前処理200、画像レジストレーション処理201、動被写体検出処理202、検出・認識処理203、360°撮像判定処理204、360°最適化処理205、合成用投影処理206、シーム決定処理207、スティッチ処理208が行われる。
各処理について説明する。
前処理200の対象となる入力画像群FMSとは、図1で説明したように、撮像者が撮像装置50でパノラマ撮像を実行しているときに順次得られるフレーム画像データFM#0、FM#1、FM#2・・・である。
パノラマ合成部10では、まず撮像者のパノラマ撮像操作によって撮像された画像(各フレーム画像データ)に対してパノラマ合成のための前処理200を行う。なおここでのフレーム画像データFMは、通常の撮像時と同様の画像処理は行われているものとする。
入力された画像はレンズユニット100の特性に基づく収差の影響を受けている。特にレンズの歪曲収差は、画像レジストレーション処理201に悪影響を与え、位置合わせの精度を低下させる。さらに合成されたパノラマ画像のシーム付近にアーティファクトも発生させるため、この前処理200において歪曲収差の補正を行う。歪曲収差の補正によって、動被写体検出処理202、検出・認識処理203の精度を向上させる効果もある。
前処理200の対象となる入力画像群FMSとは、図1で説明したように、撮像者が撮像装置50でパノラマ撮像を実行しているときに順次得られるフレーム画像データFM#0、FM#1、FM#2・・・である。
パノラマ合成部10では、まず撮像者のパノラマ撮像操作によって撮像された画像(各フレーム画像データ)に対してパノラマ合成のための前処理200を行う。なおここでのフレーム画像データFMは、通常の撮像時と同様の画像処理は行われているものとする。
入力された画像はレンズユニット100の特性に基づく収差の影響を受けている。特にレンズの歪曲収差は、画像レジストレーション処理201に悪影響を与え、位置合わせの精度を低下させる。さらに合成されたパノラマ画像のシーム付近にアーティファクトも発生させるため、この前処理200において歪曲収差の補正を行う。歪曲収差の補正によって、動被写体検出処理202、検出・認識処理203の精度を向上させる効果もある。
次にパノラマ合成部10では、前処理200を行ったフレーム画像データに対して、画像レジストレーション処理201、動被写体検出処理202、検出・認識処理203を行う。
パノラマ合成時には複数のフレーム画像データを単一の座標系に座標変換する必要があるが、この単一の座標系をパノラマ座標系と呼ぶことにする。
画像レジストレーション処理201は、2枚の連続するフレーム画像データを入力し、パノラマ座標系での位置合わせを行う処理である。2枚のフレーム画像データについての画像レジストレーション処理201によって得られる情報は、あくまで2枚の画像座標間の相対関係であるが、複数枚の画像座標系のうち一つ(例えば最初のフレーム画像データの座標系)を選び、パノラマ座標系に固定することによって、すべてのフレーム画像データの座標系をパノラマ座標系に変換することができる。
パノラマ合成時には複数のフレーム画像データを単一の座標系に座標変換する必要があるが、この単一の座標系をパノラマ座標系と呼ぶことにする。
画像レジストレーション処理201は、2枚の連続するフレーム画像データを入力し、パノラマ座標系での位置合わせを行う処理である。2枚のフレーム画像データについての画像レジストレーション処理201によって得られる情報は、あくまで2枚の画像座標間の相対関係であるが、複数枚の画像座標系のうち一つ(例えば最初のフレーム画像データの座標系)を選び、パノラマ座標系に固定することによって、すべてのフレーム画像データの座標系をパノラマ座標系に変換することができる。
画像レジストレーション処理201で行う具体的な処理は、以下の二つに大別される。
1.画像内のローカルな動きを検出する。
2.上記で求めたローカルな動き情報から、画像全体のグローバルな動きを求める。
1.画像内のローカルな動きを検出する。
2.上記で求めたローカルな動き情報から、画像全体のグローバルな動きを求める。
上記1の処理では一般的に、
・ブロックマッチング
・Harris,Hessian,SIFT,SURF,FASTなどの特徴点抽出及び特徴点マッチング
などが用いられ、画像の特徴点のローカルベクトルを求める。
・ブロックマッチング
・Harris,Hessian,SIFT,SURF,FASTなどの特徴点抽出及び特徴点マッチング
などが用いられ、画像の特徴点のローカルベクトルを求める。
上記2の処理では、上記1の処理で求められたローカルベクトル群を入力として、
・最小二乗法
・M−Estimator
・最小メジアン法(LMedS)
・RANSAC(RANdom SAmple Consensus)
などのロバスト推定手法が用いられ、2枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列(Homography)を求める。本明細書では、これらの情報を画像レジストレーション情報と呼ぶことにする。
・最小二乗法
・M−Estimator
・最小メジアン法(LMedS)
・RANSAC(RANdom SAmple Consensus)
などのロバスト推定手法が用いられ、2枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列(Homography)を求める。本明細書では、これらの情報を画像レジストレーション情報と呼ぶことにする。
また、パノラマ合成処理は、複数枚のフレーム画像データを合成するという特性上、撮像シーンに動被写体が存在すると動被写体の一部が分断されたり、ぼやけるなどの画像の破綻や画質の低下の原因となる。そのため動被写体を検出した上で、動被写体を避けてパノラマのシームを決定することが好ましい。
動被写体検出処理202は、2枚以上の連続するフレーム画像データを入力し、動被写体の検出を行う処理である。具体的な処理の例は、画像レジストレーション処理201によって得られた画像レジストレーション情報により、実際に位置合わせを行った2枚のフレーム画像データの画素の差分値がある閾値以上の場合に、その画素を動被写体と判定するものである。
あるいは、画像レジストレーション処理201のロバスト推定時に外れ値(アウトライア)として判断された、特徴点情報を利用して判定を行っても良い。
あるいは、画像レジストレーション処理201のロバスト推定時に外れ値(アウトライア)として判断された、特徴点情報を利用して判定を行っても良い。
検出・認識処理203では、撮像されたフレーム画像データ内の人間の顔や身体、動物などの位置情報を検出する。人間や動物は動被写体である可能性が高く、仮に動いていなかったとしても、その被写体上にパノラマのシームが決定された場合、他の物体と比べて視覚上の違和感を生じることが多いので、これらの物体を避けてシームを決定することが好ましい。つまりこの検出・認識処理203で得られた情報は、動被写体検出処理202の情報を補うために利用される。
動被写体検出処理202および検出・認識処理203で得られた情報をもとに、後述するシーム決定処理207においてシーム(つなぎ目)が決定される。
動被写体検出処理202および検出・認識処理203で得られた情報をもとに、後述するシーム決定処理207においてシーム(つなぎ目)が決定される。
360°撮像判定処理204、360°最適化処理205は、360°の全周撮像に特化した処理を行う。
ここで、これらの処理の理解のために、360°撮像時の諸問題について説明しておく。
ここで、これらの処理の理解のために、360°撮像時の諸問題について説明しておく。
図21A、図21B、図22は、各場合におけるパノラマ画像の例である。なおこれらの図では、パノラマ画像の左端、右端の連続性を確認するために、それぞれのパノラマ画像の右端(境界線BDの右側)に、パノラマ画像の左端領域の一部をコピーして示している(画像RCP)。画像RCPを除いた画像部分、つまり出力されるパノラマ画像の範囲RPで示す部分が、最終的な1枚のパノラマ画像である。
360°全周パノラマの場合、この境界線BDの両側でズレが無く連続性をもって自然に画像がつながっていることが望ましい。
360°全周パノラマの場合、この境界線BDの両側でズレが無く連続性をもって自然に画像がつながっていることが望ましい。
複数の静止画像を合成するパノラマ画像において、一般的にパノラマ画角を正確に知ることは困難である。通常、撮像装置のレンズの焦点距離(f:画素換算値)、パノラマ画像のスイープ方向の画素数(l)、パノラマ画角(θ)は以下の関係がある。
l=fθ
しかし現実には、
・スイープする際の回転半径
・歪曲収差の補正誤差
・レジストレーション処理の誤差
などの影響を受けるため、実際の風景の画角と大幅に異なることがあり得る。
撮像装置の処理性能のために、レジストレーション処理を平行移動のみに限定したり、投影処理を省略するなどのアルゴリズム上の簡略化を行っている場合には、その誤差はより顕著になる。
l=fθ
しかし現実には、
・スイープする際の回転半径
・歪曲収差の補正誤差
・レジストレーション処理の誤差
などの影響を受けるため、実際の風景の画角と大幅に異なることがあり得る。
撮像装置の処理性能のために、レジストレーション処理を平行移動のみに限定したり、投影処理を省略するなどのアルゴリズム上の簡略化を行っている場合には、その誤差はより顕著になる。
図21Aは上式から360°相当のパノラマ画素数を決定し、合成処理を行ったパノラマ画像の例である。誤差のために360°を大きく超えて合成されており、パノラマ画像の左端と右端(境界線BD部分)の連続性はない。
このように一般的にパノラマ画角を正確に決定することは難しいが、360°全周撮像の場合には、パノラマの右端と左端の連続性が得られるという拘束条件を考慮することにより画角の決定が可能である。
このように一般的にパノラマ画角を正確に決定することは難しいが、360°全周撮像の場合には、パノラマの右端と左端の連続性が得られるという拘束条件を考慮することにより画角の決定が可能である。
図23を参照する。図23は360°パノラマ撮像によって得られた画像群(フレーム画像データFM#0〜FM#(n−1))の概念図である。
スイープ方向を左から右と仮定し、パノラマ左端に使用した先頭のフレーム画像データFM#0を0°の位置としたとき、360°の先の位置にある、これと全く同じ画像のフレーム画像データFM#0Aと、パノラマ画像の右端に使用される最終のフレーム画像データFM#(n−1)については、具体的には以下の条件が成立する。
・FM#0AとFM#(n−1)は重なり領域を持つ
・FM#(n−1)は、FM#0Aよりも左側にある最もFM#0Aに近接した画像である
スイープ方向を左から右と仮定し、パノラマ左端に使用した先頭のフレーム画像データFM#0を0°の位置としたとき、360°の先の位置にある、これと全く同じ画像のフレーム画像データFM#0Aと、パノラマ画像の右端に使用される最終のフレーム画像データFM#(n−1)については、具体的には以下の条件が成立する。
・FM#0AとFM#(n−1)は重なり領域を持つ
・FM#(n−1)は、FM#0Aよりも左側にある最もFM#0Aに近接した画像である
この条件を満たす最終画像としてのフレーム画像データFM#(n−1)を探索することにより、360°の位置を確定することができる。
本例の撮像装置50において、この処理は360°撮像判定処理204によって行われる。
360°撮像判定処理204では、上記2つの条件を満たす最終のフレーム画像データFM#(n−1)を確定できた場合は、合成処理中のパノラマ画像データが360°撮像による全周パノラマ画像であると判定する。逆に上記2つの条件を満たす最終のフレーム画像データFM#(n−1)を確定できなかった場合は、合成処理中のパノラマ画像データが全周パノラマ画像ではないと判定する。
この判定結果が、上述したパノラマ処理情報Ipの1つである360°画角判定情報となる。360°撮像判定処理204では、関連付け部11に対して360°画角判定情報を出力する処理も行う。
本例の撮像装置50において、この処理は360°撮像判定処理204によって行われる。
360°撮像判定処理204では、上記2つの条件を満たす最終のフレーム画像データFM#(n−1)を確定できた場合は、合成処理中のパノラマ画像データが360°撮像による全周パノラマ画像であると判定する。逆に上記2つの条件を満たす最終のフレーム画像データFM#(n−1)を確定できなかった場合は、合成処理中のパノラマ画像データが全周パノラマ画像ではないと判定する。
この判定結果が、上述したパノラマ処理情報Ipの1つである360°画角判定情報となる。360°撮像判定処理204では、関連付け部11に対して360°画角判定情報を出力する処理も行う。
なお、この360°撮像判定処理204は、パノラマ撮像が、360°パノラマ撮像モードで実行された場合に行えばよい。360°パノラマ撮像モード以外(例えば180°パノラマ撮像モードなど)の場合は、この360°撮像判定処理204を行うこと必要は無い。なお、その場合は、360°画角判定情報としては、非全周パノラマ画像を示す情報とすればよい。
また、この360°撮像判定処理204の過程で、水平垂直画角情報や、パノラマモード種別情報を発生させて関連付け部11に出力してもよい。
また、この360°撮像判定処理204の過程で、水平垂直画角情報や、パノラマモード種別情報を発生させて関連付け部11に出力してもよい。
図21Bは、360°撮像判定処理204で決定した最終画像、つまり上記2つの条件に合致するフレーム画像データFM#(n−1)までを合成した結果の一例である。
360°撮像判定処理204において360°位置を確定したため、パノラマ画像としては360°の画像となっている。しかしながらこの例は、図21Aの例と同様にパノラマの左端と右端の連続性はない。この例においては水平方向の位置はあっているが、垂直方向の位置がずれている。
360°撮像判定処理204において360°位置を確定したため、パノラマ画像としては360°の画像となっている。しかしながらこの例は、図21Aの例と同様にパノラマの左端と右端の連続性はない。この例においては水平方向の位置はあっているが、垂直方向の位置がずれている。
これは各画像の位置合わせを隣接画像間で行っているため、レジストレーション処理における誤差が累積することによって発生しているものである。
すなわち図23でいうと、連続性のある全周パノラマとなるために360°の先の先頭画像のあるべき位置(フレーム画像データFM#0Bとして示す位置)が、レジストレーション処理の累積誤差のためにフレーム画像データFM#0Aとして示す位置に計算されてしまう現象である。
すなわち図23でいうと、連続性のある全周パノラマとなるために360°の先の先頭画像のあるべき位置(フレーム画像データFM#0Bとして示す位置)が、レジストレーション処理の累積誤差のためにフレーム画像データFM#0Aとして示す位置に計算されてしまう現象である。
次の360°最適化処理205では、この現象に対処するために、360°撮像判定処理204において360°全周撮像と判定された場合に、画像レジストレーション処理201から入力された画像レジストレーション情報と、360°撮像判定処理204によって確定した最終画像情報を用いて、画像レジストレーション情報を最適化し、360°全周パノラマとして適切なものに修正する。
この処理が先に述べた両端位置合わせの処理である。つまりパノラマ画像の0°と360°の位置であるパノラマ画像の両端で、垂直方向及び水平方向に画像のズレが無いように画像レジストレーション情報を調整する。
図23で説明すると、フレーム画像データFM#0Aの位置がフレーム画像データFM#0Bの位置に一致するように、すべてのフレーム画像データFM#0〜FM#(n−1)の位置を最適化、修正するということになる。
図23で説明すると、フレーム画像データFM#0Aの位置がフレーム画像データFM#0Bの位置に一致するように、すべてのフレーム画像データFM#0〜FM#(n−1)の位置を最適化、修正するということになる。
具体的には累積した誤差をすべての画像レジストレーション情報に単純分配する手法や、最小二乗法を用い元の画像レジストレーション情報をできる限り損なうことなく最適化を行う手法などがある。
例えば単純分配する手法を簡単に述べると次のようになる。フレーム画像データFM#0Aの位置とフレーム画像データFM#0Bの位置には図23に示すように水平方向の誤差ΔXと垂直方向の誤差ΔYがある。パノラマ画像を構成するn個のフレーム画像データFM#0〜FM#(n−1)のx座標位置とy座標位置を、それぞれ、ΔX/n、ΔY/nずつずらしていく。これにより、各フレーム画像データFMで少しずつ誤差を吸収していき、先頭のフレーム画像データFM#0と同様の画像としての仮想的なフレーム画像データFM#0Aの位置が、フレーム画像データFM#0Bとして示す位置に一致するようにする。
各フレーム画像データFM#0〜FM#(n−1)は、それぞれ本来の座標位置よりわずかにずれることになるが、全体としての画像品質は殆ど劣化しない。
例えば単純分配する手法を簡単に述べると次のようになる。フレーム画像データFM#0Aの位置とフレーム画像データFM#0Bの位置には図23に示すように水平方向の誤差ΔXと垂直方向の誤差ΔYがある。パノラマ画像を構成するn個のフレーム画像データFM#0〜FM#(n−1)のx座標位置とy座標位置を、それぞれ、ΔX/n、ΔY/nずつずらしていく。これにより、各フレーム画像データFMで少しずつ誤差を吸収していき、先頭のフレーム画像データFM#0と同様の画像としての仮想的なフレーム画像データFM#0Aの位置が、フレーム画像データFM#0Bとして示す位置に一致するようにする。
各フレーム画像データFM#0〜FM#(n−1)は、それぞれ本来の座標位置よりわずかにずれることになるが、全体としての画像品質は殆ど劣化しない。
図22は360°最適化処理205において以上のような両端位置合わせが行われて修正された画像レジストレーション情報を用いてパノラマ合成を行った結果の一例である。360°撮像判定処理204、360°最適化処理205によって、出力されるパノラマ画像の範囲RPとしては、パノラマの両端で水平垂直のズレがなく、自然に画像がつながっていることが確認できる。
以上のような360°最適化処理205により、両端位置合わせが実行されたか否かの情報が、パノラマ処理情報Ipの一つである両端位置合わせ情報となる。
360°最適化処理205では、両端位置合わせ情報を関連付け部11へ出力する処理も行う。
360°最適化処理205では、両端位置合わせ情報を関連付け部11へ出力する処理も行う。
次に、合成用投影処理204では、画像レジストレーション処理201によって得られた画像レジストレーション情報(又は360°最適化処理205で修正された画像レジストレーション情報)に基づき、すべてのフレーム画像データを単一の平面、あるいは円筒面、球面などの単一の曲面に投影処理を行う。また同時に、動被写体情報、検出・認識情報についても同一平面もしくは曲面に投影処理を行う。投影面は撮像時の画角などから自動的に選択してもよいし、ユーザ操作に応じて設定してもよい。
フレーム画像データの合成用投影処理204は、ピクセル処理の最適化を考慮して、スティッチ処理208の前段処理として、もしくはスティッチ処理208の一部として行ってもよい。また簡易的に画像レジストレーション処理201の前、例えば前処理200の一部として行ってもよい。またさらに簡略化して、処理そのものを行わず円筒投影処理の近似として扱ってもよい。
フレーム画像データの合成用投影処理204は、ピクセル処理の最適化を考慮して、スティッチ処理208の前段処理として、もしくはスティッチ処理208の一部として行ってもよい。また簡易的に画像レジストレーション処理201の前、例えば前処理200の一部として行ってもよい。またさらに簡略化して、処理そのものを行わず円筒投影処理の近似として扱ってもよい。
なお、この合成用投影処理206での投影面の種別の情報が、パノラマ処理情報Ipの一つである合成用投影面情報となる。
合成用投影処理206では、合成用投影面情報を関連付け部11へ出力する処理も行う。
合成用投影処理206では、合成用投影面情報を関連付け部11へ出力する処理も行う。
シーム決定処理207は、合成用投影処理206からの画像データ、画像レジストレーション処理201からの画像レジストレーション情報、動被写体検出処理202からの動被写体情報、検出・認識処理203からの検出・認識情報を入力とし、パノラマ画像として破綻の少ない、適切なシームSM(図2、図3で説明したシームSM0〜SM(n−2))を決定する処理である。
シーム決定処理207では、まず入力した情報から隣接するフレーム画像データ間の重なり領域に対するコスト関数を定義する。
例えば重なり領域の各画素に対して動被写体検出処理202からの動被写体情報、検出・認識処理203からの検出・認識情報のそれぞれに適当な重みを付けた合計値を関数値とすればよい。
この場合、コスト関数値が高いほど、その点上には動被写体や人体などの物体が多く存在することを意味するため、パノラマ画像における破綻を最小限に抑えるためには、コスト関数値の低い点の集合をシームとすればよい。
例えば重なり領域の各画素に対して動被写体検出処理202からの動被写体情報、検出・認識処理203からの検出・認識情報のそれぞれに適当な重みを付けた合計値を関数値とすればよい。
この場合、コスト関数値が高いほど、その点上には動被写体や人体などの物体が多く存在することを意味するため、パノラマ画像における破綻を最小限に抑えるためには、コスト関数値の低い点の集合をシームとすればよい。
パノラマ画像合成に用いる画像(フレーム画像データ)がn枚の場合、その重なり領域の数はn−1個になり、コスト関数もn−1個定義されることになる。よってパノラマ画像全体として最適なシームを選ぶためには、これらn−1個のコスト関数を最小化する組み合わせを求めることになる。これは一般に組み合わせ最適化問題と呼ばれ、以下のような解法が知られている。
・厳密解を求める解法
−分枝限定法
−Memoization
−動的計画法(Dynamic Programming)
−グラフカット
・近似解を求める解法
−局所探索法(山登り法)
−焼きなまし法(Simulated Annealing)
−タブーサーチ
−遺伝的アルゴリズム(Genetic Algorithm)
以上のいずれかの解法によりすべてのシームSM1〜SM(n−2)を求めることができる。
・厳密解を求める解法
−分枝限定法
−Memoization
−動的計画法(Dynamic Programming)
−グラフカット
・近似解を求める解法
−局所探索法(山登り法)
−焼きなまし法(Simulated Annealing)
−タブーサーチ
−遺伝的アルゴリズム(Genetic Algorithm)
以上のいずれかの解法によりすべてのシームSM1〜SM(n−2)を求めることができる。
スティッチ処理208では、以上のように決定した全てのシームSM1〜SM(n−2)と、各フレーム画像データFM#0〜FM#(n−1)を使用して、最終的にパノラマ画像を合成する。
シーム周辺の領域に対しては、つなぎ目の不自然さを低減するためにブレンド処理を行い、それ以外の領域に対しては、単純な画素値のコピー、あるいはパノラマ座標系への再サンプリングのみを行い、すべての画像を接合する。
最終的に手振れ量を考慮してスイープと垂直な方向の不要な部分をトリミングすることによって、スイープ方向を長辺方向とするような、広画角のパノラマ画像(パノラマ画像データPD)を得ることができる。
シーム周辺の領域に対しては、つなぎ目の不自然さを低減するためにブレンド処理を行い、それ以外の領域に対しては、単純な画素値のコピー、あるいはパノラマ座標系への再サンプリングのみを行い、すべての画像を接合する。
最終的に手振れ量を考慮してスイープと垂直な方向の不要な部分をトリミングすることによって、スイープ方向を長辺方向とするような、広画角のパノラマ画像(パノラマ画像データPD)を得ることができる。
以上がパノラマ合成部10の処理となる。
本実施の形態の場合、パノラマ合成部10で生成されたパノラマ画像データPDについて関連付け部11の処理がさらに行われる。
本実施の形態の場合、パノラマ合成部10で生成されたパノラマ画像データPDについて関連付け部11の処理がさらに行われる。
本例の撮像装置50における図20の機能構成例では、先に第1構成例として図11Aの機能構成を採用したものとしている。関連付け部11はメタデータ生成処理301とデータ統合処理302を行う。
パノラマ合成部10から関連付け部11に対して各種のパノラマ処理情報Ipが供給される。即ち360°撮像判定処理204で得られる360°画角判定情報、360°最適化処理205で得られる両端位置合わせ情報、合成用投影処理206で得られる合成用投影面情報が、関連付け部11に供給される。
なお、さらにパノラマモード種別情報や、水平垂直画角情報も供給されるようにしてもよい。
なお、さらにパノラマモード種別情報や、水平垂直画角情報も供給されるようにしてもよい。
関連付け部11はメタデータ生成処理301として、パノラマ処理情報Ipを反映したメタデータMTを生成する。
なお、メタデータMTは、少なくとも後述する表示画像生成部20の処理で全周パノラマ画像か否かの判断を行うため、及び表示用投影処理を行うために用いるという観点からは、360°画角判定情報、両端位置合わせ情報、合成用投影面情報、パノラマモード種別情報、水平垂直画角情報の全てを含む必要はない。
第1構成例〜第4構成例で説明したが、表示画像生成部20が全周パノラマ画像か否かの判断は、360°画角判定情報、両端位置合わせ情報、パノラマモード種別情報のいずれかを参照すればよい。但し、表示用投影処理を適切に行うためには合成用投影面情報が必要である。
そこで、パノラマ合成部10が発生し、メタデータ生成部11aがメタデータ化するパノラマ処理情報Ipとしては、
・360°画角判定情報と合成用投影面情報
・両端位置合わせ情報と合成用投影面情報
・パノラマモード種別情報と合成用投影面情報
のいずれかを少なくとも含むものとすればよい。
なお、メタデータMTは、少なくとも後述する表示画像生成部20の処理で全周パノラマ画像か否かの判断を行うため、及び表示用投影処理を行うために用いるという観点からは、360°画角判定情報、両端位置合わせ情報、合成用投影面情報、パノラマモード種別情報、水平垂直画角情報の全てを含む必要はない。
第1構成例〜第4構成例で説明したが、表示画像生成部20が全周パノラマ画像か否かの判断は、360°画角判定情報、両端位置合わせ情報、パノラマモード種別情報のいずれかを参照すればよい。但し、表示用投影処理を適切に行うためには合成用投影面情報が必要である。
そこで、パノラマ合成部10が発生し、メタデータ生成部11aがメタデータ化するパノラマ処理情報Ipとしては、
・360°画角判定情報と合成用投影面情報
・両端位置合わせ情報と合成用投影面情報
・パノラマモード種別情報と合成用投影面情報
のいずれかを少なくとも含むものとすればよい。
関連付け部11は、データ統合処理302では、パノラマ合成部10で生成されたパノラマ画像データPDと、メタデータ生成処理301で生成されたメタデータMTを統合してパノラマ画像ファイルPDrを生成する。
例えばパノラマ画像ファイルPDrは図11Bで説明したような画像データとメタデータを有する構造となる。より具体的にはEXIF(Exchangeable Image File Format)のようにメタデータを画像データ内に埋め込む例が考えられる。なお、パノラマ画像データPDとメタデータMTを独立したファイルとしてもよい。
例えばパノラマ画像ファイルPDrは図11Bで説明したような画像データとメタデータを有する構造となる。より具体的にはEXIF(Exchangeable Image File Format)のようにメタデータを画像データ内に埋め込む例が考えられる。なお、パノラマ画像データPDとメタデータMTを独立したファイルとしてもよい。
本例の撮像装置50では、画像処理部102、制御部103において、以上のパノラマ合成部10、関連付け部11としての処理が行われ、その結果のパノラマ画像ファイルPDrが記録デバイス106に記録される。
なおパノラマ画像ファイルPDrが通信部109から外部送信されてもよい。
なおパノラマ画像ファイルPDrが通信部109から外部送信されてもよい。
以上のパノラマ合成部10及び関連付け部11の処理を含む、パノラマ撮像から記録までの一連の処理の一例を図24に示す。
ステップF100の画像撮像は、パノラマ撮像モードにて1枚の静止画像を撮像し、撮像装置1内で1枚のフレーム画像データとして取り込む処理を意味する。即ち制御部103の制御により、撮像素子部101で得られる撮像信号が画像処理部102で撮像信号処理され、1枚のフレーム画像データとなる。
このフレーム画像データは、そのまま画像処理部102でのパノラマ合成処理(図20のパノラマ合成部10の処理)に供されても良いし、一旦メモリ部105に取り込まれた後、1個のフレーム画像データとして画像処理部102でのパノラマ合成処理に供されてもよい。
このフレーム画像データは、そのまま画像処理部102でのパノラマ合成処理(図20のパノラマ合成部10の処理)に供されても良いし、一旦メモリ部105に取り込まれた後、1個のフレーム画像データとして画像処理部102でのパノラマ合成処理に供されてもよい。
画像処理部102及び制御部103によって実現される図20のパノラマ合成部10では、ステップF100に基づくフレーム画像データの入力に応じて、ステップF101以降の処理を行う。
ステップF101でパノラマ合成部10は前処理200を行う。
ステップF102でパノラマ合成部10は、画像レジストレーション処理201を行う。
ステップF103でパノラマ合成部10は、動被写体検出処理202を行う。
ステップF104でパノラマ合成部10は、検出・認識処理203を行う。
なお、これらの各処理で得られる画像のピクセル情報、画像レジストレーション情報、動被写体情報、検出・認識情報などは、それぞれ処理対象のフレーム画像データに対応する情報としてメモリ部105に一時記憶される。
以上の処理は、ステップF105で撮像終了とされるまで、各フレーム画像データについて行われる。
ステップF101でパノラマ合成部10は前処理200を行う。
ステップF102でパノラマ合成部10は、画像レジストレーション処理201を行う。
ステップF103でパノラマ合成部10は、動被写体検出処理202を行う。
ステップF104でパノラマ合成部10は、検出・認識処理203を行う。
なお、これらの各処理で得られる画像のピクセル情報、画像レジストレーション情報、動被写体情報、検出・認識情報などは、それぞれ処理対象のフレーム画像データに対応する情報としてメモリ部105に一時記憶される。
以上の処理は、ステップF105で撮像終了とされるまで、各フレーム画像データについて行われる。
取り込まれた全てのフレーム画像データFMについて以上の処理を終えたら、ステップF106でパノラマ合成部10は、360°撮像判定処理204を行う。
ステップF107でパノラマ合成部10は、360°最適化処理205を行う。
そしてステップF108でパノラマ合成部10は、360°最適化処理205で調整された画像レジストレーション情報等を用いて、合成用投影処理206を行う。
ステップF107でパノラマ合成部10は、360°最適化処理205を行う。
そしてステップF108でパノラマ合成部10は、360°最適化処理205で調整された画像レジストレーション情報等を用いて、合成用投影処理206を行う。
ステップF109でパノラマ合成部10は、シーム決定処理207を行って、シームSM0〜SM(n−2)を決定する。
ステップF110ではパノラマ合成部10はスティッチ処理208を実行する。即ち各シームSM0〜SM(n−2)で、各フレーム画像データをつなぎ合わせる。つなぎ合わせる際にはブレンド処理も行う。以上で、図3Aに示したような1つのパノラマ画像データPDが生成される。
ステップF110ではパノラマ合成部10はスティッチ処理208を実行する。即ち各シームSM0〜SM(n−2)で、各フレーム画像データをつなぎ合わせる。つなぎ合わせる際にはブレンド処理も行う。以上で、図3Aに示したような1つのパノラマ画像データPDが生成される。
続いて関連付け部11はメタデータ生成処理301を行う。即ちパノラマ合成部10から供給されたパノラマ処理情報Ipを反映したメタデータMTを生成する。
そしてステップF112で関連付け部11はデータ統合処理302を行ってパノラマ画像ファイルPDrを生成する。
そしてステップF112で関連付け部11はデータ統合処理302を行ってパノラマ画像ファイルPDrを生成する。
制御部103は、このようにパノラマ合成部10及び関連付け部11としての処理で生成されたパノラマ画像ファイルPDrを、記録デバイス106に記録させる制御を行う。
以上の処理で、パノラマ画像データPDとメタデータMTを含むパノラマ画像ファイルPDrが記録され、その後の再生表示等が可能となる。
以上の処理で、パノラマ画像データPDとメタデータMTを含むパノラマ画像ファイルPDrが記録され、その後の再生表示等が可能となる。
[7−3:パノラマ画像表示]
続いて、撮像装置50において上記のように記録したパノラマ画像ファイルPDrを選択して表示する場合の動作を説明する。
続いて、撮像装置50において上記のように記録したパノラマ画像ファイルPDrを選択して表示する場合の動作を説明する。
まず撮像装置50の表示部104で行われる表示動作モードについて図25で説明する。
撮像装置50では、上述したシングルビュー表示、リスト表示、スクロール表示、投影表示の4つの表示モードの表示動作が実行可能であるとする。図25は4つの表示モードの状態遷移を示している。
撮像装置50では、上述したシングルビュー表示、リスト表示、スクロール表示、投影表示の4つの表示モードの表示動作が実行可能であるとする。図25は4つの表示モードの状態遷移を示している。
説明の簡略化のため、記録デバイス106には複数のパノラマ画像ファイルPDrのみが記録されているとする。
まずユーザが操作部107のキー等を用いて再生表示を指示すると、制御部103は撮像装置50を再生表示状態に設定する。このとき初期状態からシングルビュー表示モードに遷移する。ここでは、例えば最新のパノラマ画像ファイルPDrの画像が例えば図7Aのように表示される。このシングルビュー表示モードでは、例えばユーザが操作部107の右矢印キーおよび左矢印キーを押下することによって他のパノラマ画像ファイルPDrの画像に切り替えることができる。
まずユーザが操作部107のキー等を用いて再生表示を指示すると、制御部103は撮像装置50を再生表示状態に設定する。このとき初期状態からシングルビュー表示モードに遷移する。ここでは、例えば最新のパノラマ画像ファイルPDrの画像が例えば図7Aのように表示される。このシングルビュー表示モードでは、例えばユーザが操作部107の右矢印キーおよび左矢印キーを押下することによって他のパノラマ画像ファイルPDrの画像に切り替えることができる。
またシングルビュー表示において、上矢印キーが押下されると図7Bのようなリスト表示に状態が遷移し、画像の一覧表示が行われる。
このリスト表示画面上で、ユーザが上下左右矢印キーを用いて目的の画像を選択し、決定キーを押下することによって、再びシングルビュー表示に状態が遷移し、選択したパノラマ画像ファイルPDrの画像が表示される。
このリスト表示画面上で、ユーザが上下左右矢印キーを用いて目的の画像を選択し、決定キーを押下することによって、再びシングルビュー表示に状態が遷移し、選択したパノラマ画像ファイルPDrの画像が表示される。
シングルビュー表示において例えば決定キーが押下された場合、拡大表示を行う。なおここでいう拡大表示とはスクロール表示又は投影表示のことである。
制御部103は、表示しているパノラマ画像ファイルPDrの画像のメタデータを参照し、パノラマ画像ファイルPDrが全周パノラマ画像である場合には、投影表示モードに状態遷移し、投影表示を実行する。この場合、メタデータとして記録されている合成時投影面情報に応じて、投影処理を行い、投影表示が開始される。
この投影表示モードにおいては、ユーザは、上下左右矢印キーを用いての視線方向の変更や、ズームレバーを用いてのズームイン、ズームアウトの指示が可能である。またこの場合に、視線方向、ズーム値については、メタデータに水平垂直画角情報が記録されていることで、パノラマ画像としての水平画角、垂直画角によって制限を行うため、画像外を参照してしまうことはない。
一定時間キー操作がない場合には、自動で視線変更を行うこともメニュー設定により可能である。
この投影表示モードにおいて、ユーザがキャンセルキーを押下するとシングルビュー表示状態に遷移し、再びシングルビュー表示が行われる。
制御部103は、表示しているパノラマ画像ファイルPDrの画像のメタデータを参照し、パノラマ画像ファイルPDrが全周パノラマ画像である場合には、投影表示モードに状態遷移し、投影表示を実行する。この場合、メタデータとして記録されている合成時投影面情報に応じて、投影処理を行い、投影表示が開始される。
この投影表示モードにおいては、ユーザは、上下左右矢印キーを用いての視線方向の変更や、ズームレバーを用いてのズームイン、ズームアウトの指示が可能である。またこの場合に、視線方向、ズーム値については、メタデータに水平垂直画角情報が記録されていることで、パノラマ画像としての水平画角、垂直画角によって制限を行うため、画像外を参照してしまうことはない。
一定時間キー操作がない場合には、自動で視線変更を行うこともメニュー設定により可能である。
この投影表示モードにおいて、ユーザがキャンセルキーを押下するとシングルビュー表示状態に遷移し、再びシングルビュー表示が行われる。
シングルビュー表示において決定キーが押下された場合であって、表示しているパノラマ画像ファイルPDrの画像が全周パノラマ画像ではない場合には、スクロール表示モードに状態遷移し、スクロール表示を実行する。
スクロール表示モードにおいては、自動的にパノラマの長辺方向にスクロールが開始されるが、ユーザは上下左右矢印キーを用いて任意の方向へのスクロール、ズームレバーを用いてのズームイン、ズームアウトの指示も可能である。
スクロール表示モードにおいて、ユーザがキャンセルキーを押下するとシングルビュー表示状態に遷移し、再びシングルビュー表示が行われる。
スクロール表示モードにおいては、自動的にパノラマの長辺方向にスクロールが開始されるが、ユーザは上下左右矢印キーを用いて任意の方向へのスクロール、ズームレバーを用いてのズームイン、ズームアウトの指示も可能である。
スクロール表示モードにおいて、ユーザがキャンセルキーを押下するとシングルビュー表示状態に遷移し、再びシングルビュー表示が行われる。
以上の表示モード遷移のように本実施の形態の撮像装置50では、全周パノラマ画像であれば投影表示が行われ、全周パノラマ画像でなければスクロール表示が行われるという表示動作の自動切り替えが行われる。
全周パノラマ画像であれば、ユーザに対して自動的に高品質な投影表示が提供される。一方で全周パノラマ画像でない場合は、投影表示を行うと画歪等が生じる可能性があり、高品質な表示を保証できない。そこでスクロール表示でパノラマ画像の表示を行う。つまりパノラマ画像に応じて適切な表示モードが選択されるものである。
全周パノラマ画像であれば、ユーザに対して自動的に高品質な投影表示が提供される。一方で全周パノラマ画像でない場合は、投影表示を行うと画歪等が生じる可能性があり、高品質な表示を保証できない。そこでスクロール表示でパノラマ画像の表示を行う。つまりパノラマ画像に応じて適切な表示モードが選択されるものである。
このような表示を行うための構成及び処理を図26,図27で説明する。
図26は表示画像データPDdspの生成処理のために制御部103に設けられる表示画像生成部20おいて実行される処理を示している。
なお、表示画像生成部20の処理としては、上述の第1構成例で述べたメタデータを用いる例に準じた例としている。
図26は表示画像データPDdspの生成処理のために制御部103に設けられる表示画像生成部20おいて実行される処理を示している。
なお、表示画像生成部20の処理としては、上述の第1構成例で述べたメタデータを用いる例に準じた例としている。
制御部103においてソフトウエアで実現される表示画像生成部20は、図示のようにデータ分離処理401、メタデータ解釈処理402、画像生成処理403を行うこととなる。
表示画像生成部20は、記録デバイス106から読み出された表示対象のパノラマ画像ファイルPDrに対して、データ分離処理401として、メタデータMTとパノラマ画像データPDを分離する。
分離されたメタデータMTはメタデータ解釈処理402で解釈され、パノラマ処理情報Ip(パノラマモード種別情報、360°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報)として画像生成処理403に供される。
分離されたメタデータMTはメタデータ解釈処理402で解釈され、パノラマ処理情報Ip(パノラマモード種別情報、360°画角判定情報、両端位置合わせ情報、合成用投影面情報、水平垂直画角情報)として画像生成処理403に供される。
画像生成処理403では、表示モード情報Mdに応じて表示画像データPDdspを生成し、表示部104に出力する。
画像生成処理403としては、表示方式選択処理403a、シングルビュー表示処理403b、リスト表示処理403c、スクロール表示処理403d、投影表示処理403eを行う。
画像生成処理403としては、表示方式選択処理403a、シングルビュー表示処理403b、リスト表示処理403c、スクロール表示処理403d、投影表示処理403eを行う。
表示方式選択処理403aでは、ユーザ操作等に基づく上記の表示モード遷移に応じた表示モード情報Mdに基づいて、いずれの表示を実行するかを選択する処理を行う。またシングルビュー表示モードの状態のときにスクロール表示モード又は投影表示モードに移行する際には、メタデータ解釈処理402で解釈されたパノラマ処理情報Ipを参照して、スクロール表示モードと投影表示モードを選択する。
シングルビュー表示処理403bでは、供給されたパノラマ画像データPDについてシングルビュー表示としての表示画像データPDdspを生成する。
リスト表示処理403bでは、例えば記録デバイス106から読み出された各パノラマ画像ファイルPDrのサムネイル画像などからリスト画像を生成し、それをリスト表示としての表示画像データPDdspとする処理を行う。
スクロール表示処理403dでは、供給されたパノラマ画像データPDについてスクロール表示としての表示画像データPDdspを生成する。
投影表示処理403eでは、供給されたパノラマ画像データPDについて表示用投影処理を行い、投影表示としての表示画像データPDdspを生成する。
これらのいずれかの処理で生成された表示画像データPDdspが表示部104に供給されて画面表示される。
リスト表示処理403bでは、例えば記録デバイス106から読み出された各パノラマ画像ファイルPDrのサムネイル画像などからリスト画像を生成し、それをリスト表示としての表示画像データPDdspとする処理を行う。
スクロール表示処理403dでは、供給されたパノラマ画像データPDについてスクロール表示としての表示画像データPDdspを生成する。
投影表示処理403eでは、供給されたパノラマ画像データPDについて表示用投影処理を行い、投影表示としての表示画像データPDdspを生成する。
これらのいずれかの処理で生成された表示画像データPDdspが表示部104に供給されて画面表示される。
図27は、図25の表示モード遷移に応じた制御部103(表示画像生成部20)の処理例を示している。
ユーザ操作等に従って再生表示が開始されると、表示画像生成部20はステップF201で、シングルビュー表示モードの処理を行う。例えば表示画像生成部20は最新のパノラマ画像ファイルPDrを記録デバイス106から読み出し、シングルビュー表示処理403bを行って表示画像データPDdspを生成して表示部104に供給する。
シングルビュー表示モードの期間は、表示画像生成部20はステップF202,F203,F206でモード遷移或いは表示終了のトリガを監視している(表示方式選択処理403a)。
シングルビュー表示モードの期間は、表示画像生成部20はステップF202,F203,F206でモード遷移或いは表示終了のトリガを監視している(表示方式選択処理403a)。
表示画像生成部20は終了トリガを検知したら、ステップF202から再生表示動作を終了させる。
表示画像生成部20は、リスト表示モードへの操作を検知するとステップF203からF204に進み、リスト表示処理403cを行う。例えば記録デバイス106から各パノラマ画像ファイルPDrのサムネイル画像を読み出してリスト画像を生成し、表示画像データPDdspとして表示部104に供給する。
ステップF205では表示画像生成部20はリスト表示終了のトリガを監視する(表示方式選択処理403a)。リスト表示終了の場合はステップF201に戻ってシングルビュー表示処理403bを行う。例えばリスト上で選択されたパノラマ画像について、シングルビュー表示としての表示画像データPDdspを生成して表示部104に供給する。
ステップF205では表示画像生成部20はリスト表示終了のトリガを監視する(表示方式選択処理403a)。リスト表示終了の場合はステップF201に戻ってシングルビュー表示処理403bを行う。例えばリスト上で選択されたパノラマ画像について、シングルビュー表示としての表示画像データPDdspを生成して表示部104に供給する。
シングルビュー表示状態で拡大表示(スクロール表示又は投影表示)が指示されると、表示画像生成部20はステップF206からF207に進み、まずパノラマ処理情報Ipを確認する。即ち現在シングルビュー表示している画像が全周パノラマ画像であるか否かを判断する。この場合表示画像生成部20は、パノラマ処理情報Ipにおけるパノラマモード種別情報、360°画角判定情報、両端位置合わせ情報のいずれかにより、パノラマ画像データPDが全周パノラマ画像か否かを判断できる。
全周パノラマ画像である場合は、表示画像生成部20はステップF208からF211に進み、投影表示処理403eを行って、表示画像データPDdspを生成し、表示部104に供給する。
表示画像生成部20はステップF212では、投影表示モードの終了を監視し、終了となったらステップF201のシングルビュー表示処理403bに戻る。
表示画像生成部20はステップF212では、投影表示モードの終了を監視し、終了となったらステップF201のシングルビュー表示処理403bに戻る。
全周パノラマ画像ではない場合は、表示画像生成部20はステップF208からF209に進み、スクロール表示処理403dを行って、表示画像データPDdspを生成し、表示部104に供給する。
表示画像生成部20はステップF212では、投影表示モードの終了を監視し、終了となったらステップF201のシングルビュー表示処理403bに戻る。
表示画像生成部20はステップF212では、投影表示モードの終了を監視し、終了となったらステップF201のシングルビュー表示処理403bに戻る。
以上の処理により図25に示したモード遷移で各種表示が実行される。
即ち撮像装置50においては、制御部103(表示画像生成部20)は、表示対象とされたパノラマ画像データPDが、全周パノラマ画像と判断される場合に、表示用投影処理を行って表示画像データPDdspを生成して投影表示を実行させる。
全周パノラマ画像ではないと判断される場合に、表示用投影処理を行わないで、パノラマ画像データPDを合成時の投影面から順次切り出すのみのスクロール表示処理で表示画像データPDdspを生成してスクロール表示を実行させる。
即ち撮像装置50においては、制御部103(表示画像生成部20)は、表示対象とされたパノラマ画像データPDが、全周パノラマ画像と判断される場合に、表示用投影処理を行って表示画像データPDdspを生成して投影表示を実行させる。
全周パノラマ画像ではないと判断される場合に、表示用投影処理を行わないで、パノラマ画像データPDを合成時の投影面から順次切り出すのみのスクロール表示処理で表示画像データPDdspを生成してスクロール表示を実行させる。
なお、この処理の変形例として、全周パノラマ画像ではないと判断される場合に、表示用投影処理を行わない表示処理として、シングルビュー表示処理を行うようにしてもよい。例えばシングルビュー表示処理で拡大表示の指示がなされても、全周パノラマ画像以外では拡大表示を行わない例である。
またこの実施の形態の第5構成例としての撮像装置50では、上記第1構成例に沿った画像処理装置1,2が搭載される例としたが、上記第2〜第4構成例に沿った画像処理装置1,2が搭載される例も当然想定される。
<8.第6構成例(コンピュータ装置への適用例及びプログラム)>
第6構成例として、コンピュータ装置への適用例及びプログラムについて説明する。上述した画像処理装置1,2としての処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
第6構成例として、コンピュータ装置への適用例及びプログラムについて説明する。上述した画像処理装置1,2としての処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)等の演算処理装置に実行させるプログラムである。
即ち画像処理装置1を実現するプログラムは、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、全周パノラマ画像であることを示す情報を関連付ける処理を演算処理装置に実行させるプログラムである。
具体的には、このプログラムは、図12A、図14A、図16A、図18A、又は図24に示した処理を演算処理装置に実行させるプログラムとすればよい。
即ち画像処理装置1を実現するプログラムは、撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、全周パノラマ画像であることを示す情報を関連付ける処理を演算処理装置に実行させるプログラムである。
具体的には、このプログラムは、図12A、図14A、図16A、図18A、又は図24に示した処理を演算処理装置に実行させるプログラムとすればよい。
また画像処理装置2を実現するプログラムは、表示対象とされたパノラマ画像データが、全周パノラマ画像と判断される場合に、表示用投影処理を行って表示画像データを生成する処理を演算処理装置に実行させるプログラムである。
具体的には、このプログラムは、図12B、図14B、図16B、図18B、又は図27に示した処理を演算処理装置に実行させるプログラムとすればよい。
具体的には、このプログラムは、図12B、図14B、図16B、図18B、又は図27に示した処理を演算処理装置に実行させるプログラムとすればよい。
これらのプログラムにより、上述した画像処理装置1,2を、演算処理装置を用いて実現できる。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、実施の形態の画像処理装置1,2の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、当該携帯型情報処理装置等を、画像処理装置1,2とすることができる。
例えば、図28に示されるようなコンピュータ装置において、実施の形態の画像処理装置1,2と同様の処理が実行されるようにすることもできる。
例えば、図28に示されるようなコンピュータ装置において、実施の形態の画像処理装置1,2と同様の処理が実行されるようにすることもできる。
図28において、コンピュータ装置70のCPU71は、ROM72に記憶されているプログラム、または記憶部78からRAM73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インターフェース75も接続されている。
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インターフェース75も接続されている。
入出力インターフェース75には、キーボード、マウスなどよりなる入力部76、CRT(Cathode Ray Tube)やLCD、或いは有機ELパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部77、ハードディスクなどより構成される記憶部78、モデムなどより構成される通信部79が接続されている。通信部79は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インターフェース75にはまた、必要に応じてドライブ80が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア81が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部78にインストールされる。
上述した画像処理装置1,2の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば図28に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布されるリムーバブルメディア81により構成される。リムーバブルディスク81は、例えばプログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(ブルーレイディスク、CD−ROM、DVDを含む)、光磁気ディスク(MD(Mini Disc)を含む)、若しくは半導体メモリなどよりなる。
或いは記録媒体は、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM72や、記憶部78に含まれるハードディスクなどでも構成される。
この記録媒体は、例えば図28に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布されるリムーバブルメディア81により構成される。リムーバブルディスク81は、例えばプログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(ブルーレイディスク、CD−ROM、DVDを含む)、光磁気ディスク(MD(Mini Disc)を含む)、若しくは半導体メモリなどよりなる。
或いは記録媒体は、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM72や、記憶部78に含まれるハードディスクなどでも構成される。
このようなコンピュータ装置70は、通信部79による受信動作や、或いはドライブ80(リムーバブルメディア81)もしくは記録部78での再生動作等により、パノラマ画像生成のためのnフレームのフレーム画像データFM#0〜FM#(n−1)を入力した際に、CPU71がプログラムに基づいて、画像処理装置1の機能を実現し、上述の関連付け部11としての処理を実行する。
これにより入力されたnフレームのフレーム画像データFM#0〜FM#(n−1)から1枚のパノラマ画像データが生成される。
またパノラマ画像の表示のために、CPU71がプログラムに基づいて、画像処理装置2の機能を実現し、上述の表示画像生成部20としての処理を実行する。
これにより入力されたnフレームのフレーム画像データFM#0〜FM#(n−1)から1枚のパノラマ画像データが生成される。
またパノラマ画像の表示のために、CPU71がプログラムに基づいて、画像処理装置2の機能を実現し、上述の表示画像生成部20としての処理を実行する。
<9.変形例>
以上、実施の形態について説明してきたが、本開示の画像処理装置は多様な変形例が考えられる。
以上、実施の形態について説明してきたが、本開示の画像処理装置は多様な変形例が考えられる。
第1構成例〜第4構成例は、複合的に採用することもできる。
例えば第1構成例と第2構成例を合わせて、関連付け処理としてメタデータと専用プログラムを付加することや、第1構成例と第4構成例を合わせて、関連付け処理としてメタデータと専用フォーマット化の処理を行うことなどが考えられる。
第5構成例の撮像装置50としては、関連付け部11及び表示画像生成部20の両方の機能を備えた例としたが、例えば関連付け部11と表示画像生成部20のうちの一方の機能のみを設ける例も考えられる。
例えば第1構成例と第2構成例を合わせて、関連付け処理としてメタデータと専用プログラムを付加することや、第1構成例と第4構成例を合わせて、関連付け処理としてメタデータと専用フォーマット化の処理を行うことなどが考えられる。
第5構成例の撮像装置50としては、関連付け部11及び表示画像生成部20の両方の機能を備えた例としたが、例えば関連付け部11と表示画像生成部20のうちの一方の機能のみを設ける例も考えられる。
実施の形態のでは全周パノラマ画像ではないパノラマ画像データPDについては投影表示の対象にはしていないが、特定の操作により、投影表示が行われるようにしてもよい。ただしこの場合には、正確な3次元モデルを構築することができないため、投影表示画像に歪みが生ずるなどの弊害が出る可能性があるが、特別なモードとしてそれを許容するという考え方もある。
本開示の画像処理装置は、上述の撮像装置50やコンピュータ装置70に搭載するほか、撮像機能を有する携帯電話機、ゲーム機、ビデオ機器、撮像機能を有さないがフレーム画像データを入力する機能を有する携帯電話機、ゲーム機、ビデオ機器、情報処理装置に搭載することも有用である。
なお本技術は以下のような構成も採ることができる。
(1)撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備える画像処理装置。
(2)上記全周パノラマ画像と判断される場合とは、
パノラマ画像データが、360°画角を有する場合である上記(1)に記載の画像処理装置。
(3)上記全周パノラマ画像と判断される場合とは、
パノラマ画像データが、360°画角を有し、画像両端の位置合わせ処理が行われたものである場合である上記(1)又は(2)に記載の画像処理装置。
(4)上記全周パノラマ画像と判断される場合とは、
パノラマ画像データが、撮像方向を略360°変位させながらの撮像動作によって得られる複数のフレーム画像データを用いてパノラマ画像データ生成する、360°パノラマ撮像モード動作によって得られた場合である上記(1)に記載の画像処理装置。
(5)上記関連付け部は、上記全周パノラマ画像であることを示す情報としてのメタデータを、パノラマ画像データに関連付ける上記(1)乃至(4)のいずれかに記載の画像処理装置。
(6)上記関連付け部は、上記全周パノラマ画像であることを示す情報として、全周パノラマ画像の表示に用いる表示処理プログラムを、パノラマ画像データに関連付ける上記(1)乃至(4)のいずれかに記載の画像処理装置。
(7)上記関連付け部は、上記全周パノラマ画像であることを示す情報として、パノラマ画像データ自体を特定フォーマットのデータとする上記(1)乃至(4)のいずれかに記載の画像処理装置。
(8)上記関連付け部は、上記全周パノラマ画像であることを示す情報を含むデータファイルと、パノラマ画像データを含むデータファイルを関連付ける上記(1)乃至(4)のいずれかに記載の画像処理装置。
(9)上記メタデータには、パノラマ画像生成時のフレーム画像データの投影面の種別を示す情報が含まれる上記(5)に記載の画像処理装置。
(10)上記投影面の種別を示す情報は、曲面又は平面の投影面の種別として、単一平面、円筒面、球面、立方体のいずれかを示す情報である上記(9)に記載の画像処理装置。
(11)上記メタデータには、パノラマ画像データの360°画角判定結果の情報が含まれる上記(5)、(9)又は(10)のいずれかに記載の画像処理装置。
(12)上記メタデータには、パノラマ画像データの画像両端の位置合わせ処理の結果を示す情報が含まれる上記(5)、(9)、(10)又は(11)のいずれかに記載の画像処理装置。
(13)上記メタデータには、パノラマ画像データが、撮像方向を略360°変位させながらの撮像動作によって得られる複数のフレーム画像データを用いてパノラマ画像データ生成する、360°パノラマ撮像モード動作によって得られたか否かを示す情報が含まれる上記(5)、(9)、(10)、(11)又は(12)のいずれかに記載の画像処理装置。
(14)上記メタデータには、パノラマ画像データの水平画角及び垂直画角の情報が含まれる上記(5)、(9)、(10)、(11)、(12)又は(13)のいずれかに記載の画像処理装置。
(15)撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを合成してパノラマ画像データを生成するパノラマ合成部を、さらに備え上記(1)乃至(14)のいずれかに記載の画像処理装置。
(1)撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備える画像処理装置。
(2)上記全周パノラマ画像と判断される場合とは、
パノラマ画像データが、360°画角を有する場合である上記(1)に記載の画像処理装置。
(3)上記全周パノラマ画像と判断される場合とは、
パノラマ画像データが、360°画角を有し、画像両端の位置合わせ処理が行われたものである場合である上記(1)又は(2)に記載の画像処理装置。
(4)上記全周パノラマ画像と判断される場合とは、
パノラマ画像データが、撮像方向を略360°変位させながらの撮像動作によって得られる複数のフレーム画像データを用いてパノラマ画像データ生成する、360°パノラマ撮像モード動作によって得られた場合である上記(1)に記載の画像処理装置。
(5)上記関連付け部は、上記全周パノラマ画像であることを示す情報としてのメタデータを、パノラマ画像データに関連付ける上記(1)乃至(4)のいずれかに記載の画像処理装置。
(6)上記関連付け部は、上記全周パノラマ画像であることを示す情報として、全周パノラマ画像の表示に用いる表示処理プログラムを、パノラマ画像データに関連付ける上記(1)乃至(4)のいずれかに記載の画像処理装置。
(7)上記関連付け部は、上記全周パノラマ画像であることを示す情報として、パノラマ画像データ自体を特定フォーマットのデータとする上記(1)乃至(4)のいずれかに記載の画像処理装置。
(8)上記関連付け部は、上記全周パノラマ画像であることを示す情報を含むデータファイルと、パノラマ画像データを含むデータファイルを関連付ける上記(1)乃至(4)のいずれかに記載の画像処理装置。
(9)上記メタデータには、パノラマ画像生成時のフレーム画像データの投影面の種別を示す情報が含まれる上記(5)に記載の画像処理装置。
(10)上記投影面の種別を示す情報は、曲面又は平面の投影面の種別として、単一平面、円筒面、球面、立方体のいずれかを示す情報である上記(9)に記載の画像処理装置。
(11)上記メタデータには、パノラマ画像データの360°画角判定結果の情報が含まれる上記(5)、(9)又は(10)のいずれかに記載の画像処理装置。
(12)上記メタデータには、パノラマ画像データの画像両端の位置合わせ処理の結果を示す情報が含まれる上記(5)、(9)、(10)又は(11)のいずれかに記載の画像処理装置。
(13)上記メタデータには、パノラマ画像データが、撮像方向を略360°変位させながらの撮像動作によって得られる複数のフレーム画像データを用いてパノラマ画像データ生成する、360°パノラマ撮像モード動作によって得られたか否かを示す情報が含まれる上記(5)、(9)、(10)、(11)又は(12)のいずれかに記載の画像処理装置。
(14)上記メタデータには、パノラマ画像データの水平画角及び垂直画角の情報が含まれる上記(5)、(9)、(10)、(11)、(12)又は(13)のいずれかに記載の画像処理装置。
(15)撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを合成してパノラマ画像データを生成するパノラマ合成部を、さらに備え上記(1)乃至(14)のいずれかに記載の画像処理装置。
1,2 画像処理装置、10 パノラマ合成部、11 関連付け部、12 撮像部、13 記録再生部、14 入力部、20 表示画像生成部、21 表示部、50 撮像装置、102 画像処理部、103 制御部、104 表示部、106 記録デバイス
Claims (17)
- 撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける関連付け部を備える画像処理装置。
- 上記全周パノラマ画像と判断される場合とは、
パノラマ画像データが、360°画角を有する場合である請求項1に記載の画像処理装置。 - 上記全周パノラマ画像と判断される場合とは、
パノラマ画像データが、360°画角を有し、画像両端の位置合わせ処理が行われたものである場合である請求項1に記載の画像処理装置。 - 上記全周パノラマ画像と判断される場合とは、
パノラマ画像データが、撮像方向を略360°変位させながらの撮像動作によって得られる複数のフレーム画像データを用いてパノラマ画像データ生成する、360°パノラマ撮像モード動作によって得られた場合である請求項1に記載の画像処理装置。 - 上記関連付け部は、上記全周パノラマ画像であることを示す情報としてのメタデータを、パノラマ画像データに関連付ける請求項1に記載の画像処理装置。
- 上記関連付け部は、上記全周パノラマ画像であることを示す情報として、全周パノラマ画像の表示に用いる表示処理プログラムを、パノラマ画像データに関連付ける請求項1に記載の画像処理装置。
- 上記関連付け部は、上記全周パノラマ画像であることを示す情報として、パノラマ画像データ自体を特定フォーマットのデータとする請求項1に記載の画像処理装置。
- 上記関連付け部は、上記全周パノラマ画像であることを示す情報を含むデータファイルと、パノラマ画像データを含むデータファイルを関連付ける請求項1に記載の画像処理装置。
- 上記メタデータには、パノラマ画像生成時のフレーム画像データの投影面の種別を示す情報が含まれる請求項5に記載の画像処理装置。
- 上記投影面の種別を示す情報は、曲面又は平面の投影面の種別として、単一平面、円筒面、球面、立方体のいずれかを示す情報である請求項9に記載の画像処理装置。
- 上記メタデータには、パノラマ画像データの360°画角判定結果の情報が含まれる請求項5に記載の画像処理装置。
- 上記メタデータには、パノラマ画像データの画像両端の位置合わせ処理の結果を示す情報が含まれる請求項5に記載の画像処理装置。
- 上記メタデータには、パノラマ画像データが、撮像方向を略360°変位させながらの撮像動作によって得られる複数のフレーム画像データを用いてパノラマ画像データ生成する、360°パノラマ撮像モード動作によって得られたか否かを示す情報が含まれる請求項5に記載の画像処理装置。
- 上記メタデータには、パノラマ画像データの水平画角及び垂直画角の情報が含まれる請求項5に記載の画像処理装置。
- 撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを合成してパノラマ画像データを生成するパノラマ合成部を、さらに備えた請求項1に記載の画像処理装置。
- 撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける処理を行う画像処理方法。
- 撮像方向を変位させながらの撮像動作によって得られる複数のフレーム画像データを用いて生成されたパノラマ画像データが、全周パノラマ画像と判断される場合に、該パノラマ画像データと、該パノラマ画像データが全周パノラマ画像であることを示す情報とを関連付ける処理を演算処理装置に実行させるプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012129100A JP2015156523A (ja) | 2012-06-06 | 2012-06-06 | 画像処理装置、画像処理方法、プログラム |
US14/403,858 US10091417B2 (en) | 2012-06-06 | 2013-04-03 | Image processing apparatus, image processing method, and program |
CN201910554870.6A CN110177211B (zh) | 2012-06-06 | 2013-04-03 | 图像处理装置、图像处理方法以及计算机可读存储介质 |
CN201380028447.3A CN104365083B (zh) | 2012-06-06 | 2013-04-03 | 图像处理装置、图像处理方法以及程序 |
PCT/JP2013/060182 WO2013183346A1 (ja) | 2012-06-06 | 2013-04-03 | 画像処理装置、画像処理方法、プログラム |
US15/964,727 US11102402B2 (en) | 2012-06-06 | 2018-04-27 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012129100A JP2015156523A (ja) | 2012-06-06 | 2012-06-06 | 画像処理装置、画像処理方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015156523A true JP2015156523A (ja) | 2015-08-27 |
Family
ID=49711747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012129100A Pending JP2015156523A (ja) | 2012-06-06 | 2012-06-06 | 画像処理装置、画像処理方法、プログラム |
Country Status (4)
Country | Link |
---|---|
US (2) | US10091417B2 (ja) |
JP (1) | JP2015156523A (ja) |
CN (2) | CN104365083B (ja) |
WO (1) | WO2013183346A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180082296A (ko) * | 2017-01-10 | 2018-07-18 | 삼성전자주식회사 | 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치 |
JP2019511024A (ja) * | 2016-01-03 | 2019-04-18 | ヒューマンアイズ テクノロジーズ リミテッド | パノラマフレームを生成するプロセスにおけるフレームの適応ステッチング |
US10582127B2 (en) | 2016-02-29 | 2020-03-03 | Sony Corporation | Image processing device, display device, reproduction control method, and image processing system |
US10785410B2 (en) | 2017-10-25 | 2020-09-22 | Olympus Corporation | Image processing device, image processing method, and recording medium which records image processing program for generating a synthesis image file |
KR20200140396A (ko) * | 2016-05-26 | 2020-12-15 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
US11223813B2 (en) | 2017-01-10 | 2022-01-11 | Samsung Electronics Co., Ltd | Method and apparatus for generating metadata for 3D images |
JP7376688B2 (ja) | 2020-03-18 | 2023-11-08 | 株式会社ソニー・インタラクティブエンタテインメント | 表示装置、表示方法およびコンピュータプログラム |
JP7422010B2 (ja) | 2020-06-11 | 2024-01-25 | 三菱重工業株式会社 | 画像合成装置、画像合成方法及び画像合成プログラム並びに検査装置 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6161852B2 (ja) * | 2015-04-06 | 2017-07-12 | 三菱電機株式会社 | 非破壊検査システム及び特異点検出システム |
JPWO2016199608A1 (ja) * | 2015-06-12 | 2018-03-29 | ソニー株式会社 | 情報処理装置および情報処理方法 |
EP3310061A4 (en) * | 2015-06-12 | 2018-12-12 | Sony Corporation | Information processing device and information processing method |
JP6860485B2 (ja) * | 2015-08-05 | 2021-04-14 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
CN106817516A (zh) * | 2015-11-30 | 2017-06-09 | 英业达科技有限公司 | 摄像整合***及方法 |
US10148874B1 (en) * | 2016-03-04 | 2018-12-04 | Scott Zhihao Chen | Method and system for generating panoramic photographs and videos |
KR102568897B1 (ko) * | 2016-08-16 | 2023-08-21 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN117201817A (zh) | 2016-09-02 | 2023-12-08 | Vid拓展公司 | 用于用信号通知360度视频信息的方法和*** |
US10498968B1 (en) * | 2017-03-01 | 2019-12-03 | Altia Systems, Inc. | Intelligent zoom method and video system implementing same |
CN109819169A (zh) * | 2019-02-13 | 2019-05-28 | 上海闻泰信息技术有限公司 | 全景拍摄方法、装置、设备和介质 |
CN110933295B (zh) * | 2019-11-11 | 2021-09-10 | 北京三快在线科技有限公司 | 拍摄方法、装置、电子设备及可读存储介质 |
CN111047510B (zh) * | 2019-12-17 | 2023-02-14 | 大连理工大学 | 一种基于标定的大视场角图像实时拼接方法 |
WO2021134183A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、可移动平台、摄像装置及存储介质 |
CN111596594B (zh) | 2020-06-08 | 2021-07-23 | 厦门理工学院 | 一种全景大数据应用监测管控*** |
US11610338B2 (en) * | 2021-03-26 | 2023-03-21 | Fotonation Limited | Method of controlling a camera |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3250388B2 (ja) * | 1994-10-11 | 2002-01-28 | ミノルタ株式会社 | 画像再生装置 |
US6389179B1 (en) * | 1996-05-28 | 2002-05-14 | Canon Kabushiki Kaisha | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image |
US6486908B1 (en) * | 1998-05-27 | 2002-11-26 | Industrial Technology Research Institute | Image-based method and system for building spherical panoramas |
US7098914B1 (en) * | 1999-07-30 | 2006-08-29 | Canon Kabushiki Kaisha | Image synthesis method, image synthesis apparatus, and storage medium |
JP2001109881A (ja) * | 1999-10-12 | 2001-04-20 | Matsushita Electric Ind Co Ltd | 画像処理システム及び画像処理方法 |
US7126616B2 (en) * | 2001-06-12 | 2006-10-24 | Silicon Optix Inc. | Method and system for processing a non-linear two dimensional spatial transformation |
WO2003061281A1 (fr) * | 2002-01-11 | 2003-07-24 | Nikon Corporation | Appareil photo numerique |
JP2003224838A (ja) | 2002-01-28 | 2003-08-08 | Sony Corp | 視点自由形画像表示装置及び方法、課金装置及び課金方法、記憶媒体、並びにコンピュータ・プログラム |
JP4100934B2 (ja) * | 2002-02-28 | 2008-06-11 | シャープ株式会社 | 複合カメラシステム、ズームカメラ制御方法およびズームカメラ制御プログラム |
US7149367B2 (en) * | 2002-06-28 | 2006-12-12 | Microsoft Corp. | User interface for a system and method for head size equalization in 360 degree panoramic images |
JP3835424B2 (ja) | 2003-04-04 | 2006-10-18 | ソニー株式会社 | データ処理方法およびその装置と映像記録装置 |
JP2005223416A (ja) | 2004-02-03 | 2005-08-18 | Sony Corp | 画像処理システム、画像処理装置および画像処理方法、並びにプログラム |
CA2568060A1 (en) | 2004-05-25 | 2005-12-08 | Samsung Electronics Co., Ltd. | Method of reproducing multimedia data using musicphotovideo profiles and reproducing apparatus using the method |
US8751156B2 (en) * | 2004-06-30 | 2014-06-10 | HERE North America LLC | Method of operating a navigation system using images |
DE602006012705D1 (de) | 2005-09-12 | 2010-04-15 | Trimble Jena Gmbh | Vermessungsinstrument und Verfahren zur Bereitstellung von Vermessungsdaten mithilfe des Vermessungsinstruments |
US7990394B2 (en) * | 2007-05-25 | 2011-08-02 | Google Inc. | Viewing and navigating within panoramic images, and applications thereof |
US9307165B2 (en) * | 2008-08-08 | 2016-04-05 | Qualcomm Technologies, Inc. | In-camera panorama image stitching assistance |
JP5163409B2 (ja) * | 2008-10-03 | 2013-03-13 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
JP5237055B2 (ja) * | 2008-11-07 | 2013-07-17 | キヤノン株式会社 | 映像送信装置、映像送信方法、およびコンピュータプログラム |
JP5218071B2 (ja) * | 2009-01-07 | 2013-06-26 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5347716B2 (ja) * | 2009-05-27 | 2013-11-20 | ソニー株式会社 | 画像処理装置、情報処理方法およびプログラム |
KR101402622B1 (ko) * | 2009-07-01 | 2014-06-09 | 삼성전자주식회사 | 영상표시장치 및 영상표시방법 |
KR101631912B1 (ko) * | 2009-11-03 | 2016-06-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
CN102104641A (zh) * | 2009-12-18 | 2011-06-22 | 深圳富泰宏精密工业有限公司 | 手机及其实现360度拍照的方法 |
JP5593695B2 (ja) * | 2009-12-28 | 2014-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5504915B2 (ja) * | 2010-01-26 | 2014-05-28 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム |
JP2011205573A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | 制御装置、カメラシステム及びプログラム |
WO2011127201A1 (en) * | 2010-04-06 | 2011-10-13 | Youbiq Llc | Camera control |
JP5691330B2 (ja) * | 2010-09-15 | 2015-04-01 | 株式会社リコー | 光書き込み装置、画像形成装置及び光書き込み装置の制御方法、制御プログラム及び記録媒体 |
JP5413344B2 (ja) | 2010-09-27 | 2014-02-12 | カシオ計算機株式会社 | 撮像装置、画像合成方法及びプログラム |
JP5853359B2 (ja) * | 2010-11-11 | 2016-02-09 | ソニー株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
DE102010053895A1 (de) * | 2010-12-09 | 2012-06-14 | Eads Deutschland Gmbh | Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes |
CN102116938A (zh) * | 2011-03-30 | 2011-07-06 | 浙江大学 | 一种基于柱面会聚定向屏的全景视场三维显示装置 |
JP5591281B2 (ja) * | 2011-06-03 | 2014-09-17 | 任天堂株式会社 | 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法 |
JP2015156051A (ja) | 2012-06-06 | 2015-08-27 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
-
2012
- 2012-06-06 JP JP2012129100A patent/JP2015156523A/ja active Pending
-
2013
- 2013-04-03 WO PCT/JP2013/060182 patent/WO2013183346A1/ja active Application Filing
- 2013-04-03 CN CN201380028447.3A patent/CN104365083B/zh active Active
- 2013-04-03 US US14/403,858 patent/US10091417B2/en active Active
- 2013-04-03 CN CN201910554870.6A patent/CN110177211B/zh active Active
-
2018
- 2018-04-27 US US15/964,727 patent/US11102402B2/en active Active
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019511024A (ja) * | 2016-01-03 | 2019-04-18 | ヒューマンアイズ テクノロジーズ リミテッド | パノラマフレームを生成するプロセスにおけるフレームの適応ステッチング |
US10582127B2 (en) | 2016-02-29 | 2020-03-03 | Sony Corporation | Image processing device, display device, reproduction control method, and image processing system |
KR20200140396A (ko) * | 2016-05-26 | 2020-12-15 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
US10887577B2 (en) | 2016-05-26 | 2021-01-05 | Lg Electronics Inc. | Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video |
KR102208132B1 (ko) | 2016-05-26 | 2021-01-27 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
KR20180082296A (ko) * | 2017-01-10 | 2018-07-18 | 삼성전자주식회사 | 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치 |
KR102329061B1 (ko) * | 2017-01-10 | 2021-11-19 | 삼성전자주식회사 | 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치 |
US11223813B2 (en) | 2017-01-10 | 2022-01-11 | Samsung Electronics Co., Ltd | Method and apparatus for generating metadata for 3D images |
US10785410B2 (en) | 2017-10-25 | 2020-09-22 | Olympus Corporation | Image processing device, image processing method, and recording medium which records image processing program for generating a synthesis image file |
JP7376688B2 (ja) | 2020-03-18 | 2023-11-08 | 株式会社ソニー・インタラクティブエンタテインメント | 表示装置、表示方法およびコンピュータプログラム |
JP7422010B2 (ja) | 2020-06-11 | 2024-01-25 | 三菱重工業株式会社 | 画像合成装置、画像合成方法及び画像合成プログラム並びに検査装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2013183346A1 (ja) | 2013-12-12 |
CN104365083A (zh) | 2015-02-18 |
US11102402B2 (en) | 2021-08-24 |
CN104365083B (zh) | 2019-07-19 |
US10091417B2 (en) | 2018-10-02 |
US20150124049A1 (en) | 2015-05-07 |
CN110177211B (zh) | 2021-07-16 |
CN110177211A (zh) | 2019-08-27 |
US20180249077A1 (en) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013183346A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
CN108445705B (zh) | 图像处理装置、图像处理方法 | |
JP6673381B2 (ja) | 画像処理装置 | |
US10789676B2 (en) | Image processing device, image processing method, and program | |
JP6337888B2 (ja) | 画像処理装置、画像処理方法、プログラム |