JP2020092428A - 画像処理装置、画像処理方法、及び画像処理プログラム。 - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム。 Download PDFInfo
- Publication number
- JP2020092428A JP2020092428A JP2020001760A JP2020001760A JP2020092428A JP 2020092428 A JP2020092428 A JP 2020092428A JP 2020001760 A JP2020001760 A JP 2020001760A JP 2020001760 A JP2020001760 A JP 2020001760A JP 2020092428 A JP2020092428 A JP 2020092428A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- thumbnail
- display
- thumbnail image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 332
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims description 146
- 230000008569 process Effects 0.000 claims description 126
- 238000010187 selection method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 description 58
- 238000001514 detection method Methods 0.000 description 30
- 238000003860 storage Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000009877 rendering Methods 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 8
- 238000011946 reduction process Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 238000009966 trimming Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
なお「スイープ」とは、パノラマ画像生成のための複数のフレーム画像データを得るために、撮像時に撮像装置の回転運動による撮像方向移動の動作をいう。例えば水平方向に撮像方向を移動させる場合、スイープ方向とは水平方向を指す。
デジタルスチルカメラ等の撮像装置では、パノラマ画像についても、通常の静止画と同様にサムネール画像を生成し、例えば一覧表示等を行うようにされている。
サムネール表示に関しては、上記特許文献1に示されるように、3D(three dimensions)画像のサムネールを表示する手法も提案されている。
一方で、上記特許文献1の3Dサムネール画像ような手法をとれば、一覧表示の場合も、それぞれが見やすいサムネール画像とすることができる。ところがそのままではパノラマ画像内容全体が現れているものではなく、3Dサムネール画像を回転させるなど、処理負担の大きな表示制御が必要になる。
これにより、パノラマ画像データについてのサムネール画像データを表示する際の各種事情に応じて、解像度変換による第1のサムネール画像データと、アスペクト比調整処理による第2のサムネール画像データのうちで適切な方でサムネール画像表示を実行できる。
これにより選択されたサムネール画像データを利用した表示のための表示データ生成が可能となる。
第3に、本技術に係る画像処理装置においては、前記表示データ生成部は、前記サムネール選択部で選択された、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを、パノラマ画像データを用いて生成し、生成したサムネール画像データを用いてサムネール表示を実行させるための表示データを生成することが望ましい。
これによっても選択されたサムネール画像データを利用した表示のための表示データ生成が可能となる。
表示領域のアスペクト比に応じて第1,第2のサムネール画像データを選択することで、表示領域の事情に応じて見やすい方を選択できる。
第5に、本技術に係る画像処理装置においては、前記表示領域とは、表示装置の画面全体である。
これは表示装置の画面全体を用いてサムネール画像表示を行う場合に適切である。
第6に、本技術に係る画像処理装置においては、前記表示領域とは、表示装置の画面内においてサムネール表示を行う領域である。
これは表示装置の画面の一部を用いてサムネール画像表示を行う場合に適切である。
表示領域サイズによって、見やすいサムネール画像は異なるため、それに対応するようにする。
第8に、本技術に係る画像処理装置においては、前記サムネール選択部は、前記表示データに含むサムネール画像データの数に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択することが望ましい。
一覧表示等で複数のサムネール画像を表示する場合、サムネール画像数によって見やすいサムネール画像は異なるため、それに対応するようにする。
本技術に係るプログラムは、当該各手順の処理を演算処理装置に実行させるプログラムである。
これらにより、1つのパノラマ画像データに対して、解像度変換による第1のサムネール画像データと、アスペクト比調整処理による第2のサムネール画像データを選択的に表示させるための装置を実現できる。
なお、実施の形態として、画像処理装置、画像処理装置を内蔵する撮像装置、画像処理装置として機能するコンピュータ装置、及びプログラムの各例を説明する。
<1.パノラマ合成及び再生表示の概要>
<2.第1の実施の形態(画像処理装置)>
<3.第2の実施の形態(撮像装置)>
[3−1:撮像装置の構成]
[3−2:パノラマ合成処理]
[3−3:サムネール画像生成及び種別]
[3−4:画像処理例]
[3−5:サムネール表示領域]
[3−6:サムネール表示処理例]
<4.第3の実施の形態(コンピュータ装置及びプログラム)>
<5.変形例>
まずパノラマ合成についての概要を説明する。
後述する実施の形態の撮像装置50や、近年の一般的な撮像装置(デジタルスチルカメラ)は、撮像者がある回転軸で撮像装置50を回転運動させながら撮像して得られた複数枚の静止画像(フレーム画像データ)に対し、合成処理を行うことによって最大360°の広画角のパノラマ画像を生成することができる。
この図では撮像で得られる各静止画像を、撮像の時間的な順序で示している。即ち時刻0〜時刻(n−1)までに撮像されたフレーム画像データを、フレーム画像データFM#0、FM#1・・・FM#(n−1)としている。
n枚の静止画像からパノラマ画像を生成する場合は、図示するように連続して撮像された一連のn個のフレーム画像データFM#0〜FM#(n−1)について合成処理を行うこととなる。
各フレーム画像データの位置合わせの結果、一般的にスイープ方向だけでなく、スイープ方向と垂直な方向にも若干の移動が認められる。これは撮像者のスイープ時の手振れによって生じるズレである。
そして、このように位置合わせされたフレーム画像データ群は多くの重なり部分を持つため、各フレーム画像データに対して最終的なパノラマ画像に使用する領域を決定する必要がある。これは言い換えると、パノラマ合成処理における画像のつなぎ目(シーム:seam)を決めていることと同一である。
シームには、図2Aに示すようにスイープ方向に垂直な直線や、図2Bに示すように非直線(曲線など)とすることができる。
この図2A、図2Bにおいて、シームSM0はフレーム画像データFM#0,FM#1間のつなぎ目、シームSM1はフレーム画像データFM#1,FM#2間のつなぎ目、・・・シームSM(n−2)はフレーム画像データFM#(n−2),FM#(n−1)間のつなぎ目として示している。
なお、これらシームSM0〜SM(n−2)が合成時の隣接画像間のつなぎ目とされることで、各フレーム画像データにおいて斜線部とした部分は、最終的なパノラマ画像に使用されない画像領域となる。
そして、各フレーム画像データの共通部分を広範囲にブレンド処理することによって接合させる場合や、パノラマ画像に寄与する画素を共通部分から画素毎に選択する場合もあり、これらの場合には、つなぎ目は明確には存在しないが、本明細書においてはこの広範囲な接合部分もシームとして同一視するものとする。
図3では縦線がシームを示しており、n個のフレーム画像データFM#0〜FM#(n−1)がシームSM0〜SM(n−2)でそれぞれ接合されてパノラマ画像が生成されている状態を模式的に示している。
まず第一に、撮像装置50をパノラマ撮像モードに設定し、さらに最大撮像画角を設定する。最大撮像画角としては例えば120°、180°、360°などが選択可能であり、360°を選択した場合は、周囲の全風景をすべて写真に収めるいわゆる全周撮像ができる。
・あらかじめ設定された最大撮像画角に到達した場合
・ユーザによるスイープ動作が停止した場合
・ユーザがシャッターボタンを再び押下した場合
・ユーザがシャッターボタンから指を離した場合(パノラマ撮像中にはシャッターボタンを押し続けるという仕様において)
・何らかのエラーが発生した場合
またパノラマ画像データから例えば解像度変換による縮小処理などでサムネール画像データが生成され、パノラマ画像データと対応づけられて記録デバイスに保存される。
その後は通常の静止画像と同様にパノラマ画像データを表示したり、サムネール画像による一覧表示を行うことができる。
図4Aは撮像装置50の表示パネル105aにおいてパノラマ画像の通常表示を行っている例で、図4Bは複数のサムネール画像TM1による一覧表示を行っている例である。
そこで後述する実施の形態の画像処理装置1,2、撮像装置50、コンピュータ装置70は、図4Cのように、アスペクト比調整処理を行って生成したサムネール画像TM2を用いて一覧表示ができるようにする。詳しくは後述するが、アスペクト比調整処理が施されたサムネール画像TM2とは、以下のようなものである。
・パノラマ画像データの投影面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理を行って生成したサムネール画像
・パノラマ画像に対し極座標変換を施す処理を行って生成したサムネール画像
・パノラマ画像内の画素重要度判定結果を用いた縮小を行う処理を行って生成したサムネール画像
・パノラマ画像から切り出し(トリミング)を行って生成したサムネール画像
一方、解像度変換によって生成するサムネール画像TM1については、区別のため「通常サムネール画像」と呼ぶ。
なお説明の便宜上、アスペクト比調整サムネール画像の表示のための画像データも、符号TM2を用いて、「アスペクト比調整サムネール画像データTM2」と表記する場合もある。同様に通常サムネール画像の表示のための画像データも、符号TM1を用いて、「通常サムネール画像データTM1」と表記する場合もある。
これに対してアスペクト比調整サムネール画像TM2は、視認性向上のためにアスペクト比を調整したものであるが、一見して元のパノラマ画像全体を見ることができるものではない。
このため、各種の状況下において、通常サムネール画像TM1の方が表示に適している場合と、アスペクト比調整サムネール画像TM2の方が表示に適している場合とが想定される。
そこで本実施の形態では、状況に応じて通常サムネール画像TM1とアスペクト比調整サムネール画像TM2とを使い分けられるようにする。
実施の形態の画像処理装置1,2の構成例を説明する。
画像処理装置1は、パノラマ画像データPDから通常サムネール画像TM1とアスペクト比調整サムネール画像TM2の両方を生成する装置である。
画像処理装置2は、通常サムネール画像TM1とアスペクト比調整サムネール画像TM2を選択的に用いて表示データDdを生成する装置である。
パノラマ合成部10は、入力画像群FMSからパノラマ画像データPDを生成する。入力画像群FMSとは、撮像者がパノラマ撮像モードにおいてスイープさせながらの撮像動作を行うことで得られる一連のフレーム画像データFMのことである。パノラマ合成部10は、入力画像群FMSとしての複数のフレーム画像データFMを用いて、上記図1〜図3で説明したようにパノラマ画像データPDを生成する。
通常サムネール生成部1aは、複数の撮像画像を合成して生成されたパノラマ画像データPDを解像度変換することにより第1のサムネール画像データ(通常サムネール画像データTM1)を生成する。
アスペクト比調整サムネール生成部1bは、パノラマ画像データPDに対してアスペクト比調整処理を行って第2のサムネール画像データ(アスペクト比調整サムネール画像データTM2)を生成する。
この構成により、画像処理装置1は、1つのパノラマ画像データPDから通常サムネール画像データTM1と、アスペクト比調整サムネール画像データTM2の両方を生成して出力する。
画像処理装置1はステップF1でパノラマ合成部10からのパノラマ画像データPDを取り込む。
ステップF2で画像処理装置1は、通常サムネール生成部1aの機能により、通常サムネール画像データTM1を生成する。
ステップF3で画像処理装置1は、アスペクト比調整サムネール生成部1bの機能により、アスペクト比調整サムネール画像データTM2を生成する。
そしてステップF4で画像処理装置1は、生成した通常サムネール画像データTM1とアスペクト比調整サムネール画像データTM2を、記録又は送信のために出力する。例えば図示しない通信部から外部装置にサムネール画像データTM1、TM2を送信出力したり、図示しない記録装置に供給して記録媒体に記録させる。
記憶部11には、例えば1つのパノラマ画像データPDに対応して、図5Aの画像処理装置1で生成された通常サムネール画像データTM1と、アスペクト比調整サムネール画像データTM2が記憶されている。
サムネール選択部2aは、複数の撮像画像を合成して生成されたパノラマ画像データPDの解像度変換により生成される通常サムネール画像データTM1と、パノラマ画像データPDに対するアスペクト比調整処理により生成されるアスペクト比調整サムネール画像データTM2のうちで、いずれをサムネール表示に用いるかを選択する処理を行う。
表示データ生成部2bは、サムネール選択部2aの選択に応じて、通常サムネール画像データTM1又はアスペクト比調整サムネール画像データTM2のいずれかを用いてサムネール表示を実行させるための表示データDdを生成する。
特に表示データ生成部2bは、サムネール選択部2aで選択された、通常サムネール画像データTM1又はアスペクト比調整サムネール画像データTM2のいずれかを記憶部11から読み出し、読み出したサムネール画像データを用いて表示データDdを生成する。
この表示部21には、画像処理装置2から表示データDdが供給されて、その表示データDdに基づく表示動作が行われる。例えば表示部12は表示データDdに基づいてサムネール画像を含む表示を実行する。例えば複数のサムネール画像の一覧表示や、1つのサムネール画像の表示等を行う。
画像処理装置2はステップF10で、サムネール選択部2aの機能により、選択基準情報を確認する。例えば表示部12を有する表示装置の姿勢(姿勢に応じた表示領域のアスペクト比)、表示画面のアスペクト比、表示領域のアスペクト比、表示領域サイズ、一覧表示するサムネール数等の所定の選択基準情報を確認する。そしてステップF11で、選択基準情報に応じて、表示に用いるサムネール画像を通常サムネール画像データTM1とするか、或いはアスペクト比調整サムネール画像データTM2とするかを選択する。
ステップF12で画像処理装置2は、ステップF11で選択されたサムネール画像データ(TM1,TM2のいずれか)を記憶部11から読み出す。そして表示データ生成部2bの機能により、ステップF13で表示データDdを生成する。即ち記憶部11から読み出したサムネール画像データを用いて表示データDdを生成することになる。
そしてステップF14で画像処理装置2は、生成した表示データDdを、表示部12に出力する。
即ちサムネール選択部2aが、選択基準情報としての表示部12を有する表示装置の姿勢(姿勢に応じた表示領域のアスペクト比)、表示画面のアスペクト比、表示領域のアスペクト比、表示領域サイズ、一覧表示するサムネール数等に応じて、選択を行うことで、表示状況に適したサムネール表示が実行できる。
そしてこの場合は、図5Bのような画像処理装置1で生成された通常サムネール画像データTM1とアスペクト比調整サムネール画像データTM2が記憶部11に記憶されていることを前提とすることで、表示データ生成部2bは、選択されたサムネール画像データを読み出せばよく、画像処理装置2の処理負担は小さい。
画像処理装置2においてサムネール選択部2aの動作は同様であるが、表示データ生成部2bは、サムネール選択部2aで選択された、通常サムネール画像データTM1又はアスペクト比調整サムネール画像データTM2のいずれかを、パノラマ画像データPDを用いて生成し、生成したサムネール画像データを用いてサムネール表示を実行させるための表示データDdを生成する。
画像処理装置2はステップF20で、サムネール選択部2aの機能により、選択基準情報を確認する。そしてステップF21で、選択基準情報に応じて、表示に用いるサムネール画像を通常サムネール画像データTM1とするか、或いはアスペクト比調整サムネール画像データTM2とするかを選択する。
ステップF22で画像処理装置2は、表示データ生成部2bの機能により、ステップF21で選択されたサムネール画像データ(TM1,TM2のいずれか)を生成する。つまり記憶部11からパノラマ画像データPDを読み出し、当該パノラマ画像データPDについて解像度変換処理、もしくはアスペクト比調整処理のいずれかを行って、サムネール画像データ(TM1,TM2のいずれか)を生成する。このように生成したサムネール画像データを用いてステップF23で表示データDdを生成する。
そしてステップF24で画像処理装置2は、生成した表示データDdを、表示部12に出力する。
また例えばクラウドコンピューティングシステムを想定した場合、画像処理装置1、画像処理装置2が、ユーザ使用機器ではなくネットワーク上に配置されることも考えられる。
[3−1:撮像装置の構成]
続いて第2の実施の形態として、上述の画像処理装置1,2に相当する構成を備えた撮像装置50を説明する。
図7は撮像装置50の構成例を示している。
撮像装置50はレンズユニット100、撮像素子101、画像処理部102、グラフィックス処理部103、記録デバイス部104、表示部105、通信部106、記憶部107、制御部108、操作部109、センサー部110を備える。
撮像素子101は、レンズユニット100で集光された光画像を光電変換して電気信号に変換する。具体的には、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにより実現される。
この画像処理部102は、専用のハードウエア回路のみではなく、CPU(Central Processing Unit)やDSP(Digital Signal Processor)を備え、柔軟な画像処理に対応するためにソフトウエア処理を行うことができる。
この記録デバイス部104は、撮像装置50による撮像時には、画像処理部102でJPEG(Joint Photographic Experts Group)形式にエンコードされ、記憶部107に格納されたJPEG画像データを記録媒体に記録する。
また再生時には、記録デバイス部104は記録媒体に保存されたJPEG画像データを読み出す。このJPEG画像データは記憶部107に読み込まれ、画像処理部102でデコード処理が行われる。デコードされた画像データは、表示部105で表示させたり、或いは通信部106により外部機器に送信出力することも可能である。
表示パネル105aは、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)パネル等により実現され、ファインダとしての機能も有する。
なお通信部106が行う通信の伝送路の例は各種考えられ、例えば電波、赤外線等による無線伝送路や、ケーブル接続による有線伝送路のいずれでもよい。信号形態もデジタル電気信号通信、アナログ電気信号通信、光通信などが想定される。
なお上述の画像処理装置1、2としての処理(サムネール生成やサムネール表示のための処理)は、制御部108、画像処理部102、グラフィックス処理部103によって実行される。つまり撮像装置50としての実施の形態では、上述の画像処理装置1,2に相当する構成が制御部108、画像処理部102、グラフィックス処理部103によって実現される。
センサー部110は、ジャイロセンサー、加速度センサー、地磁気センサー、GPS(Global Positioning System)センサーなどで構成され、各種情報の検出を行う。これらの情報は、撮像された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。
次に、撮像装置50のパノラマ合成処理についての詳細を説明する。
図8はパノラマ合成処理のために画像処理部102及び制御部108において実行される処理を機能構成として示し、それらの機能構成部位によって実行される処理(アルゴリズムフロー)を示している。
図示のように、パノラマ合成処理のために、前処理200、画像レジストレーション処理201、動被写体検出処理202、検出・認識処理203、再投影処理204、シーム決定処理205、スティッチ処理206が行われる。
前処理200の対象となる入力画像群FMSとは、図1で説明したように、撮像者が撮像装置50でパノラマ撮像を実行しているときに順次得られるフレーム画像データFM#0、FM#1、FM#2・・・である。
パノラマ合成部10では、まず撮像者のパノラマ撮像操作によって撮像された画像(各フレーム画像データ)に対してパノラマ合成のための前処理200を行う。なおここでのフレーム画像データFMは、通常の撮像時と同様の画像処理は行われているものとする。 入力された画像はレンズユニット100の特性に基づく収差の影響を受けている。特にレンズの歪曲収差は、画像レジストレーション処理201に悪影響を与え、位置合わせの精度を低下させる。さらに合成されたパノラマ画像のシーム付近にアーティファクトも発生させるため、この前処理200において歪曲収差の補正を行う。歪曲収差の補正によって、動被写体検出処理202、検出・認識処理203の精度を向上させる効果もある。
パノラマ合成時には複数のフレーム画像データを単一の座標系に座標変換する必要があるが、この単一の座標系をパノラマ座標系と呼ぶことにする。
画像レジストレーション処理201は、2枚の連続するフレーム画像データを入力し、パノラマ座標系での位置合わせを行う処理である。2枚のフレーム画像データについての画像レジストレーション処理201によって得られる情報は、あくまで2枚の画像座標間の相対関係であるが、複数枚の画像座標系のうち一つ(例えば最初のフレーム画像データの座標系)を選び、パノラマ座標系に固定することによって、すべてのフレーム画像データの座標系をパノラマ座標系に変換することができる。
2.上記で求めたローカルな動き情報から、画像全体のグローバルな動きを求める。
・ブロックマッチング
・Harris,Hessian,SIFT,SURF,FASTなどの特徴点抽出及び特徴点マッチング
などが用いられ、画像の特徴点のローカルベクトルを求める。
・最小二乗法
・M−Estimator
・最小メジアン法(LMedS)
・RANSAC(RANdom SAmple Consensus)
などのロバスト推定手法が用いられ、2枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列(Homography)を求める。本明細書では、これらの情報を画像レジストレーション情報と呼ぶことにする。
あるいは、画像レジストレーション処理201のロバスト推定時に外れ値(アウトライア)として判断された、特徴点情報を利用して判定を行っても良い。
動被写体検出処理202および検出・認識処理203で得られた情報をもとに、後述するシーム決定処理207においてシームが決定される。
フレーム画像データの再投影処理204は、ピクセル処理の最適化を考慮して、スティッチ処理206の前段処理として、もしくはスティッチ処理206の一部として行ってもよい。また簡易的に画像レジストレーション処理201の前、例えば前処理200の一部として行ってもよい。またさらに簡略化して、処理そのものを行わず円筒投影処理の近似として扱ってもよい。
例えば重なり領域の各画素に対して動被写体検出処理202からの動被写体情報、検出・認識処理203からの検出・認識情報のそれぞれに適当な重みを付けた合計値を関数値とすればよい。
この場合、コスト関数値が高いほど、その点上には動被写体や人体などの物体が多く存在することを意味するため、パノラマ画像における破綻を最小限に抑えるためには、コスト関数値の低い点の集合をシームとすればよい。
・厳密解を求める解法
−分枝限定法
−Memorization
−動的計画法(Dynamic Programming)
−グラフカット
・近似解を求める解法
−局所探索法(山登り法)
−焼きなまし法(Simulated Annealing)
−タブーサーチ
−遺伝的アルゴリズム(Genetic Algorithm)
以上のいずれかの解法によりすべてのシームSM1〜SM(n−2)を求めることができる。
シーム周辺の領域に対しては、つなぎ目の不自然さを低減するためにブレンド処理を行い、それ以外の領域に対しては、単純な画素値のコピー、あるいはパノラマ座標系への再サンプリングのみを行い、すべての画像を接合する。
最終的に手振れ量を考慮してスイープと垂直な方向の不要な部分をトリミングすることによって、スイープ方向を長辺方向とするような、広画角のパノラマ画像(パノラマ画像データPD)を得ることができる。
次にサムネール画像データ(TM1,TM2)の生成について説明する。
上述のように生成したパノラマ画像データPDに関しては、パノラマ画像を高速に簡易表示、縮小表示するためのサムネール画像データを作成する。特に本実施の形態では1つのパノラマ画像データPDに対して通常サムネール画像データTM1、アスペクト比調整サムネール画像データTM2を作成する。撮像装置50の場合、主に画像処理部102、グラフィックス処理部103、制御部108で図9の処理を行うことで、サムネール画像データTM1、TM2を生成することができる。或いは必要に応じてサムネール画像データTM1、TM2のうちの一方を生成するようにすることもできる。
図9Aに示すように、パノラマ画像データPDに対して、縮小処理300によって、高解像度のパノラマ画像データPDを簡易表示、縮小表示に利用しやすい解像度に縮小する処理を行い、通常サムネール画像データTM1を作成する。
一般的なアスペクト比である4:3,16:9,3:2などの比率を考慮し、例えば640画素×480画素や、1920画素×1080画素に格納可能なようにサムネール解像度を規定する。
作成する通常サムネール画像データTM1は1つであってもよいし、利用目的に応じて様々な解像度の通常サムネール画像を複数作成してもよい。
そのような場合に対応できるようにするため、本実施の形態ではアスペクト比調整サムネール画像データTM2も作成する。
即ち図9Aに示すように、パノラマ画像データPDに対しアスペクト比調整用変換処理301を行う。アスペクト比調整用変換処理301は、例えば縦横比が非常に大きいパノラマ画像データPDを、4:3、16:9、3:2、1:1などの適度なアスペクト比の画像に変換する処理である。
以下、アスペクト比調整用変換処理301としてのいくつかの具体例を述べる。
まず、パノラマ画像データの投影面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理がある。
上述の再投影処理204で利用した円筒面、球面などの再投影面の3Dモデルに、パノラマ画像のテクスチャマッピングを行い、4:3などの一般的アスペクト比のスクリーンにレンダリング処理を行うことによって、アスペクト比が変換された画像を得ることができる。
レンダリング時の視点位置は3Dモデルの外部から俯瞰するような位置に設定する。例えば図10A、図10Bはそれぞれ円筒投影時、球面投影時の3Dモデル配置の概念図である。円筒投影時には図10Aの視点位置P1としてレンダリングを行うことで、図11Aのような一般的アスペクト比の画像を作成できる。また球面投影時には図10Bの視点位置P1としてレンダリングを行うことで、図11Bのような一般的アスペクト比の画像を作成できる。
パノラマ画像に対し極座標変換を施す処理も考えられる。
パノラマ画像の座標系を直交座標系(x,y)から極座標変換(r,θ)の正方形画像に変換することで、パノラマ画像を図11Cのような惑星状の画像に変換できることが知られている。この処理によってパノラマ画像を1:1のアスペクト比に変換できる。
パノラマ画像内の画素重要度判定結果を用いた縮小を行う処理も考えられる。
Seam Carving for Content-Aware Image Resizing(ACM Transactionson Graphics-Proceedings of ACM SIGGRAPH 2007,Volume26 Issue 3,July 2007)では、画素の重要度をエネルギー関数(Energy Function)として定義し、エネルギー損失を最小化するように画素を除去することにより、内容を保持したまま解像度を縮小する技術が提示されている。
この技術を用いることにより、パノラマ画像の内容を損なわずにアスペクト比を4:3などに変更した画像を作成することができる。
図12Aのパノラマ画像に対して、この処理によってアスペクト比を4:3に変更したアスペクト比調整済み画像の例を図12Bに示す。これは単純な縮小ではなく、重要度が高い被写体画素がなるべく保持され、一方、空や地面などの特徴の乏しい画素部分が優先して除去されるようにする。これによって画像内容の特徴的な部分が反映された縮小画像となっている。
アスペクト比調整処理は、上記の処理例I〜IIIのように、パノラマ画像全体の情報を保持した上でアスペクト比を変更することが望ましいが、これらの処理には一定の計算リソースが必要である。アスペクト比変換処理に計算リソースを割けない状況では、パノラマ画像の一部を所望のアスペクト比の領域で切り出すことによってアスペクト比調整済みの画像を作成することもできる。
例えば図12Aのパノラマ画像から一部を切り出して(トリミング)、図12Cのような画像を作成する処理である。
なお、このトリミング画像の場合は、パノラマ画像全体の情報を保持できないが、顔検出、人体検出、一般物体検出、主要被写体検出などの処理によって検出された領域を含むように切り出すことによって、できる限り重要と思われる領域を含むトリミング画像を生成することが可能である。
また処理例I、II、IIIによれば、単純な切り出し等によるアスペクト比調整処理を行った画像よりも視覚的効果の高いサムネール画像データを生成できる。
縮小処理302では、アスペクト比調整用変換処理301で処理された画像データを縮小し、アスペクト比調整サムネール画像データTM2を作成する。縮小解像度については縮小処理300と同様である。
なお、図9Bのような処理としてもよい。即ちアスペクト比調整サムネール画像データTM2の生成のために、まず縮小処理302でパノラマ画像データPDを縮小してから、アスペクト比調整用変換処理301を行うようにしてもよい。
また、通常サムネール画像データTM1と同様に、同種のアスペクト比調整サムネール画像データTM2として或る解像度のものを1つ生成してもよいし、異なる解像度で複数生成してもよい。
これによりサムネール画像のみで、3Dモデルの回転が可能になり、パノラマ画像全体の視認性が向上する。
以下では、上述のパノラマ生成、サムネール生成を含む処理として、撮像装置50において制御部108の制御に基づいて実行される各種画像処理例を図13、図14、図15で説明していく。以下の各図の例は制御部108の制御処理として示している。
制御部108は、ステップF101でパノラマ撮像処理の制御を行う。ユーザがパノラマ撮像操作を行うことで、画像処理部102には入力画像群FMSが得られるが、この入力画像群FMSに対して、制御部108の制御及び画像処理部102の動作により、図8で説明した処理が行われ、パノラマ画像データPDが生成される。
ステップF103で制御部108はアスペクト比調整サムネール画像データTM2の生成制御を行う。即ち制御部108の制御に従って画像処理部102、グラフィックス処理部103の処理として例えば図9Aのアスペクト比調整用変換処理301及び縮小処理302が実行されてアスペクト比調整サムネール画像データTM2が生成される。なお、ステップF102,F103の順序は逆でもよいし並列的に行われてもよい。
なお、この処理例では、ステップF104で記録媒体に記録させるものとしたが、ステップF101,F102,F103で、それぞれ生成したパノラマ画像データPD、通常サムネール画像データTM1、アスペクト比調整サムネール画像データTM2を、その都度、記録媒体に記録させるようにしてもよい。
また、ステップF104では、記録デバイス部104での記録媒体への記録ではなく、各画像データ(PD、TM1,TM2)を通信部106から外部機器に送信するようにしてもよい。例えば通信先の機器で記録媒体に記録させるなどである。
またパノラマ画像データPDに対応するサムネール画像データとして、通常サムネール画像データTM1、アスペクト比調整サムネール画像データTM2の両方を記録媒体に記録する処理を行うことで、その後の表示の際に、通常サムネール画像データTM1とアスペクト比調整サムネール画像データTM2を選択できるように用意ができる。
そしてこのような処理により、サムネール表示の際の事情に応じて適切な方のサムネール画像表示を行うという表示方式に対応でき、ユーザのサムネール認識性の向上に寄与できる。
なお以降のフローチャートの説明では、既述の処理と同様の処理は同一ステップ番号を付し、説明を省略する。
この図13Bの処理は、図13Aの処理にステップF110を加えたものである。ステップF110で制御部108は、生成するアスペクト比調整サムネール画像データTM2の種別を決定する。つまり図9のアスペクト比調整用変換処理301としては上述の処理例I〜IVのように各種の例が考えられるが、ステップF110では、これらのうちでどのような処理を用いるかを選択するものである。
処理選択条件としては、例えば投影処理種別条件、パノラマ画角条件、被写体条件、ユーザ設定条件、或いはこれらの組み合わせの条件などが想定される。これらの処理選択条件に応じたステップF110の処理の例を挙げる。
例えばパノラマ画像データPDが、その生成時に再投影処理204において円筒面に投影処理を行ったものであれば、処理例Iとして、円筒面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理を選択とし、図11Aのようなアスペクト比調整サムネール画像データTM2を生成するものとする。
また、パノラマ画像データPDが、その生成時に再投影処理204において球面に投影処理を行ったものであれば、同じく処理例Iとして述べたが、球面の三次元モデルに対してパノラマ画像をテクスチャマッピングした画像をレンダリングする処理を選択とし、図11Bのようなアスペクト比調整サムネール画像データTM2を生成するものとする。
例えば画角360°である場合は、処理例Iにより、図11A又は図11Bのようなアスペクト比調整サムネール画像データTM2を生成するものとする。或いは処理例IIで極座標変換を用いるものとしてもよい(図11C参照)。
一方、画角が360°でなければ、処理例III又は処理例IVを用いる。画角が360°
未満の場合は、図11A,図11Bのような処理例Iによるサムネール画像は、被写体が存在しない部分が含まれて、画像品質が低下する可能性があるためである。
ある程度以上のサイズで人の顔や人体が含まれている場合、その部分が特徴となってユーザが画像内容を識別しやすいという事情がある。そこで、例えば処理例III、処理例IVを行って、その顔部分等が表出するアスペクト比調整サムネール画像データTM2を生成する。一方、顔や人体が存在しない風景のみの場合、或いは人や顔が映り込んでいてもかなり小さいサイズである場合などは、処理例Iや処理例IIを選択する。
アスペクト比調整用変換処理301としては各種の処理方式が考えられるが、上記例のような処理選択条件として、適切なアスペクト比調整処理を選定することで、サムネール画像として、処理の簡易性を重視したり、画像品質を保つことを重視したり、ユーザのパノラマ画像内容の認識性を重視したり、ユーザの好みを重視したりするなど、適切なサムネール生成が実現される。
この図14Aの処理は、異なるアスペクト比調整処理により、複数のアスペクト比調整サムネール画像データTM2を生成する例である。
即ち図13Aと同様のステップF101,F102の処理の後、ステップF103Aにおいて制御部108は、複数種類のアスペクト比調整サムネール画像データTM2を生成する。例えば処理例Iによる図10Aのアスペクト比調整サムネール画像データTM2と、処理例IIによる図10Cのアスペクト比調整サムネール画像データTM2などである。そしてステップF104Aで、作成されたパノラマ画像データPD、通常サムネール画像データTM1、及び複数種類のアスペクト比調整サムネール画像データTM2を、記録デバイス部104において記録媒体に記録させる。
なお、処理例I〜IIIのいずれかによるアスペクト比調整サムネール画像データTM2を、上述の処理選択条件で選択して生成し、それに加えて処理例IVのトリミングによるアスペクト比調整サムネール画像データTM2を生成するようにしてもよい。処理例IVは単純な切り出し処理であり、複数種類のアスペクト比調整サムネール画像データTM2を生成する場合の処理負担増はさほど生じないからである。
例えばパノラマ画像データに対しての視点位置が異なる複数のアスペクト比調整サムネール画像データTM2を生成する。先に述べたように、処理例Iの3Dモデルによるサムネール画像として、例えば図10の視点位置P1,P2・・・など、複数の視点位置でのアスペクト比調整サムネール画像データTM2を生成する。
視点位置の異なる複数のサムネール画像データを生成しておけば、元のパノラマ画像データPDを異なる視点位置で見たサムネールを切り換えて表示することが可能な状態にできる。例えばサムネール画像のみで、3Dモデルの回転が可能になり、パノラマ画像全体の視認性が向上する。またその表示はサムネール画像を切り換えるのみであり回転のための処理負担はさほど増大しない。
この図14Bの処理は、パノラマ画像データPD内の被写体判定を行って視点位置を設定し、該視点位置に応じたアスペクト比調整処理によりアスペクト比調整サムネール画像データTM2を生成する例である。
制御部108はステップF120において重要被写体判定を行う。例えば被写体として人の顔や人体を重要被写体とし、パノラマ画像データPD内に重要被写体が含まれているか否かを判定する。
そしてステップF121で制御部108は、重要被写体の存在有無に応じて視点位置を設定する。例えば重要被写体が存在していなければ、視点位置として所期設定位置を設定するが、重要被写体が存在していれば、当該被写体の位置を基準に視点位置を設定する。また重要被写体が複数存在していれば、それぞれの重要被写***置を基準にして複数の視点位置を設定する。或いは複数の重要被写体の中央位置を基準にして視点位置を設定する。
そしてステップF104Bで、作成されたパノラマ画像データPD、通常サムネール画像データTM1、及び1又は複数のアスペクト比調整サムネール画像データTM2を、記録デバイス部104において記録媒体に記録させる。
なお重要被写体検出は、顔検出、人体検出だけでなく、一般物体検出、動体検出、主要被写体検出などを行ってもよい。
この図15の処理は、サムネール生成対象の画像データが通常撮像による画像データ(非パノラマ画像)である場合は、通常サムネール画像データTM1の生成を行い、サムネール生成対象の画像データがパノラマ画像データPDである場合は、通常サムネール画像データTM1とアスペクト比調整サムネール画像データTM2の両方の生成を行う例である。
そしてステップF133で制御部108は、通常の静止画としての画像データと、通常サムネール画像データTM1を、記録デバイス部104において記録媒体に記録させる。 ステップF130でパノラマ撮像が行われた場合は、制御部108はステップF131からF102、F110、F103、F104の処理に進み、図13Bと同様の処理を行う。
続いて上述のように生成したサムネール画像(TM1,TM2)の表示について説明していく。
本実施の形態の撮像装置50では、パノラマ画像データPDに対応して記録された複数のサムネール画像(TM1,TM2)のうちでいずれかを選択して表示させる。このために上述したように、図5B又は図5Cに示した画像処理装置2Bに相当する機能部位が制御部108、画像処理部102、グラフィックス処理部103によって実現される。
即ち、通常サムネール画像データTM1とアスペクト比調整サムネール画像データTM2のいずれをサムネール表示に用いるかを選択するサムネール選択部と、サムネール選択部の選択に応じて、通常サムネール画像データTM1、アスペクト比調整サムネール画像データTM2のいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成部とが、制御部108、画像処理部102、グラフィックス処理部103の動作により実現される。
状況に応じて適切なサムネール画像を選択して表示させることで、表示領域の利用効率や視認性を向上させる。
図16,図17は、表示領域のアスペクト比に応じた表示例である。ここでは表示領域とは、撮像装置50の表示パネル105aの全体を指すものとする。つまり表示パネル105aの全体で、サムネール画像の一覧表示や1枚表示を行う場合として説明する。
図16Aは正姿勢、図16Bは逆姿勢、図16Cは左90°姿勢、図16Dは右90°姿勢を示している。ユーザは撮像装置50を任意の姿勢で持つため、このように各姿勢をとることになり、図16C、図16Dのように表示領域が縦長となる場合もある。
即ちユーザが視認する表示領域のアスペクト比(横縦比)は、例えば1280:720になったり720:1280になったりする。
図17Aは、表示領域が横長のアスペクト比となった状態であり、この場合、アスペクト比調整サムネール画像データTM2を選択して一覧表示を行う。アスペクト比調整サムネール画像データTM2は、例えば4:3や1:1のアスペクト比となっていることで、図のように縦横に並べる状態で一覧表示できる。
図17Bは、表示領域が縦長のアスペクト比となった状態であり、この場合、通常サムネール画像データTM1を選択して一覧表示を行う。通常サムネール画像データTM1が横長の画像である場合、図のように各サムネール画像が縦に並ぶように表示させることで、比較的大きな画像で多数のサムネールを表示できる。
これら図17A,図17Bはいずれも、表示領域を効率的に利用し、かつユーザにとってサムネール画像内容が見やすいものとなっている。
この場合、図18の方が、例えば1280:720というアスペクト比の表示領域を効率利用した表示となるとともに、面白みのある画像となる。
図19A、図19Bは、表示パネル105a上に、アプリケーション画像(メニュー表示ウインドウなど)が表示され、その一部の斜線を付した領域105bがサムネール画像の表示領域とされる場合である。
例えばこのように表示パネル105aの一部が用いられる場合は、サムネール画像の表示領域のアスペクト比は、多様に変化する。例えば図19Aのように縦長の場合は、例えば通常サムネール画像データTM1が適しており、図19Bのように横長の場合は、例えばアスペクト比調整サムネール画像データTM2が適しているなどが生ずる。
以下では、サムネール画像表示処理として、撮像装置50において制御部108の制御に基づいて実行される各種画像処理例を図20、図21、図22、図23で説明していく。以下の各図の例は制御部108の制御処理として示している。
具体的には、ステップF201,F202の結果、表示領域のアスペクト比が縦長と判断された場合は“通常サムネール表示モード”、横長と判断された場合は“アスペクト比調整サムネール表示モード”とする。
“アスペクト比調整サムネール表示モード”ではステップF206に進み、記録デバイス部104における記録媒体から、アスペクト比調整サムネール画像データTM2を読み出して、表示処理のために記憶部107に読み込む。
そしてステップF207で制御部108は、記憶部107に読み込んだサムネール画像データ(TM1又はTM2)のJPEGデータをデコードし、表示データバッファに書き込む。
すべてのサムネール画像を表示データに反映させたら、ステップF208からF209に進み、表示データバッファにセットされた各画像を表示データとして表示部105に出力して一覧表示を実行させる。
一方、図19のように、表示パネル105aの一部(領域105b)を使用して、サムネール一覧表示を行う場合は、その時点の表示領域のアスペクト比をステップF202で検知することが必要になる。これは制御部108が実行している表示アプリケーション上でサムネール表示領域として割り当てられた表示領域の縦横画素数と、撮像装置50の姿勢に基づいて、実際にユーザが視認する表示領域が縦長か横長かを判定し、表示モード決定を行えばよい。
これは図20Aと同じく、撮像装置50における表示パネル105aの表示領域のアスペクト比に応じてサムネール画像を選択して表示させる例であるが、表示パネル105aの全面を使用してサムネール画像の1枚表示を行う場合の処理例である。
各ステップF201〜F209は図20Aと同様の処理である。図20Bは図20AのステップF208の判断及びそれによるステップF204〜F207のループ処理が設けられないものである。各ステップの詳細説明は省略する。
つまりこの図20Bの処理は、1つのパノラマ画像データPDについてのサムネール画像を、撮像装置50の姿勢と表示領域のアスペクト比により決定した表示モードに基づいて選択し、その選択したサムネール画像データ(TM1又はTM2)を記録媒体から読み出して、表示データを生成する処理となる。
例えばユーザが視認する表示領域が縦長の場合はアスペクト比調整サムネール画像データTM2、横長の場合は通常サムネール画像データTM1を選択して表示させるというような処理が可能となる。
図21A、図21Bは、それぞれ図20A、図20Bと同様にサムネール画像の一覧表示の場合と1枚表示の場合について処理例であるが、ステップF205,F206に代えてステップF210,F211を実行する。他は同様である。
またステップF203で“アスペクト比調整サムネール表示モード”と決定された場合、制御部108はステップF211に進み、アスペクト比調整サムネール画像データTM2の生成制御を行う。即ち制御部108、画像処理部102、グラフィックス処理部103の動作により、対象のパノラマ画像データPDから、図9A又は図9Bで説明したアスペクト比調整用変換処理301、縮小処理302を実行してアスペクト比調整サムネール画像データTM2を生成する。
そしてステップF207に進む。
制御部108はステップF220で表示領域のサイズを取得する。そしてステップF203Aで表示モードを決定する。この場合、例えば表示領域のサイズが所定以上か否かで“アスペクト比調整サムネール表示モード”か“通常サムネール表示モード”かを決定する。
例えば表示領域のサイズが小さい場合は、なるべく視認性を向上させるために“アスペクト比調整サムネール表示モード”を選択し、表示領域のサイズが所定以上で余裕がある場合は“通常サムネール表示モード”を選択する。
以降のステップF204〜F209は図20Aと同様である。なおステップF205,F206に代えて図21Aに示したステップF210,F211を実行してもよい。
制御部108はステップF230で、まず実行する表示動作が一覧表示か1枚表示かで処理を分岐する。1枚表示の場合は、ステップF205に進み、通常サムネール画像データTM1を記録媒体から読み出して表示データを生成し、ステップF207→F208→F209と進んで1枚表示を実行させる。
例えば表示するサムネール画像数が所定値未満の場合は、通常サムネール画像データTM1でもさほど視認性は阻害されないため、“通常サムネール表示モード”を選択する。一方、表示するサムネール画像数が所定値以上の場合は、なるべく視認性を向上させるために“アスペクト比調整サムネール表示モード”を選択する。
以降のステップF204〜F209は図20Aと同様である。但しステップF205,F206に代えて図21Aに示したステップF210,F211を実行してもよい。
各例で明らかなように、パノラマ画像データPDについてのサムネール画像データを表示する際には、各種事情に応じて、解像度変換による通常サムネール画像データTM1と、アスペクト比調整サムネール画像データTM2のうちで適切な方でサムネール画像表示を実行できる。例えば一覧表示や1枚表示の際に、ユーザにとって視認性がよい表示や、表示領域を有効利用した表示を実現できる。
一方で、図21A、図21BのステップF210,F211のように、表示モードの決定に応じて選択されたサムネール画像(TM1又はTM2)を、生成する処理を行うようにしてもよい。この場合、図9で説明した処理を例えばパノラマ撮像時にあらかじめ行っておく必要はなくなる。また複数のサムネール画像(TM1,TM2)を記録媒体に記録しておく必要はないため記録媒体の容量消費を低減できる。
表示領域に関しては、表示パネル105aの画面全体の場合を用いることで、比較的広い領域を用いてサムネール画像表示が実行でき、しかも撮像装置50の姿勢に応じた視認性向上が実現できる。
一方、表示領域として表示パネル105aの一部を用いる場合も考慮し、その一部が縦長であるか横長であるかで選択することによれば、表示上のデザインやアプリケーション上の都合、或いはユーザの表示領域設定などにも対応して視認性のよいサムネール画像表示が可能となる。
また表示させるサムネール画像の数に応じて表示させるサムネール画像(TM1又はTM2)を選択することで、サムネール画像数に応じた見やすいサムネール画像表示が実現できる。
例えばアスペクト比が異なる複数のアスペクト比調整サムネール画像データTM2が記憶されている場合、現在の表示領域に最も適したものを選択して読み出すことが考えられる。
解像度が異なる複数のアスペクト比調整サムネール画像データTM2が記憶されている場合、当該サムネール画像表示に割り当てられた表示領域にサイズや、表示するサムネール画像数などに応じて適したものを選択して読み出すとよい。
アスペクト比が同一の複数種類のアスペクト比調整サムネール画像データTM2が記憶されている場合、ランダム選択、ユーザによる優先表示する種別の設定などに応じて選択してもよい。
視点位置が異なる複数種類のアスペクト比調整サムネール画像データTM2が記憶されている場合、パノラマ画像データPDの中心に近い視点位置のものを選択し、その後ユーザの操作に応じて視点位置の異なるサムネール画像に切り換えられるようにしてもよい。
第3の実施の形態として、コンピュータ装置への適用例及びプログラムについて説明する。上述した画像処理装置1,2としての処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
即ち画像処理装置1を実現するプログラムは、複数の撮像画像を合成して生成されたパノラマ画像データPDを解像度変換することにより第1のサムネール画像データ(通常サムネール画像データTM1)を生成する第1のサムネール生成処理と、パノラマ画像データPDに対してアスペクト比調整処理を行って第2のサムネール画像データ(アスペクト比調整サムネール画像データTM2)を生成する第2のサムネール生成処理とを演算処理装置に実行させるプログラムである。
具体的には、このプログラムは、図6A、図13A、図13B、図14A、図14B、又は図15に示した処理を演算処理装置に実行させるプログラムとすればよい。
具体的には、このプログラムは、図6B、図6C、図20A、図20B、図21A、図21B、図22、又は図23に示した処理を演算処理装置に実行させるプログラムとすればよい。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
またプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インターフェース75も接続されている。
或いは記録媒体は、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM72や、記憶部78に含まれるハードディスクなどでも構成される。
またパノラマ画像についてのサムネール表示のために、CPU71がプログラムに基づいて、画像処理装置2のサムネール選択部2a、表示データ生成部2bの機能を実現し、状況に応じたサムネール画像データTM1、TM2の選択的な表示処理を実行する。
以上、実施の形態について説明してきたが、本開示の画像処理装置は多様な変形例が考えられる。
撮像装置50としては、画像処理装置1,2の両方の機能を搭載するものとしたが、例えば画像処理装置1の機能のみを搭載し、他の再生装置、表示装置等で画像処理装置2の機能を搭載するような構成も考えられる。コンピュータ装置70でも同様である。
また通常サムネール画像データTM1として、複数の解像度により複数個生成してもよい。
(1)複数の撮像画像を合成して生成されたパノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択部と、
前記サムネール選択部の選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成部と、を備えた
画像処理装置。
(2)前記表示データ生成部は、前記サムネール選択部で選択された、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを記録媒体から読み出し、読み出したサムネール画像データを用いて前記表示データを生成する
上記(1)に記載の画像処理装置。
(3)前記表示データ生成部は、前記サムネール選択部で選択された、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを、パノラマ画像データを用いて生成し、生成したサムネール画像データを用いてサムネール表示を実行させるための表示データを生成する
上記(1)に記載の画像処理装置。
(4)前記サムネール選択部は、前記表示データを供給する表示装置の表示領域のアスペクト比に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
上記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)前記表示領域とは、表示装置の画面全体である
上記(4)に記載の画像処理装置。
(6)前記表示領域とは、表示装置の画面内においてサムネール表示を行う領域である 上記(4)に記載の画像処理装置。
(7)前記サムネール選択部は、前記表示データを供給する表示装置の表示領域のサイズに応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
上記(1)乃至(3)のいずれかに記載の画像処理装置。
(8)前記サムネール選択部は、前記表示データに含むサムネール画像データの数に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
上記(1)乃至(3)のいずれかに記載の画像処理装置。
(9)複数の撮像画像を合成して生成されたパノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択手順と、
前記サムネール選択手順での選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成手順と、を備えた
画像処理方法。
(10)複数の撮像画像を合成して生成されたパノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択処理と、
前記サムネール選択手順での選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成処理と、
を演算処理装置に実行させるプログラム。
Claims (12)
- パノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択部と、
前記サムネール選択部の選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成部と、を備え、
前記サムネール選択部は、前記表示データに含むサムネール画像データの数に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する、
画像処理装置。 - 前記パノラマ画像データは、複数の撮像画像を合成して生成される、請求項1に記載の画像処理装置。
- 前記表示データ生成部は、前記サムネール選択部で選択された、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを記録媒体から読み出し、読み出したサムネール画像データを用いて前記表示データを生成する
請求項1または2に記載の画像処理装置。 - 前記表示データ生成部は、前記サムネール選択部で選択された、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを、パノラマ画像データを用いて生成し、生成したサムネール画像データを用いてサムネール表示を実行させるための表示データを生成する
請求項1または2に記載の画像処理装置。 - 前記サムネール選択部は、前記表示データを供給する表示装置の表示領域のアスペクト比に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
請求項1〜4のいずれか一項に記載の画像処理装置。 - 前記表示領域とは、表示装置の画面全体である
請求項5に記載の画像処理装置。 - 前記表示領域とは、表示装置の画面内においてサムネール表示を行う領域である
請求項5に記載の画像処理装置。 - 前記サムネール選択部は、前記表示データを供給する表示装置の表示領域のサイズに応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを選択する
請求項1〜4のいずれか一項に記載の画像処理装置。 - パノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択手順と、
前記サムネール選択手順での選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成手順と、を備え、
前記表示データに含むサムネール画像データの数に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかが選択される、
画像処理方法。 - パノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択処理と、
前記サムネール選択処理での選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成処理と、
を演算処理装置に実行させ、
前記表示データに含むサムネール画像データの数に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかが選択される、
プログラム。 - パノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される、パノラマ画像全体の情報を保持した上でアスペクト比を変更した第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを選択するサムネール選択部と、
前記サムネール選択部の選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成部と、を備えた
画像処理装置。 - パノラマ画像データの解像度変換により生成される第1のサムネール画像データと、前記パノラマ画像データに対するアスペクト比調整処理により生成される互いに視点位置が異なる複数種類の第2のサムネール画像データのうちで、いずれをサムネール表示に用いるかを、当該複数種類の第2のサムネール画像データそれぞれの視点位置に応じて選択するサムネール選択部と、
前記サムネール選択部の選択に応じて、前記第1のサムネール画像データ又は前記第2のサムネール画像データのいずれかを用いてサムネール表示を実行させるための表示データを生成する表示データ生成部と、を備えた
画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013095430 | 2013-04-30 | ||
JP2013095430 | 2013-04-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018023691A Division JP6673381B2 (ja) | 2013-04-30 | 2018-02-14 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020092428A true JP2020092428A (ja) | 2020-06-11 |
JP6819801B2 JP6819801B2 (ja) | 2021-01-27 |
Family
ID=51843369
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015514776A Active JP6292227B2 (ja) | 2013-04-30 | 2014-03-13 | 画像処理装置、画像処理方法、プログラム |
JP2018023691A Active JP6673381B2 (ja) | 2013-04-30 | 2018-02-14 | 画像処理装置 |
JP2020001760A Active JP6819801B2 (ja) | 2013-04-30 | 2020-01-08 | 画像処理装置、画像処理方法、及び画像処理プログラム。 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015514776A Active JP6292227B2 (ja) | 2013-04-30 | 2014-03-13 | 画像処理装置、画像処理方法、プログラム |
JP2018023691A Active JP6673381B2 (ja) | 2013-04-30 | 2018-02-14 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9986156B2 (ja) |
EP (1) | EP2960857B1 (ja) |
JP (3) | JP6292227B2 (ja) |
CN (2) | CN105144229B (ja) |
WO (1) | WO2014178233A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9589184B1 (en) | 2012-08-16 | 2017-03-07 | Groupon, Inc. | Method, apparatus, and computer program product for classification of documents |
US10674075B2 (en) | 2013-04-30 | 2020-06-02 | Sony Corporation | Image processing device, image processing method, and program |
CN105144229B (zh) * | 2013-04-30 | 2019-07-05 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
JP6167703B2 (ja) * | 2013-07-08 | 2017-07-26 | 株式会社リコー | 表示制御装置、プログラム及び記録媒体 |
JP6615545B2 (ja) * | 2015-09-15 | 2019-12-04 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用プログラム |
CN106254940B (zh) * | 2016-09-23 | 2019-11-01 | 北京疯景科技有限公司 | 播放全景内容的方法及装置 |
CN106548446B (zh) * | 2016-09-29 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种在球面全景图像上贴图的方法及装置 |
JP6802848B2 (ja) * | 2016-10-03 | 2020-12-23 | オリンパス株式会社 | 画像処理装置、撮像システム、画像処理方法および画像処理プログラム |
KR20180039529A (ko) * | 2016-10-10 | 2018-04-18 | 엘지전자 주식회사 | 이동 단말기 및 그의 동작 방법 |
US10181215B2 (en) * | 2017-03-30 | 2019-01-15 | EyeSpy360 Limited | Generating a virtual map |
CN108038820B (zh) * | 2017-11-14 | 2021-02-02 | 影石创新科技股份有限公司 | 一种实现子弹时间拍摄效果的方法、装置及全景相机 |
JP7052613B2 (ja) | 2018-07-20 | 2022-04-12 | 株式会社Jvcケンウッド | 表示制御装置、表示制御方法及びプログラム |
JP7183033B2 (ja) | 2018-12-26 | 2022-12-05 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
JP7415544B2 (ja) * | 2018-12-28 | 2024-01-17 | 株式会社リコー | 撮影システム及び撮影方法 |
JP2020202503A (ja) * | 2019-06-11 | 2020-12-17 | キヤノン株式会社 | 撮像装置、コンピュータプログラムおよび記憶媒体 |
CN115049544A (zh) * | 2021-03-09 | 2022-09-13 | 上海擎感智能科技有限公司 | 一种图片的处理方法、设备及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001186334A (ja) * | 1999-12-27 | 2001-07-06 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
JP2003141562A (ja) * | 2001-10-29 | 2003-05-16 | Sony Corp | 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
JP2008217765A (ja) * | 2007-03-06 | 2008-09-18 | Mitsubishi Electric Research Laboratories Inc | コンテンツを意識した画像の再構成方法 |
JP2012099906A (ja) * | 2010-10-29 | 2012-05-24 | Jvc Kenwood Corp | サムネイル表示装置 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0799623A (ja) * | 1993-09-09 | 1995-04-11 | Asahi Optical Co Ltd | パノラマ撮影機能付きスチルビデオカメラ |
US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
US6459451B2 (en) * | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
JPH116928A (ja) | 1997-06-18 | 1999-01-12 | Nippon Telegr & Teleph Corp <Ntt> | アレイ導波路格子型波長合分波器 |
JP2000152168A (ja) * | 1998-11-13 | 2000-05-30 | Olympus Optical Co Ltd | 画像再生装置 |
US6964025B2 (en) * | 2001-03-20 | 2005-11-08 | Microsoft Corporation | Auto thumbnail gallery |
JP2002312778A (ja) * | 2001-04-09 | 2002-10-25 | Be Here Corp | モーションパノラマ画像を電子的に配信する方法および装置 |
JP2006157123A (ja) * | 2004-11-25 | 2006-06-15 | Eizoh Co Ltd | 画像配信システム |
JP4494196B2 (ja) * | 2004-12-27 | 2010-06-30 | 京セラ株式会社 | 画像表示装置 |
JP4718950B2 (ja) | 2005-09-26 | 2011-07-06 | Necカシオモバイルコミュニケーションズ株式会社 | 画像出力装置及びプログラム |
JP4815271B2 (ja) * | 2006-05-26 | 2011-11-16 | オリンパスイメージング株式会社 | 画像表示装置、カメラ及び画像表示制御プログラム |
JP2007325002A (ja) * | 2006-06-01 | 2007-12-13 | Canon Inc | 画像出力装置及び画像出力方法 |
US20080111831A1 (en) * | 2006-11-15 | 2008-05-15 | Jay Son | Efficient Panoramic Image Generation |
WO2009008125A1 (ja) * | 2007-07-12 | 2009-01-15 | Olympus Medical Systems Corp. | 画像処理装置、該動作方法及び該プログラム |
EP2018049B1 (en) * | 2007-07-18 | 2013-05-01 | Samsung Electronics Co., Ltd. | Method of assembling a panoramic image and camera therefor |
JP4932660B2 (ja) | 2007-10-05 | 2012-05-16 | 富士フイルム株式会社 | 画像記録装置及び画像記録方法 |
JP4992664B2 (ja) * | 2007-10-29 | 2012-08-08 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US8259193B2 (en) * | 2007-11-21 | 2012-09-04 | Panasonic Corporation | Image file reproduction apparatus and image data reproduction apparatus |
JP5178543B2 (ja) * | 2009-01-14 | 2013-04-10 | キヤノン株式会社 | Tv会議システム及びその制御方法 |
JP5351593B2 (ja) * | 2009-04-15 | 2013-11-27 | キヤノン株式会社 | ファイル管理装置およびその制御方法 |
CN101577795A (zh) * | 2009-06-17 | 2009-11-11 | 深圳华为通信技术有限公司 | 一种实现全景图像的实时预览的方法和装置 |
KR101631912B1 (ko) | 2009-11-03 | 2016-06-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
JP2011119974A (ja) * | 2009-12-03 | 2011-06-16 | Sony Corp | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム |
JP2011205573A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | 制御装置、カメラシステム及びプログラム |
JP5589644B2 (ja) * | 2010-07-27 | 2014-09-17 | 日本精機株式会社 | 周辺画像表示装置及びその表示方法 |
JP2012124614A (ja) * | 2010-12-06 | 2012-06-28 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
JP5686244B2 (ja) * | 2010-12-21 | 2015-03-18 | ソニー株式会社 | 表示制御装置、表示制御方法、及び、プログラム |
JP5020398B1 (ja) * | 2011-06-29 | 2012-09-05 | パナソニック株式会社 | 画像変換装置、カメラ、画像変換方法およびプログラム |
US8963962B2 (en) * | 2012-03-06 | 2015-02-24 | Apple Inc. | Display of multiple images |
KR101935039B1 (ko) * | 2012-09-11 | 2019-01-03 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
CN102982516B (zh) * | 2012-10-25 | 2015-07-29 | 西安理工大学 | 一种基于半球环形全景镜头实现全景图像的方法 |
JP5435104B2 (ja) * | 2012-10-26 | 2014-03-05 | ソニー株式会社 | 情報処理装置、表示装置および情報処理装置の制御方法 |
US8773502B2 (en) * | 2012-10-29 | 2014-07-08 | Google Inc. | Smart targets facilitating the capture of contiguous images |
CN105144229B (zh) * | 2013-04-30 | 2019-07-05 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
-
2014
- 2014-03-13 CN CN201480023101.9A patent/CN105144229B/zh active Active
- 2014-03-13 CN CN201910381940.2A patent/CN110401795A/zh active Pending
- 2014-03-13 WO PCT/JP2014/056711 patent/WO2014178233A1/ja active Application Filing
- 2014-03-13 JP JP2015514776A patent/JP6292227B2/ja active Active
- 2014-03-13 EP EP14791807.2A patent/EP2960857B1/en active Active
- 2014-03-13 US US14/784,558 patent/US9986156B2/en active Active
-
2018
- 2018-02-14 JP JP2018023691A patent/JP6673381B2/ja active Active
- 2018-03-12 US US15/918,333 patent/US20180205885A1/en not_active Abandoned
-
2020
- 2020-01-08 JP JP2020001760A patent/JP6819801B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001186334A (ja) * | 1999-12-27 | 2001-07-06 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
JP2003141562A (ja) * | 2001-10-29 | 2003-05-16 | Sony Corp | 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
JP2008217765A (ja) * | 2007-03-06 | 2008-09-18 | Mitsubishi Electric Research Laboratories Inc | コンテンツを意識した画像の再構成方法 |
JP2012099906A (ja) * | 2010-10-29 | 2012-05-24 | Jvc Kenwood Corp | サムネイル表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2018136936A (ja) | 2018-08-30 |
EP2960857A4 (en) | 2016-08-31 |
CN105144229A (zh) | 2015-12-09 |
JPWO2014178233A1 (ja) | 2017-02-23 |
US20160073022A1 (en) | 2016-03-10 |
WO2014178233A1 (ja) | 2014-11-06 |
JP6673381B2 (ja) | 2020-03-25 |
US20180205885A1 (en) | 2018-07-19 |
JP6292227B2 (ja) | 2018-03-14 |
CN110401795A (zh) | 2019-11-01 |
JP6819801B2 (ja) | 2021-01-27 |
EP2960857B1 (en) | 2020-03-04 |
EP2960857A1 (en) | 2015-12-30 |
CN105144229B (zh) | 2019-07-05 |
US9986156B2 (en) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6819801B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム。 | |
JP6337888B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6471777B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11102402B2 (en) | Image processing apparatus, image processing method, and program | |
US20210227134A1 (en) | Image Processing Apparatus, Image Processing Method, and Program | |
JP2012222674A (ja) | 画像処理装置、画像処理方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201214 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6819801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |