JP2018109946A - 表示装置、プログラム、表示方法 - Google Patents
表示装置、プログラム、表示方法 Download PDFInfo
- Publication number
- JP2018109946A JP2018109946A JP2017206647A JP2017206647A JP2018109946A JP 2018109946 A JP2018109946 A JP 2018109946A JP 2017206647 A JP2017206647 A JP 2017206647A JP 2017206647 A JP2017206647 A JP 2017206647A JP 2018109946 A JP2018109946 A JP 2018109946A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- planar
- display device
- omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 107
- 238000006243 chemical reaction Methods 0.000 claims description 79
- 238000003384 imaging method Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
【課題】複数の高画質の画像を適切に重畳できる表示装置を提供する。【解決手段】第一の画像よりも高画質な第二の画像が重畳された第一の画像を表示する表示装置であって、複数の第二の画像の大きさの順に重畳順を決定する重畳順決定手段と、重畳順決定手段が決定した重畳順で、複数の第二の画像のうち大きい方の第二の画像ほど第一の画像に近い側に重畳する重畳手段と、を有する。【選択図】図15
Description
本発明は、表示装置、プログラム、及び表示方法に関する。
従来のデジタルカメラよりも広角な画像を撮像できる撮像装置が普及しはじめている。このような撮像装置の1つとして魚眼レンズ等を複数組み合わせ、1回の撮像で周囲360度が撮像された全天球画像を作成する全天球カメラが知られている。全天球画像に対しユーザは任意に視線方向を決定して全天球画像を様々な方向から閲覧することができる。
しかしながら、画像処理の負荷などを考慮すると撮像範囲が広い全天球画像の画像処理には制約が生じやすく、通常のデジタルカメラの画像と比較すると画質が低下(例えば解像度が低い、白飛びしやすい、色再現性が低い等)する傾向がある。このため、ユーザが全天球画像の一部を拡大して閲覧するような場合に、画質の低下が気になったり詳細な情報を得られにくかったりするという不都合がある。
このような不都合に対し、広角画像に望遠画像を嵌め込む技術が考案されている(例えば、特許文献1参照。)。
しかしながら、従来の技術では複数の高画質の画像が重畳されることが考慮されていないという問題がある。複数の高画質の画像があり、それらが全天球画像の同じ場所を撮像したものである場合、同じ場所に重畳される。しかし、複数の高画質の画像の画角が同じであることは少なく、重畳の順番によっては視線に対し後方に重畳された高画質の画像が閲覧者から見えなくなってしまう。
本発明は、上記課題に鑑み、複数の高画質の画像を適切に重畳できる表示装置を提供することを目的とする。
本発明は、第一の画像よりも高画質な第二の画像が重畳された前記第一の画像を表示する表示装置であって、複数の前記第二の画像の大きさの順に重畳順を決定する重畳順決定手段と、前記重畳順決定手段が決定した重畳順で、複数の前記第二の画像のうち大きい方の前記第二の画像ほど前記第一の画像に近い側に重畳する重畳手段と、を有する。
複数の高画質の画像を適切に重畳できる表示装置を提供することができる。
以下、本発明を実施するための形態について図面を参照しながら説明する。
<全天球画像の概略>
図1は、全天球画像CEについて説明する図の一例である。図1(a)は、三次元の立体球CSで表わされた全天球画像CEを示し、図1(b)は正距円筒図法で表された全天球画像CEを示す。全天球カメラで生成された全天球画像CEは図1(b)のような画像が立体球CSに張り合わされた三次元の構造を有している。仮想カメラICはユーザの視点に対応し、図1では全天球画像CEの中心に視点がある。ユーザUは仮想カメラICを通るX軸、Y軸、Z軸を中心とする3軸の回転を行わせて、全天球画像CEの任意の閲覧領域T(ディスプレイ又は表示用のソフトウェアに表示される範囲)を表示させることができる。また、ユーザは閲覧領域Tを拡大又は縮小することもできる。
図1は、全天球画像CEについて説明する図の一例である。図1(a)は、三次元の立体球CSで表わされた全天球画像CEを示し、図1(b)は正距円筒図法で表された全天球画像CEを示す。全天球カメラで生成された全天球画像CEは図1(b)のような画像が立体球CSに張り合わされた三次元の構造を有している。仮想カメラICはユーザの視点に対応し、図1では全天球画像CEの中心に視点がある。ユーザUは仮想カメラICを通るX軸、Y軸、Z軸を中心とする3軸の回転を行わせて、全天球画像CEの任意の閲覧領域T(ディスプレイ又は表示用のソフトウェアに表示される範囲)を表示させることができる。また、ユーザは閲覧領域Tを拡大又は縮小することもできる。
<本実施形態の表示装置の概略>
図2は、本実施形態の全天球画像の表示方法を説明する図の一例である。図2は全天球画像CEに重畳された2つの平面画像P1,P2を示している。視線より遠い側に画角が大きい平面画像P1が重畳され、視線に近い側に画角が小さい平面画像P2が重畳されている。閲覧者から見ると、中心に平面画像P2が見え、その周囲に平面画像P1が見え、更にその周囲に全天球画像CEが見える。
図2は、本実施形態の全天球画像の表示方法を説明する図の一例である。図2は全天球画像CEに重畳された2つの平面画像P1,P2を示している。視線より遠い側に画角が大きい平面画像P1が重畳され、視線に近い側に画角が小さい平面画像P2が重畳されている。閲覧者から見ると、中心に平面画像P2が見え、その周囲に平面画像P1が見え、更にその周囲に全天球画像CEが見える。
平面画像P1と平面画像P2が同じ解像度で撮像されている場合、画素数は同じだが平面画像P2の画角の方が狭いので、画角当たりの画素数は平面画像P2の方が多い。閲覧者が全天球画像CEを徐々に拡大する状況を想定すると、平面画像P1でより広い範囲を高解像度で閲覧でき、更に、大きく拡大するとより狭い範囲を高解像度で閲覧できる。
図2とは逆に、平面画像P1が平面画像P2よりも視線側に重畳された場合、閲覧者は平面画像P2を閲覧できない。
このように、本実施形態の表示装置は画角の大きい平面画像P1を平面画像P2よりも先に全天球画像CEに重畳する(画角の小さい平面画像Pほど視線側に重畳する)ことで、全ての平面画像Pを閲覧者が閲覧できる。また、複数の平面画像Pが重畳されているので、閲覧者が拡大しても高解像度の画像を表示できる。
<用語について>
重畳とは、2つ以上のものを合わせて1つのものにすることをいう。また、本実施形態では、重畳に、貼り付け、嵌め込み、合成、重ね合わせという意味が含まれてよい。
重畳とは、2つ以上のものを合わせて1つのものにすることをいう。また、本実施形態では、重畳に、貼り付け、嵌め込み、合成、重ね合わせという意味が含まれてよい。
特許請求の範囲の第一の画像は重畳先の画像であり、第二の画像は重畳される画像である。第一の画像には、第二の画像よりも広範囲の光景が写っている。本実施形態では、第一の画像の一例として全天球画像を用い、第二の画像の一例として平面画像を用いる。また、画像が大きいとは、広範囲の光景が写っていることをいう。
また、高画質の定義は画像によっても異なるため、閲覧者の閲覧目的によって種々でよいが、一般に画像が忠実に光景を表すことをいう。例えば、解像度が高い、ダイナミックレンジが広い、色再現性が高い、ノイズが少ない、画像をいう。
<システム構成例>
図3は、全天球カメラ20と表示装置30を有する画像処理システム100のシステム構成例を示す図である。図3(a)は全天球カメラ20と通常のデジタルカメラ9を有する画像処理システム100を示す。通常のデジタルカメラ9とは、一般に35mmフィルムに換算した場合に焦点距離35mm以上で撮像する撮像装置(カメラ)であるが、24mm〜35mm程度の広角画像を撮像できる撮像装置が含まれてよい。簡単には、全天球カメラ20ではなく平面画像Pを撮像する撮像装置ということができる。換言すると、閲覧領域Tに全体を表示可能な画像を撮像する撮像装置である。
図3は、全天球カメラ20と表示装置30を有する画像処理システム100のシステム構成例を示す図である。図3(a)は全天球カメラ20と通常のデジタルカメラ9を有する画像処理システム100を示す。通常のデジタルカメラ9とは、一般に35mmフィルムに換算した場合に焦点距離35mm以上で撮像する撮像装置(カメラ)であるが、24mm〜35mm程度の広角画像を撮像できる撮像装置が含まれてよい。簡単には、全天球カメラ20ではなく平面画像Pを撮像する撮像装置ということができる。換言すると、閲覧領域Tに全体を表示可能な画像を撮像する撮像装置である。
デジタルカメラ9は、全天球画像CEよりも少なくとも解像度が高い(撮像する画角に対する画素数が多い)撮像素子を有している。また、全天球カメラ20よりも狭い撮像範囲で撮像条件(露出時間、シャッター速度、ホワイトバランス等)を最適化するため、白飛びしにくく、色再現性も高い場合が多い。このようにデジタルカメラ9はいわゆる高画質の平面画像を生成する。
これにより、全天球画像CEでは拡大時に粗くなる画像を、平面画像Pの高い画質の画像で補うことができる。図3(a)の構成では、デジタルカメラ9が表示装置30を兼ねている。デジタルカメラ9の具体例は、例えばデジタルスチルカメラ、又はデジタルビデオカメラであるが、撮像装置を備えたその他の装置であってもよい。例えば、スマートフォン、タブレット端末、PDA(Personal Digital Assistant)、ウェアラブルPC(Personal Computer)等でもよい。この場合、スマートフォン等に全天球カメラ20が外付けされてよい。
全天球カメラ20とデジタルカメラ9はUSB,Bluetooth(登録商標)、無線LANなどで通信することができる。全天球カメラ20が撮像した全天球画像CEはデジタルカメラ9に送信される。デジタルカメラ9も同様に平面画像Pを撮像する。全天球画像CEには周囲360度の風景が写っているので平面画像Pは全天球画像CEの一部になる。
デジタルカメラ9は表示装置30として、全天球画像CEに平面画像Pを重畳する。具体的には、例えばユーザUが平面画像Pと全天球画像CEを選択して、重畳を指示する。あるいは、デジタルカメラ9を重畳モードに設定して平面画像Pを撮像すると、平面画像Pがマッチングする全天球画像CEに自動的に重畳する。画像の一致度が低ければ重畳されないので不都合は少ない。このように、デジタルカメラ9が表示装置30である場合は、全天球カメラ20とデジタルカメラ9という構成で、全天球画像CEと平面画像Pを重畳できる。
図3(b)は、全天球カメラ20、通常のデジタルカメラ9、及び表示装置30を有する画像処理システム100を示す。全天球カメラ20と表示装置30、及び、デジタルカメラ9と表示装置30はUSB、Bluetooth(登録商標)、無線LANなどで通信することができる。全天球カメラ20が撮像した全天球画像CEは表示装置30に送信される。デジタルカメラ9が撮像した平面画像Pも表示装置30に送信される。送信の他、記憶媒体に格納された全天球画像CE又は平面画像Pを表示装置30が記憶媒体から読み取ってもよい。
表示装置30は、例えばPC、スマートフォン、タブレット端末、PDAなどの情報処理装置である。この他、情報処理装置としての機能を有する複合機、プロジェクタ、テレビ会議端末などでもよい。
図3(b)の構成では、表示装置30が全天球画像CEに平面画像Pを重畳する。より具体的には、ユーザUは、平面画像Pと全天球画像CEを見比べることなどで、どの平面画像Pがどの全天球画像CEの一部か分かるので、全天球画像CEとこれに貼り付ける平面画像Pを選択し、表示装置30に貼り付けを行わせる。デジタルカメラ9のように自動的に重畳させてもよい。このように、表示装置30は全天球画像CEと平面画像Pを取得して、全天球画像CEに平面画像Pを重畳できる。図4以下の説明では、特に言及しない限り、図3(b)の構成を念頭に説明する。
図3(c)は、全天球カメラ20、通常のデジタルカメラ9、表示装置30、及び画像重畳サーバ70がネットワークNを介して接続された画像処理システム100を示す。ネットワークNは、ユーザ環境に構築されているLAN、LANをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークNが複数のLANを有する場合、ネットワークNはWANやインターネットと呼ばれる。ネットワークNは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、全天球カメラ20及びデジタルカメラ9が直接、公衆回線網に接続する場合は、LANを介さずにプロバイダネットワークに接続することができる。
画像重畳サーバ70は一般的な情報処理装置又はサーバ装置でよいし、表示装置30の具体例は図3(b)と同様でよい。しかしながら、画像重畳サーバ70はクラウドコンピューティングに対応していることが好ましい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。
全天球カメラ20が撮像した全天球画像CEは画像重畳サーバ70に送信される。デジタルカメラ9が撮像した平面画像Pも画像重畳サーバ70に送信される。図3(c)の構成では、画像重畳サーバ70が全天球画像CEに平面画像Pを重畳する。より具体的には、表示装置30はユーザUの操作を受け付けて画像重畳サーバ70にアクセスして、全天球画像CE及び平面画像Pのリスト(サムネイル画像など)を表示する。ユーザUは、平面画像Pと全天球画像CEを見比べることなどで、どの平面画像Pがどの全天球画像CEの一部か分かるので、全天球画像CEとこれに貼り付ける平面画像Pを選択し、画像重畳サーバ70に通知する。画像重畳サーバ70が自動的に重畳してもよい。
画像重畳サーバ70は、全天球画像CEに平面画像Pを重畳すると共に、閲覧領域Tの画像データを表示装置30に送信する。初期状態の視線方向と画角は予め決まっているものとする。画像重畳サーバ70はWebサーバとして閲覧領域Tの画像データとユーザの操作を受け付けるための表示プログラム(スクリプト言語で記述されている)を表示装置30に送信する。表示装置30は表示プログラムを実行しユーザUの操作を受け付け、視線方向と画角を画像重畳サーバ70に送信する。画像重畳サーバ70は視線方向と画角に応じて閲覧領域Tを更新し、閲覧領域Tの画像データを表示装置30に送信する。
全天球画像CE、平面画像P及び表示プログラムを画像重畳サーバ70が表示装置30に送信してもよい。この場合、表示装置30がユーザの操作に応じて閲覧領域Tを決定し、全天球画像CEに平面画像Pを重畳する。
また、全天球画像CEと平面画像Pから画像重畳サーバ70が位置パラメータ(後述する)を算出し、全天球画像CEと平面画像P及び位置パラメータを表示装置30がダウンロードしてもよい。ユーザは任意に視線方向を変えるが、表示装置30は同じ位置パラメータを使って全天球画像CEに平面画像Pを重畳できる。後述する図13の位置パラメータ作成部8が画像重畳サーバ70にあり、変換表示部7を表示装置30が有する形態となる。
<ハードウェア構成>
<<全天球カメラのハードウェア構成>>
図4は、全天球カメラのハードウェア構成図である。以下では、全天球カメラ20は、2つの撮像素子を使用した全方位撮像装置とするが、撮像素子は3つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラ9やスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に全天球カメラ20と同じ機能を有するようにしてもよい。
<<全天球カメラのハードウェア構成>>
図4は、全天球カメラのハードウェア構成図である。以下では、全天球カメラ20は、2つの撮像素子を使用した全方位撮像装置とするが、撮像素子は3つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラ9やスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に全天球カメラ20と同じ機能を有するようにしてもよい。
図4に示されているように、全天球カメラ20は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a、電子コンパス118、ジャイロセンサ119、及び、加速度センサ120を有する。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とはパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。更に、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、電子コンパス118、ジャイロセンサ119、及び、加速度センサ120なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを重畳処理して、図1(b)に示されているような正距円筒図法による画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、該撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮像装置によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置には表示部が設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、全天球カメラ20の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒図法による画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザUは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。DRAM114に記憶された正距円筒図法による画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/FとなるネットワークI/F116を介して表示装置30等の外部装置に送信されたりする。
通信部117は、全天球カメラ20に設けられたアンテナ117aを介して、WiFi(wireless fidelity)やNFC等の短距離無線技術によって、表示装置30等の外部装置と通信を行う。この通信部117によっても、正距円筒図法による画像のデータを表示装置30等の外部装置に送信することができる。
電子コンパス118は、地球の磁気から全天球カメラ20の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
ジャイロセンサ119は、全天球カメラ20の移動に伴う角度の変化(ロール角、ピッチング角、ヨー角)を検出する。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ120は3軸方向の加速度を検出する。検出した加速度に基づいて全天球カメラ20の姿勢(重力方向に対する角度)を検出する。ジャイロセンサ119と加速度センサ120は両方を有することで画像補正の精度が向上する。
なお、一眼レフのハードウェア構成は図4と同様であるか又は相違があるとしても本実施形態の説明には支障がないものとする。
<<表示装置のハードウェア構成>>
図5は、表示装置のハードウェア構成図である。表示装置30は、表示装置全体の動作を制御するCPU501、IPL(Initial Program Loader)等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、表示装置用のプログラム等の各種データを記憶するHD(Hard Disk)504を有する。また、CPU501の制御に従ってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507を有する。また、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、ネットワークNを利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、を有する。また、着脱可能な記録媒体の一例としての光記憶媒体513に対する各種データの読み出し又は書き込みを制御する光メディアドライブ514、及び、上記各構成要素を図5に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
図5は、表示装置のハードウェア構成図である。表示装置30は、表示装置全体の動作を制御するCPU501、IPL(Initial Program Loader)等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、表示装置用のプログラム等の各種データを記憶するHD(Hard Disk)504を有する。また、CPU501の制御に従ってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507を有する。また、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、ネットワークNを利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、を有する。また、着脱可能な記録媒体の一例としての光記憶媒体513に対する各種データの読み出し又は書き込みを制御する光メディアドライブ514、及び、上記各構成要素を図5に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
なお、画像重畳サーバ70のハードウェア構成は図5と同様であるか又は相違があるとしても本実施形態の説明には支障がないものとする。
<全天球画像CEの作成>
図6〜図10を用いて全天球画像CEについて説明する。図6は、全天球カメラ20の使用イメージ図である。全天球カメラ20は、図6に示されているように、ユーザUが手に持ってユーザUの周りの被写体を撮像するために用いられる。全天球カメラ20は、2つの撮像素子の背面同士が対向させられた構造を有しており、それぞれユーザUの周りの被写体を撮像することで、2つの半球画像を得る。
図6〜図10を用いて全天球画像CEについて説明する。図6は、全天球カメラ20の使用イメージ図である。全天球カメラ20は、図6に示されているように、ユーザUが手に持ってユーザUの周りの被写体を撮像するために用いられる。全天球カメラ20は、2つの撮像素子の背面同士が対向させられた構造を有しており、それぞれユーザUの周りの被写体を撮像することで、2つの半球画像を得る。
次に、図7〜図9を用いて、全天球カメラ20で撮像された画像から全天球画像CEが作成されるまでの処理の概略を説明する。なお、図7(a)は全天球カメラ20で撮像された半球画像(前側)、図7(b)は全天球カメラ20で撮像された半球画像(後側)、図7(c)は正距円筒図法による全天球画像を示した図である。図8(a)は正距円筒図法による画像で球を被う状態を示した概念図、図8(b)は全天球画像CEを示した図である。
図7(a)に示されているように、全天球カメラ20によって得られた画像は、魚眼レンズによって湾曲した半球画像(前側)となる。また、図7(b)に示されているように、全天球カメラ20によって得られた画像は、魚眼レンズによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、全天球カメラ20によってつなぎ合わされ、図7(c)に示されているように、正距円筒図法による画像が作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図8(a)に示されているように、正距円筒図法による画像が球面を覆うように貼り付けられ、図8(b)に示されているような全天球画像CEが作成される。このように、全天球画像CEは、正距円筒図法による画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)及び3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。全天球画像CEは、静止画であっても動画であってもよい。具体的には図8(a)の正距円筒図法による画像から図8(b)の三次元の全天球画像へ変換は図9にて説明される式(1)が利用される。
図9(a)は、全天球画像CEを正距円筒図法により示す図であり、図9(b)は正距円筒図法の全天球画像CEが全天球に貼り付けられた全天球画像CEを示す。図9(a)の画像から図9(b)の画像への変換が、図1で説明した全天球カメラ20の撮像時に全天球カメラ20で行われている処理である。
正距円筒図法の任意の点(λ,φ)に対応する三次元上の点(x,y,z)の座標は、球の半径を1.0とすると下記の式で求めることができる。
X = cos(φ)*cos(λ)
Y = sin(φ) …(1)
Z = cos(φ)*sin(λ)
このように、正距円筒図法の全天球画像CEから三次元の全天球画像CEが得られる。
X = cos(φ)*cos(λ)
Y = sin(φ) …(1)
Z = cos(φ)*sin(λ)
このように、正距円筒図法の全天球画像CEから三次元の全天球画像CEが得られる。
本実施形態の平面画像P1,P2は平面のまま表示画像304と重畳されるため、図9(b)に示すような全天球に変換されることはない。つまり、図1で説明のために示したが、平面画像P1,P2が立体球CSに貼り付けられることはない。しかし、ユーザから見ると、図1に示すように、全天球画像CEと同じ中心位置、同じ半径の球体の一部に複数の平面画像P1,P2が重畳されたように見える。
なお、図1のように、三次元の全天球画像CEに平面画像P1,P2が重畳されてもよい。マッチングにより(位置パラメータPPにより)平面画像Pが対応する経度と緯度が分かるので式(1)により表示装置30は全天球に平面画像Pを貼り付けられる。この場合、奥行き情報を使った陰面消去法(いわゆるZバッファ法)等は用いず、後優先でレンダリングするとよい。
全天球画像CEは、球面を覆うように貼り付けられた画像であるため湾曲しており、人間が見ると違和感を持ってしまう。そこで、表示装置30は、全天球画像CEの一部の閲覧領域Tを湾曲の少ない平面画像Pとして表示することで、人間に違和感を与えないように表示する。閲覧領域Tは、三次元の仮想空間における座標(X,Y,Z)によって示される。一方、ディスプレイ508は二次元平面なので閲覧領域Tのままでは表示装置30が表示できない。
そこで、3Dコンピュータグラフィックの技法を用いて三次元の物体を二次元平面に投影する透視投影変換により、表示装置30は湾曲の少ない画像を得る。以上のようにして、全天球画像CEの閲覧領域Tがディスプレイ508に表示される。
図10は、ユーザUの視線を説明する図の一例である。全天球画像CEは三次元の座標を有しているので、視線方向は三次元の座標や緯度・経度などの球体の座標を特定する情報で特定される。本実施形態では、閲覧領域Tの中心cpを視線方向とする。
ユーザUはキーボード511又はマウス512により視線方向を変えることができるが、仮想カメラICが平行移動しないと仮定すると、仮想カメラICは剛体としてロール(Z軸を中心とする回転)、ヨー(Y軸を中心とする回転)、及びピッチ(X軸を中心とする回転)の3つの回転が可能である。このうちヨーとピッチの回転のいずれが生じても視線方向が変化する(ロールの変化ではカメラのアッパーベクトルが変わるだけで、カメラの視線ベクトルは変化しない)。
例えば、ユーザUが全天球画像CEを水平方向に回転させるとヨー角が変化し、上下方向に回転させるとピッチ角が変化し、ディスプレイ508の中心を軸に全天球画像CEを回転させるとロール角が変化する。本実施形態では、ユーザUのWebページに対する操作が、視線方向(ロール角、ヨー角、ピッチ角)等に反映される。どのように反映されるかは表示装置30が実行するプログラムに予め記述されている。
図11は、全天球画像CEの閲覧領域Tの拡大と縮小を模式的に説明する図の一例である。図11(a)は初期の閲覧領域Tを示す。仮想カメラICが立体球CSの中央に存在する場合、閲覧領域Tは画角αにより決定される。画角αは、例えば閲覧領域Tの対角頂点を立体球CSの中央から臨む角度である。
初期状態の画角αをα0とする。図11(b)に示すように画角を小さくすれば(α1<α0)閲覧領域Tが狭くなるのでディスプレイ508上では画像が拡大され、図11(c)に示すように、画角を大きくすれば(α2>α0)閲覧領域Tが広くなるのでディスプレイ508上では画像が縮小される。ユーザUが全天球画像CEを拡大する操作又は縮小の操作を行うと、表示装置30は操作量に応じて画角を小さくしたり大きくしたりする。
図11(c)のように画角が大きくなったとしても、仮想カメラICが中央にある限り、仮想カメラICの後方にある画像を表示装置30が表示することができない。このため、ユーザUが図11(c)の状態から更に縮小する操作を行うと、表示装置30は仮想カメラICを後方に移動する。図11(d)では画角α2は図11(c)と変わっていないが、仮想カメラICが後方に移動することで、閲覧領域Tが更に広くなっている。このため、図11(c)よりも更に画像を縮小することが可能である。
<全天球画像CEへの平面画像Pの重畳に関する機能>
図12〜図17を用いて、全天球画像CEへの平面画像Pの重畳に関する機能について説明する。上記のように、図3(b)の構成を念頭に説明する。
図12〜図17を用いて、全天球画像CEへの平面画像Pの重畳に関する機能について説明する。上記のように、図3(b)の構成を念頭に説明する。
図12は、デジタルカメラ9、全天球カメラ20、及び表示装置30が有する機能をブロック状に示す機能ブロック図の一例である。デジタルカメラ9は平面画像取得部11を有している。平面画像取得部11はデジタルカメラ9の撮像機能により実現され、所定の解像度の画素がそれぞれ濃淡を表す画像データ(平面画像P)を作成する。平面画像Pは1つの静止画、複数の静止画、又は動画のいずれでもよい。
全天球カメラ20は全天球画像取得部12を有している。全天球画像取得部12は全天球カメラ20の撮像機能により実現され、全天球カメラ20の周囲360度の画像データ(全天球画像CE)を作成する。全天球画像CEは、1つの静止画、複数の静止画、又は動画のいずれでもよい。
表示装置30は、主に、位置パラメータ作成部8、及び変換表示部7を有している。表示装置30が有するこれらの機能は、図5に示した表示装置30のCPU501がHD504からRAM503に展開されたプログラムを実行することで実現される機能又は手段である。
位置パラメータ作成部8は、更に全天球画像読込部21、平面画像読込部22、位置パラメータ算出部23、及び位置パラメータ書出部24を有する。全天球画像読込部21は、全天球画像取得部12から全天球画像CEを読み込む。平面画像読込部22は、平面画像取得部11から平面画像Pを読み込む。読み込むとは、取得する、受信する、記憶媒体から読み出す、又は、入力を受け付けるという意味である。
位置パラメータ算出部23は、平面画像Pと一致する全天球画像CEの一致領域を特定し、一致領域を特定するための位置パラメータPPを求める。位置パラメータPPの詳細は図13にて説明される。正距円筒図法により全天球画像CEは歪んだ状態になるため、平面画像Pにも同じ変換を施し、歪んだ状態にすることが好ましい。そして、両方の特徴点を抽出しマッチングを行うことで、位置パラメータPPを求めることができる。特徴点の検出については、エッジ検出、コーナ検出、SIFT特徴量とSURF特徴量、連続した同一色の中心点など様々な検出方法が知られている。あるいは、全天球画像CEと平面画像Pの画素値の差の絶対値の合計又は差の二乗和を1画素ずつずらして算出し、絶対値の合計又は二乗和が最も小さくなった時の平面画像Pの位置を一致領域としてもよい。
また、平面画像Pをメッシュ状に領域分割してそれぞれで全天球画像CEとマッチングをすれば、レンズ歪等によるずれ補正も加味することができる。
全天球画像CEと平面画像Pの対応は一意に定まるので位置パラメータPPは、一度、求めるだけでよい。平面画像読込部22が複数の平面画像Pを読み込んだ場合、平面画像Pごとに位置パラメータPPを算出する。平面画像P1の位置パラメータPPを位置パラメータPP1、平面画像P2の位置パラメータPPを位置パラメータPP2と称する。位置パラメータ書出部24は位置パラメータPP1,PP2を位置パラメータ書出部24に送出する。
変換表示部7は、更に平面画像読込部25、視線方向画角指示部26、全天球画像読込部27、射影方式変換部1(符号は28)、射影方式変換部2(符号は29)、画像重畳部33、位置パラメータ読込部32、及び画像表示部31を有する。平面画像読込部25と全天球画像読込部27の機能は位置パラメータ作成部8と同様である。また、位置パラメータ読込部32は位置パラメータ作成部8から位置パラメータPP1,PP2を取得する。
視線方向画角指示部26は、ユーザUが操作した視線方向と画角(拡大・縮小)を受け付ける。視線方向と画角が操作により入力されるため閲覧領域Tが定まる。
また、ユーザUが任意に視線方向と画角(拡大・縮小)を操作するため、射影方式変換された平面画像Pの一部のみしか閲覧領域Tに入らない場合、又は、射影方式変換された平面画像Pが全く閲覧領域Tに入らない場合がある。このため、射影方式変換部1は、射影方式変換画像のうち閲覧領域Tに含まれている領域を示すマスクデータを生成する。詳細は図14にて説明される。射影方式変換とは、射影方式を変換することをいう。本実施形態では、一般の射影方式(中心射影:y=f・tanθ)と魚眼レンズ(例えば、等距離射影方式:y = fθ)とを相互に変換する。
射影方式変換部2は、視線方向画角指示部26が受け付けた視線方向及び画角に対応する閲覧領域Tを決定し、読み込まれた全天球画像CEの閲覧領域Tに対し画像表示部31の表示サイズに合わせた透視投影変換を行い、表示画像を作成する。従って、表示画像は二次元平面の画像である。
画像重畳部33は、マスクデータを用いて表示画像に射影方式変換画像を重畳して重畳画像を生成する。詳細は図15にて説明される。また、画像表示部31は重畳画像をディスプレイ508に表示する。
<位置パラメータ>
図13は平面画像Pの一致領域への射影方式変換及び平面画像Pと一致領域とを対応付ける位置パラメータPPの一例を示す図である。マッチングによりすでに平面画像Pと全天球画像CEの対応は得られているものとする。位置パラメータPPは、特徴点が最も一致した時に平面画像Pが存在する全天球画像CEの緯度と経度である。
図13は平面画像Pの一致領域への射影方式変換及び平面画像Pと一致領域とを対応付ける位置パラメータPPの一例を示す図である。マッチングによりすでに平面画像Pと全天球画像CEの対応は得られているものとする。位置パラメータPPは、特徴点が最も一致した時に平面画像Pが存在する全天球画像CEの緯度と経度である。
図13(a)は平面画像Pを示し、図13(b)は正距円筒図法の全天球画像CEを示す。図13(b)には一致領域301が示されている。位置パラメータ算出部23は、平面画像Pを格子状に分割して、それぞれ格子の交点部分の座標(x,y)に対応する全天球画像CEの一致領域301の点(λ,φ)を位置パラメータPPとする。なお、λは経度、φは緯度である。図13(c)は位置パラメータPPの一例を示す。平面画像Pの格子の座標と、全天球画像CEの一致領域301の緯度と経度が格子ごとに対応付けられている。
<射影方式変換部1の処理>
図14は、射影方式変換部1が作成する射影方式変換画像302とマスクデータ303を説明する図の一例である。図14(a)は射影方式変換画像302を示す。射影方式変換画像302は正距円筒図法で表された全天球画像の閲覧領域Tと同じサイズの領域を有し、一致領域301に射影方式変換後の平面画像Pが貼り付けられる。一致領域301に平面画像Pが射影方式変換されることで、平面画像Pは台形歪みの状態になっている。射影方式変換画像302のうち平面画像Pがない部分はグレーの均一画像307である。均一画像307は重畳に使用されないのでどのような画素値でもよい。
図14は、射影方式変換部1が作成する射影方式変換画像302とマスクデータ303を説明する図の一例である。図14(a)は射影方式変換画像302を示す。射影方式変換画像302は正距円筒図法で表された全天球画像の閲覧領域Tと同じサイズの領域を有し、一致領域301に射影方式変換後の平面画像Pが貼り付けられる。一致領域301に平面画像Pが射影方式変換されることで、平面画像Pは台形歪みの状態になっている。射影方式変換画像302のうち平面画像Pがない部分はグレーの均一画像307である。均一画像307は重畳に使用されないのでどのような画素値でもよい。
図14(b)は図14(a)の平面画像Pに対応するマスクデータ303を示す。マスクデータ303は図14(a)から閲覧領域Tに含まれる平面画像Pを取り出すためのデータである。マスクデータの白画素の領域は、閲覧領域Tかつ平面画像Pの領域を示す。従って、マスクデータの白画素の領域は平面画像Pの領域以下となる。図14(b)のマスクデータは、閲覧領域Tが平面画像Pより大きい場合であるため、図14(a)の例では一致領域301がマスクデータ303の白画素の領域とほぼ等しくなっている。閲覧領域Tが平面画像Pと全く重ならない場合、マスクデータ303は全面が黒画素になる。閲覧領域Tが平面画像Pより小さい場合、マスクデータ303は白画素のみになる。このようにマスクデータ303の白画素と一致領域301は常に同じサイズ及び同じ位置になる。
画像重畳部33は射影方式変換画像302とマスクデータ303でマスク処理を行う。このマスク処理は、マスクデータ303の白画素に対応する画素を射影方式変換画像302から取り出す処理である。画像重畳部33は、射影方式変換画像302から白画素の位置の画素値を取り出して、表示画像の射影方式変換画像302と同じ位置に重畳する。
なお、マスクデータ303の黒画素と白画素の境界は、白画素から黒画素に向けて徐々に白から黒に変化する傾斜が設けられることが好適である。これにより、低解像度の全天球画像CEと高解像度の平面画像Pとの境界を目立たなくすることができる。
<画像重畳部の処理>
図15は画像重畳部33の機能をブロック状に説明する画像重畳部33の機能ブロック図の一例である。画像重畳部33は、重畳順判断部35と重畳処理部36を有している。
図15は画像重畳部33の機能をブロック状に説明する画像重畳部33の機能ブロック図の一例である。画像重畳部33は、重畳順判断部35と重畳処理部36を有している。
重畳順判断部35は、複数の平面画像P1,P2のそれぞれの位置パラメータPP1,PP2を用いて重畳順を判断する。位置パラメータPP1,PP2は平面画像P1、平面画像P2の正距円筒図法における一致領域301を示すので、一致領域301の対角線の長さ(又は幅と高さでもよい)を比較することで画角の大小を判断できる。重畳順判断部35は画角が狭い方の平面画像Pが視線側に重畳されるように重畳順を決定する。つまり、画角が大きい平面画像Pが先に重畳される重畳順を決定する。複数の平面画像Pが全く重ならない場合には重畳順を決定する必要はない。また、一部のみが重なる場合は、重畳順を決定してもよいししなくてもよいが、画角が大きい方を先に重畳する重畳順を決定することが好適である。
重なるかどうかは、2つの位置パラメータPPを比較することで判断される。一方の位置パラメータPPの4つの頂点のうち1つでも他方の位置パラメータPPの4つの頂点の内側に入っている場合は少なくとも一部が重なっていると判断される。更に、一方の位置パラメータPPの4つの頂点の全てが他方の位置パラメータPPの4つの頂点の内側に入っている場合は全体が重なっていると判断される。
重畳処理部36は、重畳順に従ってマスクデータ303を用いて表示画像に射影方式変換画像302−1、及び射影方式変換画像302−2を重畳する。射影方式変換画像302−1は平面画像P1が射影方式変換された画像であり、射影方式変換画像302−2は平面画像P2が射影方式変換された画像である。
<画像の重畳>
図16を用いて画像の重畳について説明する。図16は、全天球画像CEへの平面画像P1の重畳を模式的に説明する図の一例である。図16に示すように、射影方式変換部2が閲覧領域Tを透視投影変換した表示画像304、射影方式変換画像302−1、及びマスクデータ303が画像重畳部33に入力される。
図16を用いて画像の重畳について説明する。図16は、全天球画像CEへの平面画像P1の重畳を模式的に説明する図の一例である。図16に示すように、射影方式変換部2が閲覧領域Tを透視投影変換した表示画像304、射影方式変換画像302−1、及びマスクデータ303が画像重畳部33に入力される。
まず、重畳処理部36はより画角が広い射影方式変換画像302−1を表示画像304に重畳する。マスクデータ303を使ったマスク処理により、マスクデータ303の白画素の画素位置の射影方式変換画像302−1を取り出して表示画像304に上書きする(この場合は、この時点で表示画像304の画素が損失される。)。このようにして重畳画像305には、低解像度の全天球画像CEに高解像度の平面画像P1が配置される。図16の重畳画像305には平面画像P1が矩形で明示されているが、これは説明のためのものであり、後述する枠40を表示しなければ実際には矩形は表示されない。
あるいは、透明なレイヤを用意して、マスクデータ303の白画素の画素位置の射影方式変換画像302−1を取り出して透明なレイヤに配置してもよい。この場合、表示画像304に損失はなく、例えば閲覧者が平面画像P1の表示と非表示を切り替えることができる。
次に、重畳処理部36はより画角が狭い射影方式変換画像302−2を重畳画像305に重畳する。図17は、射影方式変換画像302−2の重畳を模式的に説明する図の一例である。図16との違いは、表示画像304が重畳画像305に置き換わる点である。重畳方法は射影方式変換画像302−1の場合と同じでよい。重畳処理部36はマスク処理により射影方式変換画像302−2から画素を取りだし、重畳画像305に上書きする。射影方式変換画像302−2に対しても透明なレイヤを用いることができる。この結果、図17の重畳画像305には、低解像度の全天球画像CEに平面画像P1が重畳され、更に平面画像P2が重畳される。
従って、画角の広い平面画像P1から先に全天球画像CEに重畳することができる。換言すると、画角の狭い平面画像P2が視線側になるように全天球画像CEに重畳することができる。
なお、本実施形態では重畳の方法にも特徴がある。説明したように表示装置30は全天球画像CEの透視投影変換と平面画像Pの重畳を並行に行う。仮に、全天球画像CEに平面画像Pを貼り付けてから透視投影変換を行うと、全天球画像CEの解像度を平面画像Pと同じにする必要があり、データ量が大きくなってしまう。本実施形態では表示画像304が作成されてから平面画像Pが重畳されているので、データ量が大きくなることを抑制できる。
表示装置30は、全天球画像CEと平面画像Pの重畳を、ディスプレイ508の表示サイクル(例えば、1秒間に30〜60回)で繰り返す。こうすることで、表示装置30は平面画像P1,P2と全天球画像CEを1つずつ保持しておき、ユーザの操作に応じた視点でリアルタイムに重畳画像305を生成できる。
<平面画像P1,P2の関係>
図18は、平面画像P1,P2の関係を説明する図の一例である。図18(a)は平面画像P1を、図18(b)は平面画像P2をそれぞれ示す。平面画像P1,P2は同じ画素数なので画像のサイズは同じである。一方、平面画像P2の焦点距離の方が平面画像P1の焦点距離よりも長いので、平面画像P2は平面画像P1よりも拡大して写っている。なお、焦点距離が異なることは、画角が異なる、又は倍率が異なると称してもよい。
図18は、平面画像P1,P2の関係を説明する図の一例である。図18(a)は平面画像P1を、図18(b)は平面画像P2をそれぞれ示す。平面画像P1,P2は同じ画素数なので画像のサイズは同じである。一方、平面画像P2の焦点距離の方が平面画像P1の焦点距離よりも長いので、平面画像P2は平面画像P1よりも拡大して写っている。なお、焦点距離が異なることは、画角が異なる、又は倍率が異なると称してもよい。
これらの平面画像P1,P2が全天球画像CEとマッチングされると、平面画像P2の方が平面画像P1よりも狭い画角で一致する。このため、図18(c)に示すように、平面画像P2は平面画像P1よりも画角が狭いと判断され、平面画像P1→平面画像P2の順に重畳される。
<重畳手順>
図19は、表示装置30が全天球画像CEに平面画像Pを画角の大きい順に重畳する手順を示すフローチャート図の一例である。図19の処理は、ユーザが重畳を指示すること等によりスタートされる。ステップS10〜S30とS50〜S80は並行的に実行されるが、順番に実行されてもよい。
図19は、表示装置30が全天球画像CEに平面画像Pを画角の大きい順に重畳する手順を示すフローチャート図の一例である。図19の処理は、ユーザが重畳を指示すること等によりスタートされる。ステップS10〜S30とS50〜S80は並行的に実行されるが、順番に実行されてもよい。
平面画像読込部22は平面画像Pを読み込む(S10)。全天球画像読込部21は全天球画像CEを読み込む(S20)。そして、位置パラメータ算出部23は位置パラメータPPを算出する(S30)。
位置パラメータ算出部23は全ての平面画像Pの位置パラメータPPを算出するまで、ステップS30の処理を繰り返す(S40)。
平面画像読込部25は平面画像Pを読み込む(S50)。重畳順判断部35は各平面画像Pの位置パラメータPP又は焦点距離を比較して、射影方式変換画像の重畳順を画角の大きい順に決定する(S60)。位置パラメータPPで比較することで全天球画像における画角を比較できる。焦点距離は例えばExifなどのメタデータに含まれているが、焦点距離が大きいほど画角が小さいので重畳順を決定できる。仮想カメラの位置が変化しても、平面画像同士の相対的な画角の大きさは変更がない。なお、平面画像Pが1つしかない場合は、重畳順を決定しない。
全天球画像読込部27は全天球画像CEを読み込む(S70)。また、視線方向画角指示部26は視線方向と画角を受け付ける(S80)。ステップS80は随時行われる。
次に、射影方式変換部2は、閲覧領域Tに応じて全天球画像CEを透視投影変換し、表示画像304を生成する(S90)。
次に、重畳順判断部35は閲覧領域Tに含まれる1つ以上の各平面画像Pがあるか否かを判断する(S100)。ステップS100の判断がNoの場合、平面画像Pは重畳されないので処理は終了する。
ステップS100の判断がYesの場合、重畳順判断部35は同じ画角でかつ重なっている平面画像があるか否かを判断する(S101)。ステップS101の判断がNoの場合、処理はステップS110に進む。
ステップS101の判断がYesの場合、重畳順判断部35は同じ画角同士の平面画像の順番を、図20に示すように、閲覧領域Tの中心cpからの距離が遠い順に並べ替える(S102)。つまり、閲覧領域Tの中心cpからの距離が遠い平面画像が先に重畳される。こうすることで、同じ画角の平面画像が重なっている場合は、閲覧領域Tの中心cpからの距離が近いものを手前に表示できる。
次に、射影方式変換部1は位置パラメータPPで平面画像Pに射影方式変換を施し、射影方式変換画像302を生成する(S110)。
次に、射影方式変換部1は視線方向と画角で定まる閲覧領域T及び射影方式変換された平面画像P(一致領域)に応じてマスクデータ303を生成する(S120)。
次に、画像重畳部33はマスクデータを用いて射影方式変換画像302と表示画像304を重畳し、重畳画像305を生成する(S130)。二つめ以降の射影方式変換画像302については、重畳画像305に射影方式変換画像302を重畳する。
画像重畳部33は全ての平面画像Pの重畳が終了したか否かを判断し(S140)、終了していない場合は、ステップS110以降の処理を繰り返す(S140のNo)。
全ての平面画像Pの重畳が終了すると(S140のYes)、画像表示部31は重畳画像305を表示する(S150)。表示装置30は図19のステップS80〜S150の処理を繰り返す。
図20は、同じ画角の平面画像P1,P2が重なった場合の閲覧領域Tの中心cpと平面画像P1,P2との距離を説明する図である。まず、平面画像P1とP2は閲覧領域Tの領域内で重なっている。この場合、閲覧領域の中心cpに近い平面画像を閲覧者が注目していると考えられる。そこで、重畳順判断部35は、閲覧領域の中心cpから近い各平面画像の中心Oまでの距離を比較し、中心cpに近い平面画像を手前に重畳する。
閲覧領域Tの中心cpと平面画像P1の中心Oとの距離L1と閲覧領域Tの中心cpと平面画像P2の中心Oとの距離L2とを比較すると、距離L1の方が短いので、重畳順判断部35は平面画像P1を平面画像P2よりも手前に重畳すると判断する。
<全天球画像の表示の一例>
図21は、閲覧される平面画像P1,P2を説明する図の一例である。図21(a)は平面画像P1、P2が重畳された全天球画像CEを示す。なお、図21(a)では平面画像P1、P2が重畳された部分だけを示している。
図21は、閲覧される平面画像P1,P2を説明する図の一例である。図21(a)は平面画像P1、P2が重畳された全天球画像CEを示す。なお、図21(a)では平面画像P1、P2が重畳された部分だけを示している。
閲覧者が表示装置30を操作して平面画像P1をディスプレイ508に表示させると、図21(b)に示すようにディスプレイ508には平面画像P1が拡大して表示される。閲覧者が更に全天球画像CEを拡大させると、図21(c)に示すようにディスプレイ508には平面画像P2が拡大して表示される。
平面画像P1,P2はいずれも高解像度なので、閲覧者は拡大しても高解像度の画像を閲覧できる。
<焦点距離情報と枠の表示例>
図21のように重畳された平面画像を表示するだけではどのような平面画像が重畳されているかを閲覧者が気づきにくい。そこで、平面画像Pの焦点距離情報を平面画像Pの近くに表示することが好適である。
図21のように重畳された平面画像を表示するだけではどのような平面画像が重畳されているかを閲覧者が気づきにくい。そこで、平面画像Pの焦点距離情報を平面画像Pの近くに表示することが好適である。
図22は、焦点距離情報と共にディスプレイ508に表示された平面画像Pの一例を示す図である。図22では、3つの平面画像P1〜P3が重畳されており、それぞれの焦点距離は70mm、100mm、200mmである。表示装置30は平面画像P1〜P3を囲む枠40と共に焦点距離情報311を表示する。これにより、閲覧者は、焦点距離がいくつの平面画像Pが全天球画像CEに重畳されているかを把握できる。また、平面画像Pの数、サイズ及び位置を把握できる。
なお、焦点距離は平面画像Pのメタデータに記載されている。メタデータは例えばExifフォーマットで平面画像Pに添付されており、画像重畳部33はメタデータから焦点距離を読み出す。
<焦点距離情報と枠の表示方法>
枠40は、平面画像Pの射影方式変換と同様に表示することができる。射影方式変換部1が平面画像Pの外縁の矩形を射影方式変換すれば枠40が得られる。射影方式変換部1は、位置パラメータPPで平面画像Pを射影方式変換する場合と同様に外縁の矩形を射影方式変換する。
枠40は、平面画像Pの射影方式変換と同様に表示することができる。射影方式変換部1が平面画像Pの外縁の矩形を射影方式変換すれば枠40が得られる。射影方式変換部1は、位置パラメータPPで平面画像Pを射影方式変換する場合と同様に外縁の矩形を射影方式変換する。
図23は、射影方式変換により得られた枠40を模式的に説明する図の一例である。射影方式変換部1は、正距円筒図法の全天球画像CEと同じサイズ(画素数)の透明レイヤ308を用意しておく。このレイヤに平面画像Pの外縁の矩形321を射影方式変換する。なお、射影方式変換画像302−1が、位置パラメータPPでx=0.5、−0.5又はy=0.5、−0.5の値を持つ格子の緯度と経度に枠40となる点線を描画してもよい。
図24は、枠40の重畳を模式的に説明する図の一例である。表示画像304、射影方式変換画像302、マスクデータ303に加え、透明レイヤ308が画像重畳部33に入力される。表示画像304への射影方式変換画像302の重畳方法は図16で説明した。
重畳処理部36はマスクデータ303を使って、透明レイヤ308からマスクデータ303の白画素に対応する領域を取り出す。そして、取り出した透明レイヤ308を重畳画像305に重ね合わせることで、平面画像Pの外縁を表す枠40を表示する。
また、重畳処理部36は更に、枠40の上辺に焦点距離情報を配置する。これにより、枠40と焦点距離情報311が平面画像Pの近くに表示される。焦点距離情報311は右辺、左辺又は下辺に表示されてもよい。また、マウスカーソルが平面画像P1〜P3と重なった場合に、重なった平面画像Pの焦点距離情報311が表示されてもよい。
なお、例えば閲覧者の操作によって、枠40の表示と非表示が切り替えられてもよい。この場合、重畳処理部36は透明なレイヤの表示と非表示をユーザの操作に応じて切り替える。
<重畳手順>
図25は、表示装置30が全天球画像CEに平面画像Pを画角の大きい順に重畳する手順を示すフローチャート図の一例である。図25の説明では主に図19との相違を説明する。ステップS10〜S120の処理は図19と同様である。
図25は、表示装置30が全天球画像CEに平面画像Pを画角の大きい順に重畳する手順を示すフローチャート図の一例である。図25の説明では主に図19との相違を説明する。ステップS10〜S120の処理は図19と同様である。
ステップS120に続いて、射影方式変換部1は、位置パラメータPPで平面画像Pの外縁の矩形321を透明レイヤ308に射影方式変換する(S122)。これにより、透明レイヤ308に枠40が得られる。
次に、重畳処理部36は重畳画像305を生成し(S130)、マスクデータ303を用いて透明レイヤ308から枠40を抽出する(S132)。また、重畳処理部36は焦点距離情報311を描画する。
以上のようにして、表示装置30は全天球画像CEに平面画像P1,P2を重畳すると共に、焦点距離情報311を表示できる。
<段階的なマッチング処理>
位置パラメータ算出部23は、平面画像P1と全天球画像CEをマッチングし、平面画像P2と全天球画像CEをマッチングすると説明した。しかし、平面画像P1及び平面画像P2と全天球画像CEとは焦点距離、レンズ、画素数などの撮像条件が異なるため、平面画像P1が全天球画像CEとマッチングし、平面画像P2が全天球画像CEとマッチングしても、平面画像P1と平面画像P2がマッチングしない場合がある。この場合、閲覧者が全天球画像CEを閲覧すると平面画像P1に対し平面画像P2がずれているように見えるおそれがある。
位置パラメータ算出部23は、平面画像P1と全天球画像CEをマッチングし、平面画像P2と全天球画像CEをマッチングすると説明した。しかし、平面画像P1及び平面画像P2と全天球画像CEとは焦点距離、レンズ、画素数などの撮像条件が異なるため、平面画像P1が全天球画像CEとマッチングし、平面画像P2が全天球画像CEとマッチングしても、平面画像P1と平面画像P2がマッチングしない場合がある。この場合、閲覧者が全天球画像CEを閲覧すると平面画像P1に対し平面画像P2がずれているように見えるおそれがある。
そこで、平面画像P2のマッチングは平面画像P1に対して行うことが好適である。位置パラメータ算出部23は上記と同様に位置パラメータPP1,PP2を算出して、全体が重なるかどうかを判断する。一部のみが重なる場合は、ずれが目立たないのとマッチングが困難になるため、平面画像P同士のマッチングは行わなくてよい。しかし、一部のみが重なる場合でも、マッチングすることは可能である。
平面画像P1,P2の全体が重なる場合、位置パラメータ算出部23は画角の大きい順を判断する。位置パラメータ算出部23は、画角の大きい順(重畳順)に平面画像P1と平面画像P2のマッチングを行い、平面画像P1に対する平面画像P2の位置パラメータ(区別するため位置パラメータPP12とする)を算出する。
<位置パラメータPijについて>
位置パラメータPPijは、平面画像Piを利用した平面画像Pjの位置パラメータである(j=i+1)。画角が大きい順に平面画像Pが並べられた場合、1つ前の平面画像Piと次に画角が小さい平面画像Pjの位置パラメータPPが位置パラメータPPijである。位置パラメータPPijは平面画像Piにおいて平面画像Pjが一致した位置により、位置パラメータPP1から求められる。
位置パラメータPPijは、平面画像Piを利用した平面画像Pjの位置パラメータである(j=i+1)。画角が大きい順に平面画像Pが並べられた場合、1つ前の平面画像Piと次に画角が小さい平面画像Pjの位置パラメータPPが位置パラメータPPijである。位置パラメータPPijは平面画像Piにおいて平面画像Pjが一致した位置により、位置パラメータPP1から求められる。
図26は位置パラメータPPijを説明する図の一例である。最も画角が大きい平面画像P1はマッチングにより、位置パラメータPP1が分かっており、平面画像P1の座標(x,y)と全天球画像CEの一致領域301の点(λ,φ)が対応付けられている。
このため、平面画像P1とP2をマッチングすると、平面画像P1に対する平面画像P2の相対位置が分かる。従って、相対位置で特定される平面画像P2の座標(x,y)と全天球画像CEの点(λ,φ)を対応付けることで位置パラメータPP12が得られる。
射影方式変換部1は、平面画像P1については上記のように位置パラメータPP1で射影方式変換を行えばよい。平面画像P2については、位置パラメータPP12を使って射影方式変換する。従って、平面画像P2の射影方式変換に使用される位置パラメータがP2でなくP12になるだけで、重畳方法は図17と同様である。
このように、位置パラメータ算出部23が、段階的に平面画像Pをマッチングすることで、閲覧者が全天球画像CEを閲覧した際に、平面画像P1に対し平面画像P2がずれているように見えることを抑制できる。
<重畳手順>
図27は、表示装置30が全天球画像CEに平面画像Pを画角の大きい順に重畳する手順を示すフローチャート図の一例である。図27の説明では主に図19との相違を説明する。ステップS10〜S40の処理は図19と同様である。
図27は、表示装置30が全天球画像CEに平面画像Pを画角の大きい順に重畳する手順を示すフローチャート図の一例である。図27の説明では主に図19との相違を説明する。ステップS10〜S40の処理は図19と同様である。
ステップS40に続いて、位置パラメータ算出部23は位置パラメータPPを参照して、少なくとも一部が重なる平面画像Pのペアを検出する(S42)。そして、ペアとなった2つの平面画像Pについて位置パラメータPPijを算出する(S44)。平面画像Pのペアは、画角が小さい方の平面画像Pが次のペアの大きい方になる。例えば、重なる平面画像Pが4つある場合、平面画像P1と平面画像P2がペアになり、平面画像P2と平面画像P3がペアになり、平面画像P3と平面画像P4がペアになる。位置パラメータPP12は平面画像P1と平面画像P2のマッチングで求められ、位置パラメータPP23は平面画像P2と平面画像P3のマッチングで求められ、位置パラメータPP34は平面画像P3と平面画像P4のマッチングで求められる。
また、ステップS110の処理では、平面画像P1に対しては位置パラメータPP1で射影方式変換部1が射影方式変換し、二番目以降に画角が大きい平面画像P2は位置パラメータPP12を用いて図17で説明したように射影方式変換する。平面画像P3は位置パラメータPP23を用いて図17で説明したように射影方式変換する。平面画像P4は位置パラメータPP34を用いて図17で説明したように射影方式変換する。
以上のようにして、表示装置30は全天球画像に平面画像P1,P2を重畳すると共に、ずれが少ないように平面画像P2を重畳できる。
<まとめ>
以上のように、本実施形態の画像処理システム100は、全天球画像CEに平面画像Pを重畳することで、画質が低い全天球画像CEを平面画像Pで補うことができる。複数の平面画像Pを画角が大きい順に重畳するので、閲覧者が画角の小さい平面画像Pを閲覧できる。閲覧者が全天球画像CEを拡大すると、高画質の平面画像Pを次々に拡大して閲覧できる。
以上のように、本実施形態の画像処理システム100は、全天球画像CEに平面画像Pを重畳することで、画質が低い全天球画像CEを平面画像Pで補うことができる。複数の平面画像Pを画角が大きい順に重畳するので、閲覧者が画角の小さい平面画像Pを閲覧できる。閲覧者が全天球画像CEを拡大すると、高画質の平面画像Pを次々に拡大して閲覧できる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、表示装置30は画角の異なる平面画像を自動的にLCD206の全面に表示してもよい。ユーザが全天球画像CEを拡大し、最も画角が大きい平面画像Pの全天球画像CEに対する比率が所定以上になると、表示装置は所定時間ごとに平面画像Pを自動で拡大する。
また、全天球画像の表示はブラウザソフトウェアで行ってもよいし、全天球画像CEを表示するためのアプリケーションソフトで行ってもよい。
また、本実施形態の全天球画像は閲覧領域Tに表示しきない画角の画像データであればよい。例えば、水平方向にだけ180度〜360度の画角を有する画像でもよい。
また、図12、図15などの構成例は、全天球カメラ20、表示装置30、及びデジタルカメラ9による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。全天球カメラ20、表示装置30、及びデジタルカメラ9の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
なお、重畳順判断部35は重畳順決定手段の一例であり、重畳処理部36は重畳手段の一例であり、位置パラメータ算出部23は位置決定手段の一例である。
7 変換表示部
8 位置パラメータ作成部
9 デジタルカメラ
20 全天球カメラ
23 位置パラメータ算出部
24 位置パラメータ書出部
26 視線方向画角指示部
30 表示装置
32 画像重畳部
33 画像重畳部
35 重畳順判断部
36 重畳処理部
100 画像処理システム
8 位置パラメータ作成部
9 デジタルカメラ
20 全天球カメラ
23 位置パラメータ算出部
24 位置パラメータ書出部
26 視線方向画角指示部
30 表示装置
32 画像重畳部
33 画像重畳部
35 重畳順判断部
36 重畳処理部
100 画像処理システム
Claims (12)
- 第一の画像よりも高画質な第二の画像が重畳された前記第一の画像を表示する表示装置であって、
複数の前記第二の画像の大きさの順に重畳順を決定する重畳順決定手段と、
前記重畳順決定手段が決定した重畳順で、複数の前記第二の画像のうち大きい方の前記第二の画像ほど前記第一の画像に近い側に重畳する重畳手段と、
を有する表示装置。 - 前記重畳順決定手段は、複数の前記第二の画像の画角を比較して、画角が大きい順に重畳順を決定し、
前記重畳手段は、前記重畳順に複数の前記第二の画像を重畳する請求項1に記載の表示装置。 - 前記第一の画像に対し複数の前記第二の画像をマッチングして重畳する位置を決定する位置決定手段を有し、
前記重畳順決定手段は、前記第一の画像にマッチングされた複数の前記第二の画像を所定の視点から見た際の画角を比較して、画角が大きい順に重畳順を決定する請求項2に記載の表示装置。 - 前記第一の画像は撮像装置の周囲360度が撮像された全天球画像であり、前記第二の画像は前記第一の画像の一部の平面画像であり、
前記位置決定手段は、前記全天球画像に対し複数の前記平面画像をマッチングして重畳する位置を決定し、
前記重畳順決定手段は、前記全天球画像にマッチングされた複数の前記平面画像を所定の視点から見た際の画角を比較して、画角が大きい順に重畳順を決定する請求項3に記載の表示装置。 - 前記位置決定手段は、前記第一の画像と前記第二の画像のマッチングにより、前記第一の画像において前記第二の画像が一致する一致領域を算出し、
前記重畳手段は、前記第二の画像を前記一致領域に射影方式変換することで前記第一の画像に前記第二の画像を重畳する請求項3又は4に記載の表示装置。 - 前記重畳手段は、前記第二の画像を囲む枠を前記一致領域に射影方式変換して前記第二の画像と共に表示する請求項5に記載の表示装置。
- 前記位置決定手段は、複数の前記第二の画像から重なる前記第二の画像のペアを検出し、
前記ペアのうち画角の大きい一方の前記第二の画像と他方の前記第二の画像のマッチングを行い、一方の前記第二の画像に対する他方の前記第二の画像の相対位置に対応する前記一致領域を特定し、
前記重畳手段は、画角が最も大きい前記第二の画像を前記一致領域に射影方式変換して重畳すると共に、
二番目以降に画角が大きい前記第二の画像を前記相対位置で特定した前記一致領域に射影方式変換することで重畳する請求項5に記載の表示装置。 - 前記重畳手段は、前記第二の画像の画角に関する情報を前記第二の画像と共に表示する請求項1〜7のいずれか1項に記載の表示装置。
- 前記第二の画像の画角に関する情報は前記第二の画像の焦点距離情報である請求項8に記載の表示装置。
- 前記重畳順決定手段は、複数の前記第二の画像の画角が同じでかつ重なっている場合、
前記第一の画像が前記表示装置にて閲覧される閲覧領域の中心と、前記第二の画像の中心との距離に基づいて複数の前記第二の画像の重畳順を決定する請求項1に記載の表示装置。 - 第一の画像よりも高画質な第二の画像が重畳された前記第一の画像を表示する表示装置を、
複数の前記第二の画像の大きさの順に重畳順を決定する重畳順決定手段と、
前記重畳順決定手段が決定した重畳順で、複数の前記第二の画像のうち大きい方の前記第二の画像ほど前記第一の画像に近い側に重畳する重畳手段、
として機能させるためのプログラム。 - 第一の画像よりも高画質な第二の画像が重畳された前記第一の画像を表示する表示装置が行う表示方法であって、
重畳順決定手段が、複数の前記第二の画像の大きさの順に重畳順を決定するステップと、
重畳手段が、前記重畳順決定手段が決定した重畳順で、複数の前記第二の画像のうち大きい方の前記第二の画像ほど前記第一の画像に近い側に重畳するステップと、
を有する表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711457442.9A CN108259782A (zh) | 2016-12-28 | 2017-12-28 | 图像处理装置、摄影***、图像处理方法 |
US15/856,949 US10789671B2 (en) | 2016-12-28 | 2017-12-28 | Apparatus, system, and method of controlling display, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016256382 | 2016-12-28 | ||
JP2016256382 | 2016-12-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018109946A true JP2018109946A (ja) | 2018-07-12 |
Family
ID=62844373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017206647A Pending JP2018109946A (ja) | 2016-12-28 | 2017-10-25 | 表示装置、プログラム、表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018109946A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10593014B2 (en) | 2018-03-26 | 2020-03-17 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image capturing system, image processing method |
JP2021097326A (ja) * | 2019-12-17 | 2021-06-24 | 株式会社リコー | 通信端末、撮影システム、画像処理方法及びプログラム |
US11928775B2 (en) | 2020-11-26 | 2024-03-12 | Ricoh Company, Ltd. | Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image |
JP7498616B2 (ja) | 2020-07-22 | 2024-06-12 | 日本放送協会 | Vr映像生成装置及びプログラム |
-
2017
- 2017-10-25 JP JP2017206647A patent/JP2018109946A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10593014B2 (en) | 2018-03-26 | 2020-03-17 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image capturing system, image processing method |
JP2021097326A (ja) * | 2019-12-17 | 2021-06-24 | 株式会社リコー | 通信端末、撮影システム、画像処理方法及びプログラム |
JP7424031B2 (ja) | 2019-12-17 | 2024-01-30 | 株式会社リコー | 通信端末、撮影システム、画像処理方法及びプログラム |
JP7498616B2 (ja) | 2020-07-22 | 2024-06-12 | 日本放送協会 | Vr映像生成装置及びプログラム |
US11928775B2 (en) | 2020-11-26 | 2024-03-12 | Ricoh Company, Ltd. | Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10437545B2 (en) | Apparatus, system, and method for controlling display, and recording medium | |
US10593014B2 (en) | Image processing apparatus, image processing system, image capturing system, image processing method | |
JP2018110375A (ja) | 表示装置、プログラム、表示方法 | |
JP5835383B2 (ja) | 情報処理方法、情報処理装置、およびプログラム | |
JP2019057903A (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
US10855916B2 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
JP2019057264A (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
JP2018109946A (ja) | 表示装置、プログラム、表示方法 | |
US20190289206A1 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
CN111726520A (zh) | 摄影装置、摄影***、图像处理方法 | |
JP2019164782A (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
JP2019075766A (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
JP2018110384A (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
JP6350695B2 (ja) | 装置、方法、およびプログラム | |
JP6583486B2 (ja) | 情報処理方法、情報処理プログラムおよび情報処理装置 | |
JP2019185757A (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
JP2019164783A (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
JP2018109971A (ja) | 画像処理装置、画像処理システム、撮影システム、画像処理方法、及びプログラム | |
JP6673459B2 (ja) | 画像処理装置、画像処理システム及びプログラム | |
JP6812643B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7415544B2 (ja) | 撮影システム及び撮影方法 | |
WO2017159014A1 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
JP6128185B2 (ja) | 装置、方法、およびプログラム | |
JP2018109740A (ja) | 表示装置、プログラム、表示方法 | |
JP2019204560A (ja) | プログラム |