JP2012138745A - 画像表示システム - Google Patents

Abstract

【課題】 複数の画像を結合した高解像度の画像を容易にプレビューするために、複数の撮像装置から受信した画像をリアルタイムに結合し、良質な画像をスムーズに表示することを可能にした画像表示システムを提供することである。
【解決手段】 情報処理装置（１００）と１台以上の撮像装置（１１０）からなり、前記撮像装置で生成されるライブビュー画像を前記情報処理装置が受信する手段と、前記撮像装置のレンズ情報を前記情報処理装置が受信する手段と、前記レンズ情報はレンズ識別情報と焦点距離を少なくとも含み、前記ライブビュー画像とレンズ情報からレンズ収差の影響が所定以下である有効領域を求める手段と、前記ライブビュー画像を前記有効領域で切り取った有効ライブビュー画像を生成する手段と、前記情報処理装置に前記撮像装置が複数接続される場合には、前記有効ライブビュー画像を結合して表示する手段を持つことを特徴とする。
【選択図】 図１

Description

本発明は、画像表示システムに関し、特に撮像装置から送信された画像を表示する画像表示システムに関するものである。

従来、大きなパノラマ画像や高画素な画像を得るために、複数台の撮像装置で撮影した画像を結合する手法が提案されている。この画像を得るために、撮影する際にデジタルカメラなど複数の撮像装置で撮像された画像を、PCやモニタなどの画像表示装置にリアルタイムに送信して、表示して支援するシステムが提案されている。

たとえば、特許文献1では、複数の撮像装置から得られた画像を各撮像装置の位置に応じた画面の位置に置くことで、被写体に対する撮像装置の位置を直感的に表現する表示システムが開示されている。また、特許文献２では、撮影された複数の画像の重複した部分に対して、レンズ収差補正を施して結合する手段が開示されている。

特開２０００−２６１７９４号公報 特開平６−４６６０号公報

しかしながら、上述の特許文献に開示された従来技術では、複数の撮像装置から得た画像を、リアルタイムに結合した画像をスムーズに表示することは困難である。また、レンズ収差を考慮しないで結合した場合には、レンズ収差の影響が結合部分に現れるため良質な結合画像表示をすることができない。一方、レンズ収差を考慮して、結合部分に補正をかけた場合には、処理に時間がかかるためスムーズな表示が困難である。

そこで、本発明の目的は、複数の撮像装置から受信した画像をリアルタイムに結合し、良質な画像をスムーズに表示することを可能にした画像表示システムを提供することである。

上記目的を達成するために、本発明は
情報処理装置（１００）と１台以上の撮像装置（１１０）からなり、
前記撮像装置で生成されるライブビュー画像を前記情報処理装置が受信する手段と、
前記撮像装置のレンズ情報を前記情報処理装置が受信する手段と、
前記レンズ情報はレンズ識別情報と焦点距離を少なくとも含み、
前記ライブビュー画像とレンズ情報からレンズ収差の影響が所定以下である有効領域を求める手段と、
前記ライブビュー画像を前記有効領域で切り取った有効ライブビュー画像を生成する手段と、
前記情報処理装置に前記撮像装置が複数接続される場合には、前記有効ライブビュー画像を結合して表示する手段を持つことを特徴とする。

本発明によれば、レンズ補正を考慮した良質な画像をリアルタイムに表示することを可能にした画像表示システムを提供することができる。

本発明を実施する情報処理装置と制御するデジタルカメラを示すブロック図 情報処理装置１００の表示部１０３に、結合画像を表示し、操作させるためのユーザインタフェース２００を示すブロック図 図１の構成を用いて情報処理装置１００でデジタルカメラ１１０のライブビュー画像を表示する手順を示すフローチャート 情報処理装置１００が複数のデジタルカメラ１１０からのライブビュー画像の結合画像を更新する手順を示すフローチャート 情報処理装置１００がデジタルカメラ１１０からのレンズ情報を取得する手順を示すフローチャート 情報処理装置１００がデジタルカメラ１１０からのライブビュー画像を更新する手順を示すフローチャート 情報処理装置１１０が各デジタルカメラ１１０から得たライブビュー画像とレンズ情報から有効ライブビュー画像を取得する手順を示すフローチャート 情報処理装置１００の表示部１０３に、結合画像を表示し、操作させるためのユーザインタフェース２００を示すブロック図 情報処理装置１００の表示部１０３に、結合画像を表示し、操作させるためのユーザインタフェース２００中の操作部材２０５を操作した際の撮影の手順を示すフローチャート 情報処理装置１１０が各デジタルカメラ１１０から撮影画像を取得する手順を示すフローチャート

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明を実施する情報処理装置と制御するデジタルカメラを示すブロック図である。

図１において、情報処理装置１００は、制御部１０１、操作部１０２、表示部１０３、記憶装置１０４、通信インタフェース１０５を備える。各構成要素は、システムバスを介して互いに接続されている。また、情報処理装置の通信インタフェース１０５は、デジタルカメラ１１０のような外部装置を複数接続可能である。他にも、デジタルオーディオプレーヤーや外部記憶装置などとも接続したりする。

制御部１０１は、情報処理装置のデータ処理や記録制御、通信制御、表示制御、入力制御などをおこなう。制御部１０１は、ＣＰＵやバッファメモリなど、データ処理や命令制御に必要な電子部品から構成される。操作部１０２は、情報処理装置の操作入力を受け付ける。操作部１０２は、マウスやキーボードのような操作部材であり、情報処理装置に内蔵されていても、着脱式でもよい。表示部１０３は、制御部１０１により表示制御された結果を表示する。表示部１０３は、液晶ディスプレイなどであり、情報処理装置に内蔵されていても、着脱式でもよい。記憶装置１０４は、制御部１０１により制御された結果により、データを記憶したり読み出したりする。記憶装置１０４は、ハードディスクやフラッシュメモリなどに代表される記憶媒体であり、情報処理装置に内蔵されていても、着脱式でもよい。通信インタフェース１０５は、制御部１０１の通信制御により、接続されたデジタルカメラ１１０とデータや制御信号を送受信する。制御部１０１と通信インタフェース１０５により、デジタルカメラ１１０のピント制御や露出制御をおこない、複数台接続されたピント位置や露出を統一する制御を可能にする。

［実施例１］
以下、図２から図７を参照して、本発明の第1の実施例による、接続されたデジタルカメラから送られるライブビュー画像のレンズ収差を考慮した画像の結合表示および保存ついて説明する。

図２は、情報処理装置１００の表示部１０３に、結合画像を表示し、操作させるためのユーザインタフェース２００を示すブロック図である。図２において、２０１はサブルーチンＳ１により結合画像を表示する領域であり、各デジタルカメラ１１０から得られた有効ライブビュー画像の左上に番号を振って表示する。２０２は、左側に振られた番号に対応する表示領域２０１の有効ライブビューが画像を自動で更新するか、更新を停止するかを設定する操作部材である。２０３は、表示領域２０１に表示される結合画像をそのまま画像ファイルに保存する操作部材である。この操作部材２０３による画像ファイル保存は、非圧縮画像ファイルでも圧縮画像ファイルのどちらでもよい。２０４は、警告表示であり、各結合部の色、輝度値の平均値が１０以上となる場合、結合画像の結合辺ごとに表示する。また、警告表示２０４は結合辺を所定色の線で表現するなどのようにしてもよい。

このように画像ファイルに保存する手段を有することにより、容易に高解像度の画像を得ることが可能となる。

図３は、図１の構成を用いて情報処理装置１００でデジタルカメラ１１０のライブビュー画像を表示する手順を示すフローチャートＳ１である。まず、Ｓ１０１でライブビュー中であるかどうかを確認し、ライブビュー中であればＳ１０２で複数のデジタルカメラ１０１から得られた結合画像を更新するためのサブルーチンＳ２を呼び出す。そして、得られた結合画像をＳ１０３で表示する。そして、Ｓ１０４でライブビュー終了かどうかを判断して、終了していればライブビュー画像の表示を終了し、終了していなければＳ１０２に戻り、再度表示する。ライブビュー終了の判断はデジタルカメラ１１０から終了通知を受けても、情報処理装置１００の指示による終了通知のどちらでもよい。

図４は、情報処理装置１００が複数のデジタルカメラ１１０からのライブビュー画像の結合画像を更新する手順を示すフローチャートＳ２である。まず、Ｓ２０１で情報処理装置１００に接続されたすべてのデジタルカメラ１１０から、それぞれライブビュー画像を取得するシーケンスを開始する。まず、Ｓ２０２で、デジタルカメラ１１０に対応する操作部材２０２の設定状況が自動更新であるかを判断し、自動更新であれば、Ｓ２０３以降で有効ライブビュー画像を取得する。

一方、自動更新でなければ、Ｓ２０６に移り次のデジタルカメラ１１０に対して有効ライブビュー画像を取得する。Ｓ２０３では、各デジタルカメラ１１０からレンズ情報を取得するサブルーチンＳ３を呼び出す。その後、Ｓ２０４でデジタルカメラ１１０からライブビュー画像を取得するサブルーチンＳ４を呼び出す。そして、Ｓ２０３、Ｓ２０４で得られたレンズ情報、ライブビュー画像からＳ２０５で有効なライブビュー画像を取得するサブルーチンＳ５を呼び出す。そして、Ｓ２０６で有効ライブビュー画像を取得していないデジタルカメラ１１０がある場合は、Ｓ２０２に戻る。すべてのカメラから有効ＬＶ画像を取得したと判断されれば、Ｓ２０６ですべてのデジタルカメラ１１０のそれぞれの有効ライブビュー画像の結合辺から５画素の色、輝度値が最も近い有効ライブビュー画像を隣り合わせに並べて、５画素が重複するように結合し、結合部の画素は重なり合う有効ライブビュー画像の画素値の平均値とする。この際、色、輝度値の違いの平均が１０以上であれば、結合辺の端に警告表示２０４を表示する。

また、共通した被写体を認識した場合は、その被写体が一致するように結合したり、デジタルカメラ１１０から位置情報やＩＤを取得し、それに対応して並べて結合するなどの方法で結合してもよい。

図５は、情報処理装置１００がデジタルカメラ１１０からのレンズ情報を取得する手順を示すフローチャートＳ３である。まず、Ｓ３０１で前回のレンズ情報の更新からデジタルカメラ１１０からレンズ情報の変更通知があったかどうかを取得する。このレンズ情報の変更通知は、デジタルカメラ１１０のレンズの状態が変わった時点で、デジタルカメラ１１０が情報処理装置１００に対して送信する。そして、Ｓ３０２で更新通知があったかどうかを判断し、通知があった場合には、Ｓ３０３でレンズ情報を取得し更新する。このレンズ情報は、レンズＩＤ、撮影焦点距離を含む情報である。

一方、Ｓ３０２で変更通知がなかったと判断された場合は、レンズ情報の更新は行わない。この実施例では、デジタルカメラ１１０からのレンズ情報変更通知を受けて、新たにレンズ情報を取得する構成になっているが、情報処理装置１００が定期的にレンズ情報を取得する構成でもよい。

図６は、情報処理装置１００がデジタルカメラ１１０からのライブビュー画像を更新する手順を示すフローチャートＳ４である。まず、Ｓ４０１で前回のライブビュー画像の更新からデジタルカメラ１１０からライビュー画像の変更通知があったかどうかを取得する。このライブビュー画像の変更通知は、デジタルカメラ１１０のライブビュー画像が新たに生成された時点で、デジタルカメラ１１０が情報処理装置１００に対して送信する。Ｓ４０２で更新通知があったかどうかを判断し、通知があった場合にはＳ４０３でライブビュー画像をデジタルカメラ１１０から取得して更新する。

一方、Ｓ４０２で変更通知がなかったと判断された場合は、ライブビュー画像の更新は行わない。この実施例では、デジタルカメラ１１０からのライブビュー画像変更通知を受けて、新たにライブビュー画像を取得する構成になっているが、情報処理装置１００が定期的にライブビュー画像を取得する構成でもよい。

図７は、情報処理装置１１０が各デジタルカメラ１１０から得たライブビュー画像とレンズ情報から有効ライブビュー画像を取得する手順を示すフローチャートＳ５である。

まず、Ｓ５０１でレンズ情報が取得できているかを判断して、取得できていなければＳ５０２でライブビュー画像をそのまま有効ライブビュー画像として出力する。一方、レンズ情報が取得できていれば、Ｓ５０３でそのレンズ情報に含まれるレンズＩＤを用いて、情報処理装置１１０の記録装置１０４からレンズの性能を示すレンズ性能データを取得する。このレンズ性能データは、中心を１とした時の、各像高に対する性能劣化の度合いを示す値を保持する。たとえば、端の周辺光量落ちの性能が中心の半分であった場合、0.5と表す。

また、このレンズ性能データは、デジタルカメラ１１０から受信したレンズ情報に含まれていてもよく、性能指標は性能劣化ではなく収差の影響の強さとするなどとしてもよい。Ｓ５０４、Ｓ５０５、Ｓ５０６でそれぞれ、レンズの歪曲収差、周辺光量落ち、色収差による性能劣化度を取得する。次に、Ｓ５０７でレンズの歪曲収差、周辺光量落ち、色収差による性能劣化度の全てが0.8以上となるような領域を有効領域として指定する。その他にも、レンズの特性に関する性能劣化度を取得して有効領域を指定したり、使用する性能指標のうちいずれかが条件を満たすように指定してもよい。そして、Ｓ５０８でライブビュー画像を、Ｓ５０７で指定された有効領域の通りにトリミングして有効ライブビュー画像として出力する。また、デジタルカメラ１１０に有効領域を送信して、デジタルカメラ１１０でトリミングしたライブビュー画像を情報処理装置１００で受信するようにしたり、有効領域の計算をデジタルカメラ１１０で行ったりしてもよい。このようにトリミング画像を出力することにより、計算量を多く要することなく、良質なライブビュー画像を出力することができる。この実施例ではトリミングをして出力するようにしているが、情報処理装置１００の性能によりレンズ収差補正をした場合の遅延時間から判断して、その結果によりレンズ収差補正を適用して出力するようにしたり、トリミングとレンズ収差補正のどちらの出力が必要かを選択できるようにしてもよい。

［実施例２］
以下、図８を参照して、本発明の第1の実施例による、接続されたデジタルカメラから送られるライブビュー画像のレンズ収差を考慮した画像の結合表示および撮影について説明する。

図８は、情報処理装置１００の表示部１０３に、結合画像を表示し、操作させるためのユーザインタフェース２００を示すブロック図である。図８において、２０１はサブルーチンＳ１により結合画像を表示する領域であり、各デジタルカメラ１１０から得られた有効ライブビュー画像の左上に番号を振って表示する。２０２は、左側に振られた番号に対応する表示領域２０１の有効ライブビューが画像を自動で更新するか、更新を停止するかを設定する操作部材である。２０４は、警告表示であり、各結合部の色、輝度値の平均値が１０以上となる場合、結合画像の結合辺ごとに表示する。また、警告表示２０４は結合辺を所定色の線で表現するなどのようにしてもよい。

２０５は、各デジタルカメラ１１０に対して、撮影指示を出し撮影された画像を情報処理装置１００に取り込むサブルーチンＳ６を呼び出す操作部材である。２０５では、撮影された画像を情報処理装置１００に取り込む機能を呼び出しているが、デジタルカメラ１１０に保存する、もしくは情報処理装置１００に取り込むと同時にデジタルカメラ１１０に保存するような機能を呼び出してもよい。また、実施例１のように結合画像を直接保存する機能を同時に有してもよい。

図９は、情報処理装置１００の表示部１０３に、結合画像を表示し、操作させるためのユーザインタフェース２００中の操作部材２０５を操作した際の撮影の手順を示すフローチャートである。

まず、Ｓ６０１で情報処理装置１００に接続されたすべてのデジタルカメラ１１０に撮影指示を送信するシーケンスを開始する。Ｓ６０２で、画像の撮影指示をデジタルカメラ１１０に送信する。Ｓ６０３で、全てのデジタルカメラ１１０に送信したかどうかを判断し、残りのデジタルカメラ１１０がある場合、Ｓ６０１から残りのデジタルカメラ１１０の撮影を行う。

一方、全てのデジタルカメラ１１０に撮影指示が終了した場合、Ｓ６０１で情報処理装置１００に接続されたすべてのデジタルカメラ１１０から撮影画像を取り込むシーケンスを開始する。Ｓ６０５で、各デジタルカメラ１１０からの撮影画像生成通知を行い、通知がなければ通知されるまで待つ。通知が確認できた場合、Ｓ６０６で画像取り込みを行うサブルーチンＳ７を呼び出す。そして、Ｓ６０７で全てのデジタルカメラ１１０から撮影画像を取り込んだかを判断し、残りのデジタルカメラ１１０がある場合、Ｓ６０４に戻り、全てのデジタルカメラ１１０から撮影画像を取り込んだ場合、取り込みを終了する。この例では、撮影指示を一台ずつ順に行っているが、同時に行うなどとしてもよい。また、取り込みにおいても一台ずつ順に行っているが、生成された順に取り込むなどとしてもよい。

図１０は、情報処理装置１１０が各デジタルカメラ１１０から撮影画像を取得する手順を示すフローチャートＳ７である。

まず、Ｓ７０１で撮影画像をデジタルカメラ１１０から受信する。そしてＳ７０２でレンズ情報が取得できているかを判断して、取得できていなければＳ７０９で受信した撮影画像をそのまま出力する。一方、レンズ情報が取得できていれば、Ｓ７０３でそのレンズ情報に含まれるレンズＩＤを用いて、情報処理装置１１０の記録装置１０４からレンズの性能を示すレンズ性能データを取得する。このレンズ性能データは、中心を１とした時の、各像高に対する性能劣化の度合いを示す値を保持する。たとえば、端の周辺光量落ちの性能が中心の半分であった場合、0.5と表す。

また、このレンズ性能データは、デジタルカメラ１１０から受信したレンズ情報に含まれていてもよく、性能指標は性能劣化ではなく収差の影響の強さとするなどとしてもよい。Ｓ７０４、Ｓ７０５、Ｓ７０６でそれぞれ、レンズの歪曲収差、周辺光量落ち、色収差による性能劣化度を取得する。次に、Ｓ５０７でレンズの歪曲収差、周辺光量落ち、色収差による性能劣化度の全てが0.8以上となるような領域を有効領域として指定する。その他にも、レンズの特性に関する性能劣化度を取得して有効領域を指定したり、使用する性能指標のうちいずれかが条件を満たすように指定してもよい。そして、Ｓ７０８で受信した撮影画像に対して、Ｓ７０７で指定された有効領域を付加して撮影画像を出力する。また、ここで有効領域情報の付加を情報処理装置１００で行っているが、有効領域情報をデジタルカメラ１１０に送信してデジタルカメラ１１０で有効領域情報を付与したり、有効領域でトリミングして出力するようにしたりしてもよい。このように撮影画像に有効領域を付与する機能を有することで、撮影後の画像を結合する際に、容易に結合点を参照することができ高解像度画像の生成を容易にすることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 譲歩処理装置
１０１ 制御部
１０２ 操作部
１０３ 表示部
１０４ 記憶装置
１０５ 通信インタフェース
１１０ デジタルカメラ

Claims (3)

1. 情報処理装置（１００）と１台以上の撮像装置（１１０）からなり、
   前記撮像装置で生成されるライブビュー画像を前記情報処理装置が受信する手段（Ｓ３）と、
   前記撮像装置のレンズ情報を前記情報処理装置が受信する手段（Ｓ４）と、
   前記レンズ情報はレンズ識別情報と焦点距離を少なくとも含み、
   前記ライブビュー画像とレンズ情報からレンズ収差の影響が所定以下である有効領域を求める手段（Ｓ５）と、
   前記ライブビュー画像を前記有効領域で切り取った有効ライブビュー画像を生成する手段（Ｓ５）と、
   前記情報処理装置に前記撮像装置が複数接続される場合には、前記有効ライブビュー画像を結合して表示する手段（Ｓ２０７）を持つことを特徴とする画像表示システム。
2. 前記情報処理装置に前記撮像装置が複数接続される場合に結合して表示された画像を、
   保存する手段（２０３）とを持つことを特徴とする請求項１に記載の画像表示システム。
3. 前記情報処理装置が、複数接続された前記撮像装置に撮影指示（２０５、Ｓ６）を出し、
   前記撮影指示により生成された画像データを受信する手段（Ｓ６）と、
   前記画像データに前記有効領域の情報を付与して保存する手段（Ｓ７）とを持つことを特徴とする請求項１に記載の画像表示システム。