JP2012138745A - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- JP2012138745A JP2012138745A JP2010289435A JP2010289435A JP2012138745A JP 2012138745 A JP2012138745 A JP 2012138745A JP 2010289435 A JP2010289435 A JP 2010289435A JP 2010289435 A JP2010289435 A JP 2010289435A JP 2012138745 A JP2012138745 A JP 2012138745A
- Authority
- JP
- Japan
- Prior art keywords
- live view
- information processing
- image
- lens
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】 複数の画像を結合した高解像度の画像を容易にプレビューするために、複数の撮像装置から受信した画像をリアルタイムに結合し、良質な画像をスムーズに表示することを可能にした画像表示システムを提供することである。
【解決手段】 情報処理装置(100)と1台以上の撮像装置(110)からなり、前記撮像装置で生成されるライブビュー画像を前記情報処理装置が受信する手段と、前記撮像装置のレンズ情報を前記情報処理装置が受信する手段と、前記レンズ情報はレンズ識別情報と焦点距離を少なくとも含み、前記ライブビュー画像とレンズ情報からレンズ収差の影響が所定以下である有効領域を求める手段と、前記ライブビュー画像を前記有効領域で切り取った有効ライブビュー画像を生成する手段と、前記情報処理装置に前記撮像装置が複数接続される場合には、前記有効ライブビュー画像を結合して表示する手段を持つことを特徴とする。
【選択図】 図1
【解決手段】 情報処理装置(100)と1台以上の撮像装置(110)からなり、前記撮像装置で生成されるライブビュー画像を前記情報処理装置が受信する手段と、前記撮像装置のレンズ情報を前記情報処理装置が受信する手段と、前記レンズ情報はレンズ識別情報と焦点距離を少なくとも含み、前記ライブビュー画像とレンズ情報からレンズ収差の影響が所定以下である有効領域を求める手段と、前記ライブビュー画像を前記有効領域で切り取った有効ライブビュー画像を生成する手段と、前記情報処理装置に前記撮像装置が複数接続される場合には、前記有効ライブビュー画像を結合して表示する手段を持つことを特徴とする。
【選択図】 図1
Description
本発明は、画像表示システムに関し、特に撮像装置から送信された画像を表示する画像表示システムに関するものである。
従来、大きなパノラマ画像や高画素な画像を得るために、複数台の撮像装置で撮影した画像を結合する手法が提案されている。この画像を得るために、撮影する際にデジタルカメラなど複数の撮像装置で撮像された画像を、PCやモニタなどの画像表示装置にリアルタイムに送信して、表示して支援するシステムが提案されている。
たとえば、特許文献1では、複数の撮像装置から得られた画像を各撮像装置の位置に応じた画面の位置に置くことで、被写体に対する撮像装置の位置を直感的に表現する表示システムが開示されている。また、特許文献2では、撮影された複数の画像の重複した部分に対して、レンズ収差補正を施して結合する手段が開示されている。
しかしながら、上述の特許文献に開示された従来技術では、複数の撮像装置から得た画像を、リアルタイムに結合した画像をスムーズに表示することは困難である。また、レンズ収差を考慮しないで結合した場合には、レンズ収差の影響が結合部分に現れるため良質な結合画像表示をすることができない。一方、レンズ収差を考慮して、結合部分に補正をかけた場合には、処理に時間がかかるためスムーズな表示が困難である。
そこで、本発明の目的は、複数の撮像装置から受信した画像をリアルタイムに結合し、良質な画像をスムーズに表示することを可能にした画像表示システムを提供することである。
上記目的を達成するために、本発明は
情報処理装置(100)と1台以上の撮像装置(110)からなり、
前記撮像装置で生成されるライブビュー画像を前記情報処理装置が受信する手段と、
前記撮像装置のレンズ情報を前記情報処理装置が受信する手段と、
前記レンズ情報はレンズ識別情報と焦点距離を少なくとも含み、
前記ライブビュー画像とレンズ情報からレンズ収差の影響が所定以下である有効領域を求める手段と、
前記ライブビュー画像を前記有効領域で切り取った有効ライブビュー画像を生成する手段と、
前記情報処理装置に前記撮像装置が複数接続される場合には、前記有効ライブビュー画像を結合して表示する手段を持つことを特徴とする。
情報処理装置(100)と1台以上の撮像装置(110)からなり、
前記撮像装置で生成されるライブビュー画像を前記情報処理装置が受信する手段と、
前記撮像装置のレンズ情報を前記情報処理装置が受信する手段と、
前記レンズ情報はレンズ識別情報と焦点距離を少なくとも含み、
前記ライブビュー画像とレンズ情報からレンズ収差の影響が所定以下である有効領域を求める手段と、
前記ライブビュー画像を前記有効領域で切り取った有効ライブビュー画像を生成する手段と、
前記情報処理装置に前記撮像装置が複数接続される場合には、前記有効ライブビュー画像を結合して表示する手段を持つことを特徴とする。
本発明によれば、レンズ補正を考慮した良質な画像をリアルタイムに表示することを可能にした画像表示システムを提供することができる。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図1は、本発明を実施する情報処理装置と制御するデジタルカメラを示すブロック図である。
図1において、情報処理装置100は、制御部101、操作部102、表示部103、記憶装置104、通信インタフェース105を備える。各構成要素は、システムバスを介して互いに接続されている。また、情報処理装置の通信インタフェース105は、デジタルカメラ110のような外部装置を複数接続可能である。他にも、デジタルオーディオプレーヤーや外部記憶装置などとも接続したりする。
制御部101は、情報処理装置のデータ処理や記録制御、通信制御、表示制御、入力制御などをおこなう。制御部101は、CPUやバッファメモリなど、データ処理や命令制御に必要な電子部品から構成される。操作部102は、情報処理装置の操作入力を受け付ける。操作部102は、マウスやキーボードのような操作部材であり、情報処理装置に内蔵されていても、着脱式でもよい。表示部103は、制御部101により表示制御された結果を表示する。表示部103は、液晶ディスプレイなどであり、情報処理装置に内蔵されていても、着脱式でもよい。記憶装置104は、制御部101により制御された結果により、データを記憶したり読み出したりする。記憶装置104は、ハードディスクやフラッシュメモリなどに代表される記憶媒体であり、情報処理装置に内蔵されていても、着脱式でもよい。通信インタフェース105は、制御部101の通信制御により、接続されたデジタルカメラ110とデータや制御信号を送受信する。制御部101と通信インタフェース105により、デジタルカメラ110のピント制御や露出制御をおこない、複数台接続されたピント位置や露出を統一する制御を可能にする。
[実施例1]
以下、図2から図7を参照して、本発明の第1の実施例による、接続されたデジタルカメラから送られるライブビュー画像のレンズ収差を考慮した画像の結合表示および保存ついて説明する。
以下、図2から図7を参照して、本発明の第1の実施例による、接続されたデジタルカメラから送られるライブビュー画像のレンズ収差を考慮した画像の結合表示および保存ついて説明する。
図2は、情報処理装置100の表示部103に、結合画像を表示し、操作させるためのユーザインタフェース200を示すブロック図である。図2において、201はサブルーチンS1により結合画像を表示する領域であり、各デジタルカメラ110から得られた有効ライブビュー画像の左上に番号を振って表示する。202は、左側に振られた番号に対応する表示領域201の有効ライブビューが画像を自動で更新するか、更新を停止するかを設定する操作部材である。203は、表示領域201に表示される結合画像をそのまま画像ファイルに保存する操作部材である。この操作部材203による画像ファイル保存は、非圧縮画像ファイルでも圧縮画像ファイルのどちらでもよい。204は、警告表示であり、各結合部の色、輝度値の平均値が10以上となる場合、結合画像の結合辺ごとに表示する。また、警告表示204は結合辺を所定色の線で表現するなどのようにしてもよい。
このように画像ファイルに保存する手段を有することにより、容易に高解像度の画像を得ることが可能となる。
図3は、図1の構成を用いて情報処理装置100でデジタルカメラ110のライブビュー画像を表示する手順を示すフローチャートS1である。まず、S101でライブビュー中であるかどうかを確認し、ライブビュー中であればS102で複数のデジタルカメラ101から得られた結合画像を更新するためのサブルーチンS2を呼び出す。そして、得られた結合画像をS103で表示する。そして、S104でライブビュー終了かどうかを判断して、終了していればライブビュー画像の表示を終了し、終了していなければS102に戻り、再度表示する。ライブビュー終了の判断はデジタルカメラ110から終了通知を受けても、情報処理装置100の指示による終了通知のどちらでもよい。
図4は、情報処理装置100が複数のデジタルカメラ110からのライブビュー画像の結合画像を更新する手順を示すフローチャートS2である。まず、S201で情報処理装置100に接続されたすべてのデジタルカメラ110から、それぞれライブビュー画像を取得するシーケンスを開始する。まず、S202で、デジタルカメラ110に対応する操作部材202の設定状況が自動更新であるかを判断し、自動更新であれば、S203以降で有効ライブビュー画像を取得する。
一方、自動更新でなければ、S206に移り次のデジタルカメラ110に対して有効ライブビュー画像を取得する。S203では、各デジタルカメラ110からレンズ情報を取得するサブルーチンS3を呼び出す。その後、S204でデジタルカメラ110からライブビュー画像を取得するサブルーチンS4を呼び出す。そして、S203、S204で得られたレンズ情報、ライブビュー画像からS205で有効なライブビュー画像を取得するサブルーチンS5を呼び出す。そして、S206で有効ライブビュー画像を取得していないデジタルカメラ110がある場合は、S202に戻る。すべてのカメラから有効LV画像を取得したと判断されれば、S206ですべてのデジタルカメラ110のそれぞれの有効ライブビュー画像の結合辺から5画素の色、輝度値が最も近い有効ライブビュー画像を隣り合わせに並べて、5画素が重複するように結合し、結合部の画素は重なり合う有効ライブビュー画像の画素値の平均値とする。この際、色、輝度値の違いの平均が10以上であれば、結合辺の端に警告表示204を表示する。
また、共通した被写体を認識した場合は、その被写体が一致するように結合したり、デジタルカメラ110から位置情報やIDを取得し、それに対応して並べて結合するなどの方法で結合してもよい。
図5は、情報処理装置100がデジタルカメラ110からのレンズ情報を取得する手順を示すフローチャートS3である。まず、S301で前回のレンズ情報の更新からデジタルカメラ110からレンズ情報の変更通知があったかどうかを取得する。このレンズ情報の変更通知は、デジタルカメラ110のレンズの状態が変わった時点で、デジタルカメラ110が情報処理装置100に対して送信する。そして、S302で更新通知があったかどうかを判断し、通知があった場合には、S303でレンズ情報を取得し更新する。このレンズ情報は、レンズID、撮影焦点距離を含む情報である。
一方、S302で変更通知がなかったと判断された場合は、レンズ情報の更新は行わない。この実施例では、デジタルカメラ110からのレンズ情報変更通知を受けて、新たにレンズ情報を取得する構成になっているが、情報処理装置100が定期的にレンズ情報を取得する構成でもよい。
図6は、情報処理装置100がデジタルカメラ110からのライブビュー画像を更新する手順を示すフローチャートS4である。まず、S401で前回のライブビュー画像の更新からデジタルカメラ110からライビュー画像の変更通知があったかどうかを取得する。このライブビュー画像の変更通知は、デジタルカメラ110のライブビュー画像が新たに生成された時点で、デジタルカメラ110が情報処理装置100に対して送信する。S402で更新通知があったかどうかを判断し、通知があった場合にはS403でライブビュー画像をデジタルカメラ110から取得して更新する。
一方、S402で変更通知がなかったと判断された場合は、ライブビュー画像の更新は行わない。この実施例では、デジタルカメラ110からのライブビュー画像変更通知を受けて、新たにライブビュー画像を取得する構成になっているが、情報処理装置100が定期的にライブビュー画像を取得する構成でもよい。
図7は、情報処理装置110が各デジタルカメラ110から得たライブビュー画像とレンズ情報から有効ライブビュー画像を取得する手順を示すフローチャートS5である。
まず、S501でレンズ情報が取得できているかを判断して、取得できていなければS502でライブビュー画像をそのまま有効ライブビュー画像として出力する。一方、レンズ情報が取得できていれば、S503でそのレンズ情報に含まれるレンズIDを用いて、情報処理装置110の記録装置104からレンズの性能を示すレンズ性能データを取得する。このレンズ性能データは、中心を1とした時の、各像高に対する性能劣化の度合いを示す値を保持する。たとえば、端の周辺光量落ちの性能が中心の半分であった場合、0.5と表す。
また、このレンズ性能データは、デジタルカメラ110から受信したレンズ情報に含まれていてもよく、性能指標は性能劣化ではなく収差の影響の強さとするなどとしてもよい。S504、S505、S506でそれぞれ、レンズの歪曲収差、周辺光量落ち、色収差による性能劣化度を取得する。次に、S507でレンズの歪曲収差、周辺光量落ち、色収差による性能劣化度の全てが0.8以上となるような領域を有効領域として指定する。その他にも、レンズの特性に関する性能劣化度を取得して有効領域を指定したり、使用する性能指標のうちいずれかが条件を満たすように指定してもよい。そして、S508でライブビュー画像を、S507で指定された有効領域の通りにトリミングして有効ライブビュー画像として出力する。また、デジタルカメラ110に有効領域を送信して、デジタルカメラ110でトリミングしたライブビュー画像を情報処理装置100で受信するようにしたり、有効領域の計算をデジタルカメラ110で行ったりしてもよい。このようにトリミング画像を出力することにより、計算量を多く要することなく、良質なライブビュー画像を出力することができる。この実施例ではトリミングをして出力するようにしているが、情報処理装置100の性能によりレンズ収差補正をした場合の遅延時間から判断して、その結果によりレンズ収差補正を適用して出力するようにしたり、トリミングとレンズ収差補正のどちらの出力が必要かを選択できるようにしてもよい。
[実施例2]
以下、図8を参照して、本発明の第1の実施例による、接続されたデジタルカメラから送られるライブビュー画像のレンズ収差を考慮した画像の結合表示および撮影について説明する。
以下、図8を参照して、本発明の第1の実施例による、接続されたデジタルカメラから送られるライブビュー画像のレンズ収差を考慮した画像の結合表示および撮影について説明する。
図8は、情報処理装置100の表示部103に、結合画像を表示し、操作させるためのユーザインタフェース200を示すブロック図である。図8において、201はサブルーチンS1により結合画像を表示する領域であり、各デジタルカメラ110から得られた有効ライブビュー画像の左上に番号を振って表示する。202は、左側に振られた番号に対応する表示領域201の有効ライブビューが画像を自動で更新するか、更新を停止するかを設定する操作部材である。204は、警告表示であり、各結合部の色、輝度値の平均値が10以上となる場合、結合画像の結合辺ごとに表示する。また、警告表示204は結合辺を所定色の線で表現するなどのようにしてもよい。
205は、各デジタルカメラ110に対して、撮影指示を出し撮影された画像を情報処理装置100に取り込むサブルーチンS6を呼び出す操作部材である。205では、撮影された画像を情報処理装置100に取り込む機能を呼び出しているが、デジタルカメラ110に保存する、もしくは情報処理装置100に取り込むと同時にデジタルカメラ110に保存するような機能を呼び出してもよい。また、実施例1のように結合画像を直接保存する機能を同時に有してもよい。
図9は、情報処理装置100の表示部103に、結合画像を表示し、操作させるためのユーザインタフェース200中の操作部材205を操作した際の撮影の手順を示すフローチャートである。
まず、S601で情報処理装置100に接続されたすべてのデジタルカメラ110に撮影指示を送信するシーケンスを開始する。S602で、画像の撮影指示をデジタルカメラ110に送信する。S603で、全てのデジタルカメラ110に送信したかどうかを判断し、残りのデジタルカメラ110がある場合、S601から残りのデジタルカメラ110の撮影を行う。
一方、全てのデジタルカメラ110に撮影指示が終了した場合、S601で情報処理装置100に接続されたすべてのデジタルカメラ110から撮影画像を取り込むシーケンスを開始する。S605で、各デジタルカメラ110からの撮影画像生成通知を行い、通知がなければ通知されるまで待つ。通知が確認できた場合、S606で画像取り込みを行うサブルーチンS7を呼び出す。そして、S607で全てのデジタルカメラ110から撮影画像を取り込んだかを判断し、残りのデジタルカメラ110がある場合、S604に戻り、全てのデジタルカメラ110から撮影画像を取り込んだ場合、取り込みを終了する。この例では、撮影指示を一台ずつ順に行っているが、同時に行うなどとしてもよい。また、取り込みにおいても一台ずつ順に行っているが、生成された順に取り込むなどとしてもよい。
図10は、情報処理装置110が各デジタルカメラ110から撮影画像を取得する手順を示すフローチャートS7である。
まず、S701で撮影画像をデジタルカメラ110から受信する。そしてS702でレンズ情報が取得できているかを判断して、取得できていなければS709で受信した撮影画像をそのまま出力する。一方、レンズ情報が取得できていれば、S703でそのレンズ情報に含まれるレンズIDを用いて、情報処理装置110の記録装置104からレンズの性能を示すレンズ性能データを取得する。このレンズ性能データは、中心を1とした時の、各像高に対する性能劣化の度合いを示す値を保持する。たとえば、端の周辺光量落ちの性能が中心の半分であった場合、0.5と表す。
また、このレンズ性能データは、デジタルカメラ110から受信したレンズ情報に含まれていてもよく、性能指標は性能劣化ではなく収差の影響の強さとするなどとしてもよい。S704、S705、S706でそれぞれ、レンズの歪曲収差、周辺光量落ち、色収差による性能劣化度を取得する。次に、S507でレンズの歪曲収差、周辺光量落ち、色収差による性能劣化度の全てが0.8以上となるような領域を有効領域として指定する。その他にも、レンズの特性に関する性能劣化度を取得して有効領域を指定したり、使用する性能指標のうちいずれかが条件を満たすように指定してもよい。そして、S708で受信した撮影画像に対して、S707で指定された有効領域を付加して撮影画像を出力する。また、ここで有効領域情報の付加を情報処理装置100で行っているが、有効領域情報をデジタルカメラ110に送信してデジタルカメラ110で有効領域情報を付与したり、有効領域でトリミングして出力するようにしたりしてもよい。このように撮影画像に有効領域を付与する機能を有することで、撮影後の画像を結合する際に、容易に結合点を参照することができ高解像度画像の生成を容易にすることができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
100 譲歩処理装置
101 制御部
102 操作部
103 表示部
104 記憶装置
105 通信インタフェース
110 デジタルカメラ
101 制御部
102 操作部
103 表示部
104 記憶装置
105 通信インタフェース
110 デジタルカメラ
Claims (3)
- 情報処理装置(100)と1台以上の撮像装置(110)からなり、
前記撮像装置で生成されるライブビュー画像を前記情報処理装置が受信する手段(S3)と、
前記撮像装置のレンズ情報を前記情報処理装置が受信する手段(S4)と、
前記レンズ情報はレンズ識別情報と焦点距離を少なくとも含み、
前記ライブビュー画像とレンズ情報からレンズ収差の影響が所定以下である有効領域を求める手段(S5)と、
前記ライブビュー画像を前記有効領域で切り取った有効ライブビュー画像を生成する手段(S5)と、
前記情報処理装置に前記撮像装置が複数接続される場合には、前記有効ライブビュー画像を結合して表示する手段(S207)を持つことを特徴とする画像表示システム。 - 前記情報処理装置に前記撮像装置が複数接続される場合に結合して表示された画像を、
保存する手段(203)とを持つことを特徴とする請求項1に記載の画像表示システム。 - 前記情報処理装置が、複数接続された前記撮像装置に撮影指示(205、S6)を出し、
前記撮影指示により生成された画像データを受信する手段(S6)と、
前記画像データに前記有効領域の情報を付与して保存する手段(S7)とを持つことを特徴とする請求項1に記載の画像表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010289435A JP2012138745A (ja) | 2010-12-27 | 2010-12-27 | 画像表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010289435A JP2012138745A (ja) | 2010-12-27 | 2010-12-27 | 画像表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012138745A true JP2012138745A (ja) | 2012-07-19 |
Family
ID=46675828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010289435A Pending JP2012138745A (ja) | 2010-12-27 | 2010-12-27 | 画像表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012138745A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021149485A1 (ja) * | 2020-01-20 | 2021-07-29 | ソニーグループ株式会社 | 表示制御装置、表示制御方法、および、プログラム |
-
2010
- 2010-12-27 JP JP2010289435A patent/JP2012138745A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021149485A1 (ja) * | 2020-01-20 | 2021-07-29 | ソニーグループ株式会社 | 表示制御装置、表示制御方法、および、プログラム |
US12041363B2 (en) | 2020-01-20 | 2024-07-16 | Sony Group Corporation | Display control device, display control method, and program for displaying images based on satellite imaging |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8947519B2 (en) | Image processing apparatus, image processing system, image processing method, and image processing program | |
JP6141137B2 (ja) | 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム | |
JP4344628B2 (ja) | 画像処理方法、画像処理システム及び画像処理装置並びに画像処理プログラム | |
JP2011119874A (ja) | カメラユニット、及びレンズユニット | |
JP2011077654A (ja) | 撮像装置、その制御方法、及びプログラム | |
US20160012562A1 (en) | Image processing apparatus and image processing method | |
JP2012138745A (ja) | 画像表示システム | |
JP4338563B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法並びに画像処理プログラム | |
JP2008067298A (ja) | 撮影装置及びプログラム | |
JP2004364039A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2002305676A (ja) | 電子カメラ | |
JP6632374B2 (ja) | データ処理装置、通信機器、及び制御方法 | |
JP4883803B2 (ja) | 通信装置、その制御方法及びプログラム | |
JP6355431B2 (ja) | 画像処理装置およびシステム | |
JP6305217B2 (ja) | 情報処理装置およびその制御方法、カメラシステム、プログラム、記憶媒体 | |
JP2014033472A (ja) | 情報処理装置、撮影装置、および情報処理装置の制御方法 | |
JP7500236B2 (ja) | 撮像装置、撮像装置の制御方法、撮像システム、およびプログラム | |
JP2014176004A (ja) | 撮像装置及び画像処理方法 | |
JP5348274B2 (ja) | 画像再生装置及びプログラム | |
JP5436115B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2006279459A (ja) | 画像撮影装置、画像撮影方法、画像撮影プログラムおよび記録媒体 | |
JP2006253957A (ja) | 変換処理システム | |
JP2015080156A (ja) | 電子機器、その制御方法及びプログラム | |
JP2006309668A (ja) | 撮像装置、情報処理装置及び表示装置 | |
JP4697927B2 (ja) | 撮像装置 |