JP2008225600A - 画像表示システム、画像送信装置、画像送信方法、画像表示装置、画像表示方法およびプログラム - Google Patents

画像表示システム、画像送信装置、画像送信方法、画像表示装置、画像表示方法およびプログラム Download PDF

Info

Publication number
JP2008225600A
JP2008225600A JP2007059596A JP2007059596A JP2008225600A JP 2008225600 A JP2008225600 A JP 2008225600A JP 2007059596 A JP2007059596 A JP 2007059596A JP 2007059596 A JP2007059596 A JP 2007059596A JP 2008225600 A JP2008225600 A JP 2008225600A
Authority
JP
Japan
Prior art keywords
image data
image
resolution
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007059596A
Other languages
English (en)
Other versions
JP4345829B2 (ja
Inventor
Ritsuo Inaguma
律夫 稲熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007059596A priority Critical patent/JP4345829B2/ja
Priority to US12/074,344 priority patent/US8305424B2/en
Priority to CN2008100855080A priority patent/CN101262597B/zh
Publication of JP2008225600A publication Critical patent/JP2008225600A/ja
Application granted granted Critical
Publication of JP4345829B2 publication Critical patent/JP4345829B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】データ送信時における処理データ量を低減し、処理負荷の軽減を図る。
【解決手段】カメラ部１１１-1〜１１１-nは、広角画像であるパノラマ画像をｎ個に分割して得られる各分割画像を撮像し、高解像度（例えばＵＸＧＡ）の画像データを出力する。各画像データ処理部は、高解像度の画像データに対してエンコーダで圧縮符号化を行って、第１の圧縮画像データを得る。また、各画像データ処理部は、サイズ変更を行って低解像度（例えばＱＶＧＡ）の画像データを得、当該画像データに対してエンコーダで圧縮符号化を行って、第２の圧縮画像データを得る。データ伝送部は、ネットワークを介して、第１、第２の圧縮画像データを画像表示装置に送る。合成されたパノラマ画像データを圧縮符号化して送信するものではなく、処理負荷が軽減される。
【選択図】図２

Description

この発明は、例えば監視システムに適用して好適な画像送信システム、画像送信装置、画像送信方法、画像表示装置、画像表示方法およびプログラムに関する。詳しくは、この発明は、画像送信装置側では、パノラマ画像を撮像する複数個のカメラ部からの画像データをそれぞれ処理して、高解像度の画像データを圧縮符号化した第１の圧縮画像データ、および低解像度の画像データを圧縮符号化した第２の圧縮画像データを生成して送信し、画像表示装置側では、受信した複数個の第２の圧縮画像データの復号化データを用いてパノラマ画像を表示し、受信した複数個の第１の圧縮画像データのうち、パノラマ画像上に決定された所定位置に対応した第１の圧縮画像データの復号化データを用いて当該所定位置の高解像度画像を表示することにより、データ送信時および画像表示時における処理データ量を低減し、処理負荷の軽減を図るようにした画像送信システム等に係るものである。
近年デジタルカメラやビデオカメラの高画素化が進んでいる。デジタルカメラでは１０００万画素を越えるものが市販され、コンスーマ用途のＨＤ（High Definition）ビデオカメラが登場した。これらのカメラで撮像して得られる画像データを伝送する際には、伝送帯域を抑えるために、符号化処理がなされている。主なものには、ＪＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４等がある。
これら符号化技術を用いて、高画素画像をインターネットなどのネットワークに配信する試みもよく見かける。例えば、特許文献１、特許文献２には、複数カメラを用いて広角画像（広域画像）を収録して配信することが記載されている。ただし、特許文献１、特許文献２に記載のものは、画像データをビデオサーバに蓄積するタイプであり、今後さらに画素数の増加が進むと予想される以上、スケーラビリティの点で限界がある。
高画素化の方向には、例えば、特許文献３、特許文献４に記載されるように、視点一致光学系による複数のカメラを用いたものもあるので、画像伝送における符号化処理の重要性が高まる。伝送帯域の制限に対する方策として、伝送路あるいは受け側の帯域にあわせた多重解像度符号化やレート制御の方法が考えられている。これらはウェーブレット変換を基にしたＪＰＥＧ２０００の技術で実施されている。
また、状況の変化に応じて、必要と判断される部分のみ伝送し、かつデータの解像度を変えることにより、データ伝送量を削減する方法も考えられている（例えば、特許文献５参照）。しかしながら、特許文献５に見られる方法では、必要でないと判断された領域はあらかじめ送出され、必要領域の画像が後から重ね合わせられるので、周辺領域と注目領域の時間差が生じると思われる。周辺領域の変化が少ないと想定される状況では有効であるが、周辺領域も含めリアルタイムに表示することが必要なスポーツ中継やコンサートの中継の場面には不向きである。
また、魚眼レンズ等の広角撮像系を用いた実施例もあるが、多くの場合、遠くの被写体は小さくなり、人物の進入監視可能距離は通常のズーム型監視カメラに比して不利である。
また、リアルタイムに複数の解像度を撮像するカメラとしては、例えば、特許文献６に記載されるように、低解像度動画と高解像度静止画との関連付けをおこなうもの、あるいは、特許文献７に記載されるように、高解像度画像をもとに低解像度画像を生成し、動画とするものが考えられている。しかし、いずれも、高解像度動画を表示する装置ではない。
また、特許文献８には、複数のカメラの信号を予め取得した座標変換テーブルに基づき、１つのＨＤ（High Definition）画像に分割表示する方法が記載されている。この方法の利点は、座標変換テーブルを用いて、複数の分割画像からパノラマ画像を生成する際に、リアルタイムに目標の画像が得られることにある。
特開２００３−１８５８３号公報 特開２００５−３３３５５２号公報 特開２００３−１６２０１８号公報 特開２００２−３１４８６７号公報 特開２００５−１７６３０１号公報 特開平７−１４３４３９号公報 特開２００５−１９７９４８号公報 特開２００４−６２１０３号公報
上述したように、特許文献６、特許文献７に記載される技術はいずれも高解像度動画を表示する装置ではない。また、例えば、特許文献８の方法においては、複数のカメラ信号を１つにまとめて最終出力を得るものであり、画素数の増加やフレームレートの高速化に対して、パノラマ画像を表示する際の対応が困難となる。
この発明の目的は、高解像度動画を表示するものにあって、データ送信時および画像表示時における処理データ量を低減し、処理負荷の軽減を図ることにある。
この発明の概念は、
画像送信装置と画像表示装置とがネットワークを介して接続されている画像表示システムであって、
上記画像送信装置は、
パノラマ画像を複数個に分割して得られる各分割画像にそれぞれ対応した画像データを出力する複数個のカメラ部と、
上記各カメラ部から出力される画像データをそれぞれ処理して第１の解像度の画像データを圧縮符号化した第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した第２の圧縮画像データとを生成する複数個の画像データ処理部と、
上記各画像データ処理部で生成された上記第１の圧縮画像データおよび上記第２の圧縮画像データを上記画像表示装置に送信するデータ送信部を有し、
上記画像表示装置は、
上記画像送信装置から送られてくる第１の圧縮画像データおよび第２の圧縮画像データを受信するデータ受信部と、
上記データ受信部で受信された複数個の第２の圧縮画像データの復号化データを用いて、上記パノラマ画像を表示するためのパノラマ画像データを生成する第１の画像データ生成部と、
上記パノラマ画像上における高解像度表示位置を決める表示位置決定部と、
上記データ受信部で受信された複数個の第１の圧縮画像データのうち、上記表示位置決定部で決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて、高解像度画像を表示するための高解像度画像データを生成する第２の画像データ生成部と、
上記第１の画像データ生成部で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成部で生成された高解像度画像データによる高解像度画像をディスプレイに表示する表示部を有する
ことを特徴とする画像表示システムにある。
この発明において、画像表示システムは、画像送信装置および画像表示装置がネットワークを介して接続された構成となっている。画像送信装置には、複数個のカメラ部が備えられている。複数個のカメラ部により、パノラマ画像（広角画像、あるいは広域画像）を複数個に分割して得られる各分割画像が撮像され、それぞれの分割画像に対応した画像データが得られる。
画像送信装置の各画像データ処理部では、各カメラ部から出力される画像データがそれぞれ処理され、第１の解像度の画像データを圧縮符号化した第１の圧縮画像データと、この第１の解像度より低い第２の解像度の画像データを圧縮符号化した第２の圧縮画像データとが生成される。例えば、第１の解像度はＵＸＧＡ（Ultra eXtended Graphics Array）であり、第２の解像度はＱＶＧＡ（Quarter Video Graphics Array）である。
各データ処理部で生成された第１の圧縮画像データおよび第２の圧縮画像データは、データ送信部により、ネットワークを介して、画像表示装置に送信される。このように、この発明においては、画像送信装置から画像表示装置に、各カメラ部から出力される画像データを用いてパノラマ画像用の画像データを生成して送信するものではなく、画像送信装置側における処理データ量が減り、処理負荷が軽減される。
なお、この発明においては、例えば、各画像データ処理部では、カメラ部から出力される画像データを処理して検知された動体または不動体の検知情報、あるいは外部センサの検知情報を含むメタデータが生成され、このメタデータも、データ送信部により、ネットワークを介して、画像表示装置に送信されるようにしてもよい。このように検知情報を含むメタデータが画像表示装置に送信されることで、画像表示装置側では、パノラマ画像上への検知位置の表示、あるいは、さらにはその検知位置に対応した高解像度画像の表示などが容易に可能となる。
また、この発明においては、各画像データ処理部では、全てのフレームにおいて第２の圧縮画像データが生成されると共に、間欠的なフレームにおいて第１の圧縮画像データが生成されるようにしてもよい。この場合、各画像データ処理部では、解像度の高い第１の画像データの処理フレーム数を少なくでき、処理負荷が軽減される。
また、この発明においては、各画像データ処理部では、カメラ部から出力される画像データより所定の画像領域の画像データが切り出され、この切り出された画像データに対して圧縮符号化が行われて第１の圧縮画像データが生成されるようにしてもよい。例えば、所定の画像領域は、カメラ部から出力される画像データを処理して検知された動体または不動体の検知情報、あるいは外部センサの検知情報に基づいて、決定される。また、例えば、所定の画像領域は、情報受信部で受信された、パノラマ画像上に設定された所定の画角の注目領域の情報に基づいて、決定される。この場合、各画像データ処理部では、例えば、カメラ部から出力される画像データから画像表示側で必要となる画像領域の画像データのみが切り出されて処理が行われるため、処理データ量が少なく、処理負荷が軽減される。
画像表示装置のデータ受信部では、画像送信装置の各データ処理部で生成された第１の圧縮画像データと第２の圧縮画像データが受信される。第１の画像データ生成部では、複数個の第２の圧縮画像データの復号化が行われ、復号化データを用いてパノラマ画像を表示するためのパノラマ画像データが生成される。この場合、第２の圧縮画像データは上述したように第２の解像度（低解像度）に係るものであることから、第１の画像データ生成部では、処理データ量が少なく、処理負荷が軽減される。表示部により、このパノラマ画像データによるパノラマ画像がディスプレイに表示される。例えば、この場合、複数個の画像データを１つにまとめる処理は行われず、各画像データをビデオＲＡＭの対応するアドレスに配置、保持することで表示が行われる。この場合、画素数の増加やフレームレートの高速化に対して、パノラマ画像を表示する際の対応が容易となる。
なお、この発明においては、データ受信部では、各カメラ部から出力される画像データをそれぞれ処理して検知された動体または不動体の検知情報、あるいは各カメラ部に対応して設けられた各外部センサの検知情報を含むメタデータがさらに受信され、第３の画像データ生成部では、データ受信部で受信された複数個の第２の圧縮画像データのうち、検知情報で示される検知位置に対応した分割画像の第２の圧縮画像データの復号化データを用いて検知位置画像を表示するための検知位置画像データが生成され、表示部により当該検知位置画像データによる検知位置画像がディスプレイにさらに表示されるようにしてもよい。この場合、各検知位置に対応した検知位置画像をディスプレイにインデックス表示することが可能となる。そして、この場合、パノラマ画像を表示するために既に得られている第２の圧縮画像データの復号化データを用いることから、処理負荷が大幅に増加するということはない。
また、この発明においては、例えば、注目領域設定部により、ディスプレイに表示されるパノラマ画像上に注目領域が設定され、第４の画像データ設定部では、データ受信部で受信された複数個の第２の圧縮画像データのうち、注目領域に対応した分割画像の第２の圧縮画像データの復号化データを用いて注目領域画像を表示するための注目領域画像データが生成され、表示部により当該注目領域画像データによる注目領域画像がディスプレイにさらに表示されるようにしてもよい。この場合、各注目領域に対応した注目領域画像をディスプレイにインデックス表示することが可能となる。そして、この場合、パノラマ画像を表示するために既に得られている第２の圧縮画像データの復号化データを用いることから、処理負荷が大幅に増加するということはない。
表示位置決定部では、パノラマ画像上における高解像度表示位置が決定される。例えば、高解像度表示位置は、表示されたパノラマ画像上におけるユーザの位置選択操作に基づいて、決定される。また、例えば、高解像度表示位置は、上述したようにディスプレイに検知位置画像が表示されるものにあっては、ユーザの検知位置画像の選択操作に基づいて、決定されるようにしてもよい。また、例えば、高解像度表示位置は、上述したようにディスプレイに注目領域画像が表示されるものにあっては、ユーザの注目領域画像の選択操作に基づいて、決定されるようにしてもよい。
また、この発明においては、例えば、第２の画像データ生成部では、表示位置決定部で決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データおよび第２の圧縮画像データを所定のフレーム比率で用いて高解像度画像を表示するための高解像度画像データが生成されるようにしてもよい。この場合、第２の画像データ生成部では、復号化すべき第１の圧縮画像データのフレーム数を少なくでき、処理負荷が軽減される。
この発明によれば、画像送信装置側では、パノラマ画像を撮像する複数個のカメラ部からの画像データをそれぞれ処理して、高解像度の画像データを圧縮符号化した第１の圧縮画像データ、および低解像度の画像データを圧縮符号化した第２の圧縮画像データを生成して送信し、画像表示装置側では、受信した複数個の第２の圧縮画像データの復号化データを用いてパノラマ画像を表示し、受信した複数個の第１の圧縮画像データのうち、パノラマ画像上に決定された所定位置に対応した第１の圧縮画像データの復号化データを用いて当該所定位置の高解像度画像を表示するものであり、データ送信時および画像表示時における処理データ量を低減でき、処理負荷の軽減を図ることができる。
以下、図面を参照しながら、この発明の実施の形態について説明する。
図１は、実施の形態としての画像表示システム１００の構成例を示している。画像表示システム１００は、画像送信装置１１０と画像表示装置１３０とがネットワーク１５０を介して接続された構成となっている。ネットワーク１５０は、ＬＡＮ（Local Area Network）、インターネット等である。
画像送信装置１１０は、ｎ個（ｎは２以上の整数）のカメラ部１１１-1〜１１１-nを有している。これらｎ個のカメラ部１１１-1〜１１１-nは、広角画像（広域画像）であるパノラマ画像をｎ個に分割して得られる各分割画像をそれぞれ撮像して画像データを出力する。例えば、パノラマ画像は水平方向に広がった広角画像であり、当該パノラマ画像が水平方向にｎ個に分割される。各カメラ部１１１-1〜１１１-nは、第１の解像度、例えばＵＸＧＡ（Ultra eXtended Graphics Array）の画像データを出力する。因みに、ＵＸＧＡは、１６００×１２００ピクセルの解像度である。
図２は、ｎ個のカメラ部１１１-1〜１１１-nの配置例を示している。各カメラ部は、撮像しようとする、ある連続領域のパノラマ画像を生成するように配置されている。ここで、詳細説明は省略するが、各カメラ部からの画像データを用いてパノラマ画像を生成する際には、歪み、焦点距離等のレンズ情報（図３Ａ参照）と、カメラの傾き情報（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）（図３Ｂ参照）と、隣接カメラとの周辺混合比情報（図３Ｃ参照）等の画像変換情報が必要となる。画像送信装置１１０においいてはこの画像変換情報が予め取得されており、当該画像送信装置１１０から、ネットワーク１５０を介して、画像表示装置１３０に送られる。このように画像変換情報が画像送信装置１１０から画像表示装置１３０に送られることで、画像表示装置１３０側では、異なる画像送信装置１１０毎に、画像変換情報を保存しておく必要はない。
画像送信装置１１０は、各カメラ部１１１-1〜１１１-nから出力される画像データをそれぞれ処理して、第１の解像度の画像データを圧縮符号化した第１の圧縮画像データを生成する。また、画像送信装置１１０は、各カメラ部１１１-1〜１１１-nから出力される画像データをそれぞれ処理して、第１の解像度より低い第２の解像度、例えばＱＶＧＡ（Quarter Video Graphics Array）の画像データを圧縮符号化した第２の圧縮画像データを生成する。因みに、ＱＶＧＡは、３２０×２４０ピクセルの解像度である。画像送信装置１１０は、上述したように生成されたｎ個の第１の圧縮画像データ、およびｎ個の第２の圧縮画像データを、ネットワーク１５０を介して、画像表示装置１３０に送信する。
画像表示装置１３０は、画像送信装置１１０から送られてくるｎ個の第１の圧縮画像データ、およびｎ個の第２の圧縮画像データを受信する。そして、画像表示装置１３０は、ｎ個の第２の圧縮画像データの復号化データを用いてパノラマ画像を表示するためのパノラマ画像データを生成し、ディスプレイに当該パノラマ画像データによるパノラマ画像を表示する。なお、画像表示装置１３０においてパノラマ画像データを生成する際には、上述したように画像送信装置１１０から送られてくる、レンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報が使用される。
また、画像表示装置１３０は、パノラマ画像上における高解像度表示位置を決め、ｎ個の第１の圧縮画像データのうち、高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて高解像度画像を表示するための高解像度画像データを生成し、ディスプレイに当該高解像度画像データによる高解像度画像を表示する。
図４は、画像送信装置１１０の具体的な構成例を示している。画像送信装置１１０は、ｎ個のカメラ部１１１-1〜１１１-nと、ｎ個の画像データ処理部１１２-1〜１１２-nと、ｎ個の外部センサ１１３-1〜１１３-nと、データ伝送部１１４とを有している。
ｎ個のカメラ部１１１-1〜１１１-nは、上述したように、広角画像（広域）であるパノラマ画像をｎ個に分割して得られる各分割画像をそれぞれ撮像して、第１の解像度（例えば、ＵＸＧＡ）の画像データを出力する。
カメラ部１１１-1は、撮像部１２１および撮像信号処理部１２２を有している。撮像部１２１は、図示しない撮像レンズおよび撮像素子を有しており、パノラマ画像をｎ個に分割して得られる各分割画像のうち、自身が受け持つ分割画像を撮像し、この分割画像に対応した撮像信号を出力する。撮像素子は、ＣＣＤ(Charged Coupled Device)あるいはＣＭＯＳ(ComplementaryMetal-Oxide Semiconductor)等の撮像素子である。
撮像信号処理部１２２は、撮像部１２１から出力される撮像信号（アナログ信号）のサンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、第１の解像度（例えば、ＵＸＧＡ）の画像データを生成する。
画像データ処理部１１２-1は、高解像度エンコーダ１２３と、サイズ変更部１２４と、低解像度エンコーダ１２５と、動体／不動体検知部１２６と、メタデータ生成部１２７とを有している。
高解像度エンコーダ１２３は、カメラ部１１１-1から出力される第１の解像度の画像データに対して、圧縮符号化処理を行って、第１の圧縮画像データＶ1hを生成する。高解像度エンコーダ１２３は、例えば、モーションＪＰＥＧ（JointPhotographic Experts Group）による圧縮符号化を行う。
サイズ変更部１２４は、カメラ部１１１-1から出力される第１の解像度の画像データに対して、間引き、補間等の処理を行って、第１の解像度より低い第２の解像度（例えば、ＱＶＧＡ）の画像データを生成する。低解像度エンコーダ１２５は、サイズ変更部１２４から出力される第２の解像度の画像データに対して、圧縮符号化処理を行って、第２の圧縮画像データＶ1Lを生成する。低解像度エンコーダ１２５は、上述した高解像度エンコーダ１２３と同様に、例えば、モーションＪＰＥＧ（Joint Photographic Experts Group）による圧縮符号化を行う。
動体／不動体検知部１２６は、カメラ部１１１-1から出力される第１の解像度の画像データを処理して、当該画像データによる画像から動体領域（動き領域）および不動体領域（物体の発生領域、物体の消失領域）を検出する。メタデータ生成部１２７は、動体／不動体検知部１２６から出力される動体、不動体の検知情報、および外部センサ１１３-1の検知情報を含むメタデータＭＤ1を生成する。ここで、外部センサ１１３-1は、例えば、カメラ部１１１-1が受け持つ分割画像上の特定位置の異変を検出するものであって、赤外線センサ、温度センサ、音センサ等からなっている。
詳細説明は省略するが、カメラ部１１１-2〜１１１-nは、上述したカメラ部１１１-1と同様に構成されており、自身が受け持つ分割画像を撮像し、この分割画像に対応した第１の解像度（例えば、ＵＸＧＡ）の画像データを生成して出力する。また、詳細説明は省略するが、画像データ処理部１１２-2〜１１２-nは、上述した画像データ処理部１１２-1と同様に構成されており、カメラ部１１１-2〜１１１-nからの画像データ等を処理し、第１の圧縮画像データＶ2H〜ＶnH、第２の圧縮画像データＶ2L〜ＶnL、および動体、不動体等の検知情報を含むメタデータＭＤ2〜ＭＤnを生成して出力する。
データ伝送部１１４は、各画像データ処理部１１２-1〜１１２-nで生成される、第１の圧縮画像データＶ2H〜ＶnH、第２の圧縮画像データＶ2L〜ＶnおよびメタデータＭＤ2〜ＭＤnを、ネットワーク１５０を介して、画像表示装置１３０に送信する。この意味で、データ伝送部１１４は、データ送信部を構成している。なお、このデータ伝送部１１４は、後述するように、画像表示装置１３０から送られてくる注目領域情報を受信する機能も備えている。また、このデータ伝送部１１４は、さらに、上述したレンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報を、ネットワーク１５０を介して、画像表示装置１３０に送信する。
図４に示す画像送信装置１１０の動作を説明する。カメラ部１１１-1の撮像部１２１からは、被写体としてのパノラマ画像のうち、当該カメラ部１１１-1が受け持つ分割画像に対応した撮像信号（アナログ信号）が得られる。この撮像信号は撮像信号処理部１２２に供給される。撮像信号処理部１２２では、撮像信号に対して、サンプルホールドおよび利得制御等のアナログ信号処理、Ａ／Ｄ変換処理、さらにはホワイトバランス調整、ガンマ補正等のデジタル信号処理が施されて、第１の解像度（例えば、ＵＸＧＡ）の画像データが生成される。
カメラ部１１１-1で生成される画像データは、画像データ処理部１１２-1の、高解像度エンコーダ１２３、サイズ変更部１２４および動体／不動体検知部１２６に供給される。高解像度エンコーダ１２３では、カメラ部１１１-1から供給される画像データに対して、例えばモーションＪＰＥＧの圧縮符号化処理が行われ、第１の圧縮画像データＶ1hが生成される。
また、サイズ変更部１２４では、カメラ部１１１-1から供給される画像データに対して、間引き、補間等の処理が行われて、第１の解像度より低い第２の解像度（例えば、ＱＶＧＡ）の画像データが生成される。この第２の解像度の画像データは、低解像度エンコーダ１２５に供給される。低解像度エンコーダ１２５では、サイズ変更部１２４から供給される画像データに対して、例えばモーションＪＰＥＧの圧縮符号化処理が行われ、第２の圧縮画像データＶ1Lが生成される。
また、動体／不動体検知部１２６では、カメラ部１１１-1から供給される画像データに基づいて、動体、不動体の検知処理が行われる。この動体／不動体検知部１２６で検知される動体、不動体の検知情報はメタデータ生成部１２７に供給される。また、このメタデータ生成部１２７には、カメラ部１１１-1が受け持つ分割画像上の特定位置の異変を検出する外部センサ１１３-1からの検知情報も供給される。メタデータ生成部１２７では、動体／不動体検知部１２６から出力される動体、不動体の検知情報、および外部センサ１１３-1の検知情報を含むメタデータＭＤ1が生成される。
カメラ部１１１-2〜１１１-nでは、上述したカメラ部１１１-1と同様にして、自身が受け持つ分割画像に対応した第１の解像度（例えば、ＵＸＧＡ）の画像データが生成される。このように各カメラ部１１１-2〜１１１-nで生成される第１の解像度の画像データは、それぞれ対応する画像データ処理部１１２-2〜１１２-nに供給される。画像データ処理部１１２-2〜１１２-nでは、上述した画像データ処理部１１２-1と同様にして、カメラ部１１１-2〜１１１-nからの画像データ等が処理され、第１の圧縮画像データＶ2H〜ＶnH、第２の圧縮画像データＶ2L〜ＶnL、および動体、不動体等の検知情報等を含むメタデータＭＤ2〜ＭＤnが生成される。
各画像データ処理部１１２-1〜１１２-nで生成された第１の圧縮画像データＶ2H〜ＶnH、第２の圧縮画像データＶ2L〜ＶnL、および動体、不動体等の検知情報を含むメタデータＭＤ2〜ＭＤnは、データ伝送部１１４に供給される。データ伝送部１１４では、第１の圧縮画像データＶ1H〜ＶnH、第２の圧縮画像データＶ1L〜ＶnLおよびメタデータＭＤ1〜ＭＤnがファイル化され、ネットワーク１５０を介して、画像表示装置１３０に送信される。また、このデータ伝送部１１４から、カメラ部１１１-2〜１１１-nに係るレンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報が、ネットワーク１５０を介して、画像表示装置１３０に送られる。
図５は、画像表示装置１３０の具体的な構成例を示している。画像表示装置１３０は、制御部１３１と、ユーザインタフェース部１３２と、データ伝送部１３３と、画像データ処理部１３４と、ＶＲＡＭ（Video Random Access Memory）１３５と、ディスプレイ１３６とを有している。
制御部１３１は、画像表示装置１３０の各部の動作を制御する。この制御部１３１は、ＣＰＵで構成される。ＣＰＵは、ＲＯＭ等に格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭに転送して展開し、当該展開された制御プログラムを読み出して実行することで、各部の動作を制御する。ユーザインタフェース部１３２は、操作キー、リモートコントロール信号受信器等で構成されている。このユーザインタフェース部１３２は、制御部１３１に接続されている。ユーザインタフェース部１３２は、ユーザ操作に応じた操作信号を生成して制御部１３１に供給する。
データ伝送部１３３は、画像送信装置１１０からネットワーク１５０を介して送信されてくる、第１の圧縮画像データＶ1H〜ＶnH、第２の圧縮画像データＶ1L〜ＶnLおよびメタデータＭＤ1〜ＭＤnを受信する。この意味で、データ伝送部１３３は、データ受信部を構成している。また、このデータ伝送部１３３は、画像送信装置１１０から送られてくる、上述したカメラ部１１１-2〜１１１-nに係るレンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報を受信する。
画像データ処理部１３４は、データ受信部１３３で受信された第２の圧縮画像データＶ1L〜ＶnLを復号化し、各復号化データを用い、上述した画像変換情報に基づいて、パノラマ画像を表示するためのパノラマ画像データを生成する。この意味で、画像データ処理部１３４は第１の画像データ生成部を構成している。
また、画像データ処理部１３４は、データ受信部１３３で受信された第１の圧縮画像データＶ1H〜ＶnHのうち、パノラマ画像上における高解像度表示位置に対応した分割画像の第１の圧縮画像データを復号化し、復号化データを用いて高解像度画像を表示するための高解像度画像データを生成する。この意味で、画像データ処理部は、第２の画像データ生成部を構成している。パノラマ画像上における高解像度表示位置は、ユーザ操作に基づき、制御部１３１により決定される。この意味で、制御部１３１は、表示位置決定部を構成している。制御部１３１における高解像度表示位置の決定処理の詳細については後述する。
図６は、上述した画像送信装置１１０のカメラ部１１１-1〜１１１-nに対応した、高解像度（第１の解像度）の画像データおよび低解像度（第２の解像度）の画像データの構成を示している。この図６におけるカメラ部１〜カメラ部ｎは、それぞれ、カメラ部１１１-1〜１１１-nを示している。
画像データ処理部１３４では、カメラ部１〜カメラ部ｎの低解像度画像データが合成されて、水平方向にｈ画素、垂直方向にｖ画素のパノラマ画像データが生成される。この場合、各カメラ部の低解像度画像データは隣接するカメラ部の低解像度データと重なる領域（斜線部）を持っているが、画像データ処理部１３４においては当該領域が重なるように画像データの合成処理が行われる。
また、カメラ部１〜カメラ部ｎの高解像度画像データは、それぞれ、カメラ部１〜カメラ部ｎの低解像度画像データに対応したものとなっている。ここで、カメラ部１〜カメラ部ｎの高解像度画像データは、水平方向にＨ画素、垂直方向にＶ画素のパノラマ画像データを構成する。ここで、ｈ／Ｈ、ｖ／Ｖは、画像送信装置１１０の各画像データ処理部１１２-1〜１１２-nのサイズ変更部１２４における圧縮率に対応する。
パノラマ画像データを構成する各カメラ部の低解像度画像データと、各カメラ部の高解像度画像データとは対応した状態にある。そのため、画像データ処理部１３４は、当該対応関係を利用することで、パノラマ画像上に決定された高解像度画像位置に対応した高解像度画像データを容易に生成できる。
例えば、図６に示すように、低解像度のパノラマ画像上に破線枠Ｆａで示す高解像度表示位置が決定される場合には、カメラ部１およびカメラ部２の高解像度データが用いられて、高解像度画像データが生成される。また、例えば、図６に示すように、低解像度のパノラマ画像上に破線枠Ｆｂで示す高解像度表示位置が決定される場合には、カメラ部２およびカメラ部３の高解像度データが用いられて、高解像度画像データが生成される。
なお、図６は、各カメラ部が水平方向に一列に配列されたものを示しているが、各カメラ部が垂直方向に一列に配列される例、あるいは、各カメラ部がマトリクス状に配列される例も同様に考えられる。
また、画像データ処理部１３４は、データ受信部１３３で受信された第２の圧縮画像データＶ1L〜ＶnLのうち、データ受信部１３３で受信されたメタデータＭＤ1〜ＭＤnに含まれる検知情報で示される検知位置に対応した分割情報の第２の圧縮画像データの復号化データを用いて、検知位置画像を表示するための検知位置画像データを生成する。この意味で、画像データ処理部１３４は、第３の画像データ生成部を構成している。なお、上述したようにパノラマ画像データを生成するために第２の圧縮画像データＶ1L〜ＶnLは全て復号化されるので、当該検知位置画像データを生成する際に、新たに復号化の処理を行う必要はない。
また、画像データ処理部１３４は、データ受信部１３３で受信された第２の圧縮画像データＶ1L〜ＶnLのうち、パノラマ画像上に設定された注目領域に対応した分割情報の第２の圧縮画像データの復号化データを用いて、注目領域画像を表示するための注目領域画像データを生成する。この意味で、画像データ処理部１３４は、第４の画像データ生成部を構成している。なお、上述したようにパノラマ画像データを生成するために第２の圧縮画像データＶ1L〜ＶnLは全て復号化されるので、当該注目領域画像データを生成する際に、新たに復号化の処理を行う必要はない。パノラマ画像上への注目領域の設定は、ユーザの設定操作に基づき、制御部１３１により行われる。この意味で、制御部１３１は、注目領域設定部を構成している。
ＶＲＡＭ１３５は、画像データ処理部１３４で生成された、パノラマ画像データ、高解像度画像データ、検知位置画像データ、および注目領域画像データを構成する各画素のデータを表示位置に対応したアドレスに保持すると共に、各画素のデータを走査線順に順次ディスプレイ１３６に出力する。ディスプレイ１３６は、例えば、ＬＣＤ（Liquid CrystalDisplay）、プラズマディスプレイ等で構成される。
上述の画像データ処理部１３４は、例えば、ソフトウェアで構成される。図７は、画像データ処理部１３４の機能ブロックを示している。画像データ処理部１３４は、データ受信モジュール１４１、メタデータ解析モジュール１４２、Ｉ／Ｏモジュール１４３、表示画像・画角指定モジュール１４４、デコーダスレッド１４５-1〜１４５-m、およびレンダラスレッド１４６-1〜１４６-mを備えている。
データ受信モジュール１４１は、データ伝送部１３３から第１の圧縮画像データＶ1H〜ＶnH、第２の圧縮画像データＶ1L〜ＶnLおよびメタデータＭＤ1〜ＭＤnを受け取る。メタデータ解析モジュール１４２は、データ受信モジュール１４１で受け取ったメタデータＭＤ1〜ＭＤnを解析して、検知位置、検知の種類等の情報を取得する。Ｉ／Ｏモジュール１４３は、制御部１３１から、決定された高解像度表示位置、設定された注目領域等の制御情報を受け取る。
表示画像・画角指定モジュール１４４は、メタデータ解析モジュール１４２で取得された検知位置、検知の種類等の情報、およびＩ／Ｏモジュール１４３が受け取った制御情報に基づいて、データ受信モジュール１４１で受け取った第１の圧縮画像データＶ1H〜ＶnHおよび第２の圧縮画像データＶ1L〜ＶnLのうち、必要とする圧縮画像データをそれぞれデコーダスレッド１４５-1〜１４５-mに送って復号化する。
例えば、パノラマ画像を表示するためのパノラマ画像データを生成するために、第２の圧縮画像データＶ1L〜ＶnLの復号化が行われる。また、第１の圧縮画像データＶ1L〜ＶnLのうち、高解像度表示位置に対応したものの復号化が行われる。例えば、高解像度表示位置が、第１、第２の分割画像に跨っている場合には、第１の圧縮画像データＶ1H，Ｖ2Hの復号化が行われる。
レンダラスレッド１４６-1〜１４６-mは、デコーダスレッド１４５-1〜１４５-mで取得される復号化データからパノラマ画像、高解像度画像、検知位置画像および注目領域画像の画素データを選択し、ＶＲＡＭ１３５の、当該パノラマ画像、高解像度画像、検知位置画像および注目領域画像の表示位置に対応したアドレスに配置する。
図５に示す画像表示装置１３０の動作を説明する。データ伝送部１３３では、画像送信装置１１０からネットワーク１５０を介して送信されてくる、第１の圧縮画像データＶ1H〜ＶnH、第２の圧縮画像データＶ1L〜ＶnLおよびメタデータＭＤ1〜ＭＤn、さらにはレンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報が受信される。これら第１の圧縮画像データＶ1H〜ＶnH、第２の圧縮画像データＶ1L〜ＶnL、メタデータＭＤ1〜ＭＤnおよび画像変換情報は、画像データ処理部１３４に供給される。
画像データ処理部１３４では、第２の圧縮画像データＶ1L〜ＶnLが復号化され、各復号化データを用い、画像変換情報に基づいて、パノラマ画像を表示するためのパノラマ画像データが生成される。そして、ＶＲＡＭ１３５には、パノラマ画像を構成する各画素のデータが、パノラマ画像の表示位置に対応したアドレスに配置され、保持される。これにより、ディスプレイ１３６の画面上のパノラマ画像表示部には、パノラマ画像が表示される。この場合、複数個の画像データを１つにまとめる処理は行われず、各画像データをＶＲＡＭ１３５の対応するアドレスに配置、保持することで表示が行われるものであり、画素数の増加やフレームレートの高速化に対して、パノラマ画像を表示する際の対応が容易となる。
また、画像データ処理部１３４では、第１の圧縮画像データＶ1H〜ＶnHのうち、パノラマ画像上における高解像度表示位置に対応した分割画像に係る第１の圧縮画像データが復号化され、復号化データを用いて高解像度画像を表示するための高解像度画像データが生成される。そして、ＶＲＡＭ１３５には、高解像度画像を構成する各画素のデータが、高解像度画像の表示位置に対応したアドレスに保持される。これにより、ディスプレイ１３６の画面上の高解像度画像表示部には、高解像度画像が表示される。
また、画像データ処理部１３４では、第２の圧縮画像データＶ1L〜ＶnLのうち、メタデータＭＤ1〜ＭＤnに含まれる検知情報で示される検知位置に対応した分割情報に係る第２の圧縮画像データの復号化データを用いて、検知位置画像を表示するための検知位置画像データが生成される。そして、ＶＲＡＭ１３５には、検知位置画像を構成する各画素のデータが、検知位置画像の表示位置に対応したアドレスに保持される。これにより、ディスプレイ１３６の画面上の検知位置画像表示部には、動体、不動体等の検知位置画像が表示される。
なお、上述していないが、パノラマ画像上には、メタデータＭＤ1〜ＭＤnに含まれる検知情報で示される検知位置に対応して、当該検知位置を示す枠等が表示される。また、この枠等は、検知の種類、例えば動体検知であるか、不動体検知であるか、あるいは外部センサによる検知であるかによって色分けされるようにして、ユーザが検知の種類を容易に判別可能としてもよい。
また、画像データ処理部１３４では、第２の圧縮画像データＶ1L〜ＶnLのうち、パノラマ画像上に設定された注目領域に対応した分割情報に係る第２の圧縮画像データの復号化データを用いて、注目領域画像を表示するための注目領域画像データが生成される。そして、ＶＲＡＭ１３５には、注目領域画像を構成する各画素のデータが、注目領域画像の表示位置に対応したアドレスに保持される。これにより、ディスプレイ１３６の画面上の注目領域画像表示部には、注目領域画像が表示される。
なお、上述していないが、パノラマ画像上には、注目領域を示す枠等が表示される。ここで、注目領域は、ユーザの注目領域の設定操作に基づき、制御部１３１によって設定される。この注目領域は任意の画角で設定可能とされる。後述するように、ユーザの注目領域画像の選択操作に基づいて高解像度表示位置が決定される場合、選択された注目領域画像に対応した高解像度画像が、ディスプレイ１３６の画面上の高解像度画像表示部に表示される。この場合、注目領域が任意の画角で設定可能とされているので、当該高解像度画像データの画素数が高解像度画像表示部の画素数より多くなる場合がある。その場合には、例えば、高解像度画像データに対して、高解像度画像表示部に収まるように、縮小、あるいはトリミングによる画素数調整が行われる。
図８は、ディスプレイ１３６の画面表示例を示している。画面の上側には、パノラマ画像表示部２０１が設けられている。このパノラマ画像表示部２０１には、画像データ処理部１３４で生成されたパノラマ画像データによる低解像度のパノラマ画像が表示される。また、このパノラマ画像上には、動体、不動体等の検知位置画像に対応した枠２１１およびユーザ操作によって設定された注目領域に対応した枠２１２が表示されている。
また、画面の左側には、検知位置画像表示部２０３および注目領域画像表示部２０４が設けられている。検知位置画像表示部２０３には、動体、不動体等の低解像度の検知位置画像（パノラマ画像上の枠２１１で囲まれた画像）が表示される。なお、各検知位置画像には、動体、不動体の検知対象物を囲む枠が表示されている。注目領域画像表示部２０４には、注目領域（パノラマ画像上の枠２１２で囲まれた画像）の低解像度画像が表示される。
また、画面の中央から右側にかけて、高解像度画像表示部２０２が設けられている。この高解像度画像表示部２０２に表示される高解像度画像は、ユーザ操作に基づいて制御１３１により決定された高解像度表示位置における高解像度画像が表示される。
ここで、制御部１３１における高解像度表示位置の決定処理の詳細について説明する。制御部１３１は、上述したようにパノラマ画像表示部２０１に表示されたパノラマ画像上におけるユーザの位置選択操作があるときは、当該位置選択操作に基づいて、高解像度表示位置を決定する。この場合、ユーザは、ユーザインタフェース部１３２を用いて、例えば、パノラマ画像上でカーソルを所望の位置に移動させてクリック操作をすることで、高解像度表示位置を選択できる。そして、この場合、高解像度表示部２０２には、ユーザによって選択された位置を含む所定範囲の高解像度画像が表示される。
また、制御部１３１は、上述したように検知位置画像表示部２０３に表示された検知位置画像から所望の検知位置画像を選択するユーザ選択操作があるときは、当該選択操作に基づいて、高解像度表示位置を決定する。つまり、制御部１３１は、ユーザ操作によって選択された検知位置画像に対応した位置（枠２１１で囲まれた領域）を高解像度表示位置に決定する。この場合、ユーザは、ユーザインタフェース部１３２を用いて、例えば、カーソルを所望の検知位置画像に移動させてクリック操作をすることで、所望の検知位置画像を選択できる。そして、この場合、高解像度画像表示部２０２には、選択された検知位置画像（高解像度画像）が表示される。
また、制御部１３１は、上述したように注目領域画像表示部２０３に表示された注目領域画像から所望の注目領域画像を選択するユーザ選択操作があるときは、当該選択操作に基づいて、高解像度表示位置を決定する。つまり、制御部１３１は、ユーザ操作によって選択された注目領域画像に対応する領域（枠２１２で囲まれた領域）を高解像度表示位置に決定する。この場合、ユーザは、ユーザインタフェース部１３２を用いて、例えば、カーソルを所望の注目領域画像に移動させてクリック操作をすることで、所望の注目領域画像を選択できる。そして、この場合、高解像度画像表示部２０２には、選択された注目領域画像（高解像度画像）が表示される。
上述したように図１に示す画像表示システム１００においては、画像送信装置１１０の各カメラ部１１１-1〜１１１-nから出力される画像データに基づき、各画像データ処理部１１２-1〜１１２-nで、第１の解像度（高解像度）の画像データを圧縮符号化して第１の圧縮画像データＶ1H〜ＶnHを生成すると共に、第１の解像度より低い第２の解像度（低解像度）の画像データを圧縮符号化して第２の圧縮画像データＶ1L〜ＶnLを生成し、データ伝送部１１４から当該第１の圧縮画像データＶ1H〜ＶnHおよび第２の圧縮画像データＶ1L〜ＶnLを、ネットワーク１５０を介して画像表示装置１３０に送信するものである。したがって、この画像表示システム１００においては、各カメラ部１１１-1〜１１１-nから出力される画像データを用いてパノラマ画像用の画像データを生成して送信するものではなく、画像送信装置１１０側における処理データ量が減り、処理負荷を軽減できる。
また、図１に示す画像表示システム１００においては、画像送信装置１１０の各画像データ処理部１１２-1〜１１２-nでは、カメラ部１１１-1〜１１１-nから出力される画像データを処理して検知された動体または不動体の検知情報、あるいは外部センサ１１３-1〜１１３-nの検知情報を含むメタデータＭＤ１〜ＭＤnが生成され、このメタデータＭＤ１〜ＭＤnも、データ伝送部１１４からネットワーク１５０を介して画像表示装置１３０に送信される。したがって、この画像表示システム１００においては、画像表示装置１３０側で、パノラマ画像上への検知位置の表示、あるいは、さらにはその検知位置に対応した高解像度画像の表示などが容易に可能となる。
また、図１に示す画像表示システム１００においては、画像データ処理部１３４で、データ伝送部１３３で受信される、第２の解像度（低解像度）に係る第２の圧縮画像データＶ1L〜ＶnLが復号化されてパノラマ画像データが生成され、ディスプレイ１３６に低解像度のパノラマ画像が表示される。したがって、この画像表示システム１００においては、画像表示装置１３０側における処理データ量が減り、処理負荷を軽減できる。
また、図１に示す画像表示システム１００においては、画像データ処理部１３４で、データ伝送部１３３で受信される、第１の解像度（高解像度）に係る第１の圧縮画像データＶ1L〜ＶnLのうち、ユーザ操作に基づいて決定された高解像度表示位置に対応した分割画像に係る第１の圧縮画像データの復号化データを用いて高解像度画像データが生成され、ディスプレイ１３６に高解像画像が表示される。したがって、この画像表示システム１００においては、画像表示装置１３０の画像データ処理部１３４は第１の圧縮画像データＶ1H〜ＶnHのうち必要な第１の圧縮画像データのみを復号化して用いるものであり、画像表示装置１３０側における処理データ量が減り、処理負荷を軽減できる。
また、図１に示す画像表示システム１００においては、画像表示装置１３０の画像データ処理部１３４で、データ伝送部１３３で受信される動体、不動体等の検知情報に基づいて、第２の圧縮画像データＶ1L〜ＶnLの復号化データから検知位置画像データが生成され、ディスプレイ１３６に低解像度の検知位置画像が表示される。したがって、この画像表示システム１００においては、各検知位置に対応した検知位置画像をディスプレイ１３６にインデックス表示できる。なお、この場合、パノラマ画像を表示するために既に得られている第２の圧縮画像データの復号化データを用いることから、処理負荷が大幅に増加するということはない。
また、図１に示す画像表示システム１００においては、画像表示装置１３０側で、ユーザは、ユーザインタフェース部１３２により、ディスプレイ１３６に表示されるパノラマ画像上に、任意の画角の注目領域を設定できる。そして、この図１に示す画像表示システム１００においては、画像表示装置１３０の画像データ処理部１３４で、設定された注目領域に基づいて、第２の圧縮画像データＶ1L〜ＶnLの復号化データから注目領域画像データが生成され、ディスプレイ１３５に低解像度の注目領域画像が表示される。したがって、この画像表示システム１００においては、各注目領域に対応した注目領域画像をディスプレイ１３６にインデックス表示できる。なお、この場合、パノラマ画像を表示するために既に得られている第２の圧縮画像データの復号化データを用いることから、処理負荷が大幅に増加するということはない。
また、図１に示す画像表示システム１００においては、高解像度表示位置は、ディスプレイ１３６に表示されるパノラマ画像上におけるユーザ位置選択操作に基づいて、また、ディスプレイ１３６に表示される検知位置画像のユーザ選択操作に基づいて、あるいは、ディスプレイ１３６に表示される注目領域画像のユーザ選択操作に基づいて、決定される。したがって、この画像表示システム１００においては、画像表示装置１３０側で、ユーザは、パノラマ画像上の任意位置の画像、任意の検知位置画像、あるいは任意の注目領域画像を、ディスプレイ１３６に、高解像度画像で表示して見ることができる。
なお、上述実施の形態において、画像送信装置１１０の各画像データ処理部１１２-1〜１１２-nは、図９（１）に示すように、高解像度（第１の解像度）に係る第１の圧縮画像データＶ1H〜ＶnHおよび低解像度（第２の解像度）に係る第２の圧縮画像データＶ1L〜ＶnLを各フレームで生成し、それをデータ伝送部１１４が画像表示装置１３０に送信するものである。
しかし、図９（２）に示すように、低解像度（第２の解像度）に係る第２の圧縮画像データＶ1L〜ＶnLは各フレームで生成するが、高解像度（第１の解像度）に係る第１の圧縮画像データＶ1H〜ＶnHに関しては、間欠的なフレームにおいて生成することも考えられる。図９（２）の例は、第１の圧縮画像データＶ1H〜ＶnHは１フレームおきに生成されるものを示しており、実線で示すフレームのみが生成される。
このように第１の圧縮画像データＶ1H〜ＶnHを間欠的に生成することで、各画像データ処理部１１２-1〜１１２-nにおける処理負荷を軽減でき、また、データ伝送部１１４から画像表示装置１３０への送信データ量を少なくでき、伝送負荷を軽減できる。なお、図９（１），（２）において、数値はフレーム番号を示している。
また、上述実施の形態において、画像表示装置１３０の画像データ処理部１３４は、高解像度画像を表示する際、各フレームで第１の圧縮画像データＶ1H〜ＶnHを用いるが、第１の圧縮画像データＶ1H〜ＶnHと、第２の圧縮画像データＶ1L〜ＶnLとを所定のフレーム比率で用いることも考えられる。図１０（１）は、第１の圧縮画像データＶ1H〜ＶnHと第２の圧縮画像データＶ1L〜ＶnLとを、１対１のフレーム比率で用いる例を示しており、また、図１０（２）は、第１の圧縮画像データＶ1H〜ＶnHと第２の圧縮画像データＶ1L〜ＶnLとを、１対３のフレーム比率で用いる例を示している。なお、図１０（１），（２）において、数値はフレーム番号を示している。
この場合、第２の圧縮画像データＶ1L〜ＶnLを用いるフレームでは、補間等の処理によって、画素数を増やすことが行われる。第２の圧縮画像データＶ1L〜ＶnLの比率が高くなるほど、画質は低下する。このように高解像度画像を表示する際に、適当な割合で第２の圧縮画像データＶ1L〜ＶnLをも用いることで、画像データ処理部１３４における処理負荷を軽減できる。
なお、上述実施の形態において、画像送信装置１１０の画像データ処理部１１２-1〜１１２-nではカメラ部１１１-1〜１１１-nから出力される第１の解像度（例えば、ＵＸＧＡ）の画像データをそのまま高解像度エンコーダ１２３で圧縮符号化して第１の圧縮画像データＶ１H〜ＶnHを生成するものであった。しかし、例えば、カメラ部１１１-1〜１１１-nの水平、垂直の画素数がさらに多いものにあっては、画像データ処理部１１２-1〜１１２-nにおいて、カメラ部から出力される画像データより所定の画像領域を切り出して第１の解像度（例えば、ＵＸＧＡ）の画像データを取得し、当該第１の解像度の画像データを圧縮符号化して第１の圧縮画像データを生成することも考えられる。
図１１は、その場合における、画像送信装置１００の他の構成例を示している。この図１１においては、カメラ部１１１-2〜１１１-nおよび画像データ処理部１１２-2〜１１２-nの部分は省略して示している。この図１１において、図４と対応する部分には同一符号を付し、その詳細説明は省略する。
画像データ処理部１１２-1は、高解像度エンコーダ１２３、サイズ変更部１２４、低解像度エンコーダ１２５、動体／不動体検知部１２６およびメタデータ生成部１２７の他に、領域切り出し部１２８を有している。
領域切り出し部１２８は、カメラ部１１１-1から出力される画像データより所定の画像領域の画像データを切り出して、第１の解像度（例えば、ＵＸＧＡ）の画像データを取得する。領域切り出し部１２８には、メタデータ生成部１２７で生成されるメタデータＭＤ1が供給される。また、領域切り出し部１２８には、データ伝送部１１４で受信される、画像表示装置１３０側からの注目領域情報が供給される。この意味で、データ伝送部１１４は、情報受信を構成している。
領域切り出し部１２８では、例えば、メタデータＭＤ1に含まれる動体、不動体等の検知情報に基づいて、動体、不動体等の検知位置に対応した画像領域が切り出すべき所定の画像領域に設定される。また、領域切り出し部１２８では、例えば、注目領域情報に基づいて、画像表示装置１３０側で設定された注目領域が切り出すべき所定の画像領域に設定される。なお、領域切り出し部１２８で切り出される画像領域の個数は、動体、不動体等の検知個数、およびが画像表示装置１３０側で設定される注目領域の設定個数に応じて、変化する。
高解像度エンコーダ１２３は、領域切り出し部１２８で切り出された各画像領域の画像データに対して、圧縮符号化処理を行って、第１の圧縮画像データＶ1Hを生成する。この場合、上述したように領域切り出し部１２８で切り出される画像領域の個数が複数個となる場合には、当該高解像度エンコーダ１２３からは複数個の第１の圧縮画像データＶ1Hが得られることになる。
画像データ処理部１１２-1のその他の構成および動作は、図４に示すものと同様である。また、図示を省略している画像データ処理部１１２-2〜１１２-nの部分の構成および動作は、画像データ処理部１１２-1と同様である。
画像送信装置１１０を図１１に示すように構成することで、画像データ処理部１１２-1〜１１２-nにおいて、カメラ部から出力される画像データより所定の画像領域（例えば、動体、不動体等の検知位置領域、画像表示装置１３０側で設定された注目領域）の画像データを切り出して、第１の解像度に係る第１の圧縮画像データを生成することができる。
したがって、カメラ部１１１-1〜１１１-nの水平、垂直の画素数が多い場合であっても、必要な画像領域のみを選択的に圧縮符号化して第１の圧縮画像データを生成することから、画像データ処理部１１２-1〜１１２-nの処理負荷を軽減できる。なお、この場合、画像表示装置１３０では、動体、不動体等の検知位置および設定された注目領域の高解像度画像の表示は可能であるが、パノラマ画像上の任意の位置の高解像度画像の表示は不可能となる。
また、上述実施の形態においては、画像送信装置１１０側で第２の解像度に係る第２の圧縮画像データを１種類だけ生成して画像表示装置１３０側に送信するものを示した。しかし、画像送信装置１１０側で、当該第２の解像度に係る第２の圧縮画像データとして、解像度を段階的に変化させた複数種類のものを生成して画像表示装置１３０に送信するように構成することも考えられる。この場合、画像表示装置１３０側では、複数の第２の解像度を選択的に使用可能となり、画像サイズの変更等が容易となる。
この発明は、データ送信時および画像表示時における処理データ量を低減でき、処理負荷の軽減を図ることができるものであり、例えば、パノラマ画像を表示して監視する監視システム等に適用できる。
実施の形態としての画像表示システムの構成例を示すブロック図である。 複数個のカメラ部の配置例を示す図である。 パノラマ画像データを生成する際の画像変換情報を構成するレンズ情報を示す図である。 パノラマ画像データを生成する際の画像変換情報を構成するカメラの傾き情報を示す図である。 パノラマ画像データを生成する際の画像変換情報を構成する隣接カメラとの周辺混合比情報を示す図である。 画像送信装置の具体的な構成例を示すブロック図である。 画像表示装置の具体的な構成例を示すブロック図である。 画像送信装置の各カメラ部に対応した、高解像度（第１の解像度）の画像データおよび低解像度（第２の解像度）の画像データの構成を示す図である。 画像データ処理部の機能ブロックを示す図である。 ディスプレイの画面表示例を示す図である。 高解像度（第１の解像度）に係る第１の圧縮画像データおよび低解像度（第２の解像度）に係る第２の圧縮画像データの送信フレーム例を示す図である。 高解像度画像を表示する際に使用する、第１の圧縮画像データと、第２の圧縮画像データのフレーム比率の一例を示す図である。 画像送信装置の他の構成例を示すブロック図である。
符号の説明
１００・・・画像表示システム、１１０・・・画像送信装置、１１１-1〜１１１-n・・・カメラ部、１１２-1〜１１２-n・・・画像データ処理部、１１３-1〜１１３-n・・・外部センサ、１１４・・・データ伝送部、１２１・・・撮像部、１２２・・・撮像信号処理部、１２３・・・高解像度エンコーダ、１２４・・・サイズ変更部、１２５・・・低解像度エンコーダ、１２６・・・動体／不動体検知部、１２７・・・メタデータ生成部、１２８・・・領域切り出し部、１３０・・・画像表示装置、１３１・・・制御部、１３２・・・ユーザインタフェース部、１３３・・・データ伝送部、１３４・・・画像データ処理部、１３５・・・ＶＲＡＭ、１３６・・・ディスプレイ、１５０・・・ネットワーク

Claims (17)

  1. 画像送信装置と画像表示装置とがネットワークを介して接続されている画像表示システムであって、
    上記画像送信装置は、
    パノラマ画像を複数個に分割して得られる各分割画像にそれぞれ対応した画像データを出力する複数個のカメラ部と、
    上記各カメラ部から出力される画像データをそれぞれ処理して第１の解像度の画像データを圧縮符号化した第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した第２の圧縮画像データとを生成する複数個の画像データ処理部と、
    上記各画像データ処理部で生成された上記第１の圧縮画像データおよび上記第２の圧縮画像データを上記画像表示装置に送信するデータ送信部を有し、
    上記画像表示装置は、
    上記画像送信装置から送られてくる第１の圧縮画像データおよび第２の圧縮画像データを受信するデータ受信部と、
    上記データ受信部で受信された複数個の第２の圧縮画像データの復号化データを用いて、上記パノラマ画像を表示するためのパノラマ画像データを生成する第１の画像データ生成部と、
    上記パノラマ画像上における高解像度表示位置を決める表示位置決定部と、
    上記データ受信部で受信された複数個の第１の圧縮画像データのうち、上記表示位置決定部で決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて、高解像度画像を表示するための高解像度画像データを生成する第２の画像データ生成部と、
    上記第１の画像データ生成部で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成部で生成された高解像度画像データによる高解像度画像をディスプレイに表示する表示部を有する
    ことを特徴とする画像表示システム。
  2. パノラマ画像を複数個に分割して得られる各分割画像にそれぞれ対応した画像データを出力する複数個のカメラ部と、
    上記各カメラ部から出力される画像データをそれぞれ処理して第１の解像度の画像データを圧縮符号化した第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した第２の圧縮画像データとを生成する複数個の画像データ処理部と、
    上記各画像データ処理部で生成された上記第１の圧縮画像データおよび上記第２の圧縮画像データを送信するデータ送信部と
    を備えることを特徴とする画像送信装置。
  3. 上記各画像データ処理部は、上記カメラ部から出力される画像データを処理して検知された動体または不動体の検知情報、あるいは外部センサの検知情報を含むメタデータをさらに生成し、
    上記データ送信部は、上記各画像データ処理部で生成された上記第１の圧縮画像データおよび上記第２の圧縮画像データの他に、上記各画像データ処理部で生成された上記メタデータを送信する
    ことを特徴とする請求項２に記載の画像送信装置。
  4. 上記各画像データ処理部は、全てのフレームにおいて上記第２の圧縮画像データを生成すると共に、間欠的なフレームにおいて上記第１の圧縮画像データを生成する
    ことを特徴とする請求項２に記載の画像送信装置。
  5. 上記各画像データ処理部は、上記カメラ部から出力される画像データより所定の画像領域の画像データを切り出し、該切り出した画像データに対して圧縮符号化を行って上記第１の圧縮画像データを生成する
    ことを特徴とする請求項２に記載の画像送信装置。
  6. 上記各画像データ処理部は、上記カメラ部から出力される画像データを処理して検知された動体または不動体の検知情報、あるいは外部センサの検知情報に基づいて、上記所定の画像領域を決定する
    ことを特徴とする請求項５に記載の画像送信装置。
  7. 上記各画像データ処理部は、上記パノラマ画像上に設定された注目領域の情報を受信する情報受信部をさらに備え、
    上記各画像データ処理部は、上記情報受信部で受信された上記注目領域の情報に基づいて、上記所定の画像領域を決定する
    ことを特徴とする請求項５に記載の画像送信装置。
  8. パノラマ画像に対応した画像データを送信する画像送信方法であって、
    パノラマ画像を複数個に分割して得られる各分割画像にそれぞれ対応する複数個のカメラで撮像する撮像ステップと、
    上記撮像ステップで上記各カメラから出力される画像データをそれぞれ処理して、第１の解像度の画像データを圧縮符号化した第１の圧縮画像データを生成する第１の画像データ生成ステップと、
    上記撮像ステップで上記各カメラから出力される画像データをそれぞれ処理して、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した第２の圧縮画像データを生成する第２の画像データ生成ステップと、
    上記第１の画像データ生成ステップで生成された上記第１の圧縮画像データおよび上記第２の圧縮画像データを送信する送信ステップを備える
    ことを特徴とする画像送信方法。
  9. パノラマ画像を複数個に分割して得られる各分割画像をそれぞれ対応するカメラ部で撮像して得られる各画像データを処理して生成された、第１の解像度の画像データを圧縮符号化した複数個の第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した複数個の第２の圧縮画像データを受信するデータ受信部と、
    上記データ受信部で受信された複数個の第２の圧縮画像データの復号化データを用いて上記パノラマ画像を表示するためのパノラマ画像データを生成する第１の画像データ生成部と、
    上記パノラマ画像上における高解像度表示位置を決める表示位置決定部と、
    上記データ受信部で受信された複数個の第１の圧縮画像データのうち、上記表示位置決定部で決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて高解像度画像を表示するための高解像度画像データを生成する第２の画像データ生成部と、
    上記第１の画像データ生成部で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成部で生成された高解像度画像データによる高解像度画像をディスプレイに表示する表示部と
    を備えることを特徴とする画像表示装置。
  10. 上記表示位置決定部は、上記ディスプレイに表示される上記パノラマ画像上におけるユーザの位置選択操作に基づいて、上記高解像度表示位置を決定する
    ことを特徴とする請求項９に記載の画像表示装置。
  11. 上記データ受信部は、上記各カメラ部から出力される画像データをそれぞれ処理して検知された動体または不動体の検知情報、あるいは上記各カメラ部に対応して設けられた各外部センサの検知情報を含むメタデータをさらに受信し、
    上記データ受信部で受信された複数個の第２の圧縮画像データのうち、上記データ受信部で受信された複数個のメタデータに含まれる検知情報で示される検知位置に対応した分割画像の第２の圧縮画像データの復号化データを用いて検知位置画像を表示するための検知位置画像データを生成する第３の画像データ生成部をさらに備え、
    上記表示部は、上記第１の画像データ生成部で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成部で生成された高解像度画像データによる高解像度画像をディスプレイに表示する他に、上記第３の画像データ生成部で生成された検知位置画像をディスプレイに表示する
    ことを特徴とする請求項９に記載の画像表示装置。
  12. 上記表示位置決定部は、上記ディスプレイに表示される上記検知位置画像のユーザ選択操作に基づいて、上記高解像度表示位置を決定する
    ことを特徴とする請求項１１に記載の画像表示装置。
  13. 上記ディスプレイに表示される上記パノラマ画像上に注目領域を設定する注目領域設定部と、
    上記注目領域設定部で設定された注目領域に対応した分割画像の第２の圧縮画像データの復号化データを用いて注目領域画像を表示するための注目領域画像データを生成する第４の画像データ生成部をさらに備え、
    上記表示部は、上記第１の画像データ生成部で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成部で生成された高解像度画像データによる高解像度画像をディスプレイに表示する他に、上記第４の画像データ生成部で生成された注目領域画像をディスプレイに表示する
    ことを特徴とする請求項９に記載の画像表示装置。
  14. 上記表示位置決定部は、上記ディスプレイに表示される上記注目領域画像のユーザ選択操作に基づいて、上記高解像度表示位置を決定する
    ことを特徴とする請求項１３に記載の画像表示装置。
  15. 上記第２の画像データ生成部は、
    上記表示位置決定部で決定された高解像度表示位置に対応した分割画像の上記第１の圧縮画像データおよび上記第２の圧縮画像データを所定のフレーム比率で用いて高解像度画像を表示するための高解像度画像データを生成する
    ことを特徴とする請求項９に記載の画像表示装置。
  16. パノラマ画像を複数個に分割して得られる各分割画像をそれぞれ対応するカメラ部で撮像して得られる各画像データを処理して生成された、第１の解像度の画像データを圧縮符号化した複数個の第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した複数個の第２の圧縮画像データを受信するデータ受信ステップと、
    上記データ受信ステップで受信された複数個の第２の圧縮画像データの復号化データを用いて上記パノラマ画像を表示するためのパノラマ画像データを生成する第１の画像データ生成ステップと、
    上記パノラマ画像上における高解像度表示位置を決める表示位置決定ステップと、
    上記データ受信ステップで受信された複数個の第１の圧縮画像データのうち、上記表示位置決定ステップで決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて高解像度画像を表示するための高解像度画像データを生成する第２の画像データ生成ステップと、
    上記第１の画像データ生成ステップで生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成ステップで生成された高解像度画像データによる高解像度画像をディスプレイに表示する表示ステップと
    を備えることを特徴とする画像表示方法。
  17. コンピュータを、
    パノラマ画像を複数個に分割して得られる各分割画像をそれぞれ対応するカメラ部で撮像して得られる各画像データを処理して生成された、第１の解像度の画像データを圧縮符号化した複数個の第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した複数個の第２の圧縮画像データを受信するデータ受信手段と、
    上記データ受信手段で受信された複数個の第２の圧縮画像データの復号化データを用いて上記パノラマ画像を表示するためのパノラマ画像データを生成する第１の画像データ生成手段と、
    上記パノラマ画像上における高解像度表示位置を決める表示位置決定手段と、
    上記データ受信手段で受信された複数個の第１の圧縮画像データのうち、上記表示位置決定手段で決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて高解像度画像を表示するための高解像度画像データを生成する第２の画像データ生成手段と、
    上記第１の画像データ生成手段で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成手段で生成された高解像度画像データによる高解像度画像をディスプレイに表示する表示手段と
    して機能させるためのプログラム。
JP2007059596A 2007-03-09 2007-03-09 画像表示システム、画像表示装置、画像表示方法およびプログラム Expired - Fee Related JP4345829B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007059596A JP4345829B2 (ja) 2007-03-09 2007-03-09 画像表示システム、画像表示装置、画像表示方法およびプログラム
US12/074,344 US8305424B2 (en) 2007-03-09 2008-03-03 System, apparatus and method for panorama image display
CN2008100855080A CN101262597B (zh) 2007-03-09 2008-03-10 图像显示***、装置和方法,图像发送装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007059596A JP4345829B2 (ja) 2007-03-09 2007-03-09 画像表示システム、画像表示装置、画像表示方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2008225600A true JP2008225600A (ja) 2008-09-25
JP4345829B2 JP4345829B2 (ja) 2009-10-14

Family

ID=39762255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007059596A Expired - Fee Related JP4345829B2 (ja) 2007-03-09 2007-03-09 画像表示システム、画像表示装置、画像表示方法およびプログラム

Country Status (3)

Country Link
US (1) US8305424B2 (ja)
JP (1) JP4345829B2 (ja)
CN (1) CN101262597B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101300873B1 (ko) * 2011-10-11 2013-08-27 서울시립대학교 산학협력단 클라우드 컴퓨팅 기반의 영상 코딩 방법 및 장치
JP2016126209A (ja) * 2015-01-06 2016-07-11 大日本印刷株式会社 画像表示装置、画像表示方法、およびプログラム
JP2019524020A (ja) * 2016-06-07 2019-08-29 ヴィズビット インコーポレイテッド ライブストリーミング用のバーチャルリアリティ３６０度ビデオカメラシステム
JPWO2018134947A1 (ja) * 2017-01-19 2019-11-07 株式会社ソニー・インタラクティブエンタテインメント 画像配信装置
US10951818B2 (en) 2016-03-22 2021-03-16 Tencent Technology (Shenzhen) Company Limited Video encoding method and apparatus, device, and storage medium

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
JP5359783B2 (ja) * 2009-10-28 2013-12-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US20110292222A1 (en) * 2010-05-28 2011-12-01 Eu3C Company, Limited Photo-video player with automatic image file size reduction
JP5023193B2 (ja) * 2010-06-28 2012-09-12 株式会社東芝 情報処理装置
CN103534748B (zh) * 2012-03-22 2017-05-17 索尼公司 显示装置、图像处理装置和图像处理方法
US9564186B1 (en) * 2013-02-15 2017-02-07 Marvell International Ltd. Method and apparatus for memory access
EP2802122A1 (en) * 2013-05-07 2014-11-12 Nagravision S.A. A Media Player for Receiving Media Content from a Remote Server
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
CN103700132A (zh) * 2013-12-19 2014-04-02 湖北视纪印象科技股份有限公司 一种3d场景的广域尺寸渲染方法
JP5835383B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
CN103927005B (zh) 2014-04-02 2017-02-01 北京智谷睿拓技术服务有限公司 显示控制方法及显示控制装置
CN105389313A (zh) * 2014-09-04 2016-03-09 华为技术有限公司 图片预览方法及其装置
US11688014B1 (en) 2014-10-02 2023-06-27 United Services Automobile Association (Usaa) Systems and methods for unmanned vehicle management
US10102590B1 (en) 2014-10-02 2018-10-16 United Services Automobile Association (Usaa) Systems and methods for unmanned vehicle management
US10726560B2 (en) 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10586378B2 (en) 2014-10-31 2020-03-10 Fyusion, Inc. Stabilizing image sequences based on camera rotation and focal length parameters
US10719939B2 (en) 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
CN104410822B (zh) * 2014-11-24 2018-04-20 深圳市华宝电子科技有限公司 视频监控方法和车载视频监控设备
US10365646B1 (en) 2015-01-27 2019-07-30 United Services Automobile Association (Usaa) Systems and methods for unmanned vehicle management
KR20160094655A (ko) * 2015-02-02 2016-08-10 주식회사 일리시스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
JP6688469B2 (ja) * 2015-03-05 2020-04-28 ソニー株式会社 画像処理装置および画像処理方法
US9939810B1 (en) 2015-04-17 2018-04-10 United Services Automobile Association Indoor drone flight awareness system
US10313728B2 (en) * 2015-06-12 2019-06-04 Sony Corporation Information processing apparatus and information processing method
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US9609176B2 (en) * 2015-08-27 2017-03-28 Nokia Technologies Oy Method and apparatus for modifying a multi-frame image based upon anchor frames
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
WO2017086355A1 (ja) * 2015-11-17 2017-05-26 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および送受信システム
CN105635675B (zh) * 2015-12-29 2019-02-22 北京奇艺世纪科技有限公司 一种全景播放方法和装置
CN105491353B (zh) * 2016-01-15 2018-12-18 广东小天才科技有限公司 一种远程监控方法和装置
US10354386B1 (en) 2016-01-27 2019-07-16 United Services Automobile Association (Usaa) Remote sensing of structure damage
US10169856B1 (en) 2016-01-27 2019-01-01 United Services Automobile Association (Usaa) Laser-assisted image processing
US10313686B2 (en) * 2016-09-20 2019-06-04 Gopro, Inc. Apparatus and methods for compressing video content using adaptive projection selection
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
CN107959787B (zh) * 2016-10-17 2020-04-28 杭州海康威视数字技术股份有限公司 一种图像处理方法及装置
US10432856B2 (en) * 2016-10-27 2019-10-01 Mediatek Inc. Method and apparatus of video compression for pre-stitched panoramic contents
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10353946B2 (en) 2017-01-18 2019-07-16 Fyusion, Inc. Client-server communication for live search using multi-view digital media representations
US11044464B2 (en) 2017-02-09 2021-06-22 Fyusion, Inc. Dynamic content modification of image and video based multi-view interactive digital media representations
US10356395B2 (en) 2017-03-03 2019-07-16 Fyusion, Inc. Tilts as a measure of user engagement for multiview digital media representations
US10440351B2 (en) 2017-03-03 2019-10-08 Fyusion, Inc. Tilts as a measure of user engagement for multiview interactive digital media representations
US10200677B2 (en) 2017-05-22 2019-02-05 Fyusion, Inc. Inertial measurement unit progress estimation
US10237477B2 (en) 2017-05-22 2019-03-19 Fyusion, Inc. Loop closure
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN107333124B (zh) * 2017-06-30 2019-03-26 武汉精测电子集团股份有限公司 Aoi检测***中的图片压缩方法及显示面板缺陷检测***
CN107197166A (zh) * 2017-08-01 2017-09-22 哈尔滨市舍科技有限公司 一种双分辨率一体式全景摄像装置及方法
US10469768B2 (en) 2017-10-13 2019-11-05 Fyusion, Inc. Skeleton-based effects and background replacement
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
JP7315303B2 (ja) * 2018-01-26 2023-07-26 株式会社アイシン 画像処理装置
US10687046B2 (en) 2018-04-05 2020-06-16 Fyusion, Inc. Trajectory smoother for generating multi-view interactive digital media representations
US10382739B1 (en) 2018-04-26 2019-08-13 Fyusion, Inc. Visual annotation using tagging sessions
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
JP6987707B2 (ja) * 2018-06-28 2022-01-05 ルネサスエレクトロニクス株式会社 半導体装置、画像認識システム
CN113545094A (zh) * 2019-03-15 2021-10-22 索尼集团公司 运动图像分发***、运动图像分发方法以及显示终端
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
WO2022032589A1 (zh) * 2020-08-13 2022-02-17 深圳市大疆创新科技有限公司 全景回放的方法、装置和***、拍摄设备、可移动平台
CN113438495A (zh) * 2021-06-23 2021-09-24 中国联合网络通信集团有限公司 Vr直播方法、装置、***、设备及存储介质
CN114222061B (zh) * 2021-12-10 2024-03-22 中国人民解放军96901部队25分队 一种光电周扫的实时图像拼接与交互方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3240339B2 (ja) 1993-11-16 2001-12-17 コニカ株式会社 画像撮影装置及び画像処理装置
US5710661A (en) * 1996-06-27 1998-01-20 Hughes Electronics Integrated panoramic and high resolution sensor optics
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
US6137534A (en) * 1997-07-10 2000-10-24 Flashpoint Technology, Inc. Method and apparatus for providing live view and instant review in an image capture device
JP4244394B2 (ja) 1998-02-17 2009-03-25 富士ゼロックス株式会社 多地点会議システム
US20020063711A1 (en) * 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US20020075258A1 (en) * 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
WO2001089221A1 (en) * 2000-05-18 2001-11-22 Imove Inc. Multiple camera video system which displays selected images
JP4051945B2 (ja) 2001-02-07 2008-02-27 ソニー株式会社 撮像装置
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
US7130490B2 (en) * 2001-05-14 2006-10-31 Elder James H Attentive panoramic visual sensor
JP2003018583A (ja) 2001-07-05 2003-01-17 Sony Corp 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ
JP4211319B2 (ja) 2001-08-17 2009-01-21 ソニー株式会社 撮像装置
WO2003017646A1 (fr) 2001-08-17 2003-02-27 Sony Corporation Dispositif d'imagerie
JP2003087772A (ja) 2001-09-10 2003-03-20 Fujitsu Ltd 画像制御装置
JP2004062103A (ja) 2002-07-31 2004-02-26 Sony Corp 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム
JP2004187068A (ja) 2002-12-04 2004-07-02 Canon Inc パノラマ画像撮影システム
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
JP2005142654A (ja) 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
US7746404B2 (en) * 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
JP2005176301A (ja) 2003-11-11 2005-06-30 Canon Inc 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム
JP4349129B2 (ja) 2004-01-06 2009-10-21 株式会社ニコン インターバル撮影機能付きの電子カメラ、その画像再生装置、および画像再生プログラム
JP2005333552A (ja) 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
WO2006122320A2 (en) 2005-05-12 2006-11-16 Tenebraex Corporation Improved methods of creating a virtual window
US7839429B2 (en) * 2005-05-26 2010-11-23 Hewlett-Packard Development Company, L.P. In-camera panorama stitching method and apparatus
US20080180520A1 (en) * 2007-01-26 2008-07-31 Chao-Hung Chang System and method for variable-resolution image saving

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101300873B1 (ko) * 2011-10-11 2013-08-27 서울시립대학교 산학협력단 클라우드 컴퓨팅 기반의 영상 코딩 방법 및 장치
JP2016126209A (ja) * 2015-01-06 2016-07-11 大日本印刷株式会社 画像表示装置、画像表示方法、およびプログラム
US10951818B2 (en) 2016-03-22 2021-03-16 Tencent Technology (Shenzhen) Company Limited Video encoding method and apparatus, device, and storage medium
JP2019524020A (ja) * 2016-06-07 2019-08-29 ヴィズビット インコーポレイテッド ライブストリーミング用のバーチャルリアリティ３６０度ビデオカメラシステム
JPWO2018134947A1 (ja) * 2017-01-19 2019-11-07 株式会社ソニー・インタラクティブエンタテインメント 画像配信装置

Also Published As

Publication number Publication date
US8305424B2 (en) 2012-11-06
CN101262597A (zh) 2008-09-10
CN101262597B (zh) 2010-09-01
US20080225132A1 (en) 2008-09-18
JP4345829B2 (ja) 2009-10-14

Similar Documents

Publication Publication Date Title
JP4345829B2 (ja) 画像表示システム、画像表示装置、画像表示方法およびプログラム
US8243135B2 (en) Multiple-view processing in wide-angle video camera
US8970695B2 (en) Image processing device, image processing system, camera device, image processing method, and program
US10038841B1 (en) System for streaming multiple regions deriving from a wide-angle camera
US20140244858A1 (en) Communication system and relaying device
JP2009188792A (ja) 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム
EP2629520B1 (en) Apparatus and method for shooting moving picture in camera device
JP2008028606A (ja) パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム
CN102801963A (zh) 基于高清数字摄像头监控的电子ptz方法及装置
JP2008219484A (ja) 監視用カメラ、表示制御装置、および監視システム
JP2005073218A (ja) 画像処理装置
JP2006129152A (ja) 撮像装置および画像配信システム
JP2010219872A (ja) カメラ装置、表示装置、画像処理システムおよび画像処理方法
JP2004266670A (ja) 撮像装置及び方法、画像情報提供システム並びにプログラム
JP2009100259A (ja) 監視カメラおよび画像監視システム
US11039173B2 (en) Method of communicating video from a first electronic device to a second electronic device via a network, and a system having a camera and a mobile electronic device for performing the method
JP2007096412A (ja) 動画撮影装置及び動画送受信システム
US8208555B2 (en) Image capturing and transmission device and image receiving and reconstruction device
CN116016950A (zh) 用于传输视频流的方法和***
US11284094B2 (en) Image capturing device, distribution system, distribution method, and recording medium
US11997428B2 (en) Control system and method
KR20170011928A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
JP2007201816A (ja) 映像表示システム及び映像受信装置
JPH11187383A (ja) 映像監視システム及び映像監視方法
JP7296219B2 (ja) 受信装置、送信装置、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090706

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees