JP4331492B2 - 画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP4331492B2 JP4331492B2 JP2003065110A JP2003065110A JP4331492B2 JP 4331492 B2 JP4331492 B2 JP 4331492B2 JP 2003065110 A JP2003065110 A JP 2003065110A JP 2003065110 A JP2003065110 A JP 2003065110A JP 4331492 B2 JP4331492 B2 JP 4331492B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- block
- planar
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 83
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims description 59
- 238000007906 compression Methods 0.000 claims description 56
- 230000006835 compression Effects 0.000 claims description 55
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムに関し、特に、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能な画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムに関する。
【０００２】
【従来の技術】
従来より、魚眼レンズ（広角レンズを含む。）を用いて撮像された円形の曲面像を平面像に変換して圧縮符号化するシステムが知られている。例えば、特開平１１−１１９３０３号公報では、魚眼レンズによって取得された三次元画像を二次元画像に座標変換することによって、魚眼レンズのレンズ特性による歪みを有していた撮像画像を正常な二次元画像に修正する。そして、この二次元画像に対してＭＰＥＧ(Moving Picture Experts Group)方式などの画像圧縮処理を施すことによって、圧縮符号化された平面像を生成する。
【０００３】
【特許文献１】
特開平１１−１１９３０３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の従来技術は、圧縮符号化された平面像を生成するまでに時間を要するという問題点があり、圧縮符号化した動画像をインターネット上でリアルタイム配信しようといった場合には実用に供することが困難であった。すなわち、上記の従来技術では、平面変換処理と画像圧縮処理とを独立して実行しているが、この平面変換処理は、極座標系から直交座標系への変換という複雑な計算処理を画像上の各ピクセルごとに行うものであるため、計算量が膨大になり、圧縮符号化された平面像を生成するまでに多大な時間を必要としていた。
【０００５】
そこで、この発明は、上述した従来技術による問題点を解消するためになされたものであり、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能な画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理装置であって、前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（底辺ｎ×高さｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換手段と、前記平面像変換手段によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成手段と、前記ブロック内画像生成手段によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化手段と、を備えたことを特徴とする。
【０００７】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能になる。
【０００８】
また、請求項２に係る発明は、請求項１に記載の発明において、前記平面像変換手段、ブロック内拡大手段および圧縮符号化手段をそれぞれ複数備え、前記複数の平面像変換手段、ブロック内拡大手段および圧縮符号化手段それぞれは、前記曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行うことを特徴とする。
【０００９】
この発明によれば、曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行う。したがって、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成することが可能になる。
【００１０】
また、請求項３に係る発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化するとともに、当該圧縮符号化された平面像をネットワークを介してクライアント装置に提供する画像提供サーバ装置であって、前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（底辺ｎ×高さｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換手段と、前記平面像変換手段によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成手段と、前記ブロック内画像生成手段によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化手段と、前記圧縮符号化手段によって圧縮符号化された平面像を前記クライアント装置に対して送信する画像送信手段と、を備えたことを特徴とする。
【００１１】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化し、圧縮符号化された平面像をクライアント装置に対して送信する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００１２】
また、請求項４に係る発明は、請求項３に記載の発明において、前記平面像変換手段、ブロック内拡大手段および圧縮符号化手段をそれぞれ複数備え、前記複数の平面像変換手段、ブロック内拡大手段および圧縮符号化手段それぞれは、前記曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、前記画像送信手段は、各圧縮符号化手段によってそれぞれ圧縮符号化された平面像を多重化して前記クライアント装置に対して送信することを特徴とする。
【００１３】
この発明によれば、曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、それぞれ圧縮符号化された平面像を多重化してクライアント装置に対して送信する。したがって、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成および配信することが可能になる。
【００１４】
また、請求項５に係る発明は、請求項３または４に記載の発明において、前記画像送信手段によって送信された平面像における所定の領域を前記クライアント装置から選択させて受け付けて、当該選択させて受け付けた所定の領域における画像を拡大する領域拡大手段をさらに備え、前記画像送信手段は、前記領域拡大手段によって拡大された画像を前記クライアント装置に対して送信することを特徴とする。
【００１５】
この発明によれば、送信された平面像における所定の領域をクライアント装置から選択させて受け付けて、当該選択させて受け付けた所定の領域における画像を拡大し、拡大された画像をクライアント装置に対して送信する。したがって、利用者がバーチャルにズーム操作を行っているような感覚で、各利用者ごとに所望の領域の画像を迅速に配信することが可能になる。
【００１６】
また、請求項６に係る発明は、 魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理方法であって、前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（ｎ×ｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換工程と、前記平面像変換工程によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成工程と、前記ブロック内画像生成工程によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化工程と、を含んだことを特徴とする。
【００１７】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化し、圧縮符号化された平面像をクライアント装置に対して送信する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００１８】
また、請求項７に係る発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理方法をコンピュータに実行させる画像処理プログラムであって、前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（ｎ×ｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換手順と、前記平面像変換手順によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成手順と、前記ブロック内画像生成手順によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化手順と、をコンピュータに実行させることを特徴とする。
【００１９】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化し、圧縮符号化された平面像をクライアント装置に対して送信する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００２０】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムの好適な実施の形態を詳細に説明する。なお、以下では、本実施の形態に係る画像処理システムの概要および特徴を説明してから、この画像処理システムにおけるエンコーダの構成および処理手順を説明し、これに続いて、この画像処理システムにおける画像提供サーバ装置の構成を説明し、最後に他の実施の形態として種々の変形例を説明する。
【００２１】
（画像処理システムの概要および特徴）
まず最初に、図１を用いて、本実施の形態に係る画像処理システムの概要および特徴を説明する。図１は、本実施の形態に係る画像処理システムの構成を示すシステム構成図である。同図に示すように、本実施の形態に係る画像処理システムは、魚眼レンズカメラ２およびエンコーダ１０を有する画像提供サーバ装置２０と、Ｗｅｂブラウザを有する複数のクライアント装置３０とを、インターネットなどのネットワーク１を介して相互に通信可能に接続して構成される。
【００２２】
かかる画像処理システムにおいては、魚眼レンズカメラ２は、鑑賞対象である絵画が配置されたギャラリー会場の天井などに設置され、パンなどのカメラ操作なしに広範囲の撮像範囲（例えば、３６０度）を一括して撮像するものである。なお、魚眼レンズカメラ２によって撮像された画像は、図３（ａ）に示すように、魚眼レンズのレンズ特性による歪みを有した円形の曲面像になる。
【００２３】
また、エンコーダ１０は、魚眼レンズカメラ２によって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化（例えば、ＪＰＥＧやＭＰＥＧなどの画像圧縮符号化）する画像処理装置である。そして、画像提供サーバ装置２０は、各クライアント装置３０からの要求に応じて、エンコーダ１０によって圧縮符号化された平面像をネットワーク１を介してクライアント装置３０に提供する。なお、クライアント装置１０は、例えば、パーソナルコンピュータやワークステーション、家庭用ゲーム機、インターネットＴＶ、ＰＤＡ、あるいは携帯電話やＰＨＳの如き移動体通信端末である。
【００２４】
このように、図１に示した画像処理システムは、概略的には、魚眼レンズカメラ２によって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化するとともに、この圧縮符号化された平面像をネットワーク１を介してクライアント装置１０に提供するものである。そして、この画像処理システムは、エンコーダ１０による圧縮符号化処理に主たる特徴があり、魚眼レンズカメラ２によって撮像された曲面像から圧縮符号化された平面像を迅速に生成できるようにしている。
【００２５】
ここで、この主たる特徴を簡単に説明すると、エンコーダ１０では、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し（図２（ｂ）参照）、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し（同図（ｃ）参照）、拡大された各ブロック内の画像を圧縮符号化するようにしている。つまり、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、上記した主たる特徴の如く、「魚眼レンズによって撮像された曲面像」から「圧縮符号化された平面像」を迅速に生成することを可能にしている。
【００２６】
さらに、本実施の形態に係る位置検出システムにおいては、上記の主たる特徴に関連して、画像提供サーバ装置２０が、送信した平面像における所定の領域をクライアント装置３０から選択させて受け付けて、この選択させて受け付けた所定の領域における画像を拡大してクライアント装置３０に送信する。つまり、これによって、利用者がバーチャルにズーム操作を行っているような感覚で、各利用者ごとに所望の領域の画像を迅速に配信することを可能にしている。
【００２７】
（エンコーダの構成）
次に、図２〜図５を用いて、本実施の形態に係る画像処理システムにおけるエンコーダ１０の構成を説明する。なお、図２は、図１に示したエンコーダ１０の構成を示すブロック図であり、図３は、平面像変換およびブロック内拡大の概念を説明するための説明図であり、図４および図５は、ブロック内拡大の具体例を説明するための説明図である。
【００２８】
かかるエンコーダ１０は、上記したように、魚眼レンズカメラ２によって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する装置であり、図２に示すように、平面像変換部１１と、ブロック内拡大部１２と、圧縮符号化部１３と、画像メモリ１４とから構成される。
【００２９】
このうち、平面像変換部１１は、魚眼レンズカメラ２によって撮像された円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する処理部である。具体的には、図３（ａ）に示すような円形（例えば、半径ｒ）の曲面像を、ブロック分割（例えば、８×８ピクセル）のサイズである８ピクセル単位で円周分割しながらブロック分割する。そして、その結果として、同図（ｂ）に示すように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の二等辺三角形が連なり、かつ、８×８ピクセルのサイズでブロック分割された平面像を生成する。
【００３０】
ブロック内拡大部１２は、平面像変換部１１によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大する処理部である。具体的には、図３（ｂ）に示した二等辺三角形の画像それぞれを横方向に拡大して、同図（ｃ）に示すように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の四角形が連なった平面像を生成する。
【００３１】
ここで、かかるブロック内拡大処理を具体例を用いて概念的に説明すると、図３（ｂ）に示したブロックＡについては、図４（ａ）に示すように、台形の上辺サイズが８ピクセルになるように拡大することで、８×８ピクセルの画像を得る。また、図３（ｂ）に示したブロックＢについては、図４（ｂ）に示すように、台形の上辺サイズおよび下辺サイズがともに８ピクセルになるように拡大することで、８×８ピクセルの画像を得る。なお、中間層の拡大率は、上辺の拡大率（最大拡大率）および下辺の拡大率（最小拡大率）を用いて推定される。
【００３２】
さらに、かかるブロック内拡大処理をピクセル（画素）を用いたイメージで説明すると、図５（ａ）に示すようなブロック内拡大処理を行う場合には、最初に、同図（ｂ）に示すように、各ピクセルの画素が拡大（展開）することで、拡大による空き画素を含んだ８×８ピクセルの画像を得る。そして、かかる空き画素を、周囲のオリジナル画素を用いて整形補間することで、空き画素のない８×８ピクセルの画像を得る。
【００３３】
図２の説明に戻ると、圧縮符号化部１３は、ブロック内拡大部１２によって拡大された各ブロック内の画像を圧縮符号化する処理部である。具体的には、いわゆるＪＰＥＧやＭＰＥＧなどの画像圧縮符号化方式に従い、各ブロックの画像に対して、離散コサイン変換（ＤＣＴ）、量子化、エントロピー符号化といった一連の処理を施すことによって、圧縮符号化された平面像を生成する。
【００３４】
画像メモリ１４は、上記の各部（平面像変換部１１、ブロック内拡大部１２、圧縮符号化部１３）による各種処理に必要な画像データおよびプログラムを格納する格納手段（記憶手段）であり、例えば、魚眼レンズカメラ２によって撮像された画像や、ブロック内拡大部１２による処理途中の画像データ、圧縮符号化部１３によって圧縮符号化された平面像の画像データを記憶する。なお、かかる圧縮符号化された平面像の画像データは、画像提供サーバ装置２０に入力され、かかる画像提供サーバ装置２０に最終的に記憶される。
【００３５】
なお、上述してきたエンコーダ１０は、専用の画像処理装置（特許請求の範囲に記載された「画像処理装置」に対応。）によって構成するだけでなく、既知のパーソナルコンピュータ、ワークステーション、ＰＨＳ端末、携帯端末、移動体通信端末またはＰＤＡなどの情報処理装置に、上記した各部の機能をハードウェア若しくはソフトウェアとして搭載することによって実現することもできる。
【００３６】
（エンコーダの処理手順）
次に、図６を用いて、図２に示したエンコーダ１０による処理手順（特に、平面像変換およびブロック内拡大を特徴とする画像処理）を説明する。図６は、エンコーダ１０による画像処理の手順を示すフローチャートである。
【００３７】
同図に示すように、エンコーダ１０は、魚眼レンズカメラ２によって撮像された円形の曲面像（図３（ａ）参照）が入力されると（ステップＳ６０１肯定）、かかる円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する（ステップＳ６０２）。つまり、図３（ｂ）に示したように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の二等辺三角形が連なり、かつ、８×８ピクセルのサイズでブロック分割された平面像を得る。
【００３８】
続いて、エンコーダ１０は、平面像変換部１１によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大する（ステップＳ６０３）。つまり、図３（ｃ）に示すように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の四角形が連なった平面像を得る。
【００３９】
そして、エンコーダ１０は、ブロック内拡大部１２によって拡大された各ブロック内の画像を圧縮符号化し（ステップＳ６０４）、かかる圧縮符号化された画像を画像メモリ１４に格納する（ステップＳ６０５）。したがって、上記した一連の処理を経ることによって、「魚眼レンズによって撮像された曲面像」から「圧縮符号化された平面像」が迅速に生成されて画像メモリ１４に格納される。
【００４０】
なお、エンコーダ１０が動画像を圧縮符号化するものである場合には、上記したステップＳ６０１〜Ｓ６０５の処理を動画像の圧縮符号化処理として順次繰り返すことで、いわゆるＩピクチャ、Ｂピクチャ、Ｐピクチャからなる動画像の圧縮符号化ストリームが生成されて画像メモリ１４に格納される。
【００４１】
（画像提供サーバ装置の構成等）
次に、図７および図８を用いて、本実施の形態に係る画像処理システムにおける画像提供サーバ装置２０を説明する。図７は、図１に示した画像提供サーバ装置２０の構成を示すブロック図であり、図８は、図１に示したクライアント装置３０の画面イメージを示す図である。
【００４２】
かかる画像提供サーバ装置２０は、上記したように、各クライアント装置３０からの要求に応じて、エンコーダ１０によって圧縮符号化された平面像をネットワーク１を介してクライアント装置３０に提供する装置であり、図７に示すように、入力部２１と、出力部２２と、入出力制御ＩＦ部２３と、通信制御ＩＦ部２４と、記憶部２５と、制御部２６とから構成される。
【００４３】
このうち、入力部２１は、各種の情報の入力を受付ける入力手段であり、キーボードやマウスを備えて構成され、例えば、魚眼レンズカメラ２やエンコーダ１０に対する操作指示などを受け付けて入力する。また、出力部２２は、各種の情報を出力する出力手段であり、モニタやスピーカを備えて構成され、例えば、魚眼レンズカメラ２やエンコーダ２０の動作状態などを表示出力する。
【００４４】
入出力制御ＩＦ部２３は、これら入力部２１および出力部２２やエンコーダ１０によるデータの入出力を制御する手段であり、例えば、エンコーダ１０から圧縮符号化された平面像の画像データを入力制御する。また、通信制御ＩＦ部２４は、ネットワーク１を介してクライアント装置３０との間でやり取りする画面操作指示情報や画像データに関する通信を制御する手段である。
【００４５】
記憶部２５は、制御部２６による各種処理に必要なデータ（例えば、各利用者の認証情報など）およびプログラムを格納する格納手段（記憶手段）であり、特に本発明に密接に関連するものとしては、機能概念的に、画像メモリ２５ａを備える。具体的には、この画像メモリ２５ａは、エンコーダ１０から入力された平面像の圧縮符号化画像データを、撮像時刻に対応付けて記憶する。
【００４６】
制御部２６は、ＯＳ（Operating System）などの制御プログラム、各種の処理手順などを規定したプログラム（例えば、画像送信プログラムや利用者認証プログラムなど）および所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、機能概念的に、画面操作受付部２６ａと、画面作成部２６ｂとを備える。
【００４７】
そして、画面操作受付部２６ａは、クライアント装置３０に送信されて表示される画面についての操作をクライアント装置３０から受け付ける処理部であり、画面作成部２６ｂは、画面操作受付部２６ａによって受け付けられた操作要求に応じて、クライアント装置３０に送信されて表示される画面データを画像メモリ２５ａに格納された画像データから作成する処理部である。
【００４８】
ここで、かかる画面操作受付および画面作成の処理を具体的に説明すると、クライアント装置３０に送信されて表示される画面は、図８に示すように、全体イメージ（例えば、図３（ｃ）に示す全体若しくは一部の画像イメージ）を表示する「全体イメージフィールド」と、そこから選択された部分イメージを表示する「部分イメージフィールド」と、ズームやパンまたはチルトなどのバーチャルなカメラ操作を受け付ける「ズームフィールド」とから構成される。
【００４９】
かかる画面において、例えば、利用者が「全体イメージフィールド」の所定の領域を選択指示すると、画像提供サーバ装置２０では、選択指示された領域の画像を補間法などによって拡大してクライアント装置３０に送信し、かかる拡大画像が「部分イメージフィールド」に表示される。また、例えば、利用者が「ズームフィールド」のズームやパン、チルトなどカメラ操作を指示すると、画像提供サーバ装置２０では、カメラ操作指示に応じた画像を作成してクライアント装置３０に送信し、かかるズームやパンまたはチルトに応じた画像が「全体イメージフィールド」に表示される。
【００５０】
（他の実施の形態）
さて、これまで本発明の実施の形態について説明したが、本発明は上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてもよいものである。
【００５１】
例えば、本実施の形態では、ギャラリー会場に魚眼レンズカメラ２を設置した場合を説明したが、本発明はこれに限定されるものではなく、店舗や自宅、病院などの画像による監視が行われ得る場所や、観光地やギャラリー会場などの画像による鑑賞が行われ得る場所であれば、魚眼レンズカメラ２を同様に設置して本発明を適用することができる。
【００５２】
また、本実施の形態では、ブロック内拡大処理に際して、空き画素を周囲のオリジナル画素を用いて整形補間する場合を説明したが、本発明はこれに限定されるものではなく、離散コサイン変換（ＤＣＴ）に際して周囲のＤＣＴ係数を用いて空きを補うようにしてもよい。さらに、この場合には、画像劣化が少ないのであれば、ＤＣＴ係数を用いた補間自体を省略して（空き画素のＤＣＴ係数を「０」とする。）、圧縮符号化処理の高速化を図るようにしてもよい。
【００５３】
さらに、本実施の形態では、エンコーダ１０において単一の平面像変換部１１、ブロック内拡大部１２および圧縮符号化部１３を設ける場合を説明したが、本発明はこれに限定されるものではなく、複数の平面像変換部１１、ブロック内拡大部１２および圧縮符号化部１３を設けるようにしてもよい。すなわち、この場合には、複数の平面像変換部１１、ブロック内拡大部１２および圧縮符号化部１３それぞれが、魚眼レンズカメラ２によって撮像された円形の曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、それぞれ圧縮符号化された平面像を多重化してクライアント装置１０に対して送信する。したがって、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成および配信することが可能になる。
【００５４】
また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００５５】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、図１に示したエンコーダ１０および画像提供サーバ装置２０を統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００５６】
なお、本実施の形態で説明した画像処理方法（圧縮符号化のブロック分割を利用した平面変換処理）は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【００５７】
【発明の効果】
以上説明したように、請求項１、６または７の発明によれば、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能になる。
【００５８】
また、請求項２の発明によれば、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成することが可能になる。
【００５９】
また、請求項３の発明によれば、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００６０】
また、請求項４の発明によれば、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成および配信することが可能になる。
【００６１】
また、請求項５の発明によれば、利用者がバーチャルにズーム操作を行っているような感覚で、各利用者ごとに所望の領域の画像を迅速に配信することが可能になる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理システムの構成を示すシステム構成図である。
【図２】図１に示したエンコーダの構成を示すブロック図である。
【図３】平面像変換およびブロック内拡大の概念を説明するための説明図である。
【図４】ブロック内拡大の具体例を説明するための説明図である。
【図５】ブロック内拡大の具体例を説明するための説明図である。
【図６】エンコーダによる画像処理の手順を示すフローチャートである。
【図７】図１に示した画像提供サーバ装置の構成を示すブロック図である。
【図８】図１に示したクライアント装置の画面イメージを示す図である。
【符号の説明】
１ ネットワーク
２ 魚眼レンズカメラ
１０ エンコーダ
１１ 平面像変換部
１２ ブロック内拡大部
１３ 圧縮符号化部
１４ 画像メモリ
２０ 画像提供サーバ装置
２１ 入力部
２２ 出力部
２３ 入出力制御ＩＦ部
２４ 通信制御ＩＦ部
２５ 記憶部
２５ａ 画像メモリ
２６ 制御部
２６ａ 画面操作受付部
２６ｂ 画面作成部
３０ クライアント装置
【発明の属する技術分野】
この発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムに関し、特に、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能な画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムに関する。
【０００２】
【従来の技術】
従来より、魚眼レンズ（広角レンズを含む。）を用いて撮像された円形の曲面像を平面像に変換して圧縮符号化するシステムが知られている。例えば、特開平１１−１１９３０３号公報では、魚眼レンズによって取得された三次元画像を二次元画像に座標変換することによって、魚眼レンズのレンズ特性による歪みを有していた撮像画像を正常な二次元画像に修正する。そして、この二次元画像に対してＭＰＥＧ(Moving Picture Experts Group)方式などの画像圧縮処理を施すことによって、圧縮符号化された平面像を生成する。
【０００３】
【特許文献１】
特開平１１−１１９３０３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の従来技術は、圧縮符号化された平面像を生成するまでに時間を要するという問題点があり、圧縮符号化した動画像をインターネット上でリアルタイム配信しようといった場合には実用に供することが困難であった。すなわち、上記の従来技術では、平面変換処理と画像圧縮処理とを独立して実行しているが、この平面変換処理は、極座標系から直交座標系への変換という複雑な計算処理を画像上の各ピクセルごとに行うものであるため、計算量が膨大になり、圧縮符号化された平面像を生成するまでに多大な時間を必要としていた。
【０００５】
そこで、この発明は、上述した従来技術による問題点を解消するためになされたものであり、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能な画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理装置であって、前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（底辺ｎ×高さｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換手段と、前記平面像変換手段によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成手段と、前記ブロック内画像生成手段によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化手段と、を備えたことを特徴とする。
【０００７】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能になる。
【０００８】
また、請求項２に係る発明は、請求項１に記載の発明において、前記平面像変換手段、ブロック内拡大手段および圧縮符号化手段をそれぞれ複数備え、前記複数の平面像変換手段、ブロック内拡大手段および圧縮符号化手段それぞれは、前記曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行うことを特徴とする。
【０００９】
この発明によれば、曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行う。したがって、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成することが可能になる。
【００１０】
また、請求項３に係る発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化するとともに、当該圧縮符号化された平面像をネットワークを介してクライアント装置に提供する画像提供サーバ装置であって、前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（底辺ｎ×高さｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換手段と、前記平面像変換手段によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成手段と、前記ブロック内画像生成手段によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化手段と、前記圧縮符号化手段によって圧縮符号化された平面像を前記クライアント装置に対して送信する画像送信手段と、を備えたことを特徴とする。
【００１１】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化し、圧縮符号化された平面像をクライアント装置に対して送信する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００１２】
また、請求項４に係る発明は、請求項３に記載の発明において、前記平面像変換手段、ブロック内拡大手段および圧縮符号化手段をそれぞれ複数備え、前記複数の平面像変換手段、ブロック内拡大手段および圧縮符号化手段それぞれは、前記曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、前記画像送信手段は、各圧縮符号化手段によってそれぞれ圧縮符号化された平面像を多重化して前記クライアント装置に対して送信することを特徴とする。
【００１３】
この発明によれば、曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、それぞれ圧縮符号化された平面像を多重化してクライアント装置に対して送信する。したがって、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成および配信することが可能になる。
【００１４】
また、請求項５に係る発明は、請求項３または４に記載の発明において、前記画像送信手段によって送信された平面像における所定の領域を前記クライアント装置から選択させて受け付けて、当該選択させて受け付けた所定の領域における画像を拡大する領域拡大手段をさらに備え、前記画像送信手段は、前記領域拡大手段によって拡大された画像を前記クライアント装置に対して送信することを特徴とする。
【００１５】
この発明によれば、送信された平面像における所定の領域をクライアント装置から選択させて受け付けて、当該選択させて受け付けた所定の領域における画像を拡大し、拡大された画像をクライアント装置に対して送信する。したがって、利用者がバーチャルにズーム操作を行っているような感覚で、各利用者ごとに所望の領域の画像を迅速に配信することが可能になる。
【００１６】
また、請求項６に係る発明は、 魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理方法であって、前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（ｎ×ｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換工程と、前記平面像変換工程によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成工程と、前記ブロック内画像生成工程によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化工程と、を含んだことを特徴とする。
【００１７】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化し、圧縮符号化された平面像をクライアント装置に対して送信する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００１８】
また、請求項７に係る発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理方法をコンピュータに実行させる画像処理プログラムであって、前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（ｎ×ｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換手順と、前記平面像変換手順によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成手順と、前記ブロック内画像生成手順によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化手順と、をコンピュータに実行させることを特徴とする。
【００１９】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化し、圧縮符号化された平面像をクライアント装置に対して送信する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００２０】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムの好適な実施の形態を詳細に説明する。なお、以下では、本実施の形態に係る画像処理システムの概要および特徴を説明してから、この画像処理システムにおけるエンコーダの構成および処理手順を説明し、これに続いて、この画像処理システムにおける画像提供サーバ装置の構成を説明し、最後に他の実施の形態として種々の変形例を説明する。
【００２１】
（画像処理システムの概要および特徴）
まず最初に、図１を用いて、本実施の形態に係る画像処理システムの概要および特徴を説明する。図１は、本実施の形態に係る画像処理システムの構成を示すシステム構成図である。同図に示すように、本実施の形態に係る画像処理システムは、魚眼レンズカメラ２およびエンコーダ１０を有する画像提供サーバ装置２０と、Ｗｅｂブラウザを有する複数のクライアント装置３０とを、インターネットなどのネットワーク１を介して相互に通信可能に接続して構成される。
【００２２】
かかる画像処理システムにおいては、魚眼レンズカメラ２は、鑑賞対象である絵画が配置されたギャラリー会場の天井などに設置され、パンなどのカメラ操作なしに広範囲の撮像範囲（例えば、３６０度）を一括して撮像するものである。なお、魚眼レンズカメラ２によって撮像された画像は、図３（ａ）に示すように、魚眼レンズのレンズ特性による歪みを有した円形の曲面像になる。
【００２３】
また、エンコーダ１０は、魚眼レンズカメラ２によって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化（例えば、ＪＰＥＧやＭＰＥＧなどの画像圧縮符号化）する画像処理装置である。そして、画像提供サーバ装置２０は、各クライアント装置３０からの要求に応じて、エンコーダ１０によって圧縮符号化された平面像をネットワーク１を介してクライアント装置３０に提供する。なお、クライアント装置１０は、例えば、パーソナルコンピュータやワークステーション、家庭用ゲーム機、インターネットＴＶ、ＰＤＡ、あるいは携帯電話やＰＨＳの如き移動体通信端末である。
【００２４】
このように、図１に示した画像処理システムは、概略的には、魚眼レンズカメラ２によって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化するとともに、この圧縮符号化された平面像をネットワーク１を介してクライアント装置１０に提供するものである。そして、この画像処理システムは、エンコーダ１０による圧縮符号化処理に主たる特徴があり、魚眼レンズカメラ２によって撮像された曲面像から圧縮符号化された平面像を迅速に生成できるようにしている。
【００２５】
ここで、この主たる特徴を簡単に説明すると、エンコーダ１０では、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し（図２（ｂ）参照）、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し（同図（ｃ）参照）、拡大された各ブロック内の画像を圧縮符号化するようにしている。つまり、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、上記した主たる特徴の如く、「魚眼レンズによって撮像された曲面像」から「圧縮符号化された平面像」を迅速に生成することを可能にしている。
【００２６】
さらに、本実施の形態に係る位置検出システムにおいては、上記の主たる特徴に関連して、画像提供サーバ装置２０が、送信した平面像における所定の領域をクライアント装置３０から選択させて受け付けて、この選択させて受け付けた所定の領域における画像を拡大してクライアント装置３０に送信する。つまり、これによって、利用者がバーチャルにズーム操作を行っているような感覚で、各利用者ごとに所望の領域の画像を迅速に配信することを可能にしている。
【００２７】
（エンコーダの構成）
次に、図２〜図５を用いて、本実施の形態に係る画像処理システムにおけるエンコーダ１０の構成を説明する。なお、図２は、図１に示したエンコーダ１０の構成を示すブロック図であり、図３は、平面像変換およびブロック内拡大の概念を説明するための説明図であり、図４および図５は、ブロック内拡大の具体例を説明するための説明図である。
【００２８】
かかるエンコーダ１０は、上記したように、魚眼レンズカメラ２によって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する装置であり、図２に示すように、平面像変換部１１と、ブロック内拡大部１２と、圧縮符号化部１３と、画像メモリ１４とから構成される。
【００２９】
このうち、平面像変換部１１は、魚眼レンズカメラ２によって撮像された円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する処理部である。具体的には、図３（ａ）に示すような円形（例えば、半径ｒ）の曲面像を、ブロック分割（例えば、８×８ピクセル）のサイズである８ピクセル単位で円周分割しながらブロック分割する。そして、その結果として、同図（ｂ）に示すように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の二等辺三角形が連なり、かつ、８×８ピクセルのサイズでブロック分割された平面像を生成する。
【００３０】
ブロック内拡大部１２は、平面像変換部１１によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大する処理部である。具体的には、図３（ｂ）に示した二等辺三角形の画像それぞれを横方向に拡大して、同図（ｃ）に示すように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の四角形が連なった平面像を生成する。
【００３１】
ここで、かかるブロック内拡大処理を具体例を用いて概念的に説明すると、図３（ｂ）に示したブロックＡについては、図４（ａ）に示すように、台形の上辺サイズが８ピクセルになるように拡大することで、８×８ピクセルの画像を得る。また、図３（ｂ）に示したブロックＢについては、図４（ｂ）に示すように、台形の上辺サイズおよび下辺サイズがともに８ピクセルになるように拡大することで、８×８ピクセルの画像を得る。なお、中間層の拡大率は、上辺の拡大率（最大拡大率）および下辺の拡大率（最小拡大率）を用いて推定される。
【００３２】
さらに、かかるブロック内拡大処理をピクセル（画素）を用いたイメージで説明すると、図５（ａ）に示すようなブロック内拡大処理を行う場合には、最初に、同図（ｂ）に示すように、各ピクセルの画素が拡大（展開）することで、拡大による空き画素を含んだ８×８ピクセルの画像を得る。そして、かかる空き画素を、周囲のオリジナル画素を用いて整形補間することで、空き画素のない８×８ピクセルの画像を得る。
【００３３】
図２の説明に戻ると、圧縮符号化部１３は、ブロック内拡大部１２によって拡大された各ブロック内の画像を圧縮符号化する処理部である。具体的には、いわゆるＪＰＥＧやＭＰＥＧなどの画像圧縮符号化方式に従い、各ブロックの画像に対して、離散コサイン変換（ＤＣＴ）、量子化、エントロピー符号化といった一連の処理を施すことによって、圧縮符号化された平面像を生成する。
【００３４】
画像メモリ１４は、上記の各部（平面像変換部１１、ブロック内拡大部１２、圧縮符号化部１３）による各種処理に必要な画像データおよびプログラムを格納する格納手段（記憶手段）であり、例えば、魚眼レンズカメラ２によって撮像された画像や、ブロック内拡大部１２による処理途中の画像データ、圧縮符号化部１３によって圧縮符号化された平面像の画像データを記憶する。なお、かかる圧縮符号化された平面像の画像データは、画像提供サーバ装置２０に入力され、かかる画像提供サーバ装置２０に最終的に記憶される。
【００３５】
なお、上述してきたエンコーダ１０は、専用の画像処理装置（特許請求の範囲に記載された「画像処理装置」に対応。）によって構成するだけでなく、既知のパーソナルコンピュータ、ワークステーション、ＰＨＳ端末、携帯端末、移動体通信端末またはＰＤＡなどの情報処理装置に、上記した各部の機能をハードウェア若しくはソフトウェアとして搭載することによって実現することもできる。
【００３６】
（エンコーダの処理手順）
次に、図６を用いて、図２に示したエンコーダ１０による処理手順（特に、平面像変換およびブロック内拡大を特徴とする画像処理）を説明する。図６は、エンコーダ１０による画像処理の手順を示すフローチャートである。
【００３７】
同図に示すように、エンコーダ１０は、魚眼レンズカメラ２によって撮像された円形の曲面像（図３（ａ）参照）が入力されると（ステップＳ６０１肯定）、かかる円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する（ステップＳ６０２）。つまり、図３（ｂ）に示したように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の二等辺三角形が連なり、かつ、８×８ピクセルのサイズでブロック分割された平面像を得る。
【００３８】
続いて、エンコーダ１０は、平面像変換部１１によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大する（ステップＳ６０３）。つまり、図３（ｃ）に示すように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の四角形が連なった平面像を得る。
【００３９】
そして、エンコーダ１０は、ブロック内拡大部１２によって拡大された各ブロック内の画像を圧縮符号化し（ステップＳ６０４）、かかる圧縮符号化された画像を画像メモリ１４に格納する（ステップＳ６０５）。したがって、上記した一連の処理を経ることによって、「魚眼レンズによって撮像された曲面像」から「圧縮符号化された平面像」が迅速に生成されて画像メモリ１４に格納される。
【００４０】
なお、エンコーダ１０が動画像を圧縮符号化するものである場合には、上記したステップＳ６０１〜Ｓ６０５の処理を動画像の圧縮符号化処理として順次繰り返すことで、いわゆるＩピクチャ、Ｂピクチャ、Ｐピクチャからなる動画像の圧縮符号化ストリームが生成されて画像メモリ１４に格納される。
【００４１】
（画像提供サーバ装置の構成等）
次に、図７および図８を用いて、本実施の形態に係る画像処理システムにおける画像提供サーバ装置２０を説明する。図７は、図１に示した画像提供サーバ装置２０の構成を示すブロック図であり、図８は、図１に示したクライアント装置３０の画面イメージを示す図である。
【００４２】
かかる画像提供サーバ装置２０は、上記したように、各クライアント装置３０からの要求に応じて、エンコーダ１０によって圧縮符号化された平面像をネットワーク１を介してクライアント装置３０に提供する装置であり、図７に示すように、入力部２１と、出力部２２と、入出力制御ＩＦ部２３と、通信制御ＩＦ部２４と、記憶部２５と、制御部２６とから構成される。
【００４３】
このうち、入力部２１は、各種の情報の入力を受付ける入力手段であり、キーボードやマウスを備えて構成され、例えば、魚眼レンズカメラ２やエンコーダ１０に対する操作指示などを受け付けて入力する。また、出力部２２は、各種の情報を出力する出力手段であり、モニタやスピーカを備えて構成され、例えば、魚眼レンズカメラ２やエンコーダ２０の動作状態などを表示出力する。
【００４４】
入出力制御ＩＦ部２３は、これら入力部２１および出力部２２やエンコーダ１０によるデータの入出力を制御する手段であり、例えば、エンコーダ１０から圧縮符号化された平面像の画像データを入力制御する。また、通信制御ＩＦ部２４は、ネットワーク１を介してクライアント装置３０との間でやり取りする画面操作指示情報や画像データに関する通信を制御する手段である。
【００４５】
記憶部２５は、制御部２６による各種処理に必要なデータ（例えば、各利用者の認証情報など）およびプログラムを格納する格納手段（記憶手段）であり、特に本発明に密接に関連するものとしては、機能概念的に、画像メモリ２５ａを備える。具体的には、この画像メモリ２５ａは、エンコーダ１０から入力された平面像の圧縮符号化画像データを、撮像時刻に対応付けて記憶する。
【００４６】
制御部２６は、ＯＳ（Operating System）などの制御プログラム、各種の処理手順などを規定したプログラム（例えば、画像送信プログラムや利用者認証プログラムなど）および所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、機能概念的に、画面操作受付部２６ａと、画面作成部２６ｂとを備える。
【００４７】
そして、画面操作受付部２６ａは、クライアント装置３０に送信されて表示される画面についての操作をクライアント装置３０から受け付ける処理部であり、画面作成部２６ｂは、画面操作受付部２６ａによって受け付けられた操作要求に応じて、クライアント装置３０に送信されて表示される画面データを画像メモリ２５ａに格納された画像データから作成する処理部である。
【００４８】
ここで、かかる画面操作受付および画面作成の処理を具体的に説明すると、クライアント装置３０に送信されて表示される画面は、図８に示すように、全体イメージ（例えば、図３（ｃ）に示す全体若しくは一部の画像イメージ）を表示する「全体イメージフィールド」と、そこから選択された部分イメージを表示する「部分イメージフィールド」と、ズームやパンまたはチルトなどのバーチャルなカメラ操作を受け付ける「ズームフィールド」とから構成される。
【００４９】
かかる画面において、例えば、利用者が「全体イメージフィールド」の所定の領域を選択指示すると、画像提供サーバ装置２０では、選択指示された領域の画像を補間法などによって拡大してクライアント装置３０に送信し、かかる拡大画像が「部分イメージフィールド」に表示される。また、例えば、利用者が「ズームフィールド」のズームやパン、チルトなどカメラ操作を指示すると、画像提供サーバ装置２０では、カメラ操作指示に応じた画像を作成してクライアント装置３０に送信し、かかるズームやパンまたはチルトに応じた画像が「全体イメージフィールド」に表示される。
【００５０】
（他の実施の形態）
さて、これまで本発明の実施の形態について説明したが、本発明は上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてもよいものである。
【００５１】
例えば、本実施の形態では、ギャラリー会場に魚眼レンズカメラ２を設置した場合を説明したが、本発明はこれに限定されるものではなく、店舗や自宅、病院などの画像による監視が行われ得る場所や、観光地やギャラリー会場などの画像による鑑賞が行われ得る場所であれば、魚眼レンズカメラ２を同様に設置して本発明を適用することができる。
【００５２】
また、本実施の形態では、ブロック内拡大処理に際して、空き画素を周囲のオリジナル画素を用いて整形補間する場合を説明したが、本発明はこれに限定されるものではなく、離散コサイン変換（ＤＣＴ）に際して周囲のＤＣＴ係数を用いて空きを補うようにしてもよい。さらに、この場合には、画像劣化が少ないのであれば、ＤＣＴ係数を用いた補間自体を省略して（空き画素のＤＣＴ係数を「０」とする。）、圧縮符号化処理の高速化を図るようにしてもよい。
【００５３】
さらに、本実施の形態では、エンコーダ１０において単一の平面像変換部１１、ブロック内拡大部１２および圧縮符号化部１３を設ける場合を説明したが、本発明はこれに限定されるものではなく、複数の平面像変換部１１、ブロック内拡大部１２および圧縮符号化部１３を設けるようにしてもよい。すなわち、この場合には、複数の平面像変換部１１、ブロック内拡大部１２および圧縮符号化部１３それぞれが、魚眼レンズカメラ２によって撮像された円形の曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、それぞれ圧縮符号化された平面像を多重化してクライアント装置１０に対して送信する。したがって、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成および配信することが可能になる。
【００５４】
また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００５５】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、図１に示したエンコーダ１０および画像提供サーバ装置２０を統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００５６】
なお、本実施の形態で説明した画像処理方法（圧縮符号化のブロック分割を利用した平面変換処理）は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【００５７】
【発明の効果】
以上説明したように、請求項１、６または７の発明によれば、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能になる。
【００５８】
また、請求項２の発明によれば、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成することが可能になる。
【００５９】
また、請求項３の発明によれば、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００６０】
また、請求項４の発明によれば、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成および配信することが可能になる。
【００６１】
また、請求項５の発明によれば、利用者がバーチャルにズーム操作を行っているような感覚で、各利用者ごとに所望の領域の画像を迅速に配信することが可能になる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理システムの構成を示すシステム構成図である。
【図２】図１に示したエンコーダの構成を示すブロック図である。
【図３】平面像変換およびブロック内拡大の概念を説明するための説明図である。
【図４】ブロック内拡大の具体例を説明するための説明図である。
【図５】ブロック内拡大の具体例を説明するための説明図である。
【図６】エンコーダによる画像処理の手順を示すフローチャートである。
【図７】図１に示した画像提供サーバ装置の構成を示すブロック図である。
【図８】図１に示したクライアント装置の画面イメージを示す図である。
【符号の説明】
１ ネットワーク
２ 魚眼レンズカメラ
１０ エンコーダ
１１ 平面像変換部
１２ ブロック内拡大部
１３ 圧縮符号化部
１４ 画像メモリ
２０ 画像提供サーバ装置
２１ 入力部
２２ 出力部
２３ 入出力制御ＩＦ部
２４ 通信制御ＩＦ部
２５ 記憶部
２５ａ 画像メモリ
２６ 制御部
２６ａ 画面操作受付部
２６ｂ 画面作成部
３０ クライアント装置
Claims (7)
- 魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理装置であって、
前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（底辺ｎ×高さｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換手段と、
前記平面像変換手段によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成手段と、
前記ブロック内画像生成手段によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化手段と、
を備えたことを特徴とする画像処理装置。 - 前記平面像変換手段、ブロック内拡大手段および圧縮符号化手段をそれぞれ複数備え、
前記複数の平面像変換手段、ブロック内拡大手段および圧縮符号化手段それぞれは、前記曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行うことを特徴とする請求項１に記載の画像処理装置。 - 魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化するとともに、当該圧縮符号化された平面像をネットワークを介してクライアント装置に提供する画像提供サーバ装置であって、
前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（底辺ｎ×高さｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換手段と、
前記平面像変換手段によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成手段と、
前記ブロック内画像生成手段によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化手段と、
前記圧縮符号化手段によって圧縮符号化された平面像を前記クライアント装置に対して送信する画像送信手段と、
を備えたことを特徴とする画像提供サーバ装置。 - 前記平面像変換手段、ブロック内拡大手段および圧縮符号化手段をそれぞれ複数備え、
前記複数の平面像変換手段、ブロック内拡大手段および圧縮符号化手段それぞれは、前記曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、
前記画像送信手段は、各圧縮符号化手段によってそれぞれ圧縮符号化された平面像を多重化して前記クライアント装置に対して送信することを特徴とする請求項３に記載の画像提供サーバ装置。 - 前記画像送信手段によって送信された平面像における所定の領域を前記クライアント装置から選択させて受け付けて、当該選択させて受け付けた所定の領域における画像を拡大する領域拡大手段をさらに備え、
前記画像送信手段は、前記領域拡大手段によって拡大された画像を前記クライアント装置に対して送信することを特徴とする請求項３または４に記載の画像提供サーバ装置。 - 魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理方法であって、
前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（ｎ×ｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換工程と、
前記平面像変換工程によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成工程と、
前記ブロック内画像生成工程によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化工程と、
を含んだことを特徴とする画像処理方法。 - 魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理方法をコンピュータに実行させる画像処理プログラムであって、
前記円形の曲面像（半径ｒ）を前記ブロック分割（ｎ×ｎピクセル）のサイズによって円周分割することで複数の二等辺三角形（ｎ×ｒピクセル）からなる平面像に変換した後、各二等辺三角形の平面像をブロック分割（ｎ×ｎピクセル）することでブロック内にオリジナル画素および空き画素を有する平面像に変換する平面像変換手順と、
前記平面像変換手順によって平面像に変換された各ブロック内の画像について、空き画素を有する行においてオリジナル画素が均等間隔で配置されるようにオリジナル画素を展開した後に、空き画素を周囲のオリジナル画素を用いて線形補間することで空き画素のないｎ×ｎピクセルのブロック画像を生成するブロック内画像生成手順と、
前記ブロック内画像生成手順によって生成された各ブロック内の画像を圧縮符号化する圧縮符号化手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003065110A JP4331492B2 (ja) | 2003-03-11 | 2003-03-11 | 画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003065110A JP4331492B2 (ja) | 2003-03-11 | 2003-03-11 | 画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004272767A JP2004272767A (ja) | 2004-09-30 |
| JP4331492B2 true JP4331492B2 (ja) | 2009-09-16 |
Family
ID=33126216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003065110A Expired - Fee Related JP4331492B2 (ja) | 2003-03-11 | 2003-03-11 | 画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4331492B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007318596A (ja) * | 2006-05-29 | 2007-12-06 | Opt Kk | 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム |
| GB2449631B (en) * | 2007-05-21 | 2012-02-15 | Doo Technologies Fze | Method and system for processing of images |
| KR100946707B1 (ko) | 2009-09-16 | 2010-03-12 | (주)올라웍스 | 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| JP2015128263A (ja) * | 2013-12-27 | 2015-07-09 | 大日本印刷株式会社 | 画像処理装置、画像処理方法、画像処理用プログラム、および、撮像装置 |
-
2003
- 2003-03-11 JP JP2003065110A patent/JP4331492B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004272767A (ja) | 2004-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10244200B2 (en) | View-dependent operations during playback of panoramic video | |
| US10574955B2 (en) | Re-projecting flat projections of pictures of panoramic video for rendering by application | |
| US10242714B2 (en) | Interface for application-specified playback of panoramic video | |
| EP3804349B1 (en) | Adaptive panoramic video streaming using composite pictures | |
| CN112204993B (zh) | 使用重叠的被分区的分段的自适应全景视频流式传输 | |
| JP4345829B2 (ja) | 画像表示システム、画像表示装置、画像表示方法およびプログラム | |
| JP2015522986A (ja) | 層状の時間的階層における時系列および／または多次元信号のデコードおよび再構成 | |
| WO2007138845A1 (ja) | 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム | |
| CN111669564B (zh) | 图像重建方法、***、设备及计算机可读存储介质 | |
| WO2014002978A1 (ja) | 通信システム、端末装置、動画の表示方法、及びプログラム | |
| JP5921331B2 (ja) | 撮像装置、マスク画像の重畳方法、および、プログラム | |
| JP5928196B2 (ja) | 通信システム、端末装置、登録方法、及びプログラム | |
| EP1719342B1 (en) | Method of visualizing a large still picture on a small-size display. | |
| JP4331492B2 (ja) | 画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラム | |
| JP2002312778A (ja) | モーションパノラマ画像を電子的に配信する方法および装置 | |
| JP3863023B2 (ja) | テクスチャ生成装置、テクスチャマッピング装置、テクスチャ生成方法、テクスチャマッピング方法、テクスチャ生成プログラム、及び、テクスチャマッピングプログラム | |
| JP2022094671A (ja) | 撮像システム、配信装置、撮像装置、制御方法、及び、プログラム | |
| CN116761002A (zh) | 视频编码方法、虚拟现实直播方法、装置、设备及介质 | |
| JP4952624B2 (ja) | 圧縮画像再圧縮装置、圧縮画像再圧縮方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090522 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090616 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090618 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140626 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |