JP4218278B2

JP4218278B2 - Information processing system, information processing apparatus, information processing method, image processing apparatus, image processing method, and program

Info

Publication number: JP4218278B2
Application number: JP2002224151A
Authority: JP
Inventors: 禎治古賀
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-31
Filing date: 2002-07-31
Publication date: 2009-02-04
Anticipated expiration: 2022-07-31
Also published as: JP2004064706A

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関し、特に、複数の画像を適切に分割表示することができるようにした情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関する。
【０００２】
【従来の技術】
図１は、従来の画像処理システムの構成例を示している。
【０００３】
被写体１に対して所定の位置に配置されたＮ個のビデオカメラ２−１乃至２−Ｎ（以下、個々に区別する必要がない場合、単に、ビデオカメラ２と称する。他の場合についても同様である）は、撮像の結果得られた画像を、画像処理装置３に供給する。
【０００４】
画像処理装置３は、ビデオカメラ２から供給されたＮ個の画像が表示装置４のディスプレイ４Ａ上で分割表示される画像を生成し、表示装置４に供給する。表示装置４は、画像処理装置３からの画像をディスプレイ４Ａに表示する。
【０００５】
【発明が解決しようとする課題】
ところで、図１には、画像処理装置３により生成された画像が表示装置４に供給される例が示されているが、画像処理装置３により生成された画像は、実際には、その画像を加工するパーソナルコンピュータに供給されたり、その画像を用いて放送番組を生成する放送業者に供給されたり、ネットワークを介してブロードバンドされるなど、多くの形態に応じて出力される。
【０００６】
すなわち、画像処理装置３は、このような利用形態（ビデオカメラ２のレンズ歪みや使用方法、または分割表示位置など）に応じた画像を生成する必要があり、画像処理装置３の画像処理は、利用形態により異なる。
【０００７】
例えば、９（Ｎ＝９）個のビデオカメラ２−１乃至２−９（例えば、図２に示すように、被写体１を取り囲むようにして配置されたビデオカメラ）による撮像の結果得られた９個の画像を、図３に示すように分割表示させる場合には、それに応じた画像処理を行い、また８（Ｎ＝８）個のビデオカメラ２−１乃至２−８（例えば、図４に示すように、３６０度全方の風景が被写体１となるように配置されたビデオカメラ）による撮像の結果得られた８個の画像を、図５に示すように分割表示させる場合には、それに応じた画像処理を行う必要がある。
【０００８】
なお、図３および図５に示される小画面Ｗに付されている数字は、そこに表示される画像の提供元であるビデオカメラ２を表しており、そのビデオカメラ２に続けて示されている数字と対応付けられている。すなわち、例えば、ビデオカメラ２−１による撮像の結果得られた画像は、小画面Ｗ１に表示され、ビデオカメラ２−２による撮像の結果得られた画像は、小画面Ｗ２に表示される。
【０００９】
従って、画像処理装置３は、ユーザの利用形態に応じた専用機器とされ、その結果、従来の画像処理システムでは、利用形態の変更に容易に対応することができない課題があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、利用形態の変更に容易に対応することができるようにするものである。
【００１１】
【課題を解決するための手段】
本発明の第１の側面の情報処理システムは、情報処理装置が、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号を検出する第１の検出手段と、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標を検出する第２の検出手段と、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標を算出する算出手段と、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルを生成する生成手段とを備え、画像処理装置が、座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標を検出する第３の検出手段と、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力手段とを備える。
【００１２】
本発明の第１の側面の情報処理システムの情報処理装置の第１の検出手段には、大画面上の座標に、大画面を構成する複数の小画面のうち、大画面上の座標を含む小画面に表示される小画像を撮像したビデオカメラのカメラ番号を対応付けた第１の対応テーブルに基づいて、大画面上の所定の座標に対応するカメラ番号を検出させ、第２の検出手段には、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標に、対応する大画面上の座標を対応付けた第２の対応テーブルに基づいて、大画面上の所定の座標に対応する、小画面上の第１の座標を検出させることができる。
本発明の第１の側面においては、情報処理装置で、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号が検出され、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標が検出され、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標が算出され、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルが生成され、画像処理装置で、座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標が検出され、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値が読み取られ、読み取られた画素値が、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力されるので、ユーザの利用形態が変更されても、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
【００１３】
本発明の第２の側面の情報処理装置は、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号を検出する第１の検出手段と、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標を検出する第２の検出手段と、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標を算出する算出手段と、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルを生成する生成手段とを備える。
本発明の第２の側面の情報処理装置の第１の検出手段には、大画面上の座標に、大画面を構成する複数の小画面のうち、大画面上の座標を含む小画面に表示される小画像を撮像したビデオカメラのカメラ番号を対応付けた第１の対応テーブルに基づいて、大画面上の所定の座標に対応するカメラ番号を検出させ、第２の検出手段には、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標に、対応する大画面上の座標を対応付けた第２の対応テーブルに基づいて、大画面上の所定の座標に対応する、小画面上の第１の座標を検出させることができる。
本発明の第２の側面の情報処理方法は、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号を検出する第１の検出ステップと、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標を検出する第２の検出ステップと、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標を算出する算出ステップと、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルを生成する生成ステップとを含む。
本発明の第２の側面の第１のプログラムは、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号を検出する第１の検出ステップと、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標を検出する第２の検出ステップと、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標を算出する算出ステップと、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルを生成する生成ステップとを含む処理を情報処理装置のコンピュータに実行させる。
本発明の第２の側面においては、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号が検出され、ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する、小画面上の第１の座標が検出され、所定の処理により、外周部分の歪を補正した第２の小画像の小画面上の第１の座標から、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標が算出され、大画面上の所定の座標、検出されたカメラ番号、および算出された小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルが生成されるので、生成された座標変換テーブルを用いることにより、ユーザの利用形態が変更されても、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
本発明の第３の側面の画像処理装置は、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号、およびビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する座標を、小画面上の第１の座標とし、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標を検出する検出手段と、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力手段とを備える。
本発明の第３の側面の画像処理方法は、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号、およびビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する座標を、小画面上の第１の座標とし、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標を検出する検出ステップと、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値を読み取る読み取りステップと、読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力ステップとを含む。
本発明の第３の側面の第２のプログラムは、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号、およびビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する座標を、小画面上の第１の座標とし、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標を検出する検出ステップと、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値を読み取る読み取りステップと、読み取られた画素値を、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力する出力ステップとを含む処理を画像処理装置のコンピュータに実行させる。
本発明の第３の側面においては、複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、大画面を構成する複数の小画面のうち、大画面上の所定の座標を含む小画面に表示される第１の小画像を撮像したビデオカメラのカメラ番号、およびビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の小画像の小画面上の座標のうち、大画面上の所定の座標に対応する座標を、小画面上の第１の座標とし、外周部分の歪を補正する前の第１の小画像の小画面上の座標のうち、小画面上の第１の座標に対応する、小画面上の第２の座標をそれぞれ対応付けた座標変換テーブルから、大画面上の所定の座標に対応する、小画面上の第２の座標が検出され、座標変換テーブルに、大画面上の所定の座標に対応付けられているカメラ番号のビデオカメラで撮像された第１の小画像を構成する複数の画素のうち、座標変換テーブルから検出された小画面上の第２の座標に対応する位置にある画素の画素値が読み取られ、読み取られた画素値が、大画面上の所定の座標に対応する位置にある大画像の画素の画素値として出力されるので、ユーザの利用形態が変更されても、座標変換テーブルを用いることにより、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
【００１４】
【発明の実施の形態】
図６は、本発明を適用した画像処理システムの構成例を示している。図中、図１における場合と対応する部分については、同一の符号を付してある。なお、座標変換テーブル生成装置１３は、事業者により管理され、被写体１乃至表示装置１２は、ユーザにより管理されているものとし、画像処理装置１１は、その事業者が製造したものとする。
【００１５】
被写体１に対して所定の位置に配置されたＮ個のビデオカメラ２−１乃至２−Ｎは、撮像の結果得られた画像（例えば、SD（standard definition）画像）を、画像処理装置１１に供給する。
【００１６】
画像処理装置１１は、ビデオカメラ２の数や配置位置、レンズ歪み、およびSD画像の表示位置等の利用態様を、ネットワーク２１を介して座標変換テーブル生成装置１３（正確には、それを管理する事業者）に送信し、ネットワーク２１を介して送信されてきた、その利用態様に応じて座標変換テーブル生成装置１３により生成された座標変換テーブルＴaを取得する。
【００１７】
画像処理装置１１は、取得した座標変換テーブルＴaを利用して、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたSD画像から、Ｎ個のSD画像が、表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示される画像（HD（high definition）画像）を生成し、例えば、表示装置１２に供給する。
【００１８】
表示装置１２は、画像処理装置１１からのHD画像を、ディスプレイ１２Ａに表示する。なおディスプレイ１２Ａは、図７に示すように、１０８０×１９２０ピクセルの解像度を有している。
【００１９】
座標変換テーブル生成装置１３は、画像処理装置１１からネットワーク２１を介して送信されてきた利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびSD画像の表示位置等）に対応した座標変換テーブルＴaを生成し、画像処理装置１１に供給する。
【００２０】
すなわち、画像処理装置１１の製造業者若しくは提供者は、座標変換テーブルＴaを画像処理装置１１に提供するときに課金を発生させることで、画像処理装置１１の製造販売の他、画像処理装置１１に付帯する情報の提供という新たなビジネスを構築することができる。そのため、座標変換テーブル生成装置１３は、座標変換テーブルＴaなどの情報を暗号化する暗号化手段を、そして画像処理装置１１は、それを復号する復号手段を具備していることが望ましい。
【００２１】
図８は、画像処理装置１１の構成例を示している。
【００２２】
Ｎ個のデコーダ３１−１乃至３１−Ｎのそれぞれには、対応するビデオカメラ２−１乃至２−ＮからのSD画像が入力される。デコーダ３１−１乃至３１−Ｎは、ビデオカメラ２から入力されたSD画像をデコードし、対応するフィールドメモリ３２−１乃至３２−Ｎに供給する。
【００２３】
フィールドメモリ３２は、デコーダ３１から供給された画像データを、フィールド単位で記憶する。
【００２４】
制御部３３は、通信部３７を制御して、ユーザより入力部３８に入力された利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびSD画像の表示位置等）を、ネットワーク２１を介して座標変換テーブル生成装置１３に送信させたり、その利用態様に応じて生成された座標変換テーブル生成装置１３からの座標変換テーブルＴaを取得して、記憶部３６に記憶させる。
【００２５】
制御部３３は、フィールドメモリ３２−１乃至３２−Ｎに記憶されている画像データを適宜読み出し、読み出した画像データから、記憶部３６に記憶されている座標変換テーブルＴaに基づいて、Ｎ個の画像が表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示されるHD画像を生成し、フレームメモリ３４に供給する。フレームメモリ３４は、制御部３３から供給されたHD画像を記憶する。
【００２６】
エンコーダ３５は、フレームメモリ３４に記憶された画像データ（HD画像の画像データ）を適宜読み取ってエンコードし、その結果得られた画像データを、表示装置１２に供給する。
【００２７】
図９は、座標変換テーブル生成装置１３の構成例を示している。
【００２８】
CPU（Central Processing Unit）４１にはバス４５を介して入出力インタフェース４６が接続されており、CPU４１は、入出力インタフェース４６を介して、キーボード、マウスなどよりなる入力部４８から指令が入力されると、例えば、ROM（Read Only Memory）４２、ハードディスク４４、またはドライブ５０に装着される磁気ディスク６１、光ディスク６２、光磁気ディスク６３、若しくは半導体メモリ６４などの記録媒体に格納されているプログラム（例えば、座標変換テーブルＴaを生成するためのプログラム）を、RAM（Random Access Memory）４３にロードして実行する。さらに、CPU４１は、その処理結果を、例えば、入出力インタフェース４６を介して、LCD（Liquid Crystal Display）などよりなる出力部４７に必要に応じて出力する。なお、プログラムは、ハードディスク４４やROM４２に予め記憶しておき、座標変換テーブル生成装置１３と一体的にユーザに提供したり、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、半導体メモリ６４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部４９を介してハードディスク４４に提供することができる。
【００２９】
CPU４１は、通信部４９を制御して、画像処理装置１１から送信されてきた利用態様を受信させたり、生成した座標変換テーブルＴaを画像処理装置１１に送信させる。
【００３０】
次に、画像処理装置１１および座標変換テーブル生成装置１３の動作を、図１０のフローチャートを参照して説明する。
【００３１】
ステップＳ１において、画像処理装置１１の制御部３３は、通信部３７を制御して、ユーザより入力部３８に入力された利用態様（ビデオカメラ２の数や配置位置、レンズ歪み、およびSD画像の表示位置等）を座標変換テーブル生成装置１３に送信させ、座標変換テーブルＴaの生成を要求する。
【００３２】
ステップＳ２において、座標変換テーブル生成装置１３のCPU４１は、画像処理装置１１からの利用態様に応じた座標変換テーブルＴaを生成する。なお、ここでの処理の詳細は後述する。
【００３３】
ステップＳ３において、座標変換テーブル生成装置１３のCPU４１は、生成した座標変換テーブルＴaを、例えば、画像処理装置１１の製造番号で暗号化し、通信部４９を介して画像処理装置１１に送信する。
【００３４】
ステップＳ４において、画像処理装置１１の制御部３３は、通信部３７により受信された、座標変換テーブル生成装置１３から送信されてきた座標変換テーブルＴaを、例えば、記憶部３６に記憶されている製造番号を利用して復号し、記憶部３６に記憶させる。
【００３５】
なお、このときに、座標変換テーブルＴaの送受信により、画像の座標変換に必要な情報の受発注行為が成立し、送信者である画像処理装置１１の製造業者若しくは提供者は、受信者であるユーザに対して課金を行うことができる。
【００３６】
ステップＳ５において、画像処理装置１１の制御部３３は、ステップＳ４で記憶された座標変換テーブルＴaを利用して、ビデオカメラ２−１乃至２−Ｎのそれぞれから供給されたSD画像から、Ｎ個のSD画像が、表示装置１２のディスプレイ１２Ａ上に所望の形態で分割表示されるHD画像を生成し、例えば、表示装置１２に供給する。なお、ここでの処理の詳細は、次に説明する。
【００３７】
例えば、図２に示すように、９（Ｎ＝９）個のビデオカメラ２−１乃至２−９を、比較的近くの被写体１を取り囲むようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図１１に示すように分割表示する場合（以下、このような利用態様を、適宜、第１の利用態様と称する）のステップＳ５の処理について、図１２のフローチャートを参照して説明する。
【００３８】
すなわちこの場合、画像処理装置１１の記憶部３６には、この利用態様に応じてステップＳ２で生成された座標変換テーブルＴa（その詳細は後述する）が記憶されている。
【００３９】
ステップＳ１１において、画像処理装置１１の制御部３３は、記憶部３６に記憶されている、図１３に示すような座標変換テーブルＴaを読み出す。
【００４０】
この座標変換テーブルＴaには、ディスプレイ１２Ａ上の座標、ディスプレイ１２Ａ上の座標に対応する、そのディスプレイ１２Ａ上の座標を含む小画面Ｗ上の座標、およびその小画面Ｗに表示される画像を提供するビデオカメラ２に割り当てられたカメラ番号が、それぞれ対応付けられている。また所定のディスプレイ１２Ａ上の座標には、黒色を出力する旨を表す情報（図１３中の“黒色出力”で示されている情報）が設定されている。なお、黒色を出力する旨を表す情報が対応付けられているディスプレイ１２Ａ上の座標には、小画面Ｗ上の座標やカメラ番号が対応付けられていない。
【００４１】
次に、ステップＳ１２において、制御部３３は、ディスプレイ１２Ａ上の１つの座標（HD画像を構成する１つの画素の座標）を選択する。
【００４２】
ステップＳ１３において、制御部３３は、座標変換テーブルＴaにおいて、ステップＳ１２で選択したディスプレイ１２Ａ上の座標に、黒色を出力する旨を表す情報が対応付けられているか否かを判定し、その情報が対応付けられていないと判定した場合、ステップＳ１４に進み、選択したディスプレイ１２Ａ上の座標と対応付けられているカメラ番号を、座標変換テーブルＴaから検出する。
【００４３】
次に、ステップＳ１５において、制御部３３は、ステップＳ１４で検出されたカメラ番号が割り当てられているビデオカメラ２に対応するフィールドメモリ３２を選択する。
【００４４】
ステップＳ１６において、制御部３３は、ステップＳ１２で選択したディスプレイ１２Ａ上の座標と対応付けられている小画面Ｗ上の座標を、座標変換テーブルＴaから検出する。
【００４５】
次に、ステップＳ１７において、制御部３３は、ステップＳ１６で検出した小画面Ｗ上の座標に対応する位置にある、ステップＳ１５で選択したフィールドメモリ３２に記憶されているSD画像の画素の画素値を読み取り、それを、フレームメモリ３４に、ステップＳ１２で選択したディスプレイ１２Ａ上の座標に出力される画素値として記憶させる。
【００４６】
ステップＳ１３で、黒色を出力する旨を表す情報が設定されていると判定された場合、ステップＳ１８に進み、制御部３３は、黒色として表示される画素値を、フレームメモリ３４に、ステップＳ１２で選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶させる。
【００４７】
例えば、ステップＳ１２で、図１１中、小画面Ｗ５内の所定の座標が選択された場合、座標変換テーブルＴaにおいて、選択された座標には、ビデオカメラ２−５のカメラ番号が対応付けられており、黒色を出力する旨の情報は対応付けられていないので、ビデオカメラ２−５のカメラ番号が検出される（ステップＳ１３，ステップＳ１４）。次にビデオカメラ２−５に対応するフィールドメモリ３２−５が選択されるとともに（ステップＳ１５）、選択されたディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標が座標変換テーブルＴaから検出される（ステップＳ１６）。
【００４８】
そして検出された小画面Ｗ上の座標（ステップＳ１６）に対応する位置にある、ビデオカメラ２−５からのSD画像（ステップＳ１５）の画素の画素値が、選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶される（ステップＳ１７）。
【００４９】
また、例えば、ステップＳ１２で、図１１中、小画面Ｗ１乃至Ｗ９以外の画面（図中、陰が付されている部分）の座標が選択された場合、座標変換テーブルＴaにおいてそのような座標には、黒色を出力する旨の情報が設定されているので（ステップＳ１３）、黒色として表示される画素値が、選択されたディスプレイ１２Ａ上の座標に出力される画素値として記憶される（ステップＳ１８）。
【００５０】
図１２に戻り、ステップＳ１７またはステップＳ１８で、所定の画素値がフレームメモリ３４に記憶されたとき、ステップＳ１９に進み、制御部３３は、ディスプレイ１２Ａ上のすべての座標が選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ１２に戻り、次のディスプレイ１２Ａ上の座標を選択する。
【００５１】
ステップＳ１９で、すべての座標が選択されたと判定された場合、処理は終了する。
【００５２】
図１３に示した座標変換テーブルＴaは、後述するように、第１の利用態様に基づいて、座標変換テーブル生成装置１３により生成されたものであるので、本システムでは、画像処理装置１１が、その座標変換テーブルＴaに従って上述したような処理を行うことにより、ビデオカメラ２から供給される９個のSD画像を、図１１に示すように分割表示することができる。
【００５３】
次に、第１の利用態様に応じた座標変換テーブルＴaを生成する場合のステップＳ２の処理について、図１４のフローチャートを参照して説明する。
【００５４】
画像処理装置１１から送信されてきた利用態様（第１の利用態様）を受信すると、ステップＳ２１において、座標変換テーブル生成装置１３のCPU４１は、表示装置１２のディスプレイ１２Ａ上の座標（HD画像を構成する１つの画素の座標）（図１１）を１つ選択する。
【００５５】
具体的には、画像処理装置１１から送信されてきた第１の利用態様には、例えば、図１５に示すような、ディスプレイ１２Ａ上の小画面Ｗ１乃至小画面Ｗ９内の座標に、そこに表示される画像の提供元であるビデオカメラ２のカメラ番号が対応付けられ、ディスプレイ１２Ａ上の、小画面Ｗ１乃至小画面Ｗ９以外の画面（図１１中、陰が付されている部分）内の座標に、その旨を表す情報（以下、表示領域外情報と称する）が対応付けられている対応テーブルＴb1が含まれているので、CPU４１は、そのテーブルから、１つのディスプレイ１２Ａ上の座標を選択する。
【００５６】
ステップＳ２２において、CPU４１は、対応テーブルＴb1を参照して、ステップＳ２１で選択したディスプレイ１２Ａ上の座標が、小画面Ｗ内のもの（ビデオカメラ２による撮像の結果得られたSD画像に対応する画像が表示される画面内のもの）か否かを判定し、小画面Ｗ内のものであると判定した場合（対応テーブルＴb1において、ステップＳ２１で選択された座標に、ビデオカメラ２のカメラ番号が対応付けられている場合）、ステップＳ２３に進む。
【００５７】
ステップＳ２３において、CPU４１は、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標に対応するビデオカメラ２のカメラ番号を、対応テーブルＴb1から検出する。
【００５８】
次に、ステップＳ２４において、CPU４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標を検出する。
【００５９】
具体的には、画像処理装置１１から送信されてきた第１の利用態様に含まれる、ビデオカメラ２のレンズ歪みを利用して生成されてハードディスク４４に記憶されている、図１６に示すようなレンズ歪みに基づいて補正されたビデオカメラ２による撮像の結果得られるSD画像から切り取られた小画面Ｗ分の画像の小画面Ｗ上の座標と、ディスプレイ１２Ａ上の座標との対応関係を示す対応テーブルＴb2から、ディスプレイ１２Ａ上の座標に対応付けられている小画面Ｗ上の座標が検出される。なお、この対応テーブルＴb2の詳細については後述する。
【００６０】
ステップＳ２５において、CPU４１は、ステップＳ２４で検出した小画面Ｗ上の座標から、後述するようにして補正前のSD画像（元のSD画像）の小画面Ｗ上の座標を算出する。
【００６１】
次に、ステップＳ２６において、CPU４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標、ステップＳ２３で検出したカメラ番号、およびステップＳ２５で算出した小画面Ｗ上の座標を、それぞれ対応させて座標変換テーブルＴa（図１３）に保存する。
【００６２】
ステップＳ２２で、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標が、小画面Ｗ内のものではないと判定された場合（対応テーブルＴb1において、ステップＳ２１で選択されたディスプレイ１２Ａ上の座標に、表示領域外情報が対応付けられている場合）、ステップＳ２７に進む。
【００６３】
ステップＳ２７において、CPU４１は、ステップＳ２１で選択したディスプレイ１２Ａ上の座標と黒色を出力する旨を表す情報を、それぞれ対応させて座標変換テーブルＴa（図１３）に保存する。
【００６４】
ステップＳ２６またはステップＳ２７で、所定の情報が座標変換テーブルＴaに保存されたとき、ステップＳ２８に進み、CPU４１は、ディスプレイ１２Ａ上のすべてのディスプレイ１２Ａ上の座標が選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ２１に戻り、次の座標を選択し、それ以降の処理を実行する。
【００６５】
ステップＳ２８で、すべての座標が選択されたと判定されたとき、処理は終了する。
【００６６】
次に、第１の利用態様に対応した座標変換テーブルＴa（図１３）を生成する際に利用された対応テーブルＴb2（図１６）を生成する処理を、図１７のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３が対応テーブルＴb2を生成するものとする。
【００６７】
ステップＳ４１において、座標変換テーブル生成装置１３のCPU４１は、ビデオカメラ２−１乃至２−９のカメラ番号の中から１つのカメラ番号を選択する。なお、CPU４１は、対応テーブルＴb1から、ビデオカメラ２−１乃至２−９のカメラ番号を把握している。
【００６８】
次に、ステップＳ４２において、CPU４１は、ビデオカメラ２による撮像の結果得られるSD画像と同じ大きさのSD画像（この例の場合、小画面Ｗと同じ大きさの画像）を想定し、そのSD画像を構成する各画素の小画面Ｗ上の座標（Ｘa，Ｙa）（補正前のSD画像の小画面Ｗ上の座標）を、式（１）に従って補正し、座標（Ｘb，Ｙb）（補正後のSD画像の小画面上の座標）を算出する。式中、座標（Ｘac，Ｙac）は、SD画像の中心に位置する画素の座標である。ｋ１およびｋ２は、第１の利用態様に含まれるビデオカメラ２のレンズ歪み等に基づいて決定される係数である。ｒは、座標（Ｘa，Ｙa）の画素と、SD画像の中心画素との距離である。
【００６９】
【数１】

【００７０】
なお、このように座標を変換することで、ビデオカメラ２のレンズ歪みにより生ずるSD画像の外周部分のぼやけを鮮明にすることができる。
【００７１】
ステップＳ４３において、CPU４１は、小画面Ｗの大きさに対応した、ステップＳ４２での補正の結果得られたSD画像の範囲を決定し、ステップＳ４４において、決定された範囲内のSD画像の各画素の小画面Ｗ上の座標（Ｘb，Ｙb）を選択する。すなわち、小画面Ｗに表示される補正後のSD画像の小画面Ｗ上の座標が選択される。
【００７２】
ビデオカメラ２による撮像の結果得られたSD画像（図１８Ａ）は、式（１）による補正により、例えば、図１８Ｂの実線が示すように、糸巻き型に拡大して変形するので、その中から、図１８Ｂ中の点線で示す、ステップＳ４３で決定された範囲内の座標が選択される（図１８Ｃ）。なお、図１８Ａ中の座標（Ｘai，Ｙai）は、任意の座標（Ｘa，Ｙa）を示し、図１８Ｂおよび図１８Ｃ中の座標（Ｘbi，Ｙbi）は、座標（Ｘai，Ｙai）が補正された結果得られた座標（Ｘb，Ｙb）を表している。
【００７３】
ステップＳ４５において、CPU４１は、ステップＳ４４で選択された補正後のSD画像の小画面Ｗ上の座標の中から１つの座標を選択し、それを、ステップＳ４６において、ディスプレイ１２Ａ上の座標に変換する。
【００７４】
具体的には、ステップＳ４５で選択された小画面Ｗ上の座標は、ステップＳ４３で決定された範囲のSD画像（図１８（Ｃ））を、ステップＳ４１で選択されたカメラ番号を有するビデオカメラ２の画像が表示される小画面Ｗにマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【００７５】
例えば、ステップＳ４１で、ビデオカメラ２−５のカメラ番号が選択されているとき、ステップＳ４５で選択された小画面Ｗ上の座標は、ステップＳ４３で決定された範囲のSD画像を小画面Ｗ５にマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【００７６】
次に、ステップＳ４７において、CPU４１は、ステップＳ４５で選択した補正後のSD画像の小画面Ｗ上の座標を、ステップＳ４６で得られたディスプレイ１２Ａ上の座標と対応付けて、対応テーブルＴb2（図１６）に保存する。
【００７７】
ステップＳ４８において、CPU４１は、ステップＳ４４で選択された座標のすべてが選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ４５に戻り、次の座標を選択し、それ以降の処理を実行する。
【００７８】
ステップＳ４８で、すべての座標が選択されたと判定された場合、ステップＳ４９に進み、CPU４１は、全てのカメラ番号が選択されたか否かを判定し、選択されていないカメラ番号がまだ残っていると判定した場合、ステップＳ４１に戻り、次のカメラ番号を選択する。
【００７９】
ステップＳ４９で、すべてのカメラ番号が選択されたと判定された場合、処理は終了する。
【００８０】
従って、例えば、小画面Ｗ５内の、ディスプレイ１２Ａ上の所定の座標Ｐh（図示せず）に出力される画素値は、ビデオカメラ２−５による撮像の結果得られたSD画像の、図１７のステップＳ４２での補正の結果、ディスプレイ１２Ａ上の座標Ｐhに対応するものとして検出される小画面Ｗ上の座標（Ｘbi，Ｙbi）（図１８Ｂ）（図１４のステップＳ２４）となる小画面Ｗ上の座標（Ｘai，Ｙai）（図１８Ａ）（図１４のステップＳ２５）に位置する画素の画素値となる。
【００８１】
すなわち、画像処理装置１１は、入力されるビデオカメラ２による撮像の結果得られるSD画像の、ビデオカメラ２のレンズ歪みに対応した座標を算出したり、分割表示形態に応じたディスプレイ１２Ａ上の座標を算出したり必要がなく、図１２に示したように、SD画像の画素値を、座標変換テーブルＴaに応じてHD画像に設定するだけで、歪み補正が施されたビデオカメラ２による撮像の結果得られたSD画像を所望の形態に分割表示するHD画像を生成することができる。
【００８２】
対応テーブルＴb2（図１６）の補正後のSD画像の小画面Ｗ上の座標（Ｘb，Ｙb）は、上述したように、式（１）に従って算出されているので、図１４のステップＳ２５では、その式に対応した最適化により逆補正を行って、補正前のSD画像の小画面Ｗ上の座標が算出される。
【００８３】
次に、図１９に示すように、９個のビデオカメラ２−１乃至２−９を、遠方の被写体１に対して垂直方向に面を形成するようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図２０に示すように分割表示する場合（以下、このような利用態様を、適宜、第２の利用態様と称する）のステップＳ５の処理について説明する。
【００８４】
なお、この例の場合、ビデオカメラ２は、隣接するもの同士の撮像範囲が、図２１の点線の枠が示すように、一部重複するように配置されている。例えば、ビデオカメラ２−１の撮像範囲（図２２の実線の枠）は、ビデオカメラ２−２の撮像範囲（図２３の実施の範囲）、ビデオカメラ２−４の撮像範囲（図２４の実線の範囲）、およびビデオカメラ２−５の撮像範囲（図２５の実線の範囲）と一部重なっている。
【００８５】
画像処理装置１１は、図１９のステップＳ２で、座標変換テーブル生成装置１３により、第２の利用態様に基づいて生成された図２６に示すような座標変換テーブルＴaを利用して、第１の利用形態の場合と同様に図１２のフローチャートに示す処理を実行する。すなわち、画像処理装置１１の処理は、扱う座標等の値が変わるが、第１の利用態様の場合と第２の利用態様の場合とで、実質に同じであるので、利用態様の変更に容易に対応することができる。
【００８６】
なお、図２０の表示形態は、第１の利用態様（図１１）の場合と異なり、表示装置１２のディスプレイ１２Ａの全体に、HD画像が表示されるので、座標変換テーブルＴaには、第１の利用態様の場合のように（図１３）、黒色を出力する旨を表す情報は設定されていない。従って、この例の場合、図１２のフローチャートにおいて、ステップＳ３でYESの判定はなされないので、ステップＳ８の処理で、黒色を出力するための画素値が記憶されることはない。
【００８７】
次に、第２の利用態様に応じた座標変換テーブルＴa（図２６）を生成する場合のステップＳ２の処理を、図２７のフローチャートを参照して説明する。
【００８８】
画像処理装置１１から送信されてきた利用態様（第２の利用態様）を受信すると、ステップＳ６１において、座標変換テーブル生成装置１３のCPU４１は、表示装置１２のディスプレイ１２Ａの座標（HD画像上を構成する１つの画素の座標）（図２０）を１つ選択し、ステップＳ６２において、カメラ番号を１つ選択する。
【００８９】
画像処理装置から送信されてきる第２の利用態様には、例えば、図２８に示すような、図２１に示したビデオカメラ２の撮像範囲に対応する、図２９に示すような領域毎に、対応する撮像範囲を有するビデオカメラ２のカメラ番号が対応付けられている対応テーブルＴc1が含まれているので、CPU４１は、そのテーブルを参照して、１つのディスプレイ１２Ａ上の座標とカメラ番号を選択する。
【００９０】
なお、対応テーブルＴc1において、例えば、ディスプレイ１２Ａ上の、ビデオカメラ２−１の撮像範囲（図２２）に対応する領域Ｑ１（図３０）内の座標には、ビデオカメラ２−１のカメラ番号が対応付けられており、ビデオカメラ２−２の撮像範囲（図２３）に対応する領域Ｑ２（図３１）内の座標には、ビデオカメラ２−２のカメラ番号が対応付けられている。領域Ｑ１および領域Ｑ２の両方に属するディスプレイ１２Ａ上の座標（例えば、図３０および図３１の座標（Ｘhi，Ｙhi））には、ビデオカメラ２−１，２−２の２個のカメラ番号が対応付けられている。
【００９１】
ステップＳ６３において、CPU４１は、図２８に示す対応テーブルＴc1に、ステップＳ６１で選択したディスプレイ１２Ａ上の座標と、ステップＳ６２で選択したカメラ番号とが対応付けているか否かを判定し、対応付けられていると判定された場合、ステップＳ６４に進む。
【００９２】
ステップＳ６４において、CPU４１は、ステップＳ６１で選択したディスプレイ１２Ａ上の座標とステップＳ６２で選択されたカメラ番号に対応付けられている小画面Ｗ上の座標を検出する。
【００９３】
画像処理装置から送信されてきた第２の利用態様に含まれる、ビデオカメラ２のレンズ歪みを利用して生成されてハードディスク４４に記憶されている、図３２に示すディスプレイ１２Ａ上の座標、ビデオカメラ２のレンズ歪みに基づいて補正されたビデオカメラ２による撮像の結果得られるSD画像から切り取られた小画面Ｗ分の画像の小画面Ｗ上の座標、およびディスプレイ１２Ａ上の座標が対応する撮像範囲を有するビデオカメラ２のカメラ番号との対応関係を示す対応テーブルＴc2から、ディスプレイ１２Ａ上の座標とカメラ番号に対応付けられている小画面Ｗ上の座標が検出される。なお、対応テーブルＴc2の生成方法については後述する。
【００９４】
次に、ステップＳ６５において、CPU４１は、ステップＳ６４で検出した補正後のSD画像の小画面Ｗ上の座標から、補正前のSD画像の小画面Ｗ上の座標を算出する。
【００９５】
ステップＳ６３で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標と、ステップＳ６２で選択したカメラ番号とが対応付けられていないと判定されたとき、またはステップＳ６５で、補正前のSD画像の小画面Ｗ上の座標が算出されたとき、ステップＳ６６に進み、CPU４１は、すべてのカメラ番号が選択されたか否かを判定し、選択されていないものがまだ残っていると判定した場合、ステップＳ６２に戻り、次のカメラ番号を選択する。
【００９６】
ステップＳ６６で、すべてのカメラ番号が選択されたと判定されたとき、ステップＳ６７に進み、CPU４１は、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が、対応テーブルＴc1（図２８）において複数のカメラ番号に対応付けられていたか否かを判定し、複数のカメラ番号に対応付けられていたと判定した場合、ステップＳ６８に進む。
【００９７】
例えば、図３０および図３１に示したディスプレイ１２Ａ上の座標（Ｘhi，Ｙhi）は、対応テーブルＴc1において、ビデオカメラ２−１のカメラ番号とビデオカメラ２−３のカメラ番号の両方に対応付けられているので、その座標（Ｘhi，Ｙhi）がステップＳ６１で選択されているとき、ステップＳ６８に進む。
【００９８】
ステップＳ６８において、CPU４１は、ステップＳ６２乃至ステップＳ６５の処理が複数回行われて算出された複数の補正前のSD画像の小画面Ｗ上の座標（ステップＳ６５）（例えば、ステップＳ６２でビデオカメラ２−１のカメラ番号が選択されているときに算出されたものとビデオカメラ２−２のカメラ番号が選択されているときに算出されたもの）の中から、座標変換テーブルＴaに設定する１つの座標を決定する。
【００９９】
例えば、座標（Ｘhi，Ｙhi）（図３０，３１）が、領域Ｑ２の中心からよりも、領域Ｑ１の中心からの方が近い位置にある場合、ビデオカメラ２−１のカメラ番号が選択されているときに算出された補正前のSD画像の小画面Ｗ上の座標が選択される。
【０１００】
ステップＳ６７で、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が、対応テーブルＴc1において複数のカメラ番号に対応付けられていないと判定されたとき、またはステップＳ６８で、１つの小画面Ｗ上の座標が決定されたとき、ステップＳ６９に進む。
【０１０１】
ステップＳ６９において、CPU４１は、ステップＳ６１で選択したディスプレイ１２Ａ上の座標、ステップＳ６１で選択されたディスプレイ１２Ａ上の座標が複数のカメラ番号に対応付けられていない場合のステップＳ６５で算出された小画面Ｗ上の座標またはステップＳ６１で選択されたディスプレイ１２Ａ上の座標が複数のカメラ番号に対応付けられている場合のステップＳ６８で決定された小画面Ｗ上の座標、およびその小画面Ｗ上の座標が算出されたときにステップＳ６２で選択されていたカメラ番号を、それぞれ対応させて座標変換テーブルＴa（図２６）に保存する。
【０１０２】
次に、ステップＳ７０において、CPU４１は、ディスプレイ１２Ａ上の座標がすべて選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ６１に戻り、次の座標を選択し、それ以降の処理を実行する。
【０１０３】
ステップＳ７０で、すべての座標が選択されたと判定されたとき、処理は終了する。
【０１０４】
次に、第２の利用態様に対応した座標変換テーブルＴa（図２６）を生成する際に利用された対応テーブルＴc2（図３２）を生成する処理を、図３３のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３が対応テーブルＴc2を生成するものとする。
【０１０５】
ステップＳ８１において、座標変換テーブル生成装置１３のCPU４１は、カメラ番号を１つ選択する。なお、CPU４１は、対応テーブルＴc1から、ビデオカメラ２−１乃至２−９のカメラ番号を把握している。
【０１０６】
次に、ステップＳ８２において、CPU４１は、ビデオカメラ２による撮像の結果得られるSD画像と同じ大きさのSD画像を想定し、そのSD画像を構成する各画素の小画面Ｗ上の座標（Ｘa，Ｙa）（補正前のSD画像の小画面Ｗ上の座標）を、式（１）に従って補正し、座標（Ｘb，Ｙb）（補正後のSD画像の小画面上の座標）を算出する。
【０１０７】
ステップＳ８３において、CPU４１は、小画面Ｗの大きさに応じた、ステップＳ８２での補正の結果得られたSD画像の範囲を決定し、ステップＳ８４において、決定された範囲内のSD画像の各画素の小画面Ｗ上の座標（Ｘb，Ｙb）を選択する。すなわち、小画面Ｗに表示される補正後のSD画像の小画面Ｗ上の座標が選択される。
【０１０８】
次に、ステップＳ８５において、CPU４１は、ステップＳ８４で選択された補正後のSD画像の小画面Ｗ上の座標の中から１つの座標を選択し、それを、ステップＳ８６において、ディスプレイ１２Ａ上の座標に変換する。
【０１０９】
具体的には、ステップＳ８５で選択された小画面Ｗ上の座標は、ステップＳ８３で決定された範囲のSD画像を、ステップＳ８１で選択されたカメラ番号を有するビデオカメラ２の画像が表示される小画面Ｗにマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【０１１０】
例えば、ステップＳ８１で、ビデオカメラ２−５のカメラ番号が選択されているとき、ステップＳ８５で選択された小画面Ｗ上の座標は、ステップＳ８３で決定された範囲のSD画像を小画面Ｗ５（図２０）にマッピングした場合の、対応するディスプレイ１２Ａ上の座標に変換される。
【０１１１】
次に、ステップＳ８７において、CPU４１は、ステップＳ８１で選択したカメラ番号、ステップＳ８５で選択した補正後のSD画像の小画面Ｗ上の座標、およびステップＳ８６で得られたディスプレイ１２Ａ上の座標を、図３２に示すように、それぞれ対応させて対応テーブルＴc2に保存する。
【０１１２】
ステップＳ８８において、CPU４１は、ステップＳ８４で選択された座標のすべてが選択されたか否かを判定し、選択されていない座標がまだ残っていると判定した場合、ステップＳ８５に戻り、次の座標を選択する。
【０１１３】
ステップＳ８８で、すべての座標が選択されたと判定されたとき、ステップＳ８９に進み、CPU４１は、カメラ番号のすべてが選択されたか否かを判定し、選択されていないカメラ番号がまだ残っていると判定した場合、ステップＳ８１に戻り、次のカメラ番号を選択する。
【０１１４】
ステップＳ８９で、すべてのカメラ番号が選択されたと判定されたとき、処理は終了する。
【０１１５】
次に、図４に示すように、８（Ｎ＝８）個のビデオカメラ２−１乃至２−８を３６０度全方の風景が被写体１となるようにして配置するとともに、ビデオカメラ２による撮像の結果得られた画像を、図５に示すように分割表示する場合（以下、このような利用態様を、適宜、第３の利用態様と称する）のステップＳ５の処理について説明する。
【０１１６】
なお、図４に示した８個のビデオカメラ２は、実際には、図３４に示すような全方向カメラ１０１に、ビデオカメラ２の投影中心が全方位カメラ１０１の中心付近で一致するように、かつ、各ビデオカメラ２の視線方向が１つの水平面上となるように、所定角度間隔で配列されている。
【０１１７】
平面鏡１１０は、ビデオカメラ２の視線方向に配置されている。
【０１１８】
すなわちビデオカメラ２が、対応する平面鏡１１０で反射された周囲の風景を撮像することにより、全方位カメラ１０１全体としては、水平方向３６０度の風景を撮像することができる。
【０１１９】
画像処理装置１１は、図１９のステップＳ２で、座標変換テーブル生成装置１３により、第３の利用態様に基づいて生成された座標変換テーブルＴaを利用して、第１の利用態様および第２の利用態様の場合と同様に図１２のフローチャートに示す処理を実行する。その結果、ビデオカメラ２による撮像の結果得られた８個の画像を、図５に示すように分割表示させることができる。
【０１２０】
次に、第３の利用態様に応じた座標変換テーブルＴaを生成する場合のステップＳ２の処理を、図３５のフローチャートを参照して説明する。
【０１２１】
ステップＳ１０１乃至ステップＳ１０４においては、図２７のステップＳ６１乃至ステップＳ６４における場合と同様の処理が行われるので、その説明を省略する。
【０１２２】
ステップＳ１０５において、CPU４１は、ステップＳ１０４で検出した補正後のSD画像の小画面Ｗ上の座標を最適化するとともに、ミラー反転処理の逆の処理（逆ミラー反転処理）を行って、補正前のSD画像の小画面Ｗ上の座標を算出する。
【０１２３】
ステップＳ１０６乃至ステップＳ１１０においては、図２７のステップＳ６６乃至ステップＳ７０における場合と同様の処理がなされるので、その説明は省略する。
【０１２４】
次に、ステップＳ１０４で利用されたディスプレイ１２Ａ上の座標と補正後のSD画像の小画面Ｗ上の座標との対応関係を示す対応テーブルを生成する処理を、図３６のフローチャートを参照して説明する。なお、ここでは座標変換テーブル生成装置１３がその対応テーブルを生成するものとする。
【０１２５】
ステップＳ１２１において、座標変換テーブル生成装置１３のCPU４１は、カメラ番号を１つ選択する。
【０１２６】
次に、ステップＳ１２２において、CPU４１は、ビデオカメラ２による撮像の結果得られたSD画像と同じ大きさのSD画像を想定し、そのSD画像を構成する各画素の座標（Ｘa，Ｙa）を、式（１）に従って補正し、座標（Ｘb，Ｙb）を算出するするとともに、ミラー反転処理を施す。
【０１２７】
ステップＳ１２３乃至ステップＳ１２９においては、図３３のステップＳ８３乃至ステップＳ８９における場合と同様の処理が行われるので、その説明を省略する。
【０１２８】
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した画像処理装置１１および座標変換テーブル生成装置１３が機能的に実現される。
【０１２９】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３１】
【発明の効果】
本発明によれば、ユーザの利用態様が変更されても、専用の画像処理装置を必要とすることがなく、容易に小画面の分割表示に対応することができる。
【図面の簡単な説明】
【図１】従来の画像処理システムの構成例を示すブロック図である。
【図２】図１のビデオカメラの配置例を示す図である。
【図３】図２のビデオカメラによる撮像の結果得られた画像の表示例を示す図である。
【図４】図１のビデオカメラの他の配置例を示す図である。
【図５】図４のビデオカメラによる撮像の結果得られた画像の他の表示例を示す図である。
【図６】本発明を適用した画像処理システムの構成例を示すブロック図である。
【図７】図６の表示装置のディスプレイの大きさを示す図である。
【図８】図６の画像処理装置の構成例を示すブロック図である。
【図９】図６の座標変換テーブル生成装置の構成例を示すブロック図である。
【図１０】図６の画像処理装置と座標変換テーブル生成装置の動作を説明するフローチャートである。
【図１１】図２のビデオカメラによる撮像の結果得られた画像の他の表示例を示す図である。
【図１２】図１０のステップＳ５の処理の詳細を説明するフローチャートである。
【図１３】座標変換テーブルの例を示す図である。
【図１４】図１０のステップＳ２の処理の詳細を説明するフローチャートである。
【図１５】ディスプレイ上の座標とカメラ番号の対応テーブルの例を示す図である。
【図１６】ディスプレイ上の座標と補正後のSD画像の小画面上の座標の対応テーブルの例を示す図である。
【図１７】図１６の対応テーブルを生成する処理を説明するフローチャートである。
【図１８】図１６の対応テーブルを生成する処理を説明する図である。
【図１９】図６のビデオカメラの配置例を示す図である。
【図２０】図１９のビデオカメラによる撮像の結果得られた画像の表示例を示す図である。
【図２１】図１９のビデオカメラの撮像範囲を説明する図である。
【図２２】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２３】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２４】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２５】図１９のビデオカメラの撮像範囲を説明する他の図である。
【図２６】座標変換テーブルの他の例を示す図である。
【図２７】図１０のステップＳ２の他の処理の詳細を説明するフローチャートである。
【図２８】ディスプレイ上の座標とカメラ番号との対応テーブルの他の例を示す図である。
【図２９】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す図である。
【図３０】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す他の図である。
【図３１】図１９のビデオカメラの撮像範囲に対応するディスプレイ上の領域を示す他の図である。
【図３２】ディスプレイ上の座標と補正後のSD画像の小画面上の座標との対応テーブルの他の例を示す図である。
【図３３】図３２の対応テーブルの生成処理を説明するフローチャートである。
【図３４】全方位カメラの外観の図である。
【図３５】図１０のステップＳ２の他の処理の詳細を説明するフローチャートである。
【図３６】ディスプレイ上の座標と補正後のSD画像の小画面上の座標との他の対応テーブルを生成する処理を説明するフローチャートである。
【符号の説明】
２ビデオカメラ，１１画像処理装置，１２表示装置，１２Ａディスプレイ，１３座標変換テーブル生成装置，２１ネットワーク，３１デコーダ，３２フィールドメモリ，３３制御部，３４フレームメモリ，３５エンコーダ，３６記憶部，３７通信部，３８入力部，４１ CPU，４２ ROM，４３ RAM，４４ハードディスク，４５バス，４６入出力インタフェース，４７出力部，４８入力部，４９通信部，５０ドライブ，１０１全方向カメラ[0001]
BACKGROUND OF THE INVENTION
 The present invention relates to an information processing system., Information processing apparatus, information processing method, image processing apparatus, image processing method, and programIn particular, an information processing system capable of appropriately dividing and displaying a plurality of images, Information processing apparatus, information processing method, image processing apparatus, image processing method, and programAbout.
[0002]
[Prior art]
FIG. 1 shows a configuration example of a conventional image processing system.
[0003]
N video cameras 2-1 to 2-N arranged at predetermined positions with respect to the subject 1 (hereinafter simply referred to as video cameras 2 when there is no need to distinguish them individually. The same applies to other cases. ) Supplies an image obtained as a result of imaging to the image processing apparatus 3.
[0004]
The image processing device 3 generates an image in which N images supplied from the video camera 2 are divided and displayed on the display 4 A of the display device 4, and supplies the image to the display device 4. The display device 4 displays the image from the image processing device 3 on the display 4A.
[0005]
[Problems to be solved by the invention]
Incidentally, FIG. 1 shows an example in which an image generated by the image processing device 3 is supplied to the display device 4, but the image generated by the image processing device 3 is actually the image. It is output according to many forms such as being supplied to a personal computer to be processed, supplied to a broadcaster who generates a broadcast program using the image, or broadbanded via a network.
[0006]
That is, the image processing device 3 needs to generate an image according to such a usage form (lens distortion or usage method of the video camera 2, or a divided display position). It depends on the usage form.
[0007]
For example, 9 obtained as a result of imaging by 9 (N = 9) video cameras 2-1 to 2-9 (for example, video cameras arranged so as to surround the subject 1 as shown in FIG. 2). When the images are divided and displayed as shown in FIG. 3, image processing is performed accordingly, and 8 (N = 8) video cameras 2-1 to 2-8 (for example, as shown in FIG. 4). As shown in FIG. 5, when eight images obtained as a result of imaging by a video camera arranged so that the landscape of all 360 degrees is the subject 1 are displayed as shown in FIG. It is necessary to perform corresponding image processing.
[0008]
The numbers attached to the small screen W shown in FIGS. 3 and 5 represent the video camera 2 that is the provider of the images displayed there, and are shown following the video camera 2. Is associated with the number. That is, for example, an image obtained as a result of imaging by the video camera 2-1 is displayed on the small screen W1, and an image obtained as a result of imaging by the video camera 2-2 is displayed on the small screen W2.
[0009]
Therefore, the image processing apparatus 3 is a dedicated device according to the usage pattern of the user. As a result, the conventional image processing system has a problem that it cannot easily cope with the change of the usage pattern.
[0010]
This invention is made | formed in view of such a condition, and enables it to respond easily to the change of a utilization form.
[0011]
[Means for Solving the Problems]
 Of the present inventionOf the first sideInformation processing systemThe information processing apparatus selects a large screen among a plurality of small screens constituting the large screen based on predetermined coordinates on the large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed. First detection means for detecting a camera number of a video camera that has captured a first small image displayed on a small screen including a predetermined coordinate on the screen, and correction of distortion at the outer peripheral portion caused by lens distortion of the video camera Out of the coordinates on the small screen of the second small image, the second detection means for detecting the first coordinates on the small screen corresponding to the predetermined coordinates on the large screen, Of the coordinates on the small screen of the first small image before the distortion of the outer peripheral portion is corrected from the first coordinates on the small screen of the second small image in which the distortion of the portion is corrected, the first on the small screen. A calculator that calculates the second coordinates on the small screen corresponding to the coordinates of 1 When, and generating means for generating a predetermined coordinate, the detected camera number and the coordinate conversion table a second coordinate associated respectively on the calculated small screen, on a large screen,The image processing deviceFrom the coordinate conversion table,Corresponding to the given coordinates on the big screen,smallOn screenSecondCoordinateTheFirst to detect3Detecting means ofCoordinate transformationThe table is associated with the predetermined coordinates on the large screenCamera number video camerasoImagingIsFirstSmall imageOut of multiple pixels,Check from coordinate conversion tableOn the small screenSecondReading means for reading a pixel value of a pixel at a position corresponding to the coordinates;ReadingOutput means for outputting the captured pixel value as a pixel value of a pixel of a large image at a position corresponding to a predetermined coordinate on the large screen;ThePreparationRu.
[0012]
 Information of the information processing system according to the first aspect of the present inventionInformation processing equipment1The detection means ofFirst correspondence in which the camera number of the video camera that captured the small image displayed on the small screen including the coordinates on the large screen is associated with the coordinates on the large screen, among the plurality of small screens constituting the large screen Camera number corresponding to a given coordinate on the large screen based on the tableTo detect2The detection means ofOn the large screen, based on the second correspondence table in which the coordinates on the small screen of the second small image corrected for the distortion of the outer peripheral portion caused by the lens distortion of the video camera are associated with the corresponding coordinates on the large screen. The first coordinates on the small screen corresponding to the given coordinatesCan be detected.
In the first aspect of the present invention, the information processing apparatus displays a large screen based on predetermined coordinates on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed. Outer peripheral portion caused by lens distortion of the video camera by detecting the camera number of the video camera that picked up the first small image displayed on the small screen including a predetermined coordinate on the large screen among the plurality of small screens constituting the screen The first coordinates on the small screen corresponding to the predetermined coordinates on the large screen are detected from the coordinates on the small screen of the second small image whose distortion has been corrected. Among the coordinates on the small screen of the first small image before correcting the distortion of the outer peripheral portion from the first coordinates on the small screen of the second small image whose distortion has been corrected, the first on the small screen is selected. The second coordinates on the small screen corresponding to the coordinates are calculated, and the large screen A coordinate conversion table is generated in which the predetermined coordinates, the detected camera number, and the calculated second coordinates on the small screen are associated with each other, and the image processing apparatus generates a predetermined coordinate on the large screen from the coordinate conversion table. The second small coordinates on the small screen corresponding to the coordinates of the first small image are detected, and the first small image captured by the video camera of the camera number associated with the predetermined coordinates on the large screen in the coordinate conversion table Among the plurality of pixels constituting the pixel value, the pixel value of the pixel at the position corresponding to the second coordinate on the small screen detected from the coordinate conversion table is read, and the read pixel value is a predetermined value on the large screen. Since it is output as the pixel value of the pixel of the large image at the position corresponding to the coordinates of the image, even if the user's usage is changed, a dedicated image processing device is not required, and the small screen can be easily divided Corresponds to the display Door can be.
[0013]
An information processing apparatus according to a second aspect of the present invention configures a large screen based on predetermined coordinates on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed. First detection means for detecting a camera number of a video camera that has captured a first small image displayed on a small screen including predetermined coordinates on the large screen among a plurality of small screens, and lens distortion of the video camera Second detection means for detecting the first coordinates on the small screen corresponding to the predetermined coordinates on the large screen among the coordinates on the small screen of the second small image in which the distortion of the outer peripheral portion caused by And the coordinates on the small screen of the first small image before correcting the distortion of the outer peripheral portion from the first coordinates on the small screen of the second small image in which the distortion of the outer peripheral portion is corrected by a predetermined process. Of the second on the small screen corresponding to the first coordinate on the small screen A calculation unit that calculates a target; and a generation unit that generates a coordinate conversion table in which predetermined coordinates on the large screen, a detected camera number, and the calculated second coordinates on the small screen are associated with each other. .
The first detection means of the information processing apparatus according to the second aspect of the present invention displays the coordinates on the large screen on the small screen including the coordinates on the large screen among the plurality of small screens constituting the large screen. The camera number corresponding to a predetermined coordinate on the large screen is detected based on the first correspondence table in which the camera number of the video camera that captured the small image is associated, and the second detection means Based on the second correspondence table in which the coordinates on the small screen of the second small image corrected for the distortion of the outer peripheral portion caused by the lens distortion of the camera are associated with the corresponding coordinates on the large screen. The first coordinates on the small screen corresponding to the predetermined coordinates can be detected.
The information processing method according to the second aspect of the present invention configures a large screen based on predetermined coordinates on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed. A first detection step of detecting a camera number of a video camera that has captured a first small image displayed on a small screen including predetermined coordinates on the large screen among a plurality of small screens; and lens distortion of the video camera A second detection step of detecting a first coordinate on the small screen corresponding to a predetermined coordinate on the large screen among the coordinates on the small screen of the second small image in which the distortion of the outer peripheral portion caused by And the coordinates on the small screen of the first small image before correcting the distortion of the outer peripheral portion from the first coordinates on the small screen of the second small image in which the distortion of the outer peripheral portion is corrected by a predetermined process. On the small screen corresponding to the first coordinate on the small screen A calculation step for calculating the second coordinates, and a generation step for generating a coordinate conversion table in which the predetermined coordinates on the large screen, the detected camera number, and the calculated second coordinates on the small screen are associated with each other. Including.
The first program according to the second aspect of the present invention configures a large screen based on predetermined coordinates on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed. A first detection step of detecting a camera number of a video camera that has captured a first small image displayed on a small screen including a predetermined coordinate on the large screen among a plurality of small screens, and a lens of the video camera Second detection for detecting a first coordinate on the small screen corresponding to a predetermined coordinate on the large screen among the coordinates on the small screen of the second small image in which the distortion of the outer peripheral portion caused by the distortion is corrected On the small screen of the first small image before correcting the distortion of the outer peripheral portion from the first coordinates on the small screen of the second small image in which the distortion of the outer peripheral portion is corrected by the step and the predetermined processing Of the coordinates, the small image corresponding to the first coordinate on the small screen A calculation step for calculating the upper second coordinates, and a coordinate conversion table that associates the predetermined coordinates on the large screen, the detected camera number, and the calculated second coordinates on the small screen with each other are generated. And causing the computer of the information processing apparatus to execute processing including the generation step.
In the second aspect of the present invention, a plurality of small images constituting a large screen are based on predetermined coordinates on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed. Among the screens, the camera number of the video camera that captured the first small image displayed on the small screen including the predetermined coordinates on the large screen was detected, and the distortion of the outer peripheral portion caused by the lens distortion of the video camera was corrected. Among the coordinates on the small screen of the second small image, the first coordinates on the small screen corresponding to the predetermined coordinates on the large screen are detected, and the distortion of the outer peripheral portion is corrected by the predetermined processing. From the first coordinates on the small screen of the second small image, corresponding to the first coordinates on the small screen among the coordinates on the small screen of the first small image before correcting the distortion of the outer peripheral portion, The second coordinate on the small screen is calculated Then, a coordinate conversion table that associates the predetermined coordinates on the large screen, the detected camera number, and the calculated second coordinates on the small screen is generated, so the generated coordinate conversion table is used. As a result, even if the user's usage mode is changed, a dedicated image processing apparatus is not required, and it is possible to easily cope with the divided display of a small screen.
The image processing apparatus according to the third aspect of the present invention has predetermined coordinates on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, and a plurality of small images constituting the large screen. Among the screens, the camera number of the video camera that captured the first small image displayed on the small screen including the predetermined coordinates on the large screen, and the second corrected distortion of the outer peripheral portion caused by the lens distortion of the video camera. Among the coordinates on the small screen of the small image, the coordinates corresponding to the predetermined coordinates on the large screen are set as the first coordinates on the small screen, and the first small image before the distortion of the outer peripheral portion is corrected. Among the coordinates on the small screen, the small coordinates corresponding to the predetermined coordinates on the large screen from the coordinate conversion table corresponding to the first coordinates on the small screen and the second coordinates on the small screen respectively. Detecting means for detecting a second coordinate on the screen; On the small screen detected from the coordinate conversion table among the plurality of pixels constituting the first small image captured by the video camera of the camera number associated with the predetermined coordinates on the large screen in the table Reading means for reading a pixel value of a pixel at a position corresponding to the second coordinate, and outputting the read pixel value as a pixel value of a pixel of a large image at a position corresponding to a predetermined coordinate on the large screen Output means.
The image processing method according to the third aspect of the present invention includes a predetermined coordinate on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, and a plurality of small images constituting the large screen. Among the screens, the camera number of the video camera that captured the first small image displayed on the small screen including the predetermined coordinates on the large screen, and the second corrected distortion of the outer peripheral portion caused by the lens distortion of the video camera. Among the coordinates on the small screen of the small image, the coordinates corresponding to the predetermined coordinates on the large screen are set as the first coordinates on the small screen, and the first small image before the distortion of the outer peripheral portion is corrected. Among the coordinates on the small screen, the small coordinates corresponding to the predetermined coordinates on the large screen from the coordinate conversion table corresponding to the first coordinates on the small screen and the second coordinates on the small screen respectively. A detection step of detecting a second coordinate on the screen; On the small screen detected from the coordinate conversion table among the plurality of pixels constituting the first small image captured by the video camera of the camera number associated with the predetermined coordinates on the large screen in the conversion table A reading step for reading a pixel value of a pixel at a position corresponding to the second coordinate of the image, and outputting the read pixel value as a pixel value of a pixel of a large image at a position corresponding to a predetermined coordinate on the large screen Output step.
The second program of the third aspect of the present invention includes a predetermined coordinate on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, and a plurality of components constituting the large screen. Among the small screens, the camera number of the video camera that captured the first small image displayed on the small screen including the predetermined coordinates on the large screen and the distortion of the outer peripheral portion caused by the lens distortion of the video camera are corrected. Among the coordinates on the small screen of 2 small images, the coordinates corresponding to the predetermined coordinates on the large screen are set as the first coordinates on the small screen, and the first small image before correcting the distortion of the outer peripheral portion. Of the coordinates on the small screen, corresponding to the first coordinates on the small screen, corresponding to the predetermined coordinates on the large screen from the coordinate conversion table corresponding to the second coordinates on the small screen, A detecting step for detecting a second coordinate on the small screen; The small screen detected from the coordinate conversion table among the plurality of pixels constituting the first small image captured by the video camera of the camera number associated with the predetermined coordinates on the large screen in the coordinate conversion table A reading step for reading the pixel value of the pixel at the position corresponding to the second coordinate above, and the read pixel value as the pixel value of the pixel of the large image at the position corresponding to the predetermined coordinate on the large screen And causing the computer of the image processing apparatus to execute processing including an output step of outputting.
In the third aspect of the present invention, predetermined coordinates on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, among a plurality of small screens constituting the large screen The camera number of the video camera that captured the first small image displayed on the small screen including the predetermined coordinates on the large screen, and the second small image obtained by correcting the distortion of the outer peripheral portion caused by the lens distortion of the video camera Among the coordinates on the small screen, the coordinates corresponding to the predetermined coordinates on the large screen are set as the first coordinates on the small screen, and on the small screen of the first small image before the distortion of the outer peripheral portion is corrected. Coordinates Among the second coordinates on the small screen corresponding to the predetermined coordinates on the large screen from the coordinate conversion table corresponding to the first coordinates on the small screen and the second coordinates on the small screen. Of the plurality of pixels constituting the first small image captured by the video camera of the camera number associated with the predetermined coordinates on the large screen in the coordinate conversion table. The pixel value of the pixel at the position corresponding to the second coordinate on the small screen detected from the pixel is read, and the pixel value of the pixel at the position corresponding to the predetermined coordinate on the large screen is read Therefore, even if the usage pattern of the user is changed, the coordinate conversion table is used, so that a dedicated image processing device is not required, and it is possible to easily cope with divided display of a small screen. be able to.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 6 shows a configuration example of an image processing system to which the present invention is applied. In the figure, portions corresponding to those in FIG. 1 are denoted by the same reference numerals. It is assumed that the coordinate conversion table generation device 13 is managed by a business operator, the subjects 1 to 12 are managed by a user, and the image processing device 11 is manufactured by the business operator.
[0015]
The N video cameras 2-1 to 2-N arranged at predetermined positions with respect to the subject 1 send images (for example, SD (standard definition) images) obtained as a result of imaging to the image processing apparatus 11. Supply.
[0016]
The image processing apparatus 11 manages the usage mode such as the number and arrangement positions of the video cameras 2, lens distortion, and the display position of the SD image via the network 21. The coordinate conversion table Ta generated by the coordinate conversion table generating device 13 according to the use mode transmitted through the network 21 is acquired.
[0017]
 The image processing apparatus 11 uses the acquired coordinate conversion table Ta to generate N SD images from the SD images supplied from the video cameras 2-1 to 2-N on the display 12A of the display device 12. An image (HD (high definition) image) divided and displayed in a desired form is generated, for example, the display device 12InSupply.
[0018]
The display device 12 displays the HD image from the image processing device 11 on the display 12A. The display 12A has a resolution of 1080 × 1920 pixels as shown in FIG.
[0019]
The coordinate conversion table generation device 13 performs coordinate conversion corresponding to the usage mode (the number and arrangement positions of the video cameras 2, lens distortion, display positions of SD images, etc.) transmitted from the image processing device 11 via the network 21. A table Ta is generated and supplied to the image processing apparatus 11.
[0020]
That is, the manufacturer or provider of the image processing apparatus 11 generates a charge when providing the coordinate conversion table Ta to the image processing apparatus 11, thereby allowing the image processing apparatus 11 to manufacture and sell the image processing apparatus 11. It is possible to build a new business of providing incidental information. Therefore, it is desirable that the coordinate conversion table generation device 13 includes an encryption unit that encrypts information such as the coordinate conversion table Ta, and the image processing device 11 includes a decryption unit that decrypts the information.
[0021]
FIG. 8 shows a configuration example of the image processing apparatus 11.
[0022]
SD images from the corresponding video cameras 2-1 to 2-N are input to the N decoders 31-1 to 31-N, respectively. The decoders 31-1 to 31 -N decode the SD image input from the video camera 2 and supply it to the corresponding field memories 32-1 to 32 -N.
[0023]
The field memory 32 stores the image data supplied from the decoder 31 in field units.
[0024]
The control unit 33 controls the communication unit 37 to change the usage mode (the number and arrangement position of the video cameras 2, the lens distortion, the display position of the SD image, etc.) input from the user to the input unit 38 over the network 21. The coordinate conversion table Ta is transmitted from the coordinate conversion table generation device 13 to the coordinate conversion table generation device 13 or generated according to the usage mode, and is stored in the storage unit 36.
[0025]
The control unit 33 appropriately reads out the image data stored in the field memories 32-1 to 32-N, and based on the coordinate conversion table Ta stored in the storage unit 36, N pieces of image data are read out from the read image data. An HD image in which the image is divided and displayed in a desired form on the display 12A of the display device 12 is generated and supplied to the frame memory 34. The frame memory 34 stores the HD image supplied from the control unit 33.
[0026]
The encoder 35 appropriately reads and encodes image data (HD image image data) stored in the frame memory 34, and supplies the resulting image data to the display device 12.
[0027]
FIG. 9 shows a configuration example of the coordinate conversion table generation device 13.
[0028]
An input / output interface 46 is connected to a CPU (Central Processing Unit) 41 via a bus 45, and the CPU 41 receives commands from an input unit 48 such as a keyboard and a mouse via the input / output interface 46. For example, a program (for example, a program stored in a recording medium such as a magnetic disk 61, an optical disk 62, a magneto-optical disk 63, or a semiconductor memory 64 mounted on a ROM (Read Only Memory) 42, a hard disk 44, or a drive 50 (for example, , A program for generating the coordinate conversion table Ta) is loaded into a RAM (Random Access Memory) 43 and executed. Further, the CPU 41 outputs the processing result to an output unit 47 such as an LCD (Liquid Crystal Display) via the input / output interface 46 as necessary. The program is stored in advance in the hard disk 44 or the ROM 42 and provided to the user integrally with the coordinate conversion table generating device 13, or packages such as the magnetic disk 61, the optical disk 62, the magneto-optical disk 63, and the semiconductor memory 64 are provided. It can be provided as a medium, or provided to the hard disk 44 via a communication unit 49 from a satellite, a network, or the like.
[0029]
The CPU 41 controls the communication unit 49 to receive the usage mode transmitted from the image processing apparatus 11 or to transmit the generated coordinate conversion table Ta to the image processing apparatus 11.
[0030]
Next, operations of the image processing apparatus 11 and the coordinate conversion table generation apparatus 13 will be described with reference to the flowchart of FIG.
[0031]
In step S 1, the control unit 33 of the image processing apparatus 11 controls the communication unit 37, and the usage mode (the number and arrangement position of the video cameras 2, lens distortion, and SD image) input to the input unit 38 by the user. Display position, etc.) is transmitted to the coordinate conversion table generation device 13 to request generation of the coordinate conversion table Ta.
[0032]
In step S 2, the CPU 41 of the coordinate conversion table generation device 13 generates a coordinate conversion table Ta according to the usage mode from the image processing device 11. Details of the processing here will be described later.
[0033]
In step S 3, the CPU 41 of the coordinate conversion table generation device 13 encrypts the generated coordinate conversion table Ta with, for example, the manufacturing number of the image processing device 11 and transmits it to the image processing device 11 via the communication unit 49.
[0034]
In step S 4, the control unit 33 of the image processing apparatus 11 receives the coordinate conversion table Ta transmitted from the coordinate conversion table generation apparatus 13 received by the communication unit 37, for example, in the manufacturing unit stored in the storage unit 36. The number is decrypted and stored in the storage unit 36.
[0035]
At this time, by receiving and transmitting the coordinate conversion table Ta, an ordering action for information necessary for image coordinate conversion is established, and the manufacturer or provider of the image processing apparatus 11 that is the sender is the receiver. Charges can be made to the user.
[0036]
 In step S5, the control unit 33 of the image processing apparatus 11 uses the coordinate conversion table Ta stored in step S4 to generate N images from the SD images supplied from the video cameras 2-1 to 2-N. The SD image is generated as an HD image divided and displayed in a desired form on the display 12A of the display device 12, for example, the display device 12InSupply. Details of the processing here will be described next.
[0037]
For example, as shown in FIG. 2, nine (N = 9) video cameras 2-1 to 2-9 are arranged so as to surround a relatively close subject 1, and the result of imaging by the video camera 2 is obtained. When the obtained image is divided and displayed as shown in FIG. 11 (hereinafter, such a usage mode is referred to as a first usage mode as appropriate), refer to the flowchart of FIG. I will explain.
[0038]
That is, in this case, the storage unit 36 of the image processing apparatus 11 stores the coordinate conversion table Ta (details will be described later) generated in step S2 in accordance with the usage mode.
[0039]
In step S 11, the control unit 33 of the image processing apparatus 11 reads a coordinate conversion table Ta as shown in FIG. 13 stored in the storage unit 36.
[0040]
In this coordinate conversion table Ta, the coordinates on the display 12A, the coordinates on the small screen W including the coordinates on the display 12A corresponding to the coordinates on the display 12A, and the image displayed on the small screen W are provided. Camera numbers assigned to the video cameras 2 to be associated are associated with each other. Information indicating that black is output (information indicated by “black output” in FIG. 13) is set at coordinates on the predetermined display 12A. Note that coordinates on the display 12A associated with information indicating that black is output are not associated with coordinates on the small screen W or camera numbers.
[0041]
Next, in step S12, the control unit 33 selects one coordinate on the display 12A (the coordinate of one pixel constituting the HD image).
[0042]
In step S13, the control unit 33 determines whether or not information indicating that black is output is associated with the coordinates on the display 12A selected in step S12 in the coordinate conversion table Ta. If it is determined that they are not associated with each other, the process proceeds to step S14, and the camera number associated with the coordinates on the selected display 12A is detected from the coordinate conversion table Ta.
[0043]
Next, in step S15, the control unit 33 selects the field memory 32 corresponding to the video camera 2 to which the camera number detected in step S14 is assigned.
[0044]
In step S16, the control unit 33 detects the coordinates on the small screen W associated with the coordinates on the display 12A selected in step S12 from the coordinate conversion table Ta.
[0045]
Next, in step S17, the control unit 33 determines the pixel value of the pixel of the SD image stored in the field memory 32 selected in step S15, which is at the position corresponding to the coordinates on the small screen W detected in step S16. Is stored in the frame memory 34 as a pixel value output to the coordinates on the display 12A selected in step S12.
[0046]
If it is determined in step S13 that the information indicating that black is output is set, the process proceeds to step S18, and the control unit 33 stores the pixel value displayed as black in the frame memory 34 in step S12. The pixel value output to the selected coordinates on the display 12A is stored.
[0047]
For example, when a predetermined coordinate in the small screen W5 in FIG. 11 is selected in step S12, the selected coordinate is associated with the camera number of the video camera 2-5 in the coordinate conversion table Ta. Since the information indicating that black is output is not associated, the camera number of the video camera 2-5 is detected (step S13, step S14). Next, the field memory 32-5 corresponding to the video camera 2-5 is selected (step S15), and the coordinates on the small screen W associated with the coordinates on the selected display 12A are the coordinate conversion table Ta. (Step S16).
[0048]
Then, the pixel value of the pixel of the SD image (step S15) from the video camera 2-5 at the position corresponding to the detected coordinate on the small screen W (step S16) becomes the coordinate on the selected display 12A. The output pixel value is stored (step S17).
[0049]
Further, for example, when the coordinates of a screen other than the small screens W1 to W9 (the shaded portion in the figure) are selected in step S12, such coordinates are displayed in the coordinate conversion table Ta. Since information indicating that black is output is set (step S13), the pixel value displayed as black is stored as the pixel value output to the coordinates on the selected display 12A (step S18). ).
[0050]
Returning to FIG. 12, when a predetermined pixel value is stored in the frame memory 34 in step S17 or step S18, the process proceeds to step S19, and the control unit 33 determines whether or not all coordinates on the display 12A have been selected. If it is determined that coordinates that have not been selected still remain, the process returns to step S12 to select the next coordinates on the display 12A.
[0051]
If it is determined in step S19 that all coordinates have been selected, the process ends.
[0052]
As will be described later, the coordinate conversion table Ta shown in FIG. 13 is generated by the coordinate conversion table generation device 13 based on the first usage mode. By performing the above-described processing according to the coordinate conversion table Ta, nine SD images supplied from the video camera 2 can be divided and displayed as shown in FIG.
[0053]
Next, the process of step S2 when generating the coordinate conversion table Ta according to the first usage mode will be described with reference to the flowchart of FIG.
[0054]
When the usage mode (first usage mode) transmitted from the image processing device 11 is received, in step S21, the CPU 41 of the coordinate conversion table generating device 13 coordinates (displays an HD image) on the display 12A of the display device 12. One pixel coordinate) (FIG. 11) is selected.
[0055]
Specifically, the first usage mode transmitted from the image processing apparatus 11 includes, for example, the coordinates displayed in the small screen W1 to the small screen W9 on the display 12A as shown in FIG. The camera number of the video camera 2 that is the source of the image to be displayed is associated, and the coordinates in the screen other than the small screen W1 to the small screen W9 (the shaded portion in FIG. 11) on the display 12A 2 includes a correspondence table Tb1 associated with information indicating that (hereinafter referred to as information outside the display area), the CPU 41 selects coordinates on one display 12A from the table. .
[0056]
In step S22, the CPU 41 refers to the correspondence table Tb1, and the coordinates on the display 12A selected in step S21 are those in the small screen W (image corresponding to the SD image obtained as a result of imaging by the video camera 2). And the camera number of the video camera 2 is at the coordinates selected in step S21 in the correspondence table Tb1. If it is associated), the process proceeds to step S23.
[0057]
In step S23, the CPU 41 detects the camera number of the video camera 2 corresponding to the coordinates on the display 12A selected in step S21 from the correspondence table Tb1.
[0058]
Next, in step S24, the CPU 41 detects coordinates on the small screen W associated with the coordinates on the display 12A selected in step S21.
[0059]
Specifically, it is generated using the lens distortion of the video camera 2 included in the first usage mode transmitted from the image processing device 11 and stored in the hard disk 44 as shown in FIG. Correspondence indicating the correspondence between the coordinates on the small screen W of the image for the small screen W cut out from the SD image obtained as a result of the imaging by the video camera 2 corrected based on the lens distortion, and the coordinates on the display 12A From the table Tb2, coordinates on the small screen W associated with the coordinates on the display 12A are detected. Details of the correspondence table Tb2 will be described later.
[0060]
In step S25, the CPU 41 calculates the coordinates on the small screen W of the uncorrected SD image (original SD image) from the coordinates on the small screen W detected in step S24 as described later.
[0061]
Next, in step S26, the CPU 41 correlates the coordinates on the display 12A selected in step S21, the camera number detected in step S23, and the coordinates on the small screen W calculated in step S25 with each other. Save to Ta (FIG. 13).
[0062]
If it is determined in step S22 that the coordinates on the display 12A selected in step S21 are not within the small screen W (in the correspondence table Tb1, the coordinates on the display 12A selected in step S21 are displayed. If the out-of-region information is associated), the process proceeds to step S27.
[0063]
In step S27, the CPU 41 stores the coordinates on the display 12A selected in step S21 and information indicating that black is output in the coordinate conversion table Ta (FIG. 13) in association with each other.
[0064]
When predetermined information is stored in the coordinate conversion table Ta in step S26 or step S27, the process proceeds to step S28, and the CPU 41 determines whether or not the coordinates on all the displays 12A on the display 12A have been selected. If it is determined that there are still unselected coordinates, the process returns to step S21, the next coordinate is selected, and the subsequent processing is executed.
[0065]
If it is determined in step S28 that all coordinates have been selected, the process ends.
[0066]
Next, the process of generating the correspondence table Tb2 (FIG. 16) used when generating the coordinate conversion table Ta (FIG. 13) corresponding to the first usage mode will be described with reference to the flowchart of FIG. . Here, it is assumed that the coordinate conversion table generation device 13 generates the correspondence table Tb2.
[0067]
In step S41, the CPU 41 of the coordinate conversion table generating device 13 selects one camera number from the camera numbers of the video cameras 2-1 to 2-9. The CPU 41 knows the camera numbers of the video cameras 2-1 to 2-9 from the correspondence table Tb1.
[0068]
Next, in step S42, the CPU 41 assumes an SD image having the same size as the SD image obtained as a result of imaging by the video camera 2 (in this example, an image having the same size as the small screen W). The coordinates (Xa, Ya) (coordinates on the small screen W of the SD image before correction) of each pixel constituting the image are corrected according to the equation (1), and the coordinates (Xb, Yb) (correction) are corrected. Calculate the coordinates on the small screen of the subsequent SD image). In the equation, the coordinates (Xac, Yac) are the coordinates of the pixel located at the center of the SD image. k1 and k2 are coefficients determined based on the lens distortion of the video camera 2 included in the first usage mode. r is the distance between the pixel at coordinates (Xa, Ya) and the center pixel of the SD image.
[0069]
[Expression 1]

[0070]
Note that by converting the coordinates in this manner, blurring of the outer peripheral portion of the SD image caused by lens distortion of the video camera 2 can be made clear.
[0071]
In step S43, the CPU 41 determines the range of the SD image obtained as a result of the correction in step S42 corresponding to the size of the small screen W, and in step S44, each pixel of the SD image within the determined range. The coordinates (Xb, Yb) on the small screen W are selected. That is, the coordinates on the small screen W of the corrected SD image displayed on the small screen W are selected.
[0072]
Since the SD image (FIG. 18A) obtained as a result of imaging by the video camera 2 is enlarged and deformed into a pincushion shape, for example, as indicated by the solid line in FIG. The coordinates within the range determined in step S43, indicated by the dotted line in FIG. 18B, are selected (FIG. 18C). Note that the coordinates (Xai, Yai) in FIG. 18A indicate arbitrary coordinates (Xa, Ya), and the coordinates (Xbi, Ybi) in FIGS. 18B and 18C are corrected for the coordinates (Xai, Yai). The resulting coordinates (Xb, Yb) are represented.
[0073]
In step S45, the CPU 41 selects one coordinate from the coordinates on the small screen W of the corrected SD image selected in step S44, and converts it to the coordinates on the display 12A in step S46. .
[0074]
Specifically, the coordinates on the small screen W selected in step S45 are the SD camera (FIG. 18C) in the range determined in step S43, and the video camera having the camera number selected in step S41. When the image is mapped to the small screen W on which the second image is displayed, the coordinates are converted into the coordinates on the corresponding display 12A.
[0075]
For example, when the camera number of the video camera 2-5 is selected in step S41, the coordinates on the small screen W selected in step S45 are the SD images in the range determined in step S43 on the small screen W5. In the case of mapping, the coordinates are converted into corresponding coordinates on the display 12A.
[0076]
Next, in step S47, the CPU 41 associates the coordinates on the small screen W of the corrected SD image selected in step S45 with the coordinates on the display 12A obtained in step S46, and corresponds to the correspondence table Tb2 (FIG. 16).
[0077]
In step S48, the CPU 41 determines whether or not all of the coordinates selected in step S44 have been selected. If it is determined that there are still unselected coordinates, the process returns to step S45, and the next coordinate is determined. Select and execute the subsequent processing.
[0078]
If it is determined in step S48 that all coordinates have been selected, the process proceeds to step S49, where the CPU 41 determines whether all camera numbers have been selected, and that there are still unselected camera numbers remaining. When it determines, it returns to step S41 and selects the next camera number.
[0079]
If it is determined in step S49 that all camera numbers have been selected, the process ends.
[0080]
Therefore, for example, the pixel value output to a predetermined coordinate Ph (not shown) on the display 12A in the small screen W5 is the SD image obtained as a result of imaging by the video camera 2-5 in FIG. As a result of the correction in step S42, the coordinates (Xbi, Ybi) (FIG. 18B) (step S24 in FIG. 14) on the small screen W detected as corresponding to the coordinates Ph on the display 12A are displayed. Is the pixel value of the pixel located at the coordinates (Xai, Yai) (FIG. 18A) (step S25 in FIG. 14).
[0081]
That is, the image processing apparatus 11 calculates coordinates corresponding to lens distortion of the video camera 2 of the SD image obtained as a result of imaging by the video camera 2 input, or coordinates on the display 12A according to the divided display form. As shown in FIG. 12, the image value of the image captured by the video camera 2 subjected to distortion correction can be obtained simply by setting the pixel value of the SD image to an HD image according to the coordinate conversion table Ta. It is possible to generate an HD image in which the resulting SD image is divided and displayed in a desired form.
[0082]
Since the coordinates (Xb, Yb) on the small screen W of the SD image after correction of the correspondence table Tb2 (FIG. 16) are calculated according to the equation (1) as described above, in step S25 of FIG. Reverse correction is performed by optimization corresponding to the equation, and the coordinates on the small screen W of the SD image before correction are calculated.
[0083]
Next, as shown in FIG. 19, nine video cameras 2-1 to 2-9 are arranged so as to form a plane in the vertical direction with respect to the distant subject 1, and imaging by the video camera 2 is performed. The process of step S5 in the case where the image obtained as a result of the above is divided and displayed as shown in FIG. 20 (hereinafter, such a usage mode is appropriately referred to as a second usage mode) will be described.
[0084]
In the case of this example, the video cameras 2 are arranged so that the imaging ranges of adjacent ones partially overlap as shown by the dotted frame in FIG. For example, the imaging range of the video camera 2-1 (the solid line frame in FIG. 22) is the imaging range of the video camera 2-2 (the implementation range in FIG. 23) and the imaging range of the video camera 2-4 (the solid line in FIG. 24). And the imaging range of the video camera 2-5 (the range indicated by the solid line in FIG. 25) partially overlap.
[0085]
The image processing apparatus 11 uses the coordinate conversion table Ta as shown in FIG. 26 generated by the coordinate conversion table generation apparatus 13 based on the second usage mode in step S2 of FIG. The processing shown in the flowchart of FIG. 12 is executed in the same manner as in the usage mode. That is, the processing of the image processing apparatus 11 changes the values such as the coordinates to be handled, but since it is substantially the same in the case of the first usage mode and the case of the second usage mode, it is easy to change the usage mode. It can correspond to.
[0086]
20 differs from the first usage mode (FIG. 11) in that the HD image is displayed on the entire display 12A of the display device 12. Therefore, the coordinate conversion table Ta includes the first display mode. As shown in FIG. 13 (FIG. 13), information indicating that black is output is not set. Therefore, in the case of this example, in the flowchart of FIG. 12, since the determination of YES is not made in step S3, the pixel value for outputting black is not stored in the process of step S8.
[0087]
Next, the process of step S2 when generating the coordinate conversion table Ta (FIG. 26) according to the second usage mode will be described with reference to the flowchart of FIG.
[0088]
When the usage mode (second usage mode) transmitted from the image processing device 11 is received, in step S61, the CPU 41 of the coordinate conversion table generation device 13 configures the coordinates (on the HD image) of the display 12A of the display device 12. One pixel coordinate) (FIG. 20) is selected, and one camera number is selected in step S62.
[0089]
In the second usage mode transmitted from the image processing apparatus, for example, as shown in FIG. 28, for each area as shown in FIG. 29 corresponding to the imaging range of the video camera 2 shown in FIG. Since the correspondence table Tc1 associated with the camera number of the video camera 2 having the corresponding imaging range is included, the CPU 41 refers to that table and selects the coordinates and camera number on one display 12A. To do.
[0090]
In the correspondence table Tc1, for example, the camera number of the video camera 2-1 is at the coordinates in the area Q1 (FIG. 30) corresponding to the imaging range of the video camera 2-1 (FIG. 22) on the display 12A. The camera number of the video camera 2-2 is associated with the coordinates in the region Q2 (FIG. 31) corresponding to the imaging range (FIG. 23) of the video camera 2-2. The two camera numbers of the video cameras 2-1 and 2-2 correspond to the coordinates on the display 12A belonging to both the area Q1 and the area Q2 (for example, the coordinates (Xhi, Yhi) in FIGS. 30 and 31). It is attached.
[0091]
In step S63, the CPU 41 determines whether or not the correspondence table Tc1 shown in FIG. 28 is associated with the coordinates on the display 12A selected in step S61 and the camera number selected in step S62. If it is determined that it is, the process proceeds to step S64.
[0092]
In step S64, the CPU 41 detects coordinates on the small screen W associated with the coordinates on the display 12A selected in step S61 and the camera number selected in step S62.
[0093]
The coordinates on the display 12A shown in FIG. 32, which are generated by using the lens distortion of the video camera 2 and stored in the hard disk 44, included in the second usage mode transmitted from the image processing apparatus, the video camera The coordinates on the small screen W of the image for the small screen W cut out from the SD image obtained as a result of the imaging by the video camera 2 corrected based on the lens distortion 2 and the imaging range corresponding to the coordinates on the display 12A From the correspondence table Tc2 indicating the correspondence relationship between the camera numbers of the video cameras 2 having the coordinates, the coordinates on the display 12A and the coordinates on the small screen W associated with the camera numbers are detected. A method for generating the correspondence table Tc2 will be described later.
[0094]
Next, in step S65, the CPU 41 calculates the coordinates on the small screen W of the SD image before correction from the coordinates on the small screen W of the SD image after correction detected in step S64.
[0095]
When it is determined in step S63 that the coordinates on the display 12A selected in step S61 are not associated with the camera number selected in step S62, or in step S65, the small screen of the SD image before correction When the coordinates on W are calculated, the process proceeds to step S66, and the CPU 41 determines whether or not all camera numbers have been selected. If it is determined that there are still unselected ones, the process proceeds to step S62. Return and select the next camera number.
[0096]
When it is determined in step S66 that all camera numbers have been selected, the process proceeds to step S67, and the CPU 41 determines that the coordinates on the display 12A selected in step S61 are a plurality of camera numbers in the correspondence table Tc1 (FIG. 28). If it is determined whether or not it is associated with a plurality of camera numbers, the process proceeds to step S68.
[0097]
For example, the coordinates (Xhi, Yhi) on the display 12A shown in FIGS. 30 and 31 are associated with both the camera number of the video camera 2-1 and the camera number of the video camera 2-3 in the correspondence table Tc1. Therefore, when the coordinates (Xhi, Yhi) are selected in step S61, the process proceeds to step S68.
[0098]
In step S68, the CPU 41 determines the coordinates (step S65) on the small screen W of the plurality of SD images before correction calculated by performing the processing in steps S62 to S65 a plurality of times (for example, the video camera 2 in step S62). -1 calculated when the camera number of -1 is selected and calculated when the camera number of the video camera 2-2 is selected) is set in the coordinate conversion table Ta. Determine the coordinates.
[0099]
For example, when the coordinates (Xhi, Yhi) (FIGS. 30 and 31) are closer to the center of the area Q1 than to the center of the area Q2, the camera number of the video camera 2-1 is selected. The coordinates on the small screen W of the SD image before correction calculated at the time of being selected are selected.
[0100]
When it is determined in step S67 that the coordinates on the display 12A selected in step S61 are not associated with a plurality of camera numbers in the correspondence table Tc1, or in step S68, the coordinates on one small screen W When is determined, the process proceeds to step S69.
[0101]
In step S69, the CPU 41 calculates the small screen calculated in step S65 when the coordinates on the display 12A selected in step S61 and the coordinates on the display 12A selected in step S61 are not associated with a plurality of camera numbers. The coordinates on the small screen W determined in step S68 when the coordinates on W or the coordinates on the display 12A selected in step S61 are associated with a plurality of camera numbers, and the coordinates on the small screen W Is stored in the coordinate conversion table Ta (FIG. 26) in association with each camera number selected in step S62.
[0102]
Next, in step S70, the CPU 41 determines whether or not all the coordinates on the display 12A have been selected. If the CPU 41 determines that there are still unselected coordinates, the CPU 41 returns to step S61 and sets the next coordinates. Select and execute the subsequent processing.
[0103]
If it is determined in step S70 that all coordinates have been selected, the process ends.
[0104]
Next, the process of generating the correspondence table Tc2 (FIG. 32) used when generating the coordinate conversion table Ta (FIG. 26) corresponding to the second usage mode will be described with reference to the flowchart of FIG. . Here, it is assumed that the coordinate conversion table generation device 13 generates the correspondence table Tc2.
[0105]
In step S81, the CPU 41 of the coordinate conversion table generating device 13 selects one camera number. The CPU 41 knows the camera numbers of the video cameras 2-1 to 2-9 from the correspondence table Tc1.
[0106]
Next, in step S82, the CPU 41 assumes an SD image having the same size as the SD image obtained as a result of imaging by the video camera 2, and coordinates (Xa, Ya) (coordinates on the small screen W of the SD image before correction) is corrected according to the equation (1), and coordinates (Xb, Yb) (coordinates on the small screen of the SD image after correction) are calculated.
[0107]
In step S83, the CPU 41 determines the range of the SD image obtained as a result of the correction in step S82 in accordance with the size of the small screen W. In step S84, each pixel of the SD image within the determined range. The coordinates (Xb, Yb) on the small screen W are selected. That is, the coordinates on the small screen W of the corrected SD image displayed on the small screen W are selected.
[0108]
Next, in step S85, the CPU 41 selects one coordinate from the coordinates on the small screen W of the corrected SD image selected in step S84, and in step S86, selects the coordinate on the display 12A. Convert to
[0109]
Specifically, as the coordinates on the small screen W selected in step S85, the SD image in the range determined in step S83 is displayed, and the image of the video camera 2 having the camera number selected in step S81 is displayed. When mapped to the small screen W, the coordinates are converted to the corresponding coordinates on the display 12A.
[0110]
For example, when the camera number of the video camera 2-5 is selected in step S81, the coordinates on the small screen W selected in step S85 are the SD images in the range determined in step S83. 20), the corresponding coordinates on the display 12A are converted.
[0111]
Next, in step S87, the CPU 41 determines the camera number selected in step S81, the coordinates on the small screen W of the corrected SD image selected in step S85, and the coordinates on the display 12A obtained in step S86. As shown in FIG. 32, they are stored in the correspondence table Tc2 in association with each other.
[0112]
In step S88, the CPU 41 determines whether or not all of the coordinates selected in step S84 have been selected. If it is determined that there are still unselected coordinates, the CPU 41 returns to step S85 and sets the next coordinates. select.
[0113]
When it is determined in step S88 that all coordinates have been selected, the process proceeds to step S89, in which the CPU 41 determines whether or not all of the camera numbers have been selected, and that there are still camera numbers that have not been selected. When it determines, it returns to step S81 and selects the next camera number.
[0114]
If it is determined in step S89 that all camera numbers have been selected, the process ends.
[0115]
Next, as shown in FIG. 4, 8 (N = 8) video cameras 2-1 to 2-8 are arranged so that the scenery of all 360 degrees is the subject 1, and the video camera 2 The process of step S5 in the case where the image obtained as a result of imaging is divided and displayed as shown in FIG. 5 (hereinafter, such a usage mode is appropriately referred to as a third usage mode) will be described.
[0116]
Note that the eight video cameras 2 shown in FIG. 4 are actually aligned with the omnidirectional camera 101 as shown in FIG. 34 so that the projection center of the video camera 2 coincides with the vicinity of the center of the omnidirectional camera 101. In addition, the video cameras 2 are arranged at predetermined angular intervals so that the line-of-sight direction of each video camera 2 is on one horizontal plane.
[0117]
The plane mirror 110 is arranged in the viewing direction of the video camera 2.
[0118]
That is, when the video camera 2 captures the surrounding landscape reflected by the corresponding plane mirror 110, the entire omnidirectional camera 101 can capture a landscape of 360 degrees in the horizontal direction.
[0119]
The image processing device 11 uses the coordinate conversion table Ta generated based on the third usage mode by the coordinate conversion table generation device 13 in step S2 of FIG. 19, and uses the first usage mode and the second usage mode. The process shown in the flowchart of FIG. 12 is executed as in the case of the usage mode. As a result, eight images obtained as a result of imaging by the video camera 2 can be divided and displayed as shown in FIG.
[0120]
Next, the process of step S2 when generating the coordinate conversion table Ta according to the third usage mode will be described with reference to the flowchart of FIG.
[0121]
In steps S101 to S104, the same processing as in steps S61 to S64 of FIG. 27 is performed, and thus the description thereof is omitted.
[0122]
In step S105, the CPU 41 optimizes the coordinates on the small screen W of the corrected SD image detected in step S104, and performs a reverse process of the mirror reversal process (reverse mirror reversal process). The coordinates on the small screen W of the SD image are calculated.
[0123]
In steps S106 to S110, the same processing as in steps S66 to S70 of FIG. 27 is performed, and thus the description thereof is omitted.
[0124]
Next, a process for generating a correspondence table indicating the correspondence between the coordinates on the display 12A used in step S104 and the coordinates on the small screen W of the corrected SD image will be described with reference to the flowchart of FIG. To do. Here, it is assumed that the coordinate conversion table generation device 13 generates the correspondence table.
[0125]
In step S121, the CPU 41 of the coordinate conversion table generating device 13 selects one camera number.
[0126]
Next, in step S122, the CPU 41 assumes an SD image having the same size as the SD image obtained as a result of imaging by the video camera 2, and sets the coordinates (Xa, Ya) of each pixel constituting the SD image. Correction is performed according to equation (1) to calculate the coordinates (Xb, Yb), and mirror inversion processing is performed.
[0127]
In steps S123 to S129, the same processing as in steps S83 to S89 of FIG. 33 is performed, and thus the description thereof is omitted.
[0128]
The series of processes described above can be realized by hardware, but can also be realized by software. When the series of processing is realized by software, a program constituting the software is installed in the computer, and the program is executed by the computer, whereby the image processing device 11 and the coordinate conversion table generation device 13 described above are executed. Is functionally realized.
[0129]
In the present specification, the step of describing the program provided by the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
[0130]
Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
[0131]
【The invention's effect】
According to the present invention, even when the usage mode of the user is changed, a dedicated image processing apparatus is not required, and it is possible to easily cope with the divided display of a small screen.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a conventional image processing system.
FIG. 2 is a diagram illustrating an arrangement example of the video camera in FIG. 1;
FIG. 3 is a diagram illustrating a display example of an image obtained as a result of imaging by the video camera of FIG. 2;
4 is a diagram showing another arrangement example of the video camera of FIG. 1. FIG.
5 is a diagram showing another display example of an image obtained as a result of imaging by the video camera of FIG. 4;
FIG. 6 is a block diagram illustrating a configuration example of an image processing system to which the present invention has been applied.
7 is a diagram showing the size of the display of the display device of FIG. 6. FIG.
8 is a block diagram illustrating a configuration example of the image processing apparatus in FIG. 6;
9 is a block diagram illustrating a configuration example of the coordinate conversion table generating device in FIG. 6;
10 is a flowchart illustrating operations of the image processing apparatus and the coordinate conversion table generation apparatus of FIG.
11 is a diagram showing another display example of an image obtained as a result of imaging by the video camera of FIG. 2. FIG.
FIG. 12 is a flowchart illustrating details of the process in step S5 of FIG.
FIG. 13 is a diagram illustrating an example of a coordinate conversion table.
14 is a flowchart illustrating details of the process in step S2 of FIG.
FIG. 15 is a diagram illustrating an example of a correspondence table between coordinates on a display and camera numbers.
FIG. 16 is a diagram illustrating an example of a correspondence table between coordinates on a display and coordinates on a small screen of a corrected SD image.
FIG. 17 is a flowchart illustrating processing for generating the correspondence table in FIG. 16;
18 is a diagram for describing processing for generating the correspondence table in FIG. 16;
FIG. 19 is a diagram illustrating an arrangement example of the video camera in FIG. 6;
20 is a diagram showing a display example of an image obtained as a result of imaging by the video camera of FIG.
FIG. 21 is a diagram illustrating an imaging range of the video camera in FIG.
22 is another diagram illustrating the imaging range of the video camera in FIG. 19. FIG.
FIG. 23 is another diagram illustrating the imaging range of the video camera of FIG.
24 is another diagram illustrating the imaging range of the video camera of FIG.
25 is another diagram illustrating the imaging range of the video camera in FIG.
FIG. 26 is a diagram illustrating another example of the coordinate conversion table.
27 is a flowchart illustrating details of another process in step S2 of FIG.
FIG. 28 is a diagram showing another example of a correspondence table between coordinates on the display and camera numbers.
29 is a diagram showing an area on the display corresponding to the imaging range of the video camera of FIG. 19;
30 is another diagram showing an area on the display corresponding to the imaging range of the video camera of FIG. 19. FIG.
FIG. 31 is another diagram showing an area on the display corresponding to the imaging range of the video camera of FIG. 19;
FIG. 32 is a diagram showing another example of a correspondence table between coordinates on the display and coordinates on the small screen of the corrected SD image.
FIG. 33 is a flowchart for explaining the correspondence table generation processing of FIG. 32;
FIG. 34 is an external view of an omnidirectional camera.
FIG. 35 is a flowchart illustrating details of another process in step S2 of FIG.
FIG. 36 is a flowchart for describing processing for generating another correspondence table between coordinates on a display and coordinates on a small screen of a corrected SD image.
[Explanation of symbols]
2 video camera, 11 image processing device, 12 display device, 12A display, 13 coordinate conversion table generation device, 21 network, 31 decoder, 32 field memory, 33 control unit, 34 frame memory, 35 encoder, 36 storage unit, 37 communication Unit, 38 input unit, 41 CPU, 42 ROM, 43 RAM, 44 hard disk, 45 bus, 46 I / O interface, 47 output unit, 48 input unit, 49 communication unit, 50 drive, 101 omnidirectional camera

Claims

画像処理用の座標変換テーブルを生成する情報処理装置、および前記座標変換テーブルに基づいて画像処理を行う画像処理装置からなる情報処理システムにおいて、
前記情報処理装置は、
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号を検出する第１の検出手段と、
前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する第２の検出手段と、
所定の処理により、外周部分の歪を補正した第２の前記小画像の前記小画面上の前記第１の座標から、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標を算出する算出手段と、
前記大画面上の前記所定の座標、検出された前記カメラ番号、および算出された前記小画面上の前記第２の座標をそれぞれ対応付けた前記座標変換テーブルを生成する生成手段と
を備え、
前記画像処理装置は、
前記座標変換テーブルから、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第２の座標を検出する第３の検出手段と、
前記座標変換テーブルに、前記大画面上の前記所定の座標に対応付けられている前記カメラ番号の前記ビデオカメラで撮像された第１の前記小画像を構成する複数の画素のうち、前記座標変換テーブルから検出された前記小画面上の前記第２の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力手段と
を備える情報処理システム。Information processing apparatus for generating a coordinate conversion table for image processing, and in the information processing system consisting of an image processing apparatus that performs image processing based on the coordinate conversion table,
The information processing apparatus includes:
Based on predetermined coordinates on the large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, among the plurality of small screens constituting the large screen, on the large screen First detection means for detecting a camera number of the video camera that has captured the first small image displayed on the small screen including the predetermined coordinates;
The coordinates on the small screen corresponding to the predetermined coordinates on the large screen among the coordinates on the small screen of the second small image corrected for distortion of the outer peripheral portion caused by lens distortion of the video camera. Second detection means for detecting first coordinates;
The small screen of the first small image before the distortion of the outer peripheral portion is corrected from the first coordinates on the small screen of the second small image in which the distortion of the outer peripheral portion is corrected by a predetermined process. Calculating means for calculating a second coordinate on the small screen corresponding to the first coordinate on the small screen among the upper coordinates;
Generating means for generating the coordinate conversion table associating the predetermined coordinates on the large screen, the detected camera number, and the calculated second coordinates on the small screen;
With
The image processing apparatus includes:
From the coordinate conversion table, the corresponding to the predetermined coordinates on the large screen, and a third detection means for detecting said second coordinates on the small screen,
Wherein the coordinate conversion table, among the plurality of pixels constituting the first of said small image captured by the video camera of the camera number said is associated with the predetermined coordinates on the large screen, the coordinate transformation a reading means for reading a pixel value of a pixel in the was detected from the table in a position corresponding to the second coordinate on the small screen,
The readings taken with the pixel value, and output means for outputting said as a pixel value of a pixel of the large image at a position corresponding to the predetermined coordinates on the large screen
Information processing system comprising a.

前記情報処理装置の前記第１の検出手段は、前記大画面上の座標に、前記大画面を構成する複数の小画面のうち、前記大画面上の座標を含む前記小画面に表示される前記小画像を撮像した前記ビデオカメラの前記カメラ番号を対応付けた第１の対応テーブルに基づいて、前記大画面上の前記所定の座標に対応する前記カメラ番号を検出し、
前記第２の検出手段は、前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標に、対応する前記大画面上の座標を対応付けた第２の対応テーブルに基づいて、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する
請求項１に記載の情報処理システム。Said first detecting means before Symbol information processing apparatus, said the coordinates on the large screen, among the plurality of small screens constituting said large screen is displayed on the small screen including coordinates on the large screen Detecting the camera number corresponding to the predetermined coordinates on the large screen based on a first correspondence table in which the camera number of the video camera capturing the small image is associated ;
The second detection means associates the corresponding coordinates on the small screen with the coordinates on the small screen of the second small image obtained by correcting the distortion of the outer peripheral portion caused by the lens distortion of the video camera. Based on the second correspondence table, the first coordinates on the small screen corresponding to the predetermined coordinates on the large screen are detected.
The information processing system according to 請 Motomeko 1.

画像処理用の座標変換テーブルを生成する情報処理装置において、  In an information processing apparatus that generates a coordinate conversion table for image processing,
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号を検出する第１の検出手段と、  Based on predetermined coordinates on the large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, among the plurality of small screens constituting the large screen, on the large screen First detection means for detecting a camera number of the video camera that has captured the first small image displayed on the small screen including the predetermined coordinates;
前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する第２の検出手段と、  The coordinates on the small screen corresponding to the predetermined coordinates on the large screen among the coordinates on the small screen of the second small image corrected for distortion of the outer peripheral portion caused by lens distortion of the video camera. Second detection means for detecting first coordinates;
所定の処理により、外周部分の歪を補正した第２の前記小画像の前記小画面上の前記第  The second image on the small screen of the second small image in which the distortion of the outer peripheral portion is corrected by a predetermined process. １の座標から、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標を算出する算出手段と、The first coordinate on the small screen corresponding to the first coordinate on the small screen among the coordinates on the small screen of the first small image before correcting the distortion of the outer peripheral portion from the coordinates of 1. Calculating means for calculating the coordinates of 2;
前記大画面上の前記所定の座標、検出された前記カメラ番号、および算出された前記小画面上の前記第２の座標をそれぞれ対応付けた前記座標変換テーブルを生成する生成手段と  Generating means for generating the coordinate conversion table associating the predetermined coordinates on the large screen, the detected camera number, and the calculated second coordinates on the small screen;
を備える情報処理装置。  An information processing apparatus comprising:

前記第１の検出手段は、前記大画面上の座標に、前記大画面を構成する複数の小画面のうち、前記大画面上の座標を含む前記小画面に表示される前記小画像を撮像した前記ビデオカメラの前記カメラ番号を対応付けた第１の対応テーブルに基づいて、前記大画面上の前記所定の座標に対応する前記カメラ番号を検出し、  The first detecting means images the small image displayed on the small screen including the coordinates on the large screen among the plurality of small screens constituting the large screen at the coordinates on the large screen. Detecting the camera number corresponding to the predetermined coordinate on the large screen based on a first correspondence table in which the camera number of the video camera is associated;
前記第２の検出手段は、前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標に、対応する前記大画面上の座標を対応付けた第２の対応テーブルに基づいて、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する  The second detection means associates the corresponding coordinates on the small screen with the coordinates on the small screen of the second small image obtained by correcting the distortion of the outer peripheral portion caused by the lens distortion of the video camera. Based on the second correspondence table, the first coordinates on the small screen corresponding to the predetermined coordinates on the large screen are detected.
請求項３に記載の情報処理装置。  The information processing apparatus according to claim 3.

画像処理用の座標変換テーブルを生成する情報処理装置の情報処理方法において、  In an information processing method of an information processing apparatus that generates a coordinate conversion table for image processing,
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号を検出する第１の検出ステップと、  Based on predetermined coordinates on the large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, among the plurality of small screens constituting the large screen, on the large screen A first detection step of detecting a camera number of the video camera that has captured the first small image displayed on the small screen including the predetermined coordinates;
前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する第２の検出ステップと、  The coordinates on the small screen corresponding to the predetermined coordinates on the large screen among the coordinates on the small screen of the second small image corrected for distortion of the outer peripheral portion caused by lens distortion of the video camera. A second detection step of detecting a first coordinate;
所定の処理により、外周部分の歪を補正した第２の前記小画像の前記小画面上の前記第１の座標から、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標を算出する算出ステップと、  The small screen of the first small image before the distortion of the outer peripheral portion is corrected from the first coordinates on the small screen of the second small image in which the distortion of the outer peripheral portion is corrected by a predetermined process. A calculating step of calculating second coordinates on the small screen corresponding to the first coordinates on the small screen among the upper coordinates;
前記大画面上の前記所定の座標、検出された前記カメラ番号、および算出された前記小画面上の前記第２の座標をそれぞれ対応付けた前記座標変換テーブルを生成する生成ステップと  A generating step for generating the coordinate conversion table in which the predetermined coordinates on the large screen, the detected camera number, and the calculated second coordinates on the small screen are associated with each other;
を含む情報処理方法。  An information processing method including:

画像処理用の座標変換テーブルを生成する情報処理装置の制御用のプログラムにおいて、  In a program for controlling an information processing apparatus that generates a coordinate conversion table for image processing,
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標に基づいて、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号を検出する第１の検出ステップと、  Based on predetermined coordinates on the large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, among the plurality of small screens constituting the large screen, on the large screen A first detection step of detecting a camera number of the video camera that has captured the first small image displayed on the small screen including the predetermined coordinates;
前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第１の座標を検出する第２の検出ステップと、  The coordinates on the small screen corresponding to the predetermined coordinates on the large screen among the coordinates on the small screen of the second small image corrected for distortion of the outer peripheral portion caused by lens distortion of the video camera. A second detection step of detecting a first coordinate;
所定の処理により、外周部分の歪を補正した第２の前記小画像の前記小画面上の前記第１の座標から、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標を算出する算出ステップと、  The small screen of the first small image before the distortion of the outer peripheral portion is corrected from the first coordinates on the small screen of the second small image in which the distortion of the outer peripheral portion is corrected by a predetermined process. A calculating step of calculating second coordinates on the small screen corresponding to the first coordinates on the small screen among the upper coordinates;
前記大画面上の前記所定の座標、検出された前記カメラ番号、および算出された前記小画面上の前記第２の座標をそれぞれ対応付けた前記座標変換テーブルを生成する生成ステ  A generation step for generating the coordinate conversion table in which the predetermined coordinates on the large screen, the detected camera number, and the calculated second coordinates on the small screen are associated with each other. ップとAnd
を含む処理を情報処理装置のコンピュータに実行させるプログラム。  A program that causes a computer of an information processing device to execute processing including

座標変換テーブルに基づいて画像処理を行う画像処理装置において、  In an image processing apparatus that performs image processing based on a coordinate conversion table,
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号、および前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する座標を、前記小画面上の第１の座標とし、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標をそれぞれ対応付けた前記座標変換テーブルから、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第２の座標を検出する検出手段と、  Predetermined coordinates on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, and among the plurality of small screens constituting the large screen, the predetermined on the large screen The camera number of the video camera that has captured the first small image displayed on the small screen including coordinates, and the second small image in which the distortion of the outer peripheral portion caused by lens distortion of the video camera is corrected. Of the coordinates on the small screen, the coordinates corresponding to the predetermined coordinates on the large screen are set as the first coordinates on the small screen, and the first small image before the distortion of the outer peripheral portion is corrected. Among the coordinates on the small screen, the predetermined coordinate on the large screen is obtained from the coordinate conversion table corresponding to the second coordinates on the small screen corresponding to the first coordinates on the small screen. Corresponding to the coordinates of A detecting means for detecting said second coordinate on the screen,
前記座標変換テーブルに、前記大画面上の前記所定の座標に対応付けられている前記カメラ番号の前記ビデオカメラで撮像された第１の前記小画像を構成する複数の画素のうち、前記座標変換テーブルから検出された前記小画面上の前記第２の座標に対応する位置にある画素の画素値を読み取る読み取り手段と、  Of the plurality of pixels constituting the first small image captured by the video camera of the camera number associated with the predetermined coordinates on the large screen in the coordinate conversion table, the coordinate conversion is performed. Reading means for reading a pixel value of a pixel at a position corresponding to the second coordinate on the small screen detected from a table;
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力手段と  Output means for outputting the read pixel value as a pixel value of a pixel of the large image at a position corresponding to the predetermined coordinates on the large screen;
を備える画像処理装置。  An image processing apparatus comprising:

座標変換テーブルに基づいて画像処理を行う画像処理装置の画像処理方法において、  In an image processing method of an image processing apparatus that performs image processing based on a coordinate conversion table,
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号、および前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する座標を、前記小画面上の第１の座標とし、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標をそれぞれ対応付けた前記座標変換テーブルから、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第２の座標を検出する検出ステップと、  Predetermined coordinates on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, and among the plurality of small screens constituting the large screen, the predetermined on the large screen The camera number of the video camera that has captured the first small image displayed on the small screen including coordinates, and the second small image in which the distortion of the outer peripheral portion caused by lens distortion of the video camera is corrected. Of the coordinates on the small screen, the coordinates corresponding to the predetermined coordinates on the large screen are set as the first coordinates on the small screen, and the first small image before the distortion of the outer peripheral portion is corrected. Among the coordinates on the small screen, the predetermined coordinate on the large screen is obtained from the coordinate conversion table corresponding to the second coordinates on the small screen corresponding to the first coordinates on the small screen. Corresponding to the coordinates of A detection step of detecting the second coordinate on the screen,
前記座標変換テーブルに、前記大画面上の前記所定の座標に対応付けられている前記カメラ番号の前記ビデオカメラで撮像された第１の前記小画像を構成する複数の画素のうち、前記座標変換テーブルから検出された前記小画面上の前記第２の座標に対応する位置にある画素の画素値を読み取る読み取りステップと、  Of the plurality of pixels constituting the first small image captured by the video camera of the camera number associated with the predetermined coordinates on the large screen in the coordinate conversion table, the coordinate conversion is performed. A reading step of reading a pixel value of a pixel at a position corresponding to the second coordinates on the small screen detected from a table;
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力ステップと  An output step of outputting the read pixel value as a pixel value of a pixel of the large image at a position corresponding to the predetermined coordinates on the large screen;
を含む画像処理方法。  An image processing method including:

座標変換テーブルに基づいて画像処理を行う画像処理装置の制御用のプログラムにおいて、  In a program for controlling an image processing apparatus that performs image processing based on a coordinate conversion table,
複数のビデオカメラそれぞれにより撮像された複数の小画像からなる大画像が表示される大画面上の所定の座標、前記大画面を構成する複数の小画面のうち、前記大画面上の前記所定の座標を含む前記小画面に表示される第１の前記小画像を撮像した前記ビデオカメラのカメラ番号、および前記ビデオカメラのレンズ歪みにより生じる外周部分の歪を補正した第２の前記小画像の前記小画面上の座標のうち、前記大画面上の前記所定の座標に対応する座標を、前記小画面上の第１の座標とし、外周部分の歪を補正する前の第１の前記小画像の前記小画面上の座標のうち、前記小画面上の前記第１の座標に対応する、前記小画面上の第２の座標をそれぞれ対応付けた前記座標変換テーブルから、前記大画面上の前記所定の座標に対応する、前記小画面上の前記第２の座標を検出する検出ステップと、  Predetermined coordinates on a large screen on which a large image composed of a plurality of small images captured by a plurality of video cameras is displayed, and among the plurality of small screens constituting the large screen, the predetermined on the large screen The camera number of the video camera that has captured the first small image displayed on the small screen including coordinates, and the second small image in which the distortion of the outer peripheral portion caused by lens distortion of the video camera is corrected. Of the coordinates on the small screen, the coordinates corresponding to the predetermined coordinates on the large screen are set as the first coordinates on the small screen, and the first small image before the distortion of the outer peripheral portion is corrected. Among the coordinates on the small screen, the predetermined coordinate on the large screen is obtained from the coordinate conversion table corresponding to the second coordinates on the small screen corresponding to the first coordinates on the small screen. Corresponding to the coordinates of A detection step of detecting the second coordinate on the screen,
前記座標変換テーブルに、前記大画面上の前記所定の座標に対応付けられている前記カメラ番号の前記ビデオカメラで撮像された第１の前記小画像を構成する複数の画素のうち、前記座標変換テーブルから検出された前記小画面上の前記第２の座標に対応する位置にある画素の画素値を読み取る読み取りステップと、  Of the plurality of pixels constituting the first small image captured by the video camera of the camera number associated with the predetermined coordinates on the large screen in the coordinate conversion table, the coordinate conversion is performed. A reading step of reading a pixel value of a pixel at a position corresponding to the second coordinates on the small screen detected from a table;
読み取られた前記画素値を、前記大画面上の前記所定の座標に対応する位置にある前記大画像の画素の画素値として出力する出力ステップと  An output step of outputting the read pixel value as a pixel value of a pixel of the large image at a position corresponding to the predetermined coordinates on the large screen;
を含む処理を画像処理装置のコンピュータに実行させるプログラム。  A program for causing a computer of an image processing apparatus to execute processing including the above.