JP2007148488A - 画像変換装置、画像変換方法、および、画像変換プログラム - Google Patents

Abstract

【課題】撮像カメラ装置にて一定の撮像方向から撮像されて構成された二次元画像のデータにおいて、当該二次元画像のデータから当該対象物における撮像方向を自由に変更した画像データを取得することが可能な画像データ変換装置を提供すること。
【解決手段】画像データ変換装置２００は、直交座標によって形成される仮想的な三次元空間Ｐにおいて、仮想的な投影点から所定の距離離間された位置に設けられたスクリーンであって、当該スクリーンの中心位置を基準に当該スクリーンの水平軸および垂直軸に基づいて回転調整が可能なスクリーンに対して、取得した二次元画像データを投影した場合の当該スクリーンに形成される投影画像の画像データを算出するという演算処理と、当該投影された投影画像を画像データとしてスクリーン面に対して平行に所定の距離離間された位置から撮像した場合の画像データを算出するという演算処理と、を行う。
【選択図】図１

Description

本発明は、実空間上の対象物が鳥瞰的に撮像されることによって構成される二次元画像を形成する画像データのデータ変換を行う画像変換装置およびそれを用いた位置検出装置の技術分野に属する。

近年、野球、サッカー等のスポーツの試合内容は、地上波テレビジョン放送、衛星テレビジョン放送、ケーブルテレビジョン放送等によって、中継技術および放送端末装置によって、映像として視聴できるようになっている。また、スポーツの放送時間および放送内容は、テレビ局の編成および編集に依存している。

特に、スポーツ中継においては、競技場などのグラウンドの面を基準として当該グラウンドの側方上部から当該グラウンド面を見下ろすように鳥瞰的に撮像した画像データによって視聴者に提供されることが一般的である。

しかしながら、従来の中継技術にあっては、撮像カメラ装置において鳥瞰的に撮像された画像データにおける当該対象物の撮像方向を、視聴者や中継する際に画像に編集を加える編集者が変更することができず、撮像カメラ装置が撮像した撮像方向によって視聴することまたは編集することが強いられている。したがって、このような従来の中継技術では、撮像方向を変更することによってスポーツ観戦における画像の提供方法に多様性を持たせることが難しい。

また、当該鳥瞰的な画像データから撮像されている対象物の位置データを取得する場合にあっても、二次元画像を形成する画像データによって対象物における遠近関係による物理的な大きさの差が発生しているため、当該二次元画像データから的確に対象物における平面的な位置データを取得することが困難である。

本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例としては、撮像カメラ装置にて一定の撮像方向から撮像されて構成された二次元画像のデータにおいて、当該二次元画像のデータから当該対象物における撮像方向を自由に変更した画像データを取得すること、および、当該二次元画像を形成する画像データから的確に対象物における平面的な位置データを取得することが可能な画像データ変換装置を提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、実空間上の対象物が鳥瞰的に撮像されることによって構成される二次元画像を形成する画像データを、当該対象物における撮像方向が変更された画像データに変換する画像変換装置であって、前記鳥瞰的に撮像された二次元画像を形成する画像データを示す第１画像データを取得する取得手段と、直交座標によって形成される仮想的な三次元空間に設けられたスクリーンに対して、当該三次元空間における所定の位置から前記取得した第１画像データを投影画像として投影した場合の当該スクリーンに形成される投影画像の画像データを、前記取得した第１画像データに基づいて算出する第１算出手段と、前記仮想的な三次元空間内における直交座標に基づいて、前記スクリーンの中心位置を基準に、当該スクリーンの水平軸または垂直軸の少なくとも一方に基づく当該スクリーンの回転を調整する調整手段と、前記水平軸または垂直軸の少なくとも何れか一方の軸が回転されたスクリーンに撮像された前記投影画像が前記スクリーンの中心を基準に前記スクリーン面に対して平行に撮像された場合の当該撮像された画像データを、前記算出された投影画像の画像データに基づいて第２画像データとして算出する第２算出手段と、前記算出された第２画像データを外部に出力する出力手段と、を備える構成を有している。

この構成により、請求項１に記載の発明は、直交座標によって形成される仮想的な三次元空間に設けられたスクリーンに対して、当該三次元空間における所定の位置から取得した第１画像データを投影画像として投影した場合の当該スクリーンに形成される投影画像の画像データを、取得した第１画像データに基づいて算出するとともに、仮想的な三次元空間内における直交座標に基づいて、前記スクリーンの中心位置を基準に、水平軸または垂直軸の少なくとも一方の軸が回転されたスクリーンに撮像された投影画像がスクリーンの中心を基準にスクリーン面に対して平行に撮像された場合の当該撮像された画像データを、算出された投影画像の画像データに基づいて第２画像データとして算出する。

したがって、請求項１に記載の発明は、直交座標によって形成される仮想的な三次元空間に設けられたスクリーンの中心位置を基準に、取得した第１画像データに生じている当該第１画像内の遠近関係、すなわち、第１画像データが表示される際に発生している画像内に存在する対象物の遠近関係に基づく物理的な大きさの差に合わせて、当該スクリーンの水平軸または垂直軸の少なくとも一方に基づくスクリーンの回転を調整すれば、当該スクリーンに投影された画像データにて形成される画像内において、当該画像内に存在する対象物の遠近関係に基づく物理的な大きさの差を調整することができ、当該調整された画像データを取得することができる。

この結果、請求項１に記載の発明は、撮像カメラ装置にて一定の撮像方向によって撮像された二次元画像を形成する画像データを第１画像データとして取得すれば、スクリーンの水平軸および垂直軸を調整することによって第１画像データにて形成される画像における撮像方向を自由に変更することができるとともに、当該画像内に存在する対象物の遠近関係を完全に排除すれば、すなわち、対象物を俯瞰的に撮像する撮像方向に変更すれば、当該二次元画像を形成する画像データから的確に撮像された対象物における平面的な位置データを取得することも可能となる。

また、請求項２に記載の発明は、請求項１に記載の画像変換装置において、所定の条件の下に算出された前記第２画像データに基づいて、前記対象物の二次元画像内における相対的な位置を算出する位置算出手段を更に備える構成を有している。

この構成により、請求項２に記載の発明は、スクリーンの水平軸および垂直軸を調整することによって当該画像内に存在する対象物の遠近関係を完全に排除する条件の下に、すなわち、対象物を俯瞰的に撮像する撮像方向に変更する条件の下に算出された第２画像データに基づいて、対象物の二次元画像内における相対的な位置を算出すれば、鳥瞰的に撮像された画像データから的確に対象物における平面的な位置を算出することができる。

また、請求項３に記載の発明は、請求項１または２に記載の画像変換装置において、前記画像データが動画像データの場合に、前記取得手段が、前記動画像データをフレーム毎の画像データに変換して前記第１算出手段に出力する構成を有している。

この構成により、請求項３に記載の発明は、動画像データについても適用することができる。

また、請求項４に記載の発明は、実空間上の対象物が鳥瞰的に撮像されることによって構成される二次元画像を形成する画像データを、当該対象物における撮像方向が変更された画像データに変換する画像変換方法であって、前記鳥瞰的に撮像された二次元画像を形成する画像データを示す第１画像データを取得する取得工程と、直交座標によって形成される仮想的な三次元空間に設けられたスクリーンに対して、当該三次元空間における所定の位置から前記取得した第１画像データを投影画像として投影した場合の当該スクリーンに形成される投影画像の画像データを、前記取得した第１画像データに基づいて算出する第１算出工程と、前記仮想的な三次元空間内における直交座標に基づいて、前記スクリーンの中心位置を基準に、当該スクリーンの水平軸または垂直軸の少なくとも一方に基づく当該スクリーンの回転を調整する調整工程と、前記水平軸または垂直軸の少なくとも何れか一方の軸が回転されたスクリーンに撮像された前記投影画像が前記スクリーンの中心を基準に前記スクリーン面に対して平行に撮像された場合の当該撮像された画像データを、前記算出された投影画像の画像データに基づいて第２画像データとして算出する第２算出工程と、前記算出された第２画像データを外部に出力する出力工程と、を含む構成を有している。

この構成により、請求項４に記載の発明は、直交座標によって形成される仮想的な三次元空間に設けられたスクリーンに対して、当該三次元空間における所定の位置から取得した第１画像データを投影画像として投影した場合の当該スクリーンに形成される投影画像の画像データを、取得した第１画像データに基づいて算出するとともに、仮想的な三次元空間内における直交座標に基づいて、前記スクリーンの中心位置を基準に、水平軸または垂直軸の少なくとも一方の軸が回転されたスクリーンに撮像された投影画像がスクリーンの中心を基準にスクリーン面に対して平行に撮像された場合の当該撮像された画像データを、算出された投影画像の画像データに基づいて第２画像データとして算出する。

したがって、請求項４に記載の発明は、直交座標によって形成される仮想的な三次元空間に設けられたスクリーンの中心位置を基準に、取得した第１画像データに生じている当該第１画像内の遠近関係、すなわち、第１画像データが表示される際に発生している画像内に存在する対象物の遠近関係に基づく物理的な大きさの差に合わせて、当該スクリーンの水平軸または垂直軸の少なくとも一方に基づくスクリーンの回転を調整すれば、当該スクリーンに投影された画像データにて形成される画像内において、当該画像内に存在する対象物の遠近関係に基づく物理的な大きさの差を調整することができ、当該調整された画像データを取得することができる。

この結果、請求項４に記載の発明は、撮像カメラ装置にて一定の撮像方向によって撮像された二次元画像を形成する画像データを第１画像データとして取得すれば、スクリーンの水平軸および垂直軸を調整することによって第１画像データにて形成される画像における撮像方向を自由に変更することができるとともに、当該画像内に存在する対象物の遠近関係を完全に排除すれば、すなわち、対象物を俯瞰的に撮像する撮像方向に変更すれば、当該二次元画像を形成する画像データから的確に撮像された対象物における平面的な位置データを取得することも可能となる。

また、請求項５に記載の発明は、コンピュータによって、実空間上の対象物が鳥瞰的に撮像されることによって構成される二次元画像を形成する画像データを、当該対象物における撮像方向が変更された画像データに変換する画像変換プログラムであって、前記鳥瞰的に撮像された二次元画像を形成する画像データを示す第１画像データを取得する取得手段、直交座標によって形成される仮想的な三次元空間に設けられたスクリーンに対して、当該三次元空間における所定の位置から前記取得した第１画像データを投影画像として投影した場合の当該スクリーンに形成される投影画像の画像データを、前記取得した第１画像データに基づいて算出する第１算出手段、前記仮想的な三次元空間内における直交座標に基づいて、前記スクリーンの中心位置を基準に、当該スクリーンの水平軸または垂直軸の少なくとも一方に基づく当該スクリーンの回転を調整する調整手段、前記水平軸または垂直軸の少なくとも何れか一方の軸が回転されたスクリーンに撮像された前記投影画像が前記スクリーンの中心を基準に前記スクリーン面に対して平行に撮像された場合の当該撮像された画像データを、前記算出された投影画像の画像データに基づいて第２画像データとして算出する第２算出手段、として機能させる構成を有している。

この構成により、請求項５に記載の発明は、直交座標によって形成される仮想的な三次元空間に設けられたスクリーンに対して、当該三次元空間における所定の位置から取得した第１画像データを投影画像として投影した場合の当該スクリーンに形成される投影画像の画像データを、取得した第１画像データに基づいて算出するとともに、仮想的な三次元空間内における直交座標に基づいて、前記スクリーンの中心位置を基準に、水平軸または垂直軸の少なくとも一方の軸が回転されたスクリーンに撮像された投影画像がスクリーンの中心を基準にスクリーン面に対して平行に撮像された場合の当該撮像された画像データを、算出された投影画像の画像データに基づいて第２画像データとして算出する。

したがって、請求項５に記載の発明は、直交座標によって形成される仮想的な三次元空間に設けられたスクリーンの中心位置を基準に、取得した第１画像データに生じている当該第１画像内の遠近関係、すなわち、第１画像データが表示される際に発生している画像内に存在する対象物の遠近関係に基づく物理的な大きさの差に合わせて、当該スクリーンの水平軸または垂直軸の少なくとも一方に基づくスクリーンの回転を調整すれば、当該スクリーンに投影された画像データにて形成される画像内において、当該画像内に存在する対象物の遠近関係に基づく物理的な大きさの差を調整することができ、当該調整された画像データを取得することができる。

この結果、請求項５に記載の発明は、撮像カメラ装置にて一定の撮像方向によって撮像された二次元画像を形成する画像データを第１画像データとして取得すれば、スクリーンの水平軸および垂直軸を調整することによって第１画像データにて形成される画像における撮像方向を自由に変更することができるとともに、当該画像内に存在する対象物の遠近関係を完全に排除すれば、すなわち、対象物を俯瞰的に撮像する撮像方向に変更すれば、当該二次元画像を形成する画像データから的確に撮像された対象物における平面的な位置データを取得することも可能となる。

本願発明は、撮像カメラ装置にて一定の撮像方向によって撮像された二次元画像を形成する画像データを第１画像データとして取得すれば、スクリーンの水平軸および垂直軸を調整することによって第１画像データにて形成される画像における撮像方向を自由に変更することができるとともに、当該画像内に存在する対象物の遠近関係を完全に排除すれば、すなわち、対象物を俯瞰的に撮像する撮像方向に変更すれば、当該二次元画像を形成する画像データから的確に撮像された対象物における平面的な位置データを取得することも可能となる。

次に、本発明に好適な実施の形態について、図面に基づいて説明する。

なお、以下に説明する実施の形態は、スポーツを中継する際に撮像カメラ装置によって鳥瞰的に撮像された二次元画像のデータ（以下、「二次元画像データ」という。）において、当該二次元画像データにて形成される画像内における対象物の撮像方向を変更する画像データ変換システムに対して本発明の画像データ変換装置を適用した場合の実施形態である。

まず、図１および図２を用いて本実施形態における画像データ変換システムの概略構成について説明する。

なお、図１は、本願に係る画像データ変換システムの構成を示すブロック図である。また、図２は、本実施形態の画像データ変換システムにおける二次元画像データにて形成される対象物の撮像方向を当該二次元画像データを用いて変更する原理を説明するための図である。

画像データ変換システムＳは、図１に示すように、鳥瞰的に対象物を二次元画像データとして撮像する撮像カメラ装置１００と、撮像された二次元画像データを当該二次元画像データにて形成される画像内の対象物の撮像方向が変更された画像データに変換する画像データ変換装置２００と、から構成される。

撮像カメラ装置１００は、競技場、体育館などのスポーツの試合が行われる会場に設けられたコートまたはグラウンドと呼ばれる一定の対象領域（以下、単に「グラウンド」という。）または当該対象領域に存在する対象物（以下、対象領域および対象物を含めて「対象物」ともいう。）を当該対象領域の側方（以下、グラウンドサイドいう。）から鳥瞰的に撮像するようになっている。また、この撮像カメラ装置１００は、スポーツの試合中に予め定められた撮像範囲を撮像するようになっている。

なお、鳥瞰的に撮像するとは、グラウンドの面を基準として当該グラウンドの側方上部から当該グラウンド面を見下ろすように撮像することをいい、当該グラウンドからの高さについては特に限定はない。また、グラウンドの側方とは、一方の側方だけなく、他方の側方、例えば、サッカーの試合で言えば、サイドライン側だけでなく、エンドライン側も含むが、本願の撮像カメラ装置１００は、何れか一方の側方から撮像されるようになっている。

画像データ変換装置２００は、撮像カメラ装置１００にて撮像されて取得された二次元画像データに対して所定の演算処理を行い、当該二次元画像データにて形成される画像内における対象領域または対象物の撮像方向が調整された画像データ（以下、「調整画像データ」ともいう。）に変換するようになっている。

具体的には、この画像データ変換装置２００は、図２に示すように、
（１）直交座標によって形成される仮想的な三次元空間Ｐにおいて、仮想的な投影点から所定の距離離間された位置に設けられたスクリーンであって、当該スクリーンの中心位置を基準に当該スクリーンの水平軸および垂直軸に基づいて回転調整が可能なスクリーンに対して、取得した二次元画像データを投影した場合の当該スクリーンに形成される投影画像の画像データを算出するという演算処理（以下、「第１演算処理」という。）と、
（２）当該投影された投影画像を画像データとしてスクリーン面に対して平行に所定の距離離間された位置から撮像した場合の画像データを算出するという演算処理（以下、「第２演算処理」という。）と、
を行うようになっている。

通常、図２に示すように、スクリーンＱ_Ｂの水平軸を投影点に向けて回転して対象物が投影されると、スクリーンＱ_１上半面に投影される対象物は、スクリーンＱ_１が回転する前に比べて物理的に大きく投影される。その一方、同様にスクリーンの水平軸を投影点に向けて回転して対象物が投影されると、スクリーンＱ_１下半面に投影される対象物は、スクリーンＱ_Ｂのときに比べて物理的に小さく投影される。なお、図示しないがスクリーンＱ_１が垂直軸に基づいて回転した場合においても、投影画像における物理的な大きさが変化することは同様である。

すなわち、本実施形態の画像データ変換装置２００は、図２に示すように、直交座標によって形成される仮想的な三次元空間Ｐ内において、スクリーンの中心位置を基準に当該スクリーンの水平軸および垂直軸を回転させることによって、投影点からスクリーンまでの投影距離を、スクリーンの中心位置を基準に調整し、投影点からスクリーンの各点または各領域までの投影距離に基づいて投影画像内に存在する対象物の物理的な大きさを強制的に変化させる演算処理を行うようになっている。そして、この本実施形態の画像データ変換装置２００は、当該変化された投影画像をスクリーン面に対して平行に撮像するという演算処理を行うことによって、当該画像内に存在する対象物の遠近関係に基づく物理的な大きさの差が調整された画像データを算出するようになっている。

このため、本実施形態の画像データ変換装置２００は、当該スクリーンの水平軸および垂直軸を調整することによって撮像された二次元画像データにおける対象物の撮像方向を変更することができる画像データを取得することができるようになっている。

次に、上述の図１を用い本実施形態における画像データ変換装置２００の構成について説明する。

本実施形態の画像データ変換装置２００は、図１に示すように、撮像カメラ装置１００によって撮像された対象物の動画像データに対して所定の入力処理を行う入力処理部２１０と、当該入力された動画像データに対して各画像データ毎に所定の演算処理を行い、当該入力された各画像データを、当該各画像データにて形成された画像内の対象物における撮像方向が調整された画像データに変換する画像データ変換部２２０と、所定の条件の下、変換された画像データから当該画像データの画像内における対象物の相対的な位置データを算出する位置データ算出部２３０と、から構成されている。

また、この画像データ変換装置２００は、変換された画像データおよび位置データを外部に出力するために用いる出力処理部２４０と、画像データ変換部２２０において所定の演算処理を行う際に所定の指示を入力するための操作部２５０と、変換された画像データを表示する表示部２６０と、表示部２６０を制御する表示制御部２７０と、各部の制御を行うシステム制御部２８０と、ＲＯＭ／ＲＡＭ２９０と、とから構成されている。

なお、例えば、本実施形態の入力処理部２１０は、本発明の取得手段を構成し、画像データ変換部２２０は、本発明の第１算出手段、調整手段および第２算出手段を構成する。また、例えば、本実施形態の出力処理部２４０および表示部２６０は、本発明の出力手段を構成し、位置データ算出部２３０は、本発明の位置算出手段を構成する。

入力処理部２１０には、撮像カメラ装置１００から出力された動画像データが入力されるようになっており、この入力処理部２１０は、入力された動画像データに対して所定の処理を行い、予め定められたデータ形式に変換するようになっている。また、この入力処理部２１０は、データ形式が変換された動画像データを、例えば、１／３０秒毎にフレームデータとして画像データ変換部２２０に出力するようになっている。

画像データ変換部２２０には、入力処理部２１０から出力された各フレームデータが順次入力されるようになっており、この画像データ変換部２２０は、各フレームデータ毎に上述の第１演算処理および第２演算処理を行い、演算処理された各フレームデータを位置データ算出部２３０、表示制御部２７０、および、出力処理部２４０に出力するようになっている。

具体的には、本実施形態の画像データ変換部２２０は、入力された各フレームデータ毎に所定の演算処理を行う投影データ算出部２２１と、操作部２５０に連動して、当該所定の演算処理を行う際に、仮想的な三次元空間Ｐに設けられたスクリーンの水平軸および垂直軸その他を調整する離間距離調整制御部２２２と、から構成される。

投影データ算出部２２１は、予め離間距離調性制御部２２２によって設定された直交座標によって形成される仮想的な三次元空間Ｐにおける投影点と、スクリーンの位置と、撮像点と、当該スクリーンにおけるスクリーンの中心を基準とした水平軸または垂直軸の回転角度と、に基づいて、第１演算処理および第２演算処理を行うようになっている。そして、この投影データ算出部２２１は、演算処理された各フレームデータを、位置データ算出部２３０、出力処理部２４０、および、表示制御部２７０に出力するようになっている。

また、離間距離調整制御部２２２は、操作部２５０に連動して、投影データ算出部２２１が演算処理を行う際に用いる仮想的な三次元空間Ｐにおける投影点と、スクリーンの位置と、撮像点と、当該スクリーンにおけるスクリーンの中心を基準とした水平軸または垂直軸の回転角度と、を予め設定するようになっている。

なお、本実施形態の離間距離調整制御部２２２は、対象物の撮像方向が変更される画像データとして、撮像しているグラウンドの側方において、グラウンド面を基準に０度〜１８０度までの鳥瞰的な角度の設定を行うことができるようになっている。また、グラウンド面を基準に９０度は、グラウンドを俯瞰的に、すなわち、当該グラウンドを上面から撮像する際の撮像方向の角度となり、二次元画像データにおけるパースの要素がキャンセルされた画像となる。

位置データ算出部２３０には、画像データ変換部２２０から出力された各フレームデータが入力されるようになっており、この位置データ算出部２３０は、スクリーンの水平軸および垂直軸を調整することによって当該画像内に存在する対象物の遠近関係を完全に排除する条件の下に、入力された各フレームデータ内に存在する対象物のグラウンドを俯瞰的に撮像した際の平面的で、かつ、相対的な位置を位置データとして算出するようになっている。

具体的には、位置データ算出部２３０は、画像データ変換部２２０にて対象物が鳥瞰的に撮像されることによって生じた対象物の遠近関係が画像データにて排除され、撮像された画像内における対象物が俯瞰的に構成される画像データに変換された場合に、当該画像データが表示された際の対象物の相対的な位置関係を、当該各対象物の位置データとして算出するようになっている。

例えば、本実施形態の位置データ算出部２３０には、撮像された各対象物の色度および輝度の情報が予め記憶されており、位置データ算出部２３０は、各フレーム毎に、各画像のピクセル毎に当該記憶された各対象物の色度および輝度と当該各ピクセルの色度および輝度が一致するか否かを判定し、一致したピクセルおよびその塊を対象物として認識するようになっている。また、この位置データ算出部２３０は、当該認識された対象物のピクセルの中心点を算出し、当該中心点の画像上の位置を当該対象物の平面的な位置データとして、すなわち、グラウンドの平面上における画像内において存在する相対的な位置データとして算出するようになっている。

また、本実施形態の位置データ算出部２３０は、当該位置データを算出すべき対象物の特性に基づいて、当該対象物の位置データを算出するようになっている。

例えば、スポーツに用いるボールなどの実空間上において空中を移動する対象物においては、撮像された画像内における対象物が俯瞰的に構成される画像データに変換されたとしても、グラウンド面に対して高さ方向に移動した場合には、変換された画像データにて構成される対象物は、横方向に移動されたものとして構成される。

このため、本実施形態の位置データ算出部２３０は、スポーツに用いるボールなどの実空間上において空中を移動する対象物の位置データを算出する場合には、数フレームデータ毎に、対象物であるボールを特定するとともに、俯瞰的な画像に変換された画像データにおいて鋭角的に横方向に移動したか、曲線を描いて横方向に移動したかを判別し、曲線を描いて横方向に移動したと判別した場合には、当該対象物が高さ方向に移動したと判別して当該対象物の位置データを実空間上における三次元のデータとして算出するようになっている。

具体的には、本実施形態の位置データ算出部２３０は、数フレームデータ毎に、上述のように、各フレームデータにおいて対象物であるボールの画像内における位置を認識しつつ、当該ボールの各フレームデータにおける画像内の位置から当該ボールの軌跡を認識するとともに、当該認識されたボールの軌跡と放物線を示す所定の式とを比較して、曲線を描いて横方向に移動したか否か、すなわち、当該対象物が高さ方向に移動したか否かを判別するようになっている。

また、この位置データ算出部２３０は、当該ボールが高さ方向に移動したと判別した場合には、当該認識されたボールにおける放物線の始点、終点および頂点の画像内にて認識される位置を基準に、鳥瞰的に撮像された画像データにおける撮像角度に基づいて、実空間上における高さ方向の位置データを算出するようになっている。

出力処理部２４０には、画像データ変換部２２０から出力された画像データと位置データ算出部２３０から出力された位置データが入力されるようになっており、この出力処理部２４０は、入力された画像データおよび位置データを外部に出力するためのデジタル／アナログ変換などの所定の処理を行うようになっている。

なお、本実施形態では、表示部２６０を画像データ変換装置２００内に備えているが、この出力処理部２４０を介して外部装置として接続し、当該外部装置として接続された表示部２６０に画像データ変換部２２０から出力された画像データを出力するようにしてもよい。

操作部２５０は、各操作指令を入力する操作ボタン、テンキーおよびその他の数字キーなど、多数のキーにより構成されている。特に、本実施形態の操作部２５０は、画像データ変換部２２０と連動し、上述のように、仮想的な三次元空間Ｐに設けられた投影点、スクリーンの位置、撮像点およびスクリーンにおける水平軸および垂直軸を調整する際に用いられるようになっている。

表示部２６０は、液晶素子やＥＬ（Electro Luminescence）素子によって構成されたディスプレイまたはＣＲＴ（Cathode-Ray Tube）によって構成されたディスプレイであり、表示制御部２７０にて生成された表示データに基づいて所定の画像を表示するようになっている。

表示制御部２７０は、システム制御部２８０の制御の下、画像データ変換部２２０から出力された各フレームデータに基づいて表示部２６０に動画像データを表示するための表示データを生成し、生成した表示データを順次表示部２６０に出力するようになっている。

システム制御部２８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、制御ポート等の各種入出力ポートを含み、画像データ変換装置２００の全般的な機能を総括的に制御するようになっている。そして、このシステム制御部２８０は、ＲＯＭ／ＲＡＭ２９０に格納される各種の制御プログラムを読み出すようになっており、当該ＲＯＭ／ＲＡＭ２９０に処理中のデータを一時的に保持しつつ、読み出された制御プログラムに基づいて各種の処理を実行するようになっている。なお、このシステム制御部２８０は、各部とバスを介して接続されている。

次に、図３を用いて本実施形態の画像データ変換装置２００における撮像された二次元画像データにおけるデータ変換処理の動作について説明する。なお、図３は、本実施形態の画像データ変換装置２００における撮像された二次元画像データにおけるデータ変換処理の動作を示すフローチャートである。

以下の説明において、撮像カメラ装置１００は、予めグラウンドの側方に設定されて撮像を開始しているものとし、変換された画像データは表示部２６０に表示されるものとする。

まず、システム制御部２８０が操作部２５０によって本動作の開始を検出すると（ステップＳ１０１）、操作部２５０を用いて仮想的な三次元空間Ｐに設けられた投影点、スクリーンの位置、撮像点およびスクリーンにおける水平軸および垂直軸を設定する旨の告知を表示部２６０を介して操作者に行う（ステップＳ１０２）。

次いで、システム制御部２８０制御部は、操作部２５０の指示を検出しつつ、表示部２６０に表示された所定の画像データと連動して、離間距離調整制御部２２２を制御し、仮想的な三次元空間Ｐにおける各設定を行う（ステップＳ１０３）。

なお、離間距離調整制御部２２２は、システム制御部２８０の制御の下、操作部２５０の指示に基づいて投影データ算出部２２１における仮想的な三次元空間Ｐに設けられた投影点、スクリーンの位置、撮像点およびスクリーンにおける水平軸および垂直軸を調整する。

次いで、操作者における仮想的な三次元空間Ｐにおける各調整が終了し、システム制御部２８０が当該調整の完了を検出すると（ステップＳ１０４）、入力処理部２１０は、入力された動画像データを所定のデータ形式に変換し、各フレームデータとして順次出力する入力処理を行う（ステップＳ１０５）。

次いで、画像データ変換部２２０および表示制御部２７０は、入力された各フレームデータ毎に、以下の処理を実行する。

まず、投影データ算出部２２１は、ステップＳ１０３の処理にて調整された各設定に基づいて、入力された各フレームデータに対して第１演算処理および第２演算処理を実行する（ステップＳ１０６）。

次いで、表示部２６０制御部は、投影データ算出部２２１から出力された各フレームデータ毎に表示データを生成し、表示部２６０に表示させる（ステップＳ１０７）。

最後に、システム制御部２８０は、入力処理部２１０に次のフレームデータがあるか否かを判断させ（ステップＳ１０８）、次のフレームデータがあると判断された場合には、ステップＳ１０６の処理に移行し、次のフレームデータがないと判断された場合には、本動作を終了させる。

なお、本動作において、位置データの算出を行う場合には、変換される画像データが俯瞰的に構成される画像データであることを条件に、ステップＳ１０７の処理において、各フレーム毎に対象物の特定を行いつつ、画像データにて形成される画像内における平面的な位置を位置データとして算出する。ただし、上述のように、実空間上の高さ方向における位置データを算出する場合に、または、対象物が複数ある場合など、詳細に位置データを算出する場合には、位置データを算出するフレームデータ以前に入力された複数のフレームデータを用い、当該以前に入力されたフレームデータにて対象物の特定に関して所定の補正処理を行いつつ、位置データを算出する。

以上本実施形態の画像データ変換システムＳは、直交座標によって形成される仮想的な三次元空間Ｐに設けられたスクリーンの中心位置を基準に、取得した二次元画像データに生じている当該画像内の遠近関係、すなわち、二次元画像データが表示される際に発生している画像内に存在する対象物の遠近関係に基づく物理的な大きさの差に合わせて、当該スクリーンの水平軸または垂直軸の少なくとも一方に基づくスクリーンの回転を調整すれば、当該スクリーンに投影された画像データにて形成される画像内において、当該画像内に存在する対象物の遠近関係に基づく物理的な大きさの差を調整することができ、当該調整された画像データを取得することができる。

この結果、画像データ変換システムＳは、スクリーンの水平軸および垂直軸を調整することによって撮像された二次元画像データにて形成される画像における撮像方向を自由に変更することができるとともに、当該画像内に存在する対象物の遠近関係を完全に排除すれば、すなわち、対象物を俯瞰的に撮像する撮像方向に変更してパース要素をキャンセルすれば、当該二次元画像を形成する画像データから的確に撮像された対象物における平面的な位置データを取得することも可能となる。

なお、本実施形態の画像データ変換システムＳは、撮像カメラ装置１００によって撮像された二次元画像データのデータ変換処理を行うようになっているが、既に記録された二次元画像データに対して当該データ変換処理を行うようにしてもよい。

また、本実施形態の画像データ変換システムＳは、動画像データによって撮像された二次元画像データのデータ変換処理を行うようになっているが、撮像カメラ装置１００によって撮像されたまたは既に記録された静止画像データに対して当該データ変換処理を行うようにしてもよい。

また、本実施形態の画像データ変換装置２００は、第１演算処理および第２演算処理を含むデータ変換処理を行うようになっているが、画像データ変換装置２００にコンピュータおよび記録媒体を備え、この第１演算処理および第２演算処理を含むデータ変換処理を実行する制御プログラムを格納し、このコンピュータで当該各制御プログラムを読み込むことによって上述と同様の各処理を行うようにしてもよい。

本願に係る画像データ変換システムの構成を示すブロック図である。 一実施形態の画像データ変換システムにおける二次元画像データにて形成される対象物の撮像方向を当該二次元画像データを用いて変更する原理を説明するための図である。 一実施形態の画像データ変換装置における撮像された二次元画像データにおけるデータ変換処理の動作を示すフローチャートである。

符号の説明

Ｓ … 画像データ変換システム
１００ … 撮像カメラ装置
２００ … 画像データ変換装置
２１０ … 入力処理部
２２０ … 画像データ変換部
２２１ … 投影データ算出部
２２２ … 離間距離調整制御部
２３０ … 位置データ算出部
２４０ … 出力処理部
２５０ … 操作部
２６０ … 表示部
２７０ … 表示制御部
２８０ … システム制御部
２９０ … ＲＯＭ／ＲＡＭ

Claims (5)

1. 実空間上の対象物が鳥瞰的に撮像されることによって構成される二次元画像を形成する画像データを、当該対象物における撮像方向が変更された画像データに変換する画像変換装置であって、
   前記鳥瞰的に撮像された二次元画像を形成する画像データを示す第１画像データを取得する取得手段と、
   直交座標によって形成される仮想的な三次元空間に設けられたスクリーンに対して、当該三次元空間における所定の位置から前記取得した第１画像データを投影画像として投影した場合の当該スクリーンに形成される投影画像の画像データを、前記取得した第１画像データに基づいて算出する第１算出手段と、
   前記仮想的な三次元空間内における直交座標に基づいて、前記スクリーンの中心位置を基準に、当該スクリーンの水平軸または垂直軸の少なくとも一方に基づく当該スクリーンの回転を調整する調整手段と、
   前記水平軸または垂直軸の少なくとも何れか一方の軸が回転されたスクリーンに撮像された前記投影画像が前記スクリーンの中心を基準に前記スクリーン面に対して平行に撮像された場合の当該撮像された画像データを、前記算出された投影画像の画像データに基づいて第２画像データとして算出する第２算出手段と、
   前記算出された第２画像データを外部に出力する出力手段と、
   を備えることを特徴とする画像変換装置。
2. 請求項１に記載の画像変換装置において、
   所定の条件の下に算出された前記第２画像データに基づいて、前記対象物の二次元画像内における相対的な位置を算出する位置算出手段を更に備えることを特徴とする画像変換装置。
3. 請求項１または２に記載の画像変換装置において、
   前記画像データが動画像データの場合に、
   前記取得手段が、前記動画像データをフレーム毎の画像データに変換して前記第１算出手段に出力することを特徴とする画像変換装置。
4. 実空間上の対象物が鳥瞰的に撮像されることによって構成される二次元画像を形成する画像データを、当該対象物における撮像方向が変更された画像データに変換する画像変換方法であって、
   前記鳥瞰的に撮像された二次元画像を形成する画像データを示す第１画像データを取得する取得工程と、
   直交座標によって形成される仮想的な三次元空間に設けられたスクリーンに対して、当該三次元空間における所定の位置から前記取得した第１画像データを投影画像として投影した場合の当該スクリーンに形成される投影画像の画像データを、前記取得した第１画像データに基づいて算出する第１算出工程と、
   前記仮想的な三次元空間内における直交座標に基づいて、前記スクリーンの中心位置を基準に、当該スクリーンの水平軸または垂直軸の少なくとも一方に基づく当該スクリーンの回転を調整する調整工程と、
   前記水平軸または垂直軸の少なくとも何れか一方の軸が回転されたスクリーンに撮像された前記投影画像が前記スクリーンの中心を基準に前記スクリーン面に対して平行に撮像された場合の当該撮像された画像データを、前記算出された投影画像の画像データに基づいて第２画像データとして算出する第２算出工程と、
   前記算出された第２画像データを外部に出力する出力工程と、
   を含むことを特徴とする画像変換方法。
5. コンピュータによって、実空間上の対象物が鳥瞰的に撮像されることによって構成される二次元画像を形成する画像データを、当該対象物における撮像方向が変更された画像データに変換する画像変換プログラムであって、
   前記鳥瞰的に撮像された二次元画像を形成する画像データを示す第１画像データを取得する取得手段、
   直交座標によって形成される仮想的な三次元空間に設けられたスクリーンに対して、当該三次元空間における所定の位置から前記取得した第１画像データを投影画像として投影した場合の当該スクリーンに形成される投影画像の画像データを、前記取得した第１画像データに基づいて算出する第１算出手段、
   前記仮想的な三次元空間内における直交座標に基づいて、前記スクリーンの中心位置を基準に、当該スクリーンの水平軸または垂直軸の少なくとも一方に基づく当該スクリーンの回転を調整する調整手段、
   前記水平軸または垂直軸の少なくとも何れか一方の軸が回転されたスクリーンに撮像された前記投影画像が前記スクリーンの中心を基準に前記スクリーン面に対して平行に撮像された場合の当該撮像された画像データを、前記算出された投影画像の画像データに基づいて第２画像データとして算出する第２算出手段、
   として機能させることを特徴とする画像変換プログラム。

Images