JP2019020845A - 画像処理装置及び方法、及び、画像処理システム - Google Patents

Abstract

【課題】 複数視点画像から生成される各仮想視点における仮想画像の品質の判定を容易に行えるようにすること。【解決手段】 複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成手段と、前記複数のカメラから出力される複数の画像それぞれの品質値を取得する取得手段と、前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の仮想視点画像の品質値を算出する算出手段と、前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力手段とを有する。【選択図】 図２

Description

本発明は、画像処理装置及び方法、及び、画像処理システムに関し、特に、仮想視点画像を生成する画像処理装置及び方法、及び、画像処理システムに関する。

昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。上記のようにして複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。

一方、複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバ等の画像処理部に集約し、当該画像処理部において、三次元モデル生成、レンダリング等の処理を施し、ユーザ端末に伝送を行うことで実現できる。

特許文献１では、複数のカメラを、それぞれとペアとなる制御ユニットを介して光ファイバで接続し、制御ユニットに各カメラの画像フレームを蓄積し、蓄積された画像フレームを使って連続的な動きを表現する画像出力を行うことについて記載されている。

複数視点画像から仮想視点画像を生成するためには、それぞれの視点の画像が正しく撮影できていることが重要である。特許文献２では、取得画像と基準画像との差分からカメラの異常を判定し、異常の種類を通知することについて記載されている。

米国特許第７１０６３６１号明細書 特開２０１２−３４１４７号公報

上記のような仮想視点コンテンツ生成技術を用いてテレビ放送を行う場合、コントロールルームで視点操作した結果を放送するという利用方法が考えられる。この時、カメラに対する振動や風、露出の影響などにより、そのカメラの画像を用いて生成した画像、すなわち一部の視点の画像の品質が落ちる場合が考えられる。コントロールルームで視点操作する場合、品質の良い視点の画像を選択して放送する必要がある。特許文献２では、１つのカメラで取得した画像の品質を判定することについては記載されているが、複数視点画像から生成される仮想視点画像の品質の判定については言及されていない。そのため、コントロールルームで仮想視点を含めた視点操作を行う場合に、どの仮想視点の画像の品質が良いかが分からないという課題がある。

本発明は上記問題点を鑑みてなされたものであり、複数視点画像から生成される各仮想視点における仮想画像の品質の判定を容易に行えるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成手段と、前記複数のカメラから出力される複数の画像それぞれの品質値を取得する取得手段と、前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の仮想視点画像の品質値を算出する算出手段と、前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力手段とを有する。

本発明によれば、複数視点画像から生成される各仮想視点における仮想画像の品質の判定を容易に行うことができる。

本発明の実施形態における画像処理システムの構成を示すブロック図。 実施形態における複数のカメラから仮想視点画像品質値の取得方法を説明するためのブロック図。 実施形態におけるカメラの構成を示すブロック図。 実施形態における画像品質値の取得方法を示すフローチャート。 実施形態における仮想視点画像品質値の取得方法を示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、以下の説明において、特に断りがない限り、「画像」は、動画と静止画の両方の概念を含むものとする。すなわち、本実施形態において説明する画像処理システム１は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、本発明はこれに限られるものではない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。

図１は、本発明の実施形態における画像処理システムの構成を示すブロック図である。図１に示す画像処理システムは、例えば、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し、撮影及び集音を行うシステムとして用いることができる。画像処理システム１は、複数のセンサシステム１０ａ〜１０ｚ、画像コンピューティングサーバ２０、コントローラ３０、スイッチングハブ１８、及びエンドユーザ端末１９を含む。

コントローラ３０は、制御ステーション３１と仮想カメラ操作ユーザーインタフェース（ＵＩ）３３を有する。制御ステーション３１は、画像処理システム１を構成するそれぞれのブロックに対し、ネットワーク３１ａ〜３１ｃ、１８ａ、１８ｂ、及び１７ａ〜１７ｙを通じて、動作状態の管理及びパラメータ設定制御などを行う。ネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。

センサシステム１０ａは、マイク１１ａ、カメラ１２ａ、雲台１３ａ、外部センサ１４ａ、及びカメラアダプタ１５ａを有する。なお、本発明のセンサシステム１０ａはこの構成に限定されるものではなく、少なくとも１台のカメラアダプタ１５ａと、１台のカメラ１２ａまたは１台のマイク１１ａを有していれば良い。また例えば、センサシステム１０ａは１台のカメラアダプタ１５ａと、複数のカメラ１２ａで構成されてもよいし、１台のカメラ１２ａと複数のカメラアダプタ１５ａで構成されてもよい。即ち、画像処理システム１内の複数のカメラ１２と複数のカメラアダプタ１５はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。

また、センサシステム１０ａは、マイク１１ａ、カメラ１２ａ、雲台１３ａ、及びカメラアダプタ１５ａ以外の装置を含んでいてもよい。また、カメラ１２ａとカメラアダプタ１５ａが分離された構成としているが、同一筺体で一体化されていてもよい。その場合、マイク１１ａは一体化されたカメラ１２ａに内蔵されてもよいし、カメラ１２ａの外部に接続されていてもよい。さらに、カメラアダプタ１５の機能の少なくとも一部をフロントエンドサーバ２３が有していてもよい。

本実施形態の画像処理システム１では、センサシステム１０ａと同様の構成を有する２６の１０ａ〜１０ｚが、デイジーチェーンにより接続されているものとして説明するが、センサシステム１０の台数はこれに限定されるものではない。なお、以下の説明において、特に区別する必要が無い場合は、センサシステム１０ａ〜１０ｚを区別せず、センサシステム１０と記載する。また、各センサシステム１０内の装置についても同様に、特に区別する必要が無い場合は、マイク１１、カメラ１２、雲台１３、外部センサ１４、及びカメラアダプタ１５と記載する。また、複数のセンサシステム１０は、少なくとも図３を参照して後述する構成を有するカメラ１２を有していれば、同一の構成でなくてもよく、例えばそれぞれが異なる機種の装置で構成されていてもよい。また、カメラ１２自体も、性能や機種が異なっていてもよい。

なお、以下の説明では、センサシステム１０ａ〜１０ｚは、それぞれが１台ずつカメラ１２ａ〜１２ｚを有する場合について説明する。即ち、画像処理システム１は、被写体を複数の方向から撮影するための複数のカメラ１２を有する。センサシステム１０同士はデイジーチェーンにより接続されているため、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる。

また、図１では、接続形態として、デイジーチェーンとなるようセンサシステム１０ａ〜１０ｚの全てがカスケード接続されている構成を示したが、本発明はこれに限定されるものではない。例えば、各センサシステム１０がスイッチングハブ１８に接続されて、スイッチングハブ１８を経由してセンサシステム１０間のデータ送受信を行う、スター型のネットワーク構成としてもよい。また、例えば、複数のセンサシステム１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１０間をデイジーチェーン接続してもよい。そして、各グループの終端となるカメラアダプタ１５がスイッチングハブに接続されて画像コンピューティングサーバ２０へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数階で構成されている場合に、フロア毎に複数のセンサシステム１０を配備することが考えられる。この場合、例えば、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ２０への入力を行うことができる。このように、全センサシステム１０を１つのデイジーチェーンで接続する配線が困難な場所でも、設置の簡便化及びシステムの柔軟化を図ることができる。

また、デイジーチェーン接続されて画像コンピューティングサーバ２０へ画像入力を行うカメラアダプタ１５が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２０での画像処理の制御が切り替えられる。すなわち、センサシステム１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ１５が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ２０において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１０がグループに分割されていなければ、同期は取れる。

しかし、画像入力を行うカメラアダプタ１５が複数になる場合は、画像が撮影されてから画像コンピューティングサーバ２０に入力されるまでの遅延がデイジーチェーンのレーン（経路）ごとに異なる場合が考えられる。すなわち、センサシステム１０がグループに分割される場合は、画像コンピューティングサーバ２０に全周の画像データが入力されるタイミングは同期がとられないことがある。そのため、画像コンピューティングサーバ２０において、全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。

マイク１１ａにて集音された音声と、カメラ１２ａにて撮影された画像は、カメラアダプタ１５ａにおいて所定の画像処理が施された後、デイジーチェーン１７ａを通してセンサシステム１０ｂのカメラアダプタ１５ｂに伝送される。同様にセンサシステム１０ｂは、集音された音声と撮影された画像を、センサシステム１０ａから取得した画像及び音声と合わせてセンサシステム１０ｃに伝送する。この動作を続けることにより、センサシステム１０ａ〜１０ｚが取得した画像及び音声は、センサシステム１０ｚからネットワーク１８ｂを介してスイッチングハブ１８に伝わり、その後、画像コンピューティングサーバ２０へ伝送される。

次に、画像コンピューティングサーバ２０の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２０は、センサシステム１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２０は、フロントエンドサーバ２３、データベース（ＤＢ）２５、バックエンドサーバ２７、タイムサーバ２９を有する。

タイムサーバ２９は、時刻及び同期信号を配信する機能を有し、ネットワーク２９１とスイッチングハブ１８を介してセンサシステム１０ａ〜１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１５ａ〜１５ｚは、カメラ１２ａ〜１２ｚを時刻と同期信号とを基にＧｅｎｌｏｃｋさせ、画像フレーム同期を行う。即ち、タイムサーバ２９は、複数のカメラ１２の撮影タイミングを同期させる。これにより、画像処理システム１は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９が複数のカメラ１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を、各カメラ１２または各カメラアダプタ１５が独立して行ってもよい。

フロントエンドサーバ２３は、センサシステム１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５に書き込む。

バックエンドサーバ２７では、仮想カメラ操作ＵＩ３３から視点の指定を受け付け、受け付けられた視点に基づいて、データベース２５から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。

なお、画像コンピューティングサーバ２０の構成はこれに限らない。例えば、フロントエンドサーバ２３、データベース２５、及びバックエンドサーバ２７のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３、データベース２５、及びバックエンドサーバ２７の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２０内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２０の機能の少なくとも一部をエンドユーザ端末１９や仮想カメラ操作ＵＩ３３が有していてもよい。

レンダリング処理された画像は、バックエンドサーバ２７からエンドユーザ端末１９に送信され、エンドユーザ端末１９を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴ができる。すなわち、バックエンドサーバ２７は、複数のカメラ１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ２７は、例えば複数のカメラアダプタ１５を介して複数のカメラ１２から得られた撮影画像の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ２７は、生成した仮想視点コンテンツをエンドユーザ端末１９に提供する。本実施形態において、仮想視点コンテンツは画像コンピューティングサーバ２０により生成されるものであり、特にバックエンドサーバ２７により生成される場合を中心に説明する。ただし、本発明はこれに限らず、仮想視点コンテンツは、画像コンピューティングサーバ２０に含まれるバックエンドサーバ２７以外の装置により生成されてもよいし、コントローラ３０やエンドユーザ端末１９により生成されてもよい。

本実施形態における仮想視点コンテンツは、実際にはカメラが配置されていない、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見え方を表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。

バックエンドサーバ２７は、仮想視点画像を、例えばＨ．２６４やＨＥＶＣなどの符号化方式に従って圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９へ送信する。また、仮想視点画像は、非圧縮でエンドユーザ端末１９へ送信されてもよい。特に圧縮符号化を行う前者はエンドユーザ端末１９としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１９の種別に応じて画像フォーマットが切り替え可能である。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）やその他の送信方法を用いても良い。

このように、画像処理システム１は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１０ａ〜１０ｚを含み、データ保存ドメインはデータベース２５、フロントエンドサーバ２３及びバックエンドサーバ２７を含み、映像生成ドメインは仮想カメラ操作ＵＩ３３及びエンドユーザ端末１９を含む。

なお、上述した構成に限らず、例えば、仮想カメラ操作ＵＩ３３が直接センサシステム１０ａ〜１０ｚから画像を取得することも可能である。しかしながら、本実施形態では、センサシステム１０ａ〜１０ｚから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ２３がセンサシステム１０ａ〜１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース２５の共通スキーマ及びデータ型に変換している。これにより、センサシステム１０ａ〜１０ｚのカメラ１２が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ２３が吸収し、データベース２５に登録することができる。このことによって、カメラ１２が他機種カメラに変わった場合に、仮想カメラ操作ＵＩ３３が適切に動作しない虞を低減できる。

また、仮想カメラ操作ＵＩ３３は、直接データベース２５にアクセスせずにバックエンドサーバ２７を介してアクセスする構成である。バックエンドサーバ２７で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの違いに対する対応を仮想カメラ操作ＵＩ３３で行っている。これにより、仮想カメラ操作ＵＩ３３の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力することができる。また、バックエンドサーバ２７は、仮想カメラ操作ＵＩ３３の要求に応じて画像生成処理に係わる共通処理を追加または削除することも可能である。これによって、仮想カメラ操作ＵＩ３３の要求に柔軟に対応することができる。

このように、画像処理システム１においては、被写体を複数の方向から撮影するための複数のカメラ１２により撮影して得られた画像データに基づいて、バックエンドサーバ２７により仮想視点画像が生成される。なお、本実施形態における画像処理システム１は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。

図２は、図１に示す画像処理システム１において、仮想視点画像品質値の取得方法を説明するための図である。

カメラ１２ａ〜１２ｚは、評価値検出部１２０１ａ〜１２０１ｚにおいて後述するようにして取得した評価値に基づき、画像品質値算出部１２０２ａ〜１２０２ｚにおいて後述するようにして画像品質値を算出する。算出した画像品質値は、スイッチングハブ１８を通じてフロントエンドサーバ２３へ送信され、データベース２５に書きまれる。

バックエンドサーバ２７において、使用カメラ判定部２７０１は、各カメラ１２ａ〜１２ｚの画像品質値と閾値を比較し、閾値以上の画像品質値を出力したセンサシステム１０の画像のみ、仮想視点画像生成に用いる。また、仮想視点画像生成に使用するカメラを表す情報を記録する。使用カメラ判定閾値変更部２７０２は、制御ステーション３１による設定に基づき、使用カメラ判定部２７０１の閾値を変更する。仮想視点画像品質値算出部２７０３は、仮想視点画像生成に用いられた画像の画像品質値の平均値を仮想視点画像品質値として算出する。仮想視点画像生成部２７０４は、仮想視点画像を生成する。使用カメラ情報出力部２７０５は、仮想視点画像生成に使用したカメラ情報を、仮想カメラ操作ＵＩ３３に出力する。

仮想視点画像品質値出力部２７０６は、仮想視点画像品質値を仮想カメラ操作ＵＩ３３に出力する。仮想視点画像品質値は仮想カメラ操作ＵＩ３３による視点の指定に使用される。例えば、指定可能な仮想視点の領域を表した図に、仮想視点画像品質値を、色等の視覚的に分かりやすい情報に変換して重畳することで、仮想カメラ操作ＵＩ３３の使用者が、品質の良い仮想視点画像を取得できる視点を直感的に認識することができる。

図３はカメラ１２の構成をさらに詳しく説明するための図である。なお、図３では、機能ごとに構成要素として分けて示しているが、これらは１つまたは複数のＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。

カメラ１２は、モニタ、電子ビューファインダ、及びアクセスランプを含む、不図示の表示部を有する。外部出力部１２０７は、カメラ１２の外面に露出しており、外部出力用Ｉ／Ｆ部１２０６に接続されている。

レンズ１２０３は、フォーカスレンズ、変倍レンズ、防振用シフトレンズ及び絞り等を含む撮影光学系（不図示）を収容している。撮像素子１２０４は、それぞれ光電変換素子を含む複数の画素が２次元配列された構成を有する。撮像素子１２０４は、撮影光学系により形成された被写体像（光学像）を画素ごとに光電変換、つまり撮像してアナログ信号を生成し、これをＡ／Ｄ変換回路によりデジタル信号に変換して、画素単位のＲＡＷ画像データを出力する。

撮像処理部１２０５は、撮像素子１２０４から出力された全画素分のＲＡＷ画像データを不図示のメモリに書き込んだり、メモリに保持されたＲＡＷ画像データを読み出して画像処理を行った後、外部出力用Ｉ／Ｆ部１２０６に出力する。メモリとしては、例えば、数フレーム分の全画素ＲＡＷ画像データを格納する揮発性の記憶媒体を用いる。撮像処理部１２０５で実行される画像処理は、各種補正、輪郭強調、ノイズ除去及び圧縮等の処理を含んでも良い。

外部出力用Ｉ／Ｆ部１２０６は、撮像処理部１２０５から入力された画像データに対して、リサイズ処理や、外部出力部１２０７の規格に適した信号変換及び制御信号の付与などを行い、その結果得られた画像データを外部出力部１２０７に出力する。外部出力部１２０７は、画像データを外部出力する端子であり、ＳＤＩ端子やＨＤＭＩ（登録商標）端子等である。外部出力用Ｉ／Ｆ部１２０６には、例えば、モニターディスプレイや外部記録装置が接続可能である。

カメラ制御部１２１５は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＣＰＵがＲＯＭに格納されたコンピュータプログラムをＲＡＭの作業領域に展開して実行することにより、カメラ１２の動作全体を制御する。また、カメラ制御部１２１５は、ＲＯＭに記憶されたコンピュータプログラムを実行することで、後述する処理を実行する。ＲＡＭは、カメラ制御部１２１５の動作用の定数や変数を保持したり、ＲＯＭから読み出したプログラム等を展開したりする。

通信部１２１２は、外部に対して、カメラの内部情報を送信する。また、外部からカメラの制御情報を受信する。また、通信部１２１２は、画像品質値出力部１２１３及び重み係数入力部１２１４を有する。画像品質値出力部１２１３は、カメラ制御部１２１５に含まれる画像品質値算出部１２０２で算出された画像品質値を外部に出力する。一方、重み係数入力部１２１４は外部から各評価値に対する重み係数の入力を受け付ける。

カメラ制御部１２１５に含まれる重み係数設定部１２１１は、重み係数入力部１２１４に入力された重み係数を画像品質値算出部１２０２の計算に反映させる。

評価値検出部１２０１は、振れ検出部１２０８、ノイズ検出部１２０９、輝度検出部１２１０を含む。振れ検出部１２０８はカメラ１２の角速度及びカメラ制御部１２１５が撮像処理部１２０５から出力された画像データにより算出した動きベクトル量からカメラの動きベクトル量（第１の評価値）を検出する。ノイズ検出部１２０９は撮像処理部１２０５から出力された画像データに現れる周期的なノイズ（第２の評価値）を検出する。輝度検出部１２１０は撮像処理部１２０５から出力された画像データにおいて、画面全体または一部の輝度（第３の評価値）を算出する。動きベクトル量が小さいほど、第１の評価値は高くなり、周期的なノイズが小さいほど、第２の評価値は高くなる。また、輝度に関しては、例えば、あらかじめ決められた輝度（適正輝度）で第３の評価値が最も高くなり、適正輝度をピークとして、これより大きいまたは小さいほど、第３の評価値は低くなる。

図４は、画像品質値の取得方法のフローチャートである。まず、Ｓ４０１において、制御ステーション３１は、各評価値に対する重み係数を重み係数入力部１２１４に入力する。ここで各重み係数の合計は１となるようにする。重み係数は、例えば、撮影時刻、環境輝度、撮影モード、シャッタースピード、スポーツであれば競技の種類等に応じて、仮想カメラ操作ＵＩ３３などにより適宜変更することができる。

Ｓ４０２において、各カメラ１２のカメラ制御部１２１５は、評価値検出部１２０１の振れ検出部１２０８、ノイズ検出部１２０９、輝度検出部１２１０から、それぞれ評価値を取得する。

Ｓ４０３において、画像品質値算出部１２０２は、取得した各評価値を、重み係数設定部１２１１に設定された各評価値に対応する重み係数により加重加算し、得られた値を画像品質値として算出する。

Ｓ４０４において、算出した画像品質値を画像に関連付けて、画像品質値出力部１２１３により画像コンピューティングサーバ２０へ送信する。

次に、画像コンピューティングサーバ２０で行われる、上述したようにして得られた各画像の画像品質値から、仮想視点画像の画像品質値（仮想視点画像品質値）を求める方法について説明する。図５は仮想視点画像品質値の取得方法のフローチャートである。まず、Ｓ５０１において、図４を参照して上述した方法で算出された画像品質値を、各カメラ１２から取得し、次にＳ５０２において、フロントエンドサーバ２３は各カメラ１２から取得した画像品質値をフレーム番号に応じてデータベース２５に書き込む。

Ｓ５０３では、仮想視点画像品質値を取得する、複数の仮想視点を取得する。なお、理論上は、複数のカメラ１２から得られた画像を合成することで、ほぼ無限数の仮想視点からの仮想視点画像を生成することができる。そこで、効率良く仮想視点画像品質値を取得するためには、同じ組み合わせの複数のカメラ１２からの画像を用いて仮想視点画像を生成可能な仮想視点の領域につき、１箇所の仮想視点を設定するとよい。なお、カメラ１２のすべての組み合わせに対応する仮想視点を必ずしも設定しなくてもよく、撮影条件に合わせて適宜設定すれば良い。

次にＳ５０４において、Ｓ５０３で設定した仮想視点の１つについて、使用カメラ判定部２７０１は、その仮想視点での仮想視点画像を生成するために必要な複数の画像を撮影した複数のカメラ１２を判定する。そして、データベース２５に記録された複数のカメラ１２それぞれから得られた所定フレーム番号の画像の画像品質値を、閾値と比較する。なお、所定フレーム番号は、異なる視点から再生して鑑賞しようとする画像のフレームのフレーム番号であって、例えば、仮想カメラ操作ＵＩ３３から指定された再生範囲から得ることができる。なお、動画の場合、これに限るわけではないが、例えば、再生を開始する最初のフレームとすればよい。閾値以上であればＳ５０５に進み、閾値未満であればＳ５０７に進む。

Ｓ５０５では、画像品質値を累積画像品質値に加算する。その際、使用カメラ判定部２７０１は、画像品質値を取得した画像を撮影したカメラ１２を表す情報を記録する。そしてＳ５０６において、仮想視点画像生成カメラ台数に１を加算する。

Ｓ５０７では、仮想視点の１つに対応した複数のカメラ１２すべてから得られた所定フレームの画像の画像品質値を閾値と比較したかどうかを判断し、比較していない画像品質値が残っていれば、Ｓ５０４に戻って上記処理を繰り返す。一方、すべてについて比較済みであれば、Ｓ５０８に進む。

Ｓ５０８では、仮想視点画像品質値算出部２７０３は、累積画像品質値を仮想視点画像生成カメラ台数で割った値を仮想視点画像品質値として算出する。Ｓ５０９では、設定されたすべての仮想視点について処理が終了したかどうかを判断し、終了していればＳ５１０に進み、終了していなければＳ５０４に戻って、次の仮想視点について上述した処理を繰り返す。

Ｓ５１０において、仮想視点画像品質値出力部２７０６は、各仮想視点に対応する仮想視点画像品質値を仮想カメラ操作ＵＩ３３に出力する。次のＳ５１１において、使用カメラ情報出力部２７０５は、各仮想視点画像品質値の算出に使用したカメラ情報を仮想視点画像品質値に関連付けて仮想カメラ操作ＵＩ３３に出力し、処理を終了する。

仮想カメラ操作ＵＩ３３では、受信した各仮想視点の仮想視点画像品質値及び各仮想視点画像品質値の算出に使用したカメラ情報に基づいて、例えば、マップ上での色分けにより、どの仮想視点から得られる仮想視点画像の品質がどの程度かを表示する。これにより、品質の良い仮想視点画像が得られる仮想視点を容易に判断することができるため、どの仮想視点の仮想視点画像を生成するかを適切に指示することが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：画像処理システム、１０：センサシステム、１２カメラ、１５：カメラアダプタ、１８：スイッチングハブ、１９：エンドユーザ端末、２０：画像コンピューティングサーバ、２３：フロントエンドサーバ、２５：データベース、２７：バックエンドサーバ、２９：タイムサーバ、３０：コントローラ、３１：制御ステーション、３３：仮想カメラ操作ＵＩ、１２０１：評価値検出部、１２０２：画像品質値算出部、１２０３：レンズ、１２０４：撮像素子、１２０５：撮像処理部、１２０８：振れ検出部、１２０９：ノイズ検出部、１２１０：輝度検出部、１２１１：重み係数設定部、１２１２：通信部、１２１３：画像品質値出力部、１２１４：重み係数入力部、１２１５：カメラ制御部、２７０１：使用カメラ判定部、２７０２：使用カメラ判定閾値変更部、２７０３：仮想視点画像品質値算出部、２７０４：仮想視点画像生成部、２７０５：使用カメラ情報出力部、２７０６：仮想視点画像品質値出力部

Claims (18)

1. 複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成手段と、
   前記複数のカメラから出力される複数の画像それぞれの品質値を取得する取得手段と、
   前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の仮想視点画像の品質値を算出する算出手段と、
   前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力手段と
   を有することを特徴とする画像処理装置。
2. 前記算出手段は、複数の仮想視点における複数の仮想視点画像それぞれに対応する仮想視点画像の品質値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像は複数の動画であって、前記算出手段は、前記複数の動画それぞれにおける指定されたフレーム番号の品質値を用いて、前記仮想視点画像の品質値を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記算出手段は、前記仮想視点画像の生成に用いる前記複数の画像の品質値のうち、閾値よりも高い品質値の平均値を前記仮想視点画像の品質値として算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記閾値よりも高い品質値を有する画像を用いて、仮想視点画像を生成することを特徴とする請求項４に記載の画像処理装置。
6. それぞれが、画像を撮影し、撮影した画像の品質値を取得して、前記画像と前記品質値とを関連づけて出力する、複数のカメラと、
   複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成手段と、
   前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の仮想視点画像の品質値を算出する算出手段と、
   前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力手段と
   を有することを特徴とする画像処理システム。
7. 前記算出手段は、複数の仮想視点における複数の仮想視点画像それぞれに対応する仮想視点画像の品質値を算出することを特徴とする請求項６に記載の画像処理システム。
8. 前記複数の画像は複数の動画であって、前記算出手段は、前記複数の動画それぞれにおける指定されたフレーム番号の品質値を用いて、前記仮想視点画像の品質値を算出することを特徴とする請求項６または７に記載の画像処理システム。
9. 前記算出手段は、前記仮想視点画像の生成に用いる前記複数の画像の品質値のうち、閾値よりも高い品質値の平均値を前記仮想視点画像の品質値として算出することを特徴とする請求項６乃至８のいずれか１項に記載の画像処理システム。
10. 前記生成手段は、前記閾値よりも高い品質値を有する画像を用いて、仮想視点画像を生成することを特徴とする請求項９に記載の画像処理システム。
11. 前記閾値を設定する設定手段をさらに有することを特徴とする請求項９または１０に記載の画像処理システム。
12. 前記出力手段により出力された前記仮想視点画像の品質値を、前記複数のカメラの位置に関連づけて表示する表示手段をさらに有することを特徴とする請求項６乃至１１のいずれか１項に記載の画像処理システム。
13. 前記複数のカメラはそれぞれ、
    複数の評価値を検出する検出部と、
    前記複数の評価値を、それぞれに対応する係数により加重加算して、前記品質値を取得する品質値算出部と
    を有することを特徴とする請求項６乃至１２のいずれか１項に記載の画像処理システム。
14. 前記検出部は、画像の振れと、画像のノイズと、画像の輝度とを前記評価値として検出することを特徴とする請求項１３に記載の画像処理システム。
15. 前記複数のカメラはそれぞれ、
    前記係数を入力する入力手段と、
    前記入力手段から入力した前記係数を前記品質値算出部に設定する係数設定手段と
    をさらに有することを特徴とする請求項１３または１４に記載の画像処理システム。
16. 生成手段が、複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成工程と、
    取得手段が、前記複数のカメラから出力される複数の画像それぞれの品質値を取得する取得工程と、
    算出手段が、前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の仮想視点画像の品質値を算出する算出工程と、
    出力手段が、前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力工程と
    を有することを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
18. 請求項１７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images