JP2019020845A - 画像処理装置及び方法、及び、画像処理システム - Google Patents
画像処理装置及び方法、及び、画像処理システム Download PDFInfo
- Publication number
- JP2019020845A JP2019020845A JP2017136436A JP2017136436A JP2019020845A JP 2019020845 A JP2019020845 A JP 2019020845A JP 2017136436 A JP2017136436 A JP 2017136436A JP 2017136436 A JP2017136436 A JP 2017136436A JP 2019020845 A JP2019020845 A JP 2019020845A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- quality value
- viewpoint image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】 複数視点画像から生成される各仮想視点における仮想画像の品質の判定を容易に行えるようにすること。【解決手段】 複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成手段と、前記複数のカメラから出力される複数の画像それぞれの品質値を取得する取得手段と、前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の仮想視点画像の品質値を算出する算出手段と、前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力手段とを有する。【選択図】 図2
Description
本発明は、画像処理装置及び方法、及び、画像処理システムに関し、特に、仮想視点画像を生成する画像処理装置及び方法、及び、画像処理システムに関する。
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。上記のようにして複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。
一方、複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバ等の画像処理部に集約し、当該画像処理部において、三次元モデル生成、レンダリング等の処理を施し、ユーザ端末に伝送を行うことで実現できる。
特許文献1では、複数のカメラを、それぞれとペアとなる制御ユニットを介して光ファイバで接続し、制御ユニットに各カメラの画像フレームを蓄積し、蓄積された画像フレームを使って連続的な動きを表現する画像出力を行うことについて記載されている。
複数視点画像から仮想視点画像を生成するためには、それぞれの視点の画像が正しく撮影できていることが重要である。特許文献2では、取得画像と基準画像との差分からカメラの異常を判定し、異常の種類を通知することについて記載されている。
上記のような仮想視点コンテンツ生成技術を用いてテレビ放送を行う場合、コントロールルームで視点操作した結果を放送するという利用方法が考えられる。この時、カメラに対する振動や風、露出の影響などにより、そのカメラの画像を用いて生成した画像、すなわち一部の視点の画像の品質が落ちる場合が考えられる。コントロールルームで視点操作する場合、品質の良い視点の画像を選択して放送する必要がある。特許文献2では、1つのカメラで取得した画像の品質を判定することについては記載されているが、複数視点画像から生成される仮想視点画像の品質の判定については言及されていない。そのため、コントロールルームで仮想視点を含めた視点操作を行う場合に、どの仮想視点の画像の品質が良いかが分からないという課題がある。
本発明は上記問題点を鑑みてなされたものであり、複数視点画像から生成される各仮想視点における仮想画像の品質の判定を容易に行えるようにすることを目的とする。
上記目的を達成するために、本発明の画像処理装置は、複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成手段と、前記複数のカメラから出力される複数の画像それぞれの品質値を取得する取得手段と、前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の仮想視点画像の品質値を算出する算出手段と、前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力手段とを有する。
本発明によれば、複数視点画像から生成される各仮想視点における仮想画像の品質の判定を容易に行うことができる。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、以下の説明において、特に断りがない限り、「画像」は、動画と静止画の両方の概念を含むものとする。すなわち、本実施形態において説明する画像処理システム1は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム1により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、本発明はこれに限られるものではない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。
図1は、本発明の実施形態における画像処理システムの構成を示すブロック図である。図1に示す画像処理システムは、例えば、競技場(スタジアム)やコンサートホールなどの施設に複数のカメラ及びマイクを設置し、撮影及び集音を行うシステムとして用いることができる。画像処理システム1は、複数のセンサシステム10a〜10z、画像コンピューティングサーバ20、コントローラ30、スイッチングハブ18、及びエンドユーザ端末19を含む。
コントローラ30は、制御ステーション31と仮想カメラ操作ユーザーインタフェース(UI)33を有する。制御ステーション31は、画像処理システム1を構成するそれぞれのブロックに対し、ネットワーク31a〜31c、18a、18b、及び17a〜17yを通じて、動作状態の管理及びパラメータ設定制御などを行う。ネットワークは、Ethernet(登録商標)であるIEEE標準準拠のGbE(ギガビットイーサーネット)や10GbEでもよいし、インターコネクトInfiniband、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。
センサシステム10aは、マイク11a、カメラ12a、雲台13a、外部センサ14a、及びカメラアダプタ15aを有する。なお、本発明のセンサシステム10aはこの構成に限定されるものではなく、少なくとも1台のカメラアダプタ15aと、1台のカメラ12aまたは1台のマイク11aを有していれば良い。また例えば、センサシステム10aは1台のカメラアダプタ15aと、複数のカメラ12aで構成されてもよいし、1台のカメラ12aと複数のカメラアダプタ15aで構成されてもよい。即ち、画像処理システム1内の複数のカメラ12と複数のカメラアダプタ15はN対M(NとMは共に1以上の整数)で対応する。
また、センサシステム10aは、マイク11a、カメラ12a、雲台13a、及びカメラアダプタ15a以外の装置を含んでいてもよい。また、カメラ12aとカメラアダプタ15aが分離された構成としているが、同一筺体で一体化されていてもよい。その場合、マイク11aは一体化されたカメラ12aに内蔵されてもよいし、カメラ12aの外部に接続されていてもよい。さらに、カメラアダプタ15の機能の少なくとも一部をフロントエンドサーバ23が有していてもよい。
本実施形態の画像処理システム1では、センサシステム10aと同様の構成を有する26の10a〜10zが、デイジーチェーンにより接続されているものとして説明するが、センサシステム10の台数はこれに限定されるものではない。なお、以下の説明において、特に区別する必要が無い場合は、センサシステム10a〜10zを区別せず、センサシステム10と記載する。また、各センサシステム10内の装置についても同様に、特に区別する必要が無い場合は、マイク11、カメラ12、雲台13、外部センサ14、及びカメラアダプタ15と記載する。また、複数のセンサシステム10は、少なくとも図3を参照して後述する構成を有するカメラ12を有していれば、同一の構成でなくてもよく、例えばそれぞれが異なる機種の装置で構成されていてもよい。また、カメラ12自体も、性能や機種が異なっていてもよい。
なお、以下の説明では、センサシステム10a〜10zは、それぞれが1台ずつカメラ12a〜12zを有する場合について説明する。即ち、画像処理システム1は、被写体を複数の方向から撮影するための複数のカメラ12を有する。センサシステム10同士はデイジーチェーンにより接続されているため、撮影画像の4Kや8Kなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる。
また、図1では、接続形態として、デイジーチェーンとなるようセンサシステム10a〜10zの全てがカスケード接続されている構成を示したが、本発明はこれに限定されるものではない。例えば、各センサシステム10がスイッチングハブ18に接続されて、スイッチングハブ18を経由してセンサシステム10間のデータ送受信を行う、スター型のネットワーク構成としてもよい。また、例えば、複数のセンサシステム10をいくつかのグループに分割して、分割したグループ単位でセンサシステム10間をデイジーチェーン接続してもよい。そして、各グループの終端となるカメラアダプタ15がスイッチングハブに接続されて画像コンピューティングサーバ20へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数階で構成されている場合に、フロア毎に複数のセンサシステム10を配備することが考えられる。この場合、例えば、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ20への入力を行うことができる。このように、全センサシステム10を1つのデイジーチェーンで接続する配線が困難な場所でも、設置の簡便化及びシステムの柔軟化を図ることができる。
また、デイジーチェーン接続されて画像コンピューティングサーバ20へ画像入力を行うカメラアダプタ15が1つであるか2つ以上であるかに応じて、画像コンピューティングサーバ20での画像処理の制御が切り替えられる。すなわち、センサシステム10が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ15が1つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ20において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム10がグループに分割されていなければ、同期は取れる。
しかし、画像入力を行うカメラアダプタ15が複数になる場合は、画像が撮影されてから画像コンピューティングサーバ20に入力されるまでの遅延がデイジーチェーンのレーン(経路)ごとに異なる場合が考えられる。すなわち、センサシステム10がグループに分割される場合は、画像コンピューティングサーバ20に全周の画像データが入力されるタイミングは同期がとられないことがある。そのため、画像コンピューティングサーバ20において、全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。
マイク11aにて集音された音声と、カメラ12aにて撮影された画像は、カメラアダプタ15aにおいて所定の画像処理が施された後、デイジーチェーン17aを通してセンサシステム10bのカメラアダプタ15bに伝送される。同様にセンサシステム10bは、集音された音声と撮影された画像を、センサシステム10aから取得した画像及び音声と合わせてセンサシステム10cに伝送する。この動作を続けることにより、センサシステム10a〜10zが取得した画像及び音声は、センサシステム10zからネットワーク18bを介してスイッチングハブ18に伝わり、その後、画像コンピューティングサーバ20へ伝送される。
次に、画像コンピューティングサーバ20の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ20は、センサシステム10zから取得したデータの処理を行う。画像コンピューティングサーバ20は、フロントエンドサーバ23、データベース(DB)25、バックエンドサーバ27、タイムサーバ29を有する。
タイムサーバ29は、時刻及び同期信号を配信する機能を有し、ネットワーク291とスイッチングハブ18を介してセンサシステム10a〜10zに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ15a〜15zは、カメラ12a〜12zを時刻と同期信号とを基にGenlockさせ、画像フレーム同期を行う。即ち、タイムサーバ29は、複数のカメラ12の撮影タイミングを同期させる。これにより、画像処理システム1は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ29が複数のカメラ12の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を、各カメラ12または各カメラアダプタ15が独立して行ってもよい。
フロントエンドサーバ23は、センサシステム10zから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース25に書き込む。
バックエンドサーバ27では、仮想カメラ操作UI33から視点の指定を受け付け、受け付けられた視点に基づいて、データベース25から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。
なお、画像コンピューティングサーバ20の構成はこれに限らない。例えば、フロントエンドサーバ23、データベース25、及びバックエンドサーバ27のうち少なくとも2つが一体となって構成されていてもよい。また、フロントエンドサーバ23、データベース25、及びバックエンドサーバ27の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ20内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ20の機能の少なくとも一部をエンドユーザ端末19や仮想カメラ操作UI33が有していてもよい。
レンダリング処理された画像は、バックエンドサーバ27からエンドユーザ端末19に送信され、エンドユーザ端末19を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴ができる。すなわち、バックエンドサーバ27は、複数のカメラ12により撮影された撮影画像(複数視点画像)と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ27は、例えば複数のカメラアダプタ15を介して複数のカメラ12から得られた撮影画像の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ27は、生成した仮想視点コンテンツをエンドユーザ端末19に提供する。本実施形態において、仮想視点コンテンツは画像コンピューティングサーバ20により生成されるものであり、特にバックエンドサーバ27により生成される場合を中心に説明する。ただし、本発明はこれに限らず、仮想視点コンテンツは、画像コンピューティングサーバ20に含まれるバックエンドサーバ27以外の装置により生成されてもよいし、コントローラ30やエンドユーザ端末19により生成されてもよい。
本実施形態における仮想視点コンテンツは、実際にはカメラが配置されていない、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見え方を表す画像であるとも言える。仮想的な視点(仮想視点)は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像(自由視点画像)が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。
バックエンドサーバ27は、仮想視点画像を、例えばH.264やHEVCなどの符号化方式に従って圧縮符号化したうえで、MPEG−DASHプロトコルを使ってエンドユーザ端末19へ送信する。また、仮想視点画像は、非圧縮でエンドユーザ端末19へ送信されてもよい。特に圧縮符号化を行う前者はエンドユーザ端末19としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末19の種別に応じて画像フォーマットが切り替え可能である。また、画像の送信プロトコルはMPEG−DASHに限らず、例えば、HLS(HTTP Live Streaming)やその他の送信方法を用いても良い。
このように、画像処理システム1は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという3つの機能ドメインを有する。映像収集ドメインはセンサシステム10a〜10zを含み、データ保存ドメインはデータベース25、フロントエンドサーバ23及びバックエンドサーバ27を含み、映像生成ドメインは仮想カメラ操作UI33及びエンドユーザ端末19を含む。
なお、上述した構成に限らず、例えば、仮想カメラ操作UI33が直接センサシステム10a〜10zから画像を取得することも可能である。しかしながら、本実施形態では、センサシステム10a〜10zから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ23がセンサシステム10a〜10zが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース25の共通スキーマ及びデータ型に変換している。これにより、センサシステム10a〜10zのカメラ12が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ23が吸収し、データベース25に登録することができる。このことによって、カメラ12が他機種カメラに変わった場合に、仮想カメラ操作UI33が適切に動作しない虞を低減できる。
また、仮想カメラ操作UI33は、直接データベース25にアクセスせずにバックエンドサーバ27を介してアクセスする構成である。バックエンドサーバ27で画像生成処理に係わる共通処理を行い、操作UIに係わるアプリケーションの違いに対する対応を仮想カメラ操作UI33で行っている。これにより、仮想カメラ操作UI33の開発において、UI操作デバイスや、生成したい仮想視点画像を操作するUIの機能要求に対する開発に注力することができる。また、バックエンドサーバ27は、仮想カメラ操作UI33の要求に応じて画像生成処理に係わる共通処理を追加または削除することも可能である。これによって、仮想カメラ操作UI33の要求に柔軟に対応することができる。
このように、画像処理システム1においては、被写体を複数の方向から撮影するための複数のカメラ12により撮影して得られた画像データに基づいて、バックエンドサーバ27により仮想視点画像が生成される。なお、本実施形態における画像処理システム1は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。
図2は、図1に示す画像処理システム1において、仮想視点画像品質値の取得方法を説明するための図である。
カメラ12a〜12zは、評価値検出部1201a〜1201zにおいて後述するようにして取得した評価値に基づき、画像品質値算出部1202a〜1202zにおいて後述するようにして画像品質値を算出する。算出した画像品質値は、スイッチングハブ18を通じてフロントエンドサーバ23へ送信され、データベース25に書きまれる。
バックエンドサーバ27において、使用カメラ判定部2701は、各カメラ12a〜12zの画像品質値と閾値を比較し、閾値以上の画像品質値を出力したセンサシステム10の画像のみ、仮想視点画像生成に用いる。また、仮想視点画像生成に使用するカメラを表す情報を記録する。使用カメラ判定閾値変更部2702は、制御ステーション31による設定に基づき、使用カメラ判定部2701の閾値を変更する。仮想視点画像品質値算出部2703は、仮想視点画像生成に用いられた画像の画像品質値の平均値を仮想視点画像品質値として算出する。仮想視点画像生成部2704は、仮想視点画像を生成する。使用カメラ情報出力部2705は、仮想視点画像生成に使用したカメラ情報を、仮想カメラ操作UI33に出力する。
仮想視点画像品質値出力部2706は、仮想視点画像品質値を仮想カメラ操作UI33に出力する。仮想視点画像品質値は仮想カメラ操作UI33による視点の指定に使用される。例えば、指定可能な仮想視点の領域を表した図に、仮想視点画像品質値を、色等の視覚的に分かりやすい情報に変換して重畳することで、仮想カメラ操作UI33の使用者が、品質の良い仮想視点画像を取得できる視点を直感的に認識することができる。
図3はカメラ12の構成をさらに詳しく説明するための図である。なお、図3では、機能ごとに構成要素として分けて示しているが、これらは1つまたは複数のASICやプログラマブルロジックアレイ(PLA)等のハードウェアによって実現されてもよい。また、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。
カメラ12は、モニタ、電子ビューファインダ、及びアクセスランプを含む、不図示の表示部を有する。外部出力部1207は、カメラ12の外面に露出しており、外部出力用I/F部1206に接続されている。
レンズ1203は、フォーカスレンズ、変倍レンズ、防振用シフトレンズ及び絞り等を含む撮影光学系(不図示)を収容している。撮像素子1204は、それぞれ光電変換素子を含む複数の画素が2次元配列された構成を有する。撮像素子1204は、撮影光学系により形成された被写体像(光学像)を画素ごとに光電変換、つまり撮像してアナログ信号を生成し、これをA/D変換回路によりデジタル信号に変換して、画素単位のRAW画像データを出力する。
撮像処理部1205は、撮像素子1204から出力された全画素分のRAW画像データを不図示のメモリに書き込んだり、メモリに保持されたRAW画像データを読み出して画像処理を行った後、外部出力用I/F部1206に出力する。メモリとしては、例えば、数フレーム分の全画素RAW画像データを格納する揮発性の記憶媒体を用いる。撮像処理部1205で実行される画像処理は、各種補正、輪郭強調、ノイズ除去及び圧縮等の処理を含んでも良い。
外部出力用I/F部1206は、撮像処理部1205から入力された画像データに対して、リサイズ処理や、外部出力部1207の規格に適した信号変換及び制御信号の付与などを行い、その結果得られた画像データを外部出力部1207に出力する。外部出力部1207は、画像データを外部出力する端子であり、SDI端子やHDMI(登録商標)端子等である。外部出力用I/F部1206には、例えば、モニターディスプレイや外部記録装置が接続可能である。
カメラ制御部1215は、CPU、ROM、RAM等を備え、CPUがROMに格納されたコンピュータプログラムをRAMの作業領域に展開して実行することにより、カメラ12の動作全体を制御する。また、カメラ制御部1215は、ROMに記憶されたコンピュータプログラムを実行することで、後述する処理を実行する。RAMは、カメラ制御部1215の動作用の定数や変数を保持したり、ROMから読み出したプログラム等を展開したりする。
通信部1212は、外部に対して、カメラの内部情報を送信する。また、外部からカメラの制御情報を受信する。また、通信部1212は、画像品質値出力部1213及び重み係数入力部1214を有する。画像品質値出力部1213は、カメラ制御部1215に含まれる画像品質値算出部1202で算出された画像品質値を外部に出力する。一方、重み係数入力部1214は外部から各評価値に対する重み係数の入力を受け付ける。
カメラ制御部1215に含まれる重み係数設定部1211は、重み係数入力部1214に入力された重み係数を画像品質値算出部1202の計算に反映させる。
評価値検出部1201は、振れ検出部1208、ノイズ検出部1209、輝度検出部1210を含む。振れ検出部1208はカメラ12の角速度及びカメラ制御部1215が撮像処理部1205から出力された画像データにより算出した動きベクトル量からカメラの動きベクトル量(第1の評価値)を検出する。ノイズ検出部1209は撮像処理部1205から出力された画像データに現れる周期的なノイズ(第2の評価値)を検出する。輝度検出部1210は撮像処理部1205から出力された画像データにおいて、画面全体または一部の輝度(第3の評価値)を算出する。動きベクトル量が小さいほど、第1の評価値は高くなり、周期的なノイズが小さいほど、第2の評価値は高くなる。また、輝度に関しては、例えば、あらかじめ決められた輝度(適正輝度)で第3の評価値が最も高くなり、適正輝度をピークとして、これより大きいまたは小さいほど、第3の評価値は低くなる。
図4は、画像品質値の取得方法のフローチャートである。まず、S401において、制御ステーション31は、各評価値に対する重み係数を重み係数入力部1214に入力する。ここで各重み係数の合計は1となるようにする。重み係数は、例えば、撮影時刻、環境輝度、撮影モード、シャッタースピード、スポーツであれば競技の種類等に応じて、仮想カメラ操作UI33などにより適宜変更することができる。
S402において、各カメラ12のカメラ制御部1215は、評価値検出部1201の振れ検出部1208、ノイズ検出部1209、輝度検出部1210から、それぞれ評価値を取得する。
S403において、画像品質値算出部1202は、取得した各評価値を、重み係数設定部1211に設定された各評価値に対応する重み係数により加重加算し、得られた値を画像品質値として算出する。
S404において、算出した画像品質値を画像に関連付けて、画像品質値出力部1213により画像コンピューティングサーバ20へ送信する。
次に、画像コンピューティングサーバ20で行われる、上述したようにして得られた各画像の画像品質値から、仮想視点画像の画像品質値(仮想視点画像品質値)を求める方法について説明する。図5は仮想視点画像品質値の取得方法のフローチャートである。まず、S501において、図4を参照して上述した方法で算出された画像品質値を、各カメラ12から取得し、次にS502において、フロントエンドサーバ23は各カメラ12から取得した画像品質値をフレーム番号に応じてデータベース25に書き込む。
S503では、仮想視点画像品質値を取得する、複数の仮想視点を取得する。なお、理論上は、複数のカメラ12から得られた画像を合成することで、ほぼ無限数の仮想視点からの仮想視点画像を生成することができる。そこで、効率良く仮想視点画像品質値を取得するためには、同じ組み合わせの複数のカメラ12からの画像を用いて仮想視点画像を生成可能な仮想視点の領域につき、1箇所の仮想視点を設定するとよい。なお、カメラ12のすべての組み合わせに対応する仮想視点を必ずしも設定しなくてもよく、撮影条件に合わせて適宜設定すれば良い。
次にS504において、S503で設定した仮想視点の1つについて、使用カメラ判定部2701は、その仮想視点での仮想視点画像を生成するために必要な複数の画像を撮影した複数のカメラ12を判定する。そして、データベース25に記録された複数のカメラ12それぞれから得られた所定フレーム番号の画像の画像品質値を、閾値と比較する。なお、所定フレーム番号は、異なる視点から再生して鑑賞しようとする画像のフレームのフレーム番号であって、例えば、仮想カメラ操作UI33から指定された再生範囲から得ることができる。なお、動画の場合、これに限るわけではないが、例えば、再生を開始する最初のフレームとすればよい。閾値以上であればS505に進み、閾値未満であればS507に進む。
S505では、画像品質値を累積画像品質値に加算する。その際、使用カメラ判定部2701は、画像品質値を取得した画像を撮影したカメラ12を表す情報を記録する。そしてS506において、仮想視点画像生成カメラ台数に1を加算する。
S507では、仮想視点の1つに対応した複数のカメラ12すべてから得られた所定フレームの画像の画像品質値を閾値と比較したかどうかを判断し、比較していない画像品質値が残っていれば、S504に戻って上記処理を繰り返す。一方、すべてについて比較済みであれば、S508に進む。
S508では、仮想視点画像品質値算出部2703は、累積画像品質値を仮想視点画像生成カメラ台数で割った値を仮想視点画像品質値として算出する。S509では、設定されたすべての仮想視点について処理が終了したかどうかを判断し、終了していればS510に進み、終了していなければS504に戻って、次の仮想視点について上述した処理を繰り返す。
S510において、仮想視点画像品質値出力部2706は、各仮想視点に対応する仮想視点画像品質値を仮想カメラ操作UI33に出力する。次のS511において、使用カメラ情報出力部2705は、各仮想視点画像品質値の算出に使用したカメラ情報を仮想視点画像品質値に関連付けて仮想カメラ操作UI33に出力し、処理を終了する。
仮想カメラ操作UI33では、受信した各仮想視点の仮想視点画像品質値及び各仮想視点画像品質値の算出に使用したカメラ情報に基づいて、例えば、マップ上での色分けにより、どの仮想視点から得られる仮想視点画像の品質がどの程度かを表示する。これにより、品質の良い仮想視点画像が得られる仮想視点を容易に判断することができるため、どの仮想視点の仮想視点画像を生成するかを適切に指示することが可能となる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1:画像処理システム、10:センサシステム、12カメラ、15:カメラアダプタ、18:スイッチングハブ、19:エンドユーザ端末、20:画像コンピューティングサーバ、23:フロントエンドサーバ、25:データベース、27:バックエンドサーバ、29:タイムサーバ、30:コントローラ、31:制御ステーション、33:仮想カメラ操作UI、1201:評価値検出部、1202:画像品質値算出部、1203:レンズ、1204:撮像素子、1205:撮像処理部、1208:振れ検出部、1209:ノイズ検出部、1210:輝度検出部、1211:重み係数設定部、1212:通信部、1213:画像品質値出力部、1214:重み係数入力部、1215:カメラ制御部、2701:使用カメラ判定部、2702:使用カメラ判定閾値変更部、2703:仮想視点画像品質値算出部、2704:仮想視点画像生成部、2705:使用カメラ情報出力部、2706:仮想視点画像品質値出力部
Claims (18)
- 複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成手段と、
前記複数のカメラから出力される複数の画像それぞれの品質値を取得する取得手段と、
前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の仮想視点画像の品質値を算出する算出手段と、
前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力手段と
を有することを特徴とする画像処理装置。 - 前記算出手段は、複数の仮想視点における複数の仮想視点画像それぞれに対応する仮想視点画像の品質値を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記複数の画像は複数の動画であって、前記算出手段は、前記複数の動画それぞれにおける指定されたフレーム番号の品質値を用いて、前記仮想視点画像の品質値を算出することを特徴とする請求項1または2に記載の画像処理装置。
- 前記算出手段は、前記仮想視点画像の生成に用いる前記複数の画像の品質値のうち、閾値よりも高い品質値の平均値を前記仮想視点画像の品質値として算出することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記生成手段は、前記閾値よりも高い品質値を有する画像を用いて、仮想視点画像を生成することを特徴とする請求項4に記載の画像処理装置。
- それぞれが、画像を撮影し、撮影した画像の品質値を取得して、前記画像と前記品質値とを関連づけて出力する、複数のカメラと、
複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成手段と、
前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の仮想視点画像の品質値を算出する算出手段と、
前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力手段と
を有することを特徴とする画像処理システム。 - 前記算出手段は、複数の仮想視点における複数の仮想視点画像それぞれに対応する仮想視点画像の品質値を算出することを特徴とする請求項6に記載の画像処理システム。
- 前記複数の画像は複数の動画であって、前記算出手段は、前記複数の動画それぞれにおける指定されたフレーム番号の品質値を用いて、前記仮想視点画像の品質値を算出することを特徴とする請求項6または7に記載の画像処理システム。
- 前記算出手段は、前記仮想視点画像の生成に用いる前記複数の画像の品質値のうち、閾値よりも高い品質値の平均値を前記仮想視点画像の品質値として算出することを特徴とする請求項6乃至8のいずれか1項に記載の画像処理システム。
- 前記生成手段は、前記閾値よりも高い品質値を有する画像を用いて、仮想視点画像を生成することを特徴とする請求項9に記載の画像処理システム。
- 前記閾値を設定する設定手段をさらに有することを特徴とする請求項9または10に記載の画像処理システム。
- 前記出力手段により出力された前記仮想視点画像の品質値を、前記複数のカメラの位置に関連づけて表示する表示手段をさらに有することを特徴とする請求項6乃至11のいずれか1項に記載の画像処理システム。
- 前記複数のカメラはそれぞれ、
複数の評価値を検出する検出部と、
前記複数の評価値を、それぞれに対応する係数により加重加算して、前記品質値を取得する品質値算出部と
を有することを特徴とする請求項6乃至12のいずれか1項に記載の画像処理システム。 - 前記検出部は、画像の振れと、画像のノイズと、画像の輝度とを前記評価値として検出することを特徴とする請求項13に記載の画像処理システム。
- 前記複数のカメラはそれぞれ、
前記係数を入力する入力手段と、
前記入力手段から入力した前記係数を前記品質値算出部に設定する係数設定手段と
をさらに有することを特徴とする請求項13または14に記載の画像処理システム。 - 生成手段が、複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成工程と、
取得手段が、前記複数のカメラから出力される複数の画像それぞれの品質値を取得する取得工程と、
算出手段が、前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の仮想視点画像の品質値を算出する算出工程と、
出力手段が、前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力工程と
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至5のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 請求項17に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017136436A JP2019020845A (ja) | 2017-07-12 | 2017-07-12 | 画像処理装置及び方法、及び、画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017136436A JP2019020845A (ja) | 2017-07-12 | 2017-07-12 | 画像処理装置及び方法、及び、画像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019020845A true JP2019020845A (ja) | 2019-02-07 |
Family
ID=65355709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017136436A Pending JP2019020845A (ja) | 2017-07-12 | 2017-07-12 | 画像処理装置及び方法、及び、画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019020845A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021131375A1 (ja) * | 2019-12-26 | 2021-07-01 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2021149336A1 (ja) * | 2020-01-22 | 2021-07-29 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2017
- 2017-07-12 JP JP2017136436A patent/JP2019020845A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021131375A1 (ja) * | 2019-12-26 | 2021-07-01 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JPWO2021131375A1 (ja) * | 2019-12-26 | 2021-07-01 | ||
JP7389140B2 (ja) | 2019-12-26 | 2023-11-29 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2021149336A1 (ja) * | 2020-01-22 | 2021-07-29 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JPWO2021149336A1 (ja) * | 2020-01-22 | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180204381A1 (en) | Image processing apparatus for generating virtual viewpoint image and method therefor | |
WO2020013077A1 (ja) | 装置、制御方法、及びプログラム | |
KR20150090999A (ko) | 타임 랩스 동영상을 생성하는 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
US10708469B2 (en) | Image processing apparatus, method of controlling the same, non-transitory computer-readable storage medium, and image processing system | |
US11677925B2 (en) | Information processing apparatus and control method therefor | |
US11159742B2 (en) | High-speed video from camera arrays | |
CN107592452B (zh) | 一种全景音视频采集设备及方法 | |
JP2013165487A (ja) | 画像処理装置、撮像装置、およびプログラム | |
JP2018191254A (ja) | 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム | |
JP2019020845A (ja) | 画像処理装置及び方法、及び、画像処理システム | |
JP2018191251A (ja) | 情報処理システム、情報処理方法、およびプログラム | |
US10552980B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US20130177287A1 (en) | Reproduction apparatus, image capturing apparatus, and program | |
US11295453B2 (en) | Image processing apparatus, transmission method, and storage medium | |
KR101967819B1 (ko) | 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법 | |
CN114466145B (zh) | 视频处理方法、装置、设备和存储介质 | |
JP5161939B2 (ja) | 画像処理装置、撮像システム、及び画像処理装置の制御方法 | |
CN112788198B (zh) | 摄影装置、传送***及方法、记录介质和计算机装置 | |
CN105100595A (zh) | 摄像设备及其控制方法 | |
JP2019140483A (ja) | 画像処理システム、画像処理システムの制御方法、伝送装置、伝送方法及びプログラム | |
JP2018109904A (ja) | 制御装置、システム、制御装置の制御方法 | |
JP7190849B2 (ja) | 画像生成装置、画像生成装置の制御方法及びプログラム | |
JP2018074523A (ja) | 撮像装置、その制御方法、プログラムならびに記録媒体 | |
JP6346529B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
JP2019009731A (ja) | 画像処理装置及び方法、撮像装置、及び、撮像システム |