JP2020135290A - 画像生成装置、画像生成方法、画像生成システム、及びプログラム - Google Patents
画像生成装置、画像生成方法、画像生成システム、及びプログラム Download PDFInfo
- Publication number
- JP2020135290A JP2020135290A JP2019026569A JP2019026569A JP2020135290A JP 2020135290 A JP2020135290 A JP 2020135290A JP 2019026569 A JP2019026569 A JP 2019026569A JP 2019026569 A JP2019026569 A JP 2019026569A JP 2020135290 A JP2020135290 A JP 2020135290A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image generation
- virtual viewpoint
- interest
- virtual camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
【課題】仮想視点画像における注目対象の視認性の低下を抑制する。【解決手段】画像生成装置120は、仮想視点の位置及び視線方向を含む仮想視点情報を取得する取得手段406と、複数の被写体のうち、注目対象の被写体を設定する設定手段408と、前記仮想視点情報に基づいて、前記仮想視点画像を生成する画像生成手段409とを備える。画像生成手段は、仮想視点の視線方向に、注目対象の被写体に対応する注目オブジェクト及び他のオブジェクトがある場合に、当該他のオブジェクトの表示態様を変更して、仮想視点画像を生成する。【選択図】図4
Description
本発明は、仮想視点画像を生成するための技術に関する。
近年、複数のカメラを異なる位置に配置して複数視点で同期撮影し、その撮影により得られた複数視点画像を用いて、カメラの配置位置における画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。この複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラで撮影した画像をサーバ等の画像処理部に集約し、その画像処理部において、仮想視点に基づくレンダリング等の処理を施し、さらにユーザ端末に仮想視点画像を表示することで実現される。
そして、このような仮想視点画像を用いたサービスでは、例えば、サッカー、バスケットボール等における特定のシーンを様々な角度から視聴することができるため、従来の撮影画像と比較して、ユーザに高臨場感を与えることができる。ここで、特許文献1には、被写体を取り囲むように複数のカメラを配置し、被写体を撮影した画像を用いて、任意の仮想視点画像を生成及び表示する技術が開示されている。
特許文献1の技術によって仮想視点画像を生成する場合、仮想視点画像に含まれる複数のオブジェクトの位置関係によっては、画像を視聴するユーザの注目対象が見づらくなる場合がある。例えば、サッカーの試合等を撮影した画像に基づいて、ユーザの注目対象の選手の近くに仮想カメラ位置を設定して仮想視点画像を生成する場合、注目対象の選手を遮蔽する位置に他の選手がいると、ユーザは注目対象の選手に集中して視聴できない。即ち、仮想視点画像における注目対象の視認性が低下するという課題がある。
本発明は、前記従来の課題に鑑みてなされたものであって、その目的は、仮想視点画像における注目対象の視認性の低下を抑制することである。
本発明は、複数の撮像装置により撮像された画像を用いて仮想視点画像を生成する画像生成装置であって、仮想視点の位置及び視線方向を含む仮想視点情報を取得する取得手段と、複数の被写体のうち、注目対象の被写体を設定する設定手段と、前記仮想視点情報に基づいて、前記仮想視点画像を生成する画像生成手段とを備え、前記画像生成手段は、前記仮想視点の視線方向に、前記注目対象の被写体に対応する注目オブジェクト及び他のオブジェクトがある場合に、当該他のオブジェクトの表示態様を変更して、前記仮想視点画像を生成することを特徴とする。
本発明によれば、仮想視点画像における注目対象の視認性の低下を抑制することができる。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。
<実施形態1>
図1は、本実施形態に係る画像処理システム100の概略ブロック図である。画像処理システム100は、図1に示されるように、撮像装置110、画像生成装置120、ユーザ端末130を備える。
図1は、本実施形態に係る画像処理システム100の概略ブロック図である。画像処理システム100は、図1に示されるように、撮像装置110、画像生成装置120、ユーザ端末130を備える。
撮像装置110は、例えば、画像(静止画像及び動画像)を撮像可能なデジタルカメラ等である。撮像装置110は、2台以上で構成され、例えば、サッカー場等の競技場や特定の被写体を取り囲むように配置され、その特定の被写体を撮像する。図2は、撮像装置110の設置例を示す図である。本実施形態において、複数の撮像装置110は、各々、サッカー場の全て又は一部を撮像するように設置されているものとする。
撮像装置110により撮像された画像は、例えば、LAN(Local Area Network)ケーブル等の通信ケーブルを介して、画像生成装置120に伝送(送信)される。なお、画像生成装置120への伝送は、必ずしも有線ケーブルを用いて行う必要はなく、無線により行ってもよい。
画像生成装置120は、撮像装置110により撮像された撮像画像を蓄積しておき、ユーザ端末130の操作に基づく仮想カメラ情報(仮想視点情報)が入力されると、複数の撮像画像から仮想カメラ情報に対応した仮想カメラ画像を生成する。なお、ここで、仮想カメラ情報とは、撮像した競技場の中央等の所定位置に対する相対的な位置である仮想空間上の3次元位置情報と、その位置からどの方向を見ているかを示す方向情報(視線方向に関する情報)を少なくとも含むものとする。
画像生成装置120は、例えば、サーバ装置等であり、データベース機能や画像処理機能を備えている。画像生成装置120は、データベース機能として、競技の開始前等、予め被写体が存在しない状態の競技場の場面が撮像された画像を背景画像データとして保持する。また、競技中の選手等、被写体の存在するシーンでは、被写体である前景を画像処理により分離して管理(保持)する。
なお、被写体である前景の分離方法として、例えば、背景画像との差分を抽出する等のオブジェクト抽出の画像処理を用いる。また、その他の検出(分離)方法として、動体を検出するようにしてもよい。ここで、補足として、前景とは競技する選手だけでなく、例えば、他の特定人物(控え選手、監督、及び/又は審判等)であってもよいし、ボールやゴール等、画像パターンが予め定められている物体であってもよい。
画像生成装置120は、保持(管理)している背景画像データと前景画像データから、指定された仮想カメラ情報に対応する仮想カメラ画像を生成する。画像生成装置120は、生成した仮想カメラ画像を、LANケーブル等を介して、ユーザ端末130に伝送する。また、仮想カメラ画像の生成方式として、例えば、モデルベースレンダリング(Model-Based Rendering:MBR)を用いる。
MBRとは、被写体を複数の方向から撮像した複数の撮像画像に基づいて生成される三次元モデルを用いて、仮想カメラ画像を生成する方式である。具体的には、三次元形状復元方法により得られた対象シーンの三次元形状(三次元モデル)に対して,仮想視点からの三次元形状の見えに対応した複数の撮像画像をレンダリング画像として投影することで、仮想カメラ画像を生成する方式である。なお、三次元形状復元方法には、視体積交差法、MVS(Multi-View-Stereo)等の方法がある。また、仮想カメラ画像の生成方式としては、MBR以外のレンダリング方式を用いてもよい。
ユーザ端末130は、ユーザからの操作を操作情報として受け付け、その操作情報を仮想カメラ情報に変換して、例えば、LANケーブル等を介して、画像生成装置120に伝送する。また、ユーザ端末130は所定の表示画面を備え、ユーザは、この表示画面に画像生成装置120から受信した仮想カメラ画像を表示させることで、自身の操作に基づく視点でコンテンツを視聴することができる。
ユーザ端末130は例えば、PC(Personal Computer)やタブレットである。ユーザは、例えば、不図示のマウス、キーボード、6軸コントローラ、タッチパネル等を操作することで、ユーザ端末130の表示画面上に静止画像や動画像を表示させる。
図3は、画像生成装置120のハードウェア構成を示す図である。画像生成装置120は、CPU301、ROM302、RAM303、HDD304、表示部305、入力部306、通信部307を有している。
CPU(Central Processing Unit)301は、ROM302に記憶された制御プログラムを用いて、各種処理を実行する。ROM(Read Only Memory)302は、ブートプログラム、制御プログラム、画像生成装置120の各部を設定する設定パラメータ等を記憶する記憶領域を有する。RAM303(Random Access Memory)は、CPU301の主メモリ、ワークエリア等の一時記憶領域として用いられる。
HDD(Hard Disk Drive)304は、各種データや各種プログラム等を記憶する。表示部305は、液晶画面等の表示装置であり、各種情報を表示する。入力部306は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。
通信部307は、ネットワークを介して、撮像装置110等の外部装置との通信処理を実行する。なお、ネットワークとしては、イーサネット(登録商標)等の有線であってよい。また、他の例としては、通信部307は、無線により外部装置との通信を行ってもよい。
なお、後述する画像生成装置120の機能や処理は、CPU301がROM302又はHDD304に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、ユーザ端末130のハードウェア構成も、画像生成装置120のハードウェア構成と同様である。
次に、図4を用いて、画像生成装置120の機能構成について説明する。図4は、画像生成装置120の機能構成を示す図である。撮像画像入力部401は、撮像装置110からLANケーブルを介して入力された伝送信号を撮像画像データに変換し、前景背景分離部402に出力する。
前景背景分離部402は、撮像画像入力部401から入力された撮像画像のうち、競技の開始前等、予め被写体が存在しない状態の競技場の場面を撮像した画像を背景画像データとして、撮像画像データ保存部403に出力する。また、前景背景分離部402は、競技中に撮像された画像から選手等、被写体を抽出し、前景画像データとして撮像画像データ保存部403に出力する。
撮像画像データ保存部403は、所定のデータベースであり、前景背景分離部402から入力された撮像画像データのうち、被写体が存在しない状態で予め撮像された画像を背景画像データとして保存する。また、撮像画像データ保存部403は、背景画像データと被写体の存在する撮像画像データとの差分データを前景画像データとして保存する。
さらに、撮像画像データ保存部403は、被写体形状生成部404に前景画像データを出力する。また、撮像画像データ保存部403は、仮想カメラ画像生成部409により指定された背景画像データと前景画像データを仮想カメラ画像生成部409に出力する。
被写体形状生成部404は、オブジェクト生成手段の一例であり、撮像画像データ保存部403から入力された前景画像データとカメラパラメータ保持部405から入力されたカメラパラメータ情報を用いて、被写体の形状を推定(生成)する。被写体形状生成部404は、被写体の形状を生成する上で、例えば、視体積交差法等の三次元形状復元方法を用いる。また、被写体形状生成部404は、生成した被写体の形状(形状モデル情報)を仮想カメラ画像生成部409に出力する。
カメラパラメータ保持部405は、予め3Dスキャン等により競技場全体を計測し、競技場に配置された複数の撮像カメラの位置情報と、撮像カメラの焦点距離やシャッタースピード等のカメラ設定情報をカメラパラメータ情報として、事前に保持しておく。なお、複数の撮像カメラは、予め決められた位置に設置されるものとする。また、カメラパラメータ保持部405は、カメラパラメータ情報を、被写体形状生成部404と仮想カメラ画像生成部409に出力する。
ユーザ入力部406は、ユーザ端末130からLANケーブルを介して入力された伝送信号をユーザコマンドデータに変換する。ユーザ入力部406は、ユーザコマンドデータが仮想カメラ差分情報である場合、仮想カメラ差分情報を仮想カメラ情報生成部407に出力する。また、ユーザ入力部406は、ユーザコマンドデータが注目対象の選択指示である場合、注目対象選択情報を表示優先度設定部408に出力する。
仮想カメラ情報生成部407は、ユーザ入力部406から入力された仮想カメラ差分情報に基づいて、仮想空間内の現在位置と方向を含む仮想カメラ位置情報を更新する。また、仮想カメラ情報生成部407は、仮想カメラ位置情報を更新すると、仮想カメラ画像生成部409に出力する。なお、仮想空間の原点は、競技場の中心等、予め設定されているものとする。
表示優先度設定部408は、ユーザ入力部406から入力された注目対象選択情報を保持し、仮想カメラ画像生成部409に出力する。なお、注目対象選択情報は、複数の被写体のうち、注目する被写体に関する情報、被写体毎に表示する優先度に関する情報(表示優先度情報)を含むものとする。
仮想カメラ画像生成部409は、前景及び背景画像データと、形状モデル情報と、カメラパラメータと、仮想カメラ情報とに基づいて、仮想カメラ位置から見た形状モデルに対して、実カメラで撮像された画像データの色情報でレンダリング(着色処理)する。仮想カメラ画像生成部409は、これにより、仮想カメラ画像を生成する。仮想カメラ画像生成部409は、その生成した仮想カメラ画像を画像出力部410に出力する。
なお、仮想カメラ画像生成部409は、例えば、仮想視点から被写体モデルが見えている状況で、被写体モデルから所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データを形状モデルの色として使用する。また、表示優先度設定部408から入力された注目対象選択情報に基づき、注目オブジェクトが仮想カメラ画像内に存在する場合、他のオブジェクトに対して、透過処理を施すことで表示様態を変更する。画像出力部410は、仮想カメラ画像生成部409から入力した仮想カメラ画像を、ユーザ端末130へ伝送可能な伝送信号に変換して、ユーザ端末130に出力する。
次に、図5のフローチャートを用いて、画像生成装置120の処理の手順について説明する。なお、ここでは、仮想カメラ画像に注目オブジェクトが存在する場合、他のオブジェクトを透過表示する例を示す。また、フローチャートの説明における記号「S」は、ステップを表すものとする。この点、以降のフローチャートの説明においても同様とする。
S501において、仮想カメラ情報生成部407は、ユーザ端末130からユーザ入力部406を介して仮想カメラ情報が入力されると、仮想カメラ情報を更新し、仮想カメラ画像生成部409に仮想カメラ情報を出力する。S502において、仮想カメラ画像生成部409は、仮想カメラ情報に基づいて、前景画像データと背景画像データを撮像画像データ保存部403から取得する。
S503において、仮想カメラ画像生成部409は、被写体形状生成部404から形状モデル情報を取得する。S504において、仮想カメラ画像生成部409は、カメラパラメータ保持部405からカメラパラメータ情報を取得する。
S505において、仮想カメラ画像生成部409は、仮想カメラ情報に基づいて、仮想カメラ画像を生成する。ここで、仮想カメラ画像の生成において、仮想カメラ画像生成部409は、形状モデル情報から所定の範囲内の実カメラ位置を含むカメラパラメータ情報がある場合、その実カメラの前景画像データを形状モデルの色としてレンダリング(着色処理)する。
S506において、仮想カメラ画像生成部409は、表示優先度設定部408から入力される注目対象選択情報に表示優先度情報が含まれているか否かを判定する。ここで、図6を用いて、ユーザ端末130の表示画面における表示優先度の設定に関して、説明を補足する。
図6に示されるユーザ端末130において、ユーザは、GUI(Graphical User Interface)画面を操作して、注目したい選手を選択する。選手一覧枠600には、例えば、サッカーの試合等で出場する選手が予め設定されており、ユーザは、選手一覧枠600内に表示される複数の選手から選手選択枠601を操作して、注目したい選手(注目選手)を選択する。また、ユーザは、プレビュー画面602において、実際のサッカーの試合の様子を確認することができ、注目選手610の様子やその他の選手611等を確認することができるようになっている。
なお、注目したい選手の選択数は、1つ(1人)であってもよいし、複数選択であってもよいものとする。また、サッカーのボールのような競技を行う上で欠かせない器具(物体)については、予め注目物体として選択されているものとする。
このGUI画面において、ユーザが注目したい選手を指定すると、ユーザ端末130から画像生成装置120に表示優先度情報が含まれる注目対象選択情報を送信する。なお、表示優先度情報には、少なくともユーザ指定の被写体識別番号が含まれるものとする。
図5のフローチャートに戻り、仮想カメラ画像生成部409は、表示優先度情報が含まれると判定すると(S506 Yes)、S507において、仮想カメラ画像内に注目オブジェクトが存在するか否かを判定する。他方、仮想カメラ画像生成部409は、表示優先度情報が含まれていないと判定すると(S506 No)、処理をS509に移行させる。
なお、仮想カメラ画像生成部409は、仮想カメラ画像内に注目オブジェクトが存在するか否かを、以下のように判定する。先ず、選手等の被写体に対して、定常的に位置情報を送信する小型無線装置を予め設置し、次に、被写体識別番号と、オブジェクト形状情報と、被写***置情報とを対応付けて管理しておく。そして、ユーザにより指定された被写体識別番号と予め付与された被写体識別番号を有するオブジェクトが仮想カメラの撮像範囲内に存在するか否かを判定する。また、仮想カメラ画像内に注目オブジェクトが存在するか否かを判定する方法は、必ずしもこの方法に限定されない。したがって、例えば、撮像画像データに対して被写体特徴量を検出する方法や別の識別装置により位置情報を検出する方法を用いて、仮想カメラ画像内に注目オブジェクトが存在するか否かを判定するようにしてもよい。
仮想カメラ画像生成部409は、仮想カメラ画像内に注目オブジェクトが存在すると判定すると(S507 Yes)、S508において、注目オブジェクト以外の他のオブジェクトに透過処理を施すことで表示様態を変更する。即ち、他のオブジェクトについては、所定の範囲内の実カメラ位置を含むカメラパラメータ情報があった場合でも、その実カメラの前景画像データによる形状モデルの着色を行わない。これにより、仮想カメラ画像から見た他のオブジェクトにおいては、背景が見える透過状態になる。他方、仮想カメラ画像生成部409は、仮想カメラ画像内に注目オブジェクトが存在しないと判定すると(S507 No)、処理をS509に移行させる。
なお、注目オブジェクト以外の他のオブジェクトに施す透過処理は、必ずしもこれに限定されず、注目オブジェクトの視認性の低下を抑制する程度の半透過状態にするようにしてもよい。半透過処理の場合、背景色と前景画像データを所定の割合で合成したり、前景画像データにおいて画素を所定の単位で間引いたりして、オブジェクトを着色処理するものとする。また、他のオブジェクトの表示様態の変更として、必ずしも透過処理に限らず、別の手段として、例えば、特定の単色で着色してもよいものとする。特定の単色については、予め設定されたグレー等の色情報や前景画像データの画素から取得した特定の色情報であってもよいものとする。
そして、S509において、画像生成装置120は、画像出力部410を介して、ユーザ端末130に画像を出力する。ここで、図7を用いて、ユーザ端末130の表示画面に出力される仮想カメラ画像について説明を補足する。
図7に示されるユーザ端末130において、ユーザの注目選手610である注目オブジェクトが仮想カメラ画像内に表示されている場合、その他の選手611等の他のオブジェクトには透過処理が施され、仮想カメラ画像内に表示されない。これにより、ユーザは、その他の選手が画面上に多く現れたり、注目選手を遮蔽したりしたとしても、必ず注目選手を視認することができる。
なお、補足として、図7では、他の選手611等を模式的に点線で示しているが、点線は、ユーザからは視認できないものである。また、図7の画面表示例では、他のオブジェクトに透過処理を施しているが、必ずしもこれに限らず、注目オブジェクトの視認性の低下を抑制する程度に半透過状態としてもよいものとする。
以上、説明したように、本実施形態に係る画像生成システムによれば、仮想カメラ画像内に注目選手が表示されている場合に、それ以外の選手の表示様態として透過処理を施すことで、注目選手を判別しやすく、注目選手に集中して視聴することが可能となる。
<実施形態2>
本実施形態では、仮想カメラ画像の生成時における注目選手と他の選手の位置関係のうち、仮想カメラから見た他の選手が注目選手の手前に存在する場合、他の選手の位置に応じて、他の選手の透過度を変更する。
本実施形態では、仮想カメラ画像の生成時における注目選手と他の選手の位置関係のうち、仮想カメラから見た他の選手が注目選手の手前に存在する場合、他の選手の位置に応じて、他の選手の透過度を変更する。
次に、図4を参照して、本実施形態に係る画像生成装置120の機能構成を、上述の実施形態1と異なる点に着目して説明し、上述の実施形態1と同様の構成については、その説明を省略する。仮想カメラ画像生成部409は、前景及び背景画像データと、形状モデル情報と、カメラパラメータと、仮想カメラ情報とに基づいて、仮想カメラ位置から見た形状モデルに対して、実カメラで撮像された画像データの色情報でレンダリング(着色処理)する。仮想カメラ画像生成部409は、これにより、仮想カメラ画像を生成する。仮想カメラ画像生成部409は、その生成した仮想カメラ画像を画像出力部410に出力する。
なお、仮想カメラ画像生成部409は、例えば、仮想視点から被写体モデルが見えている状況で、被写体モデルから所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データを形状モデルの色として使用する。また、表示優先度設定部408から入力された注目対象選択情報に基づき、注目オブジェクトが仮想カメラ画像内に存在する場合、他のオブジェクトのうち、仮想カメラに近い他のオブジェクトから順に高い透過度で透過処理を施す。
次に、図8のフローチャートを用いて、本実施形態に係る画像生成装置120の処理の手順について説明する。なお、ここでは、上述の実施形態1(図5)と異なる点に着目して説明する。
仮想カメラ画像生成部409は、S507の処理を実行すると、S801において、仮想カメラ画像内に注目オブジェクト以外の他のオブジェクトが存在するか否かを判定する。仮想カメラ画像生成部409は、他のオブジェクトが存在していると判定すると(S801 Yes)、処理をS802に移行させ、また、他のオブジェクトが存在していないと判定すると(S801 No)、処理をS805に移行させる。
ここで、仮想カメラ画像内に、他のオブジェクトが存在するか否かを判定する方法としては、実施形態1と同様である。即ち、選手等の被写体に対して、定常的に位置情報を送信する小型無線装置を予め設置しておき、被写体識別番号と、オブジェクト形状情報と、被写***置情報とを対応付けて管理しておくことで、判定することができる。
S802において、仮想カメラ画像生成部409は、他のオブジェクトと仮想カメラ間の距離を算出する。S803において、仮想カメラ画像生成部409は、他のオブジェクトの仮想カメラからの距離順に基づいて、表示優先度を設定する。
ここで、S803の処理に関して、図9の概念図を用いて説明を補足する。図9では、仮想空間上の仮想カメラと、注目オブジェクト901と、その他のオブジェクト902から904の位置関係を示している。仮想カメラに対して、他のオブジェクト904が最も距離が近く、また、他のオブジェクト903、他のオブジェクト902、注目オブジェクト901の順に距離が遠くなっている。
この場合において、仮想カメラに近いオブジェクトほど、表示優先度を低く設定する。具体的には、他のオブジェクト904の表示優先度を最も低く、他のオブジェクト903、他のオブジェクト902、注目オブジェクト901の順に表示優先度を高く設定する。
S804において、仮想カメラ画像生成部409は、表示優先度順に基づいて、他のオブジェクトの透過度を変更する。具体的には、他のオブジェクト904の透過度を100%、他のオブジェクト903の透過度を50%、他のオブジェクト902の透過度を25%に設定する。また、注目オブジェクト901の透過度は、仮想カメラ画像において注目オブジェクト901を透過させないため、0%に設定される。なお、透過度は、この設定値に限らず、例えば、被写体の数、距離等に基づいて、変化させるようにしてもよい。
そして、S805において、画像生成装置120は、画像出力部410を介して、ユーザ端末130に画像を出力する。ここで、図10を用いて、ユーザ端末130の表示画面に出力される仮想カメラ画像について説明を補足する。
図10に示されるユーザ端末130において、ユーザの注目選手である注目オブジェクト901が仮想カメラ画像内に表示されている場合、仮想カメラに近い他の選手(他のオブジェクト)から順に高い透過度で透過処理が施されている。具体的には、仮想カメラ画像生成部409は、画面を多く遮蔽している、仮想カメラに最も近い他の選手(他のオブジェクト904)を透過させ、仮想カメラ画像には表示させない。他方、仮想カメラから離れていくにつれ、オブジェクトが画面を遮蔽する可能性は低くなるため、仮想カメラ画像生成部409は、オブジェクトの低過度を徐々に低下させる。この場合、ユーザは、他の選手に遮蔽されていても遮蔽されてないとしても、必ず注目選手(注目オブジェクト901)を視認することが可能となる。
以上、説明したように、本実施形態に係る画像システムによれば、仮想カメラ画像内に注目選手が表示されている場合に、その手前の選手で仮想カメラにより近い他の選手ほど高い透過度で透過処理を施すことで、注目選手に集中して視聴することが可能となる。
<実施形態3>
本実施形態では、仮想カメラ画像の生成時における注目選手と他の選手の位置関係のうち、仮想カメラから見た、注目選手と他の選手との距離に応じて、その他の選手の表示態様を変更する。
本実施形態では、仮想カメラ画像の生成時における注目選手と他の選手の位置関係のうち、仮想カメラから見た、注目選手と他の選手との距離に応じて、その他の選手の表示態様を変更する。
次に、図4を参照して、本実施形態に係る画像生成装置120の機能構成を、上述の実施形態1と異なる点に着目して説明し、上述の実施形態1と同様の構成については、その説明を省略する。仮想カメラ画像生成部409は、前景及び背景画像データと、形状モデル情報と、カメラパラメータと、仮想カメラ情報とに基づいて、仮想カメラ位置から見た形状モデルに対して、実カメラで撮像された画像データの色情報でレンダリング(着色処理)する。仮想カメラ画像生成部409は、これにより、仮想カメラ画像を生成する。仮想カメラ画像生成部409は、その生成した仮想カメラ画像を画像出力部410に出力する。
なお、仮想カメラ画像生成部409は、例えば、仮想視点から被写体モデルが見えている状況で、被写体モデルから所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データを形状モデルの色として使用する。また、注目対象選択情報に基づき、注目オブジェクトが仮想カメラ画像内に存在する場合、その他のオブジェクトのうち、注目オブジェクトの位置から遠い他のオブジェクトから順に高い透過度で透過処理を施す。
次に、図11のフローチャートを用いて、本実施形態に係る画像生成装置120の処理の手順について説明する。なお、ここでは、上述の実施形態1(図5)と異なる点に着目して説明する。
仮想カメラ画像生成部409は、S507の処理を実行すると、S1101において、仮想カメラ画像内に注目オブジェクト以外の他のオブジェクトが存在するか否かを判定する。仮想カメラ画像生成部409は、他のオブジェクトが存在していると判定すると(S1101 Yes)、処理をS1102に移行させ、また、他のオブジェクトが存在していないと判定すると(S1101 No)、処理をS1105に移行させる。
ここで、仮想カメラ画像内に、他のオブジェクトが存在するか否かを判定する方法としては、実施形態1と同様である。即ち、選手等の被写体に対して、定常的に位置情報を送信する小型無線装置を予め設置しておき、被写体識別番号と、オブジェクト形状情報と、被写***置情報とを対応付けて管理しておくことで、判定することができる。
S1102において、仮想カメラ画像生成部409は、注目オブジェクトと他のオブジェクト間の距離を算出する。S1103において、仮想カメラ画像生成部409は、注目オブジェクトと他のオブジェクトとの距離順に基づいて、表示優先度を設定する。
ここで、S1103の処理に関して、図12の概念図を用いて説明を補足する。図12では、仮想空間上の仮想カメラと、注目オブジェクト1201と、その他のオブジェクト1202から1204の位置関係を示している。注目オブジェクト1201に対して、他のオブジェクト1202が最も距離が近く、また、他のオブジェクト1203、他のオブジェクト1204の順に距離が遠くなっている。
この場合において、注目オブジェクト1201から遠いオブジェクトほど、表示優先度を低く設定する。具体的には、他のオブジェクト1204の表示優先度を最も低く、他のオブジェクト1203、他のオブジェクト1202、注目オブジェクト1201の順に表示優先度を高く設定する。
S1104において、仮想カメラ画像生成部409は、表示優先度順に基づいて、他のオブジェクトの透過度を変更する。具体的には、他のオブジェクト1204の透過度を100%、他のオブジェクト1203の透過度を50%、他のオブジェクト1202の透過度を25%に設定する。また、注目オブジェクト1201の透過度は、仮想カメラ画像において注目オブジェクト1201を透過させないため、0%に設定される。なお、透過度は、この設定値に限らず、例えば、被写体の数、距離等に基づいて、変化させるようにしてもよい。
そして、S1105において、画像生成装置120は、画像出力部410を介して、ユーザ端末130に画像を出力する。ここで、図13を用いて、ユーザ端末130の表示画面に出力される仮想カメラ画像について説明を補足する。
図13に示されるユーザ端末130において、ユーザの注目選手である注目オブジェクト1201が仮想カメラ画像内に表示されている場合、その注目選手から遠い他の選手(他のオブジェクト)から順に高い透過度で透過処理が施されている。具体的には、仮想カメラ画像生成部409は、プレー上、注目選手との関わりの低い他の選手(他のオブジェクト1204)を透過させ、仮想カメラ画像には表示させない。
他方、注目選手(注目オブジェクト1201)とのプレー関連性の高い他の選手(他のオブジェクト1202)の透過度を抑制する。これにより、ユーザは、注目選手とのプレーの関連性を視認しつつ、注目選手が、他の選手に遮蔽されていても又は遮蔽されていないとしても、必ず注目選手を視認することが可能となる。
以上、説明したように、本実施形態に係る画像システムによれば、仮想カメラ画像内に注目選手が表示されている場合に、注目選手から遠い他の選手ほど高い透過度で透過処理を施すことで、注目選手に集中して視認することが可能となる。
<実施形態4>
本実施形態では、仮想カメラ画像の生成時における注目選手と他の選手の関連性(具体的には、例えば、注目選手と他の選手の所属グループ)に応じて、その他の選手の表示態様を変更する。
本実施形態では、仮想カメラ画像の生成時における注目選手と他の選手の関連性(具体的には、例えば、注目選手と他の選手の所属グループ)に応じて、その他の選手の表示態様を変更する。
次に、図4を参照して、本実施形態に係る画像生成装置120の機能構成を、上述の実施形態1と異なる点に着目して説明し、上述の実施形態1と同様の構成については、その説明を省略する。仮想カメラ画像生成部409は、前景及び背景画像データと、形状モデル情報と、カメラパラメータと、仮想カメラ情報とに基づいて、仮想カメラ位置から見た形状モデルに対して、実カメラで撮像された画像データの色情報でレンダリング(着色処理)する。仮想カメラ画像生成部409は、これにより、仮想カメラ画像を生成する。仮想カメラ画像生成部409は、その生成した仮想カメラ画像を画像出力部410に出力する。
なお、仮想カメラ画像生成部409は、例えば、仮想視点から被写体モデルが見えている状況で、被写体モデルから所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データを形状モデルの色として使用する。また、注目対象選択情報に基づき、注目オブジェクトが仮想カメラ画像内に存在する場合、その他のオブジェクトのうち、注目オブジェクトと同じグループに属する他のオブジェクトから順に低い透過度で透過処理を施す。
その他、補足として、注目対象選択情報には、注目オブジェクトの所属チーム等の第1グループ、対戦チームの所属チーム等の第2グループ、審判等の第3グループ等、複数の被写体が属する複数のグループが予め設定されているものとする。
次に、図14のフローチャートを用いて、本実施形態に係る画像生成装置120の処理の手順について説明する。なお、ここでは、上述の実施形態1(図5)と異なる点に着目して説明する。
仮想カメラ画像生成部409は、S507の処理を実行すると、S1401において、仮想カメラ画像内に注目オブジェクト以外の他のオブジェクトが存在するか否かを判定する。仮想カメラ画像生成部409は、他のオブジェクトが存在していると判定すると(S1401 Yes)、処理をS1402に移行させ、また、他のオブジェクトが存在していないと判定すると(S1401 No)、処理をS1405に移行させる。
ここで、仮想カメラ画像内に、他のオブジェクトが存在するか否かを判定する方法としては、実施形態1と同様である。即ち、選手等の被写体に対して、定常的に位置情報を送信する小型無線装置を予め設置しておき、被写体識別番号と、オブジェクト形状情報と、被写***置情報とを対応付けて管理しておくことで、判定することができる。
S1402において、仮想カメラ画像生成部409は、他のオブジェクトが属しているグループを判定する。S1403において、仮想カメラ画像生成部409は、注目オブジェクトと他のオブジェクトの所属グループに基づいて、表示優先度を設定する。
ここで、S1403の処理に関して、上述の図12の概念図を用いて説明を補足する。図12において、注目選手(注目オブジェクト1201)を第1のグループとする。他のオブジェクト1202は注目選手の相手チームの選手であり、他のオブジェクト1202を第2のグループとする。また、他のオブジェクト1203は注目選手と同じチームの選手であり、他のオブジェクト1203を第1のグループとし、他のオブジェクト1204は審判であり、他のオブジェクト1204を第3のグループとする。
この場合において、他のオブジェクトのうち、注目選手(注目オブジェクト1201)が属していないグループの表示優先度を低く設定する。具体的には、審判(他のオブジェクト1204)の属する第3のグループの表示優先度を最も低く設定する。また、他の選手(他のオブジェクト1202)の属する第2のグループの表示優先度、注目選手(注目オブジェクト1201)と同じ第1のグループに属する他の選手(他のオブジェクト1203)の表示優先度を順に高く設定する。
S1404において、仮想カメラ画像生成部409は、表示優先度順に基づいて、他のオブジェクトの透過度を変更する。具体的には、他のオブジェクト1204の透過度を100%、他のオブジェクト1202の透過度50%、他のオブジェクト1203の透過度を25%に設定する。また、注目オブジェクト1201の透過度は、仮想カメラ画像において注目オブジェクト1201を透過させないため、0%に設定される。なお、このグループは、必ずしも所属チームに限定されず、ユーザが任意にグループを設定してもよい。したがって、例えば、選手のポジション、年齢、体格等によって、グルーピングしてもよい。
そして、S1405において、画像生成装置120は、画像出力部410を介して、ユーザ端末130に画像を出力する。ここで、図15を用いて、ユーザ端末130の表示画面に出力される仮想カメラ画像について説明を補足する。
図15に示されるユーザ端末130において、ユーザの注目選手である注目オブジェクト1201が仮想カメラ画像内に表示されている場合、その注目選手と異なるグループの他の選手から順に高い透過度で透過処理が施されている。具体的には、仮想カメラ画像生成部409は、注目選手とのプレーの連携性の低い審判である他のオブジェクト1204は透過させ、仮想カメラ画像には表示させない。
他方、注目選手(注目オブジェクト1201)とのプレーの連携性の高い他の選手(他のオブジェクト1203)の透過度を抑制する。これにより、ユーザは、注目選手とのプレーの連携性を視認しつつ、注目選手が、他の選手に遮蔽されていても又は遮蔽されていないとしても、必ず注目選手を視認することが可能となる。
以上、説明したように、本実施形態に係る画像システムによれば、仮想カメラ画像内に注目選手が表示されている場合に、注目選手と関連の度合い(関連性)が低い選手ほど高い透過度で透過処理を施すことで、注目選手に集中して視認することが可能となる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 画像処理システム
110 撮像装置
120 画像生成装置
130 ユーザ端末
110 撮像装置
120 画像生成装置
130 ユーザ端末
Claims (14)
- 複数の撮像装置により撮像された画像を用いて仮想視点画像を生成する画像生成装置であって、
仮想視点の位置及び視線方向を含む仮想視点情報を取得する取得手段と、
複数の被写体のうち、注目対象の被写体を設定する設定手段と、
前記仮想視点情報に基づいて、前記仮想視点画像を生成する画像生成手段と
を備え、
前記画像生成手段は、前記仮想視点の視線方向に、前記注目対象の被写体に対応する注目オブジェクト及び他のオブジェクトがある場合に、当該他のオブジェクトの表示態様を変更して、前記仮想視点画像を生成することを特徴とする画像生成装置。 - 前記画像生成手段は、前記注目オブジェクトの視認性の低下を抑制するように前記他のオブジェクトの表示態様を変更して、前記仮想視点画像を生成することを特徴とする請求項1に記載の画像生成装置。
- 前記画像生成手段は、前記他のオブジェクトが所定の透過度で透過されるように、前記仮想視点画像を生成することを特徴とする請求項1又は2に記載の画像生成装置。
- 前記画像生成手段は、前記所定の透過度を、前記仮想視点と前記他のオブジェクトとの位置関係に応じて設定することを特徴とする請求項3に記載の画像生成装置。
- 前記画像生成手段は、前記他のオブジェクトのうち、前記仮想視点と前記他のオブジェクトとの距離が遠い前記他のオブジェクトほど、前記所定の透過度を低く設定することを特徴とする請求項4に記載の画像生成装置。
- 前記画像生成手段は、前記所定の透過度を、前記注目オブジェクトと前記他のオブジェクトとの位置関係に応じて設定することを特徴とする請求項3に記載の画像生成装置。
- 前記画像生成手段は、前記他のオブジェクトのうち、前記注目オブジェクトとの距離が近い前記他のオブジェクトほど、前記所定の透過度を低く設定することを特徴とする請求項6に記載の画像生成装置。
- 前記画像生成手段は、前記所定の透過度を、前記注目対象の被写体と前記他の被写体との関連性に応じて設定することを特徴とする請求項3に記載の画像生成装置。
- 前記画像生成手段は、前記他のオブジェクトのうち、前記注目対象の被写体と関連性の高い前記他の被写体のオブジェクトほど、前記所定の透過度を低く設定することを特徴とする請求項8に記載の画像生成装置。
- 前記画像生成手段は、前記注目対象の被写体の属する第1のグループに含まれる他の被写体のオブジェクトの透過度を、前記注目対象の被写体の属さない第2のグループに含まれる他の被写体のオブジェクトの透過度よりも低く設定することを特徴とする請求項9に記載の画像生成装置。
- 前記画像生成手段は、前記他のオブジェクトが所定の色情報で着色されるように、前記仮想視点画像を生成することを特徴とする請求項1又は2に記載の画像生成装置。
- コンピュータを、請求項1から11のいずれか1項に記載の画像生成装置の各手段として機能させるためのプログラム。
- 複数の被写体を撮像する複数の撮像装置と、
前記複数の撮像装置により撮像された画像を用いて仮想視点画像を生成する画像生成装置と、
前記仮想視点画像を表示する表示画面を有するユーザ端末と
を備え、
前記画像生成装置は、仮想視点の視線方向に、注目オブジェクト及び他のオブジェクトが存在する場合に、当該他のオブジェクトの表示態様を変更して、前記ユーザ端末の表示画面に前記仮想視点画像を出力することを特徴とする画像生成システム。 - 複数の撮像装置により撮像された画像を用いて仮想視点画像を生成する画像生成装置における画像生成方法であって、
仮想視点の位置及び視線方向を含む仮想視点情報を取得する取得ステップと、
複数の被写体のうち、注目対象の被写体を設定する設定ステップと、
前記仮想視点情報に基づいて、前記仮想視点画像を生成する画像生成ステップと
を含み、
前記画像生成ステップにおいて、前記仮想視点の視線方向に、前記注目対象の被写体に対応する注目オブジェクト及び他のオブジェクトがある場合に、当該他のオブジェクトの表示態様を変更して、前記仮想視点画像を生成することを特徴とする画像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019026569A JP2020135290A (ja) | 2019-02-18 | 2019-02-18 | 画像生成装置、画像生成方法、画像生成システム、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019026569A JP2020135290A (ja) | 2019-02-18 | 2019-02-18 | 画像生成装置、画像生成方法、画像生成システム、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020135290A true JP2020135290A (ja) | 2020-08-31 |
Family
ID=72263170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019026569A Withdrawn JP2020135290A (ja) | 2019-02-18 | 2019-02-18 | 画像生成装置、画像生成方法、画像生成システム、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020135290A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022176719A1 (ja) * | 2021-02-18 | 2022-08-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2023145571A1 (ja) * | 2022-01-31 | 2023-08-03 | キヤノン株式会社 | 情報処理装置、情報処理方法、データ構造及びプログラム |
-
2019
- 2019-02-18 JP JP2019026569A patent/JP2020135290A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022176719A1 (ja) * | 2021-02-18 | 2022-08-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2023145571A1 (ja) * | 2022-01-31 | 2023-08-03 | キヤノン株式会社 | 情報処理装置、情報処理方法、データ構造及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6918455B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10755471B2 (en) | Generation apparatus, system and method for generating virtual viewpoint image | |
JP7146662B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US10917622B2 (en) | Information processing apparatus, display control method, and storage medium | |
CN110720114B (zh) | 图像处理装置、图像处理方法和存储介质 | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN109816766A (zh) | 图像处理装置、图像处理方法及存储介质 | |
JP7494273B2 (ja) | 表示制御装置、表示制御方法、およびプログラム | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US11521346B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7476375B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6812181B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2020135290A (ja) | 画像生成装置、画像生成方法、画像生成システム、及びプログラム | |
JP2021056900A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022016929A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2021131583A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020119262A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7265825B2 (ja) | 生成装置、生成方法およびプログラム | |
JP2022110751A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2021144522A (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
US20240046552A1 (en) | Generation apparatus, generation method, and non-transitory computer-readable storage medium | |
US20240037843A1 (en) | Image processing apparatus, image processing system, image processing method, and storage medium | |
EP4261788A1 (en) | Image processing apparatus, image processing method, and program | |
EP4295930A1 (en) | Image processing system, image processing method, and computer program | |
JP7436935B2 (ja) | 映像表示方法、映像表示装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220217 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20220426 |