JP7387792B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7387792B2
JP7387792B2 JP2022047277A JP2022047277A JP7387792B2 JP 7387792 B2 JP7387792 B2 JP 7387792B2 JP 2022047277 A JP2022047277 A JP 2022047277A JP 2022047277 A JP2022047277 A JP 2022047277A JP 7387792 B2 JP7387792 B2 JP 7387792B2
Authority
JP
Japan
Prior art keywords
information
placement
imaging devices
information processing
virtual viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022047277A
Other languages
English (en)
Other versions
JP2022089839A (ja
Inventor
祐介 中里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022047277A priority Critical patent/JP7387792B2/ja
Publication of JP2022089839A publication Critical patent/JP2022089839A/ja
Application granted granted Critical
Publication of JP7387792B2 publication Critical patent/JP7387792B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
複数の撮像装置を異なる位置に設置して多視点から被写体を撮像し、撮像により得られた複数の視点画像を用いて、撮像装置の設置位置から撮影した画像だけでなく、視点を任意に変更可能な仮想視点画像や3次元モデルを生成する技術が注目されている。複数の視点画像から仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができる。特許文献1には、同一の範囲を取り囲むように複数の撮像装置を配置して、その同一の範囲を撮影した画像を用いて、任意の指定に対応する仮想視点画像を生成、表示する技術が開示されている。
特開2014-215828号公報
複数の視点画像から生成する仮想視点画像の品質は、撮像装置の配置、被写体の位置や形状、仮想視点の位置姿勢などによって変動する。撮像装置を設置する会場の物理的な制約、被写体の位置や形状、及び仮想視点の位置姿勢等を考慮して、高品質な仮想視点画像が得られる複数の撮像装置の適切な配置を決定するには、試行錯誤が必要であり非常に手間がかかる。本発明は、このような事情に鑑みてなされたものであり、仮想視点画像の生成に用いる複数の撮像装置の適切な配置情報を出力することを目的とする。
本発明に係る情報処理装置は、仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報を取得する制約情報取得手段と、前記複数の撮像装置によって撮像される被写体の3次元情報または動き情報を含む環境情報を取得する環境情報取得手段と、取得された前記環境情報及び前記制約情報に基づいて、前記複数の撮像装置の配置位置の複数の候補を示す複数の配置情報を生成する配置情報生成手段と、前記複数の配置情報を評価する評価手段と、前記複数の配置情報のうち評価が最大となる配置情報を出力する出力手段とを有することを特徴とする。
本発明によれば、仮想視点画像の生成に用いる複数の撮像装置の適切な配置情報を出力することができる。
本実施形態における情報処理装置のハードウェア構成の例を示す図である。 本実施形態における情報処理装置のソフトウェア構成の例を示す図である。 本実施形態における設置作業支援システムの例を示す図である。 第1の実施形態における情報処理装置の情報処理の例を示すフローチャートである。 第1の実施形態における配置情報取得処理の例を示すフローチャートである。 第1の実施形態における評価処理の例を示すフローチャートである。 第2の実施形態における情報処理装置の情報処理の例を示すフローチャートである。
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の情報処理装置100は、静止画及び動画の何れについても処理可能である。
(第1の実施形態)
本発明の第1の実施形態について説明する。第1の実施形態では、情報処理装置が、良好な品質の仮想視点画像が得られるように、撮像装置の最適な配置を決定し、決定した撮像装置の配置情報をユーザ(設置者)に対して提供する例について説明する。第1の実施形態において、複数の撮像装置の配置に係る配置情報は、撮像装置を設置する位置姿勢(位置及び姿勢(向き))の情報を含む。
本実施形態における情報処理装置の構成について説明する。
<ハードウェア構成>
図1は、本実施形態における情報処理装置100のハードウェア構成の一例を示すブロック図である。情報処理装置100は、ハードウェア構成として、CPU101、ROM102、RAM103、通信インターフェース(通信I/F)104、表示装置105、入力装置106、及びハードディスクドライブ(HDD)107を有する。CPU101、ROM102、RAM103、通信I/F104、表示装置105、入力装置106、及びHDD107は、システムバス108を介して通信可能に接続される。
CPU(Central Processing Unit)101は、システムバス108に接続された情報処理装置100の各種デバイスの制御を行う。ROM(Read Only Memory)102は、BIOS(Basic Input Output System)のプログラムやブートプログラムを記憶する。RAM(Random Access Memory)103は、CPU101の主記憶装置として使用される。通信I/F104は、情報処理装置100をネットワークに接続し、ネットワークを介した情報通信を制御する。情報処理装置100は、ネットワークに有線を介して接続されていてもよいし、無線を介して接続されていてもよいし、有線及び無線を介して接続されていてもよい。
表示装置105は、CPU101等における処理結果を表示する。入力装置106は、操作者による入力等を受け付ける。入力装置106は、例えば、接触式センサ、マウス、キーボード、リモコン等である。HDD107は、オペレーションシステム(OS)のプログラムやOS上で動作する各種アプリケーションのプログラム等が格納される。なお、HDD107に限らず、ソリッドステートドライブ(SSD)等の記憶装置であってもよい。
前述のように構成された情報処理装置100において、情報処理装置100の電源がONになると、CPU101は、ROM102に格納されたブートプログラムに従って、HDD107からOSのプログラム等をRAM103に読み込む。CPU100は、RAM103に読み込んだOSのプログラム等に従い処理を実行することによって、情報処理装置100の機能を実現する。つまり、情報処理装置100のCPU101がプログラムに基づき処理を実行することによって、情報処理装置100のソフトウェア構成及び後述するフローチャートの処理が実現される。
<ソフトウェア構成>
図2は、本実施形態における情報処理装置100のソフトウェア構成の一例を示すブロック図である。情報処理装置100は、ソフトウェア構成として、環境情報取得部201、制約情報取得部202、評価部203、配置情報取得部204、及び出力部205を有する。
環境情報取得部201は、仮想視点画像の生成対象である被写体の環境情報を取得する。本例における被写体は、静的被写体と動的被写体との2種類からなる。環境情報取得部201は、被写体の環境情報として、静的被写体である会場の3次元情報と、動的被写体である人などの動的物体の3次元情報及び動き情報とを取得する。3次元情報は、3次元形状とテクスチャとを含む。
制約情報取得部202は、撮像装置を配置する際の制約を示す制約情報を取得する。本実施形態では制約情報取得部202は、制約情報として、撮像装置の設置可能範囲及び設置台数と、仮想視点の可動範囲とを取得する。撮像装置の設置可能範囲は、静的被写体である会場において撮像装置を設置可能な位置及び向きの範囲である。仮想視点の可動範囲は、仮想視点画像の生成における仮想視点の位置姿勢及び画角の取り得る範囲である。
評価部203は、生成した仮想視点画像の品質を評価することで、撮像装置の配置情報を評価する。評価部203は、配置情報算出部204で取得する撮像装置の配置にて、各撮像装置で撮像する画像のシミュレーション画像から生成した仮想視点画像と、生成した仮想視点画像と同じ仮想視点からのシミュレーション画像(正解画像)を比較し評価値を算出する。評価値は、例えば、正解画像と生成した仮想視点画像との差分から算出したPSNR値(ピーク信号対雑音比)である。シミュレーション画像は、環境情報取得部201で取得した環境情報に基づいて生成される。また、仮想視点画像を生成するための仮想視点は、制約情報取得部202で取得した制約情報に基づいて、仮想視点の可動範囲内でランダムに仮想視点を生成して用いる。
配置情報取得部204は、環境情報取得部201で取得した環境情報及び制約情報取得部202で取得した制約情報に基づく配置情報であって、多視点から被写体を撮像するための複数の撮像装置の配置に係る配置情報を取得する。配置情報取得部204は、撮像装置の設置可能範囲内の空間(配置パラメータ空間)を離散化し、評価部203で算出する評価値が最大となる撮像装置の配置(位置姿勢)を探索することで、設置する撮像装置の配置情報を取得する。
出力部205は、配置情報取得部204で取得した撮像装置の配置情報、すなわち設置する撮像装置の位置姿勢の情報を出力する。出力部205は、評価部203による評価結果に基づいて、配置情報取得部204で取得した撮像装置の配置情報を出力する。出力部205は、例えば情報処理装置100と通信可能に接続された外部の出力装置に、取得された撮像装置の配置情報を送信する。情報処理装置100から撮像装置の配置情報を受信した出力装置が、受信した撮像装置の配置情報を可視化してユーザ(設置者)に提示することで、ユーザ(設置者)は、算出された各撮像装置の位置姿勢で複数の撮像装置を設置することが可能となる。
なお、図2に示した構成要素についてソフトウェア構成として説明したが、図2に示したすべての構成要素又は一部の構成要素をハードウェア構成として情報処理装置100に実装するようにしても良い。この場合のハードウェアは、例えば、ASIC、FPGAまたはGPU等であり得る。以下の他の実施形態においても同様である。
次に、本実施形態における情報処理装置100を適用した設置作業支援システムについて説明する。図3(A)及び図3(B)は、本実施形態における設置作業支援システムの例を示す図である。図3(A)及び図3(B)に示す設置作業支援システムは、多視点から被写体を撮像するための複数の撮像装置の配置を決定し、撮像装置を設置する位置姿勢の情報をユーザ(設置者)に対して提供することで、ユーザ等による撮像装置の設置作業を支援する。
本実施形態における設置作業支援システムは、図3(A)及び図3(B)に示すように、情報処理装置100、入出力装置302、及び出力装置312を有する。情報処理装置100は、環境情報及び制約情報に基づいて、撮像装置の配置情報を取得する。また、情報処理装置100は、取得した撮像装置の配置情報を出力装置312に送信する。撮像装置は、例えばカメラである。入出力装置302は、環境情報や制約情報を入出力するための装置であり、例えば接触入力機能を有するディスプレイである。
出力装置312は、情報処理装置100からの撮像装置の配置情報を受信し、受信した撮像装置の配置情報を可視化してユーザ(設置者)311に提示する。出力装置312は、例えば無線通信機能を有するタブレット型計算機である。出力装置312は、例えば受信した撮像装置の配置情報、環境情報、出力装置312の位置姿勢に基づき、仮想現実感(VR:Virtual Reality)技術によって撮像装置の設置シミュレーション画像を提示する。出力装置312の位置姿勢は、GPS(Global Positioning System)及びジャイロセンサで取得する。
設置支援システムにおいて、ユーザ301が、入出力装置302に表示された仮想視点画像を生成する被写体の環境情報303に対して、撮像装置の設置可能範囲304、仮想視点の可動範囲305、撮像装置の注視点306等の制約情報を入力する。ここで、注視点306は、複数の撮像装置の光軸が共通の位置に向ける位置である。情報処理装置100は、ユーザ301の指示に従って、設置する撮像装置の配置情報を算出する。また、情報処理装置100は、算出した撮像装置の配置情報を出力装置312に送信する。撮像装置の配置情報が算出できたら、ユーザ(設置者)311は、受信した撮像装置の配置情報に基づいて出力装置312に可視化表示される位置姿勢に従って、撮像装置313を現実の環境314に設置する。ユーザ301、311は、複数の撮像装置の配置を試行錯誤することなく、情報処理装置100で取得された撮像装置の配置情報に従って撮像装置を設置すれば良いため、仮想視点画像の生成に用いる複数の撮像装置の設置作業の効率を向上させることができる。
次に、第1の実施形態における情報処理装置100が撮像装置の配置を決定して配置情報を出力する情報処理について説明する。図4は、第1の実施形態における情報処理装置100の情報処理の例を示すフローチャートである。なお、以降に示すフローチャートは、図7のCPU101がROM102またはHDD107に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。また、以降に示すフローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ASIC、FPGAまたはGPUである。
ステップS401では、環境情報取得部201は、環境情報として、静的被写体の3次元情報と、動的被写体の3次元情報及び動き情報とを取得する。
ステップS402では、制約情報取得部202は、制約情報として、撮像装置の設置可能範囲及び設置台数と、仮想視点の可動範囲とを取得する。
次に、ステップS403では、配置情報取得部204は、ステップS401、S402において取得した環境情報及び制約情報に基づいて、複数の撮像装置の配置に係る配置情報を取得する配置情報取得処理を行う。ステップS403における配置情報取得処理では、配置情報取得部204は、環境情報及び制約情報に基づいて、複数の撮像装置の配置情報、すなわち設置する撮像装置の位置姿勢を示す情報を取得する。ステップS403における配置情報取得処理の詳細は、図5を参照して後述する。
次に、ステップS404では、出力部205は、ステップS403において取得した撮像装置の配置情報(設置する撮像装置の位置姿勢の情報)を出力装置に送信する。出力装置では、受信した撮像装置の配置情報を可視化してユーザ(設置者)に提示する。
図4に示したステップS403における配置情報取得処理について、図5を参照して説明する。図5は、第1の実施形態における配置情報取得処理の例を示すフローチャートである。
配置情報取得処理を開始するとステップS501へ進み、配置情報取得部204は、ステップS501~S505の処理(ループ処理A)を所定の回数繰り返して実行する。
ステップS502では、配置情報取得部204は、複数の撮像装置の配置候補を複数生成する。具体的には、配置情報取得部204は、撮像装置の設置可能範囲内の空間(配置パラメータ空間)を離散化し、配置パラメータ(位置姿勢)の組み合わせを配置候補として生成する。配置パラメータの組み合わせにおける要素数は、ステップS402において制約情報として取得した撮像装置の設置台数と同数である。配置情報取得部204は、ステップS501~S505のループ処理Aの初回では配置パラメータ空間を粗く離散化し、ループ処理Aを繰り返すたびに評価値が高い配置パラメータの組み合わせに近い配置パラメータ空間を細かく離散化する。こうすることで配置情報取得処理では、ループ処理Aを実行するたびに配置候補を生成する配置パラメータ空間を細かくしていき、粗から密に(Coarse to Fine)最適な配置パラメータの組み合わせを探索する。
ステップS503では、評価部203は、ステップS502において生成した各配置候補で生成した仮想視点画像の品質を評価し、撮像装置の配置を評価する評価処理を行う。ステップS503における評価処理では、評価部203は、ステップS502において生成した各配置候補で仮想視点画像を生成した場合の仮想視点画像の品質を評価し、評価値を算出する。ステップS503における評価処理の詳細は、図6を参照して後述する。
ステップS504では、配置情報取得部204は、ステップS502において生成した複数の配置候補の内から、ステップS503において算出した評価値が最大である配置候補を保存する。そして、ループ処理Aの実行回数が所定の回数に達していない場合には、ステップS504において保存した配置候補に基づいて、配置情報取得部204が複数の撮像装置の配置候補を新たに複数生成して再びループ処理Aの各処理を実行する。
ループ処理Aの実行回数が所定の回数に達した場合にはステップS506へ進む。ステップS506では、配置情報取得部204は、ステップS504において保存した評価値が最大である配置候補を撮像装置の配置情報として返し、配置情報取得処理を終了する。この撮像装置の配置情報は、ステップS404において出力部205により出力される。
図5に示したステップS503における評価処理について、図6を参照して説明する。図6は、第1の実施形態における評価処理の例を示すフローチャートである。
ステップS601では、評価部203は、ステップS402において取得した制約情報に基づいて、評価用の仮想視点を1つ以上生成する。具体的には、評価部203は、制約情報として取得した仮想視点の可動範囲に基づいて、仮想視点の可動範囲内でランダムに仮想視点の位置姿勢及び画角を生成する。
ステップS601において評価用の仮想視点を生成するとステップS602へ進み、評価部203は、ステップS502において生成した各配置候補に対して、ステップS602~S607の処理(ループ処理B)を実行する。評価部203は、1つの配置候補に対するステップS602~S607の処理が完了すると、生成された複数の配置候補の内からステップS602~S607の処理が未実行の配置候補を1つ選択してステップS602~S607の処理を実行する。この動作を繰り返すことで、評価部203は、ステップS502において生成したすべての配置候補に対して、ステップS602~S607の処理(ループ処理B)をそれぞれ実行する。
配置候補に対するループ処理Bを開始するとステップS603へ進み、評価部203は、ステップS601において生成した各仮想視点に対して、ステップS603~S605の処理(ループ処理C)を実行する。評価部203は、1つの仮想視点に対するステップS603~S605の処理が完了すると、生成した仮想視点の内からステップS603~S605の処理が未実行の仮想視点を1つ選択してステップS603~S605の処理を実行する。この動作を繰り返すことで、評価部203は、ステップS601において生成したすべての仮想視点に対して、ステップS603~S605の処理(ループ処理C)をそれぞれ実行する。
ステップS604では、評価部203は、注目配置候補に撮像装置を設置して注目仮想視点からの仮想視点画像を生成した場合の評価値を算出する。注目配置候補は、ステップS502において生成した複数の配置候補の内で、ステップS602~S607の処理(ループ処理B)の実行対象となっている配置候補である。また、注目仮想視点は、ステップS601において生成した仮想視点の内で、ステップS603~S605の処理(ループ処理C)の実行対象となっている仮想視点である。
ステップS604での処理においては、評価部203は、ステップS401において環境情報として取得した静的被写体の3次元情報と、動的被写体の3次元情報及び動き情報とに基づいて、以下に示すシミュレーション画像を生成する。評価部203は、注目配置候補に撮像装置を設置した場合に撮像装置で撮像される第1のシミュレーション画像を生成する。さらに、評価部203は、評価時の正解画像として、注目仮想視点から撮像される第2のシミュレーション画像を生成する。また、評価部203は、生成した第1のシミュレーション画像を用いて、注目仮想視点からの仮想視点画像を生成する。そして、評価部203は、生成した仮想視点画像と正解画像とからPSNR値を算出し、生成した仮想視点画像の品質の評価値とする。
なお、評価部203が仮想視点画像を生成する方法は、仮想視点からの見え方を再現できる方法であればどのような方法であってもよく、仮想視点画像を生成する公知の手法を任意に適用可能である。例えば、被写体の3次元復元を行って任意の視点からの見え方を再現するモデルベースの手法であってもよいし、画像の変形や合成により任意の視点からの見え方を再現するイメージベースの手法であってもよい。
ステップS601において生成したすべての仮想視点に対するステップS603~S605の処理(ループ処理C)が完了すると、ステップS606へ進む。ステップS606では、評価部203は、各仮想視点における評価値の総和を求めて注目配置候補の評価値とする。
また、ステップS502において生成したすべての配置候補に対するステップS602~S607の処理(ループ処理B)が完了すると、ステップS608へ進む。ステップS608では、評価部203は、ステップS606において得られた各配置候補の評価値を返し、評価処理を終了する。
第1の実施形態によれば、仮想視点画像の生成に用いる複数の撮像装置の適切な配置情報を出力することができる。また、撮像装置の配置情報をユーザ(設置者)に対して提供することで、ユーザは配置検討の試行錯誤をすることなく、複数の撮像装置を適切な配置で設置することができ、設置作業の効率を向上させ、設置作業の時間を短縮することができる。
なお、本実施形態では、撮像装置としてカメラを例に説明したが、カメラは、カラーカメラでもよいし、モノクロカメラでもよい。また、RGB-Dカメラや3次元計測装置であってもよく、被写体を撮像できる装置であればよい。入出力装置302は、接触入力機能を有するディスプレイであるとしたが、環境情報及び制約情報が入力可能な装置であればよく、ペンタブレット等でもよい。また、入出力装置302の入力機能を、マウス、キーボード、スキャナ等で実現してもよい。出力装置312は、無線通信機能を有するタブレット型計算機であるとしたが、配置情報を可視化してユーザ(設置者)に提示できればよく、PCとディスプレイやプリンタであってもよいし、スマートフォンでもよい。また、ヘッドマウントディスプレイ(HMD:Head Mounted Display)を有する仮想現実感(VR)システムや拡張現実感(AR:Augmented Reality)システムを利用してもよい。
また、環境情報取得部201が取得する環境情報は、前述した例に限らず、評価部203で用いる画像の生成に必要な情報を有していればよく、コンピュータグラフィックス(CG)であっても、実物体を計測して作った3次元ビデオであってもよい。被写体を撮像した画像であってもよい。環境情報は、撮影対象と同種のコンテンツであることが望ましいが、異なっていてもよい。また、環境情報としてのコンテンツは、動き情報を有している方が望ましいが、有していなくてもよいし、複数のシーンの集合でもよい。
制約情報取得部202が取得する制約情報は、前述した例に加え、例えば撮像装置や仮想視点の解像度を含むようにしてもよい。制約情報として取得する撮像装置の設置可能範囲は、撮像装置を設置可能な離散的な位置及び向きの集合であってもよい。制約情報として取得する仮想視点の可動範囲は、離散的な仮想視点の位置及び向きと画角の組み合わせの集合であってもよい。制約情報として、ズーム値やROI(Region of Interest)等の撮像時のパラメータを含んでもよい。また、注視点位置を取得し、撮像装置が所定の位置を注視するように撮像装置の配置を制約するようにしてもよい。
評価部203は、撮像装置の配置を評価し、評価値を算出できればよい。本実施形態では、各撮像装置で撮像する撮像画像のシミュレーション画像から生成した仮想視点画像と、生成した仮想視点画像と同じ仮想視点からのシミュレーション画像(正解画像)を比較しPSNR値を評価値として算出した。評価値は、PSNR値に限るものではなく、MSE(Mean Square Error)値やSSIM(Structure Similarity)値等の画質評価に用いられる評価値であればよい。また、正解画像との比較ではなく、前フレームの生成画像と比較して評価値を求めるようにしてもよい。例えば、前フレームからの撮像装置や被写体の動きから予測される特徴点の動きと、実際に生成画像から検出した特徴点の動きとの差の統計量(平均や分散等)を評価値としてもよい。また、環境情報に基づいて生成したシミュレーション画像でなく、実際に撮像した画像を環境情報として取得して利用してもよい。
本実施形態では、評価用の仮想視点は、制約情報として取得した仮想視点の可動範囲内でランダムに生成したが、仮想視点からの画像を生成するパラメータであれば、どのようなものでも構わない。仮想視点の位置姿勢に加え、画角、ズーム値、焦点距離、解像度等のパラメータを含んでいてもよい。また、仮想視点は、仮想視点の可動範囲内で、ランダムに生成する例に限らず、一定間隔で均一に生成してもよいし、仮想視点画像の生成に用いたものを保存しておいて利用してもよい。
また、評価部203は、仮想視点画像を生成せずに、生成した3次元形状の正確性に基づいて撮像装置の配置を評価するようにしてもよい。シミュレーションで用いた3次元形状(基準モデル)と、シミュレーションした複数の撮像装置の画像から復元した3次元形状(生成モデル)とを比較して評価値を算出し、3次元復元に好適な撮像装置の配置を評価するようにしてもよい。3次元形状を比較する評価値は、形状の差異を表す評価値であればどのようなものでもよく、例えば、基準モデルと生成モデルとの再近傍の点や面間を対応付け、対応する点や面間の距離の平均値等の統計量であってもよい。さらに、3次元形状に付与した色も考慮して、基準モデルと生成モデルとの対応点や対応面の色の差の平均値等の統計量を評価値に加えてもよい。そのとき、形状の評価値と色の評価値との重み付け和を評価値としてもよい。また、基準モデルとの比較を行わずともよく、生成モデルの未観測の表面ボクセルの数を評価値としてもよい。また、仮想視点画像を生成するときと同様に、前フレームからの撮像装置や被写体の動きから予測される3次元特徴点の動きと、生成モデルから検出した3次元特徴点の動きとの差の統計量(平均や分散等)を評価値としてもよい。
配置情報取得部204が取得する撮像装置の配置情報は、撮像装置の位置姿勢に限らず、画角、ズーム値、解像度等の撮像するときのパラメータを含んでもよい。さらに、配置情報は、位置姿勢や画角等の配置パラメータだけでなく、位置姿勢のずれの許容範囲(曖昧性)を含めてもよい。ずれの許容範囲は、取得した配置パラメータの近傍パラメータの評価値に基づいて取得することが可能であり、許容範囲が取得できれば方法は任意である。例えば、取得した配置パラメータの評価値と近傍パラメータの評価値とを比較して閾値以内であれば、許容範囲に近傍パラメータを追加したり、近傍パラメータを含むように許容範囲を拡張したりすればよい。また、取得した配置パラメータの評価値及び近傍パラメータの評価値から評価値の分布を算出し、評価値の分布に基づいて所定の範囲内の評価値を有する近傍パラメータを含むように許容範囲を拡張してもよい。
本実施形態では、配置情報取得部204は、離散化した撮像装置の設置可能範囲内の空間(配置パラメータ空間)の離散度を、ループ処理Aを繰り返すたびに変えながら、評価値が最大となる撮像装置の配置を探索した。さらに、高速に探索するために、離散度が粗い場合には評価時の画像サイズを縮小し、探索を進めて離散度を細かくするに従って画像サイズを大きくするようにしてもよい。また、離散度を変えずに探索してもよいし、どのようなパラメータ探索技術を用いてもよい。遺伝的アルゴリズム、焼きなまし法、ガウス・ニュートン法等のパラメータ最適化技術を用いてもよい。例えば、パーティクルフィルタ法のように、繰り返して配置パラメータを算出する過程で、算出した配置パラメータの近傍でランダムな配置候補を生成し、さらに局所解に陥らないように近傍外でもランダムな配置候補を生成してもよい。その際の配置パラメータの初期値として、撮像装置を注視点に向けて均等に配置し、互いの撮像装置が共通視野をもつように画角を設定した配置パラメータを利用してもよい。また、最大の評価値を持つ配置パラメータだけでなく、評価値の高い配置パラメータを複数保持するようにしてもよい。
出力部205は、取得した撮像装置の配置情報を出力できればよい。撮像装置の配置情報は、例えば仮想現実感技術によって撮像装置の設置シミュレーション画像を提示してもよいし、拡張現実感技術により現実の画像に設置シミュレーション画像を合成して提示してもよい。合成時に必要な出力装置の位置姿勢は、GPS、ジャイロセンサ、地磁気センサ、重力センサ等により得られる情報から算出してもよい。また、無線基地局から受信した電波情報に基づいて出力装置の位置を算出してもよい。出力装置に付属の撮像装置から取得した画像や距離画像から抽出したマーカーや特徴点に基づいて出力装置の位置姿勢を算出してもよい。また、取得した撮像装置の配置情報は、静的被写体(会場など)の図面や形状モデルに配置情報を記述してディスプレイや紙等に出力してもよいし、設置する位置姿勢を記述したテキストを出力してもよい。撮像装置の配置情報にずれの許容範囲が含まれる場合、許容範囲を可視化して提示してもよい。例えば、位置ずれの許容範囲を色付けし、シミュレーション画像、現実画像、図面等に重畳表示すればよい。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第2の実施形態では、情報処理装置が、撮像装置の配置情報として、撮像装置の位置姿勢に加えて、撮像装置の設置台数も決定し、決定した撮像装置の配置情報をユーザ(設置者)に対して提供する例について説明する。
第2の実施形態における情報処理装置及び設置作業支援システムの構成は、第1の実施形態における情報処理装置及び設置作業支援システムの構成と、以下の点が異なり、その他は第1の実施形態と同様である。第2の実施形態における情報処理装置及び設置作業支援システムの構成において、第1の実施形態と同様の構成要素については、その説明を省略する。
第2の実施形態における情報処理装置100において、制約情報取得部202は、制約情報として、撮像装置の設置可能範囲と仮想視点の可動範囲とに加えて、撮像装置の設置台数の最大値及び最小値と、評価値の閾値とを取得する。配置情報取得部204は、環境情報及び制約情報に基づいて、複数の撮像装置の配置に係る配置情報を取得するが、本実施形態では設置する撮像装置の位置姿勢に加えて、撮像装置の設置台数も配置情報として取得する。出力部205は、評価部203による評価結果に基づいて、配置情報取得部204で取得した撮像装置の配置情報、すなわち設置する撮像装置の位置姿勢及び設置台数の情報を出力する。
次に、第2の実施形態における情報処理装置100が撮像装置の配置情報を取得し出力する情報処理について説明する。図7は、第2の実施形態における情報処理装置100の情報処理の例を示すフローチャートである。
ステップS701では、環境情報取得部201は、環境情報として、静的被写体の3次元情報と、動的被写体の3次元情報及び動き情報とを取得する。
ステップS702では、制約情報取得部202は、制約情報として、撮像装置の設置可能範囲と仮想視点の可動範囲とに加えて、撮像装置の設置台数の最大値及び最小値と、評価値の閾値とを取得する。
環境情報及び制約情報が取得されるとステップS703へ進み、配置情報取得部204は、撮像装置の設置台数を、ステップS702において取得した最大値に設定して、ステップS703~S707の処理(ループ処理D)を実行する。そして、配置情報取得部204は、ステップS702において取得した最大値から最小値まで、ステップS703~S707の処理を実行するたびに撮像装置の設置台数を1台ずつ減らしながら、ステップS703~S707の処理を繰り返す。
ステップS704では、配置情報取得部204は、第1の実施形態におけるステップS403と同様に、ステップS701、S702において取得した環境情報及び制約情報に基づいて、ステップS703において設定した設置台数での配置情報取得処理を行う。ステップS704における配置情報取得処理では、配置情報取得部204は、環境情報及び制約情報に基づいて、設定した設置台数の撮像装置の配置情報、すなわち設置する撮像装置の位置姿勢及び評価値を取得する。
ステップS705では、配置情報取得部204は、ステップS704において算出した評価値がステップS702において取得した評価値の閾値以下であるか否かを判定する。算出した評価値が閾値以下であると配置情報取得部204が判定した場合、繰り返し処理を抜けてステップS708へ進み、算出した評価値が閾値より大きいと配置情報取得部204が判定した場合、ステップS706へ進む。
ステップS706では、配置情報取得部204は、撮像装置の配置情報として、取得した撮像装置の位置姿勢及び設置台数の情報を記憶する。したがって、ステップS705からステップS708へ進むときの撮像装置の配置情報は、1つ前のループ処理Dで取得し記憶した、評価値が閾値より大きいときの撮像装置の位置姿勢及び設置台数となる。
ステップS708では、出力部205は、ステップS706において記憶した撮像装置の配置情報、すなわち設置する撮像装置の位置姿勢及び設置台数の情報を出力装置に送信する。出力装置では、受信した撮像装置の配置情報を可視化してユーザ(設置者)に提示する。なお、閾値より大きい評価値となる撮像装置の配置情報を取得できなかった場合、出力部205は、その旨を出力装置に送信してユーザ(設置者)に通知する。
第2の実施形態によれば、仮想視点画像の生成に用いる複数の撮像装置の適切な設置台数及び配置を配置情報として出力することができる。また、撮像装置の配置情報をユーザ(設置者)に対して提供することで、ユーザは配置検討の試行錯誤をすることなく、適切な台数の撮像装置を適切な配置で設置することができ、設置作業の効率を向上させ、設置作業の時間を短縮することができる。
なお、本実施形態では、撮像装置の設置台数を最大値から減らしながら、その設置台数で最適な撮像装置の配置情報を取得し、評価値が閾値より大きい撮像装置の配置情報を決定した。しかしながら、最適な撮像装置の設置台数を合わせて取得する方法は、これに限定されない。撮像装置の設置台数を最小値から増やしながら、最適な撮像装置の配置情報を取得してもよいし、撮像装置の設置台数を配置パラメータに含めて、配置パラメータ空間から評価値が最大となる配置を探索してもよい。また、閾値より大きい評価値となる撮像装置の配置情報が取得できなかった場合、評価値が最大であった配置情報を出力するようにしてもよい。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。第3の実施形態では、すべての撮像装置の配置情報ではなく、一部の撮像装置の配置情報のみを決定し、撮像装置の配置情報をユーザ(設置者)に対して提供する例について説明する。既に設置した撮像装置の配置を変更する場合や、環境情報が不正確で実際に撮像装置を設置する際に設置できない撮像装置があった場合等であっても、一部の撮像装置の配置情報のみ短時間で算出して提示できるため、設置作業の効率を向上させることができる。
第3の実施形態における情報処理装置及び設置作業支援システムの構成は、第1の実施形態における情報処理装置及び設置作業支援システムの構成と、以下の点が異なり、その他は第1の実施形態と同様である。第3の実施形態における情報処理装置及び設置作業支援システムの構成において、第1の実施形態と同様の構成要素については、その説明を省略する。
第3の実施形態における情報処理装置100において、制約情報取得部202は、制約情報として、撮像装置の設置可能範囲と仮想視点の可動範囲とに加えて、配置が決定している撮像装置の配置情報を取得する。配置情報取得部204は、環境情報及び制約情報に基づいて、設置する複数の撮像装置の内の配置が決定されていない撮像装置の配置を算出する。
次に、第3の実施形態における情報処理装置100が撮像装置の配置情報を取得し出力する情報処理について説明する。第3の実施形態における情報処理装置100の情報処理は、図4に示した第1の実施形態における情報処理と基本的には同様であるが、第3の実施形態では、配置が決定している撮像装置の配置情報を固定し、それ以外の撮像装置の配置情報を取得する。
すなわち、ステップS401で、環境情報取得部201が環境情報を取得し、ステップS402で、制約情報取得部202が、制約情報を取得する。制約情報としては、撮像装置の設置可能範囲と仮想視点の可動範囲とに加えて、配置が決定している撮像装置の配置情報を取得する。
ステップS403では、配置情報取得部204は、ステップS401、S402において取得した環境情報と制約情報に基づいて、第1の実施形態と同様に配置情報取得処理を行い、複数の撮像装置の配置情報(設置する撮像装置の位置姿勢の情報)を取得する。第3の実施形態における配置情報取得処理では、配置情報取得部204は、制約情報として取得した配置が決定している撮像装置の配置情報は固定し、それ以外の撮像装置、すなわち配置が未決定の撮像装置の配置情報を取得する。
ステップS404では、出力部205は、ステップS403において取得した配置が決定していなかった撮像装置の配置情報(撮像装置の位置姿勢の情報)を出力装置に送信する。出力装置では、受信した配置情報を可視化してユーザ(設置者)に提示する。
第3の実施形態によれば、情報処理装置100により、配置が決定していない撮像装置の配置情報を出力することができ、短時間で配置情報を取得することが可能となる。また、撮像装置の配置情報をユーザ(設置者)に対して提供することで、ユーザは配置検討の試行錯誤をすることなく、撮像装置を適切な配置で設置することができ、設置作業の効率を向上させ、設置作業の時間を短縮することができる。
なお、本実施形態では、配置が決定している撮像装置の配置情報を固定して、配置が決定していない撮像装置の配置情報を取得するようにしているが、配置が決定している撮像装置の配置情報を固定しなくても構わない。制約情報として、配置が決定している撮像装置の配置情報及びその変動範囲を取得して、変動範囲内で評価値が向上する配置情報を前述のようなパラメータ探索・最適化手法を用いて取得してもよい。これにより、撮影コンテンツや注視点等の環境情報や制約情報が変更されたときに、設置済みの撮像装置を少ない手間で配置変更することも可能となる。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。第4の実施形態では、品質を保ちながら、より短時間で仮想視点画像を生成するために、設置済みの撮像装置の中から仮想視点画像の生成に用いる撮像装置を選択する例について説明する。仮想視点画像の生成に用いる撮像装置の数を減らすことで、仮想視点画像の生成処理の高速化を図ることができる。
第4の実施形態における情報処理装置及び設置作業支援システムの構成は、第1の実施形態における情報処理装置及び設置作業支援システムの構成と、以下の点が異なり、その他は第1の実施形態と同様である。第4の実施形態における情報処理装置及び設置作業支援システムの構成において、第1の実施形態と同様の構成要素については、その説明を省略する。
第4の実施形態における情報処理装置100において、制約情報取得部202は、制約情報として、撮像装置の設置可能範囲と仮想視点の可動範囲とを取得する。さらに、制約情報取得部202は、制約情報として、配置が決定している撮像装置の配置情報と、仮想視点画像の生成に用いる撮像装置の台数の最大値及び最小値と、評価値の閾値とを取得する。配置情報取得部204は、環境情報及び制約情報に基づいて、仮想視点画像の生成に用いる撮像装置の選択を行う。出力部205は、配置情報取得部204で選択した撮像装置のリストを配置情報として出力装置に送信する。出力装置では、受信した撮像装置のリストに基づいて、仮想視点画像の生成に用いる撮像装置を設定する。なお、第4の実施形態において、出力装置312は、無線通信機能を有するタブレット型計算機ではなく、不図示のPCであるとする。
次に、第4の実施形態における情報処理装置100の情報処理について説明する。第4の実施形態における情報処理装置100の情報処理は、図7に示した第2の実施形態における情報処理と処理の流れは同様であり、以下では第2の実施形態と異なる点について説明する。
ステップS702では、制約情報取得部202は、制約情報として、撮像装置の設置可能範囲、仮想視点の可動範囲、配置が決定している撮像装置の配置情報、仮想視点画像の生成に用いる撮像装置の台数の最大値と最小値、及び評価値の閾値を取得する。
ステップS703では、配置情報取得部204は、仮想視点画像の生成に用いる撮像装置の台数を、ステップS702において取得した最大値に設定して、ステップS703~S707の処理を実行する。そして、配置情報取得部204は、ステップS702において取得した最大値から最小値まで、ステップS703~S707の処理を実行するたびに撮像装置の台数を1台ずつ減らしながら、ステップS703~S707の処理を繰り返す。
ステップS704では、配置情報取得部204は、ステップS701、S702において取得した環境情報及び制約情報に基づいて、仮想視点画像の生成に用いる撮像装置を選択し、その選択状態での評価値を算出する。
ステップS705では、配置情報取得部204は、ステップS704において算出した評価値がステップS702において取得した評価値の閾値以下であるか否かを判定する。算出した評価値が閾値以下であると配置情報取得部204が判定した場合、繰り返し処理を抜けてステップS708へ進み、算出した評価値が閾値より大きいと配置情報取得部204が判定した場合、ステップS706へ進む。
ステップS706では、配置情報取得部204は、撮像装置の配置情報として、選択した撮像装置のリストを記憶する。したがって、ステップS705からステップS708へ進むときの撮像装置の配置情報は、1つ前のループ処理で記憶した、評価値が閾値より大きいときに選択した撮像装置のリストとなる。
ステップS708では、出力部205は、ステップS706において記憶した撮像装置の配置情報、すなわち選択した撮像装置のリストを出力装置に送信する。出力装置では、受信した撮像装置の配置情報(撮像装置のリスト)に基づき、仮想視点画像の生成に用いる撮像装置を設定する。なお、閾値より大きい評価値となる撮像装置のリストを選択できなかった場合、出力部205は、その旨を出力装置に送信してユーザ(設置者)に通知する。また、出力部205が出力する、用いる撮像装置のリストを仮想視点画像生成システムや3次元復元システムに設定し、そこで設定した撮像装置を利用して仮想視点画像や3次元モデルを生成するようにしてもよい。
第4の実施形態におけるステップS704での処理について説明する。第4の実施形態におけるステップS704での処理は、図5に示した第1の実施形態と処理の流れは同様であり、以下では異なる点について説明する。なお、第4の実施形態において、ステップS501~S505の処理を繰り返す回数は1回とする。
ステップS502では、配置情報取得部204は、撮像装置の配置候補を複数生成する。具体的には、配置情報取得部204は、ステップS702において配置情報を取得した配置が決定している撮像装置の中から、ステップS703において設定した撮像装置の台数分を選択する場合のすべての撮像装置の組み合わせを配置候補として複数生成する。また、ステップS506では、配置情報取得部204は、ステップS504において保存した評価値が最大である配置候補とその評価値を撮像装置の配置情報として返す。
第4の実施形態によれば、情報処理装置100により、画像の品質を担保しつつ仮想視点画像の生成に必要十分な撮像装置が自動的に選択される。これにより、高品質かつ高速に仮想視点画像を生成するために用いる撮像装置を決定する検討の試行錯誤が不要になり、画像生成の設定作業時間が短縮される。
本実施形態は、品質を保ちながら短時間で仮想視点画像を生成するために、設置済みの撮像装置の中から利用する撮像装置を選択する用途に限られるものではなく、例えば設置済みの撮像装置を削減するために利用してもよい。その場合、出力部205は、選択されなかった撮像装置のリストを出力すればよい。
撮像装置が設置済みであれば、実際に被写体を撮像した画像を環境情報取得部201が環境情報として取得し、シミュレーション画像でなく実画像を用いて評価部203が撮像装置の配置を評価してもよい。例えば、前述したように前フレームの生成画像や3次元形状と比較して評価値を求めてもよい。また、選択しなかった撮像装置の画像を正解画像として、その選択しなかった撮像装置からの見え方を再現した仮想視点画像と正解画像とを比較して評価値を算出してもよい。
また、仮想視点画像の生成に用いる撮像装置の台数は、制約情報として取得した最大値から減らしながら決定してもよいし、最小値から増やしながら決定してもよい。撮像装置の台数も配置候補の組み合わせに含め、すべての組み合わせを配置候補として生成してもよいし、すべての組み合わせの内からランダムに組み合わせを選択し配置候補としてもよい。撮像装置の選択はパラメータ探索や最適化の公知技術を用いて行えばよい。また、閾値より大きい評価値となる配置情報が取得できなかった場合、評価値が最大であった配置情報を出力するようにしてもよい。
(本発明の他の実施形態)
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
100:情報処理装置 201:環境情報取得部 202:制約情報取得部 203:評価部 204:配置情報取得部 205:出力部 302:入出力装置 312:出力装置 313:撮像装置

Claims (14)

  1. 仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報を取得する制約情報取得手段と、
    前記複数の撮像装置によって撮像される被写体の3次元情報または動き情報を含む環境情報を取得する環境情報取得手段と、
    取得された前記環境情報及び前記制約情報に基づいて、前記複数の撮像装置の配置位置の複数の候補を示す複数の配置情報を生成する配置情報生成手段と、
    前記複数の配置情報を評価する評価手段と、
    前記複数の配置情報のうち評価が最大となる配置情報を出力する出力手段とを有することを特徴とする情報処理装置。
  2. 前記評価手段は、前記複数の撮像装置により撮像された画像から生成される仮想視点画像の品質を評価することにより、前記複数の配置情報を評価することを特徴とする請求項に記載の情報処理装置。
  3. 前記評価手段は、前記複数の撮像装置により撮像された画像から生成される3次元形状の正確性を評価することにより、前記複数の配置情報を評価することを特徴とする請求項に記載の情報処理装置。
  4. 前記配置情報は、各撮像装置の姿勢、又は各撮像装置の姿勢及び撮像装置の配置台数を示す情報をさらに含むことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. 前記複数の配置情報に従って配置された前記複数の撮像装置により撮像される画像のシミュレーション画像を用いて生成された仮想視点画像と、仮想視点から撮像されるシミュレーション画像との比較に基づいて、前記複数の配置情報を評価することを特徴とする請求項に記載の情報処理装置。
  6. 前記複数の配置情報に従って配置された前記複数の撮像装置により撮像される画像のシミュレーション画像から生成された3次元形状と、シミュレーションで用いた3次元形状との比較に基づいて、前記複数の配置情報を評価することを特徴とする請求項に記載の情報処理装置。
  7. 前記環境情報は、静的被写体の3次元情報と、動的被写体の3次元情報及び動き情報とを含むことを特徴とする請求項に記載の情報処理装置。
  8. 仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報であって、仮想視点画像に対応する仮想視点の可動範囲を示す情報を含む制約情報を取得する制約情報取得手段と、
    取得された前記制約情報に基づいて、前記複数の撮像装置の配置位置の複数の候補を示す複数の配置情報を生成する配置情報生成手段と、
    前記複数の配置情報を評価する評価手段と、
    前記複数の配置情報のうち評価が最大となる配置情報を出力する出力手段とを有することを特徴とする情報処理装置。
  9. 前記制約情報は、配置が決定している撮像装置の配置情報を含むことを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
  10. 配置が決定している撮像装置の配置情報に基づいて、前記複数の撮像装置の内の一部の前記撮像装置の配置を算出することにより、前記配置情報を生成することを特徴とする請求項に記載の情報処理装置。
  11. 配置が決定している撮像装置の配置情報に基づいて、仮想視点画像の生成に用いる撮像装置を選択することを特徴とする請求項に記載の情報処理装置。
  12. 情報処理装置が実行する情報処理方法であって、
    仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報を取得し、
    前記複数の撮像装置によって撮像される被写体の3次元情報または動き情報を含む環境情報を取得し、
    取得した前記環境情報及び前記制約情報に基づいて、前記複数の撮像装置の配置位置の複数の候補を示す複数の配置情報を生成し、
    前記複数の配置情報を評価し、
    前記複数の配置情報のうち評価が最大となる配置情報を出力することを特徴とする情報処理方法。
  13. 情報処理装置が実行する情報処理方法であって、
    仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報であって、仮想視点画像に対応する仮想視点の可動範囲を示す情報を含む制約情報を取得し、
    取得した前記制約情報に基づいて、前記複数の撮像装置の配置位置の複数の候補を示す複数の配置情報を生成し、
    前記複数の配置情報を評価し、
    前記複数の配置情報のうち評価が最大となる配置情報を出力することを特徴とする情報処理方法。
  14. コンピュータを、請求項1乃至11の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2022047277A 2017-11-13 2022-03-23 情報処理装置、情報処理方法及びプログラム Active JP7387792B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022047277A JP7387792B2 (ja) 2017-11-13 2022-03-23 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017218463A JP7046567B2 (ja) 2017-11-13 2017-11-13 情報処理装置、情報処理方法及びプログラム
JP2022047277A JP7387792B2 (ja) 2017-11-13 2022-03-23 情報処理装置、情報処理方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017218463A Division JP7046567B2 (ja) 2017-11-13 2017-11-13 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022089839A JP2022089839A (ja) 2022-06-16
JP7387792B2 true JP7387792B2 (ja) 2023-11-28

Family

ID=66439240

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017218463A Active JP7046567B2 (ja) 2017-11-13 2017-11-13 情報処理装置、情報処理方法及びプログラム
JP2022047277A Active JP7387792B2 (ja) 2017-11-13 2022-03-23 情報処理装置、情報処理方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017218463A Active JP7046567B2 (ja) 2017-11-13 2017-11-13 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11328473B2 (ja)
JP (2) JP7046567B2 (ja)
WO (1) WO2019093457A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748870B2 (en) * 2019-09-27 2023-09-05 Intel Corporation Video quality measurement for virtual cameras in volumetric immersive media
JP2021141533A (ja) 2020-03-09 2021-09-16 キヤノン株式会社 姿勢調整システムおよび姿勢調整方法、画像処理装置およびその制御方法、ならびにプログラム
JP2023173764A (ja) 2022-05-26 2023-12-07 キヤノン株式会社 情報処理装置、情報処理方法
WO2024080121A1 (ja) * 2022-10-14 2024-04-18 ソニーグループ株式会社 情報処理装置および方法
WO2024080120A1 (ja) * 2022-10-14 2024-04-18 ソニーグループ株式会社 情報処理装置および方法、並びに、情報処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195091A (ja) 2006-01-23 2007-08-02 Sharp Corp 合成映像生成システム
JP2008140297A (ja) 2006-12-05 2008-06-19 Nippon Telegr & Teleph Corp <Ntt> 動画像生成方法及びシステム
JP2016109669A (ja) 2014-11-28 2016-06-20 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
WO2017149869A1 (ja) 2016-02-29 2017-09-08 ソニー株式会社 情報処理装置、方法、プログラム及びマルチカメラシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5341789B2 (ja) * 2010-01-22 2013-11-13 富士通テン株式会社 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP5562103B2 (ja) * 2010-04-16 2014-07-30 キヤノン株式会社 画像処理装置および方法
JP2014215828A (ja) 2013-04-25 2014-11-17 シャープ株式会社 画像データ再生装置、および視点情報生成装置
US10108882B1 (en) * 2015-05-16 2018-10-23 Sturfee, Inc. Method to post and access information onto a map through pictures
JP6754992B2 (ja) * 2016-04-22 2020-09-16 パナソニックIpマネジメント株式会社 三次元再構成方法
GB2564642A (en) * 2017-07-10 2019-01-23 Nokia Technologies Oy Methods and apparatuses for panoramic image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195091A (ja) 2006-01-23 2007-08-02 Sharp Corp 合成映像生成システム
JP2008140297A (ja) 2006-12-05 2008-06-19 Nippon Telegr & Teleph Corp <Ntt> 動画像生成方法及びシステム
JP2016109669A (ja) 2014-11-28 2016-06-20 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
WO2017149869A1 (ja) 2016-02-29 2017-09-08 ソニー株式会社 情報処理装置、方法、プログラム及びマルチカメラシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
海老澤 一生 Kazui Ebisawa,視体積交差におけるカメラ配置の最適化,FIT2012 第11回情報科学技術フォーラム 講演論文集 第3分冊 査読付き論文・一般論文 画像認識・メディア理解 グラフィクス・画像 ヒューマンコミュニケーション&インタラクション 教育工学・福祉工学・マルチメディア応用 Forum on Information Technology 2012,2012年,pp.151-154

Also Published As

Publication number Publication date
JP2019092007A (ja) 2019-06-13
US20200265634A1 (en) 2020-08-20
JP7046567B2 (ja) 2022-04-04
US11328473B2 (en) 2022-05-10
JP2022089839A (ja) 2022-06-16
WO2019093457A1 (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
JP7387792B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9177381B2 (en) Depth estimate determination, systems and methods
JP5773944B2 (ja) 情報処理装置および情報処理方法
US9208607B2 (en) Apparatus and method of producing 3D model
US10157478B2 (en) Enabling use of three-dimensional locations of features with two-dimensional images
EP3629302B1 (en) Information processing apparatus, information processing method, and storage medium
CN105637559A (zh) 使用深度传感器的结构建模
WO2012033768A2 (en) Efficient information presentation for augmented reality
JP2008275341A (ja) 情報処理装置、情報処理方法
JP2019190974A (ja) キャリブレーション装置、キャリブレーション方法、及びプログラム
US20180165860A1 (en) Motion edit method and apparatus for articulated object
JP6332951B2 (ja) 画像処理装置および画像処理方法、およびプログラム
US11373329B2 (en) Method of generating 3-dimensional model data
WO2018190805A1 (en) Depth image pose search with a bootstrapped-created database
JP2016122444A (ja) 焦点スタックから適応スライス画像を生成する方法および装置
JP2016212784A (ja) 画像処理装置、画像処理方法
JP2019046055A (ja) 画像処理装置、画像処理方法及びプログラム
CN111524086A (zh) 运动物体检测装置、运动物体检测方法、存储介质
JP2017184136A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2020113202A (ja) パラメータ選定装置、パラメータ選定方法、およびパラメータ選定プログラム
JP5712810B2 (ja) 画像処理装置、そのプログラム、および画像処理方法
JP2015197374A (ja) 3次元形状推定装置及び3次元形状推定方法
JP6564259B2 (ja) 画像処理装置、画像処理方法
Chen et al. A 3-D point clouds scanning and registration methodology for automatic object digitization
JP2020187626A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231115

R151 Written notification of patent or utility model registration

Ref document number: 7387792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151