JP7227717B2 - Information processing device, method, and program - Google Patents
Information processing device, method, and program Download PDFInfo
- Publication number
- JP7227717B2 JP7227717B2 JP2018163623A JP2018163623A JP7227717B2 JP 7227717 B2 JP7227717 B2 JP 7227717B2 JP 2018163623 A JP2018163623 A JP 2018163623A JP 2018163623 A JP2018163623 A JP 2018163623A JP 7227717 B2 JP7227717 B2 JP 7227717B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- information processing
- imaging
- workflow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、複数の機器を用いるシステムの設置・運用技術に関する。 The present invention relates to installation and operation technology of a system using a plurality of devices.
異なる位置に設置した複数の撮像装置により複数の方向から同期して被写体を撮像し、その撮像により得られた複数の撮像画像を用いて仮想視点画像を生成する技術が注目されている。仮想視点画像によれば、撮像装置の位置と異なる様々な視点での画像の視聴を可能とするため、ユーザに高臨場感を与えることができる。一方、仮想視点画像を生成するには、複数の撮像装置が使用されるため、単一の撮像装置による撮像と比較して煩雑かつ多数の処理手順を実行する必要がある。特許文献１には、仮想視点画像を観察する視点を容易に選択可能とするＵＩ（ユーザインタフェース）が記載されている。
2. Description of the Related Art Attention has been paid to a technique of synchronously capturing images of a subject from a plurality of directions using a plurality of imaging devices installed at different positions and generating a virtual viewpoint image using a plurality of captured images obtained by the capturing. According to the virtual viewpoint image, it is possible to view the image from various viewpoints different from the position of the imaging device, so that it is possible to give the user a high sense of realism. On the other hand, since a plurality of imaging devices are used to generate a virtual viewpoint image, it is necessary to perform complicated and numerous processing procedures compared to imaging by a single imaging device.
特許文献１に記載の技術では、用意された仮想視点画像を視聴する際の処理を簡素化することができるが、仮想視点画像を用意するための処理手順について言及されておらず、また、仮想視点画像を生成することができない状態についても想定されていない。このため、仮想視点画像の生成のため等のマルチカメラシステムを構成する複数の撮像装置やその他の装置の設営や撤去、運用などについては煩雑なままであり、作業員（ユーザ）の負担を軽減することはできないという課題があった。
The technique described in
本発明は、マルチカメラシステムの設置・運用におけるユーザ支援技術を提供する。 The present invention provides user support technology for installation and operation of a multi-camera system.
本発明の一態様による情報処理装置は、複数の機器を含んで構成されるマルチカメラシステムに関する作業であって、当該マルチカメラシステムの設置から三次元形状データの生成対象である被写体の撮像が開始される前までの間に実行される作業に関するワークフローを定めた情報を保持する保持手段と、前記ワークフローに含まれるプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得手段と、前記ワークフローに含まれる前記プロセスと、当該プロセスの進捗状況との情報を含んだ画面を、表示装置に表示させる表示制御手段と、を有する。
An information processing apparatus according to an aspect of the present invention performs work related to a multi-camera system including a plurality of devices, and imaging of a subject for which three-dimensional shape data is to be generated starts from the installation of the multi-camera system. holding means for holding information defining a workflow related to work to be executed before the work is performed ; acquisition means for acquiring information indicating the status of the plurality of devices regarding the progress of processes included in the workflow; and display control means for causing a display device to display a screen containing information about the processes included in the workflow and the progress of the processes.
本発明によれば、マルチカメラシステムの設置・運用において適切にユーザを支援することができる。 Advantageous Effects of Invention According to the present invention, it is possible to appropriately support a user in installing and operating a multi-camera system.
以下、図面を参照して、本発明の実施の形態について説明する。なお、以下の実施形態は本発明を実施する態様の一例に過ぎず、説明される装置構成や処理の流れは、適宜変更されうる。例えば、装置を構成する機能ブロックやハードウェアブロックは、説明される態様に限定されず、一部のブロックが省略され若しくは他のブロックが追加され、又は、一部のブロックが他のブロックと組み合わされて１つのブロックとして構成されうる。また、処理ステップの一部が省略され若しくは他のステップが追加され、複数の処理ステップが１つの処理ステップによって実行されてもよい。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. It should be noted that the following embodiment is merely an example of a mode of carrying out the present invention, and the device configuration and process flow described can be changed as appropriate. For example, the functional blocks and hardware blocks that make up the device are not limited to the described aspects, and some blocks may be omitted, other blocks may be added, or some blocks may be combined with other blocks. can be configured as one block. Also, some of the processing steps may be omitted or other steps added, and a plurality of processing steps may be executed by one processing step.
ここで説明する実施形態では、仮想視点画像を生成するために複数の撮像装置が設置されるマルチカメラシステムを例として説明する。そして、このようなマルチカメラシステムの設営や撤去、運用等について、作業員等のユーザによって適切な処理が行われるように誘導するために、ユーザが実行すべき処理のガイドや誤った処理が行われた場合の警告などの情報をユーザに分かりやすく表示する。これにより、マルチカメラシステムを設営、撤去、運用等を行う際に、ユーザが手順を間違える等の不適切な処理が行われるのを防ぐことが可能となる。なお、マルチカメラシステムは、仮想視点画像の生成に用いられてもよいが、仮想視点画像の生成以外の用途で用いられるシステムであってもよい。ここで、本実施形態において、「画像」とは、静止画像と動画像（映像）を含む。また、以下で説明する撮像装置等の機材を、任意のシステムで用いられる任意の機材に置き換えることによって、多数の機材を用いて所定のサービスを提供する任意のシステムに対して、以下の議論を適用することができる。 In the embodiments described here, a multi-camera system in which a plurality of imaging devices are installed to generate virtual viewpoint images will be described as an example. In order to guide a user such as a worker to perform appropriate processing in setting up, dismantling, operating, etc. of such a multi-camera system, guidance of processing to be executed by the user and erroneous processing are performed. Display information such as warnings in an easy-to-understand manner for users. As a result, it is possible to prevent inappropriate processing such as the user making a mistake in the procedure when setting up, removing, or operating the multi-camera system. Note that the multi-camera system may be used for generating virtual viewpoint images, but may be a system used for purposes other than generating virtual viewpoint images. Here, in the present embodiment, "image" includes still images and moving images (video). Also, for any system that provides a predetermined service using a large number of equipment by replacing the equipment such as the imaging device described below with any equipment used in any system, the following discussion should be made. can be applied.
図１に、本実施形態に係る情報表示システムの構成例を示す。本情報表示システムは、複数の撮像装置１０１－１～１０１－ｍを含んだ撮像装置群１００と、ＨＵＢ１２０と、仮想視点画像生成装置１４０と、情報処理装置１６０とを有する。各々の装置は、例えば、画像や制御情報を伝送するための伝送ケーブルを介して相互に通信可能に接続される。伝送ケーブルは、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）規格に準拠したＧｂＥ（Ｇｉｇａｂｉｔ Ｅｔｈｅｒｎｅｔ）や１０ＧｂＥであるが、これらに限定されず、他の種別のケーブルが用いられてもよい。また、各々の装置は無線通信を行ってもよく、ケーブルによる有線通信が行われなくてもよいし、無線通信と有線通信とが並行して行われてもよい。
FIG. 1 shows a configuration example of an information display system according to this embodiment. This information display system has an
上述のように、撮像装置群１００は、複数（ｍ個）の撮像装置（撮像装置１０１－１～１０１－ｍ）を含む。以下では、特定の撮像装置を指す必要がない場合には、これらの撮像装置を撮像装置１０１－ｘと呼ぶ。なお、ｍやｘなど、１０１の後に付される値は整数である。相互に隣接する位置にある２つの撮像装置１０１－ｘ（例えば、撮像装置１０１－１と撮像装置１０１－２）は、伝送ケーブルを介して相互に直接接続されうる。なお、この直接接続される２つの撮像装置１０１－ｘは、物理的に隣接している必要はなく、これらの２つの撮像装置１０１－ｘの間に、別の撮像装置１０１－ｘが配置されてもよい。例えば、複数の撮像装置が、それぞれ撮像対象（視点）が異なる点に設定された複数のグループに分類されてもよく、この場合に、グループ内の撮像装置１０１－ｘが直接接続され、異なるグループの撮像装置１０１－ｘが直接接続されないように構成されうる。撮像装置１０１－ｘは、撮像画像や情報処理装置１６０から受信した要求の処理結果を、仮想視点画像生成装置１４０および情報処理装置１６０へ伝送する。撮像装置１０１－２は、図１に示すように撮像装置１０１－１と接続されると共に、撮像装置１０１－１と反対側において隣接する不図示の撮像装置１０１－３と直接接続される。このようにして、撮像装置１０１－ｋは、２つの隣接する撮像装置である撮像装置１０１－（ｋ－１）及び撮像装置１０１－（ｋ＋１）と直接接続されうる。なお、この接続における端部に位置する撮像装置（例えば撮像装置１０１－１）と、ＨＵＢ１２０と直接接続する撮像装置（例えば撮像装置１０１－ｎ）とについては、この限りでない。すなわち、これらの撮像装置は、２つの他の撮像装置と接続されるのではなく、１つの他の撮像装置と接続される。このように、複数の撮像装置１０１－ｘは、デイジーチェーン接続される。なお、複数の撮像装置１０１－ｘは、例えば上述のように撮像対象等によってグループ分けされ、グループごとにデイジーチェーン接続されうる。この場合、第１のグループに属する撮像装置１０１－ｘは、第１のグループと異なる第２のグループの撮像装置１０１－ｘと、ＨＵＢ１２０を介さずには接続されないように構成されうる。図１の例では、このようなグループが２つ存在し、撮像装置１０１－１～撮像装置１０１－ｎまでのグループと、撮像装置１０１－（ｎ＋１）から撮像装置１０１－ｍまでのグループとに対して、それぞれ別個のデイジーチェーンが構成される。なお、この接続形態は一例に過ぎず、異なるグループの撮像装置が１つのデイジーチェーンによって接続されてもよい。また、図１では、グループの数が２つの場合の例を示しているが、グループ分けが行われずに全ての撮像装置が１つのデイジーチェーンを構成してもよいし、３つ以上のグループが設けられてもよい。また、複数の撮像装置１０１－ｘ相互の接続は、デイジーチェーンの形式で行われなければならないわけではなく、環形（リング型）、メッシュ型、スター型、バス型、ツリー型、又はこれらの組み合わせ等の任意の形式で行われてもよい。また、グループ分けは、例えば物理的に近距離に配置された撮像装置が同じグループに属するようにするなど、この他の任意の基準によって行われてもよい。
As described above, the
撮像装置１０１－ｘは、一例において、サッカー場等の競技場や特定の被写体を取り囲むように配置される。図２は、撮像装置１０１－ｘの配置の一例を示す図である。図２の例では、サッカー場等の競技場の全てまたは一部の範囲が撮像されるように、複数の撮像装置１０１－ｘが配置される。 In one example, the imaging devices 101-x are arranged so as to surround a stadium such as a soccer field or a specific subject. FIG. 2 is a diagram showing an example of the arrangement of the imaging devices 101-x. In the example of FIG. 2, a plurality of imaging devices 101-x are arranged so that all or part of a stadium such as a soccer field is imaged.
図３に、撮像装置１０１－ｘの構成例を示す。撮像装置１０１－ｘは、カメラ３０１、レンズ３０２、雲台３０３、画像処理装置３０４を有する。カメラ３０１は、例えばデジタルカメラであり、装着されたレンズ３０２と協働して撮像を行い、画像データを生成する。また、カメラ３０１は、例えば、画像処理装置３０４とＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ケーブルで接続される。そして、カメラ３０１は、画像処理装置３０４から制御信号や同期信号を受信し、撮像によって得られた画像データを画像処理装置３０４へ送信する。カメラ３０１は、画像処理装置３０４から受信した同期信号に基づいて撮像を行う。なお、同期信号は、複数の撮像装置１０１－ｘが、同じタイミングで撮像を行うようにするための信号であり、これにより、全ての撮像装置１０１－ｘが同一の又は略同一のタイミングで撮像を行うことができる。なお、カメラ３０１と画像処理装置３０４との間のケーブルは、制御信号や同期信号、画像信号を送信可能である限りにおいて、ＳＤＩケーブル以外のケーブルであってもよい。雲台３０３は、カメラ３０１の気体の角度を調整する。また、雲台３０３は、例えば、画像処理装置３０４とシリアルケーブルで接続される。雲台３０３は、画像処理装置３０４からパン方向とチルト方向の角度データを受信し、受信した角度データに基づいて、カメラ３０１の機体の角度の調整を行う。なお、雲台３０３と画像処理装置３０４との間のケーブルは、角度データを送信可能である限りにおいて、シリアルケーブル以外のケーブルであってもよい。画像処理装置３０４は、情報処理装置１６０から制御信号を取得し、カメラ３０１やレンズ３０２、雲台３０３へ制御信号を出力する。また、画像処理装置３０４は、カメラ３０１から受信した撮像画像を、伝送ケーブルを介して仮想視点画像生成装置１４０へ送信する。さらに、画像処理装置３０４は、出力した制御信号の処理が正常に完了したか、異常で終了したかを示す制御応答信号を情報処理装置１６０へ送信する。
FIG. 3 shows a configuration example of the imaging device 101-x. The imaging device 101 - x has a
図１に戻り、仮想視点画像生成装置１４０は、ＨＵＢ１２０に接続されており、ＨＵＢ１２０を介して撮像装置１０１－ｘと通信可能に構成され、撮像装置１０１－ｘにより撮像された画像を蓄積する。仮想視点画像生成装置１４０は、例えば、蓄積した画像に基づいて、被写体や背景の三次元形状データを生成し、仮想視点画像の生成のための準備を行いうる。そして、仮想視点画像生成装置１４０は、ユーザ端末の操作によって仮想視点情報が入力された場合、複数の撮像装置１０１－ｘによって撮像された画像を用いて、入力された仮想視点情報に対応する仮想視点画像を生成する。ここで、仮想視点情報とは、位置情報と方向情報とが少なくとも含まれ、どの位置からどの方向を向いて被写体を観察するかを指定する情報である。位置情報は、競技場の中央などの所定位置に対する相対的な位置（例えば、所定位置を基準とした場合の、前後方向、左右方向、および左右方向の位置）を示す情報である。方向情報は、その所定位置からの向き（例えば、所定の方向を基準方向とし、前後方向、左右方向、上下方向を軸とする３次元直交座標系での各軸からの角度）を示す情報である。仮想視点画像生成装置１４０は、例えば、サーバ装置である。仮想視点画像生成装置１４０は、例えば、複数の撮像装置１０１－ｘのそれぞれによって撮像された画像を保存するデータベース機能と、それらの撮像装置１０１－ｘが配置された位置や撮像を行った向きの情報を管理する機能を有する。そして、仮想視点画像生成装置１４０は、その管理している情報に基づいて、保存した画像を用いて仮想視点画像を生成する画像処理機能を有する。なお、仮想視点画像生成装置１４０のデータベース機能は、競技の開始前の競技会場の場面など、被写体が存在しない状態の競技会場の場面が撮像された画像を、背景画像データとして予め保持しうる。
Returning to FIG. 1, the virtual viewpoint
情報処理装置１６０は、ＨＵＢ１２０に接続され、ＨＵＢ１２０を介して撮像装置１０１－ｘや仮想視点画像生成装置１４０と通信可能に構成される。情報処理装置１６０は、撮像装置１０１－ｘによって撮像された撮像画像や撮像装置１０１－ｘの状態情報を受信し、表示画面に表示するための処理を実行する。また、情報処理装置１６０は、仮想視点画像生成装置１４０の状態情報をも受信し、表示画面に表示するための処理を実行する。本システムの看視者は、情報処理装置１６０による処理によって表示画面に表示された撮像画像等を用いて、撮像装置群１００や仮想視点画像生成装置１４０の状態を定常的に監視することができる。また、情報処理装置１６０は、システムの設置から撮像までで実行すべき作業を示すワークフローを表示し、その作業についての、完了、未完了、又は現在処理中等の処理の進捗状況の情報を表示するための処理を実行しうる。また、情報処理装置１６０は、完了した処理が正常な状態であるか異常な状態であるかを示す情報を表示するための処理を実行しうる。これらの表示内容については後述する。
The
ＨＵＢ１２０は、撮像装置群１００と、仮想視点画像生成装置１４０と、情報処理装置１６０との間の通信を中継する。ＨＵＢ１２０は、例えば、複数の撮像装置１０１－ｘから出力された撮像画像を、仮想視点画像生成装置１４０と情報処理装置１６０とへ転送する。これにより、仮想視点画像生成装置１４０と情報処理装置１６０は、同一の撮像画像を取得することができる。
The
続いて、情報処理装置１６０の構成例について説明する。図４は、情報処理装置１６０のハードウェアの構成例を示す図である。情報処理装置１６０は、そのハードウェア構成として、例えば、コントローラユニット４０１、操作ユニット４１０、および表示装置４２０を含んで構成される。なお、情報処理装置１６０は、例えば操作ユニット４１０や表示装置４２０を含まずに構成されてもよい。例えば、情報処理装置１６０は、外付けのキーボード等の操作機器からユーザ操作を示すコマンドを受け付けて処理を実行し、外付けのディスプレイ等に画面表示させるための画面データを出力するように構成されてもよい。また、情報処理装置１６０は、ネットワーク上に配置されたサーバ等であってもよく、１つ以上の操作端末からネットワークを介して操作コマンドを受信し、１つ以上のディスプレイにネットワークを介して画面データを送信してもよい。
Next, a configuration example of the
コントローラユニット４０１は、例えば、ＣＰＵ４０２、ＲＯＭ４０３、ＲＡＭ４０４、ＨＤＤ４０５、操作部Ｉ／Ｆ４０６、表示部Ｉ／Ｆ４０７、及び通信Ｉ／Ｆ４０８を含んで構成される。なお、ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの頭字語であり、Ｉ／Ｆはインタフェースの略語である。ＣＰＵ４０２、ＲＯＭ４０３、ＲＡＭ４０４、操作部Ｉ／Ｆ４０６、表示部Ｉ／Ｆ４０７、及び通信Ｉ／Ｆ４０８は、システムバス４０９を介して相互に接続される。
The
ＣＰＵ４０２は、ＲＯＭ４０３に格納されているブートプログラムにより、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。そして、ＣＰＵ４０２は、このＯＳ上で、ＨＤＤ４０５等に格納されているアプリケーションプログラムを実行する。ＣＰＵ４０２は、アプリケーションプログラムの実行によって各種処理を実現する。ＲＡＭ４０４は、ＣＰＵ４０２の作業領域等として用いられる。ＨＤＤ４０５は、上述のアプリケーションプログラムなどを格納する。
The
操作部Ｉ／Ｆ４０６は、操作ユニット４１０からユーザ操作を示す情報を受け付け、必要に応じて操作ユニット４１０に情報を出力することによりユーザ操作制御を行うインタフェースである。操作部Ｉ／Ｆ４０６は、操作ユニット４１０が受け付けたシステム監視者によるユーザ操作を示す情報を、操作ユニット４１０から取得し、その情報をＣＰＵ４０２に出力する。操作ユニット４１０は、例えば、マウスやキーボード等のユーザ操作を受け付ける機器によって構成される。ただし、これに限られず、ユーザのジェスチャや視線を検出するセンサや、操作子の動きを検出するセンサなど、ユーザ操作を受け付けることが可能な任意の機器が操作ユニット４１０として用いられてもよい。
The operation unit I/
表示部Ｉ／Ｆ４０７は、表示装置４２０に表示させるべき画像データを、表示装置４２０に対して出力し、必要に応じて表示装置４２０から情報を受け付けることにより画面表示制御を行うインタフェースである。表示装置４２０は、コンピュータディスプレイでありうる。なお、操作ユニット４１０と表示装置４２０は、例えば、タッチパネルディスプレイ等の１つの装置によって構成されてもよい。また、本実施形態では、情報提示が画面表示により行われるものとするが、音声出力や振動出力など様々な方法で情報提示が行われてもよい。この場合、表示部Ｉ／Ｆ４０７は、出力すべき音声データや振動パターンの情報を、外部のスピーカや振動子に対して出力しうる。
The display unit I/
通信Ｉ／Ｆ４０８は、例えば伝送ケーブルを介して、他の装置と接続して通信するためのインタフェースである。通信Ｉ／Ｆ４０８は、外部装置（例えばユーザ端末や、図１のＨＵＢ１２０及び情報処理装置１６０）との間で、通信により情報の入出力を行う。通信Ｉ／Ｆ４０８は、有線通信Ｉ／Ｆでありうるが、無線通信Ｉ／Ｆであってもよい。
A communication I/
図５に、情報処理装置１６０の機能構成例を示す。情報処理装置１６０は、データ記録部５０１、ユーザ入力部５０２、制御部５０３、通信部５０４、ワークフロー管理部５０５、ＵＩ画像生成部５０６、表示部５０７、及び、異常検出部５０８を有する。これらの機能部は、相互に論理的に接続され、制御部５０３による制御の下で、相互にデータを送受信することができる。なお、データ記録部５０１は、ＨＤＤ４０５にデータを記録し、制御部５０３とワークフロー管理部５０５とＵＩ画像生成部５０６は、ＣＰＵ４０２の処理によって処理を行う。また、ユーザ入力部５０２は操作部Ｉ／Ｆ４０６によってユーザ入力を示す情報を取得し、通信部５０４は通信Ｉ／Ｆ４０８によって外部の装置と通信を行う。表示部５０７は、表示部Ｉ／Ｆ４０７を介して表示装置４２０に情報を表示させる。
FIG. 5 shows a functional configuration example of the
データ記録部５０１は、システムの設置から撮像に至るまでの手順や進捗状況を示すワークフロー定義情報を保持する。ワークフロー定義情報は、「ＩＤ」、「カテゴリ」、「プロセス」、及び「要求」の少なくともいずれかの情報を含む。ここで、「カテゴリ」は、設置から撮像までの手順をグルーピングした項目を示し、「プロセス」は、カテゴリに属する処理項目を示し、「要求」は、プロセスに対応する処理の詳細であって、情報処理装置１６０が撮像装置１０１－ｘへ要求する処理内容を示す。また、「ＩＤ」は、これらの項目の組み合わせに対して一意に割り当てられる識別情報であり、プロセスの実行順に対応するデータである。「ＩＤ」は、例えば、最初に実行すべきプロセスに対して「１」が割り当てられ、順に、「２」、「３」、…と増加する値でありうる。
The
図６に、ワークフロー定義情報の例を示す。本例におけるワークフロー定義情報は、撮像システムの設置から撮像に至るまでの１４個の処理の内容と順序とを定義している。各処理が「プロセス」として定義され、１つの「カテゴリ」が１つ以上の「プロセス」のグループを含む。また、各「プロセス」には、情報処理装置１６０が撮像装置１０１－ｘへ要求する制御内容として、「要求」が定義されている。図６に示すように、本例のワークフロー定義情報は、「機器接続」、「同期」、「画角調整」、「露出調整」、「キャリブレーション（ＣＡＬ）」カテゴリが定義されている。
FIG. 6 shows an example of workflow definition information. The workflow definition information in this example defines the contents and order of 14 processes from installation of the imaging system to imaging. Each operation is defined as a "process" and a "category" contains one or more groups of "processes". Further, in each "process", a "request" is defined as the control content requested by the
機器接続カテゴリに対しては、「カメラ」、「レンズ」、「雲台」を含んだプロセスのグループが定義されている。これらのプロセスは、撮像装置１０１－ｘのそれぞれについて、カメラ、レンズ、及び雲台が接続されているかを確認する処理である。本処理では、単に機器が存在していて接続されていることを確認する処理が実行されうるが、撮像装置１０１－ｘごとに機器の種別の確認等、他の処理が実行されてもよい。例えば、撮像システムにおいて複数種類のカメラが用いられる場合に、「撮像装置１０１－１に種別Ａのカメラが接続されている」等の確認処理が実行されてもよい。また、撮像装置１０１－ｘごとに、機器のＩＤが確認されてもよい。例えば、撮像システムに用いられるカメラごとにユニークにシリアルＩＤが定義され、撮像装置１０１－１にＩＤ＝００１のカメラが接続されていることの確認が行われてもよい。仮想視点画像撮像システムは膨大な機器を扱うため、機材の管理は非常に重要である。これに対して、情報処理装置１６０は、これらのプロセスにより、機器の台数の確認や所望の機材が接続されているか否かを確認することができる。
A group of processes including "camera", "lens", and "panhead" is defined for the device connection category. These processes are processes for confirming whether the camera, lens, and camera platform are connected to each imaging device 101-x. In this process, a process of simply confirming that a device exists and is connected may be executed, but other processing such as confirmation of the type of device may be executed for each imaging device 101-x. For example, when a plurality of types of cameras are used in the imaging system, confirmation processing such as "A camera of type A is connected to the imaging device 101-1" may be executed. Also, the device ID may be confirmed for each imaging device 101-x. For example, a unique serial ID may be defined for each camera used in the imaging system, and it may be confirmed that the camera with ID=001 is connected to the imaging device 101-1. Since the virtual viewpoint imaging system handles a huge amount of equipment, management of the equipment is very important. On the other hand, the
同期カテゴリに対しては、「同期」のプロセスが定義されている。仮想視点画像を生成するためには、全ての撮像装置１０１－ｘのカメラ３０１が同期して撮像を行う必要がある。このため、情報処理装置１６０は、本プロセスによって、全ての撮像装置１０１－ｘの画像処理装置３０４へ同期信号出力要求を行い、多数のカメラ３０１が同期するための同期信号を出力させる。
For the sync category, a "sync" process is defined. In order to generate a virtual viewpoint image, it is necessary for the
画角調整カテゴリに対しては、「雲台角度」、「ズーム」、「フォーカス」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、複数のカメラ３０１が同じ領域をボケなく撮像する必要がある。このため、情報処理装置１６０は、これらのプロセスにおいて、雲台の角度を調整することによってカメラの向きを指定し、ズーム調整によってカメラの撮像範囲を定め、フォーカス調整によってボケをなくすための要求信号を出力する。
For the field angle adjustment category, a group of processes including "pan head angle", "zoom" and "focus" is defined. In order to generate a virtual viewpoint image, it is necessary for a plurality of
露出調整カテゴリに対しては、「ＩＳＯ」、「アイリス」、「シャッター」、「ＮＤ」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、全ての撮像装置１０１－ｘのカメラ３０１の撮像画像が同じ明度である必要がある。そのため、情報処理装置１６０は、これらのプロセスによって、露出に関する調整を要求する信号を出力する。
A group of processes is defined for the exposure adjustment category, including "ISO", "iris", "shutter", and "ND". In order to generate a virtual viewpoint image, the images captured by the
キャリブレーション（ＣＡＬ）カテゴリに対しては、「撮像」、「計算」、「設定」を含んだプロセスのグループが定義されている。仮想視点画像を生成するためには、全ての撮像装置１０１－ｘのカメラ３０１がどの位置にどのような向きで設置され、どのようなレンズ歪みを持っているかを管理する必要がある。この管理データを、以下では「ＣＡＬパラメータ」と呼ぶ。ＣＡＬパラメータは、全てのカメラ３０１によって同時刻に撮像を実行し、その撮像画像を解析して特徴点の位置を抽出して計算を行うことによって特定される。ＣＡＬパラメータは、世界座標系で表された３次元点を画像上にマップする方法を利用して算出されうる。情報処理装置１６０は、算出したＣＡＬパラメータを用いて、全ての撮像装置１０１－ｘの画像処理装置３０４の設定を行う。
For the calibration (CAL) category, a group of processes is defined that includes "imaging", "calculation" and "setting". In order to generate a virtual viewpoint image, it is necessary to manage the position, orientation, and lens distortion of the
なお、本例では１４個のプロセスと５個のカテゴリが定義されているが、プロセスとカテゴリの個数及び内容については任意に設定可能であり、特に限定されない。例えば、上述の処理は、仮想視点画像を生成するシステムに関するものであるが、仮想視点画像と関係しないマルチカメラシステムが、その用途を果たすために必要なプロセス及びカテゴリが定義されてもよい。また、複数の撮像装置を用いることも必須ではなく、多数の機材を用いるシステムの設置や運用等のために、プロセスとカテゴリが定義されてもよい。なお、情報処理装置１６０は、データ記録部５０１を内包している必要はなく、データ記録部５０１は、情報処理装置１６０の外部の記録装置によって実現されてもよい。また、データ記録部５０１は、撮像装置１０１－ｘに関する情報を保持する部分について、各々の撮像装置１０１－ｘ内に実装されてもよい。データ記録部５０１は、例えば撮像装置１０１－ｘ及び情報処理装置１６０に機能ごとに分けて実装されるなど、複数の装置に分散して実装されてもよい。
Although 14 processes and 5 categories are defined in this example, the number and contents of processes and categories can be set arbitrarily and are not particularly limited. For example, although the above processing relates to a system that generates virtual viewpoint images, the processes and categories necessary for a multi-camera system unrelated to virtual viewpoint images to fulfill its application may be defined. Also, it is not essential to use a plurality of imaging devices, and processes and categories may be defined for installation and operation of a system using a large number of devices.
図５に戻り、ユーザ入力部５０２は、操作ユニット４１０によって受け付けられたユーザ操作の情報を受け付け、制御部５０３に出力する。
Returning to FIG. 5 , the
制御部５０３は、情報処理装置１６０の各部に制御指示を出力する。例えば、制御部５０３は、ユーザ入力部５０２からの操作情報に基づいて、撮像装置１０１－ｘへの要求内容を決定し、通信部５０４へ要求内容を出力する。また、制御部５０３は、撮像に向けたシステムの進捗状況をＵＩ（ユーザインタフェース）画面に表示させるために、ワークフロー管理部５０５に対しても同様に、要求内容を送信する。また、制御部５０３は、撮像装置１０１－ｘへ出力した要求の処理結果を示す要求応答情報を、通信部５０４を介して受信し、ワークフロー管理部５０５に対して、その要求応答情報を出力しうる。
The
通信部５０４は、制御部５０３からの要求情報を取得し、他の装置へ送信可能な信号形式へその要求情報を変換して、撮像装置１０１－ｘのそれぞれに対して送信する。また、通信部５０４は、撮像装置１０１－ｘのそれぞれから信号を受信してその信号に含まれる要求応答情報を抽出し、抽出した要求応答情報を制御部５０３へ出力する。また、通信部５０４は、撮像装置１０１－ｘのそれぞれから受信した信号から機器情報を取得して、その機器情報を異常検出部５０８へ出力する。ここで、機器情報は、撮像装置の設定値、外光センサ値、ジャイロセンサ値の少なくともいずれか等の情報を含みうる。
The
ワークフロー管理部５０５は、制御部５０３から要求情報及び要求応答情報を取得し、それらの情報に応じてワークフロー管理情報を更新し、その後に、更新したワークフロー管理情報をＵＩ画像生成部５０６へ送信する。図７に、ワークフロー管理情報の一例を示す。ワークフロー管理情報は、プロセスごとの、未実行、実行中、正常終了、異常終了の４種類の状態のいずれの状態であるかを示す情報を含む。状態遷移については後述する。
The
ＵＩ画像生成部５０６は、ワークフロー管理部５０５から取得したワークフロー管理情報に基づいてＵＩ画像を生成し、表示部５０７へ出力する。
A UI
表示部５０７は、ＵＩ画像生成部５０６から出力された表示イメージを、不図示のフレームバッファに上書きする。そして、表示部５０７は、フレームバッファに格納した表示イメージを所定のリフレッシュレートで読み出して、表示装置４２０に表示させる。
A
異常検出部５０８は、通信部５０４から機器情報を取得し、動作が異常な機器がないかを監視する。異常検出部５０８は、機器の異常発生を検出すると、ワークフロー管理部５０５へ異常通知を出力する。
The
（システムの設置・運用時の処理の流れの例）
続いて、情報処理装置１６０が実行する処理の流れの例について説明する。本処理では、情報処理装置１６０は、仮想視点画像を生成するために多数の撮像装置が設置されてから撮像が開始されるまでの手順をユーザがもれなく実行することを支援するためのＵＩ画面を表示する。
(Example of the flow of processing when installing and operating the system)
Next, an example of the flow of processing executed by the
図８に、本処理の流れの例を示す。本処理は、例えばＣＰＵ４０２がＨＤＤ４０５に記憶されているプログラムを実行することによって実現されうる。なお、以下では、図５の機能構成を用いて処理の流れについて説明する。
FIG. 8 shows an example of the flow of this process. This processing can be realized by executing a program stored in the
本処理では、ワークフロー管理部５０５は、まず、データ記録部５０１からワークフロー定義情報を読み込み（Ｓ８０１）、ワークフロー管理情報を生成する。ワークフロー管理部５０５は、例えば、ワークフロー定義情報の中からカテゴリとプロセスの情報を抽出し、各プロセスの状態を「未実行」に設定して管理する。その後、ワークフロー管理部５０５は、作成したワークフロー管理情報をＵＩ画像生成部５０６へ出力し、ＵＩ画像生成部５０６は、ワークフロー管理情報に基づいてワークフローＵＩを生成して表示する（Ｓ８０２）。なお、ワークフロー定義情報は、ユーザ操作によって手動入力されてもよい。また、複数のシステムに対応するワークフロー管理情報が事前に定義されてデータ記録部５０１に記録され、ワークフロー管理部５０５は、その複数のシステムの中からユーザによって選択されたシステムに対応するワークフロー定義情報を読み出してもよい。また、ワークフロー管理部５０５は、例えば所定のアプリケーションが起動されたことに応じて、そのアプリケーションに対応するワークフロー管理情報をデータ記録部５０１から読み出してもよい。また、情報処理装置１６０が所定のシステム専用である場合、ワークフロー管理部５０５は、情報処理装置１６０が起動したことによって、一切のユーザ操作を受け付けることなく、所定のワークフロー管理情報をデータ記録部５０１から読み出してもよい。
In this process, the
図９は、図６のワークフロー定義情報に基づいて、ワークフロー管理情報が生成された時点のワークフローＵＩ表示の一例である。このワークフローＵＩはＳ８０２において初期表示される。図９の表示のうち、上段にはワークフローに含まれるカテゴリの情報が一覧表示されている。また、下段にはワークフローに含まれるプロセスの情報が一覧表示されており、これらのプロセスの情報は、そのプロセスが属するカテゴリの下部に表示されている。カテゴリの情報とプロセスの情報との間には、カテゴリの進捗状態を表示するステータスバー９０１が配置され、プロセスの情報の下部にはそのプロセスの進捗状態を表示するステータスバー９０２が配置される。これらのステータスバーによって、未実行／実行中／正常終了／異常終了の４状態が表現される。なお、ワークフローＵＩは、例えば初期表示においては、カテゴリのみ表示され、カテゴリが選択されたことに応じて、そのカテゴリに属するプロセスが表示されるようにしてもよい。すなわち、例えば、ユーザは、実行中のまま正常終了に移行しないカテゴリなどについては選択して状況を把握し、正常終了したカテゴリについては詳細を知る必要がない場合がある。このような場合に、表示を簡素化して、ユーザが状態を大まかに把握することを容易にすることができる。また、進捗状態の表示においては、図９のように、カテゴリやプロセスの名称を示す領域とは別個にステータスバー等の進捗状況を示す領域が用意されてもよいが、これに限られない。例えばカテゴリやプロセスを示す文字／枠の色／大きさの変更や点滅表示などが利用されてもよく、ユーザが状態を判断可能な表示が行われる限りにおいて、ステータスバー表示が用いられなくてもよい。
FIG. 9 is an example of a workflow UI display when workflow management information is generated based on the workflow definition information of FIG. This workflow UI is initially displayed in S802. In the display of FIG. 9, information of categories included in the workflow is listed in the upper part. Information on processes included in the workflow is listed at the bottom, and the information on these processes is displayed below the category to which the process belongs. A
図８に戻り、ワークフロー管理部５０５は、制御部５０３から要求情報が届くのを待ち受ける（Ｓ８０３）。ここでは、一例として、図７に示すワークフロー管理情報の例に基づいて、機器接続のレンズプロセスまで正常終了している進捗状況である場合について説明する。ワークフロー管理部５０５は、制御部５０３から要求情報を取得すると（Ｓ８０３でＹＥＳ）、その時点で完了しているべきプロセスのうち「正常終了」以外（「未実行」、「実行中」、「異常終了」）のプロセスが存在するかを確認する（Ｓ８０４）。そして、ワークフロー管理部５０５は、正常終了状態でないプロセスが存在すると判定した場合（Ｓ８０４でＹＥＳ）、警告ＵＩを表示して（Ｓ８０５）、要求待ち状態（Ｓ８０３）へと遷移する。例えば、ワークフロー管理部５０５は、制御部５０３から同期設定の要求情報を取得した場合、ワークフロー管理情報によって現在の進捗を確認する。そして、ワークフロー管理部５０５は、雲台プロセスが「未実行」であることを検出すると、正常終了以外のプロセスが存在すると判定し、警告ＵＩを表示するようにＵＩ画像生成部５０６へ要求する。
Returning to FIG. 8, the
図１０に、警告ＵＩ表示の一例を示す。情報処理装置１６０の操作者は、この警告ＵＩを視認することにより、未完了のプロセスが存在することを認知することができる。これにより、作業者が、ワークフローの手順を漏れなく実行することが可能となる。なお、警告ＵＩの表示内容は、未完了のプロセスがあることをユーザが認知できるものであれば、図１０の内容に限定されない。また、この通知は、音声ガイダンスやビープ音といった音によって行われてもよく、ＵＩ表示によって行われる必要はない。
FIG. 10 shows an example of a warning UI display. The operator of the
一方、ワークフロー管理部５０５は、それまでに完了しているべきプロセスの全てが正常終了している場合（Ｓ８０４でＮＯ）、要求情報に対応するプロセスの状態を実行中の状態へと変更する。そして、ワークフロー管理部５０５は、このプロセスについて実行中であることを表示するようにＵＩ画像生成部５０６へ要求する（Ｓ８０６）。その後、ワークフロー管理部５０５は、制御部５０３から要求応答情報を受信するのを待ち受ける（Ｓ８０７）。ワークフロー管理部５０５は、要求応答情報を受信すると（Ｓ８０７でＹＥＳ）、その要求応答情報に基づいて、Ｓ８０３の要求が正常終了したか否かを判定する（Ｓ８０８）。ワークフロー管理部５０５は、要求が正常終了したと判定した場合（Ｓ８０８でＹＥＳ）、その要求に対応するプロセスの状態の情報を正常終了状態へと変更する。そして、ワークフロー管理部５０５は、そのプロセスについて「正常終了」したことを表示するようにＵＩ画像生成部５０６へ要求する（Ｓ８０９）。一方、ワークフロー管理部５０５は、Ｓ８０３の要求が異常終了したと判定した場合（Ｓ８０８でＮＯ）、その要求に対応するプロセスの状態の情報を異常終了状態へと変更する。この場合、ワークフロー管理部５０５は、そのプロセスが「異常終了」したことを表示するようにＵＩ画像生成部５０６へ要求する（Ｓ８１０）。その後、ワークフロー管理部５０５は、カテゴリの表示を変更すべきか否かを判定する（Ｓ８１１）。そして、ワークフロー管理部５０５は、表示を変更すべきと判定した場合（Ｓ８１１でＹＥＳ）は、要求に対応するカテゴリについて正常終了したことを表示するようにＵＩ画像生成部５０６へ要求する（Ｓ８１２）。一方、ワークフロー管理部５０５は、カテゴリの表示を変更すべきでないと判定した場合（Ｓ８１１でＮＯ）は、要求情報の待受け状態へと戻る。
On the other hand, if all the processes that should have been completed up to that point have ended normally (NO in S804), the
図１１（Ａ）～図１１（Ｄ）に、ワークフローＵＩ表示の一例を示す。なお、図１１（Ａ）～図１１（Ｄ）には、説明を簡単にするために、機器接続カテゴリのＵＩ表示の例のみが図解されている。図１１（Ａ）は、レンズプロセスまで正常終了しており、雲台プロセスが未実行の進捗状況を示している。進捗状態が未実行の場合、ステータスバーは白色で表示される。図１１（Ｂ）は、制御部５０３から雲台接続確認要求が取得された後に、雲台プロセスが実行中の進捗状況へと遷移した際の表示例である。進捗状態が実行中の場合、ステータスバーは、例えば第１の所定色（例えば灰色）の明滅表示となる。次に、図１１（Ｃ）は、制御部５０３から取得された要求応答情報によってプロセスが異常終了したことが示されたことに応じて、雲台プロセスの進捗状況が異常終了へと遷移した場合の表示例を示している。進捗状態が異常終了となった場合、ステータスバーは、例えば第２の所定色（例えば赤色）で表示される。この表示により、情報処理装置１６０の操作者は、雲台接続ができなかったことを認識することができ、画像処理装置３０４と雲台３０３との間のケーブルが接続されているか、雲台の電源が入っているか等の対応をとることができる。図１１（Ｄ）は、制御部５０３から取得された要求応答情報によってプロセスが正常終了したこと示されたことに応じて、雲台プロセスの進捗状況が正常終了へと遷移した場合の表示例を示している。進捗状態が正常終了となった場合、ステータスバーはカメラ等の正常終了状態となったプロセスのステータスバーと同色で表示される。また、カテゴリに属する全プロセスが正常終了状態であることをワークフロー管理部５０５が確認すると、ＵＩ画像生成部５０６は、正常終了状態を示すようにカテゴリのステータスバーの状態を変更しうる。なお、ステータスバーの表示については、上述のものに限定されず、バー（進捗状況を示すアイコン・領域）の色やサイズ、模様、アニメーションの少なくともいずれか等の任意の態様によって、進捗状況を区別可能に表示してもよい。
FIGS. 11A to 11D show examples of workflow UI displays. Note that FIGS. 11A to 11D illustrate only an example of the UI display of the device connection category for the sake of simplicity of explanation. FIG. 11A shows a progress status in which the lens process has been completed normally and the camera platform process has not yet been executed. If the progress is not yet executed, the status bar is displayed in white. FIG. 11B is a display example when the pan head process transitions to the progress status during execution after the pan head connection confirmation request is acquired from the
情報処理装置１６０の操作者は、ワークフローＵＩの進捗状況を見て適切なプロセスを確認し、操作ユニット４１０を操作することにより、プロセスに対応する要求を実行しうる。一例において、操作ユニット４１０のキーボードの各キーに対してそれぞれ別個のプロセスが対応付けられ、ユーザは、選択対象のプロセスに対応するキーを押下することによって、そのプロセスに対応する要求を実行することができる。なお、この要求の実行は、キーボードのキー入力に限定されず、例えばワークフローＵＩの各プロセスの表示部分がボタンとなっており、ユーザがマウス操作によりそのボタンを押下することにより、そのプロセスの要求が実行されるようにしてもよい。また、情報処理装置１６０は、音声認識機能を有し、操作者の声による音声入力により、この要求を実行してもよい。これ以外にも、要求の実行の指示を受付可能な任意の方法が用いられてもよい。
The operator of the
なお、プロセスの進捗状況を、ユーザ入力によって任意に変更可能としてもよい。例えば、上述の説明では、露出調整を情報処理装置１６０が実行するワークフローとなっているが、カメラ３０１において直接設定されてもよく、この場合には、情報処理装置１６０からの設定が行われる必要がない。このとき、ユーザ入力によって露出調整のプロセスの進捗状況を全て正常終了へ遷移させることにより、露出調整処理をスキップすることができる。
Note that the progress of the process may be arbitrarily changed by user input. For example, in the above description, the workflow is such that the
以上のように、上述の処理では、情報処理装置１６０は、ワークフローＵＩによってプロセスの順序を表示すると共に、その進捗表示を容易に判別することができるように表示することで、ユーザによるシステムの設置・運用を効率的に支援することができる。ユーザは、このワークフローＵＩにより、次に実行すべき処理を容易に把握し、誤った操作を行うこと又は次に実行すべき処理の誤認が発生することを防ぐことができる。このため、ユーザは、表示されたプロセス順に沿ってプロセスに対応する要求を実行していくことにより、設置から撮像に向けた複雑な手順を、迷わずに、かつ、漏れなく実行することができ、システムを確実に稼働させることができるようになる。
As described above, in the above-described processing, the
（異常発生時の処理の流れの例）
次に、設置から撮像に向けて処理する最中に異常が発生した場合に、復旧に必要な処理を簡単に漏れなく実行するためのＵＩを表示する例を説明する。
(Example of processing flow when an error occurs)
Next, there will be described an example of displaying a UI for easily executing the processing necessary for recovery without omission when an abnormality occurs during processing from installation to imaging.
本処理のために、データ記録部５０１が記憶するワークフロー定義情報には、上述の情報に加えて、異常が影響を与えるプロセスに対して定義される以上内容の情報が含まれる。図１２に、この場合のワークフロー定義情報の例を示す。本例では、図６と同様に１４個のプロセスと５個のカテゴリが示されており、図６の情報に加えて、プロセスごとに、異常発生時に再度実行すべき処理を定義する異常情報を含んでいる。まず、各異常情報の詳細について説明する。
For this process, the workflow definition information stored by the
カメラ切断、レンズ切断、雲台切断は、撮像装置１０１－ｘ内の画像処理装置３０４と各機器との接続が切断されたことを指す。これらの異常のことを以下では「切断異常」と総称する。切断異常は、機器接続カテゴリのプロセスに影響を及ぼすが、他のプロセスには影響を与えないため、機器接続カテゴリ内の各プロセスに対してのみ定義される。同期異常は、撮像装置１０１－ｘ内の画像処理装置３０４から送出された同期信号がカメラ３０１へ届かないことや、同期信号の情報が誤っている状態であることを指す。同期異常は、同期プロセスに影響を及ぼすが、他のプロセスには影響を与えないため、同期カテゴリに対してのみ定義される。
Camera disconnection, lens disconnection, and pan head disconnection indicate disconnection between the
カメラ移動、ズームレンズ移動、フォーカスレンズ移動、機体振動は、総じて画角ずれ異常である。仮想視点画像を生成するためには、複数の撮像装置１０１－ｘが同じ空間領域を撮像する必要がある。このため、事前に複数の撮像装置１０１－ｘのそれぞれの位置やカメラ向き、焦点距離を、予め計算によって決定しておく必要がある。すなわち、画角調整は、撮像装置１０１－ｘを事前に求めた設置状態へ設定することを指し、一度設置した状態から設置状態がずれた場合は異常として検出される。カメラ移動は、例えば人の手によりカメラ３０１の姿勢が調整されることや、ボールなどの物体がカメラ３０１や雲台３０３に衝突したこと等の外力によりカメラ３０１が動いてしまったことを指す。ズームレンズ移動は、ズームレンズが移動することにより、焦点距離が変わり撮像範囲が変化したことを指す。フォーカスレンズ移動は、フォーカスレンズが移動することによりピントがずれたことを指す。機体振動は、雲台３０３の設置治具の取り付け不良や、雲台３０３とカメラ３０１と間の設置治具の取り付け不良により、カメラ３０１が微小に動いてしまっていることを指す。これらの画角ずれ異常は、画角調整カテゴリとキャリブレーションカテゴリの各プロセスに影響を及ぼすため、これらのカテゴリの両方に対して定義される。
Movement of the camera, movement of the zoom lens, movement of the focus lens, and vibration of the fuselage are all abnormal field angle deviations. In order to generate a virtual viewpoint image, it is necessary for a plurality of imaging devices 101-x to image the same spatial region. Therefore, it is necessary to determine the positions, camera orientations, and focal lengths of the plurality of imaging devices 101-x in advance by calculation. That is, the adjustment of the angle of view refers to setting the imaging device 101-x to an installation state obtained in advance, and if the installation state deviates from the installation state once, it is detected as an abnormality. Camera movement refers to movement of the
ＩＳＯ値変動、アイリス値変動、シャッター値変動、ＮＤフィルタ値変動、外光変化は、総じて露出異常である。仮想視点画像は、複数の撮像画像が合成されることにより作成されるため、露出の異なるカメラ３０１があると、仮想視点画像の品位が低下する。ＩＳＯ値変動、アイリス値変動、シャッター値変動、ＮＤフィルタ値変動は、少なくとも一部のカメラ３０１の設定値が他のカメラ３０１の設定値と異なっている状態であることを指す。外光変化は、会場の屋根の開閉や雲の移動による日照変化により周囲環境の明るさが変化することを指す。露出異常は、アイリス値変動以外は、露出調整プロセスにのみ影響を及ぼすため、露出調整プロセスに対してのみ定義される。一方、アイリス値変動は、被写界深度に影響を与えるためキャリブレーションプロセスに影響を及ぼすため、これらのカテゴリの両方に対して定義される。
ISO value fluctuations, iris value fluctuations, shutter value fluctuations, ND filter value fluctuations, and external light fluctuations are all exposure abnormalities. Since the virtual viewpoint image is created by synthesizing a plurality of captured images, the presence of
異常情報の定義内容は、異常検出部５０８の異常検出処理にも適用される。すなわち、異常検出部５０８は、撮像装置１０１－ｘにおける画像処理装置３０４と各機器との接続状態を監視しており、これらの切断を検出すると、切断異常の異常通知をワークフロー管理部５０５へ出力する。また、異常検出部５０８は、撮像装置１０１－ｘ内で画像処理装置３０４からカメラ３０１へ出力する同期信号の状態を監視し、同期信号が正常でない状態を検出した場合に同期異常の異常通知をワークフロー管理部５０５へ出力する。また、異常検出部５０８は、撮像装置１０１－ｘのカメラ３０１に搭載されているジャイロセンサの値を取得し、カメラ３０１の姿勢変化を監視する。異常検出部５０８は、姿勢変化を検出した場合に、カメラ移動の異常通知をワークフロー管理部５０５へ出力する。また、異常検出部５０８は、撮像装置１０１－ｘのカメラ３０１の露出設定値を取得し、例えばＩＳＯ値の変化を検出した場合に、ＩＳＯ値変動の異常通知をワークフロー管理部５０５へ出力する。なお、異常の特定が可能な限りにおいて、上述の方法と異なる異常検出方法が用いられてもよい。また、異常情報の定義は任意に設定可能であり、上述の例に限定されない。
The definition contents of the abnormality information are also applied to the abnormality detection processing of the
例えば上述のように異常が影響を及ぼすプロセスが定義され、異常が発生した場合にその異常に応じて定義されたプロセスが再度実行されることにより、異常状態から正常状態への復旧が可能となる。このため、情報処理装置１６０は、異常が検出された場合に、その異常に対応するカテゴリやプロセスの処理をユーザに通知して、そのプロセスに関する処理を実行するように促すためのＵＩを生成して表示するための処理を実行する。
For example, as described above, a process affected by an anomaly is defined, and when an anomaly occurs, the defined process is re-executed according to the anomaly, making it possible to recover from an anomalous state to a normal state. . Therefore, when an abnormality is detected, the
図１３は、このような処理のために、ワークフロー管理部５０５が異常発生通知を取得した際に実行する処理の流れの例を示している。ワークフロー管理部５０５は、例えば図８の処理と並行して又はシステムによってサービスを提供している間に、異常検出部５０８から異常通知が受信されたか否かの監視を行う（Ｓ１３０１）。ワークフロー管理部５０５は、異常通知を取得した場合（Ｓ１３０１でＹＥＳ）、ワークフロー定義情報に記述されている異常情報を確認し、取得した異常が影響を与えるプロセスを確認する（Ｓ１３０２）。その後、ワークフロー管理部５０５は、取得した異常が影響を与えるプロセスについて、その進捗状態を「未実行」に変更する（Ｓ１３０３）。なお、更新されたワークフロー管理情報は、ＵＩ画像生成部５０６へ送信される。ＵＩ画像生成部５０６は、ワークフロー管理部５０５から取得したワークフロー管理情報に基づいてＵＩ画像を生成し、表示部５０７は、そのＵＩ画像を取得して表示装置４２０に表示させる。なお、異常通知が異常検出部５０８から取得する例を記載したが、制御部５０３から取得した制御内容に応じて、ワークフロー管理部５０５が異常を検出してもよい。
FIG. 13 shows an example of the flow of processing executed when the
図１４（Ａ）及び図１４（Ｂ）は、異常発生時のワークフローＵＩ表示の例である。図１４（Ａ）の画面によって、キャリブレーションカテゴリ内の計算プロセスまで正常終了しており、設定プロセスを実行することにより、全ての処理が完了する状態であることが表示されている。この状況で、作業者がカメラにぶつかってしまうなどの要因によって、カメラ移動の異常が発生したとする。この場合、カメラ移動の異常が影響を及ぼすプロセスは、画角調整カテゴリとキャリブレーションカテゴリに属するプロセスである。このため、ワークフロー管理部５０５は、これらの影響を及ぼすプロセスの進捗状態を「未完了」に変更して、ＵＩ表示を更新させる。図１４（Ｂ）は、この更新後のＵＩ表示の例である。これにより、情報処理装置１６０の操作者は、画角調整カテゴリのプロセスとキャリブレーションカテゴリの完了していたプロセスが未完了となったことを認識することができる。そして、情報処理装置１６０の操作者が、これらの未完了のプロセスに応じた要求を再度実行するようにすることで、異常な状態から復旧するために必要な処理を簡単に漏れなく実行することができる。
FIGS. 14A and 14B are examples of workflow UI display when an error occurs. The screen of FIG. 14A displays that the calculation process in the calibration category has been completed normally, and that all the processes have been completed by executing the setting process. In this situation, it is assumed that an abnormality in the movement of the camera has occurred due to factors such as the worker colliding with the camera. In this case, the processes affected by the abnormal camera movement are the processes belonging to the view angle adjustment category and the calibration category. Therefore, the
なお、本例では、発生した異常から復旧するために必要な処理がワークフロー定義情報に予め定義され、異常が発生した場合に、その異常に対応する処理の状態が未完了状態に変更されるが、これに限られない。例えば、異常から復旧するために必要な処理の選択が、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機械学習を用いて実行されてもよい。ＡＩを用いることにより、学習の回数が増えるにつれて、復旧処理の確度が向上し、システムのロバスト性能を徐々に向上させることができる。また、復旧に必要な処理を特定可能な方法であれば、これらの方法と異なる方法が用いられてもよい。 In this example, the workflow definition information predefines the processing necessary to recover from an abnormality that has occurred, and when an abnormality occurs, the state of the processing corresponding to the abnormality is changed to an incomplete state. , but not limited to this. For example, the selection of processing required to recover from an anomaly may be performed using AI (Artificial Intelligence) machine learning. By using AI, as the number of times of learning increases, the accuracy of recovery processing improves, and the robust performance of the system can be gradually improved. Also, a method different from these methods may be used as long as it is a method capable of specifying the processing required for recovery.
上述の処理は、多数の機器を有するシステムにおいて有効であり、その多数の機器と通信可能に構成された情報処理装置が、上述のようにして、そのシステムを稼働させるための作業に関するワークフローの情報をＵＩ表示させることができる。そして、情報処理装置は、多数の機器のうち、ワークフロー内の各プロセスに関与する機器と通信し、その機器が、システムの機能を果たすことができるような状態となっているかを確認し、その状態をＵＩ表示において表示する。これにより、多数の機器を有するシステムにおける作業の順序を容易に把握し、設置及び運用を誤りなく進めることができる。 The above-described processing is effective in a system having a large number of devices, and an information processing apparatus configured to be able to communicate with the large number of devices performs workflow information related to work for operating the system as described above. can be displayed on the UI. Then, the information processing device communicates with a device involved in each process in the workflow among the many devices, confirms whether the device is in a state in which it can perform the function of the system, and Display the state in the UI display. This makes it possible to easily grasp the work order in a system having a large number of devices, and proceed with installation and operation without error.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
１００：撮像装置群、３０１：カメラ、３０２：レンズ、３０３：雲台、３０４：画像処理装置、１６０：情報表示装置、４０２：ＣＰＵ、４０３：ＲＯＭ、４０４：ＲＡＭ、４０５：ＨＤＤ、４０６：操作部Ｉ／Ｆ、４０７：表示部Ｉ／Ｆ、４０８：通信部、４１０：操作ユニット、４２０：表示装置、５０１：データ記録部、５０２：ユーザ入力部、５０３：制御部、５０４：通信部、５０５：ワークフロー管理部、５０６：ＵＩ画像生成部、５０７：表示部、５０８：異常検出部 100: imaging device group, 301: camera, 302: lens, 303: platform, 304: image processing device, 160: information display device, 402: CPU, 403: ROM, 404: RAM, 405: HDD, 406: operation Section I/F 407: Display section I/F 408: Communication section 410: Operation unit 420: Display device 501: Data recording section 502: User input section 503: Control section 504: Communication section 505: workflow management unit, 506: UI image generation unit, 507: display unit, 508: abnormality detection unit
Claims (17)
前記ワークフローに含まれるプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得手段と、
前記ワークフローに含まれる前記プロセスと、当該プロセスの進捗状況とを示す情報を含んだ画面を、表示装置に表示させる表示制御手段と、
を有することを特徴とする情報処理装置。 Work related to a multi-camera system that includes a plurality of devices, and is performed between the installation of the multi-camera system and the start of imaging of a subject for which 3D shape data is to be generated. a holding means for holding information defining a workflow for
Acquisition means for acquiring information indicating the state of the plurality of devices regarding the progress of the processes included in the workflow;
display control means for causing a display device to display a screen containing information indicating the processes included in the workflow and the progress of the processes;
An information processing device comprising:
前記取得手段は、前記ユーザ操作に対応する前記プロセスについて前記複数の機器の状態を示す情報を取得する、
ことを特徴とする請求項１に記載の情報処理装置。 further comprising operation means for receiving a user operation regarding the process to be executed;
The acquisition means acquires information indicating states of the plurality of devices for the process corresponding to the user operation.
The information processing apparatus according to claim 1, characterized by:
ことを特徴とする請求項２に記載の情報処理装置。 The display control means causes the display device to display a warning when the process, which should have been completed at the time of executing the process corresponding to the user operation, has not ended normally.
3. The information processing apparatus according to claim 2, characterized by:
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。 The display control means causes the screen to display information indicating a category including one or more of the processes and a progress status of the category.
4. The information processing apparatus according to any one of claims 1 to 3, characterized by:
前記プロセスは、前記マルチカメラシステムへの前記複数の撮像装置の接続、前記複数の撮像装置の同期、前記複数の撮像装置が撮像する画像の画角の調整、前記複数の撮像装置が撮像する画像の露出の調整、撮像装置のキャリブレーションの少なくともいずれかに関する、
ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。 The plurality of devices includes a plurality of imaging devices,
The process includes connecting the plurality of imaging devices to the multi-camera system, synchronizing the plurality of imaging devices, adjusting the angle of view of the images captured by the plurality of imaging devices, and adjusting the angle of view of the images captured by the plurality of imaging devices. exposure adjustment and/or imaging device calibration,
5. The information processing apparatus according to any one of claims 1 to 4, characterized in that:
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。 The display control means causes the display device to display at least one of not yet executed, being executed, normally terminated, and abnormally terminated as the progress status of each of the processes.
6. The information processing apparatus according to any one of claims 1 to 5, characterized by:
ことを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。 The display control means causes the display device to display the screen in which the area indicating the progress status is prepared separately from the information of the process.
7. The information processing apparatus according to any one of claims 1 to 6, characterized by:
ことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。 The display control means displays the progress status in a distinguishable manner by at least one of the color, size, pattern, and animation of the area where the progress status is indicated.
8. The information processing apparatus according to any one of claims 1 to 7, characterized by:
前記表示制御手段は、前記異常により影響を受ける前記プロセスの前記進捗状況を、当該プロセスが完了していない状態とした前記画面を前記表示装置に表示させる、
ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。 the acquisition means acquires a notification that an abnormality has occurred in each of the plurality of devices;
The display control means causes the display device to display the screen in which the progress of the process affected by the abnormality is set to an incomplete state of the process.
9. The information processing apparatus according to any one of claims 1 to 8, characterized by:
ことを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。 further comprising means for accepting a user operation to change the progress;
10. The information processing apparatus according to any one of claims 1 to 9, characterized by:
ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。 The multi-camera system is a system for generating virtual viewpoint images,
11. The information processing apparatus according to any one of claims 1 to 10, characterized in that:
ことを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。 The multi-camera system is a system in which the subject is imaged from multiple directions in order to generate three-dimensional shape data of the subject .
12. The information processing apparatus according to any one of claims 1 to 11, characterized by:
複数の機器を含んで構成されるマルチカメラシステムに関する作業であって、当該マルチカメラシステムの設置から三次元形状データの生成対象である被写体の撮像が開始される前までの間に実行される作業に関するワークフローを定めた情報を保持する保持工程と、
前記ワークフローに含まれるプロセスの進捗状況について前記複数の機器の状態を示す情報を取得する取得工程と、
前記ワークフローに含まれる前記プロセスと、当該プロセスの進捗状況とを示す情報を含んだ画面を、表示装置に表示させる表示制御工程と、
を有することを特徴とする方法。 A method executed by an information processing device, comprising:
Work related to a multi-camera system that includes a plurality of devices, and is performed between the installation of the multi-camera system and the start of imaging of a subject for which 3D shape data is to be generated. a retention step that retains information that defines the workflow for
an obtaining step of obtaining information indicating the state of the plurality of devices regarding the progress of the processes included in the workflow;
a display control step of displaying, on a display device, a screen containing information indicating the processes included in the workflow and the progress of the processes;
A method comprising:
前記取得工程において、前記ユーザ操作に対応する前記プロセスについて前記複数の機器の状態を示す情報を取得する、
ことを特徴とする請求項１３に記載の方法。 further comprising an operation step of accepting a user operation regarding the process to be executed;
In the acquiring step, acquiring information indicating states of the plurality of devices for the process corresponding to the user operation;
14. The method of claim 13, wherein:
ことを特徴とする請求項１４に記載の方法。 In the display control step, displaying a warning on the display device when the process that should have been completed at the time of executing the process corresponding to the user operation is not completed normally;
15. The method of claim 14, wherein:
ことを特徴とする請求項１３から１５のいずれか１項に記載の方法。 In the display control step, displaying information indicating a category including one or more of the processes and a progress status of the category on the screen;
16. A method according to any one of claims 13 to 15, characterized in that:
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018163623A JP7227717B2 (en) | 2018-08-31 | 2018-08-31 | Information processing device, method, and program |
| PCT/JP2019/032620 WO2020045186A1 (en) | 2018-08-31 | 2019-08-21 | Information processing device, method, and program |
| US17/174,863 US11627256B2 (en) | 2018-08-31 | 2021-02-12 | Information processing apparatus, method, and non-transitory computer-readable storage medium |
| JP2023018557A JP7462085B2 (en) | 2018-08-31 | 2023-02-09 | Information processing device, method, and program |
| US18/117,510 US20230209180A1 (en) | 2018-08-31 | 2023-03-06 | Information processing apparatus, method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018163623A JP7227717B2 (en) | 2018-08-31 | 2018-08-31 | Information processing device, method, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023018557A Division JP7462085B2 (en) | 2018-08-31 | 2023-02-09 | Information processing device, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020036295A JP2020036295A (en) | 2020-03-05 |
| JP7227717B2 true JP7227717B2 (en) | 2023-02-22 |
Family
ID=69668777
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018163623A Active JP7227717B2 (en) | 2018-08-31 | 2018-08-31 | Information processing device, method, and program |
| JP2023018557A Active JP7462085B2 (en) | 2018-08-31 | 2023-02-09 | Information processing device, method, and program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023018557A Active JP7462085B2 (en) | 2018-08-31 | 2023-02-09 | Information processing device, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7227717B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009181482A (en) | 2008-01-31 | 2009-08-13 | Fuji Television Network Inc | Image processing system and image processing method |
| WO2018070121A1 (en) | 2016-10-11 | 2018-04-19 | キヤノン株式会社 | Image processing system, image processing device, and control method |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006054503A (en) | 2004-08-09 | 2006-02-23 | Olympus Corp | Image generation method and apparatus |
| JP5078423B2 (en) | 2007-05-07 | 2012-11-21 | キヤノン株式会社 | Workflow management server and method |
| WO2011132552A1 (en) | 2010-04-22 | 2011-10-27 | コニカミノルタホールディングス株式会社 | Information processing device, program, information processing method, and information processing system |
| JP5475203B1 (en) | 2012-07-17 | 2014-04-16 | 株式会社クレオネットワークス | Workflow management apparatus and workflow management method |
| CN107209922B (en) | 2015-02-05 | 2020-11-10 | 株式会社理光 | Image processing apparatus, image processing system, and image processing method |
| JP6452585B2 (en) | 2015-10-01 | 2019-01-16 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus and position information acquisition method |
| JP6789624B2 (en) * | 2015-11-20 | 2020-11-25 | キヤノン株式会社 | Information processing device, information processing method |
| JP6197907B2 (en) | 2016-03-29 | 2017-09-20 | 株式会社ニコン | Imaging apparatus, system, electronic device and program |
| JP6833348B2 (en) | 2016-05-25 | 2021-02-24 | キヤノン株式会社 | Information processing device, image processing system, information processing device control method, virtual viewpoint image generation method, and program |
| JP6808357B2 (en) | 2016-05-25 | 2021-01-06 | キヤノン株式会社 | Information processing device, control method, and program |
-
2018
- 2018-08-31 JP JP2018163623A patent/JP7227717B2/en active Active
-
2023
- 2023-02-09 JP JP2023018557A patent/JP7462085B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009181482A (en) | 2008-01-31 | 2009-08-13 | Fuji Television Network Inc | Image processing system and image processing method |
| WO2018070121A1 (en) | 2016-10-11 | 2018-04-19 | キヤノン株式会社 | Image processing system, image processing device, and control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023054061A (en) | 2023-04-13 |
| JP7462085B2 (en) | 2024-04-04 |
| JP2020036295A (en) | 2020-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10594988B2 (en) | Image capture apparatus, method for setting mask image, and recording medium | |
| JP6482696B2 (en) | Display control apparatus, display control method, and program | |
| US10917621B2 (en) | Information processing apparatus, image generating apparatus, control methods therefor, and non-transitory computer-readable storage medium | |
| US11627256B2 (en) | Information processing apparatus, method, and non-transitory computer-readable storage medium | |
| JP6849430B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP7182865B2 (en) | Display control device, display control method, and program | |
| CN106454065B (en) | Information processing apparatus and control method thereof | |
| JP6620394B2 (en) | Control device, control method and program | |
| WO2020068269A1 (en) | Methods, systems, and media for indicating a security status of an internet of things device | |
| JP2016539521A (en) | Video surveillance method, surveillance server, and surveillance system | |
| JP7075252B2 (en) | Information processing equipment and its control method, program | |
| JP6381265B2 (en) | Information processing apparatus, display method, and program | |
| JP7227717B2 (en) | Information processing device, method, and program | |
| US11528462B2 (en) | Display control apparatus, method for controlling display control apparatus, and storage medium | |
| US11610343B2 (en) | Video display control apparatus, method, and non-transitory computer readable medium | |
| JP7297515B2 (en) | Information processing device, information processing method and program | |
| JP2018056845A (en) | Work support apparatus, system, method and program | |
| JP2015198408A (en) | Information processing device, information processing method, and program | |
| JP2022012893A (en) | Information processing apparatus, information processing method, and program | |
| JP2022083816A (en) | Image generation apparatus, image generation method, and program | |
| JP2021141533A (en) | Posture adjustment system and attitude adjustment method, image processing device and control method thereof, and program | |
| CN116805964A (en) | Control device, control method, and storage medium | |
| JP2012169949A (en) | Communications terminal, communication system, communication method and communication program | |
| JP2019118042A (en) | Image processing device, image processing method and program | |
| JP2019068389A (en) | Information processing unit, control method and program of information processing unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220722 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220916 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230210 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7227717 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |