JP7258605B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7258605B2
JP7258605B2 JP2019039845A JP2019039845A JP7258605B2 JP 7258605 B2 JP7258605 B2 JP 7258605B2 JP 2019039845 A JP2019039845 A JP 2019039845A JP 2019039845 A JP2019039845 A JP 2019039845A JP 7258605 B2 JP7258605 B2 JP 7258605B2
Authority
JP
Japan
Prior art keywords
image processing
output destination
data
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019039845A
Other languages
English (en)
Other versions
JP2020145559A (ja
Inventor
良樹 岩切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019039845A priority Critical patent/JP7258605B2/ja
Priority to US16/798,190 priority patent/US11290690B2/en
Publication of JP2020145559A publication Critical patent/JP2020145559A/ja
Application granted granted Critical
Publication of JP7258605B2 publication Critical patent/JP7258605B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/20Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
異なる位置に設置した複数の撮影部により複数の方向から同期して被写体を撮影し、撮影された複数の画像を用いて仮想視点画像を生成する技術がある。仮想視点画像は、撮影部の位置とは異なる様々な視点を視聴できるため、ユーザに高臨場感を与えることができる。
仮想視点画像の生成には、複数の撮影部が撮影した画像を同期して処理するために、それらの画像が一箇所に集約される。
特許文献1には、異なる位置に設置された複数のカメラをデイジーチェーン接続し、撮影した画像をサーバへ伝送し集約する技術が開示されている。
特開2017-211828号公報
例えば、デイジーチェーン接続された複数の撮影部の何れかで異常が発生した場合、後続の他の撮影部からの出力データの送信が失敗してしまう可能性がある。また、デイジーチェーン接続された複数の撮影部の出力データの送信経路のトラフィックに不均衡が生じて、一部の撮影部からの出力データの送信先への到着が遅れてしまう場合がある。このように、デイジーチェーン接続された複数の撮影部の状態に応じて、適切に各撮影部からの出力データを送信できない場合がある。
本発明は、デイジーチェーン接続された撮影部をから出力される画像データに対して、より適切なデータ送信を行うことを目的とする。
本発明の情報処理装置は、デイジーチェーン接続された複数の撮影部であって、指定された視点に対応する画像を生成する画像生成装置に前記デイジーチェーン接続に従って送信される画像データを取得する前記複数の撮影部の状態に関する状態情報を取得する取得手段と、前記取得手段により取得された前記状態情報に基づいて、前記複数の撮影部に含まれる少なくとも一つの撮影部について、前記画像データの出力先を変更する変更手段と、を有する。
本発明によれば、デイジーチェーン接続された撮影部から出力される画像データに対して、より適切なデータ送信を行うことができる。
撮影システムのシステム構成の一例を示す図である。 制御装置のハードウェア構成の一例を示す図である。 制御装置の機能構成の一例を示す図である。 出力先テーブルの一例を示す図である。 制御装置の処理の一例を示すフローチャートである。 出力先切換対象機器リストの一例を示す図である。 出力先テーブルの一例を示す図である。 出力先情報が表示される画面の一例を示す図である。 制御装置の処理の一例を示すフローチャートである。 出力先テーブルの一例を示す図である。 出力先テーブルの一例を示す図である。 制御装置の処理の一例を示すフローチャートである。 出力先テーブルの一例を示す図である。
以下に、本発明の実施の形態の一例を、図面に基づいて詳細に説明する。
<実施形態1>
本実施形態における撮影システムは、複数の撮影部により撮影された画像をデータ集約サーバに集約し、集約した画像に基づいて仮想視点画像を生成するシステムである。本実施形態では、撮影システムは、デイジーチェーン接続された撮影部の何れかで通信異常が発生した場合に、異常が生じた撮影部の後続の撮影部について、出力データをサーバへ送信できるように、出力データの送信経路を制御する。
図1は、本実施形態の撮影システムのシステム構成の一例を示す図である。撮影システムは、カメラ100~111と、画像処理装置200~211と、HUB300と、制御装置400と、集約サーバ装置500とを含む。
画像処理装置200~211それぞれとHUB300とは、伝送ケーブルを介して、デイジーチェーン接続されている。即ち、画像処理装置200~211、HUB300それぞれをノードとする環形のネットワークが構成されている。この伝送ケーブルは、Ethernet(登録商標)であるIEEE標準準拠のGbE(Gigabit Ethernet)ケーブル、10GbEケーブル、ファイバーチャネル等である。
ネットワーク10は、この環形のネットワークを含み、画像処理装置200~211、HUB300、制御装置400、集約サーバ装置500それぞれをノードとするネットワークである。
カメラ100~111それぞれは、撮像素子、レンズ等を含み、画像、音声等をキャプチャリングする撮影装置である。カメラ100~111それぞれは、例えば、デジタルカメラ、デジタルビデオカメラ、監視カメラ等である。本実施形態では、カメラ100~111は、競技場(スタジアム)の外周に競技場を取り囲むように設置されている。ただし、他の例として、カメラ100~111それぞれは、競技場の外周でなく、競技場内を撮影可能な任意の場所に設置されていることとしてもよい。また、カメラ100~111それぞれは、ライブ会場、会議場、公園等の競技場と異なる場所に設置されることとしてもよい。
画像処理装置200~211は、それぞれカメラ100~111と接続され、接続されたカメラを制御する情報処理装置である。ここでは、接続された画像処理装置とカメラとの組を、撮影システムの撮影部と呼ぶが、撮像部は、画像処理装置のみを指すものであってもよいし、カメラだけを指すものであってもよい。本実施形態では、画像処理装置200~211それぞれは、対応するカメラにより撮影された画像データそのものを、出力データとして、ネットワーク10を介して、集約サーバ装置500へ送信する。
また、画像処理装置200~211それぞれは、対応するカメラから取得した画像データから、仮想視点画像に用いられるデータを抽出する機能を有する。画像処理装置200~211それぞれは、例えば、対応するカメラから入力された画像データから被写体部分のみを抽出し、画像データの被写体が写っている領域の画像データのみを集約サーバ装置500へ送信できる。また、画像処理装置200~211それぞれは、対応するカメラから取得した音声データから、競技場内の音声データを抽出し、抽出した音声データを集約サーバ装置500へ送信できる。また、画像処理装置200~211は、集約サーバ装置500への送信対象のデータを、直接どの装置に出力しているか示す出力先情報を、ネットワーク10を介して制御装置400へ送信する。
本実施形態では、画像処理装置200~211それぞれは、対応するカメラにより撮影された画像データそのものを、出力データとして出力することとする。ただし、他の例として、画像処理装置200~211それぞれは、他のデータを出力データとして出力してもよい。
例えば、画像処理装置200~211それぞれは、対応するカメラにより撮影された画像データから抽出された画像データを、出力データとして出力してもよい。また、例えば、画像処理装置200~211それぞれは、対応するカメラに含まれるマイクを介して取得された音声データを、出力データとして出力してもよい。また、例えば、画像処理装置200~211それぞれは、対応するカメラを介して取得した画像データと音声データとを、出力データとして出力してもよい。
HUB300は、接続された機器同士の通信に用いられる集線装置である。HUB300は、画像処理装置200~211から送信された情報を、適宜、制御装置400や集約サーバ装置500に送信する。
制御装置400は、ネットワーク10を介して、画像処理装置200~211それぞれを制御する情報処理装置である。本実施形態では、制御装置400は、パーソナルコンピュータ(PC)であるとする。ただし、他の例として、制御装置400は、サーバ装置、タブレット装置、組み込み式のコンピュータ等のPCと異なる情報処理装置であってもよい。
制御装置400は、画像処理装置200~211それぞれについての、出力データの直接的な出力先を示す情報を表示部に表示する。以下では、出力データの直接的な出力先を、データ出力先とする。表示内容については、図8で後述する。また、制御装置400は、画像処理装置200~211の何れかについて、データ出力先の変更が必要か否かを判断し、変更が必要であると判断した場合、新たなデータ出力先を示す情報を、その画像処理装置に送信する。
集約サーバ装置500は、画像処理装置200~211から送信される画像データを、仮想視点画像を作成するためのデータとして、集約し、集約したデータを用いて仮想視点画像を生成する。本実施形態では、集約サーバ装置500は、PCであるとする。ただし、他の例として、集約サーバ装置500は、サーバ装置等の他の情報処理装置であってもよい。集約サーバ装置500は、画像生成装置の一例である。この仮想視点画像は、例えばユーザが指定した仮想視点に対応する画像である。また、仮想視点は、ユーザによって指定されなくてもよく、例えば、装置により自動で指定される又は設定されるものでもよい。また、仮想視点の指定は、少なからず仮想視点の位置及び方向の指定を含む。
また、集約サーバ装置500は、集約したデータを用いて仮想視点画像を作成する機能を有する。本実施形態では、集約サーバ装置500は、1台の情報処理装置であるとする。ただし、他の例として、集約サーバ装置500は、2台以上の情報処理装置から構成されるシステムであることとしてもよい。
ここで、画像処理装置200~211それぞれから集約サーバ装置500へ送信されるデータの流れについて説明する。
画像処理装置201~210それぞれは、隣り合う2つの画像処理装置から選択された画像処理装置に対して、集約サーバ装置500へ送信するデータを直接的に出力する。画像処理装置201~210それぞれは、隣り合う2つの画像処理装置のうちの一方からデータを受付けた場合、以下のようにする。即ち、画像処理装置201~210それぞれは、受け付けたデータが自装置宛てのデータであれば、そのまま取得し、自装置宛てのデータでなければ、受け付けたデータを、隣り合う2つの画像処理装置のうちの他方へ出力する。例えば、画像処理装置205が画像処理装置206から集約サーバ装置500宛てのデータを受付けた場合、受け付けたデータを画像処理装置204に出力する。これにより、画像処理装置201~210の何れかから出力されたデータは、画像処理装置200、211の何れかに出力される。そして、画像処理装置200、211それぞれは、隣の画像処理装置からデータを受付けた場合、受け付けたデータを集約サーバ装置500に出力する。また、画像処理装置200、211それぞれは、集約サーバ装置500に送信するデータを、直接、集約サーバ装置500に出力する。このようにして、画像処理装置200~211それぞれは、データを集約サーバ装置500に送信する。また、画像処理装置200~211それぞれは、同様の処理で、データを制御装置400に送信する。
また、制御装置400が、画像処理装置200~211の何れかにデータを送信する処理について説明する。制御装置400が、画像処理装置200、211については、直接データを送信する。また、制御装置400が、画像処理装置201~210の何れかにデータを送信する場合、まずデータを画像処理装置200、211の双方に出力する。そして、画像処理装置200、211それぞれは、受け付けたデータを隣の画像処理装置に出力する。このように、2つの送信経路(画像処理装置200を経由する経路と画像処理装置211を経由する経路と)で、データが送信先に送信される。これにより、例えば、制御装置400が画像処理装置205にデータを送信する際に、画像処理装置203に異常が発生した場合であっても、画像処理装置211を経由する経路での送信は成功する。
このように、制御装置400は、画像処理装置200~211の何れか1つに異常が発生した場合でも、他の画像処理装置にデータを送信することができる。
図2は、制御装置400のハードウェアの構成の一例を示す図である。制御装置400は、コントローラユニット401、操作ユニット410、及び、表示装置411を含む。
コントローラユニット401は、制御装置400を制御するユニットである。コントローラユニット401は、Central Processing Unit(CPU)402、Read Only Memory(ROM)403、Random Access Memory(RAM)404を含む。また、コントローラユニット401は、Hard Disk Drive(HDD)405、操作部I/F406、表示部I/F407、通信I/F408を含む。各要素は、システムバス409を介して相互に通信可能に接続されている。
CPU402は、制御装置400を制御する中央演算装置である。CPU402は、ROM403に格納されているブートプログラムによりOS(Operating System)を起動する。CPU402は、このOS上で、HDD405に格納されているアプリケーションプログラムを実行する。CPU402は、アプリケーションプログラムの実行によって各種処理を実現する。
ROM403は、各種プログラム、各種設定情報を記憶する記憶装置である。RAM404は、CPU402の作業領域、データの一時的な記憶領域等として機能する記憶装置である。HDD405は、各種プログラム、各種設定情報等を記憶する記憶装置である。
操作部I/F406は、操作ユニット410との間での情報の入出力に用いられるインターフェースである。CPU402は、操作部I/F406を介して、ユーザによる操作ユニット410の操作によって入力された情報を取得する。操作ユニット410は、制御装置400に対する情報の入力に用いられる入力装置であり、例えば、マウス、キーボード、タッチパネル等である。
表示部I/F407は、表示装置411への情報の出力に用いられるインターフェースである。CPU402は、表示部I/F407を介して、画像データを表示装置411に出力する。表示装置411は、フレームバッファ、及び表示パネルを備える表示装置であり、モニタ、ディスプレイ等である。表示パネルは、例えば、液晶パネルや有機ELパネルである。
通信I/F408は、ネットワーク10を介した外部の装置との通信に用いられるインターフェースである。通信I/F408は、伝送ケーブルに接続される。CPU402は、通信I/F408を介して、ユーザ端末、HUB300、画像処理装置200~211等の外部の装置との間で情報の入出力を行う。
以上、本実施形態の制御装置400のハードウェア構成について説明した。ただし、他の例として、制御装置400のハードウェア構成は、図1と異なることとしてもよい。例えば、制御装置400は、表示装置411を含まないこととしてもよい。その場合、制御装置400は、通信I/F408を介して接続された外部の表示装置に画像を表示させることとしてもよい。
CPU402が、ROM403、HDD405等に記憶されたプログラムにしたがって処理を実行することで、図3で後述する制御装置400の機能、図5、9、12で後述するフローチャートの処理等が実現される。
図3は、本実施形態の制御装置400の機能構成の一例を示す図である。制御装置400は、データ管理部501、システム管理部502、通信制御部503、検出部504、出力先決定部505、制御部506、入力制御部507、UI生成部508、表示制御部509を含む。各要素は、内部バス510を介して相互に通信可能に接続されている。
データ管理部501は、画像処理装置200~211についてのデータ出力先を示す出力先情報をHDD405に記憶し、管理する。本実施形態では、出力先情報は、テーブルに格納された情報として管理される。以下では、出力先情報を格納するテーブルを、出力先テーブルとする。本実施形態では、制御装置400の初期状態において、出力先テーブルは、HDD405に予め定められた初期値の状態で記憶されている。出力先テーブルには、各画像処理装置について、接続されているカメラの情報、ネットワーク10を介してデイジーチェーン接続されている装置を示す情報、データ出力先の情報が含まれる。
図4は、出力先テーブルの一例を示す図である。図4に示す出力先テーブルは、出力先テーブルの予め定められた初期値の状態である。出力先テーブルには、画像処理装置、接続カメラ、接続装置、出力先装置の項目が含まれる。画像処理装置の項目は、対応する画像処理装置を示す項目である。また、接続カメラの項目は、対応する画像処理装置に接続されたカメラを示す項目である。また、接続装置の項目は、対応する画像処理装置にデイジーチェーン接続により直接、又は、HUB300を介して、接続されている装置を示す項目である。また、出力先装置の項目は、対応する画像処理装置についてのデータ出力先を示す項目である。
図4の出力先テーブルには、画像処理装置201が、カメラ101と接続されており、画像処理装置200と画像処理装置202とにデイジーチェーン接続されていることが示されている。また、図4の出力先テーブルには、画像処理装置201が、出力データを、直接的に画像処理装置200に出力することが示されている。よって、画像処理装置201は、初期状態においては、出力データを、画像処理装置200に出力する。
システム管理部502は、データ管理部501により管理された出力先テーブルを更新する処理を行う。システム管理部502は、出力先テーブル内の何れかの画像処理装置に対応する出力先装置の項目を更新すると、制御部506に対して、対応する画像処理装置に対するデータ出力先の設定を要求する。また、システム管理部502は、UI生成部508へ、各画像処理装置についての出力先情報を出力する。データ出力先は、制御装置400の起動の際、出力先決定部505がデータ出力先の変更の指示を行った際等のタイミングで変更される。
通信制御部503は、制御部506からのデータ出力先の設定の指示を取得し、対応する画像処理装置へデータ出力先の設定を指示する。出力先の設定の指示とは、画像処理装置に対して行われる指示であって、データ出力先を、指示に応じた出力先に設定することを指示する情報である。また、通信制御部503は、画像処理装置200~211それぞれと、Keep-Alive信号を送受信することで、ネットワーク接続の確認を定期的に実行する。Keep-Alive信号とは、画像処理装置200~211それぞれと、制御装置400と、の間で送受信される信号であって、画像処理装置200~211それぞれと制御装置400との間での通信が可能であることの確認に用いられる信号である。
検出部504は、通信制御部503を介して、画像処理装置200~211それぞれとの間のネットワークを介した接続を監視することで、画像処理装置200~211それぞれとの通信に生じた異常を検出する。検出部504は、画像処理装置200~211の何れかとの間で、Keep-Alive信号の送受信が不可になったことを検出することで、その画像処理装置との間での通信の切断(通信不可)を検出する。Keep-Alive信号の送受信が不可になった画像処理装置の情報は、複数の撮影部の状態に関する状態情報の一例である。そして、検出部504は、その画像処理装置で通信の切断が発生したことを示す通知を、出力先決定部505へ出力する。この通信の切断は、即ち、画像処理装置からの出力が途絶えていることを意味する。よって、デイジーチェーン接続構成においては、出力が途絶えている画像処理装置を経由して出力データを送信先に送信する後続の画像処理装置は、出力データを集約サーバ装置500へ送信できなくなる。
出力先決定部505は、検出部504から異常発生の通知を受信すると、受信した通知から通信の切断が発生した画像処理装置を特定する。そして、出力先決定部505は、システム管理部502に対して、出力先テーブルにおける特定した画像処理装置についてのデータの更新を指示する。
制御部506は、システム管理部502から取得した出力先テーブルに記述されている出力先装置の情報を元に、画像処理装置200~211それぞれについて、データ出力先の指定を示す情報を生成し、通信制御部503へ送信する。
入力制御部507は、操作ユニット410を介して入力された情報を受け付け、制御部506に出力する。
UI生成部508は、システム管理部502から取得した出力先テーブルに基づいて、UI画像を生成し、表示制御部509へ出力する。
表示制御部509は、UI生成部508から出力されたUI画像を、表示装置411のフレームバッファに上書きし、フレームバッファに格納したUI画像を所定のリフレッシュレートで読み出して表示装置411の表示パネルに表示する。
図5を用いて、制御装置400が画像処理装置のデータ出力先を変更する処理について説明する。出力先決定部505は、図5の処理の開始前に、RAM404に、データ出力先の変更の対象となる画像処理装置の情報の一覧を格納するためのリスト形式の情報である切換対象リストを用意する。図5の処理の開始前においては、切換対象リストには、画像処理装置の情報は1つも格納されていない。
S801において、出力先決定部505は、検出部504から異常の通知を受信したか否かを判定する。出力先決定部505は、検出部504から異常の通知を受信したと判定した場合、受信した通知に基づいて、画像処理装置200~211から通信の切断が発生した画像処理装置を特定し、処理をS802に進める。出力先決定部505は、特定した画像処理装置を、装置Aとおく。また、出力先決定部505は、検出部504から異常の通知を受信していないと判定した場合、処理をS801に進める。
本実施形態では、S801で特定された通信の切断が発生した画像処理装置を、異常装置とする。
S802において、出力先決定部505は、出力先テーブルに基づいて、装置Aに対して出力データを直接的に出力している画像処理装置が存在するか否かを確認する。より具体的には、出力先決定部505は、出力先テーブルに、出力先装置の項目がS801で特定した画像処理装置を示す画像処理装置のデータが格納されているか否かを確認する。
出力先決定部505は、存在すると確認した場合、存在すると確認した画像処理装置を、装置Bとおく。また、出力先決定部505は、存在しないと確認した場合、装置Bが存在しないと決定する。
S803において、出力先決定部505は、装置Bが存在するか否かを判定する。出力先決定部505は、装置Bが存在すると判定した場合、処理をS804に進める。また、出力先決定部505は、装置Bが存在しないと判定した場合、RAM404に記憶された切換対象リスト内の画像処理装置それぞれについてのデータ出力先の変更をシステム管理部502に指示し、処理をS806に進める。
S804において、出力先決定部505は、RAM404に記憶された切換対象リストに、装置Bの情報を追加する。
S805において、出力先決定部505は、装置Bを、新たな装置Aとして決定し、処理をS802に進める。
出力先決定部505は、S802~S805の処理を繰り返すことで、S801で特定した異常装置を経由して、集約サーバ装置500に出力データを送信している画像処理装置の一覧の情報を切換対象リストに格納できる。即ち、切換対象リストには、異常装置の影響で、出力データの集約サーバ装置500への送信ができなくなった画像処理装置の一覧の情報が、格納されることとなる。
S806において、システム管理部502は、切換対象リストに格納された画像処理装置それぞれについて、異常装置を経由せずに出力データを集約サーバ装置500に送信できるように、データ出力先を変更することで、出力データの送信経路の方向を変更する。
本実施形態では、画像処理装置200~211それぞれについては、データ出力先の候補は、2つ(隣り合う2つの画像処理装置、又は、隣の画像処理装置及び集約サーバ装置500)存在する。システム管理部502は、切換対象リストに格納された画像処理装置それぞれについて、データ出力先を、2つの候補のうち、処理時点における出力先テーブルの出力先装置の項目が示す候補と異なる方の候補に決定する。
そして、システム管理部502は、出力先テーブルにおける切換対象リストに格納された画像処理装置それぞれについての出力先装置の項目の情報を、決定したデータ出力先の情報で更新する。
S807において、システム管理部502は、制御部506に対して、切換対象リストに格納された画像処理装置それぞれについて、データ出力先を、S806で決定したデータ出力先に変更するよう指示する。制御部506は、この指示を受けて、切換対象リストに格納された画像処理装置それぞれに対して、データ出力先をS806で決定されたデータ出力先とする指示を送信する。これにより、切換対象リストに格納された画像処理装置それぞれのデータ出力先が変更される。
このようにして、制御装置400は、切換対象リストに格納された画像処理装置それぞれについての出力データの送信経路を、異常装置を経由しないように、方向を変更するよう制御する。
ここで、画像処理装置203に通信の切断の異常が発生した場合について説明する。
出力先決定部505は、検出部504から異常発生の通知を取得すると、出力先テーブル内の出力先装置を確認し、画像処理装置203に対して出力データを直接的に出力する画像処理装置の存在を確認する。その結果、出力先決定部505は、画像処理装置204の存在を確認し、切換対象リストへ追加する。
次に、出力先決定部505は、出力先テーブル内の出力先装置を確認し、画像処理装置204に対して出力データを直接的に出力する画像処理装置の存在を確認する。その結果、出力先決定部505は、画像処理装置205の存在を確認し、切換対象リストへ追加する。出力先決定部505は、出力先テーブル内の出力先装置を確認し、画像処理装置205に対して出力データを直接的に出力する画像処理装置の存在を確認する。その結果、出力先決定部505は、画像処理装置205に対して直接的に出力データを出力する画像処理装置が存在しないことを確認する。この場合、切換対象リストには、図6に示すように、画像処理装置204と画像処理装置205との情報含まれる。
そして、システム管理部502は、切換対象リストを取得し、出力先テーブルにおける切換対象リストに含まれる画像処理装置についての出力先装置の情報を変更する。図6の例では、システム管理部502は、出力先テーブルの接続装置の項目に基づいて、切換対象リストに記載されている画像処理装置204に画像処理装置203と画像処理装置205とが接続されていることを特定する。そして、システム管理部502は、出力先テーブル内の画像処理装置204に対応する出力先装置の項目を、画像処理装置203から画像処理装置205へ変更する。同様に、システム管理部502は、出力先テーブル内の画像処理装置205に対応する出力先装置の項目を、画像処理装置206へ変更する。変更された出力先テーブルを、図7に示す。画像処理装置204、205それぞれについての出力先装置の項目が、図4に示す内容から変更されていることが分かる。
図8を用いて、表示制御部509が表示装置411に、画像処理装置200~211それぞれについての出力先装置の情報を表示する処理を説明する。画像処理装置200~211が全て正常に動作している場合、表示制御部509は、図8(a)に示す画像を表示装置411に表示する。画像処理装置200~211それぞれがデイジーチェーン接続されている様子が示されている。図8(a)の例では、表示制御部509は、画像処理装置200~211それぞれを示すオブジェクトと、各オブジェクトを繋ぐ実線(画像処理装置間の接続に用いられるケーブルを示す)と、を表示装置411に表示している。
また、表示制御部509は、画像処理装置200~211それぞれのオブジェクトの近傍に、各画像処理装置に対応する出力先装置の方向を示す矢印オブジェクトを表示する。この矢印オブジェクトは、対応する画像処理装置のデータ出力先の方向(出力データの送信経路の方向)を示している。画像処理装置205を例に説明すると、画像処理装置205の出力データは、直接的に画像処理装置204に出力され、その後、画像処理装置203、202、201、200を経由して集約サーバ装置500へ送信される。
また、表示制御部509は、画像処理装置203に通信の切断の異常が発生し、図5の処理が実行された場合、図8(b)に示す画像を表示装置411に表示する。表示制御部509は、通信の切断が発生した画像処理装置203については、対応する矢印オブジェクトを点線で表示する。これにより、表示制御部509は、画像処理装置203に通信異常が発生していることをユーザに提示できる。ただし、他の例として、表示制御部509は、画像処理装置203に対応する矢印オブジェクトを点滅表示等の他の形式で表示することとしてもよい。また、表示制御部509は、画像処理装置203に対応する矢印オブジェクトを表示しないこととしてもよい。
また、表示制御部509は、出力先装置が変更された画像処理装置204、画像処理装置205それぞれに対応する矢印オブジェクトについては、データ出力先が変更されていない画像処理装置に対応する矢印オブジェクトと異なる形式で表示する。本実施形態では、表示制御部509は、データ出力先が変更された画像処理装置204、画像処理装置205それぞれに対応する矢印オブジェクトについては、色を変更して表示する。これにより、表示制御部509は、ユーザに対して、画像処理装置204、画像処理装置205それぞれについて、データ出力先が変更されたことを提示できる。ただし、他の例として、表示制御部509は、データ出力先が変更された画像処理装置204、画像処理装置205それぞれに対応する矢印オブジェクトについては、点滅表示、太線表示等の他の形式で表示してもよい。
また、撮影システムは、操作ユニット410を介して入力された情報に基づいて、画像処理装置200~211の何れかについてのデータ出力先を変更することとしてもよい。例えば、撮影システムは、表示制御部509に表示されている画像処理装置200~211を示すオブジェクトへのクリック操作等に応じて、そのオブジェクトに対応する画像処理装置についてのデータ出力先を変更することとしてもよい。
以上、本実施形態では、撮影システムは、何れかの画像処理装置において通信の切断が発生したことを示す通知を受付けた場合、以下のような処理を行うこととした。即ち、撮影システムは、受け付けた通知が示す画像処理装置を経由して出力データを送信する画像処理装置について、データ出力先を変更することで、出力データの送信経路の方向を変更した。これにより、撮影システムは、デイジーチェーン接続された画像処理装置の何れかで通信の切断の異常が発生した場合でも、後続の画像処理装置からの出力データについても送信が失敗する事態を回避できる。即ち、撮影システムは、デイジーチェーン接続された複数の画像処理装置からの出力データのより適切な送信を支援できる。結果として、撮影システムは、送信された出力データから生成される仮想視点画像の品質の低下を防止できる。
<実施形態2>
本実施形態では、撮影システムは、各撮影部の通信帯域の使用量に応じて、各撮影部について出力データの送信経路の方向を変更する。
画像処理装置201~210の何れかから集約サーバ装置500へ出力データを送信する場合、画像処理装置200を経由する送信経路と、画像処理装置211を経由する送信経路と、の2つの送信経路がある。図1の例では、デイジーチェーン接続された画像処理装置200~211で構成される環形のネットワーク上における時計回りの送信経路(画像処理装置211経由)と、反時計回りの送信経路(画像処理装置200経由)と、がある。以下では、画像処理装置200経由の送信経路を第1経路とする。また、以下では、画像処理装置211経由の送信経路を第2経路とする。
本実施形態では、撮影システムは、画像処理装置200、画像処理装置211それぞれについて、出力側における通信帯域の使用量を監視することで、第1経路のトラフィックと第2経路のトラフィックとの不均衡を検出する。
本実施形態では、画像処理装置200は、送信対象の出力データ(第1経路上の全ての画像処理装置の出力データの集合)を送信する際に、送信にかかる通信帯域の使用量を制御装置400に送信する。また、画像処理装置211は、送信対象の出力データ(第2経路上の全ての画像処理装置の出力データの集合)を送信する際に、送信にかかる通信帯域の使用量を制御装置400に送信する。制御装置400は、画像処理装置200、画像処理装置211それぞれから送信された通信帯域の使用量を取得し、比較することで、第1経路のトラフィックと第2経路のトラフィックとの不均衡を検出する。画像処理装置200、画像処理装置211それぞれから送信された通信帯域の使用量の情報は、状態情報の一例である。
本実施形態の撮影システムのシステム構成は、実施形態1と同様である。また、本実施形態の制御装置400のハードウェア構成、機能構成は、実施形態1と同様である。
本実施形態では、通信制御部503、検出部504それぞれの処理が、実施形態1と異なる。通信制御部503は、実施形態1と同様の処理に加えて、画像処理装置200~211の内、データ出力先が集約サーバ装置500である画像処理装置200、211それぞれについての出力側における通信帯域の使用量を確認する。
検出部504は、通信制御部503により確認された通信帯域の使用量に基づいて、第1経路と第2経路との間でのトラフィックの不均衡を検出する。本実施形態では、検出部504は、通信制御部503により確認された通信帯域の使用量のうち、大きい方の値の小さい方の値に対する割合が予め定められた閾値(例えば、120%、150%等)以上となる場合、以下のようにする。2つの画像処理装置の通信帯域の使用量のうち、大きい方の値の小さい方の値に対する割合が予め定められた閾値以上となることは、予め定められた条件の一例である。即ち、検出部504は、第1経路と第2経路との間でのトラフィックの不均衡を検出する。ただし、他の例として。検出部504は、他の方法で、第1経路と第2経路との間でのトラフィックの不均衡を検出してもよい。例えば、検出部504は、通信制御部503により確認された通信帯域の使用量同士の差分の大きさが、予め定められた閾値以上となる場合に、第1経路と第2経路との間でのトラフィックの不均衡を検出してもよい。
そして、検出部504は、トラフィックの不均衡の異常が発生したことを示す通知を出力先決定部505へ送信する。
図9は、本実施形態の制御装置400の処理の一例を示すフローチャートである。
S901において、出力先決定部505は、検出部504から異常発生の通知を受付けたか否かを判定する。出力先決定部505は、検出部504から異常発生の通知を受付けたと判定した場合、通信制御部503により確認された通信帯域の使用量のうち、大きい方の使用量に対応する画像処理装置を装置Aとおき、処理をS902に進める。出力先決定部505は、検出部504から異常発生の通知を受付けていないと判定した場合、処理をS901に進める。
本実施形態では、通信制御部503により確認された通信帯域の使用量のうち、大きい方の使用量に対応する画像処理装置を、異常装置とする。
S902において、出力先決定部505は、出力先テーブルに基づいて、画像処理装置200~211のうち、装置Aをデータ出力先とする画像処理装置を特定する。出力先決定部505は、装置Aをデータ出力先とする画像処理装置を特定できた場合、特定した画像処理装置を装置Bとおき、装置Aをデータ出力先とする画像処理装置が存在しない場合、装置Bが存在しないと決定する。
S903において、出力先決定部505は、装置Bが存在するか否かを判定する。出力先決定部505は、装置Bが存在すると判定した場合、処理をS904に進め、存在しないと判定した場合、装置Aについてのデータ出力先の変更をシステム管理部502に指示し、処理をS905に進める。
S904において、出力先決定部505は、装置Bを新たに装置Aとして決定し、処理をS902に進める。
S905において、システム管理部502は、装置Aについて、異常装置を経由せずに出力データを集約サーバ装置500に送信できるように、データ出力先を決定することで、出力データの送信経路の方向を変更する。そして、システム管理部502は、出力先テーブルにおける装置Aについての出力先装置の項目の情報を、決定したデータ出力先の情報で更新する。
S906において、システム管理部502は、制御部506に対して、装置Aについて、データ出力先を、S905で決定したデータ出力先に変更するよう指示する。制御部506は、この指示を受けて、装置Aに対して、データ出力先をS905で決定されたデータ出力先とする指示を送信する。
このようにして、制御装置400は、装置Aについての出力データの送信経路を、異常装置を経由しない経路にするよう制御する。装置Aが出力データの送信に用いる送信経路を変更することで、第1経路と第2経路とのトラフィックの不均衡が軽減される。
ここで、第1経路と第2経路とトラフィックの不均衡が発生し、異常装置が画像処理装置211である場合について説明する。
出力先決定部505は、検出部504から異常発生の通知を取得すると、出力先テーブル内の出力先装置を確認し、画像処理装置211に対して出力データを直接的に出力する画像処理装置の存在を確認する。次に、出力先決定部505は、出力先テーブル内の出力先装置を確認し、画像処理装置210に対して出力データを直接的に出力する画像処理装置の存在を確認する。その結果、出力先決定部505は、画像処理装置209の存在を確認する。出力先決定部505は、以上の処理を繰り返し、画像処理装置211を経由して出力データを送信する画像処理装置のうち画像処理装置211から最も離れた画像処理装置として、画像処理装置206を確認する。ここで、最も離れているとは、出力データの送信に最も多くのノード(画像処理装置)を経由することを意味する。
そして、システム管理部502は、出力先テーブルにおける画像処理装置206についての出力先装置の情報を変更する。より具体的には、システム管理部502は、出力先テーブル内の画像処理装置206に対応する出力先装置の項目を、画像処理装置207から画像処理装置205へ変更する。その結果、出力先テーブルの内容は、図10に示す内容となる。
なお、本実施形態では、撮影システムは、集約サーバ装置500をデータ出力先とする画像処理装置200、211の通信帯域の使用量を監視したが、画像処理装置200~211それぞれの通信帯域の使用量を監視してもよい。更に、撮影システムは、画像処理装置200~211それぞれの過去の通信帯域の使用量の最大値を最大通信帯域として記憶しておき、各経路の最大通信帯域の総和が平準化するように、画像処理装置200~211のデータ出力先を設定してもよい。
本実施形態では、画像処理装置200、211それぞれは、送信対象の出力データを送信する際に、送信にかかる通信帯域の使用量を制御装置400に送信することとした。そして、制御装置400は、画像処理装置200、画像処理装置211それぞれから送信された通信帯域の使用量を取得し、比較することで、第1経路のトラフィックと第2経路のトラフィックとの不均衡を検出することとした。
ただし、他の例として、制御装置400は、他の方法で、第1経路のトラフィックと第2経路のトラフィックとの不均衡を検出することとしてもよい。
例えば、画像処理装置200、211それぞれは、送信対象の出力データを送信する際に、送信にかかる通信帯域の使用量を制御装置400に送信しないこととしてもよい。その場合、例えば、集約サーバ装置500は、画像処理装置200、画像処理装置211それぞれから受信したデータの量を監視することで、画像処理装置200、画像処理装置211それぞれについての通信帯域の使用量を取得する。そして、制御装置400は、集約サーバ装置500から、画像処理装置200、画像処理装置211それぞれについての通信帯域の使用量を取得し、比較することとしてもよい。
また、例えば、画像処理装置200は、送信の完了した送信対象の出力データ(第1経路上の全ての画像処理装置の出力データの集合)の送信にかかった実際の通信帯域の使用量を制御装置400に送信することとしてもよい。また、画像処理装置211は、送信の完了した送信対象の出力データ(第2経路上の全ての画像処理装置の出力データの集合)の送信にかかった通信帯域の使用量を制御装置400に送信してもよい。
そして、制御装置400は、画像処理装置200、画像処理装置211それぞれから送信されたこれらの使用量を比較することで、第1経路のトラフィックと第2経路のトラフィックとの不均衡を検出することとしてもよい。
また、例えば、画像処理装置200~211それぞれは、出力データの送信の前に、自装置の出力データの送信に係る通信帯域の使用量を制御装置に送信することとしてもよい。そして、制御装置400は、各画像処理装置が出力データの送信を開始する前に、各画像処理装置それぞれから、各個の出力データの送信にかかる通信帯域の使用量を取得する。そして、制御装置400は、第1経路上の画像処理装置それぞれから取得した使用量を合計した値を、第1経路のトラフィックとして取得する。また、制御装置400は、第2経路上の画像処理装置それぞれから取得した使用量を合計した値を、第2経路のトラフィックとして取得する。そして、制御装置400は、取得した第1経路のトラフィックと第2経路のトラフィックとを比較することで、不均衡を検出することとしてもよい。
これにより、制御装置400は、実際に出力データの送信において、トラフィックの不均衡が発生することを防止することができる。
また、本実施形態では、制御装置400は、S905で、異常装置から最も離れた装置Aについてのみ、データ出力先を決定することとした。ただし、他の例として、制御装置400は、出力データの送信の際に経由する画像処理装置の数が最も多い(最も離れた)ものから順に選択した2つ以上の画像処理装置について、データ出力先を変更することとしてもよい。
例えば、制御装置400は、異常装置を経由して出力データを送信する画像処理装置それぞれについて、対応する出力データの送信に係る帯域の使用量を取得する。そして、制御装置400は、第1経路のトラフィックと第2経路のトラフィックとの不均衡を軽減するように、データ出力先を変更する画像処理装置を決定する。
例えば、制御装置400は、第1経路のトラフィックと第2経路のトラフィックとの差分の二分の一の値を、不均衡量として取得する。そして、制御装置400は、異常装置を経由して出力データを送信する画像処理装置の中から、出力データの送信に経由するノードの数が多い順に装置Aから1つ以上の画像処理装置を選択する。制御装置400は、選択した画像処理装置それぞれについての出力データの送信にかかる通信帯域の使用量の合計と、不均衡量と、の差分が最小となるように、この1つ以上の画像処理装置を選択する。そして、制御装置400は、求めた差分の絶対値が最小となる場合に選択していた画像処理装置それぞれについて、データ出力先を変更する。
これにより、制御装置400は、第1経路のトラフィックと第2経路のトラフィックとの不均衡をより是正できる。
以上、本実施形態の処理により、撮影システムは、第1経路と第2経路とのうちの一方に送信データが集中し、トラフィックに不均衡が生じる事態を防止できる。
<実施形態3>
本実施形態では、撮影システムは、カメラに装着しているレンズの種別や設定に応じて画像処理装置のデータ出力先を決定することで、各経路のトラフィックの不均衡を防止する。
デイジーチェーン接続された各機器は、他の機器の出力データを積み上げて出力データを送信するため、可能な限り少ないデータ量で送信することが望ましい。そこで、本実施形態では、画像処理装置200~211それぞれは、動きのあるオブジェクトについての画像のみを出力データとして送信することとする。その場合、各カメラに使用されるレンズによって、撮影された画像内に写るオブジェクトの量が異なる傾向がある。例えば、広角レンズの場合、広い空間が撮影されるため、画像に写りこむオブジェクトの量が多くなる傾向がある。
そこで、本実施形態では、撮影システムは、画像処理装置200~211それぞれに対応するカメラが使用するレンズに応じて伝送先を決定することで、伝送データを平準化できる。
本実施形態の撮影システムのシステム構成は、実施形態1と同様である。また、本実施形態の制御装置400のハードウェア構成、機能構成は、実施形態1と同様である。
図11は、本実施形態の出力先テーブルの一例を示す図である。本実施形態の出力先テーブルは、実施形態1と比べて、対応するカメラに装着されているレンズの種別を示すレンズの項目が含まれる。本実施形態では、レンズには、18~80mmと70~200mmとの2つの種類がある。
本実施形態では、データ管理部501、システム管理部502、出力先決定部505それぞれの処理が、実施形態1と異なる。システム管理部502は、制御装置400の起動の際にデータ管理部501から出力先テーブルの情報を取得した後、出力先決定部505へ出力先テーブル尾の情報を出力する。
図12は、本実施形態の制御装置400の処理の一例を示すフローチャートである。制御装置400は、起動の際に図12の処理を開始する。
S1401において、出力先決定部505は、データ管理部501から取得した出力先テーブルのレンズの項目を確認し、レンズの種別ごとに画像処理装置を集計する。図11の例では、出力先決定部505は、18~80mmの種別のレンズに対応する画像処理装置について4台、70~200mmの種別のレンズに対応する画像処理装置について8台と集計する。
S1402において、出力先決定部505は、18~80mmの種別のレンズ、70~200mmの種別のレンズ全てについて、S1403~S1405の処理が完了したか否かを判定する。出力先決定部505は、レンズ全てについて、S1403~S1405の処理が完了したと判定した場合、処理をS1406に進める。出力先決定部505は、S1403~S1405の処理が完了していないレンズがあると判定した場合、S1403~S1405の処理が完了していないレンズの一つを選択レンズとして、処理をS1403に進める。
本実施形態では、出力先決定部505は、選択レンズに対応する画像処理装置を半数ずつ分けて、データ出力先を決定する。
S1403において、出力先決定部505は、選択レンズに対応する画像処理装置のうちの半数を特定する。出力先決定部505は、特定した画像処理装置それぞれのデータ出力先を、出力先テーブルの接続装置に示される装置のうち1つ目の装置に決定する。即ち、出力先決定部505は、特定した画像処理装置それぞれのデータ出力先を、第1経路側の接続装置に決定する。
S1404において、出力先決定部505は、選択レンズに対応する残りの画像処理装置のうちの半数を特定する。出力先決定部505は、特定した画像処理装置それぞれのデータ出力先を、出力先テーブルの接続装置に示される装置のうち2つ目の装置に決定する。即ち、出力先決定部505は、特定した画像処理装置それぞれのデータ出力先を、第2経路側の接続装置に決定する。
S1405において、出力先決定部505は、選択レンズについて、対応する画像処理装置のデータ出力先の決定が完了したことを決定し、処理をS1402に進める。
S1406において、出力先決定部505は、制御部506に対して、画像処理装置200~211それぞれについて、データ出力先の設定を指示する。図11の例では、18~80mmのレンズに対応する4台の画像処理装置のうち、画像処理装置207、208それぞれは、出力先テーブルの接続装置の情報で1番目に記載された装置である画像処理装置206、207をデータ出力先とすることとなる。残りの画像処理装置209、210それぞれは、接続装置の情報で2番目に記載の装置である画像処理装置210、211それぞれをデータ出力先とする。70~200mmのレンズに対応する画像処理装置も同様に4台ずつに分けられて、それぞれデータ出力先が決定される。以上の処理により、データ出力先が決定された結果の一例を図13に示す。
なお、本実施形態では、撮影システムは、カメラのレンズの種別に応じて、画像処理装置のデータ出力先を決定することとした。ただし、他の例として、撮影システムは、カメラのレンズの焦点距離に応じて、画像処理装置のデータ出力先を決定してもよい。例えば、出力先テーブルに対応するレンズの焦点距離の情報が格納されているとする。
その場合、撮影システムは、焦点距離値が低い順に画像処理装置200~211をソートし、ソート結果、奇数番目に並んだ画像処理装置については、第1経路側の接続装置をデータ出力先として設定する。また、撮影システムは、ソート結果、偶数番目に並んだ画像処理装置については、第2経路側の接続装置をデータ出力先として設定する。
以上、本実施形態の処理により、撮影システムは、カメラに装着しているレンズに応じて画像処理装置のデータ出力先を設定した。これにより、第1経路と第2経路とでトラフィックの不均衡が起こる可能性を低減できる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
例えば、上述した撮影システムの機能構成の一部又は全てをハードウェアとして制御装置400に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。
400 制御装置
401 コントローラユニット
402 CPU

Claims (14)

  1. デイジーチェーン接続された複数の撮影部であって、指定された視点に対応する画像を生成する画像生成装置に前記デイジーチェーン接続に従って送信される画像データを取得する前記複数の撮影部の状態に関する状態情報を取得する取得手段と、
    前記取得手段により取得された前記状態情報に基づいて、前記複数の撮影部に含まれる少なくとも一つの撮影部について、前記画像データの出力先を変更する変更手段と、
    を有する情報処理装置。
  2. 前記変更手段は、前記状態情報が通信不可を示す撮影部が存在することに従って、前記複数の撮影部のうち、前記状態情報が示す撮影部を経由して送信される画像データを出力する1つ以上の撮影部それぞれについて、前記状態情報が示す撮影部を経由せずに画像データが送信されるように、画像データの出力先を変更する請求項1に記載の情報処理装置。
  3. 前記状態情報が通信不可を示すとは、他の撮像部との間の通信ができないことを示すことをいう請求項2に記載の情報処理装置。
  4. 前記状態情報は、撮像部が通信できるか否かを示す情報を含むことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. 前記状態情報は、前記複数の撮影部に含まれる撮影部の通信帯域の使用量に基づく情報を含む請求項1に記載の情報処理装置。
  6. 前記状態情報は、前記複数の撮影部のうち、特定の2つの撮影部それぞれにおける通信帯域の使用量に基づく情報であり、
    前記変更手段は、前記状態情報に基づく前記特定の2つの撮影部それぞれにおける通信帯域の2つの使用量が予め定められた条件を満たすことに従って、前記2つの使用量のうちの大きい方の使用量に対応する撮影部を経由して画像データを送信する1つ以上の撮影部それぞれについて、前記大きい方の使用量に対応する撮影部を経由せずに画像データが送信されるように、画像データの出力先を変更する請求項5に記載の情報処理装置。
  7. 前記特定の2つの撮影部とは、他の撮影部を介さずに前記画像生成装置と接続する撮影部である請求項6に記載の情報処理装置。
  8. 前記1つ以上の撮影部は、前記複数の撮影部に含まれる前記大きい方の使用量に対応する撮影部を経由して画像データを送信する全ての撮影部のうち、前記画像生成装置に対して送信される画像データが経由する撮影部の数が最も多いものから順に選択された撮影部である請求項6又は7に記載の情報処理装置。
  9. 前記状態情報は、前記画像生成装置への送信が完了している画像データの送信にかかる前記2つの撮影部それぞれにおける通信帯域の使用量に基づく情報である請求項6乃至8の何れか1項に記載の情報処理装置。
  10. 前記取得手段は、前記複数の撮影部それぞれから、送信が開始されていない画像データであって、前記画像の生成に用いられる画像データの送信にかかる通信帯域の使用量を取得し、前記複数の撮影部それぞれについて取得した通信帯域の使用量に基づいて、前記状態情報を取得し、
    前記変更手段は、前記大きい方の使用量に対応する撮影部を経由して画像データを送信する1つ以上の撮影部それぞれについて、前記大きい方の使用量に対応する撮影部を経由せずに、前記画像の生成に用いられる画像データが送信されるように、画像データの出力先を変更する請求項6乃至8の何れか1項に記載の情報処理装置。
  11. 前記条件は、前記2つの使用量の差分の大きさが予め定められた閾値以上となる条件、前記2つの使用量のうちの小さい方の使用量に対する前記大きい方の使用量の割合が予め定められた閾値以上となる条件のうちの何れか1つである請求項6乃至10の何れか1項に記載の情報処理装置。
  12. 前記状態情報は、撮影部のレンズの種別、及び、撮影部の焦点距離の少なくとも一方に基づく情報を含む請求項1に記載の情報処理装置。
  13. 情報処理装置が実行する情報処理方法であって、
    デイジーチェーン接続された複数の撮影部であって、指定された視点に対応する画像を生成する画像生成装置に前記デイジーチェーン接続に従って送信される画像データを取得する前記複数の撮影部の状態に関する状態情報を取得する取得ステップと、
    前記取得ステップで取得された前記状態情報に基づいて、前記複数の撮影部に含まれる少なくとも一つの撮影部について、画像データの出力先を変更する変更ステップと、
    を含む情報処理方法。
  14. コンピュータを、請求項1乃至12の何れか1項に記載の情報処理装置の各手段として、機能させるためのプログラム。
JP2019039845A 2019-03-05 2019-03-05 情報処理装置、情報処理方法及びプログラム Active JP7258605B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019039845A JP7258605B2 (ja) 2019-03-05 2019-03-05 情報処理装置、情報処理方法及びプログラム
US16/798,190 US11290690B2 (en) 2019-03-05 2020-02-21 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019039845A JP7258605B2 (ja) 2019-03-05 2019-03-05 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020145559A JP2020145559A (ja) 2020-09-10
JP7258605B2 true JP7258605B2 (ja) 2023-04-17

Family

ID=72335597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019039845A Active JP7258605B2 (ja) 2019-03-05 2019-03-05 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US11290690B2 (ja)
JP (1) JP7258605B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016125366A1 (ja) 2015-02-05 2016-08-11 株式会社リコー 画像処理装置、画像処理システムおよび画像処理方法
JP2017212593A (ja) 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置、画像処理システム、情報処理方法、及び、プログラム
JP2017211827A (ja) 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置、制御方法、及び、プログラム
JP2018191251A (ja) 2017-05-11 2018-11-29 キヤノン株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018207336A (ja) 2017-06-06 2018-12-27 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3994787B2 (ja) 2002-04-25 2007-10-24 株式会社日立製作所 監視カメラシステム
WO2010033214A1 (en) * 2008-09-19 2010-03-25 Porta Systems Corporation Transmitting video from multiple video cameras over a single multiple pair, twisted pair cable
US8521897B2 (en) * 2011-03-15 2013-08-27 Microscan Systems, Inc. Generic data exchange method using hierarchical routing
JP5924069B2 (ja) 2012-03-28 2016-05-25 サクサ株式会社 監視システム
US20140040966A1 (en) * 2012-07-10 2014-02-06 Safeciety LLC Multi-Channel Multi-Stream Video Transmission System
US9123172B2 (en) * 2013-05-20 2015-09-01 Steven Sebring Systems and methods for producing visual representations of objects
JP6429829B2 (ja) 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016125366A1 (ja) 2015-02-05 2016-08-11 株式会社リコー 画像処理装置、画像処理システムおよび画像処理方法
JP2017212593A (ja) 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置、画像処理システム、情報処理方法、及び、プログラム
JP2017211827A (ja) 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置、制御方法、及び、プログラム
JP2018191251A (ja) 2017-05-11 2018-11-29 キヤノン株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018207336A (ja) 2017-06-06 2018-12-27 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US11290690B2 (en) 2022-03-29
US20200288087A1 (en) 2020-09-10
JP2020145559A (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
JP6957215B2 (ja) 情報処理装置、情報処理方法及びプログラム
TWI435279B (zh) 監控系統,影像擷取裝置,分析裝置及監控方法
US9473741B2 (en) Teleconference system and teleconference terminal
RU2738220C1 (ru) Устройство для управления отображением, способ управления отображением и носитель хранения
JP7494273B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP6415061B2 (ja) 表示制御装置、制御方法及びプログラム
US10623715B2 (en) Information processing apparatus and control method therefor
JP6518641B2 (ja) 処理ユニットに接続されているセンサユニットに関連して使用されるべき設定を見付けるための方法及びデバイス
JP2010015403A (ja) Cec通信装置、それを用いた映像音響装置およびcec通信方法
WO2014043076A1 (en) Multi-source sensor stream virtualization
JP7258605B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019008429A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
CN115442571A (zh) 用于视频监控***的故障恢复方法和装置
US11265475B2 (en) Image capturing apparatus, client apparatus, method for controlling image capturing apparatus, method for controlling client apparatus, and non-transitory computer-readable storage medium
US9807255B2 (en) Image processing apparatus
US11528462B2 (en) Display control apparatus, method for controlling display control apparatus, and storage medium
JP2008085832A (ja) 監視カメラ、監視カメラの制御方法および監視カメラシステム
JP2018109904A (ja) 制御装置、システム、制御装置の制御方法
JP6993655B2 (ja) ネットワークカメラを含むネットワークカメラシステムの通信制御方法、通信制御装置、および通信制御プログラム
JP2019050442A (ja) 映像伝送システム及びその制御方法並びにプログラム
JP2019129494A (ja) 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム
JP2011215841A (ja) 警備システム
JP7134636B2 (ja) 制御装置、制御方法及びプログラム
JP5544317B2 (ja) 監視カメラ装置、監視カメラ制御装置
EP3474226A1 (en) Information processing device, system, information processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230405

R151 Written notification of patent or utility model registration

Ref document number: 7258605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151