JP7258605B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7258605B2 JP7258605B2 JP2019039845A JP2019039845A JP7258605B2 JP 7258605 B2 JP7258605 B2 JP 7258605B2 JP 2019039845 A JP2019039845 A JP 2019039845A JP 2019039845 A JP2019039845 A JP 2019039845A JP 7258605 B2 JP7258605 B2 JP 7258605B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- output destination
- data
- image
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
- Facsimiles In General (AREA)
Description
仮想視点画像の生成には、複数の撮影部が撮影した画像を同期して処理するために、それらの画像が一箇所に集約される。
特許文献1には、異なる位置に設置された複数のカメラをデイジーチェーン接続し、撮影した画像をサーバへ伝送し集約する技術が開示されている。
本発明は、デイジーチェーン接続された撮影部をから出力される画像データに対して、より適切なデータ送信を行うことを目的とする。
本実施形態における撮影システムは、複数の撮影部により撮影された画像をデータ集約サーバに集約し、集約した画像に基づいて仮想視点画像を生成するシステムである。本実施形態では、撮影システムは、デイジーチェーン接続された撮影部の何れかで通信異常が発生した場合に、異常が生じた撮影部の後続の撮影部について、出力データをサーバへ送信できるように、出力データの送信経路を制御する。
図1は、本実施形態の撮影システムのシステム構成の一例を示す図である。撮影システムは、カメラ100~111と、画像処理装置200~211と、HUB300と、制御装置400と、集約サーバ装置500とを含む。
画像処理装置200~211それぞれとHUB300とは、伝送ケーブルを介して、デイジーチェーン接続されている。即ち、画像処理装置200~211、HUB300それぞれをノードとする環形のネットワークが構成されている。この伝送ケーブルは、Ethernet(登録商標)であるIEEE標準準拠のGbE(Gigabit Ethernet)ケーブル、10GbEケーブル、ファイバーチャネル等である。
カメラ100~111それぞれは、撮像素子、レンズ等を含み、画像、音声等をキャプチャリングする撮影装置である。カメラ100~111それぞれは、例えば、デジタルカメラ、デジタルビデオカメラ、監視カメラ等である。本実施形態では、カメラ100~111は、競技場(スタジアム)の外周に競技場を取り囲むように設置されている。ただし、他の例として、カメラ100~111それぞれは、競技場の外周でなく、競技場内を撮影可能な任意の場所に設置されていることとしてもよい。また、カメラ100~111それぞれは、ライブ会場、会議場、公園等の競技場と異なる場所に設置されることとしてもよい。
また、画像処理装置200~211それぞれは、対応するカメラから取得した画像データから、仮想視点画像に用いられるデータを抽出する機能を有する。画像処理装置200~211それぞれは、例えば、対応するカメラから入力された画像データから被写体部分のみを抽出し、画像データの被写体が写っている領域の画像データのみを集約サーバ装置500へ送信できる。また、画像処理装置200~211それぞれは、対応するカメラから取得した音声データから、競技場内の音声データを抽出し、抽出した音声データを集約サーバ装置500へ送信できる。また、画像処理装置200~211は、集約サーバ装置500への送信対象のデータを、直接どの装置に出力しているか示す出力先情報を、ネットワーク10を介して制御装置400へ送信する。
例えば、画像処理装置200~211それぞれは、対応するカメラにより撮影された画像データから抽出された画像データを、出力データとして出力してもよい。また、例えば、画像処理装置200~211それぞれは、対応するカメラに含まれるマイクを介して取得された音声データを、出力データとして出力してもよい。また、例えば、画像処理装置200~211それぞれは、対応するカメラを介して取得した画像データと音声データとを、出力データとして出力してもよい。
制御装置400は、ネットワーク10を介して、画像処理装置200~211それぞれを制御する情報処理装置である。本実施形態では、制御装置400は、パーソナルコンピュータ(PC)であるとする。ただし、他の例として、制御装置400は、サーバ装置、タブレット装置、組み込み式のコンピュータ等のPCと異なる情報処理装置であってもよい。
制御装置400は、画像処理装置200~211それぞれについての、出力データの直接的な出力先を示す情報を表示部に表示する。以下では、出力データの直接的な出力先を、データ出力先とする。表示内容については、図8で後述する。また、制御装置400は、画像処理装置200~211の何れかについて、データ出力先の変更が必要か否かを判断し、変更が必要であると判断した場合、新たなデータ出力先を示す情報を、その画像処理装置に送信する。
また、集約サーバ装置500は、集約したデータを用いて仮想視点画像を作成する機能を有する。本実施形態では、集約サーバ装置500は、1台の情報処理装置であるとする。ただし、他の例として、集約サーバ装置500は、2台以上の情報処理装置から構成されるシステムであることとしてもよい。
画像処理装置201~210それぞれは、隣り合う2つの画像処理装置から選択された画像処理装置に対して、集約サーバ装置500へ送信するデータを直接的に出力する。画像処理装置201~210それぞれは、隣り合う2つの画像処理装置のうちの一方からデータを受付けた場合、以下のようにする。即ち、画像処理装置201~210それぞれは、受け付けたデータが自装置宛てのデータであれば、そのまま取得し、自装置宛てのデータでなければ、受け付けたデータを、隣り合う2つの画像処理装置のうちの他方へ出力する。例えば、画像処理装置205が画像処理装置206から集約サーバ装置500宛てのデータを受付けた場合、受け付けたデータを画像処理装置204に出力する。これにより、画像処理装置201~210の何れかから出力されたデータは、画像処理装置200、211の何れかに出力される。そして、画像処理装置200、211それぞれは、隣の画像処理装置からデータを受付けた場合、受け付けたデータを集約サーバ装置500に出力する。また、画像処理装置200、211それぞれは、集約サーバ装置500に送信するデータを、直接、集約サーバ装置500に出力する。このようにして、画像処理装置200~211それぞれは、データを集約サーバ装置500に送信する。また、画像処理装置200~211それぞれは、同様の処理で、データを制御装置400に送信する。
このように、制御装置400は、画像処理装置200~211の何れか1つに異常が発生した場合でも、他の画像処理装置にデータを送信することができる。
コントローラユニット401は、制御装置400を制御するユニットである。コントローラユニット401は、Central Processing Unit(CPU)402、Read Only Memory(ROM)403、Random Access Memory(RAM)404を含む。また、コントローラユニット401は、Hard Disk Drive(HDD)405、操作部I/F406、表示部I/F407、通信I/F408を含む。各要素は、システムバス409を介して相互に通信可能に接続されている。
ROM403は、各種プログラム、各種設定情報を記憶する記憶装置である。RAM404は、CPU402の作業領域、データの一時的な記憶領域等として機能する記憶装置である。HDD405は、各種プログラム、各種設定情報等を記憶する記憶装置である。
表示部I/F407は、表示装置411への情報の出力に用いられるインターフェースである。CPU402は、表示部I/F407を介して、画像データを表示装置411に出力する。表示装置411は、フレームバッファ、及び表示パネルを備える表示装置であり、モニタ、ディスプレイ等である。表示パネルは、例えば、液晶パネルや有機ELパネルである。
以上、本実施形態の制御装置400のハードウェア構成について説明した。ただし、他の例として、制御装置400のハードウェア構成は、図1と異なることとしてもよい。例えば、制御装置400は、表示装置411を含まないこととしてもよい。その場合、制御装置400は、通信I/F408を介して接続された外部の表示装置に画像を表示させることとしてもよい。
CPU402が、ROM403、HDD405等に記憶されたプログラムにしたがって処理を実行することで、図3で後述する制御装置400の機能、図5、9、12で後述するフローチャートの処理等が実現される。
データ管理部501は、画像処理装置200~211についてのデータ出力先を示す出力先情報をHDD405に記憶し、管理する。本実施形態では、出力先情報は、テーブルに格納された情報として管理される。以下では、出力先情報を格納するテーブルを、出力先テーブルとする。本実施形態では、制御装置400の初期状態において、出力先テーブルは、HDD405に予め定められた初期値の状態で記憶されている。出力先テーブルには、各画像処理装置について、接続されているカメラの情報、ネットワーク10を介してデイジーチェーン接続されている装置を示す情報、データ出力先の情報が含まれる。
図4の出力先テーブルには、画像処理装置201が、カメラ101と接続されており、画像処理装置200と画像処理装置202とにデイジーチェーン接続されていることが示されている。また、図4の出力先テーブルには、画像処理装置201が、出力データを、直接的に画像処理装置200に出力することが示されている。よって、画像処理装置201は、初期状態においては、出力データを、画像処理装置200に出力する。
通信制御部503は、制御部506からのデータ出力先の設定の指示を取得し、対応する画像処理装置へデータ出力先の設定を指示する。出力先の設定の指示とは、画像処理装置に対して行われる指示であって、データ出力先を、指示に応じた出力先に設定することを指示する情報である。また、通信制御部503は、画像処理装置200~211それぞれと、Keep-Alive信号を送受信することで、ネットワーク接続の確認を定期的に実行する。Keep-Alive信号とは、画像処理装置200~211それぞれと、制御装置400と、の間で送受信される信号であって、画像処理装置200~211それぞれと制御装置400との間での通信が可能であることの確認に用いられる信号である。
出力先決定部505は、検出部504から異常発生の通知を受信すると、受信した通知から通信の切断が発生した画像処理装置を特定する。そして、出力先決定部505は、システム管理部502に対して、出力先テーブルにおける特定した画像処理装置についてのデータの更新を指示する。
入力制御部507は、操作ユニット410を介して入力された情報を受け付け、制御部506に出力する。
UI生成部508は、システム管理部502から取得した出力先テーブルに基づいて、UI画像を生成し、表示制御部509へ出力する。
表示制御部509は、UI生成部508から出力されたUI画像を、表示装置411のフレームバッファに上書きし、フレームバッファに格納したUI画像を所定のリフレッシュレートで読み出して表示装置411の表示パネルに表示する。
S801において、出力先決定部505は、検出部504から異常の通知を受信したか否かを判定する。出力先決定部505は、検出部504から異常の通知を受信したと判定した場合、受信した通知に基づいて、画像処理装置200~211から通信の切断が発生した画像処理装置を特定し、処理をS802に進める。出力先決定部505は、特定した画像処理装置を、装置Aとおく。また、出力先決定部505は、検出部504から異常の通知を受信していないと判定した場合、処理をS801に進める。
本実施形態では、S801で特定された通信の切断が発生した画像処理装置を、異常装置とする。
出力先決定部505は、存在すると確認した場合、存在すると確認した画像処理装置を、装置Bとおく。また、出力先決定部505は、存在しないと確認した場合、装置Bが存在しないと決定する。
S803において、出力先決定部505は、装置Bが存在するか否かを判定する。出力先決定部505は、装置Bが存在すると判定した場合、処理をS804に進める。また、出力先決定部505は、装置Bが存在しないと判定した場合、RAM404に記憶された切換対象リスト内の画像処理装置それぞれについてのデータ出力先の変更をシステム管理部502に指示し、処理をS806に進める。
S805において、出力先決定部505は、装置Bを、新たな装置Aとして決定し、処理をS802に進める。
出力先決定部505は、S802~S805の処理を繰り返すことで、S801で特定した異常装置を経由して、集約サーバ装置500に出力データを送信している画像処理装置の一覧の情報を切換対象リストに格納できる。即ち、切換対象リストには、異常装置の影響で、出力データの集約サーバ装置500への送信ができなくなった画像処理装置の一覧の情報が、格納されることとなる。
本実施形態では、画像処理装置200~211それぞれについては、データ出力先の候補は、2つ(隣り合う2つの画像処理装置、又は、隣の画像処理装置及び集約サーバ装置500)存在する。システム管理部502は、切換対象リストに格納された画像処理装置それぞれについて、データ出力先を、2つの候補のうち、処理時点における出力先テーブルの出力先装置の項目が示す候補と異なる方の候補に決定する。
そして、システム管理部502は、出力先テーブルにおける切換対象リストに格納された画像処理装置それぞれについての出力先装置の項目の情報を、決定したデータ出力先の情報で更新する。
このようにして、制御装置400は、切換対象リストに格納された画像処理装置それぞれについての出力データの送信経路を、異常装置を経由しないように、方向を変更するよう制御する。
出力先決定部505は、検出部504から異常発生の通知を取得すると、出力先テーブル内の出力先装置を確認し、画像処理装置203に対して出力データを直接的に出力する画像処理装置の存在を確認する。その結果、出力先決定部505は、画像処理装置204の存在を確認し、切換対象リストへ追加する。
次に、出力先決定部505は、出力先テーブル内の出力先装置を確認し、画像処理装置204に対して出力データを直接的に出力する画像処理装置の存在を確認する。その結果、出力先決定部505は、画像処理装置205の存在を確認し、切換対象リストへ追加する。出力先決定部505は、出力先テーブル内の出力先装置を確認し、画像処理装置205に対して出力データを直接的に出力する画像処理装置の存在を確認する。その結果、出力先決定部505は、画像処理装置205に対して直接的に出力データを出力する画像処理装置が存在しないことを確認する。この場合、切換対象リストには、図6に示すように、画像処理装置204と画像処理装置205との情報含まれる。
また、表示制御部509は、画像処理装置200~211それぞれのオブジェクトの近傍に、各画像処理装置に対応する出力先装置の方向を示す矢印オブジェクトを表示する。この矢印オブジェクトは、対応する画像処理装置のデータ出力先の方向(出力データの送信経路の方向)を示している。画像処理装置205を例に説明すると、画像処理装置205の出力データは、直接的に画像処理装置204に出力され、その後、画像処理装置203、202、201、200を経由して集約サーバ装置500へ送信される。
また、表示制御部509は、出力先装置が変更された画像処理装置204、画像処理装置205それぞれに対応する矢印オブジェクトについては、データ出力先が変更されていない画像処理装置に対応する矢印オブジェクトと異なる形式で表示する。本実施形態では、表示制御部509は、データ出力先が変更された画像処理装置204、画像処理装置205それぞれに対応する矢印オブジェクトについては、色を変更して表示する。これにより、表示制御部509は、ユーザに対して、画像処理装置204、画像処理装置205それぞれについて、データ出力先が変更されたことを提示できる。ただし、他の例として、表示制御部509は、データ出力先が変更された画像処理装置204、画像処理装置205それぞれに対応する矢印オブジェクトについては、点滅表示、太線表示等の他の形式で表示してもよい。
本実施形態では、撮影システムは、各撮影部の通信帯域の使用量に応じて、各撮影部について出力データの送信経路の方向を変更する。
画像処理装置201~210の何れかから集約サーバ装置500へ出力データを送信する場合、画像処理装置200を経由する送信経路と、画像処理装置211を経由する送信経路と、の2つの送信経路がある。図1の例では、デイジーチェーン接続された画像処理装置200~211で構成される環形のネットワーク上における時計回りの送信経路(画像処理装置211経由)と、反時計回りの送信経路(画像処理装置200経由)と、がある。以下では、画像処理装置200経由の送信経路を第1経路とする。また、以下では、画像処理装置211経由の送信経路を第2経路とする。
本実施形態では、撮影システムは、画像処理装置200、画像処理装置211それぞれについて、出力側における通信帯域の使用量を監視することで、第1経路のトラフィックと第2経路のトラフィックとの不均衡を検出する。
本実施形態では、画像処理装置200は、送信対象の出力データ(第1経路上の全ての画像処理装置の出力データの集合)を送信する際に、送信にかかる通信帯域の使用量を制御装置400に送信する。また、画像処理装置211は、送信対象の出力データ(第2経路上の全ての画像処理装置の出力データの集合)を送信する際に、送信にかかる通信帯域の使用量を制御装置400に送信する。制御装置400は、画像処理装置200、画像処理装置211それぞれから送信された通信帯域の使用量を取得し、比較することで、第1経路のトラフィックと第2経路のトラフィックとの不均衡を検出する。画像処理装置200、画像処理装置211それぞれから送信された通信帯域の使用量の情報は、状態情報の一例である。
本実施形態では、通信制御部503、検出部504それぞれの処理が、実施形態1と異なる。通信制御部503は、実施形態1と同様の処理に加えて、画像処理装置200~211の内、データ出力先が集約サーバ装置500である画像処理装置200、211それぞれについての出力側における通信帯域の使用量を確認する。
そして、検出部504は、トラフィックの不均衡の異常が発生したことを示す通知を出力先決定部505へ送信する。
S901において、出力先決定部505は、検出部504から異常発生の通知を受付けたか否かを判定する。出力先決定部505は、検出部504から異常発生の通知を受付けたと判定した場合、通信制御部503により確認された通信帯域の使用量のうち、大きい方の使用量に対応する画像処理装置を装置Aとおき、処理をS902に進める。出力先決定部505は、検出部504から異常発生の通知を受付けていないと判定した場合、処理をS901に進める。
本実施形態では、通信制御部503により確認された通信帯域の使用量のうち、大きい方の使用量に対応する画像処理装置を、異常装置とする。
S903において、出力先決定部505は、装置Bが存在するか否かを判定する。出力先決定部505は、装置Bが存在すると判定した場合、処理をS904に進め、存在しないと判定した場合、装置Aについてのデータ出力先の変更をシステム管理部502に指示し、処理をS905に進める。
S905において、システム管理部502は、装置Aについて、異常装置を経由せずに出力データを集約サーバ装置500に送信できるように、データ出力先を決定することで、出力データの送信経路の方向を変更する。そして、システム管理部502は、出力先テーブルにおける装置Aについての出力先装置の項目の情報を、決定したデータ出力先の情報で更新する。
このようにして、制御装置400は、装置Aについての出力データの送信経路を、異常装置を経由しない経路にするよう制御する。装置Aが出力データの送信に用いる送信経路を変更することで、第1経路と第2経路とのトラフィックの不均衡が軽減される。
出力先決定部505は、検出部504から異常発生の通知を取得すると、出力先テーブル内の出力先装置を確認し、画像処理装置211に対して出力データを直接的に出力する画像処理装置の存在を確認する。次に、出力先決定部505は、出力先テーブル内の出力先装置を確認し、画像処理装置210に対して出力データを直接的に出力する画像処理装置の存在を確認する。その結果、出力先決定部505は、画像処理装置209の存在を確認する。出力先決定部505は、以上の処理を繰り返し、画像処理装置211を経由して出力データを送信する画像処理装置のうち画像処理装置211から最も離れた画像処理装置として、画像処理装置206を確認する。ここで、最も離れているとは、出力データの送信に最も多くのノード(画像処理装置)を経由することを意味する。
なお、本実施形態では、撮影システムは、集約サーバ装置500をデータ出力先とする画像処理装置200、211の通信帯域の使用量を監視したが、画像処理装置200~211それぞれの通信帯域の使用量を監視してもよい。更に、撮影システムは、画像処理装置200~211それぞれの過去の通信帯域の使用量の最大値を最大通信帯域として記憶しておき、各経路の最大通信帯域の総和が平準化するように、画像処理装置200~211のデータ出力先を設定してもよい。
ただし、他の例として、制御装置400は、他の方法で、第1経路のトラフィックと第2経路のトラフィックとの不均衡を検出することとしてもよい。
例えば、画像処理装置200、211それぞれは、送信対象の出力データを送信する際に、送信にかかる通信帯域の使用量を制御装置400に送信しないこととしてもよい。その場合、例えば、集約サーバ装置500は、画像処理装置200、画像処理装置211それぞれから受信したデータの量を監視することで、画像処理装置200、画像処理装置211それぞれについての通信帯域の使用量を取得する。そして、制御装置400は、集約サーバ装置500から、画像処理装置200、画像処理装置211それぞれについての通信帯域の使用量を取得し、比較することとしてもよい。
そして、制御装置400は、画像処理装置200、画像処理装置211それぞれから送信されたこれらの使用量を比較することで、第1経路のトラフィックと第2経路のトラフィックとの不均衡を検出することとしてもよい。
これにより、制御装置400は、実際に出力データの送信において、トラフィックの不均衡が発生することを防止することができる。
例えば、制御装置400は、異常装置を経由して出力データを送信する画像処理装置それぞれについて、対応する出力データの送信に係る帯域の使用量を取得する。そして、制御装置400は、第1経路のトラフィックと第2経路のトラフィックとの不均衡を軽減するように、データ出力先を変更する画像処理装置を決定する。
これにより、制御装置400は、第1経路のトラフィックと第2経路のトラフィックとの不均衡をより是正できる。
本実施形態では、撮影システムは、カメラに装着しているレンズの種別や設定に応じて画像処理装置のデータ出力先を決定することで、各経路のトラフィックの不均衡を防止する。
デイジーチェーン接続された各機器は、他の機器の出力データを積み上げて出力データを送信するため、可能な限り少ないデータ量で送信することが望ましい。そこで、本実施形態では、画像処理装置200~211それぞれは、動きのあるオブジェクトについての画像のみを出力データとして送信することとする。その場合、各カメラに使用されるレンズによって、撮影された画像内に写るオブジェクトの量が異なる傾向がある。例えば、広角レンズの場合、広い空間が撮影されるため、画像に写りこむオブジェクトの量が多くなる傾向がある。
そこで、本実施形態では、撮影システムは、画像処理装置200~211それぞれに対応するカメラが使用するレンズに応じて伝送先を決定することで、伝送データを平準化できる。
本実施形態の撮影システムのシステム構成は、実施形態1と同様である。また、本実施形態の制御装置400のハードウェア構成、機能構成は、実施形態1と同様である。
本実施形態では、データ管理部501、システム管理部502、出力先決定部505それぞれの処理が、実施形態1と異なる。システム管理部502は、制御装置400の起動の際にデータ管理部501から出力先テーブルの情報を取得した後、出力先決定部505へ出力先テーブル尾の情報を出力する。
S1401において、出力先決定部505は、データ管理部501から取得した出力先テーブルのレンズの項目を確認し、レンズの種別ごとに画像処理装置を集計する。図11の例では、出力先決定部505は、18~80mmの種別のレンズに対応する画像処理装置について4台、70~200mmの種別のレンズに対応する画像処理装置について8台と集計する。
S1402において、出力先決定部505は、18~80mmの種別のレンズ、70~200mmの種別のレンズ全てについて、S1403~S1405の処理が完了したか否かを判定する。出力先決定部505は、レンズ全てについて、S1403~S1405の処理が完了したと判定した場合、処理をS1406に進める。出力先決定部505は、S1403~S1405の処理が完了していないレンズがあると判定した場合、S1403~S1405の処理が完了していないレンズの一つを選択レンズとして、処理をS1403に進める。
S1403において、出力先決定部505は、選択レンズに対応する画像処理装置のうちの半数を特定する。出力先決定部505は、特定した画像処理装置それぞれのデータ出力先を、出力先テーブルの接続装置に示される装置のうち1つ目の装置に決定する。即ち、出力先決定部505は、特定した画像処理装置それぞれのデータ出力先を、第1経路側の接続装置に決定する。
S1404において、出力先決定部505は、選択レンズに対応する残りの画像処理装置のうちの半数を特定する。出力先決定部505は、特定した画像処理装置それぞれのデータ出力先を、出力先テーブルの接続装置に示される装置のうち2つ目の装置に決定する。即ち、出力先決定部505は、特定した画像処理装置それぞれのデータ出力先を、第2経路側の接続装置に決定する。
S1406において、出力先決定部505は、制御部506に対して、画像処理装置200~211それぞれについて、データ出力先の設定を指示する。図11の例では、18~80mmのレンズに対応する4台の画像処理装置のうち、画像処理装置207、208それぞれは、出力先テーブルの接続装置の情報で1番目に記載された装置である画像処理装置206、207をデータ出力先とすることとなる。残りの画像処理装置209、210それぞれは、接続装置の情報で2番目に記載の装置である画像処理装置210、211それぞれをデータ出力先とする。70~200mmのレンズに対応する画像処理装置も同様に4台ずつに分けられて、それぞれデータ出力先が決定される。以上の処理により、データ出力先が決定された結果の一例を図13に示す。
その場合、撮影システムは、焦点距離値が低い順に画像処理装置200~211をソートし、ソート結果、奇数番目に並んだ画像処理装置については、第1経路側の接続装置をデータ出力先として設定する。また、撮影システムは、ソート結果、偶数番目に並んだ画像処理装置については、第2経路側の接続装置をデータ出力先として設定する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
401 コントローラユニット
402 CPU
Claims (14)
- デイジーチェーン接続された複数の撮影部であって、指定された視点に対応する画像を生成する画像生成装置に前記デイジーチェーン接続に従って送信される画像データを取得する前記複数の撮影部の状態に関する状態情報を取得する取得手段と、
前記取得手段により取得された前記状態情報に基づいて、前記複数の撮影部に含まれる少なくとも一つの撮影部について、前記画像データの出力先を変更する変更手段と、
を有する情報処理装置。 - 前記変更手段は、前記状態情報が通信不可を示す撮影部が存在することに従って、前記複数の撮影部のうち、前記状態情報が示す撮影部を経由して送信される画像データを出力する1つ以上の撮影部それぞれについて、前記状態情報が示す撮影部を経由せずに画像データが送信されるように、画像データの出力先を変更する請求項1に記載の情報処理装置。
- 前記状態情報が通信不可を示すとは、他の撮像部との間の通信ができないことを示すことをいう請求項2に記載の情報処理装置。
- 前記状態情報は、撮像部が通信できるか否かを示す情報を含むことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記状態情報は、前記複数の撮影部に含まれる撮影部の通信帯域の使用量に基づく情報を含む請求項1に記載の情報処理装置。
- 前記状態情報は、前記複数の撮影部のうち、特定の2つの撮影部それぞれにおける通信帯域の使用量に基づく情報であり、
前記変更手段は、前記状態情報に基づく前記特定の2つの撮影部それぞれにおける通信帯域の2つの使用量が予め定められた条件を満たすことに従って、前記2つの使用量のうちの大きい方の使用量に対応する撮影部を経由して画像データを送信する1つ以上の撮影部それぞれについて、前記大きい方の使用量に対応する撮影部を経由せずに画像データが送信されるように、画像データの出力先を変更する請求項5に記載の情報処理装置。 - 前記特定の2つの撮影部とは、他の撮影部を介さずに前記画像生成装置と接続する撮影部である請求項6に記載の情報処理装置。
- 前記1つ以上の撮影部は、前記複数の撮影部に含まれる前記大きい方の使用量に対応する撮影部を経由して画像データを送信する全ての撮影部のうち、前記画像生成装置に対して送信される画像データが経由する撮影部の数が最も多いものから順に選択された撮影部である請求項6又は7に記載の情報処理装置。
- 前記状態情報は、前記画像生成装置への送信が完了している画像データの送信にかかる前記2つの撮影部それぞれにおける通信帯域の使用量に基づく情報である請求項6乃至8の何れか1項に記載の情報処理装置。
- 前記取得手段は、前記複数の撮影部それぞれから、送信が開始されていない画像データであって、前記画像の生成に用いられる画像データの送信にかかる通信帯域の使用量を取得し、前記複数の撮影部それぞれについて取得した通信帯域の使用量に基づいて、前記状態情報を取得し、
前記変更手段は、前記大きい方の使用量に対応する撮影部を経由して画像データを送信する1つ以上の撮影部それぞれについて、前記大きい方の使用量に対応する撮影部を経由せずに、前記画像の生成に用いられる画像データが送信されるように、画像データの出力先を変更する請求項6乃至8の何れか1項に記載の情報処理装置。 - 前記条件は、前記2つの使用量の差分の大きさが予め定められた閾値以上となる条件、前記2つの使用量のうちの小さい方の使用量に対する前記大きい方の使用量の割合が予め定められた閾値以上となる条件のうちの何れか1つである請求項6乃至10の何れか1項に記載の情報処理装置。
- 前記状態情報は、撮影部のレンズの種別、及び、撮影部の焦点距離の少なくとも一方に基づく情報を含む請求項1に記載の情報処理装置。
- 情報処理装置が実行する情報処理方法であって、
デイジーチェーン接続された複数の撮影部であって、指定された視点に対応する画像を生成する画像生成装置に前記デイジーチェーン接続に従って送信される画像データを取得する前記複数の撮影部の状態に関する状態情報を取得する取得ステップと、
前記取得ステップで取得された前記状態情報に基づいて、前記複数の撮影部に含まれる少なくとも一つの撮影部について、画像データの出力先を変更する変更ステップと、
を含む情報処理方法。 - コンピュータを、請求項1乃至12の何れか1項に記載の情報処理装置の各手段として、機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019039845A JP7258605B2 (ja) | 2019-03-05 | 2019-03-05 | 情報処理装置、情報処理方法及びプログラム |
US16/798,190 US11290690B2 (en) | 2019-03-05 | 2020-02-21 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019039845A JP7258605B2 (ja) | 2019-03-05 | 2019-03-05 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020145559A JP2020145559A (ja) | 2020-09-10 |
JP7258605B2 true JP7258605B2 (ja) | 2023-04-17 |
Family
ID=72335597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019039845A Active JP7258605B2 (ja) | 2019-03-05 | 2019-03-05 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11290690B2 (ja) |
JP (1) | JP7258605B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114339067A (zh) * | 2021-11-15 | 2022-04-12 | 华能国际电力股份有限公司上海石洞口第二电厂 | 基于5g环境下的多通道图像及视频流同步与分布式处理方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016125366A1 (ja) | 2015-02-05 | 2016-08-11 | 株式会社リコー | 画像処理装置、画像処理システムおよび画像処理方法 |
JP2017212593A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 情報処理装置、画像処理システム、情報処理方法、及び、プログラム |
JP2017211827A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 情報処理装置、制御方法、及び、プログラム |
JP2018191251A (ja) | 2017-05-11 | 2018-11-29 | キヤノン株式会社 | 情報処理システム、情報処理方法、およびプログラム |
JP2018207336A (ja) | 2017-06-06 | 2018-12-27 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3994787B2 (ja) | 2002-04-25 | 2007-10-24 | 株式会社日立製作所 | 監視カメラシステム |
WO2010033214A1 (en) * | 2008-09-19 | 2010-03-25 | Porta Systems Corporation | Transmitting video from multiple video cameras over a single multiple pair, twisted pair cable |
US8521897B2 (en) * | 2011-03-15 | 2013-08-27 | Microscan Systems, Inc. | Generic data exchange method using hierarchical routing |
JP5924069B2 (ja) | 2012-03-28 | 2016-05-25 | サクサ株式会社 | 監視システム |
US20140040966A1 (en) * | 2012-07-10 | 2014-02-06 | Safeciety LLC | Multi-Channel Multi-Stream Video Transmission System |
US9123172B2 (en) * | 2013-05-20 | 2015-09-01 | Steven Sebring | Systems and methods for producing visual representations of objects |
JP6429829B2 (ja) | 2016-05-25 | 2018-11-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
-
2019
- 2019-03-05 JP JP2019039845A patent/JP7258605B2/ja active Active
-
2020
- 2020-02-21 US US16/798,190 patent/US11290690B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016125366A1 (ja) | 2015-02-05 | 2016-08-11 | 株式会社リコー | 画像処理装置、画像処理システムおよび画像処理方法 |
JP2017212593A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 情報処理装置、画像処理システム、情報処理方法、及び、プログラム |
JP2017211827A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 情報処理装置、制御方法、及び、プログラム |
JP2018191251A (ja) | 2017-05-11 | 2018-11-29 | キヤノン株式会社 | 情報処理システム、情報処理方法、およびプログラム |
JP2018207336A (ja) | 2017-06-06 | 2018-12-27 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11290690B2 (en) | 2022-03-29 |
US20200288087A1 (en) | 2020-09-10 |
JP2020145559A (ja) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6957215B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
TWI435279B (zh) | 監控系統,影像擷取裝置,分析裝置及監控方法 | |
US9473741B2 (en) | Teleconference system and teleconference terminal | |
RU2738220C1 (ru) | Устройство для управления отображением, способ управления отображением и носитель хранения | |
JP7494273B2 (ja) | 表示制御装置、表示制御方法、およびプログラム | |
JP6415061B2 (ja) | 表示制御装置、制御方法及びプログラム | |
US10623715B2 (en) | Information processing apparatus and control method therefor | |
JP6518641B2 (ja) | 処理ユニットに接続されているセンサユニットに関連して使用されるべき設定を見付けるための方法及びデバイス | |
JP2010015403A (ja) | Cec通信装置、それを用いた映像音響装置およびcec通信方法 | |
WO2014043076A1 (en) | Multi-source sensor stream virtualization | |
JP7258605B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019008429A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
CN115442571A (zh) | 用于视频监控***的故障恢复方法和装置 | |
US11265475B2 (en) | Image capturing apparatus, client apparatus, method for controlling image capturing apparatus, method for controlling client apparatus, and non-transitory computer-readable storage medium | |
US9807255B2 (en) | Image processing apparatus | |
US11528462B2 (en) | Display control apparatus, method for controlling display control apparatus, and storage medium | |
JP2008085832A (ja) | 監視カメラ、監視カメラの制御方法および監視カメラシステム | |
JP2018109904A (ja) | 制御装置、システム、制御装置の制御方法 | |
JP6993655B2 (ja) | ネットワークカメラを含むネットワークカメラシステムの通信制御方法、通信制御装置、および通信制御プログラム | |
JP2019050442A (ja) | 映像伝送システム及びその制御方法並びにプログラム | |
JP2019129494A (ja) | 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム | |
JP2011215841A (ja) | 警備システム | |
JP7134636B2 (ja) | 制御装置、制御方法及びプログラム | |
JP5544317B2 (ja) | 監視カメラ装置、監視カメラ制御装置 | |
EP3474226A1 (en) | Information processing device, system, information processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230405 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7258605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |