JP6089549B2 - 情報処理装置、情報処理システム、およびプログラム - Google Patents

情報処理装置、情報処理システム、およびプログラム Download PDF

Info

Publication number
JP6089549B2
JP6089549B2 JP2012223214A JP2012223214A JP6089549B2 JP 6089549 B2 JP6089549 B2 JP 6089549B2 JP 2012223214 A JP2012223214 A JP 2012223214A JP 2012223214 A JP2012223214 A JP 2012223214A JP 6089549 B2 JP6089549 B2 JP 6089549B2
Authority
JP
Japan
Prior art keywords
information
condition
expected
photographing
conditions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012223214A
Other languages
English (en)
Other versions
JP2014075742A (ja
Inventor
新宮 淳
淳 新宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2012223214A priority Critical patent/JP6089549B2/ja
Priority to PCT/JP2013/068352 priority patent/WO2014054323A1/ja
Priority to AU2013325976A priority patent/AU2013325976B2/en
Priority to SG11201502310PA priority patent/SG11201502310PA/en
Publication of JP2014075742A publication Critical patent/JP2014075742A/ja
Priority to US14/656,227 priority patent/US9942471B2/en
Application granted granted Critical
Publication of JP6089549B2 publication Critical patent/JP6089549B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19645Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、情報処理装置、情報処理システム、およびプログラムに関する。
特許文献1には、ロボットカメラによる撮影ショットの制御において、外部からの指令に基づく撮影ショットタイプと、被写体のイベントに基づくイベント撮影規則生成情報と、に基づいて生成されるイベント撮影規則に基づいて、撮影ショットを決定する撮影ショット制御装置が開示されている。特許文献2には、複数の撮影手段のうち、特定された被写体を映している撮影手段のみを用いて映像を生成する撮影システムが開示されている。特許文献3には、複数のカメラのうち、被写体を正面から撮影されるカメラを使用して撮影を行う撮像装置が開示されている。特許文献4には、複数の地点に配置された旋回可能なカメラのうち、地図で指示された位置を撮像するのに適したカメラおよび該カメラの旋回角度を決定して撮像を行う監視カメラ制御システムが開示されている。
特開2008−72702号公報 特開2006−81128号公報 特開2005−286419号公報 特開2002−77889号公報
本発明の目的の1つは、複数の撮影装置から、複数の期待条件の少なくとも1つと、必須条件と、を満たす映像を撮影する1又は複数の撮影装置を選択する情報処理装置、情報処理システム、およびプログラムを提供することにある。
上記目的を達成するために、請求項1に記載の発明は、映像に対する複数の期待条件を示す、期待条件情報を取得する期待条件情報取得手段と、前記映像に対する必須条件を示す、必須条件情報を取得する必須条件情報取得手段と、複数の撮影装置の位置および方向を示す情報を含む撮影装置状態情報を取得する撮影装置状態情報取得手段と、被写体の位置を示す情報を含む被写体状態情報を取得する被写体状態情報取得手段と、前記期待条件情報と、前記必須条件情報と、前記撮影装置状態情報と、前記被写体状態情報と、に基づき、前記複数の撮影装置から、前記映像を撮影する1又は複数の撮影装置を選択する撮影装置選択手段と、を有し、前記撮影装置選択手段は、前記複数の撮影装置のそれぞれにより撮影される映像に対して、前記複数の期待条件の少なくとも1つを満たすか否かを判定する期待条件判定処理を行う期待条件判定手段と、前記期待条件判定手段により前記複数の期待条件の少なくとも1つを満たすと判定された映像に対して、前記必須条件を満たすか否かを判定する必須条件判定処理を行う必須条件判定手段と、を有することを特徴とする情報処理装置である。
また、請求項2に記載の発明は、請求項1に記載の情報処理装置であって、前記複数の期待条件には優先順位が付されており、前記期待条件判定手段は、前記優先順位の順序で選択された期待条件について、前記期待条件判定処理を行うことを特徴とする情報処理装置である。
また、請求項3に記載の発明は、請求項2に記載の情報処理装置であって、前記期待条件判定手段は、複数の撮影装置により撮影される映像が、1つの期待条件を満たすと判定される場合、前記複数の撮影装置により撮影される映像に対して、前記1つの期待条件の優先順位の、次の優先順位が付される期待条件について前記期待条件判定処理を行い、前記必須条件判定手段は、前記次の優先順位が付される期待条件を満たすと判定された映像に対して、前記必須条件判定処理を行う、ことを特徴とする情報処理装置である。
また、請求項4に記載の発明は、請求項1ないし3のいずれかに記載の情報処理装置であって、前記撮影装置選択手段は、前記必須条件情報に基づいて、前記複数の撮影装置の少なくとも1つを選択する撮影装置選択手段をさらに有し、前記期待条件判定手段は、前記撮影装置選択手段により選択された1又は複数の撮影装置により撮影される映像に対して、前記期待条件判定処理を行う、ことを特徴とする情報処理装置である。
また、請求項5に記載の発明は、請求項1ないし4のいずれかに記載の情報処理装置であって、前記撮影装置選択手段は、予め定められる条件が満たされる場合に、前記複数の撮影装置の1つを選択する、ことを特徴とする情報処理装置である。
また、請求項6に記載の発明は、請求項1ないし5のいずれかに記載の情報処理装置であって、前記撮影装置選択手段は、前記複数の撮影装置の1つを逐次的に選択し、前記複数の期待条件は、前記被写体状態情報と、前回選択された撮影装置の撮影装置状態情報と、の関係に基づく条件を含む、ことを特徴とする情報処理装置である。
また、請求項7に記載の発明は、映像に対する複数の期待条件を示す、期待条件情報を取得する期待条件情報取得手段と、前記映像に対する必須条件を示す、必須条件情報を取得する必須条件情報取得手段と、複数の撮影装置の位置および方向を示す情報を含む撮影装置状態情報を取得する撮影装置状態情報取得手段と、被写体の位置を示す情報を含む被写体状態情報を取得する被写体状態情報取得手段と、前記期待条件情報と、前記必須条件情報と、前記撮影装置状態情報と、前記被写体状態情報と、に基づき、前記複数の撮影装置から、前記映像を撮影する1又は複数の撮影装置を選択する撮影装置選択手段と、を有し、前記撮影装置選択手段は、前記複数の撮影装置のそれぞれにより撮影される映像に対して、前記複数の期待条件の少なくとも1つを満たすか否かを判定する期待条件判定処理を行う期待条件判定手段と、前記期待条件判定手段により前記複数の期待条件の少なくとも1つを満たすと判定された映像に対して、前記必須条件を満たすか否かを判定する必須条件判定処理を行う必須条件判定手段と、を有することを特徴とする情報処理システムである。
また、請求項8に記載の発明は、コンピュータを、映像に対する複数の期待条件を示す、期待条件情報を取得する期待条件情報取得手段と、前記映像に対する必須条件を示す、必須条件情報を取得する必須条件情報取得手段と、複数の撮影装置の位置および方向を示す情報を含む撮影装置状態情報を取得する撮影装置状態情報取得手段と、被写体の位置を示す情報を含む被写体状態情報を取得する被写体状態情報取得手段と、前記期待条件情報と、前記必須条件情報と、前記撮影装置状態情報と、前記被写体状態情報と、に基づき、前記複数の撮影装置から、前記映像を撮影する1又は複数の撮影装置を選択する撮影装置選択手段と、を有する情報処理装置として機能させるプログラムであって、前記撮影装置選択手段は、前記複数の撮影装置のそれぞれにより撮影される映像に対して、前記複数の期待条件の少なくとも1つを満たすか否かを判定する期待条件判定処理を行う期待条件判定手段と、前記期待条件判定手段により前記複数の期待条件の少なくとも1つを満たすと判定された映像に対して、前記必須条件を満たすか否かを判定する必須条件判定処理を行う必須条件判定手段と、を有することを特徴とするプログラムである。
請求項1,7、および8に係る発明によれば、複数の撮影装置から、複数の期待条件の少なくとも1つと、必須条件と、を満たす映像を撮影する1又は複数の撮影装置を選択する情報処理装置、情報処理システム、およびプログラムが提供される。
請求項2に係る発明によれば、優先順位の順序で選択された期待条件について、期待条件判定処理が行われる。
請求項3に係る発明によれば、複数の撮影装置により撮影される映像が1つの期待条件を満たすと判定される場合に、該期待条件の次の優先順位が付される期待条件について期待条件判定処理が行われる。
請求項4に係る発明によれば、必須条件に基づいて選択された少なくとも1つの撮影装置に対して、期待条件判定処理が行われる。
請求項5に係る発明によれば、予め定められる条件が満たされる場合に、複数の撮影装置の1つが選択される。
請求項6に係る発明によれば、被写体状態情報と、前回選択された撮影装置の撮影装置状態情報と、の関係に基づく条件で、期待条件判定処理が行われる。
本発明の一実施形態に係る情報処理装置を示す図である。 本実施形態に係る情報処理装置において行われる処理を説明する図である。 期待条件の例を示す図である。 必須条件の例を示す図である。 映像構成候補情報生成部により生成される映像構成情報の内容(映像構成)の一例を示す図である。 本実施形態に係る情報処理装置における映像生成処理を示すフローチャートである。 本発明の一実施形態における期待条件および期待条件判定処理の一例を示す図である。 本発明の一実施形態における期待条件の一例を説明する図である。 本発明の一実施形態における選択処理の一例を示す図である。
図1は、本発明の一実施形態に係る情報処理装置100を示す図である。情報処理装置100は、図示しない複数の撮影装置200,300、および400と接続され、これら複数の撮影装置200,300、および400から送信される撮影映像データに基づいて、出力映像データを生成する。
図2は、本実施形態に係る情報処理装置100において行われる処理を説明する図である。図2は、ある部屋900を上から見た図である。情報処理装置100と接続される複数の撮影装置200,300、および400は部屋900において固定されて設置され、被写体500,510,および520を撮影して、撮影映像データを生成する。ここでは被写体500,510、および520は人物である。
情報処理装置100は、予め設定される期待条件および必須条件に基づいて、出力映像データの生成に使用される撮影映像データを撮影する撮影装置を、複数の撮影装置200,300、および400から少なくとも1つ選択する。
情報処理装置100は、通信部111、記憶部112、撮影対象情報取得部120、被写体状態情報取得部130、期待条件情報取得部140、必須条件情報取得部150、撮影装置状態情報取得部160、撮影装置選択部170、撮影映像データ取得部180、および出力映像データ生成部190を有する。撮影装置選択部170は、さらに映像構成候補情報生成部171、期待条件判定部172、および必須条件判定部173を有する。通信部111、撮影対象情報取得部120、被写体状態情報取得部130、期待条件情報取得部140、必須条件情報取得部150、撮影装置状態情報取得部160、撮影装置選択部170、撮影映像データ取得部180、および出力映像データ生成部190は、例えばCPUの一機能として実現され、記憶部112はメモリー等の記憶素子によって実現される。
通信部111は、複数の撮影装置200,300、および400、および図示しない管理装置等と通信を行い、受信された通信データから各種データを抽出して、撮影対象情報取得部120、被写体状態情報取得部130、記憶部112、および撮影映像データ取得部180等に出力する。
記憶部112は、通信部111から入力された、後述する期待条件情報、必須条件情報、および撮影装置状態情報等を記憶する。
撮影対象情報取得部120は、撮影対象を指定する撮影対象情報を取得する。撮影対象情報は、例えば図示しない管理装置のタッチパネル等において撮影装置200,300、および400のいずれかにより撮影された映像が表示され、管理者によって該タッチパネルにおける撮影対象(例えば被写体500,510,および520のいずれか)をタッチする操作が行われる、等の既知の方法により取得され、通信部111を介して取得される。
被写体状態情報取得部130は、被写体500,510,および520の位置および向いている方向を示す情報を含む被写体状態情報を取得する。被写体状態情報は、既知の計測技術および画像認識技術により例えば3次元の座標の形式で逐次取得され、通信部111を介して取得される。
期待条件情報取得部140は、予め管理者により設定されて記憶部112に記憶されている、出力映像データに対する複数の期待条件を示す期待条件情報を取得する。図3は、期待条件の例を示す図である。期待条件とは、情報処理装置100により生成される出力映像データにおいて、満たされることが望ましい条件であり、各条件の間で管理者により優先順位が設定されている。すなわち、優先順位が第1位の期待条件(以下、第1位期待条件)を満たす映像の生成が不可能で、第2期待条件を満たす映像の生成が可能である場合には、第2位期待条件を満たす映像が生成される。
必須条件情報取得部150は、予め管理者により設定されて記憶部112に記憶されている、出力映像データに対する必須条件を示す必須条件情報を取得する。図4は、必須条件の例を示す図である。必須条件とは、情報処理装置100により生成される映像において、満たすことが求められる条件である。
撮影装置状態情報取得部160は、撮影装置200,300、および400の設置位置および撮影方向を示す撮影装置状態情報を取得する。撮影装置状態情報は、撮影装置200,300、および400の3次元の座標で表現される設置位置、およびベクトルで表現された撮影方向であり、予め撮影装置200,300、および400のGPS機能による計測または管理者による設定操作により取得されて記憶部112に記憶されている。
撮影装置選択部170は、期待条件情報、必須条件情報、撮影装置状態情報、撮影対象情報、および被写体状態情報に基づいて、出力映像データの生成に使用される撮影映像データを撮影する撮影装置を、撮影装置200,300、および400から少なくとも1つ選択する。撮影装置選択部170は、映像構成候補情報生成部171、期待条件判定部172、および必須条件判定部173を有する。以下に、撮影装置選択部170の動作を詳細に説明する。
撮影装置選択部170の映像構成候補情報生成部171は、撮影対象情報、被写体状態情報、期待条件情報、および撮影装置状態情報に基づいて、撮影装置200,300、および400において撮影される映像から期待条件を満たすよう切り出された映像における、被写体の配置等を示す映像構成候補情報を生成する。映像構成候補情報生成部171は、まず、優先順位が第1位である期待条件(第1位期待条件)に基づいて、撮影装置200,300、および400のそれぞれについて映像構成候補情報を生成する。
撮影装置選択部170の期待条件判定部172は、映像構成候補情報生成部171において生成された、撮影装置200,300,および400において撮影される映像の構成を示す映像構成候補情報のそれぞれが期待条件を満たすか否かを判定する、期待条件判定処理を実行する。期待条件判定部172は、映像構成候補情報のそれぞれについて、まず、第1位期待条件を満たすか否かを判定する期待条件判定処理を実行する。
期待条件判定処理で第1位期待条件を満たすと判定された映像構成候補情報は、後述する必須条件判定部173において必須条件を満たすか否かの判定処理(必須条件判定処理)に付され、ここで必須条件を満たす映像構成候補情報がなかった場合には、映像構成候補情報生成部171および期待条件判定部172は、第2位期待条件について上記の処理を実行する。以降、映像構成候補情報生成部171および期待条件判定部172は、必須条件判定部173においていずれかの映像構成情報が必須条件を満たすと判定されるまで、優先順位の順序で期待条件を選択して上記の処理を繰り返す。
撮影装置選択部170の必須条件判定部173は、期待条件判定部172において期待条件を満たすと判定された映像を示す映像構成候補情報について、必須条件を満たすか否かを判定する必須条件判定処理を実行する。
必須条件が満たされた場合、撮影装置選択部170は、必須条件を満たすと判定された映像構成候補情報に対応する撮影装置を、出力映像データの生成に使用される撮影映像データを撮影する撮影装置(特定撮影装置)と特定し、該特定撮影装置を指定する特定撮影装置指定情報を出力映像データ生成部190に出力する。必須条件が満たされない場合、必須条件判定部173は、その旨を映像構成候補情報生成部171および期待条件判定部172に通知する。
撮影映像データ取得部180は、撮影装置200,300、および400において撮影された撮影映像データを、通信部111を介して取得し、出力映像データ生成部190に出力する。
出力映像データ生成部190は、撮影映像データ取得部180から入力される撮影映像データから、撮影装置選択部170から入力される特定撮影装置指定情報に基づいて、特定撮影装置により撮影された撮影映像データを選択し、選択された撮影映像データから出力映像データを生成する。
次に、撮影装置選択部170による処理を、図2に示された例において具体的に説明する。
まず、撮影装置選択部170の映像構成候補情報生成部171は、被写体状態情報、および撮影装置状態情報に基づいて、撮影装置200,300、および400において撮影される映像における被写体の配置等を示す映像構成情報を生成する。図5は、映像構成候補情報生成部171により生成される映像構成情報の内容(映像構成)の一例を示す図である。
そして映像構成候補情報生成部171は、撮影対象情報により被写体500が撮影対象として指定され、第1位期待条件「被写体510を撮影」について期待条件判定処理が実行される場合、撮影装置200において撮影される映像の映像構成210、および撮影装置300において撮影される映像の映像構成310から被写体500、および510を囲む領域(破線で示す)を切り出して映像構成候補220、および320を生成する。一方、撮影装置400において撮影される映像の映像構成410については被写体520が入っていないため、映像構成候補情報生成部171は、映像構成410をそのまま映像構成候補420とする。映像構成候補情報生成部171は、これらの映像構成候補220,320、および420を示す映像構成候補情報を、期待条件判定部172に出力する。
次に、撮影装置選択部170の期待条件判定部172は、映像構成候補情報生成部171により生成される映像構成候補情報により示される映像構成候補220,320、および420のそれぞれについて期待条件判定処理を実行し、映像構成候補220、および320が期待条件を満たすと判定する。
次に、撮影装置選択部170の必須条件判定部173は、期待条件判定部172において期待条件を満たすと判定された映像構成候補220、および320について、必須条件判定処理を実行する。必須条件として「被写体が画角内に収まっている」「被写体同士が重なっていない」が指定されている場合、必須条件判定部173は、映像構成候補220のみを必須条件を満たすと判定し、映像構成候補220に対応する撮影装置200を特定撮影装置と特定する。そして撮影装置選択部170は、撮影装置200を指定する撮影装置指定情報を出力映像データ生成部190に出力する。
次に、情報処理装置100における映像生成処理を、フローチャートを用いて説明する。図6は本実施形態に係る情報処理装置100における映像生成処理を示すフローチャートである。
まず、情報処理装置100の撮影対象情報取得部120は、撮影対象情報を取得する(S601)。情報処理装置100の期待条件情報取得部140は、出力映像データに対する複数の期待条件を示す期待条件情報を取得する(S602)。
次に、情報処理装置100の必須条件情報取得部150は、出力映像データに対する必須条件を示す必須条件情報を取得する(S603)。情報処理装置100の撮影装置状態情報取得部160は、複数の撮影装置200,300、および400の位置および方向を示す撮影装置状態情報を取得する(S604)。情報処理装置100の被写体状態情報取得部130は、被写体の位置を示す情報を含む被写体状態情報を取得する(S605)。
次に、撮影装置選択部170の映像構成候補情報生成部171は、S601において取得された撮影対象情報、S602において取得された期待条件情報、S604において取得された撮影装置状態情報、およびS605において取得された被写体状態情報に基づいて、映像構成候補情報を生成する(S606)。ここで、期待条件情報に関しては、期待条件情報に含まれる複数の期待条件のうち、S606からS608における処理が行われていない(未判定の)期待条件のなかで優先順位が最も高いものが使用される。
次に、撮影装置選択部170の期待条件判定部172は、S606において生成された映像構成候補情報のそれぞれが、S606において使用された期待条件を満たすか否か判定する期待条件判定処理を実行する(S607)。
次に、撮影装置選択部170の必須条件判定部173は、S607において期待条件を満たすと判定された映像構成候補情報について、必須条件を満たすか否か判定する必須条件判定処理を実行する(S608)。
そして、撮影装置選択部170は、S608において必須条件を満たすと判定された映像構成候補の有無を参照し(S609)、必須条件を満たすと判定された映像構成候補情報がない場合にはS606に戻る。
S608において必須条件を満たすと判定された映像構成候補情報がある場合には、出力映像データ生成部190は、該映像構成候補情報に対応する撮影装置により撮影された撮影映像データを使用して、出力映像データを生成する(S610)。以上で、情報処理装置100における映像生成処理は終了する。
以上の構成により、複数の撮影装置200,300、および400から、複数の期待条件の少なくとも1つと、必須条件と、を満たす映像を撮影する1又は複数の撮影装置を選択する情報処理装置100が提供される。
なお、上記の実施形態では、撮影装置選択部170が、期待条件情報、必須条件情報、撮影装置状態情報、撮影対象情報、および被写体状態情報に基づいて、撮影装置を選択する構成が示されたが、これらの全ての情報を使用する必要はなく、例えば特定の被写体を指定することなく(すなわち上記のうち、撮影対象情報を使用せず)、撮影装置を選択する構成としてもよい。この場合、複数の撮影装置200,300、および400により撮影される映像に映り込む全ての被写体について、各判定処理が実行される。
また、上記の実施形態では、撮影装置200,300、および400の全てについて期待条件判定処理が行われる構成が示されたが、本発明はこれに限定されず、例えば映像構成もしくは映像構成候補が生成された段階で必須条件判定処理を実行する手段を新たに設け、必須条件を満たし得る撮影装置のみについて、以降の処理を実行する構成としてもよい。この場合、不要な処理が実行されなくなることにより処理負荷の軽減や、より高速な処理が可能になる。
また、上記の実施形態では、満たす/満たさないの2値で判定される期待条件および必須条件を用いる構成が示されたが、本発明はこれに限定されず、例えばある条件について数値が算出され、得られる数値が閾値以上/未満により判定される構成としてもよい。
また、上記の実施形態では、期待条件判定部172において1つの期待条件を満たす撮影装置が選択される構成が示されたが、本発明はこれに限定されず、複数の期待条件に基づいて撮影装置を選択する構成としてもよい。
例えば、ある期待条件を満たす撮影装置が複数あった場合に、該期待条件の優先順位の、次の優先順位が付された期待条件について判定を行い、この期待条件も満たす撮影装置を選択する構成としてもよい。
また、複数の期待条件についてポイント(重み)を設定し、満たした期待条件のポイントの合計が最も大きい撮影装置を選択する構成としてもよい。
このような構成の一例を説明する。図7は、本発明の一実施形態における期待条件および期待条件判定処理の一例を示す図である。本実施形態においては、それぞれがポイントを有する3つの期待条件が設定されている。ここでは2値(はい/いいえ)で判定される期待条件(条件番号1,3)の他に、より大きい(より小さい)ものがより多くのポイントが与えられる期待条件(条件番号2)が設定されている。条件番号2の期待条件では角度が小さいほど望ましいとされており、設定されたポイント「6」のうち、得られる角度の、180度に対する比率に応じたポイントが加算される。図7に示される例においては、撮影装置Bが選択される。
また、上記の実施形態では、1つの撮影装置(画像)を選択する構成のみが示されたが、複数の撮影装置を逐次的に選択する構成としてもよい。この場合、期待条件として、被写体状態情報と前回選択された撮影装置の撮影状態情報との関係と、の関係に基づく条件を含んでもよい。このような期待条件の一例を以下に具体的に説明する。
図8は、本発明の一実施形態における期待条件の一例を説明する図である。撮影装置が逐次的に選択される構成の場合において、前回撮影装置810が選択されたとする。新たに撮影装置を選択する場合、被写体800から前回選択された撮影装置810へ向かうベクトル(矢印811)と、被写体800から新たに選択される撮影装置820の向かうベクトル(矢印821)と、の角度(角度X)が予め定められる値以下であることを期待条件の1つとしてもよい。このような構成とすることにより、撮影装置が切り替わった際に出力映像データにおける被写体800の見え方(表示面に対する角度)の変化が小さく抑えられる。
また、撮影装置を逐次的に選択する構成の場合においては、撮影装置の選択処理を予め定められる条件が満たされる場合に行う構成としてもよい。予め定められる条件としては、撮影対象が変更された(撮影対象情報が新たに取得された)場合、被写体の位置が予め定められる量以上変化した場合、期待条件の内容、もしくは優先順位が変更された場合、および撮影装置の選択処理が最後に実行されてから予め定められる時間が経過した場合、等が挙げられる。このような構成とすることにより、適切なタイミングにおいてのみ撮影装置の選択処理が行われ、不要な選択処理による負荷の増加や映像の見づらさの回避、また適切な選択処理による見やすい映像の実現、等の効果が得られる。
また、本発明に係る情報処理装置100は、既に撮影装置200,300、および400において撮影されて保存された撮影映像データから1つの出力映像データを生成する場合にも適用可能である。この場合、上述した、前回選択された撮影装置との関係で判定される期待条件が用いられる構成では、複数の出力画像データ(選択される撮影装置の組み合わせ)を生成し、それぞれについて得られるポイントの合計を算出し、合計が最も高い撮影装置の組み合わせを採用する構成としてもよい。このような選択処理の一例を以下に具体的に説明する。
図9は、本発明の一実施形態における選択処理の一例を示す図である。時間的に連続するシーン1,2,3のうち、まずシーン1で撮影装置910が選択されている場合、シーン2において撮影装置920については15ポイント、撮影装置930については12ポイントが算出されるとする。
次にシーン3において、シーン2で撮影装置920が選択されている場合には撮影装置940について6ポイント、シーン2で撮影装置930が選択されている場合には撮影装置940について16ポイントが算出されるとする。
この結果、シーン1〜2のポイントの合計を算出すると、撮影装置910、撮影装置920の順に選択した場合(上段)のポイントの合計は25ポイント、撮影装置910、撮影装置930の順に選択した場合(下段)のポイントの合計は22ポイントであり、上段の方が合計ポイントは高い。
しかしシーン1〜3のポイントの合計を算出すると、撮影装置910、撮影装置920、撮影装置940の順に選択した場合(上段)のポイントの合計は31ポイント、撮影装置910、撮影装置930、撮影装置940の順に選択した場合(下段)のポイントの合計は38ポイントであり、シーン1〜3についてみると下段の方が合計ポイントは高くなり、この場合、最終的に下段の選択が採用される。このような構成により、全体として期待条件により合致した出力映像データが生成される。
また、上記の実施形態では、映像構成候補情報が、撮影対象情報、被写体状態情報、期待条件情報に基づいて生成される構成が示されたが、本発明はこれに限定されず、例えば撮影映像データ取得部180により取得される、撮影装置200,300、および400で実際に撮影された撮影映像データと、撮影対象情報と、に基づいて生成される構成としてもよい。
なお、ここで述べた情報処理装置100の動作は、記憶部112に記憶されるプログラムを動作させることで実現される。このプログラムは通信によって提供されてもよいし、コンピュータによる読み取りが可能な、CD−ROM等の記憶媒体に格納されて提供されてもよい。
100 情報処理装置、111 通信部、112 記憶部、120 撮影対象情報取得部、130 被写体状態情報取得部、140 期待条件情報取得部、150 必須条件情報取得部、160 撮影装置状態情報取得部、170 撮影装置選択部、171 映像構成候補情報生成部、172 期待条件判定部、173 必須条件判定部、180 撮影映像データ取得部、190 出力映像データ生成部、200,300,400,810,820,910,920,930,940 撮影装置、210,310,410 映像構成、220,320,420 映像構成候補、500,510,520,800 被写体、811,821 矢印、900 部屋。

Claims (8)

  1. 映像に対する複数の期待条件であってそれぞれ優先順位が付された期待条件を示す期待条件情報及び前記映像に対する必須条件を示す必須条件情報を取得する条件情報取得手段と
    数の撮影装置のそれぞれにより撮影される映像のうち優先順位の最も高い期待条件を満たし、かつ、前記必須条件を満たす映像を撮影する撮影装置を選択する撮影装置選択手段と、
    を有することを特徴とする情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記複数の撮影装置の位置および方向を示す情報を含む撮影装置状態情報を取得する撮影装置状態情報取得手段と、
    被写体の位置を示す情報を含む被写体状態情報を取得する被写体状態情報取得手段と、
    をさらに有し、
    前記撮影装置選択手段は、
    前記期待条件情報と、前記必須条件情報と、前記撮影装置状態情報と、前記被写体状態情報と、に基づき、前記撮影装置を選択する、
    ことを特徴とする情報処理装置。
  3. 請求項1または2に記載の情報処理装置であって、
    前記撮影装置選択手段は、
    複数の撮影装置により撮影される映像が、1つの期待条件を満たすと判定される場合、
    前記複数の撮影装置により撮影される映像に対して、前記1つの期待条件の優先順位の、次の優先順位が付される期待条件を満たすか否かを判定し、
    記次の優先順位が付される期待条件を満たすと判定された映像に対して、前記必須条件を満たすか否かを判定する
    ことを特徴とする情報処理装置。
  4. 請求項1ないし3のいずれかに記載の情報処理装置であって、
    前記撮影装置選択手段は、
    前記必須条件情報に基づいて、前記複数の撮影装置の少なくとも1つを選択し、
    前記選択された1又は複数の撮影装置により撮影される映像に対して、前記期待条件を満たすか否かを判定する
    ことを特徴とする情報処理装置。
  5. 請求項1ないし4のいずれかに記載の情報処理装置であって、
    前記撮影装置選択手段は、予め定められる条件が満たされる場合に、前記複数の撮影装置の1つを選択する、
    ことを特徴とする情報処理装置。
  6. 請求項に記載の情報処理装置であって、
    前記撮影装置選択手段は、前記複数の撮影装置の1つを逐次的に選択し、
    前記複数の期待条件は、
    前記被写体状態情報と、前回選択された撮影装置の撮影装置状態情報と、の関係に基づく条件を含む、
    ことを特徴とする情報処理装置。
  7. 映像に対する複数の期待条件であってそれぞれ優先順位が付された期待条件を示す期待条件情報及び前記映像に対する必須条件を示す必須条件情報を取得する条件情報取得手段と
    数の撮影装置のそれぞれにより撮影される映像のうち優先順位の最も高い期待条件を満たし、かつ、前記必須条件を満たす映像を撮影する撮影装置を選択する撮影装置選択手段と、
    を有することを特徴とする情報処理システム。
  8. コンピュータを、
    映像に対する複数の期待条件であってそれぞれ優先順位が付された期待条件を示す期待条件情報及び前記映像に対する必須条件を示す必須条件情報を取得する条件情報取得手段と
    数の撮影装置のそれぞれにより撮影される映像のうち優先順位の最も高い期待条件を満たし、かつ、前記必須条件を満たす映像を撮影する撮影装置を選択する撮影装置選択手段と、
    を有する情報処理装置として機能させることを特徴とするプログラム。
JP2012223214A 2012-10-05 2012-10-05 情報処理装置、情報処理システム、およびプログラム Active JP6089549B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012223214A JP6089549B2 (ja) 2012-10-05 2012-10-05 情報処理装置、情報処理システム、およびプログラム
PCT/JP2013/068352 WO2014054323A1 (ja) 2012-10-05 2013-07-04 情報処理装置、情報処理システム、およびプログラム
AU2013325976A AU2013325976B2 (en) 2012-10-05 2013-07-04 Information processing apparatus, information processing system and program
SG11201502310PA SG11201502310PA (en) 2012-10-05 2013-07-04 Information processing device, information processing system, and program
US14/656,227 US9942471B2 (en) 2012-10-05 2015-03-12 Information processing apparatus, information processing system and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012223214A JP6089549B2 (ja) 2012-10-05 2012-10-05 情報処理装置、情報処理システム、およびプログラム

Publications (2)

Publication Number Publication Date
JP2014075742A JP2014075742A (ja) 2014-04-24
JP6089549B2 true JP6089549B2 (ja) 2017-03-08

Family

ID=50434659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012223214A Active JP6089549B2 (ja) 2012-10-05 2012-10-05 情報処理装置、情報処理システム、およびプログラム

Country Status (5)

Country Link
US (1) US9942471B2 (ja)
JP (1) JP6089549B2 (ja)
AU (1) AU2013325976B2 (ja)
SG (1) SG11201502310PA (ja)
WO (1) WO2014054323A1 (ja)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916863A (ja) * 1995-06-27 1997-01-17 Toshiba Corp 監視制御装置
JP2000023145A (ja) * 1998-07-06 2000-01-21 Canon Inc 撮像システム、撮像システムの制御装置および制御方法
US7193645B1 (en) * 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
JP3785033B2 (ja) 2000-08-29 2006-06-14 株式会社東芝 監視カメラ制御システム及び監視カメラ制御装置
GB2368482B (en) * 2000-10-26 2004-08-25 Hewlett Packard Co Optimal image capture
JP2005286419A (ja) 2004-03-26 2005-10-13 Olympus Corp 撮像装置
JP4140567B2 (ja) * 2004-07-14 2008-08-27 松下電器産業株式会社 物体追跡装置および物体追跡方法
JP2006081128A (ja) * 2004-09-13 2006-03-23 Yamaha Corp 撮影システム、カラオケシステム、撮影方法
EP1872345B1 (en) * 2005-03-25 2011-03-02 Sensormatic Electronics, LLC Intelligent camera selection and object tracking
WO2007119355A1 (ja) * 2006-03-15 2007-10-25 Omron Corporation 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP4741557B2 (ja) 2006-08-18 2011-08-03 日本放送協会 撮影ショット制御装置及び撮影ショット制御プログラム
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP4513843B2 (ja) * 2007-09-10 2010-07-28 カシオ計算機株式会社 撮像装置及びプログラム

Also Published As

Publication number Publication date
SG11201502310PA (en) 2015-05-28
US20150189170A1 (en) 2015-07-02
US9942471B2 (en) 2018-04-10
WO2014054323A1 (ja) 2014-04-10
JP2014075742A (ja) 2014-04-24
AU2013325976B2 (en) 2016-02-11
AU2013325976A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
CN107409166B (zh) 摇摄镜头的自动生成
CN109565551B (zh) 对齐于参考帧合成图像
KR101803712B1 (ko) 화상처리장치, 제어 방법, 프로그램 및 기록 매체
JP2018092580A5 (ja) 画像処理装置および画像処理方法、プログラム
US10970807B2 (en) Information processing apparatus and storage medium
US9971939B2 (en) Image processing apparatus, display state determination apparatus, and image processing method
JP2019152980A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP2016063248A (ja) 画像処理装置および画像処理方法
JP6552256B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2015036841A (ja) 画像処理装置、距離計測装置、撮像装置、画像処理方法
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP6700706B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7198043B2 (ja) 画像処理装置、画像処理方法
JP2018097490A (ja) 情報処理装置、方法およびプログラム
JP2017123589A (ja) 情報処理装置、情報処理方法および映像投影システム
JP2017184136A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP5478533B2 (ja) 全方位画像生成方法、画像生成装置およびプログラム
JP6089549B2 (ja) 情報処理装置、情報処理システム、およびプログラム
JP5086120B2 (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2016005027A (ja) 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。
JP2009042900A (ja) 撮像装置および画像選択装置
JP6381212B2 (ja) 撮像装置及びその制御方法
JP5988213B2 (ja) 演算処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170123

R150 Certificate of patent or registration of utility model

Ref document number: 6089549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350