JP2019129494A - 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム - Google Patents
映像送信装置、情報処理装置、システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2019129494A JP2019129494A JP2018011646A JP2018011646A JP2019129494A JP 2019129494 A JP2019129494 A JP 2019129494A JP 2018011646 A JP2018011646 A JP 2018011646A JP 2018011646 A JP2018011646 A JP 2018011646A JP 2019129494 A JP2019129494 A JP 2019129494A
- Authority
- JP
- Japan
- Prior art keywords
- video
- metadata
- information processing
- type
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19663—Surveillance related processing done local to the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
また、クライアント装置へ撮像映像を配信する監視カメラにおいて、外部装置から監視カメラの設定変更や、画像の配信の開始を指示するコマンド群が実装されている。そのようなコマンド群の例として、ONVIF(Open Network Video Interface Forum)により策定された規格によって定義されるものが知られている(非特許文献1)。
ONVIFでは監視カメラの設定(コンフィグレーション)として、配信映像の映像種別を含むビデオソース設定(Video Source Configuration)が定義されている。また、ONVIFでは監視カメラのコンフィグレーションとして、映像解析し検出した物体情報をメタデータ配信に「含む・含まない」等を設定するメタデータ配信設定(Metadata Configuration)等が定義されている。
コンフィグレーションはカメラの配信時に指定されるプロファイル設定(Profile)にマッピング(関連付け)され、カメラはそのプロファイル設定にマッピングされたコンフィグレーションの内容で映像配信とメタデータ配信とを行う。
図1ではONVIFでコンフィグレーションをプロファイル設定にマッピングする例を表している。このように1つ以上のビデオソース設定、メタデータ配信設定からそれぞれ1つを選択し、プロファイル設定にマッピングする。
しかしながら、複数種類の映像生成と複数種類の映像で映像解析とを行うことができるカメラにおいて、ONVIFのプロファイル設定で映像配信とメタデータ配信とを行う場合、メタデータ配信設定に映像解析を行う映像種別を表す情報がない。そのため、配信映像と異なる映像解析結果をメタデータとして配信してしまい、ユーザが混乱することがあった。
例えば、魚眼レンズで撮像された魚眼映像と、魚眼映像に歪み補正や画像切り出しが行われ、生成されたパノラマ映像とが生成できる全方位カメラがある。
全方位カメラで、ビデオソース設定の映像種別を魚眼映像に設定し、映像解析はパノラマ映像で行っていた場合、配信される映像は魚眼映像だが、メタデータ配信される物体情報はパノラマ映像で生成されたものとなる。その結果、魚眼映像にパノラマ映像で検出された物体情報が誤って重畳されてしまうことがある。
また、配信映像の映像種別に基づいて、メタデータを「配信する・しない」を判断する撮像装置が開示されている(特許文献1)。
以下に、図2を参照して本実施形態に係るネットワーク構成について説明する。
図2は、監視カメラ10を含むシステムのシステム構成の一例を示す図である。監視カメラ10とクライアント装置20とは、ネットワーク30を介して相互に通信可能な状態に接続されている。クライアント装置20は、監視カメラ10に対して、以下に示す各種各制御コマンドを送信する。制御コマンドとは、例えば、ビデオソース設定やメタデータ配信設定をプロファイル設定にマッピングするコマンド、メタデータ配信設定コマンド、映像配信とメタデータ配信との接続先取得コマンド等である。また、制御コマンドには、更に、各制御コマンド映像配信とメタデータ配信との要求コマンド、映像解析を行っている映像種別を取得するコマンド等がある。監視カメラ10は、コマンドに対するレスポンスや映像配信やメタデータ配信要求に対する映像やメタデータをクライアント装置20に送信する。監視カメラは映像送信装置の一例である。クライアント装置は情報処理装置の一例である。
CPU11は、監視カメラ10の全体の制御を行う。メモリ12は、CPU11が実行するプログラム格納領域、プログラム実行中のワーク領域、監視カメラの設定値(コンフィグレーション)、プロファイル設定、天井付けや壁付け等のカメラの設置状態、映像種別を行っている映像種別等の設定値格納領域、後述する撮像部13が生成する画像データの格納領域等、様々なデータの格納領域として使用される。
コンフィグレーションとして、配信映像の映像種別を含むビデオソース設定(Video Source Configuration)、映像解析し検出した物体情報をメタデータ配信に含む・含まない等を設定するメタデータ配信設定(Metadata Configuration)がある。
また、コンフィグレーションは監視カメラの制御を指定するプロファイル設定(Profile)にマッピングされ、監視カメラ10はそのプロファイル設定にマッピングされたコンフィグレーションの内容で映像配信やメタデータ配信を行う。
撮像部13は、監視カメラ10の撮像光学系により結像された被写体の像を撮像して取得したアナログ信号をデジタルデータに変換し、撮像画像として記憶部1002に出力する。撮像画像が記憶部1002に出力されたとき、CPU11は、撮像部13から画像取得イベントを受信する。撮像部13は、撮像手段の一例である。
通信部14は、各制御コマンドを外部機器から受信する場合、また各制御コマンドに対するレスポンスや映像、メタデータを外部機器へ送信する場合に使用される。外部機器からコマンドを受信した場合、CPU11は、通信部14からコマンド受信イベントを受信する。
CPU11がメモリ12に記憶されたプログラムに基づき処理を実行することによって、後述する図4(a)の機能構成及び図5、図10のシーケンス図の監視カメラ10の処理、図8、図9のフローチャートの情報処理が実現される。
ここで、図3(a)に示した監視カメラ10のハードウェア構成は一例であり、図3(a)に示したもの以外に、監視カメラ10は、音声入力部、音声出力部、画像解析処理部等をハードウェアとして有していてもよい。
CPU21は、クライアント装置20の全体の制御を行う。
メモリ22は、主にCPU21が実行するプログラム格納領域、プログラム実行中のワーク領域等、様々なデータの格納領域として使用される。
表示部23は、例えばLCD、有機ELディスプレイ等で構成される。表示部23は、クライアント装置20の使用者に対して、プロファイル設定画面を含む様々な設定画面や表示画面、監視カメラ10から受信する映像のビューワ画面、各種メッセージ等を表示する。
入力部24は、例えばボタン、十字キー、タッチパネル、マウス等で構成され、使用者による画面操作の内容をCPU21に通知する。
通信部25は、以下に示す各種制御コマンドを監視カメラ10に対して送信する場合、また各制御コマンドに対するレスポンスや、映像やメタデータを監視カメラ10から受信する場合に使用される。各種制御コマンドとしては、例えば、ビデオソース設定やメタデータ配信設定をプロファイル設定にマッピングするコマンド、メタデータ配信設定コマンド、映像配信とメタデータ配信の接続先取得コマンド、映像配信とメタデータ配信要求コマンド、映像解析を行っている映像種別を取得するコマンド等がある。
CPU21がメモリ22に記憶されたプログラムに基づき処理を実行することによって、後述する図4(b)の機能構成及び図5、図10のシーケンス図のクライアント装置20の処理、図11のフローチャートの情報処理が実現される。
制御部100は、監視カメラ10の全体の処理を制御する。
撮像制御部101は、撮像部13を制御する。例えば、撮像制御部101は、制御部100が入力するパン、チルト、或いはズームの値に従って、撮像部13の撮像範囲をチルト駆動、パン駆動、或いはズーム駆動に変更させる。
圧縮符号化部102は、撮像部13が出力した撮像画像に対してJPEG或いはH.264、H.265等の形式に基づき圧縮符号化処理を行うことにより画像データを生成し、メモリ12に出力する。
撮像制御部101は、ハードウェア構成として監視カメラ10に実装されていてもよい。同様に、圧縮符号化部102も、ハードウェア構成として監視カメラ10に実装されていてもよい。
制御部200は、クライアント装置20の全体の処理を制御する。
復号部201は、通信部25を介して受信された圧縮符号化されている画像データをJPEG、或いはH.264、H.265等の形式に基づいて復号化し、メモリ22に展開する。
復号部201は、ハードウェア構成としてクライアント装置20に実装してもよい。
クライアント装置20の制御部200は、配信映像の映像種別を設定するために、映像種別に対応したビデオソース設定をプロファイル設定にマッピングする(関連付ける)コマンドを監視カメラ10に送信する。
監視カメラ10の制御部100は、コマンドを受信し、コマンドで指定されたビデオソース設定を指定されたプロファイル設定にマッピングし、その応答としてプロファイル設定完了を表すレスポンスをクライアント装置20に送信する。クライアント装置20の制御部200は、監視カメラ10からレスポンスを受信する。このプロファイル設定にマッピングされたビデオソース設定において規定される映像がクライアント装置20に送信されることとなる。
クライアント装置20の制御部200は、メタデータに物体情報を「含める・含めない」を設定するため、メタデータ配信設定コマンドを監視カメラ10に送信する。
監視カメラ10の制御部100は、コマンドを受信し、指定された設定でメタデータ設定を更新し、その応答としてメタデータ配信設定完了を表すレスポンスをクライアント装置20に送信する。クライアント装置20の制御部200は、監視カメラ10からレスポンスを受信する。
クライアント装置20の制御部200は、メタデータ配信設定でメタデータ配信を行うために、指定されたメタデータ配信設定を指定されたプロファイル設定にマッピングするコマンドを送信する。
監視カメラ10の制御部100は、コマンドを受信し、指定されたメタデータ配信設定を指定されたプロファイル設定にマッピングを行い、その応答としてプロファイル設定完了を表すレスポンスをクライアント装置20に送信する。このプロファイル設定にマッピングされたメタデータ配信設定において規定されるメタデータがクライアント装置20に送信されることとなる。クライアント装置20の制御部200は、監視カメラ10からレスポンスを受信する。
監視カメラ10の制御部100は、コマンドを受信し、指定されたプロファイルの映像配信とメタデータ配信との接続先を生成し、接続先をクライアント装置20に送信する。クライアント装置20の制御部200は、監視カメラ10から接続先を受信する。
クライアント装置20の制御部200は、取得した接続先に対して、映像配信とメタデータ配信とを要求するコマンドを送信する。
監視カメラ10の制御部100は、コマンドを受信し、配信映像を生成し、メタデータに物体情報を追加する処理31でメタデータを生成し、映像とメタデータとをクライアント装置20に送信する。ここで配信される映像とメタデータとは、設定されたプロファイルで規定される映像とメタデータとである。クライアント装置20の制御部200は、映像とメタデータとを受信する。
図5は各コマンドのプロトコルを制限するものではなく、コマンドのプロトコルはONVIFや監視カメラ独自の制御プロトコル等である。
また、ユーザはクライアント装置20の入力部24を操作し、メタデータに物体情報を「含める・含めない」を選択するチェックボックス43でメタデータ配信を行ったときに、メタデータに物体情報を「含める・含めない」を選択する。
ユーザが設定ボタン44を選択すると、クライアント装置20の制御部200は、ビデオソース設定やメタデータ配信設定をプロファイル設定にマッピングするコマンド、メタデータ配信設定コマンド、を監視カメラ10に送信する。
クライアント装置20の制御部200は、映像配信とメタデータ配信との要求コマンドを監視カメラ10の接続先に送信する。そして、クライアント装置20の制御部200は、監視カメラ10の接続先から映像とメタデータとを受信する。
クライアント装置20の制御部200は、映像表示エリア51に、監視カメラ10から受信した映像にメタデータに含まれる物体情報から生成した物体の外接矩形52を重畳して表示する。
S61で、監視カメラ10の制御部100は、メモリ12から、メタデータ配信設定のメタデータに物体情報を「含める・含めない」の情報を取得し、メタデータに物体情報を含めるか否かを判定する。監視カメラ10の制御部100は、物体情報を含める場合はS62に遷移し、物体情報を含めない場合は図8のフローチャートの処理を終了する。
S62で、監視カメラ10の制御部100は、メモリ12から、カメラの設置状態を取得し、設置状態が天井設置か否かを判定する。監視カメラ10の制御部100は、設置状態が天井設置の場合はS63に遷移し、設置状態が壁設置の場合はS65に遷移する。
S63で、監視カメラ10の制御部100は、映像解析を行う映像種別を魚眼に設定する。そして、制御部100は、メモリ12から、ビデオソース設定の映像種別を取得し、ビデオソース設定の映像種別が魚眼か否かを判定する。監視カメラ10の制御部100は、ビデオソース設定の映像種別が魚眼の場合はS64に遷移し、ビデオソース設定の映像種別が魚眼でない場合は図8のフローチャートの処理を終了する。
S64で、監視カメラ10の制御部100は、メタデータに魚眼映像の物体情報を追加し、図8のフローチャートの処理を終了する。このように、制御部100は、映像解析が行われる映像種別と、配信する映像の映像種別とが一致する場合にメタデータに物体情報を追加する。
S65で、監視カメラ10の制御部100は、映像解析を行う映像種別をパノラマに設定する。そして、制御部100は、メモリ12から、ビデオソース設定の映像種別を取得し、ビデオソース設定の映像種別がパノラマか否かを判定する。監視カメラ10の制御部100は、ビデオソース設定の映像種別がパノラマの場合はS66に遷移し、ビデオソース設定の映像種別がパノラマでない場合は図8のフローチャートの処理を終了する。
S66で、監視カメラ10の制御部100は、メタデータにパノラマ映像の物体情報を追加し、図8のフローチャートの処理を終了する。このように、制御部100は、映像解析が行われる映像種別と、配信する映像の映像種別とが一致する場合にメタデータに物体情報を追加する。
クライアント装置20の制御部200は、映像とメタデータとを監視カメラ10より受信する受信し、受信した映像に受信したメタデータに含まれる物体情報の外接矩形を重畳して表示する。
以下、図9を参照して、実施形態2に係る監視カメラ10のメタデータに物体情報を追加する処理31について説明する。実施形態1と同じ部分(図2〜図7)については説明を省略する。
S71で、監視カメラ10の制御部100は、メモリ12から、メタデータ配信設定の物体情報を「含める・含めない」の情報を取得し、物体情報を含めるか否かを判定する。監視カメラ10の制御部100は、物体情報を含める場合はS72に遷移し、物体情報を含めない場合は図9のフローチャートの処理を終了する。
S72で、監視カメラ10の制御部100は、メモリ12から、映像解析を行っている映像種別を取得し、魚眼か否かを判定する。監視カメラ10の制御部100は、映像解析の映像種別が魚眼の場合はS73に遷移し、映像解析の映像種別がパノラマの場合はS75に遷移する。
S73で、監視カメラ10の制御部100は、メモリ12から、ビデオソース設定の映像種別を取得し、ビデオソース設定の映像種別が魚眼か否かを判定する。監視カメラ10の制御部100は、ビデオソース設定の映像種別が魚眼の場合はS74に遷移し、ビデオソース設定の映像種別が魚眼でない場合は図9のフローチャートの処理を終了する。
S74で、監視カメラ10の制御部100は、メタデータに魚眼映像の物体情報を追加し、図9のフローチャートの処理を終了する。
S75で、監視カメラ10の制御部100は、メモリ12から、ビデオソース設定の映像種別を取得し、ビデオソース設定の映像種別がパノラマか否かを判定する。監視カメラ10の制御部100は、ビデオソース設定の映像種別がパノラマの場合はS76に遷移し、ビデオソース設定の映像種別がパノラマでない場合は図9のフローチャートの処理を終了する。
S76で、監視カメラ10の制御部100は、メタデータにパノラマの物体情報を追加し、図9のフローチャートの処理を終了する。
以下、図10、図11を参照して、実施形態3に係るクライアント装置20の映像に物体情報の外接矩形を重畳する処理32について説明する。なお、実施形態1と同じ部分(図2〜図4、図6)については説明を省略する。
図10を参照して、監視カメラ10がクライアント装置20に映像配信とメタデータ配信とを行うシーケンスについて説明する。
クライアント装置20の制御部200は、配信映像の映像種別を設定するために、映像種別に対応したビデオソース設定をプロファイル設定にマッピングするコマンドを監視カメラ10に送信する。
監視カメラ10の制御部100は、コマンドを受信し、コマンドで指定されたビデオソース設定を指定されたプロファイル設定にマッピングし、その応答としてプロファイル設定完了を表すレスポンスをクライアント装置20に送信する。クライアント装置20の制御部200は、監視カメラ10からレスポンスを受信する。
クライアント装置20の制御部200は、メタデータに物体情報を「含める・含めない」を設定するため、メタデータ配信設定コマンドを監視カメラ10に送信する。
監視カメラ10の制御部100は、コマンドを受信し、指定された設定でメタデータ設定を更新し、その応答としてメタデータ配信設定完了を表すレスポンスをクライアント装置20に送信する。クライアント装置20の制御部200は、監視カメラ10からレスポンスを受信する。
クライアント装置20の制御部200は、メタデータ配信設定でメタデータ配信を行うために、指定されたメタデータ配信設定を指定されたプロファイル設定にマッピングするコマンドを送信する。
監視カメラ10の制御部100は、コマンドを受信し、指定されたメタデータ配信設定を指定されたプロファイル設定にマッピングを行い、その応答としてプロファイル設定完了を表すレスポンスをクライアント装置20に送信する。クライアント装置20の制御部200は、監視カメラ10からレスポンスを受信する。
監視カメラ10の制御部100は、コマンドを受信し、映像種別をクライアント装置20に送信する。クライアント装置20の制御部200は、監視カメラ10から映像種別を受信する。
クライアント装置20の制御部200は、設定されたプロファイルで映像配信とメタデータ配信との接続先を取得するために、プロファイルを指定して、映像配信とメタデータ配信との接続先を取得するコマンドを監視カメラ10に送信する。
監視カメラ10の制御部100は、コマンドを受信し、指定されたプロファイルの映像配信とメタデータ配信との接続先を生成し、接続先をクライアント装置20に送信する。クライアント装置20の制御部200は、監視カメラ10から接続先を受信する。
クライアント装置20の制御部200は、取得した接続先に対して、映像配信とメタデータ配信とを要求するコマンドを送信する。
監視カメラ10の制御部100は、コマンドを受信し、配信映像を生成し、メタデータに物体情報を追加する処理31でメタデータを生成し、映像とメタデータとをクライアント装置20に送信する。クライアント装置20の制御部200は、映像とメタデータとを受信する。
クライアント装置20の制御部200は、受信した映像とメタデータとを用いて、映像に物体情報の外接矩形を重畳する処理32を行う。
図10は各コマンドのプロトコルを制限するものではなく、コマンドのプロトコルはONVIFや監視カメラ独自の制御プロトコル等である。
クライアント装置20の制御部200は、映像配信とメタデータ配信との接続先を取得するコマンドを監視カメラ10に送信する。そして、クライアント装置20の制御部200は、監視カメラ10から接続先を受信する。
クライアント装置20の制御部200は、映像配信とメタデータ配信との要求コマンドを監視カメラ10の接続先に送信する。そして、クライアント装置20の制御部200は、監視カメラ10の接続先から映像とメタデータとを受信する。
クライアント装置20の制御部200は、監視カメラ10から受信した映像とメタデータとを用いて、配信映像に物体情報の外接矩形を重畳する処理32を行い、配信映像と映像解析を行った映像とが一致する場合のみ、受信した映像にメタデータに含まれる物体情報から生成した物体の外接矩形52を重畳して表示する。
クライアント装置20の制御部200は、映像表示エリア51に、監視カメラ10から受信した映像にメタデータに含まれる物体情報から生成した物体の外接矩形52を重畳して表示する。
S81でクライアント装置20の制御部200は、監視カメラ10から映像とメタデータとを受信する。
S82で、クライアント装置20の制御部200は、メモリ22から、現在映像解析を行っている映像種別を取得し、クライアント装置20が要求した配信映像の映像種別と一致するか否かを判定する。ここで、クライアント装置20の制御部200は、図10の映像配信・メタデータ配信の接続先取得の際に指定したプロファイルにより、クライアント装置20が要求した配信映像の映像種別を判別することができる。クライアント装置20の制御部200は、現在映像解析を行っている映像種別が、クライアント装置20が要求した配信映像の映像種別と一致する場合はS83に遷移し、一致しない場合は図11のフローチャートの処理を終了する。
S83で、クライアント装置20の制御部200は、メモリ12から、配信映像に物体情報の外接矩形を重畳して、図11のフローチャートの処理を終了する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述した監視カメラ10、クライアント装置20のハードウェア構成は一例であり、例えば、それぞれの装置はCPUやメモリ、通信部等は複数有していてもよい。また、それぞれの装置において、複数のCPUがプログラムに基づき、複数のメモリに記憶されたデータ等を用いながら処理を実行するようにしてもよい。また、CPUに替えてGPU(Graphics Processing Unit)を用いることとしてもよい。
また、上述した実施形態を任意に組み合わせて実施してもよい。
11 CPU
20 クライアント装置
21 CPU
Claims (15)
- 撮像手段によって撮像された映像を送信する映像送信装置であって、
情報処理装置に送信する映像の映像種別に基づいてメタデータに物体情報を追加するか判定する判定手段と、
前記判定手段によって前記メタデータに前記物体情報を追加すると判定された場合に、前記情報処理装置に送信する映像に関する物体情報を前記メタデータに追加する追加手段と、
前記映像と前記メタデータとを前記情報処理装置に送信する送信手段と、
を有する映像送信装置。 - 前記判定手段は、更に、映像解析が行われる映像の映像種別に基づいて前記メタデータに前記物体情報を追加するか否かを判定する請求項1記載の映像送信装置。
- 前記判定手段は、前記撮像手段の設置状態が天井設置である場合、前記映像解析が行われる映像の映像種別を魚眼とし、前記情報処理装置に送信する映像の映像種別が魚眼の場合、前記メタデータに物体情報を追加すると判定する請求項2記載の映像送信装置。
- 前記判定手段は、前記撮像手段の設置状態が壁設置である場合、前記映像解析が行われる映像の映像種別をパノラマとし、前記情報処理装置に送信する映像の映像種別がパノラマの場合、前記メタデータに物体情報を追加すると判定する請求項2記載の映像送信装置。
- 前記判定手段は、前記映像解析が行われる映像の映像種別が魚眼である場合であって、前記情報処理装置に送信する映像の映像種別が魚眼の場合、メタデータに物体情報を追加すると判定する請求項2記載の映像送信装置。
- 前記判定手段は、前記映像解析の映像種別がパノラマである場合であって、前記情報処理装置に送信する映像の映像種別がパノラマの場合、メタデータに物体情報を追加すると判定する請求項2記載の映像送信装置。
- 前記判定手段は、前記映像解析が行われる映像の映像種別と、前記情報処理装置に送信する映像の映像種別と、が一致する場合、前記メタデータに物体情報を追加すると判定する請求項2記載の映像送信装置。
- 情報処理装置であって、
撮像手段によって撮像された映像を送信する映像送信装置が前記情報処理装置に送信する映像の映像解析の映像種別を、前記映像送信装置より取得する取得手段と、
前記映像とメタデータとを前記映像送信装置より受信する受信手段と、
前記映像送信装置が前記情報処理装置に送信する映像の映像種別と、前記取得手段により取得された前記映像種別とが一致する場合、前記受信手段により受信された映像に前記受信手段により受信されたメタデータに含まれる物体情報の外接矩形を重畳する表示手段と、
を有する情報処理装置。 - 前記映像送信装置が前記情報処理装置に送信する映像の映像種別と、前記取得手段により取得された前記映像種別とが一致するか否かを判定する判定手段を更に有し、
前記判定手段により、前記映像送信装置が前記情報処理装置に送信する映像の映像種別と、前記取得手段により取得された前記映像種別とが一致すると判定された場合、前記表示手段は、前記受信手段により受信された映像に前記受信手段により受信されたメタデータに含まれる物体情報の外接矩形を重畳する請求項8記載の情報処理装置。 - 撮像手段によって撮像された映像を送信する映像送信装置と情報処理装置とを含むシステムであって、
前記映像送信装置は、
情報処理装置に送信する映像の映像種別に基づいてメタデータに物体情報を追加するか判定する判定手段と、
前記判定手段によって前記メタデータに前記物体情報を追加すると判定された場合に、前記情報処理装置に送信する映像に関する物体情報を前記メタデータに追加する追加手段と、
前記映像と前記メタデータとを前記情報処理装置に送信する送信手段と、
を有し、
前記情報処理装置は、
前記映像と前記メタデータとを前記映像送信装置より受信する受信手段と、
前記受信手段により受信された映像に前記受信手段により受信されたメタデータに含まれる物体情報の外接矩形を重畳する表示手段と、
を有するシステム。 - 撮像手段によって撮像された映像を送信する映像送信装置と情報処理装置とを含むシステムであって、
前記映像送信装置は、
メタデータに配信する映像に関する物体情報を追加する追加手段と、
前記映像と前記メタデータとを前記情報処理装置に送信する送信手段と、
を有し、
前記情報処理装置は、
前記映像送信装置が前記情報処理装置に送信する映像の映像解析の映像種別を、前記映像送信装置より取得する取得手段と、
前記映像と前記メタデータとを前記映像送信装置より受信する受信手段と、
前記映像送信装置が前記情報処理装置に送信する映像の映像種別と、前記取得手段により取得された前記映像種別とが一致する場合、前記受信手段により受信された映像に前記受信手段により受信されたメタデータに含まれる物体情報の外接矩形を重畳する表示手段と、
を有するシステム。 - 撮像手段によって撮像された映像を送信する映像送信装置が実行する情報処理方法であって、
情報処理装置に送信する映像の映像種別に基づいてメタデータに物体情報を追加するか判定する判定工程と、
前記判定工程によって前記メタデータに前記物体情報を追加すると判定された場合に、前記情報処理装置に送信する映像に関する物体情報を前記メタデータに追加する追加工程と、
前記映像と前記メタデータとを前記情報処理装置に送信する送信工程と、
を含む情報処理方法。 - 情報処理装置が実行する情報処理方法であって、
撮像手段によって撮像された映像を送信する映像送信装置が前記情報処理装置に送信する映像の映像解析の映像種別を、前記映像送信装置より取得する取得工程と、
前記映像とメタデータとを前記映像送信装置より受信する受信工程と、
前記映像送信装置が前記情報処理装置に送信する映像の映像種別と、前記取得工程により取得された前記映像種別とが一致する場合、前記受信工程により受信された映像に前記受信工程により受信されたメタデータに含まれる物体情報の外接矩形を重畳する表示工程と、
を含む情報処理方法。 - コンピュータを、請求項1乃至7何れか1項記載の映像送信装置の各手段として機能させるためのプログラム。
- コンピュータを、請求項8又は9記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018011646A JP7073120B2 (ja) | 2018-01-26 | 2018-01-26 | 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム |
CN201910073638.0A CN110087023B (zh) | 2018-01-26 | 2019-01-25 | 视频图像发送装置、信息处理装置、***、方法及介质 |
US16/258,280 US11064103B2 (en) | 2018-01-26 | 2019-01-25 | Video image transmission apparatus, information processing apparatus, system, information processing method, and recording medium |
EP19153705.9A EP3518198A1 (en) | 2018-01-26 | 2019-01-25 | Video image transmission apparatus, information processing apparatus, system, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018011646A JP7073120B2 (ja) | 2018-01-26 | 2018-01-26 | 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019129494A true JP2019129494A (ja) | 2019-08-01 |
JP7073120B2 JP7073120B2 (ja) | 2022-05-23 |
Family
ID=65411716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018011646A Active JP7073120B2 (ja) | 2018-01-26 | 2018-01-26 | 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11064103B2 (ja) |
EP (1) | EP3518198A1 (ja) |
JP (1) | JP7073120B2 (ja) |
CN (1) | CN110087023B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6968610B2 (ja) * | 2017-08-01 | 2021-11-17 | キヤノン株式会社 | 撮像装置、情報処理方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011055270A (ja) * | 2009-09-02 | 2011-03-17 | Canon Inc | 情報送信装置及び情報送信方法 |
JP2015056846A (ja) * | 2013-09-13 | 2015-03-23 | キヤノン株式会社 | 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム |
JP2016178406A (ja) * | 2015-03-19 | 2016-10-06 | パナソニックIpマネジメント株式会社 | 撮像装置、録画装置および映像出力制御装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6654060B1 (en) * | 1997-01-07 | 2003-11-25 | Canon Kabushiki Kaisha | Video-image control apparatus and method and storage medium |
JP4649944B2 (ja) | 2004-10-20 | 2011-03-16 | 富士ゼロックス株式会社 | 動画像処理装置、動画像処理方法およびプログラム |
JP2008035095A (ja) * | 2006-07-27 | 2008-02-14 | Sony Corp | 監視装置、監視システム、監視方法及びプログラム |
JP4715909B2 (ja) * | 2008-12-04 | 2011-07-06 | ソニー株式会社 | 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム |
US8754940B2 (en) * | 2009-01-30 | 2014-06-17 | Robert Bosch Gmbh | Method and apparatus for monitoring using a movable video device |
US20100231687A1 (en) * | 2009-03-16 | 2010-09-16 | Chase Real Estate Services Corporation | System and method for capturing, combining and displaying 360-degree "panoramic" or "spherical" digital pictures, images and/or videos, along with traditional directional digital images and videos of a site, including a site audit, or a location, building complex, room, object or event |
US10645344B2 (en) * | 2010-09-10 | 2020-05-05 | Avigilion Analytics Corporation | Video system with intelligent visual display |
JP6065195B2 (ja) * | 2012-05-08 | 2017-01-25 | パナソニックIpマネジメント株式会社 | 表示映像形成装置及び表示映像形成方法 |
JP2015080075A (ja) * | 2013-10-16 | 2015-04-23 | ソニー株式会社 | 映像表示システム、外部装置および映像表示方法 |
EP2922288A1 (en) | 2014-03-18 | 2015-09-23 | Thomson Licensing | Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium |
JP6700661B2 (ja) * | 2015-01-30 | 2020-05-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び画像処理システム |
US10152858B2 (en) * | 2016-05-09 | 2018-12-11 | Coban Technologies, Inc. | Systems, apparatuses and methods for triggering actions based on data capture and characterization |
CN112995616A (zh) * | 2016-06-03 | 2021-06-18 | 麦克赛尔株式会社 | 摄像装置和摄像*** |
KR102537559B1 (ko) * | 2016-11-14 | 2023-05-26 | 한화비전 주식회사 | 영상촬영장치에서 다양한뷰모드를 제공하는 방법 |
US10419728B2 (en) * | 2017-08-22 | 2019-09-17 | Chekt Llc | Monitoring system having personal information protection function and method thereof |
-
2018
- 2018-01-26 JP JP2018011646A patent/JP7073120B2/ja active Active
-
2019
- 2019-01-25 EP EP19153705.9A patent/EP3518198A1/en not_active Withdrawn
- 2019-01-25 US US16/258,280 patent/US11064103B2/en active Active
- 2019-01-25 CN CN201910073638.0A patent/CN110087023B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011055270A (ja) * | 2009-09-02 | 2011-03-17 | Canon Inc | 情報送信装置及び情報送信方法 |
JP2015056846A (ja) * | 2013-09-13 | 2015-03-23 | キヤノン株式会社 | 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム |
JP2016178406A (ja) * | 2015-03-19 | 2016-10-06 | パナソニックIpマネジメント株式会社 | 撮像装置、録画装置および映像出力制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7073120B2 (ja) | 2022-05-23 |
US11064103B2 (en) | 2021-07-13 |
CN110087023B (zh) | 2021-10-08 |
CN110087023A (zh) | 2019-08-02 |
EP3518198A1 (en) | 2019-07-31 |
US20190238744A1 (en) | 2019-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10594988B2 (en) | Image capture apparatus, method for setting mask image, and recording medium | |
JP5335610B2 (ja) | 画像処理装置及びその制御方法と通信システム | |
JP2004304602A (ja) | ネットワーク接続カメラ及び画像表示方法 | |
US9445142B2 (en) | Information processing apparatus and control method thereof | |
JP7250440B2 (ja) | 撮影装置、情報処理装置、情報処理方法、およびプログラム | |
EP2653963A2 (en) | Image communication apparatus, image communication server and image processing method for image communication | |
US11010864B2 (en) | Image capturing apparatus, control method, and storage medium | |
JP6331296B2 (ja) | 情報処理端末、伝送システム、及びプログラム | |
JP7073120B2 (ja) | 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム | |
JP2011045084A (ja) | データ要請方法及び装置、並びにデータ獲得方法及び装置 | |
JP6261191B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
EP3438837A1 (en) | Service provision system, service delivery system, service provision method, and program | |
JP2015088786A (ja) | 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法、及びプログラム | |
US11108772B2 (en) | Service providing system, service delivery system, service providing method, and non-transitory recording medium | |
JP2012074999A (ja) | 画像データ伝送システム、サーバ装置、クライアント端末、画像データ伝送方法、及び制御プログラム | |
JP2012227603A (ja) | カメラ制御装置、カメラ制御装置の制御方法 | |
JP2017212644A (ja) | 通信装置、システム、情報処理方法及びプログラム | |
JP2015089077A (ja) | 撮像装置、外部装置、撮像システム、撮像装置の制御方法、外部装置の制御方法、撮像システムの制御方法、及びプログラム | |
JP2023037159A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP6609155B2 (ja) | 情報処理装置、その制御方法、及びプログラム | |
JP6128798B2 (ja) | 送信装置、送信方法、及びプログラム | |
JP2023072603A (ja) | 撮像制御装置及びコンピュータプログラム | |
JP2018038067A (ja) | 撮像装置、画像処理装置、撮像装置の制御方法、画像処理装置の制御方法及びプログラム | |
JP2019029995A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2007104281A (ja) | データ送受信方法、マルチメディアデータ加工処理システム、端末、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220511 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7073120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |