JP7271105B2 - 表示制御装置、表示制御方法、およびプログラム - Google Patents

表示制御装置、表示制御方法、およびプログラム Download PDF

Info

Publication number
JP7271105B2
JP7271105B2 JP2018143506A JP2018143506A JP7271105B2 JP 7271105 B2 JP7271105 B2 JP 7271105B2 JP 2018143506 A JP2018143506 A JP 2018143506A JP 2018143506 A JP2018143506 A JP 2018143506A JP 7271105 B2 JP7271105 B2 JP 7271105B2
Authority
JP
Japan
Prior art keywords
image
display control
size
imaging device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018143506A
Other languages
English (en)
Other versions
JP2020022036A (ja
Inventor
哲広 船城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018143506A priority Critical patent/JP7271105B2/ja
Priority to US16/518,297 priority patent/US20200045242A1/en
Publication of JP2020022036A publication Critical patent/JP2020022036A/ja
Application granted granted Critical
Publication of JP7271105B2 publication Critical patent/JP7271105B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置が撮像した画像を表示させる技術に関するものである。
従来、複数の撮像装置の各々が撮像した画像をディスプレイ上に並べて表示させる監視システムにおいて、ディスプレイ上に並べて表示された複数の画像のうち、より詳細に確認すべき画像をディスプレイ上で拡大して表示させる技術がある。
特許文献１では、複数の監視カメラの映像を並べて表示しながら集中監視する監視システムにおいて、映像中の人物動作の異常度が所定値を超えた監視カメラの映像を表示画面中央に拡大表示する。
また、撮像装置が撮像した画像に対して解析処理を行ったり、人感センサやモーションセンサ等のセンサを利用したりすることで、撮像装置が撮像する撮像領域において発生するイベントを検出する技術がある。なお、イベントの検出としては、撮像領域における動体を検出する動体検出や、撮像領域における人体を検出する人体検出等がある。
特開２０１１－９７３０９号公報
撮像装置が撮像する撮像領域にて発生するイベントの種別に応じて、撮像された画像においてユーザが確認したい対象が異なることがある。
しかしながら、特許文献１では、イベントの種別を考慮せず、人物動作の異常度が所定値を超えた場合、監視カメラの映像を表示画面中央に一律で拡大表示している。
そこで、本発明は、撮像領域において発生したイベントの種別に応じて、ユーザが確認したい部分を視認しやすくすることを目的としている。
上記課題を解決するために、例えば、本発明の表示制御装置は以下の構成を備える。すなわち、撮像装置が撮像する画像を表示手段に表示させる表示制御装置であって、前記撮像装置によって撮像される撮像領域において発生したイベントの種別を取得する取得手段と、前記撮像領域の画像に含まれる人物の特定の部分のサイズが所定のサイズになるように、拡大処理を行う拡大処理手段と、前記拡大処理が行われた画像を前記表示手段に表示させる表示制御手段と、を有し、前記特定の部分は、前記取得手段が取得したイベントの種別に応じて異なり、前記特定の部分のサイズは、前記取得手段が取得したイベントの種別に応じて異なる部分によって定まる係数と前記人物のサイズとを乗じたサイズであることを特徴とする。
本発明によれば、撮像領域において発生したイベントの種別に応じて、ユーザが確認したい部分を視認しやすくすることができる。
システム構成を示す図である。 撮像装置の外観図を示す図である。 撮像装置の機能ブロックを示す図である。 表示制御装置の機能ブロックを示す図である。 表示画面の一例を示す図である。 イベントの種別と人物の部分とを関連付けたテーブルの一例を示す表である。 画像を拡大する処理の流れを示すフローチャートである。 表示制御装置の機能ブロックを示す図である。 表示画面の一例を示す図である。 撮像装置を制御する処理の流れを示すフローチャートである。 部分画像を決定する処理の流れを示すフローチャートである。 表示制御装置の機能ブロックを示す図である。 表示画面の一例を示す図である。 イベントの種別と人物の部分とを関連付ける処理の流れを示すフローチャートである。 表示制御装置のハードウェア構成を示す概略図である。
以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、撮像装置１００およびセンサユニット１１０を含む監視ユニット１２０と、表示制御装置１４０と、記録装置１５０と、ディスプレイ１６０とを有している。
撮像装置１００、センサユニット１１０、表示制御装置１４０及び記録装置１５０は、ネットワーク１３０を介して接続されている。ネットワーク１３０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から構成される。
なお、ネットワーク１３０は、インターネットや有線ＬＡＮ（ＬＯＣＡＬ ＡＲＥＡ ＮＥＴＷＯＲＫ）、無線ＬＡＮ（ＷＩＲＥＬＥＳＳ ＬＡＮ）、ＷＡＮ（ＷＩＤＥ ＡＲＥＡ ＮＥＴＷＯＲＫ）等により構成されてもよい。
撮像装置１００は、画像を撮像する装置である。撮像装置１００が撮像した画像に基づく画像データは、ネットワーク１３０を介して、表示制御装置１４０および記録装置１５０へ送信される。なお、撮像装置１００は、撮像した画像の画像データと、撮像装置１００を識別可能にする識別ＩＤと、を関連付けて表示制御装置１４０および記録装置１５０へ送信する。
なお、本実施形態における撮像装置１００は、撮像した画像に対して解析処理を行う情報処理部２１０（図３を参照して後述）を有している。そして撮像装置１００は、撮像した画像に対して解析処理を行うことで、撮像装置１００が撮像する撮像領域において発生したイベントの検出を行う。
本実施形態におけるセンサユニット１１０は、温度センサ、人感センサ、モーションセンサ、照度センサ、マイクロフォン等のセンサを含む。
センサユニット１１０は、上記センサを介して得られた情報を撮像装置１００へ送信する。例えば、人感センサは、撮像領域において人物を検出したことを示す信号を撮像装置１００へ送信する。また、マイクロフォンは、撮像領域において取得した音声信号を撮像装置１００へ送信する。
撮像装置１００は、センサユニット１１０から送信された情報に基づいて、撮像領域において発生したイベントを検出する。例えば、撮像装置１００は、撮像領域において人感センサが人物を検出したことを示す信号が入力されると、撮像領域において人物が存在することをイベントとして検出する。なお、センサユニット１１０が有するセンサは、一つでもよいし、複数であってもよい。
撮像装置１００は、撮像した画像の画像データと、当該画像を撮像した時刻を示す情報と、当該画像を撮像した撮像装置１００を識別可能な識別ＩＤと、検出したイベントを示す情報と、を表示制御装置１４０および記録装置１５０へ送信する。
表示制御装置１４０は、撮像装置１００により撮像された画像をディスプレイ１６０に並べて表示させる。ユーザは、表示された画像を閲覧することにより、撮像領域における異常の有無などを監視することができる。
記録装置１５０は、撮像装置１００が撮像した画像の画像データと、当該画像を撮像した時刻と、当該画像を撮像した撮像装置１００の識別ＩＤと、検出されたイベントを示す情報と、を関連付けて記録する。そして、表示制御装置１４０からの要求に従って、記録装置１５０は、撮像装置１００が撮像した画像の画像データ等を表示制御装置１４０へ送信するようにしてもよい。
ディスプレイ１６０は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）等により構成されている。また、ディスプレイ１６０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して表示制御装置１４０と通信可能に接続されている。
また、ディスプレイ１６０は、表示手段として機能し、撮像装置１００が撮像した画像や、撮像装置１００を制御したり画像配信を要求したりするための設定画面を表示する。なお、ディスプレイ１６０は、表示制御装置１４０の筐体と一体であってもよい。
なお、撮像装置１００およびセンサユニット１１０を含む監視ユニット１２０の数は、特に限定されるものではない。例えば、本実施形態におけるシステムは、一つの監視ユニット１２０を有していてもよいし、例えば、数十から数百の監視ユニット１２０を有していてもよい。
本実施形態において、１つの監視ユニット１２０は、撮像装置１００と、センサユニット１１０とを含む構成である。なお、センサユニット１１０は、撮像装置１００の筐体と一体であってもよく、その場合、撮像装置１００自体が監視ユニットとして機能する。
次に、図２および図３を参照して、本実施形態における撮像装置１００について説明する。図２は本実施形態における撮像装置１００の外観図である。また図３は、本実施形態における撮像装置１００の機能ブロックを示す図である。
レンズ２０２の光軸の向く方向が撮像装置１００の撮像方向であり、レンズ２０２を通過した光束は、撮像部２０５の撮像素子に結像する。
また、レンズ駆動部２１１は、レンズ２０２を駆動させる駆動系により構成され、レンズ２０２の焦点距離を変更する。レンズ駆動部２１１は、パンチルトズーム制御部２０８により制御される。
パン駆動部２００は、パン動作を行うメカ駆動系及び駆動源のモータにより構成され、撮像装置１００の撮像方向をパン方向２０３に回転させるための回転駆動を行う。なお、パン駆動部２００は、パンチルトズーム制御部２０８により制御される。
チルト駆動部２０１は、チルト動作を行うメカ駆動及び駆動源のモータにより構成され、撮像装置１００の撮像方向をチルト方向２０４に回転させるための回転駆動を行う。なお、チルト駆動部２０１は、パンチルトズーム制御部２０８により制御される。
撮像部２０５は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサやＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子（不図示）により構成される。そして、撮像部２０５は、レンズ２０２を通って結像された被写体像を光電変換して電気信号を生成する。
画像処理部２０６は、撮像部２０５において光電変換された電気信号を所定のデジタル信号へ変換する処理や、圧縮符号化処理などを行い、画像データを生成する。
パンチルトズーム制御部２０８は、システム制御部２０７から伝達された指示に基づいて、パン駆動部２００、チルト駆動部２０１及びレンズ駆動部２１１の制御を行う。
通信部２０９は、図１５を参照して後述するＩ／Ｆ１５０４によって実現でき、センサユニット１１０、表示制御装置１４０および記録装置１５０との通信を行う。
例えば、通信部２０９は、生成された画像データを表示制御装置１４０に送信する。また、通信部２０９は、表示制御装置１４０が送信するコマンドを受信し、システム制御部２０７へ伝達する。また、通信部２０９は、センサユニット１１０からセンサが検知した情報を受信する。
情報処理部２１０は、画像処理部２０６にて生成された画像データに対して、解析処理を行い、撮像領域において発生したイベントを検出する。なお本実施形態において、情報処理部２１０による解析処理は、動体検出をする処理、侵入検出をする処理、人体検出をする処理等を含むものとする。
動体検出は、フレーム間差分や背景差分により、撮像装置１００が撮像した画像に含まれる動体を検出する処理である。侵入検出は、撮像された画像においてユーザが予め設定した領域に動体が侵入したことを検出する処理である。人体検出は、照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで、画像に含まれる人物を検出する処理である。
なお、情報処理部２１０は、撮像領域において発生したイベントの検出に必要な解析処理を行えればよく、情報処理部２１０による解析処理の種類及び数は特に限定されるものではない。
また、情報処理部２１０は、通信部２０９が受信したセンサユニット１１０から得られた情報に基づいて、撮像領域において発生したイベントを検出する。
なお、情報処理部２１０は、表示制御装置１４０が有していてもよい。この場合、各監視ユニットの撮像装置１００が撮像した画像の画像データや、センサユニット１１０のセンサが取得した情報等を表示制御装置１４０へ送信する。そして、表示制御装置１４０の情報処理部２１０は、画像データやセンサが取得した情報等に基づいて、撮像領域において発生したイベントを検出する。
システム制御部２０７は、図１５を参照して後述するＣＰＵ１５００によって実現でき、撮像装置１００の全体を制御し、例えば、次のような処理を行う。すなわち、システム制御部２０７は、通信部２０９から伝達された撮像装置１００の撮像方向やズーム値等を制御するコマンドを解析し、コマンドに応じた処理を行う。また、システム制御部２０７は、パンチルトズーム制御部２０８に対してパンチルトズーム動作の指示を行う。
また、システム制御部２０７は、通信部２０９を介し、画像の画像データと、当該画像を撮像した時刻の情報と、撮像装置１００の識別ＩＤと、情報処理部２１０にて検出したイベントを示す情報と、当該画像を撮像した際の撮像情報と、を関連付けて送信する。
本実施形態における撮像情報は、パンチルトズーム制御部２０８等から取得される、撮像装置１００のパン角度とチルト角度と、撮像装置１００により画像が撮像されたときの撮像装置１００のズーム値と、を示す情報を含む。
なお、パン角度は、パン駆動部２００の駆動端の一方を０°としたときの、撮像装置１００のパン方向２０３における撮像方向（光軸）の角度である。また、チルト角度は、チルト駆動部２０１の駆動端の一方を０°としたときの、撮像装置１００のチルト方向２０４における撮像方向（光軸）の角度である。なお、撮像装置１００により画像が撮像されるときの撮像装置１００のズーム値は、レンズ２０２の焦点距離から算出される。
次に、図４に示す表示制御装置１４０の機能ブロック図を参照して、本実施形態における表示制御装置１４０について説明する。本実施形態における表示制御装置１４０は、取得部４００と、記憶部４１０と、検出部４２０と、表示制御部４３０と、操作受付部４４０と、を有している。
なお、図４に示す各機能ブロックは、表示制御装置１４０のＲＯＭ１５０２に格納されたコンピュータプログラムを表示制御装置１４０のＣＰＵ１５００が実行することにより実現される。
取得部４００は、撮像装置１００を識別する識別ＩＤと、識別ＩＤに対応する撮像装置１００が撮像した画像を取得する。また、取得部４００は、識別ＩＤに対応する撮像装置１００が撮像する撮像領域において発生したイベントを示す情報を取得する。
記憶部４１０は、撮像装置１００を識別する識別ＩＤと、イベントの種別と、人物における各部分とを関連付けたテーブルを記憶する。
検出部４２０は、照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで、撮像装置１００が撮像した画像に含まれる人物の位置およびサイズを検出する。
なお、撮像装置１００の情報処理部２１０が画像に含まれる人物の位置およびサイズを検出している場合、本実施形態における表示制御装置１４０は検出部４２０を有していなくてもよい。その場合、取得部４００は、画像に含まれる人物の位置およびサイズに関する情報を撮像装置１００から取得すればよい。
なお本実施形態において、検出部４２０は、人物の上半身を検出するものとする。そして、人物の位置は、画像における上半身の領域の重心点位置であり、人物のサイズは、上半身の領域の画像上における縦方向のピクセル数であるものとする。
表示制御部４３０は、撮像装置１００が撮像した画像をディスプレイ１６０に並べて表示させるとともに、検出部４２０にて検出された人物の位置とサイズを示す枠を画像に重畳してディスプレイ１６０に表示させる。
また、表示制御部４３０は、ディスプレイ１６０上に表示された画像を拡大する際の基準となる基準サイズの大きさを示すマーカーをディスプレイ１６０上に表示させる。
また、表示制御部４３０は、撮像領域の画像に含まれる人物の特定の部分を基準として拡大処理が行われた画像をディスプレイ１６０に表示させる。なお、人物の特定の部分は、取得部４００が取得したイベントの種別に応じて異なる。
なお、本実施形態において、拡大処理が行われた画像は、特定の部分のサイズが基準サイズになるよう表示が拡大された画像である。なお、本実施形態における人物の特定の部分は、人物の全身、上半身、顔、手元のいずれかであるものとする。
操作受付部４４０は、マウスやキーボード等のＵＩを介して、ユーザによる操作の情報を取得する。
次に図５を参照して、本実施形態における表示制御装置１４０について説明する。図５は、表示制御装置１４０によってディスプレイ１６０に表示される画面の一例を示す図である。
図５（ａ）に示す画面５００は、撮像装置１００が撮像した画像を表示させる画像ウィンドウ５０１～５０９を有している。各画像ウィンドウ５０１～５０９の各々は、設置場所が異なる複数の撮像装置１００の識別ＩＤ（Ｃａｍ１～Ｃａｍ９）と対応しており、撮像装置１００の各々によって撮像された画像が表示される。
例えば、画像ウィンドウ５０１は、識別ＩＤが“Ｃａｍ１”の撮像装置１００が撮像した画像が表示され、画像ウィンドウ５０２は、識別ＩＤが“Ｃａｍ２”の撮像装置１００が撮像した画像が表示される。
なお各画像ウィンドウに表示される画像は、同一の撮像装置１００により撮像されたものであってもよい。この場合、各画像ウィンドウには、撮像された時刻の異なる画像の各々が表示される。
枠５１０は、識別ＩＤが“Ｃａｍ１”の撮像装置１００により撮像された画像に対して検出部４２０が検出した人物の位置とサイズを示す枠であり、画像に重畳されて表示されている。本実施形態における検出部４２０は、画像に含まれる人物の上半身を検出するので、枠５１０は、人物の上半身の位置とサイズを示している。
マーカー５１１は、表示制御部４３０によってディスプレイ１６０上に表示された画像を拡大する際の基準となる基準サイズを示している。グリッド５１２は、マーカー５１１の縦方向の大きさ（基準サイズ）を設定するためのものである。操作受付部４４０は、キーボードやマウス等のＵＩ（不図示）を介して、ユーザがグリッドを上下に移動させた情報を受け付ける。
図５（ｂ）は、表示制御部４３０によって、撮像領域の画像に含まれる人物の特定の部分を基準として拡大処理が行われた画像の表示の一例を示す図である。この場合、識別ＩＤが“Ｃａｍ１”の撮像装置１００の撮像領域において発生したイベントの種別に対応して、画像に含まれる人物の部分である全身の縦方向のサイズが基準サイズになるよう画像を拡大して表示されている。このときの表示制御部４３０が行う処理の詳しい説明は、図７に示すフローを参照して後述する。
次に、図７に示すフローチャートを参照して、本実施形態における表示制御装置１４０の処理の流れについて説明する。図７（ａ）に示すフローチャートの処理によって、取得した画像に含まれる人物を検出し、検出された人物の位置と大きさを示す枠を画像に重畳してディスプレイ１６０に表示させる。また図７（ｂ）に示すフローチャートの処理によって、取得されたイベントの種別に対応する人物の部分を基準として拡大処理が行われた画像をディスプレイ１６０に表示させる。
なお、図７に示すフローチャートの処理は、表示制御装置１４０のＲＯＭ１５０２に格納されたコンピュータプログラムを表示制御装置１４０のＣＰＵ１５００が実行することにより実現される図４に示す各機能ブロックにより実行されるものとして説明する。なお、図７に示すフローチャートの処理の一部は、専用のハードウェアによって実行するようにしてもよい。
ここでまず、図７（ａ）に示すフローチャートの処理について説明する。なお、図７（a）に示す処理は、撮像装置１００が撮像した画像の画像データと、当該画像を撮像した撮像装置１００を識別可能な識別ＩＤと、が撮像装置１００または記録装置１５０から表示制御装置１４０へ送信された場合に開始されるものとする。
ステップＳ７０１にて、取得部４００は、撮像装置１００の識別ＩＤと、識別ＩＤに対応する撮像装置１００が撮像した画像とを取得する。
次に、ステップＳ７０２にて、検出部４２０は、撮像装置１００が撮像した画像に含まれる人物の位置およびサイズを検出する。このとき、人物が検出された場合、ステップＳ７０３へ遷移し、人物が検出されなかった場合、ステップＳ７０４へ遷移する。なお、ステップＳ７０１にて、複数の撮像装置１００の各々から画像を取得した場合、検出部４２０は、複数の画像の各々に対して人物の検出を行う。
ステップＳ７０３にて、表示制御部４３０は、撮像装置１００が撮像した画像をディスプレイ１６０に識別ＩＤと対応する画像ウィンドウに表示させる。さらに、表示制御部４３０は、検出部４２０にて検出された人物の位置とサイズを示す枠が重畳された画像をディスプレイ１６０に撮像装置１００の識別ＩＤと対応する画像ウィンドウに表示させる。
例えば、識別ＩＤが“Ｃａｍ１”の撮像装置１００が撮像した画像において人物が検出された場合、表示制御部４３０は、人物の位置とサイズを示す枠を重畳した画像を画像ウィンドウ５０１（図５に示す）に表示する。
ステップＳ７０４にて、表示制御部４３０は、撮像装置１００が撮像した画像をディスプレイ１６０に識別ＩＤと対応する画像ウィンドウに表示させる。
ステップＳ７０５にて、ユーザから処理を終了する指示を受けた場合、処理を終了し、終了する指示を受けていない場合、ステップＳ７０１へ遷移する。
次に、図７（ｂ）に示す画像を拡大して表示する処理について説明する。なお、図７（ｂ）に示す処理は、撮像装置１００の識別ＩＤと、当該識別ＩＤの撮像装置１００の撮像領域において発生したイベントを示す情報と、が撮像装置１００または記録装置１５０から表示制御装置１４０へ送信された場合に開始されるものとする。
まず、ステップＳ７１１にて、取得部４００は、撮像装置１００の識別ＩＤと、当該識別ＩＤの撮像装置１００が撮像する撮像領域において発生したイベントを示す情報を取得する。
次に、ステップＳ７１２にて、イベントが発生した撮像領域の画像において人物が検出されている場合、ステップＳ７１３へ遷移し、検出されていない場合は、ステップＳ７１１へ遷移する。
ステップＳ７１３にて、表示制御部４３０は、撮像領域の画像に含まれる人物の特定の部分を基準として拡大処理が行われた画像を表示させる。なお、特定の部分は、取得部４００が取得したイベントの種別に応じて異なる。なお、本実施形態において、拡大処理が行われた画像は、特定の部分のサイズが基準サイズになるよう表示が拡大された画像である。以下、図５および図６を参照して、ステップＳ７１３における表示制御部４３０の処理について説明する。
なお、図６に示すテーブル６００は、撮像装置１００を識別する識別ＩＤと、イベントの種別と、優先度と、人物の部分とを関連付けたテーブルであり、記憶部４１０によって記憶されている。また、同一の監視ユニット内においては常に値が一意になるように優先度が設定されている。
本実施形態における表示制御部４３０は、記憶部４１０が記憶するテーブル６００に基づき、取得部４００が取得したイベントの種別に対応する部分の画像におけるサイズを特定する。
そのために、表示制御部４３０は、検出部４２０によって検出された人物の画像におけるサイズに対して、取得したイベントの種別によって定まる部分に応じた係数を乗じることで、イベントの種別に対応する部分の画像におけるサイズを特定する。そして、表示制御部４３０は、特定した部分のサイズが基準サイズの大きさになるよう画像を拡大して表示させる。
例えば、図５に示すように、ステップＳ７１１にて、識別ＩＤが“Ｃａｍ１”の撮像装置１００が撮像する撮像領域において、ドアに設置されたモーションセンサがドアの開閉を検出したイベントの情報を取得部４００が取得した場合を想定する。なお、このとき検出されたイベントの種別は“ドアセンサ”であるものとする。
表示制御部４３０は、記憶部４１０が記憶するテーブル６００に基づき、イベントの種別である“ドアセンサ”に対応する部分である人物の全身の画像におけるサイズを特定する。
そのために、表示制御部４３０は、検出部４２０によって検出された人物の上半身の画像における縦方向のサイズに対し、イベントの種別に対応する部分である全身に応じた係数の２を乗じることで、人物の全身の画像における縦方向のサイズを特定する。なお、画像における縦方向のサイズとは、画像における縦方向のピクセル数であるものとする。
具体的には、表示制御部４３０は、検出部４２０により検出された人物の上半身を示す枠５１０の縦方向のサイズが１００ピクセルとすると、２倍にしたサイズである２００ピクセルが人物の全身のサイズであると特定する。
そして、表示制御部４３０は、特定された人物の全身のサイズ（２００ピクセル）がマーカー５１１の縦方向のサイズ（ここでは、５００ピクセルとする）となるよう画像の表示を拡大させる。このように本実施形態では、拡大処理が行われた画像は、人物の特定の部分のサイズが所定のサイズ（マーカー５１１の縦方向のサイズ）になるよう表示（画像ウィンドウ）が拡大された画像である。図５の場合、図５（ａ）に示す画像ウィンドウ５０１は、図５（ｂ）に示す画像ウィンドウ５０１まで拡大される。
以上説明したような処理によって、取得されたイベントの種別に対応する人物の部分を基準としてディスプレイ１６０における画像を拡大する。
なお、ステップＳ７１１にて、取得部４００が複数のイベントを取得した場合、表示制御部４３０は、テーブル６００に示す優先度を参照して、優先度の値がより高いイベントの種別に対応する部分を基準として画像を拡大する。
なお、イベントの種別に対応する部分のサイズを特定するにあたって、検出部４２０によって検出された人物のサイズに対して、表示制御部４３０が乗じる係数は、予め設定された値であるものとする。
本実施形態の場合、検出部４２０により検出される人物の部分は上半身である。そのため、或るイベントに対応する部分である顔の画像における縦方向のサイズを特定する場合、上半身の画像における縦方向のサイズに対して乗じる係数は１／２であるとする。また、手元の画像における縦方向のサイズを特定する場合、上半身の画像における縦方向のサイズに対して乗じる係数は１／３である。また、全身の画像における縦方向のサイズを特定する場合、上半身の縦方向のサイズに対して乗じる係数は２であるものとする。
なお、検出部４２０が、人物の各部分に対応する照合パターン（辞書）を有し、パターンマッチング等の処理によって、人体の各部分のサイズおよび位置を検出できる場合を想定する。このとき、ステップＳ７１３における表示制御部４３０は、検出部４２０が検出した各部分のサイズに基づいて、画像の表示を拡大するようにしてもよい。
この場合、表示制御部４３０は、撮像領域の画像に含まれる人物の部分のうち、取得部４００が取得したイベントの種別に応じた部分のサイズを検出部４２０により検出した結果に基づいて特定する。そして、表示制御部４３０は、イベントの種別に応じた部分のサイズが基準サイズになるようディスプレイ１６０上の画像を拡大して表示させる。
なお、本実施形態における基準サイズは、グリッド５１２をユーザが操作することで設定されるが、予め登録された所定のサイズであってもよい。
以上説明したように、本実施形態に係る表示制御装置１４０は、画像に含まれる人物の特定の部分を基準として拡大処理が行われた画像をディスプレイ１６０に表示させる。本実施形態では、拡大処理が行われた画像は、取得したイベントの種別に対応する特定の部分のサイズが基準サイズになるよう表示が拡大された画像である。このようにすることで、撮像領域において発生したイベントの種別に応じて、ユーザが確認したい部分を視認しやすくすることができる。
（実施形態２）
実施形態１において、拡大処理が行われた画像は、取得したイベントの種別に対応する特定の部分のサイズが基準サイズになるよう表示が拡大された画像であるが、これに限らない。本実施形態において、拡大処理が行われた画像は、取得したイベントの種別に対応する特定の部分を基準としてズーム値が制御された撮像装置１００が撮像した画像である。
以下、図８～図１０を参照して、実施形態２における表示制御装置１４０について説明する。なお、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は適宜省略する。
まず図８に示す本実施形態における表示制御装置１４０の機能ブロックを参照して、本実施形態における表示制御装置１４０について説明する。本実施形態における表示制御装置１４０は、取得部４００と、記憶部４１０と、検出部４２０と、表示制御部４３０と、操作受付部４４０と、コマンド管理部８８０と、を有している。
なお、図８に示す各機能ブロックは、表示制御装置１４０のＲＯＭ１５０２に格納されたコンピュータプログラムを表示制御装置１４０のＣＰＵ１５００が実行することにより実現される。
取得部４００、記憶部４１０、検出部４２０、操作受付部４４０の各機能は、実施形態１において図４を参照して説明した内容と同様であるため、説明を省略する。
表示制御部４３０は、撮像領域の画像に含まれる人物の特定の部分を基準として拡大処理が行われた画像をディスプレイ１６０に表示させる。なお、特定の部分は、取得部４００が取得したイベントの種別に応じて異なる。なお、本実施形態における拡大処理が行われた画像は、特定の部分のサイズが所定のサイズになるようコマンド管理部８８０が生成したコマンドによってズーム機能におけるズーム値が制御された撮像装置１００が撮像した画像である。
コマンド管理部８８０は、撮像装置１００の撮像方向とズーム値とを制御するコマンドを生成し、表示制御装置１４０のＩ／Ｆ１５０４を介して、撮像装置１００へ送信する。
なお本実施形態のコマンド管理部８８０は、撮像領域の画像に含まれる人物の部分のうち、取得部４００が取得したイベントの種別に対応する特定の部分を基準として撮像装置１００のズーム値を大きくするよう撮像装置１００を制御するコマンドを生成する。
次に図９を参照して、本実施形態における表示制御装置１４０について説明する。図９は、表示制御装置１４０によってディスプレイ１６０に表示される画面の一例を示す図である。
図９（ａ）に示す画面９００は、撮像装置１００が撮像した画像を示す画像ウィンドウ９０１～９０４を有している。各画像ウィンドウ９０１～９０４の各々は、設置場所が異なる複数の撮像装置１００の識別ＩＤ（Ｃａｍ１～Ｃａｍ４）と対応しており、撮像装置１００の各々によって撮像された画像が表示される。なお、各画像ウィンドウ９０１～９０４の各々は、識別ＩＤである“Ｃａｍ１”～“Ｃａｍ４”と対応しているものとする。
枠９０５は、識別ＩＤが“Ｃａｍ１”の撮像装置１００により撮像された画像に対して検出部４２０が検出した人物の位置とサイズを示す枠であり、画像に重畳されて表示されている。
領域９０６は、撮像された画像に含まれる人物の部分を基準として撮像装置１００の撮像方向とズーム値が制御された場合の撮像装置１００の撮像領域を示す。
コマンド管理部８８０は、領域９０６が撮像領域となるよう“Ｃａｍ１”の撮像装置１００を制御するコマンドを生成する。
なお、コマンド管理部８８０は、画像に含まれる人物の位置が画像の中心になるよう“Ｃａｍ１”の撮像装置１００の撮像方向（パン方向およびチルト方向）を制御するコマンドを生成している。なお、人物の位置は、当該人物の上半身の画像上における領域の重心点であるものとする。
なお、検出部４２０が、画像に含まれる人物における各部分の位置およびサイズを検出可能である場合、コマンド管理部８８０は、次のような処理を行ってもよい。すなわち、コマンド管理部８８０は、取得部４００が取得したイベントの種別に対応する部分の位置が画像の中心になるように撮像装置１００の撮像方向（パン方向およびチルト方向）を制御するコマンドを生成してもよい。例えば、取得部４００が取得したイベントの種別に対応する部分が人物の顔である場合、コマンド管理部８８０は、画像における人物の顔の領域の重心点が撮像される画像の中心となるよう撮像装置１００の撮像方向を制御するコマンドを生成する。
コマンド管理部８８０によって生成されたコマンドは“Ｃａｍ１”の撮像装置１００へ送信されて、撮像装置１００のシステム制御部２０７が送信されたコマンドを解析する。そして、システム制御部２０７は、コマンドに応じて、パンチルトズーム制御部２０８に対してパンチルトズーム動作の指示をする。
このようにして制御された“Ｃａｍ１”の撮像装置１００が撮像する画像は、図９（ｂ）に示す画像ウィンドウ９０１の画像になる。
なお、識別ＩＤが“Ｃａｍ１”の撮像装置１００の撮像領域において発生したイベントの種別に対応して、人物の全身の画像における縦方向のサイズがマーカー５１１の縦方向のサイズになるよう“Ｃａｍ１”の撮像装置１００のズーム値を大きくしている。なお、ズーム値が大きいほど、撮像装置１００が撮像する画像は拡大されていく。
次に、図１０に示すフローチャートを参照して、実施形態２における表示制御装置１４０について説明する。図１０に示すフローチャートの処理によって、取得されたイベントの種別に対応する人物の部分を基準として撮像装置１００の撮像方向およびズーム値が制御される。
なお、図１０に示すフローチャートの処理は、表示制御装置１４０のＲＯＭ１５０２に格納されたコンピュータプログラムをＣＰＵ１５００が実行することにより実現される図８に示す各機能ブロックにより実行されるものとして説明する。なお、図１０に示すフローチャートの処理の一部は、専用のハードウェアによって実行するようにしてもよい。
なお、図１０に示す処理は、撮像装置１００の識別ＩＤと、当該識別ＩＤの撮像装置１００の撮像領域において発生したイベントを示す情報と、が撮像装置１００または記録装置１５０から表示制御装置１４０へ送信された場合に開始されるものとする。
ステップＳ１００１にて、取得部４００は、撮像装置１００の識別ＩＤと、当該識別ＩＤの撮像装置１００が撮像する撮像領域において発生したイベントを示す情報を取得する。
次に、ステップＳ１００２にて、イベントが発生した撮像領域の画像において人物が検出されている場合、ステップＳ１００３へ遷移し、検出されていない場合は、ステップＳ１００１へ遷移する。
次に、ステップＳ１００３にて、コマンド管理部８８０は、撮像された画像に含まれる人物の特定の部分を基準として撮像装置１００のズーム値および撮像方向を制御するコマンドを生成する。なお、人物の特定の部分は、取得部４００が取得したイベントの種別に応じて異なる。以下、ステップＳ１００３におけるコマンド管理部８８０の処理について説明する。
本実施形態におけるコマンド管理部８８０は、記憶部４１０が記憶するテーブル６００に基づき、取得部４００が取得したイベントの種別に対応する部分の画像におけるサイズを特定する。
そのために、コマンド管理部８８０は、検出部４２０によって検出された人物の画像におけるサイズに対して、取得したイベントの種別によって定まる部分に応じた係数を乗じることで、イベントの種別に対応する部分の画像におけるサイズを特定する。そして、コマンド管理部８８０は、特定した部分のサイズが基準サイズの大きさとなるズーム値になるよう撮像装置１００を制御するコマンドを生成する。
例えば、図９に示すように、ステップＳ１００１にて、識別ＩＤが“Ｃａｍ１”の撮像装置１００が撮像する撮像領域において、ドアに設置されたモーションセンサがドアの開閉を検出したイベントの情報を取得部４００が取得した場合を想定する。
コマンド管理部８８０は、記憶部４１０が記憶するテーブル６００に基づき、イベントの種別である“ドアセンサ”に対応する部分である人物の全身の画像におけるサイズを特定する。
そのために、コマンド管理部８８０は、検出部４２０によって検出された人物の上半身の画像における縦方向のサイズに対し、イベントの種別に対応する部分である全身に応じた係数の２を乗じることで、人物の全身の画像における縦方向のサイズを特定する。
具体的には、コマンド管理部８８０は、検出部４２０により検出された人物の上半身を示す枠９０５の縦方向のサイズ（ピクセル数）を２倍にしたサイズが人物の全身のサイズであると特定する。
そして、コマンド管理部８８０は、特定された人物の全身の画像における縦方向のサイズがマーカー５１１（基準サイズ）となるズーム値になるよう撮像装置１００を制御するコマンドを生成する。
次に、ステップＳ１００４にて、コマンド管理部８８０は、Ｉ／Ｆ１５０４を介して、ステップＳ１００３にて生成されたコマンドを、ズーム値および撮像方向が制御される対象である識別ＩＤの撮像装置１００へ送信する。
図９に示す場合において、ステップＳ１００４にて送信されたコマンドに基づいて制御された“Ｃａｍ１”の撮像装置１００が撮像する画像は、図９（ｂ）に示す画像ウィンドウ９０１の画像になる。
そして、ステップＳ７０３およびステップＳ７０４にて、表示制御部４３０は、拡大処理が行われた画像をディスプレイ１６０に表示させる。本実施形態における拡大処理が行われた画像は、ステップＳ１００３にてコマンド管理部８８０が生成したコマンドに基づいて制御された撮像装置１００が撮像する画像である。
以上説明したように、本実施形態に係る表示制御装置１４０は、画像に含まれる人物の特定の部分を基準として拡大処理が行われた画像をディスプレイ１６０に表示させる。本実施形態では、拡大処理が行われた画像は、取得したイベントの種別に対応する特定の部分を基準としてズーム値が制御された撮像装置１００が撮像した画像である。このようにすることで、撮像領域において発生したイベントの種別に応じて、ユーザが確認したい部分を視認しやすくすることができる。
（実施形態３）
実施形態２において、画像に含まれる人物の特定の部分を基準として拡大処理が行われた画像は、撮像方向およびズーム値が制御された撮像装置１００が撮像した画像であるが、これに限らない。実施形態３において、拡大処理が行われた画像は、画像に含まれる人物の特定の部分を含む部分画像が拡大された画像である。
言い換えれば、実施形態２において、拡大処理が行われた画像は、光学ズームが行われた撮像装置１００が撮像した画像であるが、本実施形態の場合、デジタルズームが行われた画像である。
以下、図４、図９、および図１１を参照して、実施形態３における表示制御装置１４０について説明する。なお、実施形態１および実施形態２と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は適宜省略する。
まず図４に示す本実施形態における表示制御装置１４０の機能ブロックを参照して、本実施形態における表示制御装置１４０について説明する。
取得部４００、記憶部４１０、検出部４２０、操作受付部４４０の各機能は、実施形態１において図４を参照して説明した内容と同様であるため、説明を省略する。
表示制御部４３０は、撮像領域の画像に含まれる人物の特定の部分を基準として拡大処理が行われた画像を表示する。なお、特定の部分は、取得部４００が取得したイベントの種別に応じて異なる。
なお、本実施形態において、拡大処理が行われた画像は、特定の部分を含む部分画像が元の画像（以下、元画像）のサイズまで拡大された画像である。
次に図９を参照して、本実施形態における表示制御装置１４０について説明する。本実施形態において、図９（ａ）に示す領域９０６は、撮像された画像に含まれる人物の部分のうち、取得部４００が取得したイベントの種別に対応する特定の部分が含まれる部分画像の領域を示している。
本実施形態における表示制御部４３０は、取得したイベントの種別に対応する特定の部分を含む部分画像を元画像のサイズまで拡大した際、取得したイベントの種別に対応する部分のサイズが基準サイズになるように部分画像を決定する。
図９において、識別ＩＤが“Ｃａｍ１”の撮像装置１００の撮像領域において発生したイベントの種別に基づいて決定された部分画像を元画像のサイズまで拡大した場合の画像が図９（ｂ）に示す画像ウィンドウ９０１の画像となる。
次に、図１１に示すフローチャートを参照して、実施形態３における表示制御装置１４０について説明する。図１１に示すフローチャートの処理を経て、取得されたイベントの種別に対応する人物の部分を基準として拡大処理が行われた画像が表示される。
なお、図１１に示すフローチャートの処理は、表示制御装置１４０のＲＯＭ１５０２に格納されたコンピュータプログラムを表示制御装置１４０のＣＰＵ１５００が実行することにより実現される図４に示す各機能ブロックにより実行されるものとして説明する。なお、図１１に示すフローチャートの処理の一部は、専用のハードウェアによって実行するようにしてもよい。
なお、図１１に示す処理は、撮像装置１００の識別ＩＤと、当該識別ＩＤの撮像装置１００の撮像領域において発生したイベントを示す情報と、が撮像装置１００または記録装置１５０から表示制御装置１４０へ送信された場合に開始されるものとする。
図１１に示すステップＳ１１０１にて、取得部４００は、撮像装置１００の識別ＩＤと、当該識別ＩＤの撮像装置１００が撮像する撮像領域において発生したイベントを示す情報を取得する。
次に、ステップＳ１１０２にて、イベントが発生した撮像領域の画像において人物が検出されている場合、ステップＳ１１０１へ遷移し、検出されていない場合は、ステップＳ１１０３へ遷移する。
次に、ステップＳ１１０３にて、表示制御部４３０は、取得したイベントの種別に対応する特定の部分を含む部分画像を決定する。以下、ステップＳ１１０３における表示制御部４３０の処理について説明する。
本実施形態における表示制御部４３０は、取得部４００が取得したイベントの種別に対応する部分の画像におけるサイズを特定する。そのために、表示制御部４３０は、検出部４２０によって検出された人物の画像における上半身のサイズに対して、取得したイベントの種別に対応する部分に応じた係数を乗じることで、イベントの種別に対応する部分の画像におけるサイズを特定する。
そして、表示制御部４３０は、イベントの種別に対応する特定の部分を含む部分画像を元画像まで拡大した際、当該部分のサイズが基準サイズの大きさになるような部分画像を決定する。
例えば、図９に示すように、ステップＳ１００１にて、識別ＩＤが“Ｃａｍ１”の撮像装置１００が撮像する撮像領域において、ドアに設置されたモーションセンサがドアの開閉を検出したイベントの情報を取得部４００が取得した場合を想定する。
このとき、表示制御部４３０は、そのイベントの種別に対応する特定の部分である人物の全身の画像におけるサイズを特定する。そのために、表示制御部４３０は、検出部４２０によって検出された人物の上半身の画像における縦方向のサイズに対し、イベントの種別に対応する部分である全身に応じた係数の２を乗じることで、人物の全身の画像における縦方向のサイズを特定する。
具体的には、表示制御部４３０は、検出部４２０により検出された人物の上半身を示す枠５１０の縦方向のサイズを２倍にしたサイズが人物の全身のサイズであると特定する。
そして、表示制御部４３０は、人物の全身を含む部分画像を元画像のサイズまで拡大した際、特定された人物の全身の画像における縦方向のサイズがマーカー５１１の縦方向のサイズ（基準サイズ）となるような部分画像を決定する。
なおこのとき、表示制御部４３０は、検出された人物の位置が中心になるよう部分画像を決定する。ここでは、人物の位置は、人物の画像における上半身の領域の重心点であるとし、表示制御部４３０は、当該重心点が中心になるような部分画像を決定する。
なお、検出部４２０が、画像に含まれる人物における各部分の位置およびサイズを検出可能である場合、表示制御部４３０は、次のような処理を行ってもよい。すなわち、表示制御部４３０は、取得部４００が取得したイベントの種別に対応する部分の位置が部分画像の中心になるように部分画像を決定するようにしてもよい。例えば、取得部４００が取得したイベントの種別に対応する部分が人物の顔である場合、表示制御部４３０は、画像における人物の顔の領域の重心点が部分画像の中心となるよう部分画像を決定する。
ここで、表示制御部４３０は、ステップＳ１１０３にて決定された部分画像を含む画像を撮像する識別ＩＤの撮像装置１００を“ｘ”とする。Ｓ１１０３以降の処理において、ステップＳ７０３および７０４の表示制御部４３０は、識別ＩＤが“ｘ”の撮像装置１００が撮像した画像から、ステップＳ１１０３で決定した部分画像の領域を切り出して、元画像のサイズまで拡大し表示する。
以上のように、本実施形態に係る表示制御装置１４０は、画像に含まれる人物の特定の部分を基準として拡大処理が行われた画像をディスプレイ１６０に表示させる。本実施形態では、拡大処理が行われた画像は、画像に含まれる人物の特定の部分を含む部分画像が拡大された画像である。このようにすることで、撮像領域において発生したイベントの種別に応じて、ユーザが確認したい部分を視認しやすくすることができる。
（実施形態４）
本実施形態における表示制御装置１４０は、ユーザによる操作に基づいて、撮像装置１００を識別する識別ＩＤと、イベントの種別と、人物の部分とを関連付ける設定を行う。
以下、図１２、１３、および１４を参照して、実施形態４における表示制御装置１４０について説明する。なお、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は適宜省略する。
まず図１２に示す本実施形態における表示制御装置１４０の機能ブロックを参照して、本実施形態における表示制御装置１４０について説明する。本実施形態における表示制御装置１４０は、取得部４００と、記憶部４１０と、検出部４２０と、表示制御部４３０と、操作受付部４４０と、設定部１２００と、を有している。
なお、図１２に示す各機能ブロックは、表示制御装置１４０のＨＤＤ１５０３に格納されたコンピュータプログラムを表示装置１４０のＣＰＵ１５００が実行することにより実現される。
取得部４００、記憶部４１０、検出部４２０、操作受付部４４０の機能は、実施形態１において図４を参照して説明した内容と同様であるため、説明を省略する。
本実施形態における表示制御部４３０は、検出部４２０にて検出された人物をユーザが指定した場合、ディスプレイ１６０上に人物の部分を表す複数のアイコンを表示させる。
また、表示制御部４３０は、撮像装置１００の撮像領域において発生したイベントの種別を示す情報をディスプレイ１６０上に表示させる。さらに、表示制御部４３０は、ユーザにより指定されたイベントの種別を示す情報の表示態様を異ならせる。
設定部１２００は、操作受付部４４０が受け付けたユーザによる操作の情報に基づいて、撮像装置１００を識別するＩＤと、イベントの種別と、人物の部分とを関連付ける設定を行う。設定部１２００により関連付けられた情報に基づいて、図６に示すようなテーブル６００が設定される。
次に図１３を参照して、本実施形態における表示制御装置１４０について説明する。本実施形態において、図１３に示すカーソル１３０２は、ユーザにより操作されるマウスカーソルを示す。アイコン１３０３～１３０６の各々は、人物の部分を表すアイコンであり、顔、上半身、手元、全身を示している。
イベント種別１３０７は、画像ウィンドウ１３０１にて表示される画像を撮像した際に撮像領域において発生したイベントの種別を示す情報である。図１３においては、“侵入検出”および“ドアセンサ”のイベントの種別が表示されている。
枠１３０８は、カーソル１３０２によってユーザが指定したイベントの種別を示す情報の表示態様を異ならせる場合に表示される枠である。
次に、図１４に示すフローチャートを参照して、実施形態４における表示制御装置１４０について説明する。図１４に示すフローチャートの処理によって、撮像装置１００を識別する識別ＩＤと、イベントの種別と、人物の部分とを関連付けたテーブルを設定する。
なお、図１４に示すフローチャートの処理は、表示制御装置１４０のＲＯＭ１５０２に格納されたコンピュータプログラムを表示制御装置１４０のＣＰＵ１５００が実行することにより実現される図１２に示す各機能ブロックにより実行されるものとして説明する。なお、図１４に示すフローチャートの処理の一部は、専用のハードウェアによって実行するようにしてもよい。
なお、本実施形態において、図１４に示すフローチャートの処理は、識別ＩＤに対応する撮像装置１００が撮像する撮像領域において発生したイベントを示す情報を取得部４００が取得した場合に開始されるものとする。
ステップＳ１４０１にて、表示制御部４３０は、撮像装置１００の撮像領域において発生したイベントの種別を示す情報をディスプレイ１６０上に表示させる。具体的には、図１３に示すように、表示制御部４３０は、識別ＩＤが“Ｃａｍ１”の撮像装置１００の撮像領域において発生したイベントの種別を示す情報を、“Ｃａｍ１“に対応する画像ウィンドウ１３０１の下部に表示させる。図１３では、イベントの種別を示す情報である“侵入検出”および“ドアセンサ”が表示されている。
ステップＳ１４０２にて、ステップＳ１４０１で表示されたイベントの種別がユーザにより指定された情報を操作受付部４４０が受け付けた場合、ステップＳ１４０３へ遷移し、受け付けていない場合、処理を終了する。
ステップＳ１４０３にて、表示制御部４３０は、ユーザにより指定されたイベントの種別を示す情報の表示態様を異ならせる。例えば、表示制御部４３０は、ユーザにより指定されたイベントの種別を示す情報である“ドアセンサ”に枠１３０８を重畳することで表示態様を異ならせる。
ステップＳ１４０４にて、操作受付部４４０が、人物の位置と大きさを示す枠がユーザにより指定された情報を受け付けた場合、ステップＳ１４０５に遷移し、受け付けていない場合、処理を終了する。
ステップＳ１４０５にて、表示制御部４３０は、ディスプレイ１６０上に人物における各部分を表す複数のアイコンを表示させる。具体的には、図１３に示すように、表示制御部４３０は、ユーザにより指定された人物の周囲に人物の部分を表すアイコン１３０３～１３０６を表示させる。
ステップＳ１４０６にて、操作受付部４４０は、ユーザにより特定のアイコンが指定された情報を受け付けた場合、ステップＳ１４０７へ遷移し、受け付けていない場合、処理を終了する。
ステップＳ１４０７にて、設定部１２００は、ステップＳ１４０２にてユーザにより指定されたイベント種別と、ステップＳ１４０６にて指定された人物の部分と、撮像装置１００の識別ＩＤとを関連付けて設定する。例えば、図１３において、全身を示すアイコン１３０６が指定された場合、設定部１２００は、イベント種別である“ドアセンサ”と、人物の部分である全身と、撮像装置１００の識別ＩＤである“Ｃａｍ１”とを関連付けて設定する。設定部１２００により設定された情報は、図６に示すようなテーブル６００として記憶部４１０に記憶される。
以上説明したように、本実施形態における表示制御装置１４０によれば、ディスプレイ１６０上に表示された画像に含まれる人物を確認しながら、撮像装置１００の識別ＩＤと、イベントの種別と、人物の部分とを関連付ける設定をすることができる。こうすることにより、利便性良く、上記テーブルの設定を行うことができる。
（変形例）
実施形態１～３にて、表示制御装置１４０は、撮像領域において発生したイベントの種別に対応する人物の部分を特定したが、これに限らない。表示制御装置１４０は、撮像領域において発生したイベントを考慮せず、ユーザによる操作に基づいて人物の部分を特定するようにしてもよい。
例えば、図１３に示すように、検出部４２０によって検出された人物の位置と大きさを示す枠をユーザの操作によりカーソル１３０２が指定した場合、表示制御部４３０はアイコン１３０３～１３０６を表示させる。そして、表示制御装置１４０は、表示された複数のアイコンのうちユーザにより指定されたアイコンが示す人物の部分を特定する。
そして、表示制御装置１４０は、画像に含まれる人物の特定の部分を基準として拡大処理が行われた画像をディスプレイ１６０に表示させる。
（その他の実施形態）
次に図１５を参照して、各実施形態の各機能を実現するための表示制御装置１４０のハードウェア構成を説明する。なお、以降の説明において表示制御装置１４０のハードウェア構成について説明するが、記録装置１５０も同様のハードウェア構成によって実現される。また、撮像装置１００の画像処理部２０６、システム制御部２０７、パンチルトズーム制御部２０８、通信部２０９、情報処理部２１０等の機能も同様のハードウェア構成により実現される。
本実施形態における表示制御装置１４０は、ＣＰＵ１５００と、ＲＡＭ１５０１と、ＲＯＭ１５０２、ＨＤＤ１５０３と、Ｉ／Ｆ１５０４と、を有している。
ＣＰＵ（ＣＥＮＴＲＡＬ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）１５００は表示制御装置１４０を統括制御する中央処理装置である。
ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）１５０１は、ＣＰＵ１５００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１５０１は、ＣＰＵ１５００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１５０１は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。
ＲＯＭ（ＲＥＡＤ ＯＮＬＹ ＭＥＭＯＲＹ）１５０２は、ＣＰＵ１５００が表示制御装置１４０を制御するためのプログラムなどを記憶する。ＨＤＤ（ＨＡＲＤ ＤＩＳＫ ＤＲＩＶＥ）１５０３は、画像データ等を記録する記憶装置である。
Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１５０４は、ネットワーク１３０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置（撮像装置１００、記録装置１５０等）との通信を行う。
なお、上述した各実施形態の説明では、ＣＰＵ１５００が処理を実行する例について説明するが、ＣＰＵ１５００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１６０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ１５０２からプログラムコードを読み出してＲＡＭ１５０１に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。
なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図１４に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。
１００ 撮像装置
１１０ センサユニット
１４０ 表示制御装置
４００ 取得部
４１０ 記憶部
４２０ 検出部
４３０ 表示制御部
４４０ 操作受付部
８８０ コマンド管理部
１２００ 設定部

Claims (11)

  1. 撮像装置が撮像する画像を表示手段に表示させる表示制御装置であって、
    前記撮像装置によって撮像される撮像領域において発生したイベントの種別を取得する取得手段と、
    前記撮像領域の画像に含まれる人物の特定の部分のサイズが所定のサイズになるように、拡大処理を行う拡大処理手段と、
    前記拡大処理が行われた画像を前記表示手段に表示させる表示制御手段と、を有し、
    前記特定の部分は、前記取得手段が取得したイベントの種別に応じて異なり、
    前記特定の部分のサイズは、前記取得手段が取得したイベントの種別に応じて異なる部分によって定まる係数と前記人物のサイズとを乗じたサイズであることを特徴とする表示制御装置。
  2. 前記撮像装置のズーム値を制御する制御手段を有し、
    前記拡大処理が行われた画像は、前記特定の部分のサイズが所定のサイズになるよう前記制御手段によってズーム値が大きくされた前記撮像装置が撮像した画像であることを特徴とする請求項１に記載の表示制御装置。
  3. 前記拡大処理が行われた画像は、前記特定の部分のサイズが所定のサイズになるよう前記特定の部分を含む部分画像が拡大された画像であることを特徴とする請求項１に記載の表示制御装置。
  4. 前記イベントの種別は、人体検出、侵入検出、動体検出の少なくとも１つを含むことを特徴とする請求項１乃至３のいずれか一項に記載の表示制御装置。
  5. 前記部分は、人物の全身、上半身、顔、手元のいずれかであることを特徴とする請求項１乃至４のいずれか一項に記載の表示制御装置。
  6. 撮像装置が撮像する画像を表示手段に表示させる表示制御方法であって、
    前記撮像装置によって撮像される撮像領域において発生したイベントの種別を取得する取得工程と、
    前記撮像領域の画像に含まれる人物の特定の部分のサイズが所定のサイズになるように、拡大処理を行う拡大処理工程と、
    前記拡大処理が行われた前記画像を前記表示手段に表示させる表示制御工程と、を有し、
    前記特定の部分は、前記取得工程によって取得されたイベントの種別に応じて異なり、
    前記特定の部分のサイズは、前記取得工程が取得したイベントの種別に応じて異なる部分によって定まる係数と前記人物のサイズとを乗じたサイズであることを特徴とする表示制御方法。
  7. 前記撮像装置のズーム値を制御する制御工程を有し、
    前記拡大処理が行われた画像は、前記特定の部分のサイズが所定のサイズになるよう前記制御工程によってズーム値が大きくされた前記撮像装置が撮像した画像であることを特徴とする請求項６に記載の表示制御方法。
  8. 前記拡大処理が行われた画像は、前記特定の部分のサイズが所定のサイズになるよう前記特定の部分を含む部分画像が拡大された画像であることを特徴とする請求項６に記載の表示制御方法。
  9. 前記イベントの種別は、人体検出、侵入検出、動体検出の少なくとも１つを含むことを特徴とする請求項６乃至８のいずれか一項に記載の表示制御方法。
  10. 前記部分は、人物の全身、上半身、顔、手元のいずれかであることを特徴とする請求項６乃至９のいずれか一項に記載の表示制御方法。
  11. コンピュータを請求項１乃至５のいずれか一項に記載の表示制御装置の各手段として機能させるためのプログラム。
JP2018143506A 2018-07-31 2018-07-31 表示制御装置、表示制御方法、およびプログラム Active JP7271105B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018143506A JP7271105B2 (ja) 2018-07-31 2018-07-31 表示制御装置、表示制御方法、およびプログラム
US16/518,297 US20200045242A1 (en) 2018-07-31 2019-07-22 Display control device, display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018143506A JP7271105B2 (ja) 2018-07-31 2018-07-31 表示制御装置、表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020022036A JP2020022036A (ja) 2020-02-06
JP7271105B2 true JP7271105B2 (ja) 2023-05-11

Family

ID=69229414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018143506A Active JP7271105B2 (ja) 2018-07-31 2018-07-31 表示制御装置、表示制御方法、およびプログラム

Country Status (2)

Country Link
US (1) US20200045242A1 (ja)
JP (1) JP7271105B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438477B1 (en) * 2018-03-16 2019-10-08 Sean Michael Siembab Surrounding intelligent motion sensor
US10867506B2 (en) * 2018-03-16 2020-12-15 Sean Michael Siembab Surrounding intelligent motion sensor with adaptive recognition
CN111355887A (zh) * 2020-02-26 2020-06-30 深圳英飞拓科技股份有限公司 一种高速球型摄像机目标跟踪聚焦的优化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191408A (ja) 2005-01-07 2006-07-20 Hitachi Kokusai Electric Inc 画像表示プログラム
JP2006262359A (ja) 2005-03-18 2006-09-28 Matsushita Electric Works Ltd 画像センサ装置
JP2010157119A (ja) 2008-12-26 2010-07-15 Fujitsu Ltd 監視装置、監視方法、及び監視プログラム
JP2012253475A (ja) 2011-06-01 2012-12-20 Hitachi Kokusai Electric Inc 監視カメラ
JP2013009435A (ja) 2012-10-05 2013-01-10 Casio Comput Co Ltd 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム
JP2014135683A (ja) 2013-01-11 2014-07-24 Sumitomo Electric Ind Ltd 撮像制御装置、撮像制御方法および撮像制御プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2921936B2 (ja) * 1990-07-13 1999-07-19 株式会社東芝 画像監視装置
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
US20140267736A1 (en) * 2013-03-15 2014-09-18 Bruno Delean Vision based system for detecting a breach of security in a monitored location
US20150264296A1 (en) * 2014-03-12 2015-09-17 videoNEXT Federal, Inc. System and method for selection and viewing of processed video
JP6700661B2 (ja) * 2015-01-30 2020-05-27 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
US20180115749A1 (en) * 2015-03-19 2018-04-26 Nec Corporation Surveillance system and surveillance method
GB201508074D0 (en) * 2015-05-12 2015-06-24 Apical Ltd People detection
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191408A (ja) 2005-01-07 2006-07-20 Hitachi Kokusai Electric Inc 画像表示プログラム
JP2006262359A (ja) 2005-03-18 2006-09-28 Matsushita Electric Works Ltd 画像センサ装置
JP2010157119A (ja) 2008-12-26 2010-07-15 Fujitsu Ltd 監視装置、監視方法、及び監視プログラム
JP2012253475A (ja) 2011-06-01 2012-12-20 Hitachi Kokusai Electric Inc 監視カメラ
JP2013009435A (ja) 2012-10-05 2013-01-10 Casio Comput Co Ltd 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム
JP2014135683A (ja) 2013-01-11 2014-07-24 Sumitomo Electric Ind Ltd 撮像制御装置、撮像制御方法および撮像制御プログラム

Also Published As

Publication number Publication date
JP2020022036A (ja) 2020-02-06
US20200045242A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
JP7271105B2 (ja) 表示制御装置、表示制御方法、およびプログラム
EP2413588B1 (en) Camera device, camera system, control device and program
US10841481B2 (en) Control apparatus, method of controlling the same and program
CN108965656B (zh) 显示控制设备、显示控制方法和存储介质
US9961268B2 (en) Control device, imaging system, control method, and program for controlling imaging unit according to image capturing direction and zoom magnification
US10079976B2 (en) Display processing apparatus and method
US20160084932A1 (en) Image processing apparatus, image processing method, image processing system, and storage medium
KR20110093040A (ko) 피사체 감시 장치 및 방법
JP5677055B2 (ja) 監視映像表示装置
US20110063466A1 (en) Image capturing system, image capturing device, information processing device, and image capturing method
JP5820210B2 (ja) 撮像装置、撮像装置の制御方法
JP2017092689A (ja) 制御装置、制御方法、及びプログラム
JP6231757B2 (ja) 撮像装置、情報処理装置及びそれらの制御方法、プログラム
KR101288881B1 (ko) 다수의 감시영역을 설정하고 이를 확대촬영할 수 있는 감시카메라의 감시영역 설정시스템
JP2018005091A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP2014048775A (ja) 注視位置特定装置、および注視位置特定プログラム
US11172159B2 (en) Monitoring camera system and reproduction method
JP3711119B2 (ja) 撮像装置、撮像システム及び撮像方法
US20220201220A1 (en) Information processing apparatus, information processing method, and storage medium
JP2020036196A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US11943528B2 (en) Information processing apparatus, information processing method, and program
JP6661312B2 (ja) 監視システム、情報処理方法及びプログラム
US20180376058A1 (en) Display processing apparatus, display processing method, and computer-readable medium for executing display processing method
US20230101516A1 (en) Information processing apparatus, information processing method, and storage medium
JP2023079040A (ja) 制御装置、制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230426

R151 Written notification of patent or utility model registration

Ref document number: 7271105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151