JP7278735B2 - Image processing device, image processing method, and program - Google Patents

Image processing device, image processing method, and program Download PDF

Info

Publication number
JP7278735B2
JP7278735B2 JP2018186864A JP2018186864A JP7278735B2 JP 7278735 B2 JP7278735 B2 JP 7278735B2 JP 2018186864 A JP2018186864 A JP 2018186864A JP 2018186864 A JP2018186864 A JP 2018186864A JP 7278735 B2 JP7278735 B2 JP 7278735B2
Authority
JP
Japan
Prior art keywords
image
subject
image processing
processing
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018186864A
Other languages
Japanese (ja)
Other versions
JP2019071050A (en
JP2019071050A5 (en
Inventor
康夫 馬塲
光太郎 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2019071050A publication Critical patent/JP2019071050A/en
Publication of JP2019071050A5 publication Critical patent/JP2019071050A5/ja
Application granted granted Critical
Publication of JP7278735B2 publication Critical patent/JP7278735B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、防犯カメラなどで取得した画像を処理する技術に関する。 The present invention relates to technology for processing images acquired by a security camera or the like.

近年、防犯カメラなどの撮像装置で撮影された画像に対して、人数や人流の推定(群衆解析処理)を行うシステムが提案されている。例えば、入力画像と背景画像とから求めた差分画像の面積から人数を推定する方法が特許文献1に開示されている。このようなシステムの活用により、公共の空間での混雑の検知および混雑時の人の流れの把握が可能となり、イベント時の混雑解消や災害時の適切な避難誘導の実現が期待されている。 2. Description of the Related Art In recent years, there has been proposed a system for estimating the number of people and the flow of people (crowd analysis processing) for images captured by an imaging device such as a security camera. For example, Patent Document 1 discloses a method of estimating the number of people from the area of a difference image obtained from an input image and a background image. Utilization of such a system makes it possible to detect congestion in public spaces and grasp the flow of people during congestion, and is expected to realize congestion relief during events and appropriate evacuation guidance in the event of a disaster.

一方、防犯カメラ映像に映る被写体のプライバシー保護の重要性が高まっており、したがって、群衆を構成する被写体のプライバシーを適切に保護する必要がある。特許文献2には、背景画像を更新し、更新した背景画像と、シルエット化(隠蔽化)した前景画像を重畳する方法が開示されている。これにより、人物のプライバシー情報は露出しないが、人物の所作は分かるようになり、マーケティング分析やサービス向上を目的とした撮影映像を利用することが可能となる。また、特許文献3には、人物の両目を検出し、目の部分に矩形状のマスク処理を施す方法が開示されている。 On the other hand, it is becoming more and more important to protect the privacy of subjects captured in security camera images. Therefore, it is necessary to appropriately protect the privacy of subjects that make up a crowd. Patent Document 2 discloses a method of updating a background image and superimposing the updated background image on a silhouetted (concealed) foreground image. As a result, although the person's privacy information is not exposed, the person's behavior can be understood, making it possible to use the captured video for the purpose of marketing analysis and service improvement. Further, Patent Document 3 discloses a method of detecting both eyes of a person and applying rectangular mask processing to the eye portions.

特開2005-242646号公報JP 2005-242646 A 特開2016-115214号公報JP 2016-115214 A 特開2009-278325号公報JP 2009-278325 A

前述した従来手法の場合、プライバシー保護を実現するための秘匿処理(例えばぼかし処理や透かし処理)が各被写体に対して一様に施される。このため、秘匿処理が不十分になってプライバシーを適切に保護できなくなる場合や、逆に、秘匿処理が過剰になり過ぎて例えばマーケティング分析等の使用に適さなくなる場合などがあり、適切なプライバシー保護が必ずしも実現できないことがある。 In the case of the above-described conventional method, concealment processing (for example, blurring processing or watermark processing) for realizing privacy protection is uniformly performed on each subject. For this reason, there are cases where privacy processing is insufficient and privacy cannot be properly protected, and conversely, there are cases where privacy processing is excessive and it is not suitable for use in marketing analysis, etc., and appropriate privacy protection is not possible. may not always be realized.

また例えば、特許文献3の技術では、先ず目、顔、頭部などの特定物体が検出されるが、特定物体を検出する検出器を実現する際には機械学習などの統計的な手法に基づく学習が行われる。しかしながら、特定物体の検出器は、例えば複数の被写体同士が高い密度で重なり合って存在するような場合に検出精度が落ちることが多い。検出精度が下がり被写体の検出に失敗すると秘匿処理の実行がなされないため、被写体のプライバシーが適切に保護されない、という問題が生ずる。 Further, for example, in the technique of Patent Document 3, specific objects such as eyes, face, and head are first detected. learning takes place. However, the detection accuracy of the specific object detector is often degraded when, for example, a plurality of subjects overlap with each other at high density. If the detection accuracy is lowered and the detection of the subject fails, the confidentiality processing is not executed, so there arises a problem that the privacy of the subject is not properly protected.

そこで、本発明は、適切な秘匿処理を実現可能にすることを目的とする。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to enable appropriate concealment processing.

本発明は、画像に含まれる特定の被写体を、推定する推定手段と、前記画像から、前記特定の被写体の検出処理を行う検出手段と、前記被写体を秘匿するために行う画像加工の度合いを設定する設定手段と、前記推定された被写体に対して前記設定された画像加工の度合いに応じた秘匿化処理を施した表示画像を出力する出力手段と、を有し、前記表示画像は、前記画像に含まれる前記被写体の数を示し、前記出力手段は、前記推定手段により推定された前記被写体の密度分布を、前記画像のうち第一の領域に重畳する秘匿化処理を行い、更に前記検出手段による検出結果を、前記画像のうち第二の領域に重畳する秘匿化処理を行うことを特徴とする。 According to the present invention, an estimating means for estimating a specific subject included in an image, a detecting means for detecting the specific subject from the image, and a degree of image processing for concealing the subject are set. and output means for outputting a display image obtained by subjecting the estimated subject to anonymization processing according to the set degree of image processing, wherein the display image is the image The output means performs anonymization processing of superimposing the density distribution of the subject estimated by the estimation means on a first region of the image, and further the detection Anonymization processing is performed to superimpose a detection result by means on a second region of the image .

本発明によれば、適切な秘匿処理を実現可能となる。 According to the present invention, it is possible to realize appropriate confidentiality processing.

実施形態の画像処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the image processing apparatus of embodiment. 実施形態の画像処理装置の機能構成の一例を示す図である。It is a figure showing an example of functional composition of an image processing device of an embodiment. 画像処理装置による画像処理の流れを示すフローチャートである。4 is a flowchart showing the flow of image processing by the image processing device; プライバシーレベルの設定例を示す図である。It is a figure which shows the setting example of a privacy level. 入力画像を分割した小画像の一例を示す図である。FIG. 4 is a diagram showing an example of small images obtained by dividing an input image; 密度分布と移動ベクトル分布を推定する推定器の説明図である。FIG. 4 is an explanatory diagram of an estimator that estimates density distribution and motion vector distribution; 推定器における移動ベクトルの取得例の説明図である。FIG. 4 is an explanatory diagram of an example of obtaining a motion vector in an estimator; プライバシーレベルが「最大」の場合の画像加工の一例を示す図である。FIG. 10 is a diagram showing an example of image processing when the privacy level is "maximum"; プライバシーレベルが「大」の場合の画像加工の一例を示す図である。FIG. 10 is a diagram showing an example of image processing when the privacy level is "high"; プライバシーレベルが「中」の場合の画像加工の一例を示す図である。FIG. 10 is a diagram showing an example of image processing when the privacy level is "medium"; プライバシーレベルが「小」の場合の画像加工の一例を示す図である。FIG. 10 is a diagram showing an example of image processing when the privacy level is "low"; プライバシーレベルが「最小」の場合の画像加工の一例を示す図である。FIG. 10 is a diagram showing an example of image processing when the privacy level is "minimum"; プライバシーレベル設定の他の例を示す図である。FIG. 10 is a diagram showing another example of privacy level setting; 監視者の閲覧権限別に許可された操作の定義例を示す図である。FIG. 10 is a diagram showing an example of definitions of operations permitted for each viewing authority of an observer;

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
<第1実施形態>
図1は、第1実施形態の画像処理装置100の概略的なハードウェア構成の一例を示す図である。
画像処理装置100は、ハードウェア構成として、CPU10と、メモリ11と、ネットワークI/F12と、表示装置13と、入力装置14とを有している。CPU10は、画像処理装置100の全体の制御を司る。メモリ11は、CPU10が処理に利用するデータ、プログラム等を記憶する。ネットワークI/F12は、画像処理装置100をネットワークに接続するインタフェースである。表示装置13は、液晶表示装置等であり、CPU10による処理の結果等を表示する。入力装置14は、マウスやボタン等であり、ユーザーの操作を画像処理装置100に入力する。CPU10がメモリ11に記憶されたプログラムに基づく画像処理や制御を実行することにより、後述する図2に示す画像処理装置100の各機能、および、後述する図3のフローチャートの処理が実現される。
Preferred embodiments of the present invention will now be described in detail with reference to the accompanying drawings. Note that the configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
<First Embodiment>
FIG. 1 is a diagram showing an example of a schematic hardware configuration of an image processing apparatus 100 according to the first embodiment.
The image processing apparatus 100 has a CPU 10, a memory 11, a network I/F 12, a display device 13, and an input device 14 as a hardware configuration. The CPU 10 controls the entire image processing apparatus 100 . The memory 11 stores data, programs, etc. that the CPU 10 uses for processing. A network I/F 12 is an interface that connects the image processing apparatus 100 to a network. The display device 13 is a liquid crystal display device or the like, and displays the results of processing by the CPU 10 and the like. The input device 14 is a mouse, buttons, or the like, and inputs user's operations to the image processing apparatus 100 . By the CPU 10 executing image processing and control based on the programs stored in the memory 11, each function of the image processing apparatus 100 shown in FIG. 2 and the processing of the flow chart in FIG.

以下、図2を参照して、本実施形態の画像処理装置100における各機能について説明する。本実施形態の画像処理装置100は、画像取得部201、プライバシーレベル設定部202、背景生成部203、動体抽出部204、人数・人流推定部205、頭部検出部206、画像加工部207、画像出力部208を含む。 Each function of the image processing apparatus 100 of this embodiment will be described below with reference to FIG. The image processing apparatus 100 of this embodiment includes an image acquisition unit 201, a privacy level setting unit 202, a background generation unit 203, a moving object extraction unit 204, a number/people flow estimation unit 205, a head detection unit 206, an image processing unit 207, an image An output section 208 is included.

画像取得部201には、防犯カメラ等により撮影された画像が入力される。画像取得部201が取得する入力画像は、防犯カメラ等により撮影されている画像でもよいし、ハードディスクなどの記憶装置に記録されている画像でも、また、インターネット等のネットワークを介して受信された画像でもよい。本実施形態の画像処理装置100では、画像取得部201にて取得された入力画像に対して特定の被写体の秘匿処理(本実施形態で人物の被写体に対するプライバシー保護)のための画像処理が施される。また、画像取得部201で取得された入力画像は、群衆解析の対象としても使用される。画像取得部201からの入力画像は、背景生成部203、人数・人流推定部205および頭部検出部206に送られる。 An image captured by a security camera or the like is input to the image acquisition unit 201 . The input image acquired by the image acquisition unit 201 may be an image captured by a security camera or the like, an image recorded in a storage device such as a hard disk, or an image received via a network such as the Internet. It's okay. In the image processing apparatus 100 of the present embodiment, an input image acquired by the image acquisition unit 201 is subjected to image processing for concealing a specific subject (privacy protection for a human subject in the present embodiment). be. The input image acquired by the image acquisition unit 201 is also used as a crowd analysis target. An input image from the image acquisition unit 201 is sent to a background generation unit 203 , a number/people flow estimation unit 205 and a head detection unit 206 .

背景生成部203は、画像取得部201で取得された入力画像を基に、背景画像を生成する。ここで、背景画像とは、被写体の写っていない背景のみの画像データを指す。背景生成部203は、生成した背景画像と画像取得部201からの入力画像を、動体抽出部204に出力する。
動体抽出部204は、画像取得部201で取得された入力画像から、動体が存在する部分を人物領域として抽出する。動体抽出部204は、動体抽出の結果と、画像取得部201で取得された入力画像を、画像加工部207に出力する。
人数・人流推定部205は、画像取得部201で取得された入力画像を用いて、群衆解析処理を行い、入力画像中の人数および人流を推定する。人数・人流推定部205は、人数および人流の推定結果を、画像加工部207に出力する。
頭部検出部206は、画像取得部201で取得された入力画像を用いて、頭部検出処理を行い、入力画像中の人の頭部の位置およびサイズを推定する。頭部検出部206は、頭部検出の結果を、画像加工部207に出力する。
A background generation unit 203 generates a background image based on the input image acquired by the image acquisition unit 201 . Here, the background image refers to image data of only the background in which the subject is not shown. The background generation unit 203 outputs the generated background image and the input image from the image acquisition unit 201 to the moving object extraction unit 204 .
A moving object extraction unit 204 extracts a portion in which a moving object exists from the input image acquired by the image acquisition unit 201 as a person region. The moving object extraction unit 204 outputs the moving object extraction result and the input image acquired by the image acquisition unit 201 to the image processing unit 207 .
The number of people/people flow estimation unit 205 performs crowd analysis processing using the input image acquired by the image acquisition unit 201, and estimates the number of people and people flow in the input image. The number of people/people flow estimation unit 205 outputs the estimation results of the number of people and people flow to the image processing unit 207 .
The head detection unit 206 performs head detection processing using the input image acquired by the image acquisition unit 201, and estimates the position and size of the human head in the input image. The head detection unit 206 outputs the result of head detection to the image processing unit 207 .

プライバシーレベル設定部202は、被写体のプライバシーを保護するために行う画像加工の度合い(プライバシーレベル)を設定する。プライバシーレベルの設定例については後述する。プライバシーレベル設定部202にて設定されたプライバシーレベルの情報は、画像加工部207に送られる。
画像加工部207は、プライバシーレベル設定部202により設定されたプライバシーレベルに従い、画像取得部201で取得された入力画像、または、背景生成部203が生成した背景画像に対し、所定の加工処理(画像加工)を行う。所定の加工処理の詳細については後述する。画像加工部207にて所定の加工処理が施された画像は、画像出力部208へ送られる。
画像出力部208は、画像加工部207で加工された画像を出力する。この画像出力部208から出力された画像は、図1の表示装置13に送られ、表示装置13に表示される監視者用ビューワーなどを通じて、監視者等により閲覧される。表示装置13の表示例については後述する。
The privacy level setting unit 202 sets the degree of image processing (privacy level) to protect the privacy of the subject. A setting example of the privacy level will be described later. Information about the privacy level set by the privacy level setting unit 202 is sent to the image processing unit 207 .
The image processing unit 207 performs predetermined processing (image processing). Details of the predetermined processing will be described later. An image that has undergone predetermined processing in the image processing unit 207 is sent to the image output unit 208 .
An image output unit 208 outputs the image processed by the image processing unit 207 . The image output from the image output unit 208 is sent to the display device 13 shown in FIG. A display example of the display device 13 will be described later.

図3は、本実施形態の画像処理装置100による画像処理の一例を示すフローチャートである。以下の説明では、図3のフローチャートの各処理ステップS301~ステップS308をS301~S308と略記する。この図3のフローチャートの処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、例えばメモリ11のROM等に記憶されている本実施形態に係る画像処理のプログラムをCPU10等が実行することにより実現される。本実施形態に係るプログラムは、ROM等に予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。 FIG. 3 is a flowchart showing an example of image processing by the image processing apparatus 100 of this embodiment. In the following description, processing steps S301 to S308 in the flowchart of FIG. 3 are abbreviated as S301 to S308. The processing of the flowchart in FIG. 3 may be executed by a hardware configuration, or may be partially realized by a software configuration and the rest by a hardware configuration. When processing is executed by a software configuration, it is realized by the CPU 10 or the like executing an image processing program according to the present embodiment stored in the ROM of the memory 11 or the like, for example. The program according to the present embodiment may be prepared in advance in a ROM or the like, read from a detachable semiconductor memory or the like, or downloaded from a network such as the Internet (not shown).

S301において、画像取得部201は、前述したように入力画像を取得する。
また、S302において、プライバシーレベル設定部202は、プライバシーレベルを設定する。プライバシーレベルは、例えば、表示装置13に表示される監視者用ビューワーに設置されたユーザーインターフェースを介して監視者が設定する。
In S301, the image acquisition unit 201 acquires an input image as described above.
Also, in S302, the privacy level setting unit 202 sets the privacy level. The privacy level is set by the supervisor through a user interface installed in the viewer for supervisor displayed on the display device 13, for example.

図4には、監視者用ビューワーのウィンドウ400の一例を示す。図4に例示した監視者用ビューワーのウィンドウ400には、画像取得部201にて取得された入力画像に対してプライバシーレベルに応じたプライバシー保護の処理が施された画像と、スライダー401および指示子であるノブ402が表示される。監視者(ユーザー)が入力装置14を介して、スライダー401のノブ402を動かすと、プライバシーレベル設定部202は、そのノブ402の位置に応じたプライバシーレベルを設定する。スライダー401の近傍には、プライバシーレベルを例えば5段階で表す、「最小」、「小」、「中」、「大」、「最大」等の文字が表示されている。監視者は、スライダー401のノブ402を動かすことにより、プライバシーレベルを段階的に変化させることができ、また所望のレベルに設定することができる。プライバシーレベルは、通常は(例えば初期設定では)高いレベルに設定されているが、本実施形態の場合、例えば事件や事故等が起こったときのみ、プライバシーレベルを低く設定するような運用も可能となされている。 FIG. 4 shows an example of a supervisor viewer window 400 . A window 400 of the supervisor viewer illustrated in FIG. is displayed. When the observer (user) moves the knob 402 of the slider 401 via the input device 14 , the privacy level setting section 202 sets the privacy level according to the position of the knob 402 . In the vicinity of the slider 401, characters such as "minimum", "low", "middle", "large", and "maximum" are displayed, representing the privacy level in five stages, for example. By moving the knob 402 of the slider 401, the observer can change the privacy level step by step and set the desired level. The privacy level is normally set to a high level (for example, in the initial setting), but in the case of this embodiment, it is possible to set the privacy level to a low level only when an incident or accident occurs. is done.

また、監視者用ビューワーは、ユーザー認証を備える構成となされていてもよい。そして、例えば高い閲覧権限を持つ監視者が、ユーザー認証を行ったときのみ、プライバシーレベルを低く設定できるようになされていてもよい。また、事件や事故の起こったときは、監視者の閲覧権限にかかわらず、すべての監視者が任意のプライバシーレベルを設定できる構成になされていてもよい。 Also, the supervisor viewer may be configured with user authentication. Then, for example, the privacy level may be set to a low level only when a supervisor with a high viewing authority performs user authentication. In addition, when an incident or accident occurs, all supervisors may be configured to set an arbitrary privacy level regardless of the supervisor's viewing authority.

図3に説明を戻す。S303において、背景生成部203は、画像取得部201で取得された入力画像を基に、背景画像を生成する。背景画像は、いくつかの生成手法により生成することができる。一例の生成手法としては、画像取得部201が異なる時刻に取得した複数枚の入力画像の平均値や中央値をとって背景画像とする手法を挙げることができる。他の生成手法としては、動体が存在していないと考えられるタイミングに画像取得部201が取得した入力画像を背景画像とする手法を挙げることができる。背景画像の生成手法は、これらの手法に限定されるものではなく、また、複数の手法が組み合わされてもよい。また、背景生成部203は、時間経過により背景が変化することに追随するため、背景画像を更新するようにしてもよい。背景画像の更新は、定期的に背景画像を新たに生成し直したり、背景画像のうち動体が存在していないと考えられる部分のみを、最新の入力画像で置換したりすることで行える。 Returning to FIG. In S<b>303 , the background generation unit 203 generates a background image based on the input image acquired by the image acquisition unit 201 . A background image can be generated by several generation techniques. As an example of a generation method, a method of obtaining an average value or a median value of a plurality of input images obtained by the image obtaining unit 201 at different times and using them as a background image can be cited. As another generation method, there is a method of using an input image acquired by the image acquisition unit 201 at a timing when it is considered that no moving object exists, as a background image. Background image generation techniques are not limited to these techniques, and a plurality of techniques may be combined. In addition, the background generation unit 203 may update the background image in order to follow changes in the background over time. The background image can be updated by periodically regenerating a new background image or replacing only a portion of the background image where no moving object is considered to exist with the latest input image.

次に、S304において、動体抽出部204は、画像取得部201が取得した入力画像のうち、動体が存在する領域を人物の領域として抽出する。動体の抽出はいくつかの抽出手法により行うことができる。一例の抽出手法としては、背景生成部203により生成された背景画像と、画像取得部201が取得した入力画像との差分をとる背景差分法により、動体(前景物体)を抽出する手法を挙げることができる。他の抽出手法としては、画像取得部201が異なる時刻に取得した複数枚の入力画像に対してフレーム間差分法や動きベクトル検出法を行うことにより、動体(前景物体)を抽出する手法を挙げることができる。動体の抽出手法は、これらの手法に限定されるものではなく、また、複数の手法が組み合わされてもよい。 Next, in S<b>304 , the moving object extraction unit 204 extracts an area in which the moving object exists from the input image acquired by the image acquisition unit 201 as a person area. Moving objects can be extracted by several extraction methods. An example of an extraction method is a method of extracting a moving object (foreground object) by a background subtraction method that takes a difference between a background image generated by the background generation unit 203 and an input image obtained by the image acquisition unit 201. can be done. As another extraction method, a moving object (foreground object) is extracted by performing an inter-frame difference method or a motion vector detection method on a plurality of input images acquired by the image acquisition unit 201 at different times. be able to. The method of extracting a moving object is not limited to these methods, and multiple methods may be combined.

次に、S305において、人数・人流推定部205は、画像取得部201が取得した入力画像に対して、群衆解析処理を行い、画像中の人数および人流を推定する。人数および人流の推定手法としては、幾つかの手法を挙げることができる。以下に一例の推定手法を挙げて説明する。 Next, in S305, the number of people/people flow estimation unit 205 performs crowd analysis processing on the input image acquired by the image acquisition unit 201, and estimates the number of people and people flow in the image. There are several methods for estimating the number of people and the flow of people. An example of the estimation method will be described below.

先ず、人数・人流推定部205は、画像取得部201が取得した入力画像を、複数の小画像に分割する。図5は、入力画像500を小画像に分割する一つの手法を例示した図である。図5は、各小画像の大きさと、各小画像内に映る1つの人体の大きさの比率がほぼ一定となるよう、入力画像500を分割した例を示している。 First, the number/people flow estimation unit 205 divides the input image acquired by the image acquisition unit 201 into a plurality of small images. FIG. 5 illustrates one method of dividing an input image 500 into sub-images. FIG. 5 shows an example in which an input image 500 is divided so that the ratio between the size of each small image and the size of one human body shown in each small image is substantially constant.

次いで、人数・人流推定部205は、時間的に連続する複数の小画像を入力として群衆の密度分布と移動ベクトルの分布を出力する推定器を用いて、小画像ごとに人数および人流を推定する。画像中の人物の密度分布および移動ベクトルの分布を推定する方法としては、例えば、文献「Walach E., Wolf L. (2016) Learning to Count with CNN Boosting. In: Leibe B., Matas J., Sebe N., Welling M. (eds) Computer Vision - ECCV 2016. Lecture Notes in Computer Science, vol 9906. Springer, Cham」に記載されている方法を用いる。文献では事前に機械学習によって得たニューラルネットワークを用いて、画像から人物の密度分布を求める。本実施形態ではこの方法を用い、連続する2フレームの画像を入力して画像中の人物の密度分布および移動ベクトルの分布を同時推定するニューラルネットワークを事前に学習し、推定する。 Next, the number/people flow estimation unit 205 estimates the number of people and people flow for each small image using an estimator that receives a plurality of temporally continuous small images as input and outputs the crowd density distribution and the movement vector distribution. . Methods for estimating the density distribution and motion vector distribution of a person in an image include, for example, the document "Walach E., Wolf L. (2016) Learning to Count with CNN Boosting. In: Leibe B., Matas J., Sebe N., Welling M. (eds) Computer Vision - ECCV 2016. Lecture Notes in Computer Science, vol 9906. Springer, Cham”. In the literature, a neural network obtained in advance by machine learning is used to obtain the density distribution of people from an image. In the present embodiment, this method is used to pre-learn and estimate a neural network for simultaneously estimating the density distribution and motion vector distribution of a person in an image by inputting two consecutive frames of images.

図6は人数・人流推定部205における推定器の機能を説明する図である。図6中のニューラルネット610には連続する2フレームの小画像として時刻t1の画像601と時刻t2の画像602が入力される。ニューラルネット610は、それら連続する2フレームの小画像中の人数密度分布621と横方向の移動ベクトルの分布622および縦方向の移動ベクトルの分布623を同時推定する。図6の例において、ニューラルネット610の出力のうち、人数密度分布621では、図中の濃淡の濃い部分が人物と推定される所定の領域、具体的には人物の頭部の領域を表している。なお、頭部位置の表示に関して、頭部らしいと推定される度合いに応じて頭部の位置を示す領域を濃く示したり、大きく示したりしてもよい。移動ベクトルの分布622,623では、図中の濃淡の濃い部分ほど移動量が大きいことを表している。図6の例では、群衆が横方向へ移動している例を表しており、このため、横方向の移動ベクトルの分布622では移動ベクトルの値が大きく、縦方向の移動ベクトルの分布623では移動ベクトルの値が小さい値となっている。また、人数密度分布621は、ある範囲における密度分布の値の和をとると、その範囲に存在する人物の人数とほぼ等しくなるように設計しておく。 FIG. 6 is a diagram for explaining the function of an estimator in the number of people/people flow estimating unit 205. As shown in FIG. An image 601 at a time t 1 and an image 602 at a time t 2 are input to a neural network 610 in FIG. 6 as small images of two consecutive frames. The neural network 610 simultaneously estimates the population density distribution 621, the horizontal movement vector distribution 622, and the vertical movement vector distribution 623 in the small images of the two consecutive frames. In the example of FIG. 6, in the population density distribution 621 out of the output of the neural network 610, the shaded portion in the figure represents a predetermined area in which a person is estimated, specifically, the area of the person's head. there is Regarding the display of the head position, the area indicating the position of the head may be displayed darker or larger depending on the degree of likelihood of the head. In the movement vector distributions 622 and 623, the darker the shaded portion in the drawing, the greater the amount of movement. The example of FIG. 6 represents an example in which the crowd is moving in the horizontal direction. The vector value is a small value. The population density distribution 621 is designed so that the sum of the values of the density distribution in a certain range is approximately equal to the number of persons existing in that range.

図7には、人数・人流推定部205により推定された、ある小画像における人数密度分布701と横方向の移動ベクトルの分布702および縦方向の移動ベクトルの分布703の一例を示す。横方向の移動ベクトルの分布702と、縦方向の移動ベクトルの分布703とを合成することで、移動ベクトルを抽出することができる。移動ベクトルの分布702,703は、人数密度分布701の値と等しい重みをもつとする。図7の例では、小画像中に、7本の重み付き移動ベクトルが得られた例を示している。そして、人数・人流推定部205では、この移動ベクトルに対して、クラスタリングなどの処理を行うことで、人流を求める。 FIG. 7 shows an example of a population density distribution 701, a horizontal movement vector distribution 702, and a vertical movement vector distribution 703 in a small image estimated by the number of people/people flow estimation unit 205. FIG. A motion vector can be extracted by synthesizing the horizontal motion vector distribution 702 and the vertical motion vector distribution 703 . Movement vector distributions 702 and 703 are assumed to have the same weight as the population density distribution 701 . The example of FIG. 7 shows an example in which seven weighted motion vectors are obtained in the small image. Then, the number of people/people flow estimation unit 205 obtains the people flow by performing processing such as clustering on the movement vector.

図3に説明を戻す。S306において、頭部検出部206は、画像取得部201で取得された入力画像を用いて、頭部検出処理を行い、入力画像中の人の頭部の位置およびサイズを推定する。頭部検出処理には、既知のパターン認識や機械学習の各種手法を利用する。ここで、頭部検出は、人体における頭部の位置を特定する処理を指す。頭部検出部206は、例えば、画像の大きさを変更しながら照合パターンを画像全域に用いて複数の局所パターンを抽出し、それぞれの局所特徴量を算出する。そして、頭部検出部206は、局所特徴量に重み付けを行った結果の総和から頭部であるかを判定する。 Returning to FIG. In S306, the head detection unit 206 performs head detection processing using the input image acquired by the image acquisition unit 201, and estimates the position and size of the human head in the input image. Various known pattern recognition and machine learning techniques are used for head detection processing. Here, head detection refers to processing for identifying the position of the head in the human body. For example, the head detection unit 206 extracts a plurality of local patterns by using the matching pattern over the entire image while changing the size of the image, and calculates respective local feature amounts. Then, the head detection unit 206 determines whether it is the head from the sum of the results of weighting the local feature amounts.

S307において、画像加工部207は、プライバシーレベル設定部202により設定されたプライバシーレベルに従い、画像取得部201が取得した入力画像、または、背景生成部203が生成した背景画像に対し、所定の加工処理を行う。
以下、図4に例示したようにプライバシーレベルを高い順から「最大」,「大」,「中」,「小」,「最小」の5段階設けた場合の画像加工方法の一例について説明する。
In S307, the image processing unit 207 performs predetermined processing on the input image acquired by the image acquisition unit 201 or the background image generated by the background generation unit 203, according to the privacy level set by the privacy level setting unit 202. I do.
An example of an image processing method will be described below in which five levels of privacy levels, "maximum", "large", "middle", "small", and "minimum", are provided in ascending order as shown in FIG.

図8は、プライバシーレベルを「最大」とした場合の画像加工の例を示した図である。図8では、S303において生成された背景画像800の上に、S305において生成された人数および人流に関する情報を重畳する画像加工を施した結果の例を示している。図8のそれぞれの枠802は、S305において人数および人流の推定単位となった小画像に対応する領域を表している。人数情報803は、各小画像において推定された人数に関する情報を表している。人数情報803の数値(例えば0.8や1.1等)は、小画像中の推定人数を表す。人流情報804は、各小画像において推定された人流に関する情報を表している。人流情報804の矢印は、主要な人流の向きが右下に向かっていることを表している。テキスト805は、S305において推定された画像内全体の人数を表している。図8の例では、背景画像800に人数・人流の解析処理結果のみが重畳されているため、監視者は画像内に存在するはずの被写体の位置や動きさえ知ることができないことになる。図8に示したような画像加工が施されることで、被写体のプライバシーを最大限保護しつつ、監視者が群衆解析結果を得ることができる。 FIG. 8 is a diagram showing an example of image processing when the privacy level is set to "maximum". FIG. 8 shows an example of the result of image processing that superimposes the information on the number of people and the flow of people generated in S305 on the background image 800 generated in S303. Each frame 802 in FIG. 8 represents an area corresponding to a small image used as a unit for estimating the number of people and the flow of people in S305. The number-of-people information 803 represents information about the estimated number of people in each small image. A numerical value (for example, 0.8, 1.1, etc.) of the number of people information 803 represents the estimated number of people in the small image. The people flow information 804 represents information about the estimated people flow in each small image. The arrow of the people flow information 804 indicates that the direction of the main flow of people is toward the lower right. Text 805 represents the total number of people in the image estimated in S305. In the example of FIG. 8, only the result of analysis processing of the number of people and the flow of people is superimposed on the background image 800, so the observer cannot even know the position or movement of the subject that should be present in the image. By applying the image processing shown in FIG. 8, the observer can obtain the crowd analysis result while protecting the subject's privacy to the maximum.

図9は、プライバシーレベルを「大」とした場合の画像加工の例を示した図である。図9は、S303において生成された背景画像900の上に、S305において生成された人数密度分布を示す図形901をアルファブレンド処理により頭部位置に重畳する画像加工を施した結果の例を示している。この処理における人数密度分布は、図6の人数密度分布621に示すように人物頭部に対応して出現するので、背景画像900に人数密度分布を示す図形901を重ねる加工を施すことで、群衆の位置と動きのみを表す画像が生成されることになる。図9では省略したが、図8と同様、枠802、人数情報803、および人流情報804を重畳するようにしてもよい。このことは後述する図10から図12でも同様である。図9に示した画像加工によれば、監視者による被写体の位置と動きの目視確認を可能にする一方、監視者による被写体の個人識別を困難にする効果が得られる。 FIG. 9 is a diagram showing an example of image processing when the privacy level is set to "high". FIG. 9 shows an example of the result of image processing in which a figure 901 representing the population density distribution generated in S305 is superimposed on the head position of the background image 900 generated in S303 by alpha blending. there is The population density distribution in this process appears corresponding to the head of a person as shown in the population density distribution 621 in FIG. An image will be generated that represents only the position and motion of the . Although omitted in FIG. 9, the frame 802, the number of people information 803, and the people flow information 804 may be superimposed as in FIG. This also applies to FIGS. 10 to 12, which will be described later. According to the image processing shown in FIG. 9, it is possible for the observer to visually confirm the position and movement of the subject, while making it difficult for the observer to personally identify the subject.

図10は、プライバシーレベルを「中」とした場合の画像加工の例を示した図である。図10は、S303において生成された背景画像1000の上に、S304において抽出された人物全体1001の領域をアルファブレンド処理により重畳する画像加工が施された結果の例を示している。この画像加工により、群衆を構成する人のシルエットを表す画像を生成できる。図10に示した画像加工によれば、監視者による被写体の位置・動き・所作の目視確認を可能にする一方、監視者による被写体の個人識別を困難にする効果が得られる。 FIG. 10 is a diagram showing an example of image processing when the privacy level is set to "medium". FIG. 10 shows an example of the result of image processing in which the region of the entire person 1001 extracted in S304 is superimposed on the background image 1000 generated in S303 by alpha blending. This image processing can generate an image representing the silhouettes of the people who make up the crowd. According to the image processing shown in FIG. 10, it is possible for the observer to visually confirm the position, movement, and behavior of the subject, while making it difficult for the observer to personally identify the subject.

図11は、プライバシーレベルを「小」とした場合の画像加工の例を示した図である。図11(a)は、S301において取得された入力画像1100の上に、S305において生成された人数密度分布を示す図形901をアルファブレンド処理により頭部位置に重畳する画像加工を施した結果の例を示している。この画像加工により、被写体の頭部領域のみに秘匿処理が加えられることになる。図10に示した画像加工によれば、監視者は被写体の位置・動き・所作に加え、被写体の服装を目視確認でき、一方、個人識別性の最も高い部位である頭部のみは監視者が閲覧できないよう秘匿処理される効果が得られる。 FIG. 11 is a diagram showing an example of image processing when the privacy level is set to "low". FIG. 11A is an example of the result of image processing in which a figure 901 representing the population density distribution generated in S305 is superimposed on the head position by alpha blending on the input image 1100 acquired in S301. is shown. By this image processing, the concealment processing is applied only to the subject's head area. According to the image processing shown in FIG. 10, the observer can visually confirm the subject's clothing in addition to the subject's position, movement, and behavior. An effect of confidentiality processing is obtained so that it cannot be browsed.

なお、S305において用いられる人数・人流推定部205の推定器は、人同士が大きく重なるような混雑した画像を含む学習データを用いて学習される。よって、人数・人流推定部205の推定器は、頭部検出部206の頭部検出器に比べて、混雑状況下における頭部の検出漏れが少ない。したがって、混雑状況下においては、人数・人流推定部205の推定器の結果を用いることで、頭部検出部206の頭部検出器の結果を用いる場合に比べて、被写体の秘匿処理をより確実に行うことが可能となる。 Note that the estimator of the number of people/people flow estimating unit 205 used in S305 is learned using learning data including crowded images in which people greatly overlap each other. Therefore, the estimator of the number of people/people flow estimator 205 has fewer detection omissions of heads under congestion conditions than the head detector of the head detector 206 . Therefore, in a crowded situation, by using the result of the estimator of the number of people/people flow estimating unit 205, the concealment processing of the subject can be performed more reliably than the case of using the result of the head detector of the head detecting unit 206. It becomes possible to go to

また、人数密度分布は頭部の中心付近で大きな値をとり、その中心から距離が離れるほど小さな値をとる。よって、単に入力画像1100の上に人数密度分布を示す図形901をアルファブレンドしたのみでは、頭部の外周部に秘匿処理が十分に行われない虞がある。このため、より確実に被写体の頭部を秘匿するために以下のようないくつかの方法を行ってもよい。例えば、一つ目の方法は、アルファブレンドの実施時に人数密度分布の重みを重くする方法である。この方法により、密度分布による秘匿処理の度合いを大きくできる。二つ目の方法は、人数密度分布を示す図形901に二値化処理を行った上で、アルファブレンドを行う方法である。この方法により、頭部の外周部にも頭部の中心付近と同等の秘匿処理を行うことができる。三つ目の方法は、人数密度分布を示す図形901に膨張処理を加えた上で、アルファブレンドを行う方法である。これにより、頭部を中心としたより広い領域に対して秘匿処理をかけることができる。これらの方法はそれぞれ組み合わせて行われてもよい。 Also, the population density distribution takes a large value near the center of the head, and takes a smaller value as the distance from the center increases. Therefore, simply alpha-blending the graphic 901 indicating the density distribution of the number of people on the input image 1100 may not sufficiently perform the concealment processing on the outer peripheral portion of the head. Therefore, the following methods may be used to more reliably conceal the subject's head. For example, the first method is to increase the weight of the population density distribution when alpha blending is performed. This method can increase the degree of concealment processing based on the density distribution. The second method is to perform alpha blending after binarizing the figure 901 showing the population density distribution. With this method, it is possible to perform the same security processing on the outer peripheral portion of the head as on the vicinity of the center of the head. A third method is to perform alpha blending after dilation processing is applied to the figure 901 showing the population density distribution. As a result, the concealment process can be applied to a wider area centering on the head. Each of these methods may be performed in combination.

また、画像加工の方法は、アルファブレンド処理に限定されるものではない。画像加工の他の方法として、人数密度分布にて密度が閾値以上である領域に対して、入力画像にモザイク処理やぼかし処理などの加工を行うようにしてもよい。 Also, the image processing method is not limited to alpha blend processing. As another method of image processing, processing such as mosaic processing or blurring processing may be performed on the input image for areas where the population density distribution is equal to or higher than the threshold.

一方、人がまばらに存在するような非混雑状況下や、人が所定の大きさより大きく映る場合においては、人数・人流推定部205の推定器は、頭部検出部206の検出器よりも、頭部の検出漏れが多い傾向にある。よって、混雑度合いや人の大きさに応じて、人数・人流推定部205の推定器の結果に加えて、頭部検出部206の検出器の結果を併用することで、被写体の秘匿処理をより確実に行うことが可能となる。 On the other hand, in a non-crowded situation where people are sparsely present or when a person appears larger than a predetermined size, the estimator of the number of people/people flow estimator 205 is more sensitive than the detector of the head detector 206. There is a tendency that there are many omissions in the detection of the head. Therefore, by using together the result of the detector of the head detection unit 206 in addition to the result of the estimator of the number/people flow estimation unit 205 according to the degree of congestion and the size of the people, the concealment processing of the subject can be further improved. It can be done with certainty.

図11(b)は、S301において取得された入力画像1100の上に、S305において生成された人数密度分布を示す図形901、および、S306において生成された頭部検出結果を表す図形1104をアルファブレンド処理により頭部位置に重畳する画像加工を施した結果の例を示している。 FIG. 11B shows a diagram 901 representing the population density distribution generated in S305 and a diagram 1104 representing the head detection result generated in S306 on the input image 1100 acquired in S301. An example of the result of image processing superimposed on the head position by processing is shown.

領域1102は、カメラの俯角が小さく、したがって人の頭部同士が重なりやすい領域であるため、人数・人流推定部205による頭部の検出漏れは頭部検出部206による頭部の検出漏れより少ない傾向にある。一方、領域1103は、カメラの俯角が大きく、したがって人の頭部同士が重なりにくい領域であるため、頭部検出部206による頭部の検出漏れは人数・人流推定部205による頭部の検出漏れより少ない傾向にある。 Since the area 1102 has a small depression angle of the camera and is therefore an area where people's heads tend to overlap each other, the number of people/people flow estimating unit 205 misses detection of heads less than the head detecting unit 206 does. There is a tendency. On the other hand, area 1103 has a large depression angle of the camera, and therefore is an area where people's heads are unlikely to overlap each other. tend to be less.

したがって、領域1102においては、S305において生成された人数密度分布を示す図形901をアルファブレンド処理により重畳する画像加工を施す。一方、領域1103においては、S306において生成された頭部検出結果を示す図形1104をアルファブレンド処理により重畳する画像加工を施す。 Therefore, in the area 1102, image processing is performed to superimpose the figure 901 representing the population density distribution generated in S305 by alpha blending. On the other hand, in an area 1103, image processing is performed to superimpose a figure 1104 representing the head detection result generated in S306 by alpha blending.

領域1102および領域1103の決定には、任意の方法をとってよい。
一つ目の方法は、領域1102および領域1103を、ユーザーが手動で明示的に設定する方法である。図11(b)は領域1102と領域1103とが重複しないように設定する例を表している。一方、領域1102と領域1103とが重複するように領域を設定することで、重複領域における頭部の秘匿漏れのリスクを低減させるようにしてもよい。
二つ目の方法は、領域1102と領域1103とを自動で設定する方法である。例えば、頭部が第一の所定の大きさ以上で映る領域を、領域1103とし、頭部が第二の所定の大きさ以下で映る領域を、領域1102とできる。
Any method may be used to determine the regions 1102 and 1103 .
The first method is a method in which the user manually and explicitly sets the areas 1102 and 1103 . FIG. 11B shows an example of setting so that the areas 1102 and 1103 do not overlap. On the other hand, by setting areas such that the area 1102 and the area 1103 overlap, the risk of the head being concealed in the overlapping area may be reduced.
A second method is a method of automatically setting the areas 1102 and 1103 . For example, a region 1103 can be defined as a region in which the head is larger than a first predetermined size, and a region 1102 can be defined as a region in which the head is smaller than a second predetermined size.

画像上の頭部の大きさは、ユーザーがマウスなどの入力装置を用いて明示的に与えてもよい。例えば、ユーザーが、画像上の複数の地点における頭部の平均的な大きさを教示することで、画像加工部207は、画面上の任意の地点における頭部の平均的な大きさを補間により推定することが可能となる。 The size of the head on the image may be explicitly given by the user using an input device such as a mouse. For example, when the user instructs the average size of the head at a plurality of points on the image, the image processing unit 207 calculates the average size of the head at any point on the screen by interpolation. It is possible to estimate

また、画像上の頭部の大きさは、統計処理により自動で推定してもよい。例えば、所定の学習画像群に対して画面全体に頭部検出処理を行い、頭部の位置を示す頭部枠の集合を取得する。画面上の座標(x,y)における頭部枠の大きさをsとしたとき、sは、x、yおよび未知の1個以上のパラメータによって表せると仮定する。例えば、s=ax+by+cと仮定する。この例では、未知のパラメータはa,bおよびcである。所定の学習画像群から取得した頭部枠の集合を用いて、未知のパラメータを、例えば最小二乗法などの統計処理により求めることができる。 Also, the size of the head on the image may be automatically estimated by statistical processing. For example, head detection processing is performed on the entire screen of a predetermined learning image group, and a set of head frames indicating the position of the head is obtained. Let s be the size of the head frame at coordinates (x, y) on the screen, and assume that s can be represented by x, y and one or more unknown parameters. For example, assume s=ax+by+c. In this example the unknown parameters are a, b and c. An unknown parameter can be obtained by statistical processing such as the least-squares method using a set of head frames acquired from a predetermined group of learning images.

三つ目の方法は、頭部の密集度に従って領域1102と領域1103とを自動で設定する方法である。例えば、頭部の密集度が所定の値以下である領域を領域1103とし、頭部の密集度が所定の値以上である領域を領域1102とできる。頭部の密集度は任意の方法で推定することができる。例えば、背景差分によって求めた動体領域に対して、動体が存在すると判定されたピクセル数の割合に従って密集度を推定できる。また、例えば、動きベクトル検出を所定の範囲に施し、動きベクトルの長さの和に従って密集度を推定できる。 A third method is to automatically set the regions 1102 and 1103 according to the density of the heads. For example, a region 1103 can be defined as a region in which the density of heads is less than or equal to a predetermined value, and a region 1102 can be defined as a region in which the density of heads is greater than or equal to a predetermined value. Head density can be estimated in any manner. For example, the density can be estimated according to the ratio of the number of pixels determined to contain a moving object to the moving object region obtained by background subtraction. Also, for example, motion vector detection can be applied to a predetermined range, and the density can be estimated according to the sum of motion vector lengths.

図12は、プライバシーレベルを「最小」とした場合の画像加工の例を示した図である。プライバシーレベルを「最小」とした場合、図12に示すように、S301において取得された入力画像1200をそのまま表示する。したがって、図12の例の場合、監視者は被写体1201の個人を識別することが可能となる。 FIG. 12 is a diagram showing an example of image processing when the privacy level is set to "minimum". When the privacy level is set to "minimum", as shown in FIG. 12, the input image 1200 acquired in S301 is displayed as it is. Therefore, in the case of the example of FIG. 12, the observer can identify the subject 1201 individually.

図3に説明を戻す。S308において、画像出力部208は、画像加工部207により加工された画像を出力する。出力された画像は、表示装置13に表示される図4に示したような監視者用ビューワーなどを通じて、監視者により閲覧される。 Returning to FIG. In S<b>308 , the image output unit 208 outputs the image processed by the image processing unit 207 . The output image is viewed by a supervisor through a supervisor viewer or the like shown in FIG.

<第2実施形態>
以下、第2実施形態について説明する。第2実施形態では、プライバシーレベル設定部202がプライバシーレベルをより詳細に設定することが可能な場合について説明する。第2実施形態の画像処理装置100の構成は前述した図1、図2と同様であるため、その図示は省略する。また、第2実施形態において第1実施形態と同じ機能の説明は省略し、第1の実施形態と異なる点のみについて説明する。
第2実施形態の場合も前述同様に、図3のS302において、プライバシーレベル設定部202はプライバシーレベルを取得する。プライバシーレベルは、例えば、監視者用ビューワーに設置されたユーザーインターフェースを介して監視者が設定する。
<Second embodiment>
A second embodiment will be described below. In the second embodiment, a case will be described in which the privacy level setting unit 202 can set the privacy level in more detail. Since the configuration of the image processing apparatus 100 of the second embodiment is the same as that of FIGS. 1 and 2 described above, the illustration thereof is omitted. Also, in the second embodiment, description of the same functions as in the first embodiment will be omitted, and only points different from the first embodiment will be described.
In the case of the second embodiment as well, in S302 of FIG. 3, the privacy level setting unit 202 acquires the privacy level as described above. The privacy level is set by the supervisor through a user interface installed in the viewer for the supervisor, for example.

図13は、第2実施形態の場合の監視者用ビューワーのウィンドウ1300の一例を示す。図13において、枠1314は前述した図8の枠802と同様であり、人数情報1315は図8の人数情報803、人流情報1316は図8の人流情報804、テキスト1313は図8のテキスト805と同様に画像全体の人数の推定結果を示す情報である。また、人数密度分布を示す図形1312は図11の人数密度分布を示す図形901と同様である。図13の例では、監視者用ビューワーの下部に、ラジオボタン1301~1306が設定されている。監視者は、入力装置14を介して、これらラジオボタン1301~1306に対する入力を行うことにより、監視者用ビューワーに表示する内容を細かく設定することが可能である。 FIG. 13 shows an example of a supervisor viewer window 1300 in the second embodiment. 13, the frame 1314 is the same as the frame 802 in FIG. 8 described above, the number of people information 1315 is the number of people information 803 in FIG. 8, the people flow information 1316 is the people flow information 804 in FIG. Similarly, it is information indicating the result of estimating the number of people in the entire image. A figure 1312 showing the population density distribution is the same as the figure 901 showing the population density distribution in FIG. In the example of FIG. 13, radio buttons 1301 to 1306 are set at the bottom of the observer viewer. The observer can finely set the contents to be displayed on the observer's viewer by performing inputs to these radio buttons 1301 to 1306 via the input device 14 .

ラジオボタン1301は、監視者用ビューワーのウィンドウ1300に表示する画像を選択するボタンである。ラジオボタン1301が「なし」に設定された場合、画像は表示されない。ラジオボタン1301が「背景画像」に設定された場合、背景生成部203によって生成された背景画像が、ウィンドウ1300に表示される。ラジオボタン1301が「入力画像」に設定された場合、画像取得部201が取得した画像が、ウィンドウ1300に表示される。 A radio button 1301 is a button for selecting an image to be displayed in the window 1300 of the viewer for supervisor. If radio button 1301 is set to "none", no image is displayed. When the radio button 1301 is set to “background image”, the background image generated by the background generation unit 203 is displayed in the window 1300 . When the radio button 1301 is set to “input image”, the image acquired by the image acquiring unit 201 is displayed in the window 1300 .

ラジオボタン1302は、監視者用ビューワーのウィンドウ1300に表示される画像に施す処理を選択するボタンである。ラジオボタン1302が「頭部」に設定された場合、人数・人流推定部205により推定された人数密度分布を示す図形をウィンドウ1300に表示される画像に重畳する処理が行われる。ラジオボタン1302が「人物全体」に設定された場合、動体抽出部204により抽出された動体を人物とみなし、その人物全体の領域を加工した画像をウィンドウ1300に表示される画像に重畳する処理が行われる。ラジオボタン1302が「頭部」に設定された場合、人数密度分布を示す図形1312が重畳処理される。 A radio button 1302 is a button for selecting a process to be performed on the image displayed in the window 1300 of the viewer for supervisor. When the radio button 1302 is set to “head”, processing is performed to superimpose a figure indicating the population density distribution estimated by the number of people/people flow estimation unit 205 on the image displayed on the window 1300 . When the radio button 1302 is set to “entire person”, the moving object extracted by the moving object extracting unit 204 is regarded as a person, and the image obtained by processing the entire person area is superimposed on the image displayed in the window 1300 . done. When the radio button 1302 is set to "head", a figure 1312 representing the population density distribution is superimposed.

ラジオボタン1303は、画面全体の推定人数を表示するか否かを設定するボタンである。ラジオボタン1303が「あり」に設定された場合、テキスト1313が表示される。
ラジオボタン1304は、人数・人流推定部205により分割された各小画像に対応する枠を重畳表示するか否かを設定するボタンである。ラジオボタン1304が「あり」に設定された場合、枠1314が表示される。
A radio button 1303 is a button for setting whether to display the estimated number of people on the entire screen. If radio button 1303 is set to "yes", text 1313 is displayed.
A radio button 1304 is a button for setting whether or not to superimpose a frame corresponding to each small image divided by the number of people/people flow estimation unit 205 . When radio button 1304 is set to "Yes", frame 1314 is displayed.

ラジオボタン1305は、人数・人流推定部205が小画像ごとに推定した人数を重畳表示するか否かを設定するボタンである。ラジオボタン1305が「あり」に設定された場合、人数情報1315が表示される。
ラジオボタン1306は、人数・人流推定部205が小画像ごとに推定した人流を重畳表示するか否かを設定するボタンである。ラジオボタン1306が「あり」に設定された場合、人流情報1316が表示される。
これらラジオボタン1301~1306の操作には、監視者の持つ閲覧権限により制限が加えられてもよい。
A radio button 1305 is a button for setting whether or not to superimpose the number of people estimated for each small image by the number of people/people flow estimation unit 205 . When the radio button 1305 is set to "Yes", the number of persons information 1315 is displayed.
A radio button 1306 is a button for setting whether or not to superimpose the flow of people estimated for each small image by the number of people/flow of people estimation unit 205 . When radio button 1306 is set to "Yes", people flow information 1316 is displayed.
Operations of these radio buttons 1301 to 1306 may be restricted by the viewer's viewing authority.

図14は、第2実施形態において、図13に例示した監視者の閲覧権限を高い順から「最大」,「大」,「中」,「小」,「最小」の5段階設けた場合に、それぞれの監視者に対して許可された操作を定義したテーブルの一例である。プライバシーレベル設定部202は、これら監視者の閲覧権限に応じたプライバシーレベルを設定する。
図14に示したテーブル例の場合、例えば閲覧権限「最大」を持つ監視者は、前述の図8~図12で示した各プライバシーレベルに相当する画像を全て閲覧することが可能となる。また例えば閲覧権限「大」を持つ監視者は、図8~図11で示した各プライバシーレベルに相当する画像を閲覧可能であるが、図12で示したプライバシーレベル「最小」に相当する画像は閲覧できない。以下、閲覧権限「中」を持つ監視者は、図8~図10で示した各プライバシーレベルに相当する画像を閲覧できるが、図11と図12で示したプライバシーレベルに相当する画像は閲覧できない。閲覧権限「小」を持つ監視者は、図8と図9で示した各プライバシーレベルに相当する画像を閲覧できるが、図10~図12で示したプライバシーレベルに相当する画像は閲覧できない。そして、閲覧権限「最小」を持つ監視者は、図8で示したプライバシーレベル「最大」に相当する画像のみ閲覧でき、図9~図12で示したプライバシーレベルに相当する画像は閲覧できない。
FIG. 14 shows a case in which five levels of viewing authority for the observer illustrated in FIG. , is an example of a table defining permitted operations for each observer. The privacy level setting unit 202 sets a privacy level according to the viewing authority of these supervisors.
In the case of the table example shown in FIG. 14, for example, a supervisor having viewing authority "maximum" can view all images corresponding to the respective privacy levels shown in FIGS. 8 to 12 described above. Also, for example, a supervisor having viewing authority "high" can view images corresponding to each privacy level shown in FIGS. Unable to browse. 8 to 10, an observer with viewing authority of "medium" can view the images corresponding to the privacy levels shown in FIGS. 8 to 10, but cannot view the images corresponding to the privacy levels shown in FIGS. . A supervisor having viewing authority "small" can view images corresponding to the privacy levels shown in FIGS. 8 and 9, but cannot view images corresponding to the privacy levels shown in FIGS. A supervisor having viewing authority "minimum" can view only images corresponding to the privacy level "maximum" shown in FIG. 8, and cannot view images corresponding to the privacy levels shown in FIGS.

なお、第2実施形態において、図12にはユーザーインターフェースとしてラジオボタンを用いる場合の例であるが、使用できるユーザーインターフェースはこれに限らない。例えば、ラジオボタンの代わりにプッシュボタンを配置し、プッシュボタンをクリックするごとに表示内容をトグルするようにしてもよい。 In the second embodiment, FIG. 12 shows an example of using radio buttons as a user interface, but the user interface that can be used is not limited to this. For example, a push button may be arranged instead of the radio button, and the display contents may be toggled each time the push button is clicked.

以上説明したように、第1,第2実施形態の画像処理装置100によれば、群衆を映した画像を用いて群衆解析を行った結果を監視者に表示する際、その監視者の持つ閲覧権限に応じた被写体のプライバシー保護のための適切な処理を施すことが可能である。例えば、小さな閲覧権限を持つ監視者に対しては被写体の全身をシルエット化した画像を生成し、大きな閲覧権限を持つ監視者に対しては被写体の頭部領域のみに秘匿処理を加えたような画像を生成でき、閲覧権限に応じた多様な画像処理を行える。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
As described above, according to the image processing apparatus 100 of the first and second embodiments, when the result of crowd analysis using an image of a crowd is displayed to the observer, the viewing Appropriate processing for protecting the privacy of the subject according to authority can be performed. For example, for an observer with low viewing authority, a silhouetted image of the subject's whole body is generated, and for an observer with high viewing authority, only the head area of the subject is masked. Images can be generated, and various image processing can be performed according to viewing authority.
Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the invention described in the claims.・Changes are possible.

前述した実施形態では、特定の被写体として人物を例に挙げ、所定の領域として頭部を例に挙げたが、これらに限定されるものではない。特定の被写体は人物以外、例えば自動車等の乗り物でもよく、所定の領域としては例えばナンバープレートや自動車等に乗っている人物等であってもよく、車両のタイプを特定できる車両形状等が含まれてもよい。 In the above-described embodiment, a person was exemplified as the specific subject and a head was exemplified as the predetermined area, but the subject is not limited to these. The specific subject may be a vehicle other than a person, such as an automobile, and the predetermined area may be, for example, a license plate or a person riding in an automobile. may

本発明に係る信号処理における1以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの1つ以上のプロセッサーにより読出し実行されることで実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 A program that implements one or more functions in signal processing according to the present invention can be supplied to a system or device via a network or storage medium, and read and executed by one or more processors of the computer of the system or device. It can be realized by It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 All of the above-described embodiments merely show specific examples for carrying out the present invention, and the technical scope of the present invention should not be construed to be limited by these. That is, the present invention can be embodied in various forms without departing from its technical spirit or main features.

10:CPU、11:メモリ、13:表示装置、14:入力装置、100:画像処理装置、201:画像取得部、202:プライバシーレベル設定部、203:背景生成部、204:動体抽出部、205:人数・人流推定部、206:頭部検出部、207:画像加工部、208:画像出力部 10: CPU, 11: Memory, 13: Display Device, 14: Input Device, 100: Image Processing Device, 201: Image Acquisition Unit, 202: Privacy Level Setting Unit, 203: Background Generation Unit, 204: Moving Object Extraction Unit, 205 : number of people/people flow estimation unit, 206: head detection unit, 207: image processing unit, 208: image output unit

Claims (16)

画像に含まれる特定の被写体を、推定する推定手段と、
前記画像から、前記特定の被写体の検出処理を行う検出手段と、
前記被写体を秘匿するために行う画像加工の度合いを設定する設定手段と、
前記推定された被写体に対して前記設定された画像加工の度合いに応じた秘匿化処理を施した表示画像を出力する出力手段と、
を有し、
前記表示画像は、前記画像に含まれる前記被写体の数を示し、
前記出力手段は、前記推定手段により推定された前記被写体の密度分布を、前記画像のうち第一の領域に重畳する秘匿化処理を行い、
更に前記検出手段による検出結果を、前記画像のうち第二の領域に重畳する秘匿化処理を行うことを特徴とする画像処理装置。
estimating means for estimating a specific subject included in an image;
detection means for performing detection processing of the specific subject from the image;
setting means for setting the degree of image processing performed to conceal the subject;
output means for outputting a display image obtained by subjecting the estimated subject to anonymization processing according to the set degree of image processing;
has
The display image indicates the number of subjects included in the image,
The output means performs anonymization processing of superimposing the density distribution of the subject estimated by the estimation means on a first region of the image,
The image processing apparatus further performs anonymization processing of superimposing a detection result of the detection means on a second area of the image .
前記推定手段は、前記画像から前記被写体の密度分布を推定し、
前記出力手段は、前記設定された画像加工の度合いに基づき、前記推定手段により推定された前記密度分布を、前記画像に重畳した前記表示画像を出力することを特徴とする請求項1に記載の画像処理装置。
The estimating means estimates the density distribution of the subject from the image,
2. The method according to claim 1, wherein the output means outputs the display image in which the density distribution estimated by the estimation means is superimposed on the image based on the set degree of image processing. Image processing device.
前記出力手段は、前記設定された画像加工の度合いに基づき、前記推定手段により推定された前記密度分布の密度が閾値以上の領域に対して、モザイク処理またはぼかし処理の少なくとも一つの処理を前記画像に施した画像を前記表示画像として出力することを特徴とする請求項2に記載の画像処理装置。 The output means performs at least one of mosaic processing and blurring processing on an area in which the density of the density distribution estimated by the estimation means is equal to or greater than a threshold based on the set degree of image processing. 3. The image processing apparatus according to claim 2, wherein the image processed by the image processing is output as the display image. 前記検出手段は、前記特定の被写体の所定の部位を示すパターンに基づいて、前記被写体の所定の部位を検出し、
前記出力手段は、前記設定された画像加工の度合いに応じて前記被写体の所定の部位を少なくとも隠すように加工した前記表示画像を出力することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
the detection means detects a predetermined part of the subject based on a pattern indicating the predetermined part of the specific subject;
4. The display image according to any one of claims 1 to 3, wherein the output means outputs the display image processed so as to hide at least a predetermined portion of the subject according to the set degree of image processing. The image processing device according to .
前記特定の被写体は、人物であって、
前記被写体の所定の部位は、人物の頭部であることを特徴とする請求項に記載の画像処理装置。
The specific subject is a person,
5. The image processing apparatus according to claim 4 , wherein the predetermined part of the subject is a person's head.
前記出力手段は、前記第一の領域および前記第二の領域の少なくとも一方を、前記画像における被写体の大きさに基づいて決定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 6. The method according to any one of claims 1 to 5, wherein said output means determines at least one of said first area and said second area based on the size of a subject in said image. image processing device. 前記推定手段は、前記画像に含まれる特定の被写体の位置を、推定し、
前記出力手段は、前記推定手段により推定された前記画像に含まれる特定の被写体の位置に基づいて、前記表示画像を出力することを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
The estimating means estimates the position of a specific subject included in the image,
7. The display image according to any one of claims 1 to 6 , wherein the output means outputs the display image based on the position of the specific subject included in the image estimated by the estimation means. Image processing device.
前記画像を基に、前記特定の被写体の写っていない背景画像を生成する生成手段を更に有し、
前記設定された画像加工の度合いに基づき、前記推定手段により推定された前記被写体の位置を、前記背景画像に重畳することによって前記表示画像を出力することを特徴とする請求項に記載の画像処理装置。
further comprising generating means for generating a background image in which the specific subject is not shown based on the image;
8. The image according to claim 7 , wherein the display image is output by superimposing the position of the subject estimated by the estimation means on the background image based on the set degree of image processing. processing equipment.
前記出力手段は、前記設定された画像加工の度合いに基づき、前記推定手段により推定された前記画像に含まれる特定の被写体の位置に対して、二値化処理または膨張処理の少なくとも一つの処理を行った前記画像を前記表示画像として出力することを特徴とする請求項に記載の画像処理装置。 The output means performs at least one of binarization processing and expansion processing on the position of a specific subject included in the image estimated by the estimation means based on the set degree of image processing. 9. The image processing apparatus according to claim 8 , wherein the image thus processed is output as the display image. 前記設定手段は、ユーザの指示に基づいて、前記画像加工の度合いを表すプライバシーレベルを設定し、
前記出力手段は、前記プライバシーレベルに応じて前記表示画像を出力することを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
The setting means sets a privacy level representing the degree of image processing based on a user's instruction,
10. The image processing apparatus according to claim 1, wherein said output means outputs said display image according to said privacy level.
前記設定手段は、所定のユーザーインターフェースに対する操作に基づいて、前記プライバシーレベルを設定することを特徴とする請求項1に記載の画像処理装置。 11. The image processing apparatus according to claim 10 , wherein said setting means sets said privacy level based on an operation on a predetermined user interface. 前記所定のユーザーインターフェースは、前記プライバシーレベルを複数の段階に分けた何れかの段階を設定するユーザーインターフェース、または、前記秘匿化処理の後に表示される内容を設定するユーザーインターフェースであることを特徴とする請求項1に記載の画像処理装置。 The predetermined user interface is a user interface for setting one of a plurality of stages of the privacy level, or a user interface for setting the content to be displayed after the anonymization process. 12. The image processing apparatus according to claim 11 . 前記出力手段は、前記設定された画像加工の度合いに応じて、前記画像における被写体の位置のみを示す画像、前記画像における被写体全体を加工した画像または、前記画像における前記被写体の所定の部位を加工した画像のいずれかを前記表示画像として出力すること特徴とする請求項1乃至1のいずれか1項に記載の画像処理装置。 The output means outputs an image showing only the position of the subject in the image, an image in which the entire subject in the image is processed, or a predetermined part of the subject in the image, according to the set degree of image processing. 13. The image processing apparatus according to any one of claims 1 to 12 , wherein any one of the displayed images is output as the display image. 前記推定手段は、前記画像における被写体の移動ベクトルを更に推定し、
前記表示画像は、前記推定された被写体の移動ベクトルを示すことを特徴とする請求項1乃至1のいずれか1項に記載の画像処理装置。
The estimating means further estimates a motion vector of the subject in the image,
The image processing apparatus according to any one of claims 1 to 13, wherein the display image indicates the estimated movement vector of the subject.
画像に含まれる特定の被写体を、推定する推定工程と、
前記画像から、前記特定の被写体の検出処理を行う検出工程と、
前記被写体を秘匿するために行う画像加工の度合いを設定する設定工程と、
前記推定された被写体に対して前記設定された画像加工の度合いに応じた秘匿化処理を施した表示画像を出力する出力工程と、
を有し、
前記表示画像は、前記画像に含まれる前記被写体の数を示し、
前記出力工程において、前記推定工程により推定された前記被写体の密度分布を、前記画像のうち第一の領域に重畳する秘匿化処理を行い、
更に前記検出工程による検出結果を、前記画像のうち第二の領域に重畳する秘匿化処理を行うことを特徴とする画像処理方法。
an estimation step of estimating a specific subject included in the image;
A detection step of performing detection processing of the specific subject from the image;
a setting step of setting the degree of image processing to be performed to conceal the subject;
an output step of outputting a display image obtained by subjecting the estimated subject to anonymization processing according to the set degree of image processing;
has
The display image indicates the number of subjects included in the image,
In the output step, performing anonymization processing for superimposing the density distribution of the subject estimated in the estimation step on a first region of the image,
An image processing method , further comprising the step of superimposing a detection result of the detection step on a second area of the image for anonymization .
コンピュータを、請求項1乃至1のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the image processing apparatus according to any one of claims 1 to 14 .
JP2018186864A 2017-10-06 2018-10-01 Image processing device, image processing method, and program Active JP7278735B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017195753 2017-10-06
JP2017195753 2017-10-06

Publications (3)

Publication Number Publication Date
JP2019071050A JP2019071050A (en) 2019-05-09
JP2019071050A5 JP2019071050A5 (en) 2021-11-11
JP7278735B2 true JP7278735B2 (en) 2023-05-22

Family

ID=66441389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018186864A Active JP7278735B2 (en) 2017-10-06 2018-10-01 Image processing device, image processing method, and program

Country Status (1)

Country Link
JP (1) JP7278735B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7224240B2 (en) 2019-06-03 2023-02-17 株式会社日立製作所 Image access control device, image access control method and image access control system
JP7380019B2 (en) 2019-09-27 2023-11-15 オムロン株式会社 Data generation system, learning device, data generation device, data generation method, and data generation program
JP2021082154A (en) 2019-11-21 2021-05-27 オムロン株式会社 Model generating device, estimating device, model generating method, and model generating program
JP7434829B2 (en) 2019-11-21 2024-02-21 オムロン株式会社 Model generation device, estimation device, model generation method, and model generation program
EP3855347B1 (en) 2020-01-21 2022-06-22 Axis AB Distinguishing human beings in a crowd in an image
JP7208940B2 (en) * 2020-02-19 2023-01-19 Kddi株式会社 Image processing device, server, image processing method, attitude estimation method, and program
WO2021192183A1 (en) * 2020-03-26 2021-09-30 日本電気株式会社 Deploying method
WO2021220814A1 (en) * 2020-04-28 2021-11-04 ソニーセミコンダクタソリューションズ株式会社 Information processing device, information processing method, and program
JP2022038287A (en) * 2020-08-26 2022-03-10 株式会社Jvcケンウッド Machine learning device and image processing device
JP7374376B1 (en) * 2022-09-26 2023-11-06 三菱電機株式会社 Management device, management system, management method, and setting method
CN115880648B (en) * 2023-03-08 2023-05-12 城云科技(中国)有限公司 Crowd gathering identification method and system under unmanned plane angle and application thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316582A (en) 2004-04-27 2005-11-10 Glory Ltd Waiting time informing system, and its method and program
JP2009081635A (en) 2007-09-26 2009-04-16 Fujifilm Corp Digital camera, and individual information protecting method of digital camera
JP2017046196A (en) 2015-08-27 2017-03-02 キヤノン株式会社 Image information generating apparatus, image information generating method, image processing system, and program
JP2017098879A (en) 2015-11-27 2017-06-01 パナソニックIpマネジメント株式会社 Monitoring device, monitoring system and monitoring method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316582A (en) 2004-04-27 2005-11-10 Glory Ltd Waiting time informing system, and its method and program
JP2009081635A (en) 2007-09-26 2009-04-16 Fujifilm Corp Digital camera, and individual information protecting method of digital camera
JP2017046196A (en) 2015-08-27 2017-03-02 キヤノン株式会社 Image information generating apparatus, image information generating method, image processing system, and program
JP2017098879A (en) 2015-11-27 2017-06-01 パナソニックIpマネジメント株式会社 Monitoring device, monitoring system and monitoring method

Also Published As

Publication number Publication date
JP2019071050A (en) 2019-05-09

Similar Documents

Publication Publication Date Title
JP7278735B2 (en) Image processing device, image processing method, and program
Agrawal et al. Person de-identification in videos
JP7095770B2 (en) Image processing system, image processing method and program
US10984252B2 (en) Apparatus and method for analyzing people flows in image
JP2008257693A (en) Method for detecting object left-behind in scene
US20180255326A1 (en) Image generation apparatus, control method therefor, and computer-readable storage medium
WO2021238185A1 (en) Object detection method and apparatus, electronic device, storage medium and program
KR102495547B1 (en) Image processing apparatus, image processing apparatus control method, and non-transitory computer-readable storage medium
US10235607B2 (en) Control device, control method, and computer program product
Bagiwa et al. Chroma key background detection for digital video using statistical correlation of blurring artifact
JP2020127194A (en) Computer system and program
CN108460319B (en) Abnormal face detection method and device
EP3543954A1 (en) Method of processing a video
WO2021186866A1 (en) Information processing device, monitoring system, information processing method, and storage medium
JP7183089B2 (en) Information processing device, information processing system, information processing method, and program
JP2016144049A (en) Image processing apparatus, image processing method, and program
KR101288248B1 (en) Human tracking system and method for privacy masking
Hilgefort et al. Spying through virtual backgrounds of video calls
JP2020057224A (en) Detection device, discriminator, computer program, and detection method
KR101292907B1 (en) Human tracking system and method for privacy masking
WO2022208669A1 (en) Information processing device, information processing method, and storage medium
JP7314645B2 (en) OBJECT DETECTION PROGRAM, OBJECT DETECTION METHOD, AND OBJECT DETECTION DEVICE
Hoo et al. Skin-based privacy filter for surveillance systems
WO2024077004A1 (en) Systems and methods for generating a visualization of workspace employees
Almalki et al. Detecting Deceptive Images in Online Content

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230510

R151 Written notification of patent or utility model registration

Ref document number: 7278735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151