JP2013065994A - Image processing device, image processing method and program - Google Patents
Image processing device, image processing method and program Download PDFInfo
- Publication number
- JP2013065994A JP2013065994A JP2011202576A JP2011202576A JP2013065994A JP 2013065994 A JP2013065994 A JP 2013065994A JP 2011202576 A JP2011202576 A JP 2011202576A JP 2011202576 A JP2011202576 A JP 2011202576A JP 2013065994 A JP2013065994 A JP 2013065994A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- position information
- image
- unit
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
昨今では、犯罪の防止等のため、レストラン、ホテル、マンションのエントランスなど、プライバシー性が高い場所に監視カメラが設置されている場合がある。特に、このような監視カメラによる監視業務をアウトソーシングしているような場合、複数のサービス利用ユーザや複数の拠点を遠隔で監視することになり、関係者ではない人間が監視映像を目にする。このように、部外者が多数の情報を目にしてしまうため、個人情報や、公序良俗に反する内容を表示しないようにして、監視映像におけるプライバシーを保護することが望ましい。 In recent years, there are cases where surveillance cameras are installed in places with high privacy such as restaurants, hotels, and condominium entrances to prevent crime. In particular, when outsourcing monitoring work by such a monitoring camera, a plurality of service using users and a plurality of bases are remotely monitored, and a person who is not a person concerned sees the monitoring video. Thus, since an outsider sees a large amount of information, it is desirable to protect the privacy in the surveillance video by not displaying personal information or content that violates public order and morals.
ところで、上記のような人通りのある場所の監視映像をリアルタイムで目視確認するシステムにおいては、人物の有無や不審行動などを監視すれば十分である。このため、被写体となる人物のプライバシーを考慮し、顔部分にモザイクなどのぼかしをかけるようなシステムが存在する。そして、不審者が現れた時のみ、監視員がぼかしを解除したり、現地の警備員へ連絡を行なったりする。 By the way, in the system for visually confirming a monitoring image of a place with traffic as described above in real time, it is sufficient to monitor the presence of a person, suspicious behavior, and the like. For this reason, there is a system that blurs the face portion such as a mosaic in consideration of the privacy of the person who is the subject. And only when a suspicious person appears, the observer removes the blur or contacts the local security guard.
このとき、顔の認識は、例えば、顔の画像及び顔でない画像の大量の画像サンプルから特徴量を学習して、入力画像の特徴量と比較することにより行う方法、判別能力の低い多数の識別器を組み合わせることにより、高い識別能力を実現する方法がある。特徴量の計算に用いるパターンは、輝度の境目（Ｅｄｇｅ）、線（Ｌｉｎｅ）、包囲（Ｃｅｎｔｅｒ−ｓｕｒｒｏｕｎｄ）のみで顔の認識を行うことができる。 At this time, for example, face recognition is performed by learning feature quantities from a large number of image samples of face images and non-face images and comparing them with the feature quantities of the input image. There is a method for realizing a high discrimination ability by combining devices. The pattern used for calculating the feature amount can recognize the face only by the boundary of the luminance (Edge), the line (Line), and the encircling (Center-surround).
しかしながら、リアルタイムで監視映像を目視確認するシステムでは、リアルタイムでぼかしの処理が必要な箇所を判断している。このため、顔を検知してから、例えばモザイクを付加するまでのタイムラグがあり、人物の動きが速い場合などに、ぼかしの処理を行なう位置がずれてしまうことがある。 However, in a system for visually confirming a monitoring image in real time, a portion that needs to be blurred in real time is determined. For this reason, there is a time lag from when a face is detected to when a mosaic is added, for example, and the position where the blurring process is performed may shift when the person moves fast.
ぼかしの領域を大きくすれば位置がずれる現象の頻度は下がるが、ぼかしの部分を大きくしすぎると、監視業務自体に影響を与えてしまうため、ぼかしの領域は必要最小限にしたい。 Increasing the blur area reduces the frequency of the phenomenon of positional shift, but if the blur area is too large, it will affect the monitoring work itself, so we want to minimize the blur area.
上記課題に鑑み、ぼかしの領域の位置がずれる可能性を低減でき、ぼかしの領域を必要最小限にできる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an image processing apparatus, an image processing method, and a program that can reduce the possibility of shifting the position of the blur area and minimize the blur area.
ひとつの態様である画像処理装置は、画像取得部と、対象検出部と、記録部と、予測位置情報算出部と、画像処理部を有している。画像取得部は、時系列に複数の画像を取得する。対象検出部は、前記画像取得部が取得した画像から画像処理を施す対象を検出する。記録部は、前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する。予測位置算出部は、前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出する。画像処理部は、前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に前記画像処理を施す。 An image processing apparatus according to one aspect includes an image acquisition unit, a target detection unit, a recording unit, a predicted position information calculation unit, and an image processing unit. The image acquisition unit acquires a plurality of images in time series. The target detection unit detects a target to be subjected to image processing from the image acquired by the image acquisition unit. The recording unit records the position information of the target detected by the target detection unit together with each time information. The predicted position calculation unit calculates the predicted position information of the target in an image taken after the plurality of images based on the plurality of position information and the time information recorded in the recording unit. The image processing unit performs the image processing on a portion corresponding to the predicted position information calculated by the predicted position information calculating unit of the image acquired later.
別の態様である画像処理方法において、コンピュータは、時系列に複数の画像を取得し、取得した前記複数の画像から画像処理を施す対象を検出し、検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録する。また、コンピュータは、前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出し、前記後に取得される画像の前記予測位置情報に応じた部分に画像処理を施す。 In the image processing method according to another aspect, the computer acquires a plurality of images in time series, detects a target to be subjected to image processing from the acquired plurality of images, and detects the position information of the detected target for each of the plurality of images. Recorded in the recording unit together with the time information. Further, the computer calculates the predicted position information of the target in an image photographed after the plurality of images based on the plurality of the position information and the time information recorded in the recording unit, and is acquired later Image processing is performed on the portion of the image corresponding to the predicted position information.
なお、上述した本発明に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る方法と同様の作用効果を奏するので、前述した課題が解決される。 Note that even a program for causing a computer to perform the method according to the present invention described above has the same operational effects as the method according to the present invention described above by causing the computer to execute the program. The problem that was solved is solved.
上述した態様の画像処理装置、画像処理方法およびプログラムによれば、ぼかしの領域の位置がずれる可能性を低減でき、ぼかしの領域を必要最小限にできる。 According to the image processing apparatus, the image processing method, and the program of the above-described aspect, the possibility that the position of the blur area is shifted can be reduced, and the blur area can be minimized.
（第１の実施の形態）
以下、図面を参照しながら、第１の実施の形態による画像処理システム１について説明する。図１は、第１の実施の形態による画像処理システム１の構成を示す図、図２は、第１の実施の形態による画像処理システム１の機能を示すブロック図である。
(First embodiment)
Hereinafter, the image processing system 1 according to the first embodiment will be described with reference to the drawings. FIG. 1 is a diagram illustrating a configuration of an image processing system 1 according to the first embodiment, and FIG. 2 is a block diagram illustrating functions of the image processing system 1 according to the first embodiment.
図１に示すように、画像処理システム１は、カメラ３、画像処理装置５、表示装置１７を有しており、カメラ３で撮影した画像に画像処理装置５が所定の処理を施し、表示装置１７に表示するシステムである。 As shown in FIG. 1, the image processing system 1 includes a camera 3, an image processing device 5, and a display device 17, and the image processing device 5 performs predetermined processing on an image captured by the camera 3, and the display device 17 is a system for display.
カメラ３は、例えば固体撮像素子を有し、動画を撮影する撮影装置である。画像処理装置５においては、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）７、記録部９、入出力部１１、外部記憶装置１３、ネットワーク接続部１５が互いにバス１６を介して接続されている。画像処理装置５は、カメラ３から画像を取得し、所定の処理を施して表示装置１７に出力する装置である。 The camera 3 is a photographing device that has a solid-state image sensor, for example, and photographs a moving image. In the image processing device 5, a central processing unit (CPU) 7, a recording unit 9, an input / output unit 11, an external storage device 13, and a network connection unit 15 are connected to each other via a bus 16. The image processing device 5 is a device that acquires an image from the camera 3, performs a predetermined process, and outputs the image to the display device 17.
ＣＰＵ７は、画像処理装置５全体の動作を制御する演算処理装置である。記録部９は、画像処理装置５の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。記録部９は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入出力部１１は、カメラ３や不図示のキーボード装置、マウス装置などからの各種情報の入力を取得し、取得した入力情報をＣＰＵ７に送付するとともに、画像処理装置５内部での処理結果を表示装置１７等に出力する装置である。 The CPU 7 is an arithmetic processing device that controls the operation of the entire image processing device 5. The recording unit 9 is a storage unit for storing a program for controlling the operation of the image processing apparatus 5 in advance or using it as a work area as needed when executing the program. The recording unit 9 is, for example, a Random Access Memory (RAM), a Read Only Memory (ROM), or the like. The input / output unit 11 acquires input of various information from the camera 3, a keyboard device (not shown), a mouse device, and the like, sends the acquired input information to the CPU 7, and displays processing results in the image processing device 5. It is a device that outputs to the device 17 or the like.
外部記憶装置１３は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ７により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。バス１６は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。 The external storage device 13 is, for example, a storage device such as a hard disk, and stores various control programs executed by the CPU 7, acquired data, and the like. The bus 16 is a communication path for connecting the above devices and the like to exchange data.
画像処理装置５に所定の処理を実行させるプログラムは、例えば外部記憶装置１３に記憶させる。ＣＰＵ７は、外部記憶装置１３からプログラムを読み出し、画像処理装置５に画像処理の動作を行なわせる。このとき、図２に示すように、画像処理装置５は、主制御部２１、顔検出部２３、予測位置算出部２５、ぼかしサイズ算出部２９、ぼかし用画像生成部３１、画像記録部３３、および顔位置記録テーブル３５として機能する。 A program that causes the image processing device 5 to execute predetermined processing is stored in, for example, the external storage device 13. The CPU 7 reads the program from the external storage device 13 and causes the image processing device 5 to perform image processing operations. At this time, as shown in FIG. 2, the image processing apparatus 5 includes a main control unit 21, a face detection unit 23, a predicted position calculation unit 25, a blur size calculation unit 29, a blur image generation unit 31, an image recording unit 33, And functions as a face position recording table 35.
主制御部２１は、画像処理装置５の動作を制御する。顔検出部２３は、カメラ３から取得した画像から、例えばプライバシーを保護するため、ぼかしを施す対象（以下、単に対象ともいう）を検出し、その位置情報および時刻情報を顔位置記録テーブル３５に記録する。本実施の形態において、対象は人の「顔」を例にして説明する。また、位置情報とは、ぼかす対象のフレームにおける座標範囲を示す情報である。時刻情報とは、対象を検出した時刻や検出したフレームの順を示す番号等、対象を検出した時刻の差を算出するための情報である。 The main control unit 21 controls the operation of the image processing apparatus 5. The face detection unit 23 detects an object to be blurred (hereinafter also simply referred to as an object) from an image acquired from the camera 3 in order to protect privacy, for example, and the position information and time information are stored in the face position recording table 35. Record. In the present embodiment, the object will be described by taking a human “face” as an example. The position information is information indicating the coordinate range in the target frame to be blurred. The time information is information for calculating a difference in time at which the target is detected, such as a time at which the target is detected and a number indicating the order of the detected frames.
なお、顔の検出は、画像から特徴量を抽出して学習を行い、その結果と入力画像から抽出した特徴量とを比較することにより認識する方法など、既知の方法を用いることができる。顔検出の方法は、例えば非特許文献１または非特許文献２に記載されている。 The face detection can be performed by using a known method such as a method of performing recognition by extracting feature values from an image and comparing the result with a feature value extracted from an input image. The face detection method is described in Non-Patent Document 1 or Non-Patent Document 2, for example.
予測位置算出部２５は、顔検出部２３が記録した、ぼかす対象の位置情報および時刻情報に基づき、対象の所定時刻後の予測位置を算出する。予測位置とは、対象が所定時刻後に存在すると予測される座標範囲（以下、予測座標範囲という）である。 The predicted position calculation unit 25 calculates the predicted position of the target after a predetermined time based on the position information and time information of the target to be blurred recorded by the face detection unit 23. The predicted position is a coordinate range in which the target is predicted to exist after a predetermined time (hereinafter referred to as a predicted coordinate range).
ぼかしサイズ算出部２９は、顔検出部２３が記録した対象の位置情報および時刻情報に基づき、画像を見た際に対象を視認できないようにするために、ぼかし処理など所定の画像処理を施す座標範囲（以下、ぼかし範囲という）を算出する。ぼかし処理は、例えば画像にモザイクをかけるモザイク処理を採用するようにしてもよい。 Based on the position information and time information of the target recorded by the face detection unit 23, the blur size calculation unit 29 is a coordinate on which predetermined image processing such as blur processing is performed so that the target cannot be seen when the image is viewed. A range (hereinafter referred to as a blur range) is calculated. As the blurring process, for example, a mosaic process for applying a mosaic to an image may be employed.
ぼかし用画像生成部３１は、予測位置算出部２５で算出された予測座標範囲を含む、ぼかしサイズ算出部２９で算出された座標範囲をぼかし画像など所定の画像に置き換えるための画像を生成する。 The blur image generation unit 31 generates an image for replacing the coordinate range calculated by the blur size calculation unit 29 including the predicted coordinate range calculated by the predicted position calculation unit 25 with a predetermined image such as a blur image.
画像記録部３３は、カメラ３から取得した画像を記録する。顔位置記録テーブル３５は、顔検出部２３で検出された対象の位置情報および時刻情報を記録する。画像記録部３３、顔位置記録テーブル３５は、例えば、外部記憶装置１３に含まれるようにしてもよい。 The image recording unit 33 records an image acquired from the camera 3. The face position recording table 35 records position information and time information of the target detected by the face detection unit 23. For example, the image recording unit 33 and the face position recording table 35 may be included in the external storage device 13.
以上のように構成される画像処理装置５における画像処理について、図３から図１０を参照しながら説明する。図３は、第１の実施の形態による画像処理を説明する概略図である。図３に示すように、歩行している人が写っている画像があるとする。このとき、解析時位置５１において、顔検出部２３が顔５０の位置情報を位置情報５５と検出する。位置情報は、画像のフレーム上の所定の点を原点とするＸＹ座標系において顔５０として検出された範囲の、例えば左上の座標（以下、顔座標という）と、検出された座標範囲（以下、検出座標範囲という）の大きさで表す。 Image processing in the image processing apparatus 5 configured as described above will be described with reference to FIGS. FIG. 3 is a schematic diagram for explaining image processing according to the first embodiment. As shown in FIG. 3, it is assumed that there is an image showing a person walking. At this time, the face detection unit 23 detects the position information of the face 50 as the position information 55 at the analysis position 51. The position information includes, for example, upper left coordinates (hereinafter referred to as face coordinates) of a range detected as the face 50 in the XY coordinate system having a predetermined point on the image frame as an origin, and detected coordinate ranges (hereinafter referred to as “face coordinates”). It is expressed by the size of the detection coordinate range.
図４は、顔座標の一例を示す表である。図４に示すように、顔座標テーブル１１０によれば、例えば現在の顔座標（Ｘｎ、Ｙｎ）＝（１５０、１００）、１フレーム前の顔座標（Ｘｎ−１、Ｙｎ−１）＝（２５０、１４０）、２フレーム前の顔座標（Ｘｎ−２、Ｙｎ−２）＝（３５０、１２０）である。顔座標テーブル１１０は、顔位置記録テーブル３５に記録される。また、顔位置記録テーブル３５は、顔座標テーブル１１０と合わせて、位置情報の検出座標範囲を示す情報を格納することが好ましい。また、顔座標テーブル１１０において、「現在のフレーム」「１つ前のフレーム」「２つ前のフレーム」が、時刻情報に相当する。 FIG. 4 is a table showing an example of face coordinates. As shown in FIG. 4, according to the face coordinate table 110, for example, current face coordinates (X n , Y n ) = (150, 100), face coordinates one frame before (X n−1 , Y n−1). ) = (250, 140), and the face coordinates (X n−2 , Y n−2 ) = (350, 120) two frames before. The face coordinate table 110 is recorded in the face position recording table 35. The face position recording table 35 preferably stores information indicating the detected coordinate range of the position information together with the face coordinate table 110. In the face coordinate table 110, “current frame”, “one frame before”, and “two frames before” correspond to time information.
再び図３を参照して、例えば、現在の解析時位置５１よりも後に撮影されたフレームにおいて、同じ人が予測時位置５３に移動しているとする。このとき、予測位置算出部２５は、検出された位置情報５５および時刻情報と、それ以前に顔位置記録テーブル３５に記録されている顔５０の位置情報および時刻情報に基づき、予測時位置５３における顔５０の予測位置情報５７を算出する。予測位置情報５７は、顔５０の予測時位置５３における予測顔座標と予測座標範囲を含む情報である。 Referring again to FIG. 3, for example, it is assumed that the same person has moved to the predicted position 53 in a frame shot after the current analysis position 51. At this time, the predicted position calculation unit 25 is based on the detected position information 55 and time information, and the position information and time information of the face 50 previously recorded in the face position recording table 35, so that the predicted position 53 Predicted position information 57 of the face 50 is calculated. The predicted position information 57 is information including a predicted face coordinate and a predicted coordinate range at the predicted position 53 of the face 50.
例えば、ｎ（自然数）をフレーム番号として、各フレームにおいて所定の点を原点とするＸＹ座標系を定義したとき、各フレームにおける顔座標は、下記のように変化するものとする。
（Ｘ１、Ｙ１）→（Ｘ２、Ｙ２）→・・・→（Ｘｎ−１、Ｙｎ−１）→（Ｘｎ、Ｙｎ）
For example, assuming that n (natural number) is a frame number and an XY coordinate system having a predetermined point as an origin in each frame is defined, the face coordinates in each frame change as follows.
(X 1 , Y 1 ) → (X 2 , Y 2 ) → ・ ・ ・ → (X n−1 , Y n−1 ) → (X n , Y n )
例えば、顔の移動速度が一定と仮定すると、フレーム間の時間は一定であると考えられるので、顔座標のフレーム間の変化量ΔＸ、ΔＹは、以下の式１のように表される。
ΔＸ=Ｘｎ−１−Ｘｎ−２、ΔＹ=Ｙｎ−１−Ｙｎ−２・・・（式１）
このとき、顔の予測位置における予測顔座標は、以下の式２で表される。
Ｘｎ＝Ｘｎ−１＋ΔＸ、Ｙｎ＝Ｙｎ−１+ΔＹ・・・（式２）
For example, assuming that the moving speed of the face is constant, it is considered that the time between frames is constant. Therefore, the amount of change ΔX, ΔY in the face coordinate between frames is expressed as the following Expression 1.
ΔX = X n−1 −X n−2 , ΔY = Y n−1 −Y n−2 (Formula 1)
At this time, the predicted face coordinates at the predicted position of the face are expressed by Equation 2 below.
X n = X n-1 + ΔX, Y n = Y n-1 + ΔY ··· ( Equation 2)
顔の移動において加速度も考慮すれば、顔座標の変化量は、下記式３のような算出例もある。
ΔＸｎ＝ΔＸｎ−１＋Δ２Ｘ
＝ΔＸｎ−１＋（ΔＸｎ−１−ΔＸｎ−２）
＝２ΔＸｎ−１―ΔＸｎ−２
＝２（Ｘｎ−１―Ｘｎ−２）―（Ｘｎ−２―Ｘｎ−３）
＝２Ｘｎ−１―３Ｘｎ−２＋Ｘｎ−３
ΔＹｎ＝２Ｙｎ−１―３Ｙｎ−２＋Ｙｎ−３・・・（式３）
If acceleration is also taken into account in the movement of the face, the amount of change in the face coordinates can be calculated as shown in the following formula 3.
ΔX n = ΔX n-1 + Δ 2 X
= ΔX n-1 + (ΔX n-1 -ΔX n-2 )
= 2ΔX n−1 −ΔX n−2
= 2 (X n-1 -X n-2 )-(X n-2 -X n-3 )
= 2X n-1 -3X n-2 + X n-3
ΔY n = 2Y n−1 −3Y n−2 + Y n−3 (Formula 3)
ぼかしサイズ算出部２９は、検出された位置情報５５およびその時刻情報と、それ以前に顔位置記録テーブル３５に記録されている顔５０の位置情報および時刻情報に基づき、ぼかし（例えば、モザイク）を施すぼかし範囲５９を算出する。このとき、ぼかし範囲５９は、例えば、上記式２または式３に基づいて算出された予測顔座標に基づく予測位置情報５７における顔５０の予測座標範囲を含む範囲とする。 The blur size calculation unit 29 performs blurring (for example, mosaic) based on the detected position information 55 and its time information and the position information and time information of the face 50 previously recorded in the face position record table 35. A blur range 59 to be applied is calculated. At this time, the blurring range 59 is, for example, a range including the predicted coordinate range of the face 50 in the predicted position information 57 based on the predicted face coordinates calculated based on Formula 2 or Formula 3.
図５は、ぼかしサイズの算出方法を説明する図であり、（ａ）は、動きが比較的少ない場合、（ｂ）は、（ａ）よりも動きが大きい場合、（ｃ）は、予測座標範囲に対するぼかしサイズの決定方法の一例を示す。 FIG. 5 is a diagram for explaining a method for calculating a blur size, where (a) shows a relatively small motion, (b) shows a larger motion than (a), and (c) shows a predicted coordinate. An example of a method for determining a blur size for a range will be described.
図５（ａ）に示すように、顔５０が、速度ベクトル７１、７３、７５により移動した場合、例えば、画像処理装置５は、ぼかし範囲６１を採用する。図５（ｂ）に示すように、顔５０が、速度ベクトル７９、８１、８３により移動した場合、図５（ａ）よりも大きく移動するため、画像処理装置５は、例えば、ぼかし範囲６１よりも大きいぼかし範囲６３を採用することが好ましい。顔５０の動きが大きい場合には、顔５０が算出したぼかし範囲からはずれる可能性が高くなるからである。 As illustrated in FIG. 5A, when the face 50 is moved by velocity vectors 71, 73, and 75, for example, the image processing device 5 employs a blurring range 61. As shown in FIG. 5B, when the face 50 moves by the velocity vectors 79, 81, 83, the face 50 moves more than in FIG. It is preferable to adopt a larger blur range 63. This is because when the movement of the face 50 is large, there is a high possibility that the face 50 is out of the calculated blur range.
よって、図５（ｃ）に示すように、ぼかしサイズ算出部２９は、ぼかし範囲を、対象の移動速度に応じて決定する。すなわち、ぼかしサイズ算出部２９は、顔５０の予測位置情報５７における顔検出サイズ６５に対して、横余剰サイズ６７＝Ｃ×｜Ｖｘ｜をＸ方向の両側に加え、縦余剰サイズ６９＝Ｃ×｜Ｖｙ｜をＹ方向の両側に加えた範囲を、ぼかし範囲７７とする。ここで、Ｃは、ぼかし範囲を決める係数、｜Ｖｘ｜は、顔５０のＸ方向の移動速度ベクトルの絶対値、｜Ｖｙ｜は、顔５０のＹ方向の移動速度ベクトルの絶対値である。なお、例えば、点７８は、予測位置情報５７における顔座標に対応する点である。 Therefore, as shown in FIG. 5C, the blur size calculation unit 29 determines the blur range in accordance with the movement speed of the target. That is, the blur size calculator 29 adds the horizontal surplus size 67 = C × | Vx | to both sides in the X direction with respect to the face detection size 65 in the predicted position information 57 of the face 50, and the vertical surplus size 69 = C ×. A range obtained by adding | Vy | on both sides in the Y direction is defined as a blurring range 77. Here, C is a coefficient that determines the blurring range, | Vx | is the absolute value of the moving velocity vector of the face 50 in the X direction, and | Vy | is the absolute value of the moving velocity vector of the face 50 in the Y direction. For example, the point 78 is a point corresponding to the face coordinate in the predicted position information 57.
図６は、第１の実施の形態による画像処理の時間的な流れを説明する図である。図６に示すように、カメラ３によりフレーム９０−１〜９０−８が時系列に撮影されているとする。図６の例では、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定している。顔検出部２３は、主制御部２１がカメラ３から取得したフレーム９０−１において顔５０を検出し、位置情報５５と対応する時刻情報を顔位置記録テーブル３５に記録する。 FIG. 6 is a diagram for explaining the temporal flow of image processing according to the first embodiment. As shown in FIG. 6, it is assumed that frames 90-1 to 90-8 are taken in time series by the camera 3. In the example of FIG. 6, it is assumed that it takes time for two frames to detect the position of the face and to calculate the blurring range. The face detection unit 23 detects the face 50 in the frame 90-1 acquired from the camera 3 by the main control unit 21, and records time information corresponding to the position information 55 in the face position recording table 35.
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報から予測位置情報５７を算出する。このとき、フレーム９０−１より前の情報がある場合には、例えばフレーム９０−１の一つ前、または一つ前と二つ前の不図示のフレーム９０の位置情報および時刻情報を参照して予測位置情報５７を算出する。ぼかしサイズ算出部２９は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報、並びに、例えばフレーム９０−１の一つ前、または一つ前と二つ前の不図示のフレーム９０の位置情報および時刻情報から、例えばぼかし範囲７７を算出する。なお、顔位置記録テーブル３５にフレーム９０−１よりも前の情報がない場合には、予め位置情報５５に基づいたぼかし範囲７７の算出方法を定めておくようにしてもよい。 The predicted position calculation unit 25 calculates predicted position information 57 from the position information 55 and time information recorded in the face position recording table 35. At this time, if there is information before the frame 90-1, reference is made to, for example, the position information and time information of the frame 90 (not shown) one frame before, or one frame before and two frames before. Predictive position information 57 is calculated. The blur size calculation unit 29 includes the position information 55 and time information recorded in the face position recording table 35, and, for example, the frame 90 (not shown) one frame before, or one frame before and two frames before. For example, the blur range 77 is calculated from the position information and the time information. When there is no information before the frame 90-1 in the face position recording table 35, a method for calculating the blur range 77 based on the position information 55 may be determined in advance.
ぼかし用画像生成部３１は、算出された予測位置情報５７およびぼかし範囲７７に基づき、ぼかし用画像を生成し、矢印９４のように、フレーム９０−３に重畳する。このとき、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定しているため、同様に、フレーム９０−４、９０−５にもそれぞれ矢印９６、９８のように、フレーム９０−１と同様のぼかし用画像を重畳することになる。 The blur image generation unit 31 generates a blur image based on the calculated predicted position information 57 and the blur range 77, and superimposes the blur image on the frame 90-3 as indicated by an arrow 94. At this time, since it is assumed that the detection of the position of the face and the calculation of the blur range take two frames, similarly, the frames 90-4 and 90-5 are also indicated by arrows 96 and 98, respectively. The blurring image similar to that of the frame 90-1 is superimposed.
続いて、顔検出部２３は、主制御部２１によりカメラ３から最新に取得されたフレームであるフレーム９０−４について、フレーム９０−１について上記のように行った処理と同様に検出および算出処理を行う。そして、ぼかし用画像生成部３１が生成したぼかし用画像を、矢印１０２〜１０６のようにフレーム９０−６〜９０−８に重畳する。以上の処理を繰り返すことにより、図６の例では、フレーム９０−３以降のフレームのぼかし処理が可能となる。
このとき、ぼかし用画像は、例えば全面同一色の画像など、フレーム９０にかかわらず予め決められた画像とする。
Subsequently, the face detection unit 23 detects and calculates the frame 90-4, which is the latest frame acquired from the camera 3 by the main control unit 21, in the same manner as the process performed for the frame 90-1 as described above. I do. Then, the blurring image generated by the blurring image generation unit 31 is superimposed on the frames 90-6 to 90-8 as indicated by arrows 102 to 106. By repeating the above processing, in the example of FIG. 6, it is possible to perform the blurring processing of frames after the frame 90-3.
At this time, the blurring image is a predetermined image regardless of the frame 90, such as an image of the same color on the entire surface.
以下、画像処理システム１の動作をフローチャートを参照しながら説明する。図７は、第１の実施の形態による画像処理システム１の動作を示すフローチャートである。図７に示すように、主制御部２１は、カメラ３の映像の最新のフレームを取得する（Ｓ１３１）。このとき同時に、主制御部２１は、画像記録部３３にカメラ３の映像を記録させる。 Hereinafter, the operation of the image processing system 1 will be described with reference to flowcharts. FIG. 7 is a flowchart showing the operation of the image processing system 1 according to the first embodiment. As shown in FIG. 7, the main control unit 21 acquires the latest frame of the video of the camera 3 (S131). At the same time, the main control unit 21 causes the image recording unit 33 to record the video of the camera 3.
顔検出部２３は、取得されたフレームから、顔位置の検出を行ない、検出結果を顔位置記録テーブル３５に記録する（Ｓ１３２）。すなわち、顔検出部２３は、顔５０の位置情報と時刻情報を検出し、顔位置記録テーブル３５に記録する。このとき、位置情報として、上述したように、顔５０の顔座標（Ｘｎ、Ｙｎ）を求めるとともに、顔５０に応じた検出座標範囲を検出する。検出座標範囲は、例えば、Ｘ方向の長さ（幅）、Ｙ方向の長さ（高さ）により表すとする。時刻情報は、検出した時刻を記録してもよいし、フレームの番号を表す情報など、情報を検出した時刻の相対関係を示す情報であればよい。 The face detection unit 23 detects the face position from the acquired frame, and records the detection result in the face position recording table 35 (S132). That is, the face detection unit 23 detects the position information and time information of the face 50 and records it in the face position recording table 35. At this time, as described above, the face coordinates (X n , Y n ) of the face 50 are obtained as the position information, and the detection coordinate range corresponding to the face 50 is detected. For example, the detection coordinate range is represented by a length (width) in the X direction and a length (height) in the Y direction. The time information may record the detected time, or may be information indicating the relative relationship of the time at which the information was detected, such as information indicating the frame number.
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報及び時刻情報を参照し、図６の例では、２フレーム先の顔５０の予測位置情報を算出する（Ｓ１３３）。このとき、顔位置記録テーブル３５において、参照される位置情報及び時刻情報の数（フレームの数に対応する）は、上述のように、予測位置情報を顔５０の速度のみを考慮して算出するか、加速度まで考慮して算出するかなど、算出方法により変更される。 The predicted position calculation unit 25 refers to the position information and time information recorded in the face position recording table 35, and calculates the predicted position information of the face 50 two frames ahead in the example of FIG. 6 (S133). At this time, in the face position recording table 35, the number of position information and time information to be referred to (corresponding to the number of frames) is calculated based on only the speed of the face 50 as described above. Or whether the calculation is performed taking into account even the acceleration.
ぼかしサイズ算出部２９は、Ｓ１３３で算出された予測位置情報と、予測位置情報を算出する際に算出される顔５０の移動速度から、例えば図５のように、ぼかし範囲７７を算出する（Ｓ１３４）。ぼかし範囲７７は、ぼかし範囲７７の例えば左上の座標（ぼかし座標という）と、ぼかし範囲７７の幅及び高さで表すことができる。 The blur size calculation unit 29 calculates a blur range 77 as shown in FIG. 5, for example, from the predicted position information calculated in S133 and the moving speed of the face 50 calculated when calculating the predicted position information (S134). ). The blur range 77 can be expressed by, for example, the upper left coordinates (referred to as blur coordinates) of the blur range 77 and the width and height of the blur range 77.
ぼかし用画像生成部３１は、ぼかしサイズ算出部２９により算出されたぼかし範囲７７に、所定の色などを施すぼかし用画像を生成する（Ｓ１３６）。主制御部２１は、ぼかし用画像生成部３１が生成したぼかし用画像を取得し、取得したぼかし用画像を、その時点でのカメラ３の映像の最新のフレームに重ね合わせることにより、表示装置１７に表示する画像を生成して表示させる。主制御部２１は、表示装置１７に表示させた画像の次のフレームの画像を取得すると、Ｓ１３１からの処理を繰り返す。 The blur image generation unit 31 generates a blur image for applying a predetermined color or the like to the blur range 77 calculated by the blur size calculation unit 29 (S136). The main control unit 21 acquires the blurring image generated by the blurring image generation unit 31 and superimposes the acquired blurring image on the latest frame of the video of the camera 3 at that time, thereby displaying the display device 17. An image to be displayed is generated and displayed. When the main control unit 21 acquires an image of the next frame of the image displayed on the display device 17, the process from S131 is repeated.
以上詳細に説明したように、第１の実施の形態による画像処理システム１によれば、主制御部２１がカメラ３の映像の最新のフレームを取得すると、顔検出部２３が顔５０の位置情報と時刻情報とを取得し、顔位置記録テーブル３５に記録する。予測位置算出部２５は、顔位置記録テーブル３５を参照して、顔５０の移動速度、移動加速度などを考慮し、例えば３フレーム後の顔５０の予測位置情報を算出する。ぼかしサイズ算出部２９は、顔５０の移動速度、移動加速度などを考慮して、例えばぼかし範囲７７を算出する。ぼかし用画像生成部３１は、算出された予測位置情報に応じたぼかし範囲７７にぼかしをかけるためのぼかし用画像を生成する。主制御部２１は、ぼかし用画像を、取得した最新のフレームに重ね合わせて表示用画像を生成し、表示装置１７に表示する。 As described above in detail, according to the image processing system 1 according to the first embodiment, when the main control unit 21 acquires the latest frame of the video of the camera 3, the face detection unit 23 detects the position information of the face 50. And time information are acquired and recorded in the face position recording table 35. The predicted position calculation unit 25 refers to the face position recording table 35 and calculates the predicted position information of the face 50 after three frames, for example, considering the moving speed and moving acceleration of the face 50. The blur size calculation unit 29 calculates, for example, the blur range 77 in consideration of the moving speed, moving acceleration, and the like of the face 50. The blur image generation unit 31 generates a blur image for blurring the blur range 77 according to the calculated predicted position information. The main control unit 21 generates a display image by superimposing the blurring image on the acquired latest frame and displays it on the display device 17.
以上のように、第１の実施の形態による画像処理システム１によれば、過去の複数のフレームからぼかしの対象の動きを予測し、ぼかしを施すぼかし範囲を算出するので、処理を実行している間に対象が動いても、適切にぼかしを施すことが可能になる。また、対象の移動速度に基づいてぼかし範囲を算出するので、必要以上に広範囲にぼかしを施すことを回避でき、監視などの業務に支障をきたすことを防止できる。 As described above, according to the image processing system 1 according to the first embodiment, the blur target range is predicted from a plurality of past frames and the blur range to be blurred is calculated. Even if the object moves while it is moving, it is possible to blur appropriately. Further, since the blur range is calculated based on the moving speed of the target, it is possible to avoid blurring over a wider range than necessary, and to prevent troubles in operations such as monitoring.
（第１の実施の形態の変形例１）
次に、図８を参照しながら第１の実施の形態の変形例による画像処理システム１について説明する。本変形例は、第１の実施の形態による画像処理システム１におけるぼかしの処理の変形例である。第１の実施の形態の変形例１による画像処理システムにおいて、第１の実施の形態による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第１の実施の形態の変形例１による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
(Modification 1 of the first embodiment)
Next, an image processing system 1 according to a modification of the first embodiment will be described with reference to FIG. This modification is a modification of the blurring process in the image processing system 1 according to the first embodiment. In the image processing system according to the first modification of the first embodiment, the same configurations and operations as those of the image processing system 1 according to the first embodiment are denoted by the same reference numerals, and redundant description is omitted. The configuration of the image processing system according to the first modification of the first embodiment is the same as that of the image processing system 1 according to the first embodiment.
図８は、第１の実施の形態の変形例１による画像処理の時間的な流れを説明する図である。図８に示すように、カメラ３によりフレーム１４０−１〜１４０−８が時系列に撮影されているとする。図８の例では、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定している。顔検出部２３は、フレーム１４０−１を画像記録部３３より読み出し、顔５０を検出し、位置情報５５と対応する時刻情報を顔位置記録テーブル３５に記録する。 FIG. 8 is a diagram for explaining the temporal flow of image processing according to the first modification of the first embodiment. As shown in FIG. 8, it is assumed that frames 140-1 to 140-8 are photographed in time series by the camera 3. In the example of FIG. 8, it is assumed that it takes time for two frames to detect the position of the face and to calculate the blurring range. The face detection unit 23 reads the frame 140-1 from the image recording unit 33, detects the face 50, and records time information corresponding to the position information 55 in the face position recording table 35.
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報から予測位置情報５７を算出する。このとき、フレーム１４０−１より前の情報がある場合には、例えばフレーム１４０−１の一つ前、または一つ前と二つ前の不図示のフレーム１４０の位置情報および時刻情報も参照する。ぼかしサイズ算出部２９は、顔位置記録テーブル３５に記録された位置情報５５および時刻情報、並びに、例えばフレーム１４０−１の一つ前、または一つ前と二つ前の不図示のフレーム１４０の位置情報および時刻情報から、例えばぼかし範囲７７を算出する。 The predicted position calculation unit 25 calculates predicted position information 57 from the position information 55 and time information recorded in the face position recording table 35. At this time, when there is information before the frame 140-1, for example, reference is also made to the position information and time information of the frame 140 (not shown) immediately before the frame 140-1, or one frame before and two frames before. . The blur size calculation unit 29 includes the position information 55 and time information recorded in the face position recording table 35, and, for example, the frame 140 (not shown) one frame before, or one frame before and two frames before. For example, the blur range 77 is calculated from the position information and the time information.
ぼかし用画像生成部３１は、算出された予測位置情報５７およびぼかし範囲７７に基づき、ぼかし用画像を生成する。このとき、ぼかし用画像生成部３１は、矢印１４４のように、ぼかし用画像生成部３１で算出されたぼかし範囲７７をぼかしの処理に必要な情報として取得するとともに、主制御部２１がカメラ３から取得した最新のフレームを、矢印１４６のように取得する。ぼかし用画像生成部３１は、取得したフレームにおけるぼかし範囲７７の内部を、例えば通常よりも大きい画素に再分割して、分割された各画素において輝度の平均をとるなど、ぼかしの処理を行う。 The blur image generation unit 31 generates a blur image based on the calculated predicted position information 57 and the blur range 77. At this time, the blurring image generation unit 31 acquires the blurring range 77 calculated by the blurring image generation unit 31 as information necessary for the blurring process as indicated by an arrow 144, and the main control unit 21 detects the camera 3. The latest frame acquired from is acquired as indicated by an arrow 146. The blurring image generation unit 31 performs a blurring process, for example, by re-dividing the inside of the blurring range 77 in the acquired frame into pixels larger than usual and averaging the luminance of each divided pixel.
ぼかし用画像生成部３１は、ぼかしの処理を施された画像を矢印１４８のようにフレーム１４０−３とする。このとき、顔の位置の検出およびぼかし範囲の算出に２フレーム分の時間がかかると仮定しているため、同様に、フレーム１４０−４、１４０−５にもそれぞれ矢印１５０、１５２のように、フレーム１４０−１と同様の上記のようなぼかしの処理を行うことになる。 The blurring image generation unit 31 sets the image subjected to the blurring process as a frame 140-3 as indicated by an arrow 148. At this time, since it is assumed that the detection of the face position and the calculation of the blur range take time for two frames, similarly, the frames 140-4 and 140-5 are also indicated by arrows 150 and 152, respectively. The blurring process as described above is performed in the same manner as the frame 140-1.
続いて、顔検出部２３は、主制御部２１が取得したフレーム１４０−４について、フレーム１４０−１について上記のように行った処理と同様に検出、算出及びぼかしの処理を行う。ぼかし用画像生成部３１は、生成したぼかしの処理を施した画像を、矢印１５７のようにフレーム１４０−６とする。ぼかし用画像生成部３１は、それぞれのフレーム１４０−７、１４０−８のぼかし範囲７７に対応する部分に解像度を下げる処理を行い、それぞれフレーム１４０−７、１４０−８として表示装置１７に表示する。以上の処理を繰り返すことにより、図８の例では、フレーム１４０−３以降のフレームのぼかし処理が可能となる。 Subsequently, the face detection unit 23 performs detection, calculation, and blurring processing on the frame 140-4 acquired by the main control unit 21 in the same manner as the processing performed on the frame 140-1 as described above. The blurring image generation unit 31 sets the generated blurring image as a frame 140-6 as indicated by an arrow 157. The blur image generation unit 31 performs a process of reducing the resolution on the portions corresponding to the blur range 77 of the respective frames 140-7 and 140-8, and displays them on the display device 17 as the frames 140-7 and 140-8, respectively. . By repeating the above processing, in the example of FIG. 8, it is possible to perform the blurring processing of frames after the frame 140-3.
以上説明したように、本変形例では、第１の実施の形態では予め決められた画像に置き換えたぼかし範囲７７について、カメラ３から取得した画像に基づいたぼかしの処理を行う。これにより、第１の実施の形態による画像処理システム１による効果に加え、ぼかしの処理を行った画像の違和感を多少低減させることができる。また、ぼかしの処理の具体的な方法を変えることにより、対象のプライバシーを侵害することなく、動きの概要を視認できるようなぼかしの処理を行うなど、利用環境に応じた処理とすることも可能である。 As described above, in this modification, the blur processing based on the image acquired from the camera 3 is performed on the blur range 77 replaced with a predetermined image in the first embodiment. Thereby, in addition to the effect of the image processing system 1 according to the first embodiment, the uncomfortable feeling of the image subjected to the blurring process can be somewhat reduced. In addition, by changing the specific method of blur processing, it is possible to perform processing according to the usage environment, such as blur processing so that the outline of movement can be visually recognized without infringing the privacy of the target. It is.
（第１の実施の形態の変形例２）
次に、第１の実施の形態による変形例２について、図９、図１０を参照しながら説明する。本変形例は、第１の実施の形態及びその変形例１における、ぼかし範囲７７の算出方法の変形例である。第１の実施の形態の変形例２による画像処理システムにおいて、第１の実施の形態、またはその変形例１による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第１の実施の形態の変形例２による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
(Modification 2 of the first embodiment)
Next, Modification 2 according to the first embodiment will be described with reference to FIGS. This modification is a modification of the method for calculating the blurring range 77 in the first embodiment and the modification 1. In the image processing system according to the second modification of the first embodiment, the same configurations and operations as those in the first embodiment or the image processing system 1 according to the first modification are denoted by the same reference numerals, and overlapping. Description is omitted. The configuration of the image processing system according to the second modification of the first embodiment is the same as that of the image processing system 1 according to the first embodiment.
図９は、第１の実施の形態の変形例１による表示用フレーム１６０を示している。上段は、表示するフレームを概念的に示し、下段は、ぼかし範囲が適切か否かを判別する方法を示している。図９に示すように、最新のフレームがフレーム１６０−２の場合、範囲１６２に示すフレーム１６０−１、フレーム１６０−２のぼかしの処理の対象の位置情報及び時刻情報に基づき、予測位置算出部２５は、対象の予測位置情報を算出する。また、主制御部２１は、ぼかしサイズ算出部２９が算出したぼかし範囲に基づき、フレーム１６０−４の元画像にぼかし範囲１６６のぼかしを重畳した画像を表示画像とする。 FIG. 9 shows a display frame 160 according to the first modification of the first embodiment. The upper row conceptually shows the frame to be displayed, and the lower row shows a method for determining whether or not the blurring range is appropriate. As shown in FIG. 9, when the latest frame is the frame 160-2, the predicted position calculation unit is based on the position information and time information of the blurring processing target of the frame 160-1 and the frame 160-2 shown in the range 162. 25 calculates the target predicted position information. Further, the main control unit 21 sets an image obtained by superimposing the blur of the blur range 166 on the original image of the frame 160-4 based on the blur range calculated by the blur size calculation unit 29 as a display image.
ここで、予測位置算出部２５は、フレーム１６０−４における予測位置情報として、図９の下段に示すように、予測顔位置情報１６８を算出したとする。主制御部２１は、フレーム１６０−４において実際の顔の位置を、実測顔位置情報１７０と検出したとする。 Here, it is assumed that the predicted position calculation unit 25 calculates predicted face position information 168 as predicted position information in the frame 160-4 as shown in the lower part of FIG. It is assumed that the main control unit 21 detects the actual face position as the measured face position information 170 in the frame 160-4.
図１０は、予測した顔の位置と実際の位置とがずれた場合に補正を行なう方法を示している。図１０において、予測顔位置情報１６８に基づきぼかし範囲１６６が設定されており、それに対して実際の対象から検出された対象の範囲は、実測顔位置情報１７０である。 FIG. 10 shows a method of performing correction when the predicted face position deviates from the actual position. In FIG. 10, the blurring range 166 is set based on the predicted face position information 168, and the target range detected from the actual target is actually measured face position information 170.
ここで、ぼかし範囲１６６では、高さＨｍ＝Ｃｘ×｜Ｖｘ｜、幅Ｗｍ＝Ｃｙ×｜Ｖｙ｜であるとする。予測顔位置情報１６８においては、左上の座標が（Ｘｐｒｅ、Ｙｐｒｅ）、Ｘ方向の長さを幅Ｗｐｒｅ、Ｙ方向の長さを高さｈｐｒｅとする。実測顔位置情報１７０においては、左上の座標が（Ｘｒｅｓ、Ｙｒｅｓ）、Ｘ方向の長さを幅Ｗｒｅｓ、Ｙ方向の長さを高さｈｒｅｓとする。 Here, in the blurring range 166, it is assumed that the height Hm = Cx × | Vx | and the width Wm = Cy × | Vy |. In the predicted face position information 168, the upper left coordinate is (X pre , Y pre ), the length in the X direction is the width W pre , and the length in the Y direction is the height h pre . In the measured face position information 170, the upper left coordinates are (X res , Y res ), the length in the X direction is width W res , and the length in the Y direction is height h res .
このとき、Ｃｘ、Ｃｙを、以下の式４を判別式として、予測顔位置情報１６８と実測顔位置情報１７０とのずれに応じて変化させる。以下、Ｘ方向を例にして説明する。
|Ｘｐｒｅ−Ｘｒｅｓ|+Ｗｒｅｓ／２≦Ｗｍ／２・・・（式４）
At this time, Cx and Cy are changed according to the difference between the predicted face position information 168 and the measured face position information 170, using the following Expression 4 as a discriminant. Hereinafter, the X direction will be described as an example.
| X pre −X res | + W res / 2 ≦ Wm / 2 (Expression 4)
式４を満たすときには、主制御部２１は、実測顔位置情報１７０がぼかし範囲１６６からはみ出してはいないと判別する。式４を満たさない場合には、主制御部２１は、実測顔位置情報１７０の少なくとも一部がぼかし範囲１６６からはみ出していると判別する。この場合には、主制御部２１は、ぼかしサイズ算出部２９におけるぼかしサイズ算出の際の係数Ｃｘを増加させる。 When Expression 4 is satisfied, the main control unit 21 determines that the measured face position information 170 does not protrude from the blurring range 166. When Expression 4 is not satisfied, the main control unit 21 determines that at least a part of the measured face position information 170 protrudes from the blurring range 166. In this case, the main control unit 21 increases the coefficient Cx when the blur size calculation unit 29 calculates the blur size.
このとき、係数Ｃｘは、例えば、ぼかし範囲１６６に実測顔位置情報１７０がちょうど収まるサイズになるように、以下の式５のように定める。
|Ｘｐｒｅ−Ｘｒｅｓ|+Ｗｒｅｓ／２=Ｗｍ／２＝（Ｃｘ×｜Ｖｘ｜）／２・・・（式５）
すなわち、係数Ｃｘは、以下の式６で表される。
Ｃｘ＝（２|Ｘｐｒｅ−Ｘｒｅｓ|+Ｘｒｅｓ）／|Ｖｘ|・・・（式６）
Ｙ方向についても同様に算出することにより、以下の式７が得られる。
Ｃｙ＝（２|Ｙｐｒｅ−Ｙｒｅｓ|+Ｙｒｅｓ）／|Ｖｙ|・・・（式７）
At this time, the coefficient Cx is determined as shown in the following formula 5 so that the measured face position information 170 is just within the blurring range 166, for example.
| X pre −X res | + W res / 2 = Wm / 2 = (Cx × | Vx |) / 2 (Expression 5)
That is, the coefficient Cx is expressed by the following formula 6.
Cx = (2 | X pre -X res | + X res ) / | Vx | (Expression 6)
By calculating similarly for the Y direction, the following Expression 7 is obtained.
Cy = (2 | Y pre -Y res | + Y res ) / | Vy | (Expression 7)
以上説明したように、本変形例では、第１の実施の形態及びその変形例２においては固定値であった係数Ｃｘ、Ｃｙを、顔５０が算出されたぼかし範囲からはみ出していると判別された場合に、増加させる。このとき、係数Ｃｘ、Ｃｙは、予測した顔５０の位置と、実際の顔５０の位置とのずれに基づき変化させる。これにより、第１の実施の形態による画像処理システム１による効果に加え、さらに的確な範囲にぼかしの処理を行うことができる。また、ぼかしの処理がより的確な範囲に行われるので、対象のプライバシーを侵害することなく、画像による監視等をさらに十分に行うことも可能である。 As described above, in the present modification, it is determined that the coefficients Cx and Cy, which are fixed values in the first embodiment and the second modification, protrude from the blurring range where the face 50 is calculated. If it increases, increase it. At this time, the coefficients Cx and Cy are changed based on the deviation between the predicted position of the face 50 and the actual position of the face 50. Thereby, in addition to the effect by the image processing system 1 by 1st Embodiment, the blurring process can be performed to a more exact range. In addition, since the blurring process is performed in a more accurate range, it is possible to perform image monitoring and the like more sufficiently without infringing on the target privacy.
（第２の実施の形態）
以下、図１１、図１２を参照しながら、第２の実施の形態による画像処理システムについて説明する。第２の実施の形態による画像処理システムにおいて、第１の実施の形態、その変形例１、または変形例２による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第２の実施の形態による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
(Second Embodiment)
Hereinafter, an image processing system according to the second embodiment will be described with reference to FIGS. 11 and 12. In the image processing system according to the second embodiment, the same configurations and operations as those of the image processing system 1 according to the first embodiment, the first modification, or the second modification are denoted by the same reference numerals, and are duplicated. Description is omitted. The configuration of the image processing system according to the second embodiment is the same as that of the image processing system 1 according to the first embodiment.
図１１は、本実施の形態による表示画像の例を示す概念図、図１２は、第２の実施の形態による画像処理システム１の動作を示すフローチャートである。図１１に示すように、本実施の形態においては、表示画像２００における外縁部２０２が、常にぼかし処理を行った状態で表示される。 FIG. 11 is a conceptual diagram illustrating an example of a display image according to the present embodiment, and FIG. 12 is a flowchart illustrating an operation of the image processing system 1 according to the second embodiment. As shown in FIG. 11, in the present embodiment, the outer edge portion 202 in the display image 200 is displayed in a state where the blurring process is always performed.
表示画像２００には、人２０４が撮影されている。表示画像２００の元の画像であるフレームにおいて、人２０４の顔２０６は、第１の実施の形態及びその変形例１、２で説明したように、顔検出部２３により検出されてぼかしの処理を行う対象であるとする。上述のように、画像処理システム１においては、主制御部２１が取得したフレームについて顔検出部２３が顔２０６を検出し、例えば２フレーム後のフレームにおける顔２０６の位置を予測してぼかし範囲にぼかしの処理を行う。よって、顔検出部２３が顔２０６を検出した直後はぼかしの処理が行われず、もとの画像がそのまま表示されてしまい、プライバシーが侵害されることがある。 A person 204 is photographed in the display image 200. In the frame that is the original image of the display image 200, the face 206 of the person 204 is detected by the face detection unit 23 and subjected to blurring processing, as described in the first embodiment and its modifications 1 and 2. Suppose that it is an object to be performed. As described above, in the image processing system 1, the face detection unit 23 detects the face 206 in the frame acquired by the main control unit 21, and predicts the position of the face 206 in the frame after two frames, for example, to enter the blurring range. Perform blur processing. Therefore, immediately after the face detection unit 23 detects the face 206, the blurring process is not performed, and the original image is displayed as it is, and privacy may be infringed.
例えば、人２０４が、表示画像２００における矢印２０８の方向に移動してきたとする。すなわち、人２０４は、表示画像２００の向かって右側の端から移動してきたとする。このとき、例えば人２０４が表示画像２００の右側の端に近い領域に撮影される間は、ぼかしの処理が間に合わずに、そのままの画像が表示される。そこで本実施の形態においては、表示画像２００における外縁部２０２に常にぼかし処理を行った状態で表示することにより、ぼかしの処理が間に合わない間、ぼかしの対象が撮影されると推定される領域に常にぼかしの処理を行った状態で表示する。 For example, it is assumed that the person 204 has moved in the direction of the arrow 208 in the display image 200. That is, it is assumed that the person 204 has moved from the right end toward the display image 200. At this time, for example, while the person 204 is photographed in an area close to the right edge of the display image 200, the image is displayed as it is without being blurred. Therefore, in the present embodiment, by displaying the outer edge 202 of the display image 200 in a state in which the blurring process is always performed, an area where it is estimated that the blurring target is shot while the blurring process is not in time is displayed. Always display with blurring.
以下、図１２を参照しながら本実施の形態による画像処理システム１の動作について説明する。図１２に示すように、主制御部２１は、カメラ３の映像の最新のフレームを取得する（Ｓ２１１）。このとき同時に、主制御部２１は、画像記録部３３にカメラ３の映像を記録させる。 Hereinafter, the operation of the image processing system 1 according to the present embodiment will be described with reference to FIG. As shown in FIG. 12, the main control unit 21 acquires the latest frame of the video of the camera 3 (S211). At the same time, the main control unit 21 causes the image recording unit 33 to record the video of the camera 3.
顔検出部２３は、取得されたフレームから、顔位置の検出を行ない、検出結果を顔位置記録テーブル３５に記録する（Ｓ２１２）。すなわち、顔検出部２３は、顔２０６の位置情報と時刻情報を検出し、顔位置記録テーブル３５に記録する。 The face detection unit 23 detects the face position from the acquired frame, and records the detection result in the face position recording table 35 (S212). That is, the face detection unit 23 detects the position information and time information of the face 206 and records it in the face position recording table 35.
予測位置算出部２５は、顔位置記録テーブル３５に記録された位置情報及び時刻情報を参照し、例えば、２フレーム先の顔２０６の予測位置情報を算出する（Ｓ２１３）。このとき、顔位置記録テーブル３５において、参照される位置情報及び時刻情報の数（フレームの数に対応する）は、上述のように、予測位置情報を顔２０６の速度のみを考慮して算出するか、加速度まで考慮して算出するかなど、算出方法により変更される。 The predicted position calculation unit 25 refers to the position information and time information recorded in the face position recording table 35, and calculates, for example, predicted position information of the face 206 two frames ahead (S213). At this time, in the face position recording table 35, the number of position information and time information to be referred to (corresponding to the number of frames) is calculated based on only the speed of the face 206 as described above, as described above. Or whether the calculation is performed taking into account even the acceleration.
ぼかしサイズ算出部２９は、Ｓ２１３で算出された予測位置情報と、予測位置情報を算出する際に算出される顔２０６の移動速度から、ぼかし範囲を算出する（Ｓ２１４）。ぼかし用画像生成部３１は、ぼかしサイズ算出部２９により算出されたぼかし範囲に、所定の色などを施すぼかし用画像を生成する（Ｓ２１５）。 The blur size calculation unit 29 calculates a blur range from the predicted position information calculated in S213 and the moving speed of the face 206 calculated when calculating the predicted position information (S214). The blur image generation unit 31 generates a blur image for applying a predetermined color or the like to the blur range calculated by the blur size calculation unit 29 (S215).
一方、主制御部２１は、Ｓ２１１でカメラ３が取得した画像の外縁部２０２の解像度を下げる処理を行う（Ｓ２１６）。ここで、解像度を下げる処理は、例えば、外縁部２０２全体を均一な色及び輝度の画像に置き換える処理とすることもできる。主制御部２１は、ぼかし用画像生成部３１が生成したぼかし用画像を取得し、取得したぼかし用画像を、その時点でのカメラ３の映像の最新のフレームに、Ｓ２１６の処理を施した画像と重ね合わせることにより、表示装置１７に表示する画像を生成して表示させる。主制御部２１は、表示装置１７に表示させた画像の次のフレームの画像を取得すると、Ｓ１３１からの処理を繰り返す。 On the other hand, the main control unit 21 performs a process of reducing the resolution of the outer edge portion 202 of the image acquired by the camera 3 in S211 (S216). Here, the process of reducing the resolution can be, for example, a process of replacing the entire outer edge portion 202 with an image of uniform color and brightness. The main control unit 21 acquires the blurring image generated by the blurring image generation unit 31, and the acquired blurring image is an image obtained by performing the process of S <b> 216 on the latest frame of the video of the camera 3 at that time. Are generated and displayed on the display device 17. When the main control unit 21 acquires an image of the next frame of the image displayed on the display device 17, the process from S131 is repeated.
以上説明したように、第２の実施の形態による画像処理システム１においては、表示画像２００の外縁部２０２は、常に解像度が低い状態で表示される。これにより、表示画像の端部に初めてぼかしの処理の対象が登場した場合に、ぼかしの処理が間に合わずにプライバシーを侵害することを防止することができる。 As described above, in the image processing system 1 according to the second embodiment, the outer edge portion 202 of the display image 200 is always displayed with a low resolution. Thereby, when the blurring process target appears for the first time at the edge of the display image, it is possible to prevent the blurring process from being in time and intruding privacy.
（第２の実施の形態の変形例）
次に、第２の実施の形態による変形例について、図１３を参照しながら説明する。第２の実施の形態による画像処理システムにおいて、第１の実施の形態、その変形例１、変形例２、または、第２の実施の形態による画像処理システム１と同様の構成及び動作については、同一の符号を付し、重複説明を省略する。第２の実施の形態の変形例による画像処理システムの構成は、第１の実施の形態による画像処理システム１と同様である。
(Modification of the second embodiment)
Next, a modification according to the second embodiment will be described with reference to FIG. In the image processing system according to the second embodiment, the same configuration and operation as those of the first embodiment, the first modification, the second modification, or the image processing system 1 according to the second embodiment are as follows. The same reference numerals are given, and redundant description is omitted. The configuration of the image processing system according to the modification of the second embodiment is the same as that of the image processing system 1 according to the first embodiment.
図１３は、本変形例による表示画像の例を示す概念図である。図１３に示すように、本実施の形態においては、カメラより取得されたフレーム２３０における外縁部２３２を除いた画像２３４が表示される。 FIG. 13 is a conceptual diagram showing an example of a display image according to this modification. As shown in FIG. 13, in the present embodiment, an image 234 excluding the outer edge 232 in the frame 230 acquired from the camera is displayed.
フレーム２３０において撮影されている人２０４が、矢印２０８のように、表示画像２００の向かって右側の端から移動してきたとする。上述のように、画像処理システム１においては、主制御部２１が取得したフレーム２３０について顔検出部２３が顔２０６を検出し、例えば２フレーム後のフレームにおける顔２０６の位置を予測して、算出されたぼかし範囲にぼかしの処理を行う。よって、顔検出部２３が顔２０６を検出した直後はぼかしの処理が行われず、もとの画像がそのまま表示されてしまい、プライバシーが侵害されることがある。そこで本変形例においては、フレーム２３０における外縁部２３２を表示せず、画像２３４を表示する。表示方法は、画像２３４をフレーム２３０の大きさに拡大して表示してもよいし、外縁部２３２を未表示の状態としてもよい。 It is assumed that the person 204 photographed in the frame 230 has moved from the right end toward the display image 200 as indicated by an arrow 208. As described above, in the image processing system 1, the face detection unit 23 detects the face 206 in the frame 230 acquired by the main control unit 21, and predicts the position of the face 206 in the frame after 2 frames, for example, and calculates Blur is applied to the blurred area. Therefore, immediately after the face detection unit 23 detects the face 206, the blurring process is not performed, and the original image is displayed as it is, and privacy may be infringed. Therefore, in this modification, the image 234 is displayed without displaying the outer edge 232 in the frame 230. As a display method, the image 234 may be enlarged and displayed in the size of the frame 230, or the outer edge portion 232 may be undisplayed.
本変形例による画像処理は、第２の実施の形態による画像処理システム１の動作と、図１２のＳ２１６の表示用画像処理の内容以外は同一である。本変形例では、Ｓ２１６の表示用画像処理において、上述のように、画像２３４を不図示の画面いっぱいに表示するなど、外縁部２３２が表示されないような処理を施す。 The image processing according to this modification is the same as the operation of the image processing system 1 according to the second embodiment, except for the contents of the display image processing in S216 of FIG. In this modification, in the display image processing of S216, as described above, processing is performed so that the outer edge portion 232 is not displayed, such as displaying the image 234 over the entire screen (not shown).
以上説明したように、第２の実施の形態による画像処理システム１においては、表示画像２００の外縁部２０２は、常に解像度が低い状態で表示される。これにより、表示画像の端部にはじめてぼかしの処理の対象が登場した場合に、ぼかしの処理が間に合わずにプライバシーを侵害することを防止することができる。 As described above, in the image processing system 1 according to the second embodiment, the outer edge portion 202 of the display image 200 is always displayed with a low resolution. Thereby, when the object of the blurring process appears for the first time at the end of the display image, it is possible to prevent the blurring process from being in time and infringing on privacy.
上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例において、主制御部２１は、画像取得部、画像処理部の一例であり、顔検出部２３は、対象検出部の一例であり、顔位置記録テーブル３５は、記録部の一例である。予測位置算出部２５は、予測位置情報算出部及び移動速度算出部の一例であり、ぼかしサイズ算出部２９は、範囲算出部の一例である。 In the first embodiment, the first modification, the second modification, the second embodiment, and the modification, the main control unit 21 is an example of an image acquisition unit and an image processing unit, and is a face detection unit. The unit 23 is an example of a target detection unit, and the face position recording table 35 is an example of a recording unit. The predicted position calculation unit 25 is an example of a predicted position information calculation unit and a movement speed calculation unit, and the blur size calculation unit 29 is an example of a range calculation unit.
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。
例えば、上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例において、ぼかしの処理の対象のぼかし範囲を長方形としているが、例えば所定の半径の円の範囲など、他の形状でもよい。ぼかし範囲は、対象の移動速度に応じて変化させるようにしたが、例えば、撮影開始時には、検出されたぼかしの対象の位置情報における検出座標範囲の定数倍など、対象の移動速度とは独立したぼかし範囲とするようにしてもよい。
The present invention is not limited to the embodiments described above, and various configurations or embodiments can be adopted without departing from the gist of the present invention.
For example, in the first embodiment, the first modification, the second modification, the second embodiment, and the modification, the blurring range to be blurred is a rectangle. Other shapes such as a circle range may be used. The blur range is changed according to the moving speed of the target. You may make it be a blurring range.
ぼかし範囲を決定する際に、直前のフレームにおける対象の位置との間の移動速度及び移動加速度を参照したが、例えば、図５における、ベクトル７１、７３、７５の総和のベクトルに基づき移動速度及び移動加速度を参照するなど、変形が可能である。 In determining the blurring range, the moving speed and moving acceleration between the target position in the immediately preceding frame are referred to. For example, the moving speed and the moving speed based on the sum of the vectors 71, 73, and 75 in FIG. Modifications are possible, such as referring to movement acceleration.
上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例は、例えば、第１の実施の形態と第２の実施の形態の変形例とを組み合わせるなど、実現可能な任意の組み合わせが可能である。 For example, the first embodiment, the first modification thereof, the second modification, the second embodiment, and the second modification thereof include the first embodiment and the second embodiment. Any combination that can be realized, such as a combination, is possible.
ここで、上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例による画像処理の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１４は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１４に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、記録部９、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。記録部９は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。記録部９は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。 Here, a computer commonly applied to cause a computer to perform image processing operations according to the first embodiment, the first modification, the second modification, the second embodiment, and the second modification. An example will be described. FIG. 14 is a block diagram illustrating an example of a hardware configuration of a standard computer. As shown in FIG. 14, a computer 300 includes a central processing unit (CPU) 302, a recording unit 9, an input device 306, an output device 308, an external storage device 312, a medium driving device 314, a network connection device, and the like via a bus 310. Connected. The CPU 302 is an arithmetic processing unit that controls the operation of the entire computer 300. The recording unit 9 is a storage unit for storing a program for controlling the operation of the computer 300 in advance or using it as a work area as necessary when executing the program. The recording unit 9 is, for example, a Random Access Memory (RAM), a Read Only Memory (ROM), or the like. The input device 306 is a device that, when operated by a computer user, acquires various information input from the user associated with the operation content and sends the acquired input information to the CPU 302. Keyboard device, mouse device, etc. The output device 308 is a device that outputs a processing result by the computer 300, and includes a display device and the like. For example, the display device displays text and images according to display data sent by the CPU 302.
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。 The external storage device 312 is a storage device such as a hard disk, and stores various control programs executed by the CPU 302, acquired data, and the like. The medium driving device 314 is a device for writing to and reading from the portable recording medium 316. The CPU 302 can read out and execute a predetermined control program recorded on the portable recording medium 316 via the recording medium driving device 314 to perform various control processes. The portable recording medium 316 is, for example, a Compact Disc (CD) -ROM, a Digital Versatile Disc (DVD), a Universal Serial Bus (USB) memory, or the like. The network connection device 318 is an interface device that manages transmission / reception of various data performed between the outside by wired or wireless. A bus 310 is a communication path for connecting the above devices and the like to exchange data.
上記第１の実施の形態、その変形例１、変形例２、第２の実施の形態、及びその変形例による画像処理をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に画像処理の動作を行なわせる。このとき、まず、画像処理の動作をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。 A program that causes a computer to execute image processing according to the first embodiment, the first modification, the second modification, the second embodiment, and the modification is stored in, for example, the external storage device 312. The CPU 302 reads a program from the external storage device 312 and causes the computer 300 to perform an image processing operation. At this time, first, a control program for causing the CPU 302 to perform an image processing operation is created and stored in the external storage device 312. Then, a predetermined instruction is given from the input device 306 to the CPU 302 so that the control program is read from the external storage device 312 and executed. The program may be stored in the portable recording medium 316.
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
時系列に複数の画像を取得する画像取得部と、
前記画像取得部が取得した画像から画像処理を施す対象を検出する対象検出部と、
前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する記録部と、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出する予測位置情報算出部と、
前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に画像処理を施す画像処理部と、
を有することを特徴とする画像処理装置。
（付記２）
複数の前記位置情報および前記時刻情報に基づき前記画像処理を施す範囲を算出する範囲算出部、
をさらに有し、
前記画像処理部は、前記範囲に前記画像処理を施すことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記画像処理は、前記対象を識別不可能にするための処理であることを特徴とする付記１または付記２に記載の画像処理装置。
（付記４）
複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度を算出する移動速度算出部、
をさらに有し、
前記範囲算出部は、前記移動速度に基づき前記範囲を算出することを特徴とする付記２に記載の画像処理装置。
（付記５）
前記予測位置情報と、前記後に取得された画像における前記対象の位置情報とのずれを検出するずれ検出部、
をさらに有し、
前記範囲算出部は、前記ずれに応じて次に算出する前記範囲を調整することを特徴とする付記２または付記４に記載の画像処理装置。
（付記６）
前記予測位置情報算出部は、前記移動速度に基づき前記予測位置情報を算出することを特徴とする付記４に記載の画像処理装置。
（付記７）
前記移動速度算出部は、複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度および移動加速度を求め、
前記予測位置情報算出部は、前記移動速度および前記移動加速度に基づき前記予測位置情報を算出することを特徴とする付記４に記載の画像処理装置。
（付記８）
前記画像取得部が取得した画像の外縁部に画像処理を行う画像処理部、
をさらに有し、
前記予測位置情報に応じた部分に画像処理を行う前記画像処理部は、前記外縁部に画像処理を行った画像にさらに前記予測位置情報に応じた部分に画像処理を行うことを特徴とする付記１から付記７のいずれかに記載の画像処理装置。
（付記９）
前記外縁部の画像処理は、モザイク処理であることを特徴とする付記８に記載の画像処理装置。
（付記１０）
前記外縁部の画像処理は、前記外縁部を非表示にする処理であることを特徴とする付記８に記載の画像処理装置。
（付記１１）
コンピュータが、
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出し、
前記後に取得される画像の前記予測位置情報に応じた部分に画像処理を施す、
ことを特徴とする画像処理方法。
（付記１２）
複数の前記位置情報および前記時刻情報に基づき前記予測位置情報に応じた部分に前記画像処理を施す範囲を算出し、
前記範囲に画像処理を施すことを特徴とする付記１１に記載の画像処理方法。
（付記１３）
複数の前記位置情報および前記時刻情報に基づき前記対象の移動速度を算出し、
前記移動速度に基づき前記範囲を算出することを特徴とする付記１２に記載の画像処理方法。
（付記１４）
前記予測位置情報と、前記後から取得した画像における前記対象の位置情報とのずれを検出し、
前記ずれに応じて次に算出する前記範囲を調整することを特徴とする付記１２または付記１３に記載の画像処理方法。
（付記１５）
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出し、
前記後に取得された画像の算出された前記予測位置情報に応じた部分に前記画像処理を施す、
処理をコンピュータに実行させるためのプログラム。
Regarding the above embodiment, the following additional notes are disclosed.
(Appendix 1)
An image acquisition unit for acquiring a plurality of images in time series;
An object detection unit for detecting an object to be subjected to image processing from the image acquired by the image acquisition unit;
A recording unit for recording the position information of the target detected by the target detection unit together with each time information;
A predicted position information calculating unit that calculates predicted position information of the target in an image acquired after the plurality of images based on the plurality of position information and the time information recorded in the recording unit;
An image processing unit that performs image processing on a portion corresponding to the predicted position information calculated by the predicted position information calculation unit of the image acquired later;
An image processing apparatus comprising:
(Appendix 2)
A range calculation unit that calculates a range on which the image processing is performed based on a plurality of the position information and the time information;
Further comprising
The image processing apparatus according to appendix 1, wherein the image processing unit performs the image processing on the range.
(Appendix 3)
The image processing apparatus according to appendix 1 or appendix 2, wherein the image processing is processing for making the target indistinguishable.
(Appendix 4)
A moving speed calculation unit for calculating a moving speed of the object based on a plurality of the position information and the time information;
Further comprising
The image processing apparatus according to appendix 2, wherein the range calculation unit calculates the range based on the moving speed.
(Appendix 5)
A deviation detection unit that detects a deviation between the predicted position information and the position information of the target in the image acquired later;
Further comprising
The image processing apparatus according to appendix 2 or appendix 4, wherein the range calculation unit adjusts the range to be calculated next in accordance with the deviation.
(Appendix 6)
The image processing apparatus according to appendix 4, wherein the predicted position information calculation unit calculates the predicted position information based on the moving speed.
(Appendix 7)
The movement speed calculation unit obtains a movement speed and a movement acceleration of the target based on a plurality of the position information and the time information,
The image processing apparatus according to appendix 4, wherein the predicted position information calculation unit calculates the predicted position information based on the moving speed and the moving acceleration.
(Appendix 8)
An image processing unit that performs image processing on an outer edge portion of the image acquired by the image acquisition unit;
Further comprising
The image processing unit that performs image processing on a portion corresponding to the predicted position information further performs image processing on a portion corresponding to the predicted position information on an image that has been subjected to image processing on the outer edge portion. The image processing device according to any one of 1 to appendix 7.
(Appendix 9)
The image processing apparatus according to appendix 8, wherein the image processing of the outer edge portion is mosaic processing.
(Appendix 10)
The image processing apparatus according to appendix 8, wherein the image processing of the outer edge is a process of hiding the outer edge.
(Appendix 11)
Computer
Acquire multiple images in time series,
Detecting a target to be subjected to image processing from the plurality of acquired images;
Record the detected position information of the object together with the respective time information in the recording unit,
Based on a plurality of the position information and the time information recorded in the recording unit, to calculate the predicted position information of the target in an image captured after the plurality of images,
Image processing is performed on a portion corresponding to the predicted position information of the image acquired later,
An image processing method.
(Appendix 12)
Calculating a range for performing the image processing on a portion corresponding to the predicted position information based on a plurality of the position information and the time information;
The image processing method according to appendix 11, wherein image processing is performed on the range.
(Appendix 13)
Calculate the moving speed of the object based on a plurality of the position information and the time information,
13. The image processing method according to appendix 12, wherein the range is calculated based on the moving speed.
(Appendix 14)
Detecting a shift between the predicted position information and the position information of the target in the image acquired later;
The image processing method according to appendix 12 or appendix 13, wherein the range to be calculated next is adjusted according to the deviation.
(Appendix 15)
Acquire multiple images in time series,
Detecting a target to be subjected to image processing from the plurality of acquired images;
Record the detected position information of the object together with the respective time information in the recording unit,
Based on a plurality of the position information and the time information recorded in the recording unit, to calculate the predicted position information of the target in an image acquired after the plurality of images,
Performing the image processing on a portion corresponding to the calculated predicted position information of the image acquired later;
A program that causes a computer to execute processing.
１ 画像処理システム
３ カメラ
５ 画像処理装置
７ ＣＰＵ
９ 記録部
１１ 入出力部
１３ 外部記憶装置
１５ ネットワーク接続部
１７ 表示装置
２１ 主制御部
２３ 顔検出部
２５ 予測位置算出部
２９ ぼかしサイズ算出部
３１ ぼかし用画像生成部
３３ 画像記録部
３５ 顔位置記録テーブル
５０ 顔
５１ 解析時位置
５３ 予測時位置
５５ 位置情報
５７ 予測位置情報
５９、６１、６３ ぼかし範囲
６５ 顔検出サイズ
６７ 横余剰サイズ
６９ 縦余剰サイズ
７７ ぼかし範囲
１１０ 顔座標テーブル
DESCRIPTION OF SYMBOLS 1 Image processing system 3 Camera 5 Image processing apparatus 7 CPU
DESCRIPTION OF SYMBOLS 9 Recording part 11 Input / output part 13 External storage device 15 Network connection part 17 Display apparatus 21 Main control part 23 Face detection part 25 Predicted position calculation part 29 Blur size calculation part 31 Blur image generation part 33 Image recording part 35 Face position recording Table 50 Face 51 Analysis position 53 Predictive position 55 Position information 57 Predicted position information 59, 61, 63 Blur range 65 Face detection size 67 Horizontal surplus size 69 Vertical surplus size 77 Blur range 110 Facial coordinate table
Claims (9)
前記画像取得部が取得した画像から画像処理を施す対象を検出する対象検出部と、
前記対象検出部が検出した前記対象の位置情報をそれぞれの時刻情報とともに記録する記録部と、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出する予測位置情報算出部と、
前記後に取得される画像の前記予測位置情報算出部により算出された前記予測位置情報に応じた部分に画像処理を施す画像処理部と、
を有することを特徴とする画像処理装置。 An image acquisition unit for acquiring a plurality of images in time series;
An object detection unit for detecting an object to be subjected to image processing from the image acquired by the image acquisition unit;
A recording unit for recording the position information of the target detected by the target detection unit together with each time information;
A predicted position information calculating unit that calculates predicted position information of the target in an image acquired after the plurality of images based on the plurality of position information and the time information recorded in the recording unit;
An image processing unit that performs image processing on a portion corresponding to the predicted position information calculated by the predicted position information calculation unit of the image acquired later;
An image processing apparatus comprising:
をさらに有し、
前記画像処理部は、前記範囲に前記画像処理を施すことを特徴とする請求項１に記載の画像処理装置。 A range calculation unit that calculates a range on which the image processing is performed based on a plurality of the position information and the time information;
Further comprising
The image processing apparatus according to claim 1, wherein the image processing unit performs the image processing on the range.
をさらに有し、
前記範囲算出部は、前記移動速度に基づき前記範囲を算出することを特徴とする請求項２に記載の画像処理装置。 A moving speed calculation unit for calculating a moving speed of the object based on a plurality of the position information and the time information;
Further comprising
The image processing apparatus according to claim 2, wherein the range calculation unit calculates the range based on the moving speed.
をさらに有し、
前記範囲算出部は、前記ずれに応じて次に算出する前記範囲を調整することを特徴とする請求項２または請求項３に記載の画像処理装置。 A deviation detection unit that detects a deviation between the predicted position information and the position information of the target in the image acquired later;
Further comprising
The image processing apparatus according to claim 2, wherein the range calculation unit adjusts the range to be calculated next according to the shift.
前記予測位置情報算出部は、前記移動速度および前記移動加速度に基づき前記予測位置情報を算出することを特徴とする請求項３に記載の画像処理装置。 The movement speed calculation unit obtains a movement speed and a movement acceleration of the target based on a plurality of the position information and the time information,
The image processing apparatus according to claim 3, wherein the predicted position information calculation unit calculates the predicted position information based on the moving speed and the moving acceleration.
をさらに有し、
前記予測位置情報に応じた部分に画像処理を行う前記画像処理部は、前記外縁部に画像処理を行った画像にさらに前記予測位置情報に応じた部分に画像処理を行うことを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。 An image processing unit that performs image processing on an outer edge portion of the image acquired by the image acquisition unit;
Further comprising
The image processing unit that performs image processing on a portion corresponding to the predicted position information further performs image processing on a portion corresponding to the predicted position information on an image that has undergone image processing on the outer edge portion. The image processing apparatus according to claim 1.
時系列に複数の画像を取得し、
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に撮影される画像における前記対象の予測位置情報を算出し、
前記後に取得される画像の前記予測位置情報に応じた部分に画像処理を施す、
ことを特徴とする画像処理方法。 The computer acquires multiple images in time series,
Detecting a target to be subjected to image processing from the plurality of acquired images;
Record the detected position information of the object together with the respective time information in the recording unit,
Based on a plurality of the position information and the time information recorded in the recording unit, to calculate the predicted position information of the target in an image captured after the plurality of images,
Image processing is performed on a portion corresponding to the predicted position information of the image acquired later,
An image processing method.
取得した前記複数の画像から画像処理を施す対象を検出し、
検出された前記対象の位置情報をそれぞれの時刻情報とともに記録部に記録し、
前記記録部に記録された複数の前記位置情報および前記時刻情報に基づき、前記複数の画像より後に取得される画像における前記対象の予測位置情報を算出し、
前記後に取得された画像の算出された前記予測位置情報に応じた部分に前記画像処理を施す、
処理をコンピュータに実行させるためのプログラム。 Acquire multiple images in time series,
Detecting a target to be subjected to image processing from the plurality of acquired images;
Record the detected position information of the object together with the respective time information in the recording unit,
Based on a plurality of the position information and the time information recorded in the recording unit, to calculate the predicted position information of the target in an image acquired after the plurality of images,
Performing the image processing on a portion corresponding to the calculated predicted position information of the image acquired later;
A program that causes a computer to execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011202576A JP5834671B2 (en) | 2011-09-16 | 2011-09-16 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011202576A JP5834671B2 (en) | 2011-09-16 | 2011-09-16 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013065994A true JP2013065994A (en) | 2013-04-11 |
| JP5834671B2 JP5834671B2 (en) | 2015-12-24 |
Family
ID=48189108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011202576A Active JP5834671B2 (en) | 2011-09-16 | 2011-09-16 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5834671B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020140363A (en) * | 2019-02-27 | 2020-09-03 | トヨタ自動車株式会社 | Image processing apparatus and image processing method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003219414A (en) * | 2002-01-22 | 2003-07-31 | Sanyo Electric Co Ltd | Video camera system |
| JP2007213170A (en) * | 2006-02-07 | 2007-08-23 | Omron Corp | Image processor, image processing method, and program |
| WO2009001530A1 (en) * | 2007-06-22 | 2008-12-31 | Panasonic Corporation | Camera device and imaging method |
-
2011
- 2011-09-16 JP JP2011202576A patent/JP5834671B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003219414A (en) * | 2002-01-22 | 2003-07-31 | Sanyo Electric Co Ltd | Video camera system |
| JP2007213170A (en) * | 2006-02-07 | 2007-08-23 | Omron Corp | Image processor, image processing method, and program |
| WO2009001530A1 (en) * | 2007-06-22 | 2008-12-31 | Panasonic Corporation | Camera device and imaging method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020140363A (en) * | 2019-02-27 | 2020-09-03 | トヨタ自動車株式会社 | Image processing apparatus and image processing method |
| JP7190110B2 (en) | 2019-02-27 | 2022-12-15 | トヨタ自動車株式会社 | Image processing device and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5834671B2 (en) | 2015-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
| EP2293540B1 (en) | Image processing apparatus and method for detection and correction of camera shake | |
| KR101064573B1 (en) | System for tracking a moving object, by using particle filtering | |
| JP6525545B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM | |
| KR101071352B1 (en) | Apparatus and method for tracking object based on PTZ camera using coordinate map | |
| JP4575829B2 (en) | Display screen position analysis device and display screen position analysis program | |
| JP6414066B2 (en) | Image processing system, image processing method, and program | |
| JP2008009849A (en) | Person tracking device | |
| CN105577983A (en) | Apparatus and method of detecting motion mask | |
| JP6292540B2 (en) | Information processing system, information processing method, and program | |
| JP2010114752A (en) | Device and method of imaging and program | |
| JP2010057105A (en) | Three-dimensional object tracking method and system | |
| JP5111934B2 (en) | Monitoring device | |
| JP4578353B2 (en) | Object recognition device | |
| JP5693147B2 (en) | Photographic interference detection method, interference detection device, and surveillance camera system | |
| JP4617883B2 (en) | Image processing apparatus and method, program, and recording medium | |
| JP5834671B2 (en) | Image processing apparatus, image processing method, and program | |
| JP7297455B2 (en) | Image processing device, image processing method, and program | |
| JP5539565B2 (en) | Imaging apparatus and subject tracking method | |
| JP4859795B2 (en) | Camera device and recording system | |
| US20210004571A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2006279413A (en) | Motion vector detector, image display, image photographing apparatus, motion vector detecting method, program, and recording medium | |
| Lee | Novel video stabilization for real-time optical character recognition applications | |
| WO2020022362A1 (en) | Motion detection device, feature detection device, fluid detection device, motion detection system, motion detection method, program, and recording medium | |
| JP2004128648A (en) | Method for tracing intruding object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140508 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150508 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151019 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5834671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |