JP4446114B2 - Image shooting device - Google Patents
Image shooting device Download PDFInfo
- Publication number
- JP4446114B2 JP4446114B2 JP2004067686A JP2004067686A JP4446114B2 JP 4446114 B2 JP4446114 B2 JP 4446114B2 JP 2004067686 A JP2004067686 A JP 2004067686A JP 2004067686 A JP2004067686 A JP 2004067686A JP 4446114 B2 JP4446114 B2 JP 4446114B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- photographing
- area
- protected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
本発明は、撮影対象のプライバシを保護しつつ画像を撮影する画像撮影装置に関する。 The present invention relates to an image capturing apparatus that captures an image while protecting the privacy of an image capturing target.
デジタルビデオ機器の発展やカメラ機能付き携帯電話の普及により、誰もが何時でも何処でも映像や画像を撮影することが可能になりつつある。そのようなセンサ群によって獲得された大量の映像情報を統合することで、様々なイベントの認識・理解や、観察者の状況・要求に応じた情報提示を目的とした知的映像メディアに関する研究が活発に行なわれている（たとえば、非特許文献１を参照）。 With the development of digital video equipment and the widespread use of mobile phones with camera functions, it is becoming possible for anyone to take pictures and images anytime and anywhere. Research on intelligent video media aimed at recognizing and understanding various events and presenting information according to the situation and demands of observers by integrating a large amount of video information acquired by such sensors. It is being actively conducted (for example, see Non-Patent Document 1).
これらの研究により、時空間を隔てたユーザ間の円滑なコミュニケーションや、周囲の環境情報の共有の実現が期待される。しかし、被写体の肖像権侵害や自由な振舞いの規制といったプライバシに関する問題を考慮することなく、イベントの撮影・記録・伝送・提示を行なうシステムを構築した場合、そのシステムはユーザにとって非常に不都合なものになると考えられる。特に、被写休の許可なく映像を撮影・配布したとして訴訟が起こることも珍しくない。 These studies are expected to realize smooth communication between users across time and space and the sharing of surrounding environmental information. However, if a system that captures, records, transmits, and presents events without considering privacy issues such as infringement of subject portrait rights and restrictions on free behavior, the system is very inconvenient for the user. It is thought that it becomes. In particular, it is not uncommon for lawsuits to be filed for filming and distributing videos without permission to leave.
このような問題を解決するために、映像中でプライバシを侵害する可能性がある領域にぼかし等の画像処理を施し、その視覚情報量を減少させることでプライバシを保護する手法が用いられている。 In order to solve such a problem, a technique is used in which privacy is protected by performing image processing such as blurring on an area that may infringe privacy in a video and reducing the amount of visual information. .
例えば、イギリスでは、数百万台の監視カメラを街中に配置し、それらの映像を用いて実際に犯罪を解決した実績があるが、映像中の人家の窓などの領域は“プライベートゾーン”と呼ばれ、黒塗りつぶし処理を施すことによりプライバシの問題を回避している。 For example, in the UK, millions of surveillance cameras have been placed in the city, and there is a track record of actually solving crimes using those images. However, areas such as windows of people's houses in the images are called “private zones”. It is called, and the privacy problem is avoided by applying the black painting process.
このような監視映像撮影・提示システムで利用されているカメラは撮影空間に固定され、プライバシを保護すべき領域が静止している。このため、撮影映像上で画像処理を施す領域は変化しないが、撮影用カメラやプライバシを保護したい被写体が移動しているには、画像処理を施す領域もまた動的に変化することになる。 The camera used in such a surveillance video shooting / presentation system is fixed in the shooting space, and the area where privacy should be protected is stationary. For this reason, the area on which the image processing is performed on the photographed video does not change, but the area on which the image processing is performed also changes dynamically when the photographing camera or the subject whose privacy is to be protected moves.
ところが、膨大な映像データを取り扱う知的映像メディアでは、手動によりこの領域変化に対応することは現実的ではない、という問題があった。 However, there is a problem that it is not realistic to deal with this area change manually in an intelligent video media that handles a large amount of video data.
また、プライバシ保護のための画像撮影の他の手法としては、撮影した画像上で被写体の身体や顔を検出し、その領域にぼかし処理を施す手法がある。この場合、撮影画像を前景領域と背景領域に分割した結果を用いて検出処理を行なうことが多い（たとえば、非特許文献２を参照）。しかしながら、カメラを移動させながら撮影した映像では、背景差分処理やフレーム間差分処理を用いて領域分割を行なうことは困難である。 In addition, as another technique for capturing an image for privacy protection, there is a technique for detecting the body and face of a subject on the captured image and blurring the area. In this case, detection processing is often performed using a result obtained by dividing a captured image into a foreground area and a background area (see, for example, Non-Patent Document 2). However, it is difficult to divide a region using a background difference process or an inter-frame difference process in a video shot while moving the camera.
さらに、前景・背景の領域分割を必要としない検出手法も提案されているものの、事前に被写体のあらゆる見え方情報を記録・蓄積しておく必要がある（たとえば、非特許文献３を参照）。
本発明は、上記のような問題を解決するためになされたものであって、その目的は、撮影される領域中で、プライバシを保護する対象物（被写体）が移動する場合や撮影用のカメラそのものが移動するような場合でも、実時間でプライバシ保護のための画像処理を施す領域を動的に変化させることが可能な画像撮影装置を提供することである。 The present invention has been made in order to solve the above-described problems, and an object of the present invention is when a subject (subject) that protects privacy moves in a region to be photographed or a camera for photographing. An object of the present invention is to provide an image capturing apparatus capable of dynamically changing a region where image processing for privacy protection is performed in real time even when the device itself moves.
このような目的を達成するために、本発明の画像撮影装置は、撮影を行なう３次元空間内において、移動する撮影対象物の位置を検出するための３次元位置検出手段を備え、３次元空間には、予め位置が特定された複数のＬＥＤタグが配置されており、３次元位置検出手段により検出された撮影対象物に対して、プライバシを保護するための画像処理の対象となる撮影対象物の少なくとも１部を含む３次元保護領域を示す保護領域情報を生成するための保護領域算出手段と、３次元空間内を移動する状態において、撮影対象物の画像を撮影するための移動撮影手段と、保護領域情報に対応する画像の部分領域に対して、プライバシを保護するための画像処理を行なった保護画像データを生成するための保護画像生成手段とをさらに備え、保護画像生成手段は、移動撮影手段により撮影された画像中に存在するＬＥＤタグが点滅により送出するＩＤ情報に基づいて、移動撮影手段の校正を行なって移動撮影手段についての射影行列を導出し、３次元保護領域が撮影された画像中のいずれの部分に投影されるかを算出して部分領域を特定し、画像処理を実行する。 In order to achieve such an object, the image photographing apparatus of the present invention includes three-dimensional position detection means for detecting the position of a moving photographing object in a three-dimensional space where photographing is performed. A plurality of LED tags whose positions are specified in advance are arranged, and a photographing object to be subjected to image processing for protecting privacy with respect to the photographing object detected by the three-dimensional position detection means A protection area calculation means for generating protection area information indicating a three-dimensional protection area including at least a part of the above; a moving imaging means for capturing an image of the object to be imaged in a state of moving in the three-dimensional space ; , on the partial region of the image corresponding to the protection area information, further comprising a protective image generating means for generating a protective image data to perform image processing for protection of the privacy protection The image generating means calibrates the moving photographing means based on the ID information sent out by blinking of the LED tag present in the image photographed by the moving photographing means to derive a projection matrix for the moving photographing means. identifying a partial region by calculating whether dimension protection area is projected to any part in the photographed image, that perform image processing.
好ましくは、３次元位置検出手段は、３次元空間を上部から俯瞰して撮影する俯瞰撮影手段を含む。 Preferably, the three-dimensional position detection means includes an overhead view photographing means for photographing the three-dimensional space as seen from above.
好ましくは、保護領域算出手段は、俯瞰撮影手段により撮影された２次元画像から、３次元保護領域が、３次元空間内の底面から所定の高さにあるものとして、保護領域情報を生成する。 Preferably, the protection area calculation means generates protection area information from the two-dimensional image photographed by the overhead view photographing means, assuming that the three-dimensional protection area is at a predetermined height from the bottom surface in the three-dimensional space.
好ましくは、３次元保護領域は、箱型の領域である。 Preferably, the three-dimensional protection area is a box-shaped area.
好ましくは、保護領域情報を保護画像生成手段に無線で伝送するための無線通信装置をさらに備える。 Preferably, the wireless communication apparatus further includes a wireless communication device for wirelessly transmitting the protected area information to the protected image generating unit.
本発明の画像撮影装置では、実時間でプライバシ保護のための画像処理を施す領域を動的に変化させることが可能である。 In the image photographing apparatus of the present invention, it is possible to dynamically change a region where image processing for privacy protection is performed in real time.
本発明の画像撮影装置では、複数台のカメラを用いて３次元空間中でプライバシ保護領域を設定し、推定した被写体の奥行き情報を利用するため、撮影画像上で物体同士による重なりが発生した場合でも適切なぼかし領域を設定する事が可能である。また、この設定処理には映像上での見え方情報を一切用いないため、物体の移動や姿勢や照明条件の変化による見え方の変化に影響されないという利点がある。 In the image capturing apparatus of the present invention, since privacy protection areas are set in a three-dimensional space using a plurality of cameras and the estimated depth information of the subject is used, there is an overlap between objects on the captured image. However, it is possible to set an appropriate blur area. In addition, since this setting process does not use any appearance information on the video, there is an advantage that it is not affected by changes in appearance due to movement of objects, changes in posture, and illumination conditions.
以下、図面を参照して本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
本発明では、動的に変化する映像入力に対しても、プライバシを保護しつつ、イベントの認識・理解や観察者の状況・要求に応じた情報提示を実現するための映像獲得方式を提供する。以下では、このようなシステムをステルスビジョン（Stealth Vision）システムと呼ぶ。本発明のステルスビジョンシステムでは、プライバシを保護したい領域（プライバシ保護領域）を３次元モデルとして設定し、それをキャリブレーション済の移動カメラで撮影した映像上に射影することにより、移動カメラ中の移動物体において画像処理を行なう領域を適切に設定する。 The present invention provides a video acquisition method for realizing recognition and understanding of an event and presentation of information according to an observer's situation / request while protecting privacy even for dynamically changing video input. . Hereinafter, such a system is referred to as a stealth vision system. In the stealth vision system of the present invention, a region in which privacy is to be protected (privacy protection region) is set as a three-dimensional model, and is projected onto an image photographed by a calibrated mobile camera, so that movement in the mobile camera is performed. A region where image processing is performed on an object is appropriately set.
［本発明のシステム構成］
図１は、本発明の画像撮影装置を用いたステルスビジョンシステム１０００の一例を示す概念図である。
[System configuration of the present invention]
FIG. 1 is a conceptual diagram showing an example of a stealth vision system 1000 using the image photographing apparatus of the present invention.
図１を参照して、システム１０００は、撮影が行なわれる室内などの３次元空間を上部から俯瞰して撮影するための天井カメラ１０と、天井カメラ１０からの映像に基づいて、後に説明するように、撮影対象物、たとえば、被写体４および６を追跡し、上記３次元空間内で、プライバシ保護を行なうためにぼかし（モザイク処理を含む）等の画像処理を行なう領域（以下、「プライバシ保護領域」と呼ぶ）を特定するための３次元位置検出ユニットとして動作するコンピュータ１００と、コンピュータ１００から上記プライバシ保護領域を特定するための信号を出力する通信装置２００とを備える。特に限定されないが、たとえば、通信装置２００は、無線装置とすることが可能である。 Referring to FIG. 1, system 1000 will be described later based on ceiling camera 10 for taking a bird's-eye view of a three-dimensional space such as a room where shooting is performed, and an image from ceiling camera 10. In addition, the object to be photographed, for example, the subjects 4 and 6 is tracked, and image processing such as blurring (including mosaic processing) is performed in the three-dimensional space for privacy protection (hereinafter referred to as “privacy protection region”). And a communication device 200 that outputs a signal for specifying the privacy protection area from the computer 100. Although not particularly limited, for example, the communication device 200 can be a wireless device.
システム１０００は、さらに、撮影者２が保持して被写体４および６を撮影する移動カメラ２０と、移動カメラ２０からの撮影信号をキャプチャし、記録媒体にプライバシが保護された画像データを記録するためのプライバシ保護モバイル映像生成装置３００とを備える。プライバシ保護モバイル映像生成装置３００としては、たとえば、大容量の記録媒体にデータを記録することが可能なモバイルコンピュータを使用することができる。なお、図１では、コンピュータ１００とプライバシ保護モバイル映像生成装置３００とは、別体として記載されているが、天井カメラ１０からの映像信号が、たとえば、無線により送信され、プライバシ保護モバイル映像生成装置３００が、これを受信して上記３次元位置検出ユニットとしても機能できるのであれば、コンピュータ１００とプライバシ保護モバイル映像生成装置３００とは、撮影者２にとってウエアラブルな１体の装置とすることも可能である。 The system 1000 further captures the moving camera 20 held by the photographer 2 to photograph the subjects 4 and 6, and the photographing signal from the moving camera 20, and records the privacy-protected image data on the recording medium. Privacy protection mobile video generation device 300. For example, a mobile computer capable of recording data on a large-capacity recording medium can be used as the privacy protection mobile video generation apparatus 300. In FIG. 1, the computer 100 and the privacy protection mobile video generation device 300 are described as separate bodies, but the video signal from the ceiling camera 10 is transmitted, for example, wirelessly, and the privacy protection mobile video generation device The computer 100 and the privacy-preserving mobile video generation device 300 can be a wearable device for the photographer 2 if the device 300 can function as the above-described three-dimensional position detection unit. It is.
システム１０００は、さらに、後に説明するように、カメラの校正を行なうために、上記３次元空間中に配置されたＬＥＤ−ＩＤ（Light Emitting Diode-ID）タグ３０と、被写体４および６のうち、プライバシ保護のための画像処理を行なう被写体６を特定するために、被写体４および６の体にそれぞれ装着されたタグセンサ４０を備える。タグセンサ４０としては、たとえば、ＲＦＩＤ（Radio Frequency-Identification）タグセンサを用いることができる。コンピュータ１００は、通信装置２００により、このＲＦタグセンサの３次元空間内の位置を特定可能なものとする。この場合、ＲＦタグセンサによる位置の特定精度は、天井カメラ１０による撮影画像から求める位置精度ほど高い必要はない。 As will be described later, the system 1000 further includes an LED-ID (Light Emitting Diode-ID) tag 30 arranged in the three-dimensional space, and the subjects 4 and 6 to calibrate the camera. In order to specify the subject 6 to be subjected to image processing for privacy protection, a tag sensor 40 mounted on the body of each of the subjects 4 and 6 is provided. As the tag sensor 40, for example, an RFID (Radio Frequency-Identification) tag sensor can be used. The computer 100 can specify the position of the RF tag sensor in the three-dimensional space by the communication device 200. In this case, the position specifying accuracy by the RF tag sensor does not need to be as high as the position accuracy obtained from the image captured by the ceiling camera 10.
図２は、コンピュータ１００の構成をブロック図形式で示す図である。 FIG. 2 is a block diagram showing the configuration of the computer 100.
図２を参照してこのコンピュータ１００は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）上の情報を読込むためのＣＤ−ＲＯＭドライブ１０８およびフレキシブルディスク（Flexible Disk、以下ＦＤ）１１６に情報を読み書きするためのＦＤドライブ１０６を備えたコンピュータ本体１０２と、コンピュータ本体１０２に接続された表示装置としてのディスプレイ１０３と、同じくコンピュータ本体１０２に接続された入力装置としてのキーボード１１０およびマウス１１２とを含む。 Referring to FIG. 2, this computer 100 reads / writes information from / to a CD-ROM drive 108 and a flexible disk (FD) 116 for reading information on a CD-ROM (Compact Disc Read-Only Memory). A computer main body 102 including the FD drive 106, a display 103 as a display device connected to the computer main body 102, and a keyboard 110 and a mouse 112 as input devices also connected to the computer main body 102.
さらに、図２に示されるように、このコンピュータ１００を構成するコンピュータ本体１０２は、ＣＤ−ＲＯＭドライブ１０８およびＦＤドライブ１０６に加えて、それぞれバスＢＳに接続されたＣＰＵ（Central Processing Unit ）１２０と、ＲＯＭ（Read Only Memory) およびＲＡＭ （Random Access Memory）を含むメモリ１２２と、直接アクセスメモリ装置、たとえば、ハードディスク１２４と、通信装置２００とデータの授受を行なうための通信インタフェース１２８とを含んでいる。ＣＤ−ＲＯＭドライブ１０８にはＣＤ−ＲＯＭ１１８が装着される。ＦＤドライブ１０６にはＦＤ１１６が装着される。 Further, as shown in FIG. 2, the computer main body 102 constituting the computer 100 includes a CPU (Central Processing Unit) 120 connected to the bus BS in addition to the CD-ROM drive 108 and the FD drive 106, respectively. A memory 122 including a ROM (Read Only Memory) and a RAM (Random Access Memory), a direct access memory device such as a hard disk 124, and a communication interface 128 for exchanging data with the communication device 200 are included. A CD-ROM 118 is attached to the CD-ROM drive 108. An FD 116 is attached to the FD drive 106.
なお、ＣＤ−ＲＯＭ１１８は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体であれば、他の媒体、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc）やメモリカードなどでもよく、その場合は、コンピュータ本体１０２には、これらの媒体を読取ることが可能なドライブ装置が設けられる。 The CD-ROM 118 may be another medium, such as a DVD-ROM (Digital Versatile Disc) or a memory card, as long as it can record information such as a program installed in the computer main body. In this case, the computer main body 102 is provided with a drive device that can read these media.
なお、画像データの記録媒体として、ハードディスク１２４、あるいは、他の大容量の記録媒体を用いることで、プライバシ保護モバイル映像生成装置３００を、基本的には、コンピュータ１００と同様の構成を有するモバイルコンピュータにより実現することができる。もちろん、プライバシ保護モバイル映像生成装置３００を、汎用のモバイルコンピュータの代わりに、専用のハードウェアで構成してもよい。 Note that the privacy protection mobile video generation apparatus 300 is basically a mobile computer having the same configuration as the computer 100 by using the hard disk 124 or other large-capacity recording medium as a recording medium for image data. Can be realized. Of course, the privacy-preserving mobile video generation device 300 may be configured with dedicated hardware instead of a general-purpose mobile computer.
［移動カメラを用いたステルスビジョンシステム］
ステルスビジョンシステム１０００は、不特定の移動する人物・物体を移動カメラ２０によって撮影し、さらに照明条件の変化や物体同士の隠れなどの問題も加わるため、映像上での見え方情報を用いた検出手法で、これを実現することは一般には困難である。
[Stealth vision system using mobile camera]
The stealth vision system 1000 captures an unspecified moving person / object with the moving camera 20, and also adds problems such as changes in illumination conditions and hiding between objects, so detection using appearance information on video This is generally difficult to achieve with techniques.
そこで、この問題を解決するために、図１に示したとおり、本発明では、複数台のカメラを用いて３次元空間中でプライバシ保護領域を設定する。本発明では、推定した被写体の奥行き情報を利用するため、撮影画像上で物体同士による重なりが発生した場合でも適切なぼかし領域を設定する事が可能である。また、この設定処理には映像上での見え方情報を一切用いないため、物体の移動や姿勢や照明条件の変化による見え方の変化に影響されないという利点がある。 Therefore, in order to solve this problem, as shown in FIG. 1, in the present invention, a privacy protection region is set in a three-dimensional space using a plurality of cameras. In the present invention, since the estimated depth information of the subject is used, it is possible to set an appropriate blur region even when an overlap between objects occurs on the captured image. In addition, since this setting process does not use any appearance information on the video, there is an advantage that it is not affected by changes in appearance due to movement of objects, changes in posture, and illumination conditions.
図３は、図１に示したシステム１０００の構成および動作の概要を示すための機能ブロック図である。 FIG. 3 is a functional block diagram for showing an overview of the configuration and operation of the system 1000 shown in FIG.
上述のとおり、システム１０００は、３次元位置検出ユニットとプライバシ保護モバイル映像生成装置３００とを備える。 As described above, the system 1000 includes the three-dimensional position detection unit and the privacy protection mobile video generation apparatus 300.
３次元位置検出ユニットでは、３次元空間に取り付けた少なくとも１台の据置きカメラ、たとえば、天井カメラ１０を用いて撮影空間の３次元モデルリングを行なう。もし、モデリングされた３次元領域において、プライバシ保護のために映像の撮影が許可されていない場合、その領域をプライバシ保護領域とする。 The three-dimensional position detection unit performs three-dimensional modeling of the photographing space using at least one stationary camera attached to the three-dimensional space, for example, the ceiling camera 10. In the modeled three-dimensional area, if video shooting is not permitted for privacy protection, that area is set as a privacy protection area.
プライバシ保護モバイル映像生成装置３００では、移動カメラ２０のキャリブレーションを行ない、モバイル画像キャプチャ部３０２により移動カメラ２０から画像を取得して、プライバシ保護画像生成部３０４により３次元空間と撮影された画像面の間の射影関係を推定する。この射影関係を用いてプライバシ保護領域が画像上のどこに写り込むかを求め、推定領域に画像処理を施すことで、プライバシの保護を実現する。プライバシー保護画像生成部３０４により生成されたプライバシ保護画像データは、記録媒体に記録される。
［被写体のプライバシ保護映像の生成手法］
（プライバシ保護領域の設定）
撮影対象物体の３次元形状を復元する場合、多数のカメラによって撮影した映像にステレオ処理などを適用することにより、物体同士の隠れの問題（オクルージョン）を解決することができるものの、計算処理コストが大きくなるという問題がある。
In the privacy protection mobile video generation apparatus 300, the mobile camera 20 is calibrated, the mobile image capture unit 302 acquires an image from the mobile camera 20, and the privacy protection image generation unit 304 captures the image plane as a three-dimensional space. Estimate the projective relationship between. Using this projection relationship, where the privacy protection area is reflected on the image is obtained, and image processing is performed on the estimation area, thereby realizing privacy protection. Privacy protection image data generated by the privacy protection image generation unit 304 is recorded on a recording medium.
[Privacy-protected video generation method for the subject]
(Privacy protection area setting)
When restoring the three-dimensional shape of an object to be photographed, the problem of occlusion between objects can be solved by applying stereo processing or the like to images photographed by a large number of cameras, but the calculation processing cost is high. There is a problem of growing.
本発明では、実時間での動作するステルスビジョンシステムを実現するために、本発明では、多数台のカメラではなく、図１に示す空間を上方から見下ろすように撮影する一台のカメラ（天井カメラ１０）により、プライバシ保護領域の推定を行なう。 In the present invention, in order to realize a stealth vision system that operates in real time, in the present invention, not a large number of cameras but a single camera (ceiling camera) that captures the space shown in FIG. According to 10), the privacy protection area is estimated.
ステルスビジョンシステムの撮影対象は、地面上をほぼ直立した状態で移動する物体であるため、上方からの映像中では物体同士の隠れの問題が起こりにくいというメリットがある。 Since the imaging target of the stealth vision system is an object that moves almost upright on the ground, there is an advantage that the problem of hiding between objects hardly occurs in an image from above.
図４は、このような天井カメラ１０の撮影画像からプライバシ保護領域の推定を行なう手続を示す概念図である。 FIG. 4 is a conceptual diagram showing a procedure for estimating the privacy protection area from the photographed image of the ceiling camera 10 as described above.
天井カメラ画像上の２次元座標情報（ｕ，ｖ）から３次元位置（Ｘ，Ｙ，Ｚ）を推定するために、全ての物体がある高さＹの平面上に存在すると仮定する。撮影対象が３次元空間内を立って移動する人間であれば、このような仮定は十分現実を反映したものとなる。 In order to estimate the three-dimensional position (X, Y, Z) from the two-dimensional coordinate information (u, v) on the ceiling camera image, it is assumed that all objects exist on a plane having a height Y. If the object to be photographed is a human who moves in a three-dimensional space, this assumption sufficiently reflects reality.
この平面と天井カメラ画像面の間の２次元射影変換行列Ｈから、以下の式（１）に示すように、画像上の２次元座標情報から３次元空間での位置を推定する。 From the two-dimensional projective transformation matrix H between the plane and the ceiling camera image plane, the position in the three-dimensional space is estimated from the two-dimensional coordinate information on the image as shown in the following equation (1).
λ［Ｘ Ｚ １］T＝Ｈn［ｕ ｖ １］T …（１）
なお、このような推定方法については、たとえば、文献１：T.Koyama, I.Kitahara, Y.Ohta, “Live Mixed-Reality 3D Video in Soccer Stadium”, Proc. Of IEEE and ACM Int. Symposium on Mixed and Augmented Reality(ISMAR2003), pp178-187, (2003)に開示されている。
λ [X Z 1] T = H n [u v 1] T (1)
For such estimation methods, for example, Reference 1: T. Koyama, I. Kitahara, Y. Ohta, “Live Mixed-Reality 3D Video in Soccer Stadium”, Proc. Of IEEE and ACM Int. Symposium on Mixed and Augmented Reality (ISMAR2003), pp178-187, (2003).
式（１）を用いる処理において、対象物の２次元座標は、背景の除去と前景領域のラベリングというような簡単な画像処理により評価できる。このため、このような処理は実時間処理に適している。また、計算負荷を減少させるために、プライバシ保護領域は、対象物の少なくとも一部（たとえば、被写体の顔）の周りを囲む箱状の領域であるものとする。この箱状の領域の大きさは撮影対象ごとに適切に変化させるものとする。したがって、被写体の顔のプライバシ保護領域を獲得する場合は、式（１）において、被写体は、たとえば、地面からの高さ１．５ｍの領域に存在すると仮定し、その結果算出された３次元位置の周囲に３０ｃｍ立方の箱状の領域を設定することで実現することができる。 In the processing using Expression (1), the two-dimensional coordinates of the object can be evaluated by simple image processing such as background removal and foreground area labeling. For this reason, such processing is suitable for real-time processing. In order to reduce the calculation load, the privacy protection area is assumed to be a box-like area surrounding at least a part of the object (for example, the face of the subject). It is assumed that the size of the box-shaped region is appropriately changed for each photographing target. Therefore, when acquiring the privacy protection area of the face of the subject, it is assumed that the subject exists in an area having a height of 1.5 m from the ground in Expression (1), and the calculated three-dimensional position is obtained as a result. This can be realized by setting a box-like region of 30 cm cubic around the area.
なお、本実施の形態では、実時間処理に主眼を置いたため、プライバシ保護領域として計算量の少ない箱状の形状を採用しているが、本発明で設定するプライバシ保護領域は、これに限るものではない。計算コストが許すのであれば、多視のカメラによって撮影された映像に３次元形状復元処理を適用することで、プライバシ保護領域の正確な３次元形状を設定することが可能である。この形状を利用することで、後段のぼかし処理の制度の向上が期待できる。 In this embodiment, since the focus is on real-time processing, a box-like shape with a small amount of calculation is adopted as the privacy protection area, but the privacy protection area set in the present invention is not limited to this. is not. If the calculation cost permits, it is possible to set an accurate three-dimensional shape of the privacy protection region by applying a three-dimensional shape restoration process to an image captured by a multi-view camera. By using this shape, it is possible to improve the blurring processing system at the later stage.
（移動カメラの校正）
以下では、移動カメラ２０の校正の手続について、簡単に説明する。
(Calibration of moving camera)
Hereinafter, a procedure for calibrating the mobile camera 20 will be briefly described.
なお、カメラの校正については、たとえば、文献２：徐 剛、辻 三郎著「３次元ビジョン」、共立出版、１９９８年４月２０日初版に詳しく開示されている。 The calibration of the camera is disclosed in detail in, for example, Document 2: Xu Tsuyoshi and Saburo Tsubaki “3D Vision”, Kyoritsu Shuppan, April 20, 1998, first edition.
移動カメラの校正の方法としては、第１には、移動カメラの位置と方向というようなカメラの外部変数を、磁気／赤外線を用いた３次元位置センサ群により抽出するという方法がある。射影行列は、カメラの内部変数と外部変数とを組み合わせることで得られる。 As a method for calibrating the moving camera, first, there is a method in which external variables of the camera such as the position and direction of the moving camera are extracted by a group of three-dimensional position sensors using magnetic / infrared rays. The projection matrix is obtained by combining the camera internal variables and external variables.
第２の方法としては、３次元座標と２次元座標との多数のペアにより、射影行列を評価する、という方法である。 As a second method, the projection matrix is evaluated by a large number of pairs of three-dimensional coordinates and two-dimensional coordinates.
第１の方法では、安定に射影行列を得られるものの、利用可能な受信センサの個数のために観測可能な領域が制限される。 In the first method, although a projection matrix can be obtained stably, the observable region is limited due to the number of available reception sensors.
第２の方法では、移動カメラ自体が受信センサであるために、３次元空間中に配置される標識を増やすことで、容易に観測可能な領域を拡大することができる。しかしながら、実際問題としては、標識の２次元座標を正確に抽出するのは困難であるために、一般には、射影行列を安定に得ることが難しい。 In the second method, since the moving camera itself is a reception sensor, the easily observable area can be expanded by increasing the number of signs arranged in the three-dimensional space. However, as a practical problem, it is difficult to accurately extract the two-dimensional coordinates of the sign, and it is generally difficult to stably obtain a projection matrix.
本発明では、図１に示したとおり、３次元空間内に標識として、ＬＥＤ−ＩＤタグ３０を配置している。このＬＥＤ−ＩＤタグ３０は、たとえば、底面の大きさが３ｃｍ×４ｃｍ程度で作成できるために、撮影の行なわれる３次元空間内のどこにでも容易に配置できる。 In the present invention, as shown in FIG. 1, the LED-ID tag 30 is arranged as a marker in the three-dimensional space. For example, since the LED-ID tag 30 can be created with a bottom surface size of about 3 cm × 4 cm, it can be easily placed anywhere in a three-dimensional space where photographing is performed.
このＬＥＤ−ＩＤタグ３０は、各々が、点滅するパターンにより、自身のＩＤ番号を送出しており、これにより、画像中に映っているＬＥＤ−ＩＤタグ３０がいずれのタグであるかを特定できる。カメラの内部変数については、予め求めておき、キャプチャされた画像中で、ＬＥＤ−ＩＤタグ３０を検出し、そのＩＤ番号をデコードして特定する。このＩＤ番号により、予め求めておいた当該ＬＥＤ−ＩＤタグ３０の３次元座標を参照することができる。コンピュータ１００の記憶装置には、予めこのようなＩＤ番号と３次元座標とが関連付けられて格納されているものとする。 Each LED-ID tag 30 transmits its own ID number in a blinking pattern, and thus it is possible to specify which tag the LED-ID tag 30 shown in the image is. . The internal variables of the camera are obtained in advance, and the LED-ID tag 30 is detected in the captured image, and the ID number is decoded and specified. With this ID number, the three-dimensional coordinates of the LED-ID tag 30 obtained in advance can be referred to. It is assumed that such an ID number and three-dimensional coordinates are stored in advance in the storage device of the computer 100.
キャプチャされた画像中に、少なくとも３つのＬＥＤ−ＩＤタグ３０が存在すれば、それらの３次元座標から、カメラの外部変数を求めることができる。このようにして求めた外部変数と内部変数とを組み合わせれば、射影行列を求めることができる。 If there are at least three LED-ID tags 30 in the captured image, an external variable of the camera can be obtained from these three-dimensional coordinates. A projection matrix can be obtained by combining external variables and internal variables obtained in this way.
（システム１０００の動作）
以下、３次元位置検出ユニットとして動作するコンピュータ１００の動作およびプライバシ保護モバイル映像生成装置３００の動作について、説明する。
(Operation of system 1000)
Hereinafter, the operation of the computer 100 that operates as a three-dimensional position detection unit and the operation of the privacy protection mobile video generation apparatus 300 will be described.
図５は、コンピュータ１００の動作を説明するためのフローチャートである。 FIG. 5 is a flowchart for explaining the operation of the computer 100.
図５を参照して、まず、天井カメラ１０の校正が行なわれる（ステップＳ１００）。この場合、たとえば、式（１）の適用にあたり、被写体のプライバシ保護領域が地面から１．５ｍの高さにあると仮定するのであれば、１．５ｍの高さの校正用の複数の棒を３次元空間内に所定間隔で垂直に立てて配置しておく。この校正用の棒の先端に色つきのマーカをつけておき、このマーカにより、天井カメラ１０の校正を行なうことができる。 Referring to FIG. 5, first, the ceiling camera 10 is calibrated (step S100). In this case, for example, when applying the expression (1), if it is assumed that the privacy protection area of the subject is at a height of 1.5 m from the ground, a plurality of calibration bars having a height of 1.5 m are provided. They are arranged vertically at predetermined intervals in a three-dimensional space. A colored marker is attached to the tip of the calibration bar, and the ceiling camera 10 can be calibrated with this marker.
続いて、ＲＦＩＤタグ４０と天井カメラ１０からの画像データとに基づいて、プライバシ保護の対象物が撮影する３次元空間内に存在するかを検知する（ステップＳ１０２）。 Subsequently, based on the RFID tag 40 and the image data from the ceiling camera 10, it is detected whether the privacy protection target exists in the three-dimensional space to be photographed (step S102).
プライバシ保護対象物が存在する場合、式（１）にしたがって、３次元空間内でのプライバシ保護領域（箱型の領域）を算出する（ステップＳ１０６）。続いて、通信装置２００を介して、プライバシ保護モバイル映像生成装置３００のプライバシ保護画像生成部３０４に対して、算出されたプライバシ保護領域に関する情報を通知する（ステップＳ１０８）。ステップＳ１０４において、プライバシ保護対象物が存在しないと判断したときは、その旨を示す情報が通知される。 If there is a privacy protection object, a privacy protection area (box-shaped area) in the three-dimensional space is calculated according to the equation (1) (step S106). Subsequently, information about the calculated privacy protection area is notified to the privacy protection image generation unit 304 of the privacy protection mobile video generation device 300 via the communication device 200 (step S108). When it is determined in step S104 that no privacy protection target exists, information indicating that is notified.
操作者から処理の終了が指示されていなければ、処理は再び、ステップＳ１０２に復帰する。 If the operator has not instructed the end of the process, the process returns to step S102 again.
図６は、プライバシ保護モバイル映像生成装置３００の動作を説明するためのフローチャートである。 FIG. 6 is a flowchart for explaining the operation of the privacy protection mobile video generation apparatus 300.
図６を参照して、まず、移動カメラ２０により映像信号がキャプチャされる（ステップＳ２００）。続いて、上述したＬＥＤ−ＩＤタグ３０を用いた移動カメラの校正が行なわれる（ステップＳ２０２）。 Referring to FIG. 6, first, a video signal is captured by mobile camera 20 (step S200). Subsequently, the mobile camera is calibrated using the LED-ID tag 30 described above (step S202).
プライバシ保護領域が通知されていれば（ステップＳ２０４）、２次元画像中でプライバシ保護領域に相当する部分のぼかし処理を行なう（ステップＳ２０６）。 If the privacy protection area has been notified (step S204), a blurring process is performed on a portion corresponding to the privacy protection area in the two-dimensional image (step S206).
ここで、上述したようなプライバシ保護領域を算出するステップで推定した箱状のプライバシ保護領域と、移動カメラの校正処理により算出された射影変換行列Ｐを用いて、移動カメラで撮影した画像上においてプライバシを保護する画像処理（ぼかし処理等）を行なう手順について述べる。 Here, using the box-like privacy protection area estimated in the step of calculating the privacy protection area as described above and the projection transformation matrix P calculated by the calibration process of the movement camera, on the image taken by the movement camera A procedure for performing image processing (such as blurring processing) for protecting privacy will be described.
前述したように対象空間の被写体のすくなくとも１部は、箱状の領域として表現されている。その領域の８頂点を以下に示す式（２）により移動カメラによって撮影した画像上に投影し、それらの点同士を結んだ凸領域Ｒｎを画面上で被写体の観測領域とする。 As described above, at least a part of the subject in the target space is expressed as a box-shaped region. Eight vertices of the area are projected on an image photographed by the moving camera according to the following expression (2), and a convex area Rn connecting these points is set as an observation area of the subject on the screen.
λ［ｕn ｖn １］T＝Ｐ［Ｘn Ｙn Ｚn １］T …（２）
（ｎ＝１，…、８）
この観測領域において、画像の解像度を低下させるぼかし処理や、均一の色で塗りつぶす処理等を施すことで、被写体の見え方情報を低下させ、プライバシの保護を実現する。
λ [u n v n 1] T = P [X n Y n Z n 1] T (2)
(N = 1, ..., 8)
In this observation area, blurring processing for reducing the resolution of the image, processing for painting with a uniform color, and the like are performed, so that the appearance information of the subject is reduced and privacy protection is realized.
このようぼかし処理を行なった後の画像データ、または、プライバシ保護領域が通知されていなければキャプチャされた画像データそのままを、画像データとして出力し記録媒体に記録する（ステップＳ２０８）。 The image data after the blurring process is performed, or if the privacy protection area is not notified, the captured image data is output as image data and recorded on the recording medium (step S208).
操作者から処理の終了が指示されていなければ、処理は再び、ステップＳ２００に復帰する。 If the operator has not instructed the end of the process, the process returns to step S200 again.
図７および図８は、以上のようにしてプライバシ保護処理された画像の例を示す図である。 7 and 8 are diagrams showing examples of images that have been subjected to privacy protection processing as described above.
図７に示すとおり、画面右側の人物の顔に相当する部分にはモザイク処理が施されている。さらに、図８に示すとおり、この人物が画面中央よりで、より移動カメラ２０に近い側に移動した場合は、この人物の顔部分の大きさの変化に合わせて、モザイク処理が施される領域が大きくなっている。 As shown in FIG. 7, mosaic processing is performed on the portion corresponding to the face of the person on the right side of the screen. Further, as shown in FIG. 8, when this person moves from the center of the screen to a side closer to the moving camera 20, an area where mosaic processing is performed in accordance with the change in the size of the face portion of this person. Is getting bigger.
以上のようなステルスビジョンシステム１０００によれば、撮影される領域中で、プライバシを保護する対象物（被写体）が移動する場合でも、実時間でプライバシ保護のための画像処理を施す領域を動的に変化させることが可能である。 According to the stealth vision system 1000 as described above, even when an object (subject) that protects privacy moves in a captured area, the area to be subjected to image processing for privacy protection in real time is dynamically changed. It is possible to change.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１００ コンピュータ、１０２ コンピュータ本体、１０３ ディスプレイ、１０６ ＦＤドライブ、１０８ ＣＤ−ＲＯＭドライブ、１１０ キーボード１１０、１１２ マウス、１１４ 無線通信装置、１１８ ＣＤ−ＲＯＭ、１２０ ＣＰＵ、１２２ メモリ、１２４ ハードディスク、１２８ 通信インタフェース、２００ 通信装置、３００ プライバシ保護モバイル映像生成装置、１０００ ステルスビジョンシステム。 100 computer, 102 computer main body, 103 display, 106 FD drive, 108 CD-ROM drive, 110 keyboard 110, 112 mouse, 114 wireless communication device, 118 CD-ROM, 120 CPU, 122 memory, 124 hard disk, 128 communication interface, 200 communication device, 300 privacy protection mobile video generation device, 1000 stealth vision system.
Claims (5)
前記３次元位置検出手段により検出された撮影対象物に対して、プライバシを保護するための画像処理の対象となる前記撮影対象物の少なくとも１部を含む３次元保護領域を示す保護領域情報を生成するための保護領域算出手段と、
前記３次元空間内を移動する状態において、前記撮影対象物の画像を撮影するための移動撮影手段と、
前記保護領域情報に対応する前記画像の部分領域に対して、プライバシを保護するための画像処理を行なった保護画像データを生成するための保護画像生成手段とをさらに備え、
前記保護画像生成手段は、前記移動撮影手段により撮影された前記画像中に存在する前記ＬＥＤタグが点滅により送出するＩＤ情報に基づいて、前記移動撮影手段の校正を行なって前記移動撮影手段についての射影行列を導出し、前記３次元保護領域が前記撮影された画像中のいずれの部分に投影されるかを算出して前記部分領域を特定し、前記画像処理を実行する、画像撮影装置。 A three-dimensional position detecting means for detecting the position of a moving object to be photographed is provided in a three-dimensional space for photographing , and a plurality of LED tags whose positions are specified in advance are arranged in the three-dimensional space. And
Generation of protection area information indicating a three-dimensional protection area including at least a part of the object to be imaged to protect privacy for the object to be detected detected by the three-dimensional position detection unit Protection area calculation means for
In a state of moving in the three-dimensional space, a moving photographing means for photographing an image of the photographing object;
A protected image generating means for generating protected image data obtained by performing image processing for protecting privacy for the partial area of the image corresponding to the protected area information ;
The protected image generating means calibrates the moving photographing means based on the ID information sent out by blinking of the LED tag present in the image photographed by the moving photographing means. derive a projection matrix, or calculated by the three-dimensional protected area is projected to any part in the photographed image by specifying the partial area, that perform the image processing, the image capturing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004067686A JP4446114B2 (en) | 2004-03-10 | 2004-03-10 | Image shooting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004067686A JP4446114B2 (en) | 2004-03-10 | 2004-03-10 | Image shooting device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005258679A JP2005258679A (en) | 2005-09-22 |
| JP4446114B2 true JP4446114B2 (en) | 2010-04-07 |
Family
ID=35084347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004067686A Expired - Fee Related JP4446114B2 (en) | 2004-03-10 | 2004-03-10 | Image shooting device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4446114B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010146094A (en) * | 2008-12-16 | 2010-07-01 | Nec Corp | Image processing apparatus, image processing method, and image processing program |
| KR101788598B1 (en) * | 2010-09-01 | 2017-11-15 | 엘지전자 주식회사 | Mobile terminal and information security setting method thereof |
| JP5812593B2 (en) * | 2010-10-28 | 2015-11-17 | キヤノン株式会社 | VIDEO PROCESSING DEVICE, IMAGING DEVICE, VIDEO PROCESSING METHOD, AND PROGRAM |
| JP5404580B2 (en) * | 2010-11-05 | 2014-02-05 | 日本電信電話株式会社 | Image processing apparatus, image processing method, and recording medium recording image processing program |
| JP6312386B2 (en) * | 2013-09-02 | 2018-04-18 | キヤノン株式会社 | Server apparatus, information processing method, and program |
| US9569697B1 (en) | 2015-02-19 | 2017-02-14 | Google Inc. | Object oriented image editing |
| CN107222628A (en) * | 2017-06-19 | 2017-09-29 | 广东小天才科技有限公司 | A kind of method and device of information processing |
| US11140357B2 (en) | 2018-04-13 | 2021-10-05 | Sony Corporation | Multi-direction communication apparatus and multi-direction communication method |
-
2004
- 2004-03-10 JP JP2004067686A patent/JP4446114B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005258679A (en) | 2005-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4512763B2 (en) | Image shooting system | |
| CN109561296B (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
| US7554575B2 (en) | Fast imaging system calibration | |
| JP5093053B2 (en) | Electronic camera | |
| Senior et al. | Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration | |
| CN111046725B (en) | Spatial positioning method based on face recognition and point cloud fusion of surveillance video | |
| US8848035B2 (en) | Device for generating three dimensional surface models of moving objects | |
| Klein | Visual tracking for augmented reality | |
| CN109416744A (en) | Improved camera calibration system, target and process | |
| JP2010504711A (en) | Video surveillance system and method for tracking moving objects in a geospatial model | |
| WO2019035155A1 (en) | Image processing system, image processing method, and program | |
| WO2016029939A1 (en) | Method and system for determining at least one image feature in at least one image | |
| US20200364900A1 (en) | Point marking using virtual fiducial elements | |
| US11715236B2 (en) | Method and system for re-projecting and combining sensor data for visualization | |
| JP4446114B2 (en) | Image shooting device | |
| Angladon et al. | The toulouse vanishing points dataset | |
| JP2007271408A (en) | Device and method for acquiring three-dimensional environmental information, and recoding medium storing program achieving the method | |
| WO2020196520A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
| RU2679200C1 (en) | Data from the video camera displaying method and system | |
| JP4710081B2 (en) | Image creating system and image creating method | |
| JP2012023573A (en) | Image processor, image processing program, image processing method, and mobile | |
| KR102152319B1 (en) | Method of calculating position and size of object in 3d space and video surveillance system using the same | |
| CN115223023B (en) | Human body contour estimation method and device based on stereoscopic vision and deep neural network | |
| WO2024018973A1 (en) | Information processing method, information processing device, and information processing program | |
| JP7286388B2 (en) | Position estimation system, position estimation device, position estimation method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100104 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |