JP2017188771A - Imaging system, and display method of image or video image - Google Patents
Imaging system, and display method of image or video image Download PDFInfo
- Publication number
- JP2017188771A JP2017188771A JP2016075843A JP2016075843A JP2017188771A JP 2017188771 A JP2017188771 A JP 2017188771A JP 2016075843 A JP2016075843 A JP 2016075843A JP 2016075843 A JP2016075843 A JP 2016075843A JP 2017188771 A JP2017188771 A JP 2017188771A
- Authority
- JP
- Japan
- Prior art keywords
- image
- privacy
- unit
- information
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000003384 imaging method Methods 0.000 title claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 101
- 230000033001 locomotion Effects 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 35
- 210000000746 body region Anatomy 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 230000026676 system process Effects 0.000 abstract 1
- 210000003128 head Anatomy 0.000 description 42
- 238000003860 storage Methods 0.000 description 30
- 230000008859 change Effects 0.000 description 27
- 238000000605 extraction Methods 0.000 description 21
- 238000007726 management method Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 14
- 238000009826 distribution Methods 0.000 description 12
- 238000003672 processing method Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 230000008520 organization Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 9
- 238000010422 painting Methods 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000037237 body shape Effects 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 210000000214 mouth Anatomy 0.000 description 4
- 210000001331 nose Anatomy 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000001012 protector Effects 0.000 description 3
- 208000025174 PANDAS Diseases 0.000 description 2
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 235000016496 Panda oleosa Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、撮影対象内にプライバシー情報が含まれ得る撮影システムおよび画像や映像の表示方法に関する。 Embodiments described herein relate generally to an imaging system and an image and video display method that can include privacy information within an imaging target.
公共施設や人が集まる場所で撮影された画像や映像内には、プライバシー情報に属する人物の顔や体形そしてその所有物や服装が含まれる場合が多い。そしてその画像や映像に対して不特定多数者の閲覧が可能な場合は特に、個人のプライバシー保護を配慮する必要が有る。 Images and videos taken at public facilities and places where people gather often include the faces and shapes of people belonging to privacy information, their possessions and clothes. In particular, it is necessary to consider personal privacy protection when an unspecified number of people can view the images and videos.
所で上記画像や映像内の人物の顔や服装の特徴から、個人の特定やその人物の所属団体の特定が可能となる。従って個人や所属団体のプライバシー保護の観点から、撮影された画像や映像からの人物特定や所属団体の特定を困難にする技術が求められている。 On the other hand, it is possible to identify an individual and an organization to which the person belongs from the characteristics of the person's face and clothes in the image and video. Therefore, from the viewpoint of protecting the privacy of individuals and affiliated organizations, there is a need for a technique that makes it difficult to identify a person from a captured image or video or identify an affiliated organization.
撮影された画像や映像に処理を施してプライバシー保護する技術として特許文献１では、画像内の顔の場所を検出し、顔又はその背景の画像領域にモザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施している。また特許文献２でも画像内の顔の場所を検出し、顔画像部のみにモザイク処理を施すと共に、顔以外の服装や所持品では鮮明な画像表示を行っている。
In
そしていずれの先行技術でも、顔画像位置の検出技術が共通に採用されている。ここで一般的に用いられる顔画面位置検出技術では、撮影された画像や映像内の顔のパーツ（目、鼻、口、眉毛、耳など）形状間の配置関係を利用する場合が多い。 In any of the prior arts, the face image position detection technique is commonly adopted. The face screen position detection technique generally used here often uses an arrangement relationship between the shapes of the captured images and facial parts (eyes, nose, mouth, eyebrows, ears, etc.) in the video.
すると上記顔画像位置検出技術では、例えば前面に配置された障害物で顔の一部が隠された場合には顔画像と認識されず、顔の一部が鮮明画像の状態で表示される危険性が有る。従って上述した従来技術では、画像や映像の内容に拠ってはプライバシー保護機能が不充分な場合が発生する。 Then, in the face image position detection technique, for example, when a part of the face is hidden by an obstacle placed on the front face, the face image is not recognized, and there is a risk that a part of the face is displayed in a clear image state. There is sex. Therefore, in the above-described conventional technology, there are cases where the privacy protection function is insufficient depending on the contents of the image or video.
そのため撮影された画像や映像の内容に拠らず、安定したプライバシー保護を可能とする撮影システムおよび画像や映像の表示方法の提供が求められる。 Therefore, it is required to provide a photographing system and a method for displaying an image or video that enable stable privacy protection regardless of the content of the photographed image or video.
本実施形態における撮影システムとしては、撮影された原画像内のプライバシー情報に関係する領域をプライバシー加工し、プライバシー情報を含まない無人画像領域とで合成して表示もしくは送信する。 As a photographing system in the present embodiment, privacy processing is performed on a region related to privacy information in a photographed original image, and the region is combined with an unmanned image region that does not include privacy information and displayed or transmitted.
また本実施形態における画像や映像の表示方法としては、撮影された原画像内のプライバシー情報に関係する領域内はプライバシー加工後の画像を表示し、無人画像領域内は原画像を表示する。 As a method for displaying an image or video in the present embodiment, an image after privacy processing is displayed in an area related to privacy information in a photographed original image, and an original image is displayed in an unmanned image area.
そしてその結果として、顔の一部しか表示されない原画像領域内もプライバシー情報に関係する領域内と認識され、プライバシー加工された画像が表示される。 As a result, the original image area where only a part of the face is displayed is also recognized as the area related to the privacy information, and the privacy processed image is displayed.
以下、図面を参照しながら実施形態を説明する。従来技術を用いて画像に対してプライバシー保護をした場合の問題点に付いて、上記に説明した。さらに図１を用い、上述した問題点を具体的に説明する。 Hereinafter, embodiments will be described with reference to the drawings. The problems associated with privacy protection for images using conventional technology have been described above. Further, the above-described problem will be specifically described with reference to FIG.
図１（ａ）は、撮影された原画像の例１０を示す。ここでは撮影された原画像１０内に、人物２、４、６が表示されている。特に撮影された原画像内人物４が持つ棒などの障害物（棒など）の影響で、撮影された原画像内人物６の顔の一部が隠されている。
FIG. 1A shows an example 10 of a captured original image. Here,
撮影された原画像１０（図１（ａ））に対して人物範囲検出２２を行った結果を、図１（ｂ）に示す。ここで人物範囲検出２２を行った部分を四角枠で示している。 FIG. 1B shows the result of the person range detection 22 performed on the photographed original image 10 (FIG. 1A). Here, the portion where the person range detection 22 is performed is indicated by a square frame.
従来技術のように顔画面位置検出技術のみを用いて人物範囲検出２２を行うと、撮影された原画像内人物６の顔の一部が隠されているため、撮影された原画像内人物６は人物として認識されない。 When the person range detection 22 is performed using only the face screen position detection technique as in the prior art, a part of the face of the photographed person 6 in the original image is hidden, so the person 6 in the photographed original image 6 Is not recognized as a person.
プライバシー加工（画像に対するプライバシー保護対策）の一例として、人物として認識された検出範囲にぼかし加工２４を施した後の画像を図１（ｃ）に示す。上記のように撮影された原画像内人物６が人物として認識されないため、その人の顔画像が鮮明に表示されてしまう。従って従来技術のように顔画面位置検出技術のみを用いたプライバシー保護対策では不充分となる事が分かる。 As an example of privacy processing (privacy protection measures for images), an image after blurring 24 is performed on a detection range recognized as a person is shown in FIG. Since the person 6 in the original image captured as described above is not recognized as a person, the face image of that person is clearly displayed. Therefore, it can be seen that privacy protection measures using only the face screen position detection technique as in the prior art are insufficient.
撮影された画像や映像を本実施形態では複数領域に分割し、その中の特定の領域に対してプライバシー加工を施す。なお本実施形態に対する説明の便宜上、以下では画像に特化した説明を行う。しかし本実施形態では下記に限らず、映像に関しても同様な実施形態が適用されても良い。本実施形態における領域毎の定義を、図２を用いて説明する。 In this embodiment, a captured image or video is divided into a plurality of areas, and privacy processing is performed on a specific area among them. For convenience of explanation of the present embodiment, a description specific to images will be given below. However, the present embodiment is not limited to the following, and the same embodiment may be applied to video. The definition for each area in this embodiment will be described with reference to FIG.
図２に示す撮影された原画像３０に対し、プライバシー情報が含まれない領域を無人画像領域３４と呼ぶ。他方では撮影された原画像３０内で個人もしくは団体のプライバシー情報に関係する画像が含まれる領域をプライバシー情報に関係する領域３８と呼ぶ。図２の例では、原画像３０内に４人の人物が映っている。この４人の人物が表示された領域（画像内領域）と彼らに関係した物品（所持品など）や生物（例えば運搬中の植物やペットなどの動物）が表示された領域をプライバシー情報に関係する領域３８と呼び、無人画像領域３４と分離識別する。
An area in which privacy information is not included in the captured
ここでプライバシー情報に関係する領域３８内に含まれる人物とは、直近での特定可能な個人に限らず、不特定多数者も含まれる。仮に撮影直後は個人の特定が不可能な不特定多数者でも、この画像をネットワーク経由で別の不特定多数者に閲覧された時に個人を特定される危険性が有る。
Here, the person included in the
また任意な人物や組織・団体の全ての帰属品が撮影／表示された領域を、本実施形態でのプライバシー情報に関係する領域３８に含めても良い。例えば原画像３０に映らない人物の帰属品（携行品や所有物）が一時的に撮影現場に放置されて原画像３０内に映った領域も、プライバシー情報に関係する領域３８に含めても良い。なぜなら親しい人が鞄や帽子、メガネなどの愛用品を見れば所有者（帰属相手）の予想が付き、プライバシー情報に関係する。
An area where all belongings of an arbitrary person or organization / organization are photographed / displayed may be included in the
所でプライバシー情報に関係する任意な組織や団体の帰属品として国旗や旗章、徽章に限らず、そこに所属する人物の着用品（服や帽子、靴など）や所持品（組織・団特有の鞄や携行品など）も含まれる。 As a belonging of any organization or group related to privacy information, it is not limited to national flags, badges, or emblems, but belongings (clothes, hats, shoes, etc.) and personal belongings (organization / group-specific) , And other items).
上記の無人画像領域３４には、
（１）無人状態で撮影された同一撮影現場の画像領域
（２）所定時間内で変化しない画像領域
（３）人物やその帰属品と認識／推定されない画像領域
などの特徴が有る。ここで上記の所定時間とは、１分から１ヶ月の範囲内、望ましくは１時間から１週間の範囲内を意味する。無人状態での撮影現場でも、ポスターの貼り替えや無料雑誌設置場所での在庫変化などで撮影された原画像３０が変化する。従ってそれらの画像変化期間を考慮して、上記所定時間の範囲が決まる。
In the
(1) An image area of the same shooting site taken in an unattended state (2) An image area that does not change within a predetermined time (3) An image area that is not recognized / estimated as a person or its belongings. Here, the predetermined time means within a range of 1 minute to 1 month, preferably within a range of 1 hour to 1 week. Even in an unmanned shooting site, the
一方では撮影された原画像３０内で上記の無人画像領域３４に含まれない全ての領域を、プライバシー情報に関する領域３８と見なしても良い。
On the other hand, all areas that are not included in the
本実施形態ではプライバシー情報が含まれない無人画像３２（図３（ｃ）を用いて後述）を事前に生成する。そしてその無人画像３２を参照して、撮影された原画像３０内のプライバシー情報に関係する領域３８を抽出する。それに拠り原画像内人物２、４、６の一部が重なる（顔の一部が隠される）状況が生じても、プライバシー加工後の画像内では顔（の一部）が鮮明に表示される事が無い。すなわち上記の表示方法を採用する事で、撮影された画像や映像の内容に拠らずに安定したプライバシー保護が可能となる。
In this embodiment, an unmanned image 32 (described later using FIG. 3C) that does not include privacy information is generated in advance. Then, referring to the
本実施形態では上述した無人画像領域３４の特徴を利用し、図３（ｃ）に示す無人画像３２を生成する。すなわち上記（１）の特徴である“同一撮影現場での無人状態を撮影”する方法として例えば、夜中とか夜明け前などの人通りの無い時間帯で現場を撮影し、無人画像３２を取得しても良い。
In this embodiment, the
また他の無人画像３２生成方法として、原画像３０の撮影時刻に近い時間帯に無人画像３２を生成する方法に付いて図３を用いて説明する。まず始めに上記（２）に記載した“所定時間内で変化しない”特徴のみを利用して無人画像３２を生成する方法例を示す。
As another method for generating the
図３（ａ）は人通りがある時間帯に撮影された原画像３０を示している。人通りがある時間帯に撮影されたため、原画像３０内には４人の移動人物４２、４４，４６，４８が映っている。ここで図３（ａ）のみの原画像３０では、移動人物４２，４４，４６，４８の後ろに隠れている無人画像３２の情報（図３（ｃ）に示す画像）は得られない。
FIG. 3A shows an
次に、それよりも少し後に撮影された原画像３６を図３（ｂ）に示す。図３（ａ）に対して図３（ｂ）では移動人物４２，４４，４６，４８がそれぞれ移動した後で撮影されるため、図３（ａ）内では隠されていた（無人画像３２に対応した）部分の画像が見えている。その特徴を利用して、移動人物４２，４４，４６，４８が居無い時の無人画像３２（図３（ｃ））の生成が可能となる。
Next, FIG. 3B shows an
所で図３（ａ）と図３（ｂ）の原画像３０と３６間で異なる画像が表示された（すなわち両者間で画素値の差の絶対値が大きい）領域内には、“移動人物４２，４４，４６，４８のプライバシー情報に関係する画像”と“無人画像３２内の移動人物４２，４４，４６，４８の裏に隠された画像”のいずれかが映っている。図３には図示して無いが、図３（ｂ）よりも更に後に撮影された原画像も利用すると“無人画像３２内の移動人物４２，４４，４６，４８の裏に隠された画像”のみが抽出し易い。
In the area where different images are displayed between the
すなわち撮影時刻を互いにずらして収集した３枚の原画像内の２枚の共通画素位置では、無人画像３２の一部が映っている場合が多い。従って画素位置毎に画素値の多数決を取ると、無人画像３２に対応した画像の抽出確率が向上する。
That is, in many cases, a part of the
ここでは撮影時刻が互いに異なる３枚の原画像を用いて無人画像３２を生成する方法を説明した。しかしそれに限らず、４枚以上の原画像を用いて無人画像３２を生成しても良い。そして４枚以上の原画像を用いる事で、無人画像３２内の画素の抽出精度が向上する効果が有る。
Here, the method of generating the
所で図３に示した無人画像３２の生成方法では、移動人物４２，４４，４６，４８の中で極端に移動速度の遅い人物が含まれている場合に完全な無人画像３２が得られない場合が生じる。この様な場合には移動人物４２，４４，４６，４８の影に隠れた部分に対して画像補間処理を行う事で、生成された無人画像３２の精度を向上させても良い。
However, in the method of generating the
今までは撮影時刻が異なる複数の原画像３０、３６を用いて無人画像３２を生成する方法を説明した。しかし本実施形態ではそれに限らず、例えば図２に示す１枚のみの原画像３０に対して画像解析を行い、人物やその帰属品あるいは動物が含まれないと推定される領域を無人画像領域３４と判定しても良い。
また図３に示した無人画像３２の生成方法において、必ずしも原画像３０を撮影するカメラ（図８の撮像部１１２）は撮影現場に固定される必要は無い。例えば移動可能なカメラ（撮像部１１２）を用いて無人画像３２を生成しても良い。ここで移動可能なカメラ（撮像部１１２）で無人画像３２を生成する場合には、撮影現場で特定時間の間だけ移動可能なカメラ（撮像部１１２）を手で保持する事になる。最近は移動可能なカメラ（撮像部１１２）内に手振れ補正機能が備わっているため、カメラ（撮像部１１２）が多少揺れていても静止した画像を正確に収集することが可能となる。
So far, the method of generating the
Further, in the method for generating the
原画像３０を撮影する現場内で、ポスターの張り替えや特定設備の設置／除去などレイアウト変更が激しい場所が有る。その場所で無人画像３２生成時刻と原画像３０を撮影時刻との乖離が激しい場合、張り替えられたポスターや配置換えした特定設備などに関する不要な画像までもプライバシー情報に関係する領域３８と誤検知される可能性が高い。従って図３に示した無人画像３２生成方法を採用する事で、無人画像３２生成時刻と原画像３０を撮影時刻との時間間隔を短くできる効果が有る。
There are places in the site where the
標準的にはポスターなどは１〜２週間で張り替えられる場合が多いので、上記の時間間隔を１週間以内に設定する事が望ましい。またポスターを張り替える曜日や特定設備のレイアウト変更を実施する曜日は場所に拠り異なる。従って上記の時間間隔を１週間以内に設定しても、無人画像３２生成日の翌日にポスターやレイアウトの変更が行われる危険性が高い。多くの場合、ポスターの張り替えやレイアウト変更は混雑時に行われる可能性が低い。従って無人画像３２生成時刻と原画像３０を撮影時刻との時間間隔を１日以下に設定しても良い。しかし所定の柱や壁に持ち帰り自由なパンフレット設置場所が存在する場合には、上記時間間隔を１日以下に設定してもプライバシー情報に関係する領域３８の誤検知が生じ易い。従ってこのような場所では、上記時間間隔を２時間以下に設定するのが望ましい。
Typically, posters and the like are often replaced in one to two weeks, so it is desirable to set the above time interval within one week. In addition, the day of the week for changing the poster and the day of the week for changing the layout of specific equipment vary depending on the location. Therefore, even if the above time interval is set within one week, there is a high risk that the poster or layout will be changed the day after the
無人画像３２の他の生成方法として、前述した（３）の“画像内の人物領域や人物の帰属品領域を推定”する技術を組み合わせても良い。上述したように図３（ａ）と図３（ｂ）の原画像３０と３６間で異なる画像が表示された領域内には、“移動人物４２，４４，４６，４８のプライバシー情報に関係する画像”と“無人画像３２内の移動人物４２，４４，４６，４８の裏に隠された画像”のいずれかが映っている。そして画像解析技術を利用して、無人画像３２に含まれる画像成分を選択しても良い。
As another method for generating the
すなわち人物や動物の画像には、（頭部と胴体、足（や手）から構成される）共通した形状が含まれる。また鞄やリュックサックなどの特定人物の帰属品も（直方体や台形柱などの）特徴的な形状を有する。従って上記の人物や動物、あるいはその帰属品に特徴的な形状が含まれない画像を無人画像３２に含まれる画像成分と推定して選択しても良い。
That is, the image of a person or animal includes a common shape (consisting of a head, a torso, and a foot (or a hand)). Also, belongings of specific persons such as bags and rucksacks have characteristic shapes (such as rectangular parallelepipeds and trapezoidal columns). Therefore, an image that does not include a characteristic shape in the person or animal or the attributed item may be estimated and selected as an image component included in the
上述したように本実施形態では、無人画像３２に対する複数の生成方法が許容される。また本実施形態では唯一の無人画像３２を生成するだけで無く、上述した複数の生成方法で同時に複数の無人画像３２を生成しても良い。
As described above, in this embodiment, a plurality of generation methods for the
上記方法で生成した無人画像３２を参照して、プライバシー情報に関係する領域３８を抽出する方法を図４Ａに示す。最も簡単な抽出方法として、撮影された原画像３０（図４Ａ（ａ））と無人画像３２（図４Ａ（ｂ））との間の差分（図４Ａ（ｃ））を算出しても良い。またそれに限らず無人画像３２を参照する方法として、両者の画像に対して何らかの編集を行った後に比較しても良いし、両者の比較時に何らかの演算処理を施しても良い。
FIG. 4A shows a method of extracting an
さらに図４Ａに対する他の応用例として本実施形態では、原画像３０内の領域毎にプライバシー情報に関係する確率を算出し、その算出結果に基付いてプライバシー情報に関係する領域３８を抽出しても良い。例えば後述するように図８の人物確率分布計測部１６０内では、プライバシー情報に関係する領域３８内での特徴的な形状や時間変化を抽出し、抽出された領域毎に人物確率の値を算出する。
Further, as another application example with respect to FIG. 4A, in the present embodiment, the probability related to privacy information is calculated for each area in the
これと同じように図４Ａ（ａ）の原画像３０（及び図３（ｂ）の少し後に撮影された原画像３６）内の全ての領域から特徴的な形状や時間変化（図５（ｂ）の移動情報８８）を抽出する。次にパターンマッチング手法などで、人間や動物の体形あるいは（鞄やリュックサックなどの）人物の帰属品形状との一致度を検出してプライバシー情報に関係する確率を算出する。またそれと並行して時間変化に応じた輪郭形状変化（移動情報８８あるいはその詳細情報）と予め記憶したライブラリーデータとの一致度を検出してプライバシー情報に関係する確率に加味する。更に顔面内構成部品（目や鼻、口、髪、耳）の形状間の配置関係を調べて顔面との一致度を調べてプライバシー情報に関係する確率に加味しても良い。
In the same manner, characteristic shapes and temporal changes from all regions in the
このように算出したプライバシー情報に関係する確率が所定の判定値を超える領域をプライバシー情報に関係する領域３８と見なして抽出しても良い。ここで所定の判定値を５０％（望ましくは７０％）に設定すると、プライバシー情報に関係する領域３８に対する高い抽出精度が確保できる。
An area where the probability related to the privacy information calculated in this way exceeds a predetermined determination value may be extracted as the
このプライバシー情報に関係する確率の算出と算出結果の判定及びプライバシー情報に関係する領域３８の抽出を、上記の人物確率分布計測部１６０内で行っても良い。
The calculation of the probability related to the privacy information, the determination of the calculation result, and the extraction of the
このように抽出されたプライバシー情報に関係する領域３８を用いてプライバシー加工された画像４０の生成方法を図４Ｂに示す。すなわち撮影された原画像３０（図４Ｂ（ａ））の中で、プライバシー情報に関係する領域３８（図４Ｂ（ｂ））に該当する領域のみにプライバシー加工を施す（図４Ｂ（ｃ））。
FIG. 4B shows a method for generating an
図４Ｂ（ｃ）ではプライバシー加工された画像４０として、ぼかし処理が施されている。しかしそれに限らず他のプライバシー加工方法として、モザイク処理、塗りつぶし、形状変化、色調変化、濃度変化などの変化を加えても良いし、全く異なる画像に変換（置換）しても良い。
In FIG. 4B (c), a blurring process is performed as the privacy-processed
例えば形状変化によりプライバシー加工する具体例として、例えばマッチ棒のように横方向の幅のみを狭くしても良い。例えば混雑場所では移動人物４２〜４８間が重なり、プライバシー加工後の画像の閲覧者に取って撮影された人数の把握が難しい場合が有る。そのような混雑場所を撮影した原画像３０に対してプライバシー情報に関する領域３８の横方向の幅のみを狭くする事で、閲覧者が人数を把握し易い効果が有る。また本実施形態では無人画像３２自体は加工されないため、プライバシー情報に関する領域３８の横方向の幅のみを狭くしても閲覧者に与える違和感を最小限にできる効果も有る。
For example, as a specific example of privacy processing by a shape change, for example, only the width in the horizontal direction may be narrowed like a match stick. For example, moving
図６を用いて後述するように本実施形態では、プライバシー情報に関する領域３８内で人物が映っている領域のみを予測抽出できる。そのため人物が映っている領域に対する画像の変換（置換）例として、人物を猫やパンダなどの動物あるいは自動車や飛行機などの他の画像に変換（置換）しても良い。プライバシー加工後の画像に対する不特定多数の閲覧者が撮影現場の混雑状況のみに興味が有る場合、プライバシー加工された人物画像は余り興味を持たない。一方猫やパンダなどの小動物の画像に興味を抱く女性や自動車や飛行機などのメカニカルに興味を抱く少年は多い。従って上記のように画像変換（置換）する事で、閲覧者に好感を与えると共に興味を持って貰える効果が生じる。
As will be described later with reference to FIG. 6, in this embodiment, it is possible to predict and extract only an area where a person is shown in the
上記の閲覧者に表示もしくは送信する画像の作成方法を図４Ｃに示す。図４Ｂを用いて上述した方法で得られたプライバシー加工された画像４０（図４Ｃ（ａ））を事前に収集された無人画像３２（図４Ｃ（ｂ））に重ねる事で図４Ｃ（ｃ）に示す画像を生成できる。この場合には無人画像３２の上部層（手前側）にプライバシー加工された画像４０を重ねる。このように重ねる操作の段階でプライバシー加工された画像４０自体にある程度の透明度を持たせて背景の無人画像３２が見えるようにさせても良い。例えば撮影現場が移動人物４２〜４８で非常に混雑している場合、背景の無人画像３２が見え辛く、閲覧者にとって撮影現場の識別が難しくなる。上記のように透明度を持たせて背景の無人画像３２が見えると、どんなに混雑しても閲覧者が撮影現場を識別し易くなる効果が生じる。
A method for creating an image to be displayed or transmitted to the viewer is shown in FIG. 4C. By superimposing the privacy-processed image 40 (FIG. 4C (a)) obtained by the method described above with reference to FIG. 4B on the unattended image 32 (FIG. 4C (b)) collected in advance, FIG. 4C (c) Can be generated. In this case, the privacy-processed
上記に説明した本実施形態での画像の表示方法に対する応用例を図５〜図７を用いて説明する。 Application examples for the image display method in the present embodiment described above will be described with reference to FIGS.
プライバシー情報に関係する領域３８に対するプライバシー加工方法として上記のモザイク処理、ぼかし、塗りつぶし、形状変化、色調変化、濃度変化や画像変換（置換）に限らず、プライバシー情報に関係する領域３８自体の移動情報も同時に持たせる方法を図５に示す。
The privacy processing method for the
図５（ａ）の原画像例８２内では、左側の人物が左から右に向かって移動し、右側の人物がしゃがむ（すなわち下に沈む）行動を行っている。この場合には時系列的に原画像８２を収集し、時間のずれに応じたプライバシー情報に関係する領域３８の移動を検出して人物の移動方向を抽出できる。
In the original image example 82 in FIG. 5A, the left person moves from left to right, and the right person squats (ie, sinks down). In this case, the original image 82 is collected in time series, and the movement direction of the person can be extracted by detecting the movement of the
上記の方法で抽出した移動情報例８８を図５（ｂ）内の矢印で示す。そしてその移動情報８８を用いて原画像８２全体をプライバシー加工した例５２を図５（ｃ）に示す。この図５（ｃ）の例では、移動情報８８を用いる前のプライバシー加工方法として“ぼかし”を掛けている。しかしそれに限らず、上述した任意の方法でプライバシー加工を行っても良い。
The movement information example 88 extracted by the above method is indicated by an arrow in FIG. FIG. 5C shows an example 52 in which the entire original image 82 is privacy-processed using the
上記のプライバシー加工に上記の移動情報８８を加味する方法として図５（ｃ）の例では、所定時間前に撮影したプライバシー情報に関係する領域３８内の画像を重ねて表示している。また重ねて表示する時の透明度にグラデーションを掛け、移動方向が見や易い工夫もなされている。すなわち図５（ｃ）に示すように、撮影した画像の古い順に透明度を高くする事で、移動人物の移動方向が見易くなっている。
In the example of FIG. 5C, as the method of adding the
さらに図５（ｃ）から分かるように、重ねて表示した所定時間前の人物位置との“ずれ量”に拠り、移動速度を表現しても良い。すなわち左側人物では“ずれ量”が大きく、比較的高速で移動している様子が分かる。一方では右側人物の“ずれ量”は小さく、ゆっくり移動している様子が分かる。 Further, as can be seen from FIG. 5C, the moving speed may be expressed based on the “deviation amount” with respect to the person position displayed a predetermined time before overlapping. That is, it can be seen that the left person has a large “deviation amount” and is moving at a relatively high speed. On the other hand, the “deviation amount” of the right person is small and it can be seen that the person is moving slowly.
このように過去に撮影した画像の一部を重ね表示する事で人物の移動方向と移動速度が表現でき、人物の移動状況を閲覧者（不特定多数者）が容易に把握できる効果が有る。所で移動人物の移動方向と移動速度の表示方法として上記に限らず、任意の他の方法を使用しても良い。例えば移動の速度と方向を、長さの異なる矢印で示しても良い。 In this way, by overlapping and displaying a part of images taken in the past, the moving direction and moving speed of the person can be expressed, and there is an effect that the viewer (unspecified majority) can easily grasp the movement state of the person. The display method of the moving direction and moving speed of the moving person is not limited to the above, and any other method may be used. For example, the speed and direction of movement may be indicated by arrows having different lengths.
また移動人物の移動速度に応じて、移動人物を表示する色を変化させても良い。一般的に青系色よりも赤系色の方が目立つ特徴が有る。従って移動速度が速くなるに応じて、変換色を青系色から赤系色に変えても良い。また移動する方向に応じて変換色を濃く表現しても良い。このように色変化や濃度変化で移動人物の移動方向と移動速度を変化させた場合には、過去に撮影した画像の一部を重ね表示する必要が無くなり、プライバシー情報に関係する領域３８を狭く表現できる効果が有る。
The color for displaying the moving person may be changed according to the moving speed of the moving person. In general, there is a characteristic that the red color is more conspicuous than the blue color. Therefore, the conversion color may be changed from a blue color to a red color as the moving speed increases. Further, the converted color may be expressed deeply according to the moving direction. In this way, when the moving direction and moving speed of the moving person are changed by the color change or the density change, it is not necessary to superimpose a part of the image taken in the past, and the
所で図５（ｄ）は、図４Ａで説明した方法で抽出されたプライバシー情報に関係する領域例５４を示す。また図５（ｅ）は、図３で説明した方法で生成した無人画像５６の例を示す。そして図５（ｄ）を利用して図５（ｃ）と図５（ｂ）を合成して生成した図が図５（ｆ）に相当する。この図５（ｆ）で生成された画像が送信／表示する画像５８として不特定多数者に閲覧される。
FIG. 5D shows an example region 54 related to privacy information extracted by the method described with reference to FIG. 4A. FIG. 5E shows an example of the
例えば撮影現場が混雑状態に有り、複数人物が重なった状態でプライバシー情報に関係する領域３８が構成されている場合の表示例を図６に示す。すなわち図６（ａ）が示す原画像例８４では、右側で２名の人物が重なって撮影されている。この原画像８４をプライバシー加工すると図６（ｂ）の全体をプライバシー加工した例６２に示すように、全体的に均一にぼけた画像が生成される。但し図示して無いが、プライバシー加工の強さ（たとえば“ボケ量”の強さ）が異なる複数のプライバシー加工後の画像６２を準備しておく。
For example, FIG. 6 shows a display example when the shooting site is in a congested state and a
所で図８の人物確率分布計測部１６０を用いて後述するように、抽出されたプライバシー情報に関係する領域６４内での領域毎の人物らしさの確率を推定算出する。その結果として図６（ｃ）に示すように、プライバシー情報に関係する領域６４内で異なる人物確率分布に対応した領域分割がなされる。ここでは右側で重なって撮影された２名の中で後ろ側の人物の体形輪郭の一部（あるいは顔面の一部）が、前側の人物で隠されている。その結果として後ろ側の人物が映っている領域内では、人物確率が低くなっていると見なす。
Then, as will be described later using the person probability
図６（ｃ）の情報を用い、図６（ｂ）で得られた複数のプライバシー加工後の画像６２と図６（ｄ）に示す無人画像６６と重ねた結果を図６（ｅ）に示す。図６（ｅ）で表示するように、プライバシー情報に関係する領域６４内で人物らしさ（人物確率）が低い領域の透明度を高めるとともに、プライバシー加工の強度（例えば“ぼかし量”）を大きくさせる。
FIG. 6E shows the result of overlaying the plurality of privacy-processed
このようにプライバシー情報に関係する領域６４内の人物らしさ（人物確率）の低い領域の透明度を上げるもしくは非表示とする（あるいはプライバシー加工の強度を大きくさせる）事で、不必要な画像領域の表示を制限できる。その結果としてプライバシー情報に関係する領域６４内の人物らしい（人物確率の高い）領域の表示を相対的に際立たせ、不特定多数の閲覧者に対して見易い画像を提供できる効果が生まれる。 In this way, display of unnecessary image areas can be achieved by increasing or hiding the transparency (or increasing the strength of privacy processing) of the low-person-like (person probability) area in the area 64 related to privacy information. Can be limited. As a result, the display of an area that seems to be a person in the area 64 related to the privacy information (high probability of person) is relatively emphasized, and an image that is easy to view for an unspecified number of viewers can be provided.
特に図６（ｅ）の画像と従来技術を使用して得られる図１（ｃ）とを比較すると明らかなように本実施形態の表示方法を利用すると、障害物などにより一部が隠された人物に対するプライバシー保護機能（図１（ｃ）では顔が鮮明に表示されるのに比べ、図６（ｅ）では非表示状態となっている）が格段に改善される。 In particular, when the display method of the present embodiment is used as is apparent from a comparison between the image of FIG. 6E and FIG. 1C obtained using the conventional technique, a part of the image is hidden by an obstacle or the like. The privacy protection function for a person (the face is clearly displayed in FIG. 1C is not displayed in FIG. 6E) is significantly improved.
図７ではプライバシー情報に関係する領域７４内の領域位置により表示方法（プライバシー加工方法）を変える応用例を示している。
FIG. 7 shows an application example in which the display method (privacy processing method) is changed depending on the region position in the
不特定多数者に特定人物の画像が公開された場合、その特定人物の顔（頭部）を認識されて個人特定される危険性が高い。そのため顔（頭部）の表示領域にプライバシー加工（モザイク、塗りつぶし、ぼかし、色変換、濃度変換、形状変換や別画像への置換等）を施すことで、個人特定が困難となる。 When an image of a specific person is disclosed to an unspecified majority, there is a high risk that the face (head) of the specific person is recognized and specified as an individual. Therefore, it is difficult to identify individuals by applying privacy processing (mosaic, painting, blurring, color conversion, density conversion, shape conversion, replacement with another image, etc.) to the display area of the face (head).
一方では、顔を除いた体の表示領域を認識する事で、その人物が所属する組織や団体が特定され易い特徴が有る。例えば中学生や高校生が着用している制服の形状や色から、部活動から帰宅途中の生徒が通う中学校名や高校名が推察できる。従って撮影された原画像８６内で例えば服の色もしくは形状を変える事で、その人物が所属する組織や団体の特定を困難にする。
On the other hand, by recognizing the display area of the body excluding the face, there is a feature that the organization or group to which the person belongs can be easily specified. For example, the name of the junior high school or high school where students on their way home from club activities can be inferred from the shape and color of uniforms worn by junior high school students and high school students. Therefore, for example, by changing the color or shape of clothes in the photographed
上記状況に対応して後述する図８内の頭範囲検出部１５２と体範囲検出部１５４を利用し、図７（ｃ）で抽出されたプライバシー情報に関係する領域７４内の頭範囲と体範囲を個別に自動認識しても良い。その認識結果に基付き図７（ｂ）や（ｅ）では、服の色や形状を変化させている。
Corresponding to the above situation, the head range and body range in the
本実施形態における原画像８６に対するプライバシー加工方法では、モザイク、塗りつぶし、ぼかし、色変換、濃度変換、透明度変化、形状変換や別画像への置換など多種多様な加工方法を許容する。そして図７（ｅ）に示す応用例では、同一人物内の（顔面を含む）頭部と頭部以外の体領域内の少なくとも一部（例えば着衣部など）で異なる方法によってプライバシー加工された画像が送信または表示される。ここで頭部以外の体（もしくは着衣部などの体の一部）と異なるプライバシー加工を施す“頭部”とは、必ずしも頭部全体の必要は無く、例えば顔面や髪形など頭部の一部でも良い。更に異なるプライバシー加工例として、例えば“ぼかし量”を変えるなどのプライバシー加工の強度を変えても良い。
In the privacy processing method for the
上記の頭部と頭部以外の体領域（の少なくとも一部）で異なるプライバシー加工を行う具体例を以下に説明する。頭部（あるいは顔面や髪形など頭部の一部）の領域に行うプライバシー加工例として、強力にモザイクやぼかし、塗りつぶしを行って個人特定を難しくしても良いし、また頭部のみを猫や犬などの動物の頭または乗り物に変換して女性や子供の閲覧者に好感を与えても良い。一方頭部以外の体領域（の少なくとも一部）に行うプライバシー加工例としては、モザイクやぼかし、塗りつぶしなどの処理を軽度に行うと共に、着衣部や帽子の色や形状を変化させて所属組織や団体の特定を困難にしても良い。 A specific example in which different privacy processing is performed in the above-mentioned head and at least a part of the body region other than the head (at least a part thereof) is described below. As an example of privacy processing on the area of the head (or part of the head such as the face or hairstyle), it may be difficult to identify individuals by powerfully mosaicing, blurring, or painting, or only the head may be a cat or It may be transformed into the head or vehicle of an animal such as a dog to give a favorable impression to the viewers of women and children. On the other hand, as an example of privacy processing to be performed on (at least a part of) a body region other than the head, processing such as mosaic, blurring, and painting is performed lightly, and the color and shape of the clothing part and hat are changed, It may be difficult to identify the organization.
上記のように個人特定を困難にするために頭部（または顔面や髪形）に施す最適なプライバシー加工方法と、その人物が所属する組織や団体の特定を困難にするために頭部以外の体（の一部）に施す最適なプライバシー加工方法は異なる場合が多い。従って図７（ｅ）に示す送信または表示する画像では、頭部（または顔面や髪形）と頭部以外の体（の一部）でのプライバシー加工方法を個別に最適化している。その結果として個人特定と組織・団体の特定を同時に困難にし、プライバシー保護機能を高める効果が生まれる。 As described above, the most suitable privacy processing method applied to the head (or face or hairstyle) to make it difficult to identify individuals, and the body other than the head to make it difficult to identify the organization or group to which the person belongs. The optimal privacy processing method applied to (part of) is often different. Therefore, in the image to be transmitted or displayed shown in FIG. 7E, the privacy processing method for the head (or face or hairstyle) and the body (part of the body) other than the head is individually optimized. As a result, it is difficult to identify individuals and organizations / organizations at the same time, and the effect of enhancing the privacy protection function is produced.
上述した本実施形態のおける画像や映像の表示方法について、再度まとめて記載する。撮影された原画像３０（図２）と送信／表示する画像例６８、７８（図６（ｅ）、図７（ｅ））は共に、プライバシー情報を含まない無人画像領域３４、６６、７６とプライバシー情報に関係する領域３８、６４、７４に領域分割（分離）できる。そしてプライバシー情報に関係する領域３８、６４、７４内でプライバシー加工された後の画像例６８、７８が送信／表示される。
The image and video display method in the above-described embodiment will be described again collectively. The photographed original image 30 (FIG. 2) and transmitted / displayed image examples 68 and 78 (FIG. 6 (e) and FIG. 7 (e)) are both
ここで事前に生成された無人画像領域３２（図３（ｃ））を参照して、撮影された原画像３０内のプライバシー情報に関係する領域３８が抽出される。その結果として、人物の顏の一部しか映っていない画像に対しても安定にプライバシー加工が行われる効果が有る。上記の説明を別の角度から眺めると、本実施形態のおける送信／表示する画像例６８、７８内にはプライバシー情報を含まない無人画像領域６６、７６とプライバシー加工後の画像領域を含んでいると言える。また前記プライバシー加工後の画像領域内にはプライバシー情報が含まれ、更に前記プライバシー情報として人物の顏の一部が含まれ得ると言える。
Here, with reference to the unmanned image area 32 (FIG. 3C) generated in advance, an
今まで説明した図２〜図７の表示方法を実現する撮影システムの構造を図８に示す。撮像部（カメラ）１１２で撮影された原画像３０は、画像加工部１０４内で加工生成された後、画像送信部１２０から表示部１２２へ向けて送信される。また上記の画像加工部１０４内に、無人画像生成部１３０とプライバシー加工部１１６及び画像合成部１１８が含まれる。
FIG. 8 shows the structure of an imaging system that implements the display methods shown in FIGS. The
上記無人画像生成部１３０内では、撮影された原画像３０を用いてプライバシー情報を含まない無人画像３２（図３（ｃ））を生成する。一方でプライバシー加工部１１６は撮影された原画像３０内のプライバシー情報に関係する領域３８（図２）の中に存在する画像に対してプライバシー加工を行う。また、画像合成部１１８では、前記プライバシー加工部１１６で生成されたプライバシー加工された画像４０（図４Ｂ（ｃ））と前記無人画像３２とを合成する。
In the unmanned
図３を参照しながら、図８の撮影システム内で無人画像３２を生成する方法の説明を行う。撮影現場で得られる原画像３０は、撮像部（カメラ）１１２によって撮影される。そしてその原画像３０は画像／画像取得部１１４を経由して画像蓄積部１３２に転送された後、画像履歴保存部１３４内に保存される。
A method for generating the
無人画像生成部１３０では画像履歴保存部１３４内に保存された原画像３０（図３（ａ））と、それより後に撮影された原画像３６（図３（ｂ））と比較する。そして無人画像３２（図３（ｃ））内の原画像３０の人物４２〜４８の後ろに隠れた領域を抽出する。前述したように、無人画像生成部１３０内で使用する画像は図３（ａ）と図３（ｂ）に示した２枚の画像だけでなく、その時間的な前後に撮影された複数枚の画像を用いて無人画像３２を生成することができる。また動きが遅い移動人物のために無人画像３２の一部が生成できない場合には、自動補間処理を実施する。
The unmanned
所で前述したように前記無人画像生成部１３０では、作成方法の異なる無人画像（１）３２−１と無人画像（２）３２−２を同時に生成しても良い。その具体例としては、画像合成部１１８に転送される無人画像（１）３２−１は（夜中とか夜明け前などの）人通りの無い時間帯で現場を撮影して取得される。一方では頭範囲抽出部１５２や体範囲抽出部１５４、人物確率分布制御部１６０で使用される無人画像（２）３２−２は、人通りがある時間帯に撮影された原画像３０、３６（図３での説明内容参照）から生成される。このように同時に作成方法の異なる複数の無人画像（１）３２−１と無人画像（２）３２−２を作成し、使用目的に応じて最適な無人画像（１）３２−１と無人画像（２）３２−２を送信する事で非常に精度と表現力の高い画像を送信／表示できる効果が生まれる。
As described above, the unmanned
すなわち送信／表示する画像６８内ではプライバシー保護の観点から、鮮明な人物が表示される事は強く禁止される。また人通りの無い時間帯で現場を撮影して無人画像（１）３２−１を取得する段階で、無人画像（１）３２−１内に人物が映らない状況を撮影者が確認できる。従ってその無人画像（１）３２−１を使用して作成した送信／表示する画像６８内でプライバシー情報に関係する画像を含ま無い状況を保証できる。
That is, in the
一方で人通りの無い時間帯で取得した無人画像（１）３２−１と原画像３０（図４Ａ（ａ））との間での撮影時刻の乖離が激しいと、撮影時刻の違いによって発生した不必要な影などの影響で、プライバシー情報に関係する領域３８（図４（ｃ））の抽出精度が低下する。そのため頭範囲抽出部１５２や体範囲抽出部１５４、人物確率分布制御部１６０で使用される無人画像（２）３２−２の撮影時刻は、原画像３０の撮影時刻に近い方がプライバシー情報に関係する領域３８のの抽出精度が向上する。
On the other hand, when the difference in the shooting time between the unmanned image (1) 32-1 acquired in the time zone without traffic and the original image 30 (FIG. 4A (a)) is severe, it occurred due to the difference in the shooting time. The extraction accuracy of the area 38 (FIG. 4C) related to the privacy information is lowered due to an unnecessary shadow or the like. Therefore, the shooting time of the unmanned image (2) 32-2 used by the head
上記の無人画像（２）３２−１を参照して、無人画像生成部１３０から出力される撮像部１１２から画像取得部１１４を経て転送される原画像３０内のプライバシー情報に関係する領域３８を抽出する（図４Ａを用いた説明内容参照）。
With reference to the unmanned image (2) 32-1, the
さらに図６の応用例の場合には、プライバシー情報に関係する領域３８内の領域毎に人物らしさ（人物確率）を評価し、人物らしい（人物確率が高い）領域と人物らしくない（人物確率が低い）領域間でプライバシー加工方法を変化させる。そのために必要な人物確率が、人物確率分布計測部１６０内で算出される。
Further, in the case of the application example of FIG. 6, the individuality (person probability) is evaluated for each area in the
前記人物確率分布計測部１６０内では、プライバシー情報に関係する領域３８内での領域毎の形状とその時間変化（に基付く形状変化）を利用して人物確率が算出される。すなわち直立状態の人物は、最上部に頭、次に胸、腹、足の順番に配置されている。従って前記人間の体形とプライバシー情報に関係する領域３８内の各領域の外形をパターンマッチング手法を用いて一致度を算出する。すなわち人間の体形に形状を有した領域では、人物確率が高いと見なす。一方で人物は両足を動かして移動すると共に両腕を動かして移動する。従ってプライバシー情報に関係する領域３８の輪郭形状の時間変化に応じた変化状態が足の動きや手の動きに合致した領域では、人物確率が高いと見なす。他方で形状変化しないまま移動する領域に関しては、鞄などの人物の所有物や車と見なし、人物確率の値を小さくする。
In the person probability
プライバシー加工の方法としては、ぼかし、モザイク、塗りつぶし、他の生き物への形状変化や縦横比率を変化させる形状変化、もしくは形状変化、色彩変化、明度変化等を行うが前記プライバシー加工部１１６で行うプライバシー情報に関係する領域の加工は一種類ではなく、複数種類のプライバシー加工方法が使用できる。そして、図４Ｃで説明したように、画像合成部１１８でプライバシー加工された画像４０と無人画像３２が合成される。この画像合成に先立ち、人物確率分布計測部１６０内でプライバシー情報に関係する領域３８内の領域毎の人物確率が算出される。そしてその領域毎に算出された人物確率値に基づき、前記複数種類のプライバシー加工された画像４０の中から最適画像が選択されて合成される。その結果として、人物らしさに応じて異なるプライバシー加工された画像（図６（ｅ））が表示される。
Privacy processing methods include blurring, mosaic, painting, shape changes to other creatures, shape changes that change the aspect ratio, shape changes, color changes, brightness changes, etc. The processing of the area related to information is not one type, and a plurality of types of privacy processing methods can be used. Then, as described with reference to FIG. 4C, the
頭範囲検出部１５２では、抽出されたプライバシー情報に関係する領域３８内での特徴的な形状の抽出がなされる。人物の頭部は顔面領域と髪形領域から構成される。また上記顔面領域内では目や鼻、口、眉毛（と耳）がそれぞれ固有の形状を形成しながら所定位置に配置される。これらの各領域の配置状況をパターンマッチング手法などを用いて抽出する事で、プライバシー情報に関係する領域３８内での頭部の範囲を検出する。
The head
例えば図３（ｂ）の移動人物４４など小さく映った人物では顔面内での目や鼻、口、眉毛（と耳）の配置関係の解析は難しい。このような場合には縦に細長い人体形状を抽出し、その上部が頭部に該当すると推定しても良い。
For example, it is difficult to analyze the positional relationship between the eyes, nose, mouth, and eyebrows (and ears) in the face of a small person such as the moving
体範囲検出部１５４でも同様に、抽出されたプライバシー情報に関係する領域３８内での特徴的な形状の抽出がなされる。そして予め準備した人体形状との間のパターンマッチング処理等により、人体領域を推定する。
Similarly, the body
このように頭範囲検出部１５２と体範囲検出部１５４で推定（検出）された頭部とこの頭部以外の体領域を抽出する。そしてその抽出結果を利用して頭部と頭部以外の体領域で異なるプライバシー加工を施す（図７（ｅ））。
In this manner, the head estimated (detected) by the head
図５（ｆ）に示す人の動きを表現する画像５８は、画像履歴保存部１３４及び移動情報抽出部１３６、移動情報の履歴保存部１３８、移動情報集計部１４０を利用して作成する。画像取得部１１４から画像蓄積部１３２を経て蓄積された画像は、画像履歴保存部１３４に逐次保存される。
The image 58 representing the movement of the person shown in FIG. 5F is created using the image history storage unit 134, the movement
画像履歴保存部１３４に保存される画像履歴に関する管理情報の一例を図１５に示す。個々の画像は図１５内の画像の欄内に保存される。またこの画像を撮影した撮像部（カメラ）１１２の識別情報（カメラＩＤ）と撮影時刻が管理情報の一部として記録される。 An example of the management information related to the image history stored in the image history storage unit 134 is shown in FIG. Individual images are stored in the image column in FIG. In addition, identification information (camera ID) of the imaging unit (camera) 112 that has captured the image and a shooting time are recorded as part of the management information.
移動情報抽出部１３６では、画像履歴保存部１３４から得られる過去に取得した画像と現在取得された原画像８２とを比較する。そこで得られた差分情報が移動情報８８（図５（ｂ））として、移動情報の履歴保存部１３８内に逐次保存される。
The movement
移動情報の履歴保存部１３８内に保存される移動情報８８の履歴に関する管理情報の一例を図１４に示す。移動情報８８の元になる原画像８２を撮影した撮像部（カメラ）１１２の識別情報（カメラＩＤ）が記載されている。また移動情報抽出部１３６内で移動情報８８が算出された時刻情報が、計測時刻として記録される。
An example of management information relating to the history of the
図５（ｂ）に示すように、移動情報８８は変位ベクトル情報として管理される。すなわち過去に取得した画像と現在取得された原画像８２とを比較結果得られる差分情報（移動情報８８）において、差分が発生した画素位置が“画像内領域座標”（変位ベクトルの始点座標）として管理される。また移動量が変位ベクトルの長さ、移動方向が変位ベクトルの向きで表される。従って変位ベクトルの終点（先端）位置を表す座標が、“移動ベクトル”の座標として記録される。
As shown in FIG. 5B, the
そして移動情報集計部１４０内で移動情報の履歴保存部１３８内に保存された移動情報８８を集計し、その結果に基付いてプライバシー加工部１１６内で人物の移動を表現してプライバシー加工した画像５２（図５（ｃ））を生成する。
Then, the
上記一連の処理結果で得られた送信／表示される画像５８、６８、７８は、画像送信部１２０から表示部（パソコン、スマートフォン、電子掲示板など）１２２に転送され、表示部上で表示される。
The
本実施形態における撮影システム１０２では内部にデータ処理／データベース管理部１０６を有し、プライバシー情報（や人物通行）に関係するデータの蓄積／統計処理が同時並行できる。このように表示部１２２に送信／表示される画像５８、６８、７８を表示して不特定多数者に閲覧可能にするだけでなく、同時に撮像部（カメラ）１１２で撮影した原画像３０を利用したデータ処理／データベース管理が行える。このように撮像部（カメラ）１１２で撮影した原画像３０を複数目的に利用できるため、原画像３０の利用効率を向上させる効果が有る。
The photographing
具体的には人物確率分布計測部１６０で算出した画像内の領域毎の人物確率を利用し、撮影した原画像３０内に映った人数を人数集計部１６２内で推定する。その結果は混雑履歴保存部１６４内に逐次保存され、混雑状況統計処理システム１６８内で統計処理されて撮影現場内での混雑状況の時間変化が分かる。
Specifically, the number of people reflected in the photographed
この混雑履歴保存部１６４内に保存された混雑履歴に関する管理情報の一例を図１６に示す。混雑履歴情報の元になる原画像８２を撮影した撮像部（カメラ）１１２の識別情報が、カメラＩＤとして記載されている。また人数集計部１６２内で推定して得られた混雑履歴情報の算出日時情報が、計測時刻として記録される。また図１４内の画像内領域座標と同様に、原画像８２内で特に混雑した場所が座標で記録されるとともに、その場所での混雑状況が混雑値として記録される。ここで前記の混雑値は、座標で指定された対象領域の人数や人口密度などを表している。
An example of management information relating to the congestion history stored in the congestion
図８では撮像部（カメラ）１１２と画像加工部１０４が近接して描かれている。しかしそれに限らず図９のように、撮像器（カメラ）２５２と送信／表示する画像を生成するコンピュータ２５６が離れた位置に配置されても良い。
In FIG. 8, the imaging unit (camera) 112 and the
撮像器（カメラ）２５２内部は撮像部２６４と撮影した画像を一時保管する半導体メモリ部２６６、通信部２６２から構成されている。また上記通信部２６２は有線または無線回線を通じてインターネット２００に接続され、撮像部２６４で撮影された原画像３０がインターネット２００を経由してコンピュータ２５６内の通信部２７２に有線または無線回線を通じて送信される。なお撮像器（カメラ）２５２とコンピュータ２５６間の原画像３０送信にはインターネット２００の回線を使用する代わりに専用のネットワーク回線を使用しても良い。
The imaging device (camera) 252 includes an
送信／表示する画像６８を生成するコンピュータ２５６は、大形コンピュータに限らず中形の汎用コンピュータやパーソナルコンピュータで有っても良い。撮像器（カメラ）２５２から転送された原画像３０は一時的にメモリ部２７６内に保存される。そしてメモリ部２７６から表示部２７４に表示された原画像３０は、入力部２７８を操作して送信／表示する画像６８が生成される。ここでこれらの一連の処理は制御部２７０で行われる。すなわち図８の画像加工部１０４やデータ処理／データベース管理部１０６内の処理は、制御部２７０で実行されるプログラムにそって進められる。
The
コンピュータ２５６内の処理で作成された送信／表示する画像６８は、インターネット２００を経由してウェブ・サーバ２０２内のデータベース２２６内に保存される。そして不特定多数者が閲覧用に使用する携帯端末２５０はインターネット２００を経由し、上記ウェブ・サーバ２０２から送信／表示する画像６８の閲覧を行う。 また携帯端末２５０が送信／表示する画像６８の閲覧を行うためのアクセス先は上記に限らず、所定のデータベース２２８を持つデータベースサーバ２０４でも良い。
The
本実施形態では送信／表示する画像６８に限らず、無人画像３２もウェブ・サーバ２０２内のデータベース２２６あるいはデータベースサーバ２０４内のデータベース２２８内に事前に送信しても良い。携帯端末２５０の表示部２８４内に表示される表示切替指定領域２８８をユーザが操作する事で、上記表示部２８４に表示させる画像を無人画像３２に切り替える事が可能となる。携帯端末２５０を使用するユーザの一部は撮影現場の混雑状況に興味が有り、プライバシー保護された混雑状況の画像を閲覧する。しかし携帯端末２５０を使用するユーザに拠っては、背景の景色を表示する無人画像３２に興味を示す場合が有る。このように送信／表示する画像６８と共に無人画像３２を予め送信する事で、多様なユーザに対応した多様な画像を表示できる効果が有る。
In the present embodiment, not only the
本実施形態の他の応用例として、図１０に示すように、図８の画像加工部１０４やデータ処理／データベース管理部１０６に対応した処理を実行する制御部２４０と撮像部（カメラ部）２４６を携帯端末２０６内に共に内蔵させても良い。この場合には原画像３０の撮影と送信／表示する画像６８の作成を同一の携帯端末２０６内で行っても良い。
As another application example of the present embodiment, as shown in FIG. 10, a
この場合には図８の画像加工部１０４内での機能の一部をグラフィクスコントローラ２４８に持たせても良い。しかし画像加工部１０４に示す大部分は制御部２４０（およびグラフィクスコントローラ２４８）内で実行するプログラム（ソフトウェア）で実行される。
In this case, the
図１０の携帯端末２０６において、高速な画像処理に関係する撮像部（カメラ部）２４６とグラフィクスコントローラ２４８、半導体メモリ部２３６、制御部２４０間は高速転送用のノースブリッジ２４２で接続する。一方表示部２３４や通信部２３２などの比較的低速でのデータ転送を許容する部分での接続には、サウスブリッジ２４４を使用する。
In the
上記携帯端末２０６内で作成した送信／表示する画像６８や無人画像３２を閲覧する場合には、図９と同様に通信部２２２と表示部２２４が内蔵された携帯端末２１０を使用しても良い。またそれに限らず、ルーター２０８を経由して固定据え置き形のインターネット接続テレビ２１２やパソコン２１４、電子掲示板２１６に表示させても良い。
When viewing the
図９の制御部２７０や図１０の制御部２４０（あるいはグラフィクスコントローラ２４８）内で実行するプログラム（ソフトウェア）の基本アーキテクチャを図１１に示す。
FIG. 11 shows a basic architecture of a program (software) executed in the
図８の撮像部（カメラ）１１２を用いた撮影制御と画像送信部１２０内での外部への通信制御は、携帯端末制御用メインプログラム（クラス）３０８が担う。ここで図９のコンピュータ２５６に内蔵された制御部２７０内でプログラム実行する場合は、携帯端末制御用メインプログラム（クラス）３０８に相当するメインプログラム（クラス）を使用する。
The mobile terminal control main program (class) 308 performs shooting control using the imaging unit (camera) 112 in FIG. 8 and external communication control in the
この携帯端末制御用メインプログラム（クラス）３０８内の下位プログラム（サブプログラムやメソッド）に位置するカメラコントロールサブプログラム／メソッド（カメラコントローラ）３１６が、撮像部（カメラ部）２４６の制御を行う。 A camera control subprogram / method (camera controller) 316 located in a lower program (subprogram or method) in the main program (class) 308 for mobile terminal control controls the imaging unit (camera unit) 246.
またここで撮影された原画像３０を半導体メモリ部２３６内に一時保存する場合には、メモリコントロールサブプログラム／メソッド（メモリコントローラ）３１８を使用する。図１０で既に説明した撮影システム応用例では、撮影された原画像３０は携帯端末２０６内の半導体メモリ部２３６内に一時保存される。一方では図９の撮影システムにおける撮影された原画像３０の一時保存先は、コンピュータ２５６内のメモリ部２７６となる。従ってこの場合には、前記メモリコントロールサブプログラム／メソッド（メモリコントローラ）３１８と後述する専用のメモリメモリコントロールサブプログラム／メソッド（専用メモリコントローラ）は、コンピュータ２５６内のメモリ部２７６を制御（ドライブ）する。
Further, when the
図８内の画像加工部１０４とデータ処理／データベース管理部１０６内の機能は、プライバシー保護対応画像編集用サブプログラム／メソッド３００が担う。すなわち携帯端末制御用メインプログラム（クラス）３０８内で呼び出すプライバシー保護対応制御サブプログラム／メソッド（プライバシー保護コマンダ）３１４から専用ＡＰＩ（Application Programming Interface）３０４を使用して、上記のプライバシー保護対応画像編集用サブプログラム／メソッド３００に対して所定の処理指示を出す。
The functions in the
一方で上記プライバシー保護対応画像編集用サブプログラム／メソッド３００内ではインタープリタサブプログラム／メソッド（インタープリタ）３２４が上記の専用ＡＰＩ３０４を用いたコマンドを受けて、指示コマンド内容を解釈する。そしてその結果を基にプライバシー保護対応統合プログラム／クラス（インテグレータ）３３０が、上記プライバシー保護対応画像編集用サブプログラム／メソッド３００内で設定された各サブプログラム／メソッドを呼び出して上記の指示に沿った実行処理を行う。
On the other hand, in the privacy protection compliant image editing subprogram /
ここで図８の画像履歴保存部１３４と移動情報の履歴保存部１３８、混雑履歴保存部１６４内に保存される情報は、半導体メモリ部２３６内の異なる領域内にそれぞれ保存される。このように本実施形態では半導体メモリ部２３６へのアクセスを頻繁に行うため、上記専用の半導体メモリ部２３６へのアクセス制御を担うメモリメモリコントロールサブプログラム／メソッド（専用メモリコントローラ）３２８を各サブプログラム／メソッドの直下に配置している。これにより各サブプログラム／メソッド内での半導体メモリ部２３６へのアクセス制御の高速化が図れる効果が有る。
Here, the information stored in the image history storage unit 134, the movement information
所で図１１内の無人画像作成用サブプログラム／メソッド（バックグラウンドジェネレータ）３３２は、図８内の画像蓄積部１３２、画像履歴保存部１３４、無人画像生成部１３０の機能を担う。ここでこの無人画像作成用サブプログラム／メソッド（バックグラウンドジェネレータ）３３２内の詳細な実行フローは図１２内の右側に記載したフローチャートに対応する。
11 is responsible for the functions of the
また図１１内の移動情報抽出／管理用サブプログラム／メソッド（ムービングパートイクストラクタ）３３４は、図８内の画像履歴保存部１３４、移動情報抽出部１３６、移動情報の履歴保存部１３８、移動情報集計部１４０の機能を担う。そしてこの移動情報抽出／管理用サブプログラム／メソッド（ムービングパートイクストラクタ）３３４内の詳細な実行フローは、図１２内の左側に記載したフローチャートに対応する。
Further, the movement information extraction / management subprogram / method (moving part extractor) 334 in FIG. 11 includes an image history storage unit 134, a movement
更に図１１内の送信／表示用画像生成用サブプログラム／メソッド（プライバシープロテクタ）３３６は、図８内の頭範囲検出部１５２、体範囲検出部１５４、人物確率分布計測部１６０、プライバシー加工部１１６、画像合成部１１８の各機能を担う。またこの送信／表示用画像生成用サブプログラム／メソッド（プライバシープロテクタ）３３６内の詳細な実行フローは、図１３に示すフローチャートに対応する。
Further, the transmission / display image generation subprogram / method (privacy protector) 336 in FIG. 11 includes a head
そして図１１内のプライバシー情報（や人物通行）に関係するデータの蓄積／統計処理の制御用サブプログラム／メソッド（データマネージャ）３３８は、図８内のデータ処理／データベース管理部１０６内の機能を担う。このプライバシー情報（や人物通行）に関係するデータの蓄積／統計処理の制御用サブプログラム／メソッド（データマネージャ）３３８内の詳細なフローチャートは、図１３内左側に記載された画素毎に人物が映っている度合いを計算するＳｔｅｐ３８と、人物範囲内の人数を計算するＳｔｅｐ５１および混雑情報を保存するＳｔｅｐ５２が対応する。
Then, the subprogram / method (data manager) 338 for controlling the accumulation / statistical processing of data related to the privacy information (or person traffic) in FIG. 11 performs the functions in the data processing /
図９の制御部２７０内あるいは図１０の制御部２４０内（およびグラフィクスコントローラ２４８内の一部）で実行するプログラムのフローチャートを図１２に示す。Ｓｔｅｐ１で撮影システムを開始すると、Ｓｔｅｐ３の撮影システムが終了するまで、画像取得（Ｓｔｅｐ２）が続く。
FIG. 12 shows a flowchart of a program executed in the
そして無人画像の生成開始の指示が来ると（Ｓｔｅｐ１１）、Ｓｔｅｐ２で取得した画像を画像履歴保存部１３４（図８：Ｓｔｅｐ１３に対応）内へ適宜保存する（Ｓｔｅｐ１２）。その後のＳｔｅｐ１４で画像履歴保存部１３４から適宜保存した画像を適宜読み出し、無人画像３２の生成が終了するとＳｔｅｐ１５の終了処理を実行する。
When an instruction to start generation of an unmanned image is received (Step 11), the image acquired in
このＳｔｅｐ１４での無人画像生成方法として例１では、夜間など人の居ない時間帯に撮影した画像を使用する。また他の例２では、一定時間ごとの画像から動きの無い部分を合成して生成しても良い。 In Example 1, as an unattended image generation method at Step 14, an image taken in a time zone where there is no person, such as at night, is used. In another example 2, it may be generated by synthesizing a portion having no motion from an image at regular intervals.
次に図５（ｆ）に示す送信／表示する画像５８内に人物の移動情報を表示する場合にはＳｔｅｐ２１に示すように、移動情報生成開始の指示を受ける。すると過去の画像と比較し、画像内の動きを計算し（Ｓｔｅｐ２２）、その結果を移動情報の履歴保存部１３８（図８：Ｓｔｅｐ２３に対応）内へ適宜保存する。その後にＳｔｅｐ２４で一定時間分の移動情報を集計し、その結果得られた移動情報８８を移動情報の履歴保存部１３８内へ保存する。そして移動情報の生成処理が完了すると、その終了処理を行う（Ｓｔｅｐ２５）。
Next, when the movement information of a person is displayed in the image 58 to be transmitted / displayed shown in FIG. 5F, an instruction to start generation of movement information is received as shown in Step 21. Then, the image is compared with the past image, the motion in the image is calculated (Step 22), and the result is appropriately stored in the movement information history storage unit 138 (corresponding to Step 23 in FIG. 8). After that, at Step 24, the movement information for a predetermined time is totaled, and the
上記のＳｔｅｐ２４における一定時間分の移動情報の具体的な集計方法として例１では、移動情報の平均を取っても良い。また他の例２では、画像内の場所（領域）毎に人物の移動方向を学習させ、その結果を使用しても良い。 In the first example, the movement information may be averaged as a specific method of counting the movement information for a certain time in Step 24 described above. In another example 2, the moving direction of the person may be learned for each place (area) in the image, and the result may be used.
図１３に、本実施形態における送信／表示する画像５０、５８、６８、７８の生成手順を示す。Ｓｔｅｐ３１で撮影システムの開始指示を受けると、Ｓｔｅｐ４５の撮影システム終了直前の受信側で表示するＳｔｅｐ４４までの一連のループ処理が任意の間隔で繰り返される（Ｓｔｅｐ３２）。
FIG. 13 shows a procedure for generating
上記のループ処理の中で画像取得（Ｓｔｅｐ３３）直後に、画素毎に体が映っている度合いの計算（Ｓｔｅｐ３４）と画素毎に頭が映っている度合いの計算（Ｓｔｅｐ３５）、画素毎に人物が映っている度合いの計算（Ｓｔｅｐ３８）が同時並行的に実行される。 Immediately after the image acquisition (Step 33) in the above loop processing, the calculation of the degree that the body is reflected for each pixel (Step 34), the calculation that the head is reflected for each pixel (Step 35), The calculation of the degree of reflection (Step 38) is executed in parallel.
上記処理の具体的方法を示す例１では、無人画像と現在の画像の画素値の差の絶対値が大きいほど人物である度合いが大きい（確率が高い）と見なしても良い。 In Example 1 showing the specific method of the above processing, the degree of being a person may be considered to be higher (the probability is higher) as the absolute value of the difference between the pixel values of the unmanned image and the current image is larger.
また他の具体的方法を示す例２では、予め人物（頭部や体）が映っている画像を複数学習しておき、現在の画像の中から学習結果と近いものが映っている範囲が人物（あるいは頭部や体）の度合いが大きい（確率が高い）と見なしても良い。 In Example 2 showing another specific method, a plurality of images in which a person (head or body) is shown in advance are learned, and the range in which the current image is close to the learning result is shown as a person. It may be considered that the degree of (or head or body) is large (the probability is high).
さらに他の例３では、上記説明した例１や例２などの複数の手法を並行して実施し、それぞれ得られた度合い（確率）の合計値や平均値などで人物である度合い（確率）を判定しても良い。 In yet another example 3, a plurality of methods such as example 1 and example 2 described above are performed in parallel, and the degree (probability) of a person in terms of the total value or average value of the obtained degrees (probabilities). May be determined.
図５を用いて前述したように人物の移動速度に応じて体（または着衣や携帯品）の色を変更したい場合（Ｓｔｅｐ３６）には、図１２内で生成した移動情報８８とＳｔｅｐ３４で得られた画素毎に体が映っている度合いの計算結果を使用する。
As described above with reference to FIG. 5, when it is desired to change the color of the body (or clothes or portable items) according to the moving speed of the person (Step 36), the
このＳｔｅｐ３６での人物の移動速度に応じて体（または着衣や携帯品）の色を変更する具体的な例１として、移動している人物（全体または着衣部など体の一部）をグレースケールに表示し、移動速度に応じて濃度（黒の度合い）を変化させても良い。
As a specific example 1 in which the color of the body (or clothing or portable items) is changed according to the moving speed of the person in
また他の例２として、移動している人物と止まっている人物別に色を変化させても良い。 As another example 2, the color may be changed according to a moving person and a stopped person.
更に図７を用いて前述したように顔面領域内（顔範囲）のみに“ぼかし”を掛けたり（プライバシー加工する）画像全体に“ぼかし”を掛ける（プライバシー加工する）場合には（Ｓｔｅｐ３７）、図１２内で生成した移動情報８８とＳｔｅｐ３５で得られた画素毎に頭が映っている度合いの計算結果を使用する。
Further, as described above with reference to FIG. 7, when “blurring” is applied only to the face area (face area) (privacy processing) or “blur” is applied to the entire image (privacy processing) (Step 37), The
更に図５で説明したように人物の移動方向も表示する他の方法としてＳｔｅｐ３７で、移動方向に合わせて“ぼかし”を掛けても良い。 Further, as described in FIG. 5, as another method for displaying the moving direction of the person, Step 37 may apply “blur” in accordance with the moving direction.
そしてＳｔｅｐ３７で得られたプライバシー加工後の映像と図１２内で得られた無人画像３２をＳｔｅｐ３９で合成する。更に図６を用いて前述したように画像内で人物確率が異なる領域毎に異なるプライバシー加工を施す場合にはＳｔｅｐ４１に記載したように、人物である度合い（確率）に応じて“ぼかし加工”済画像と無人画像３２の画素値を加重平均してプライバシー情報に関係する領域３８内での透明度を変化させても良い。
Then, the privacy-processed video image obtained in Step 37 and the
その後に送信／表示する画像を生成し（Ｓｔｅｐ４２）、生成した画像を送信する（Ｓｔｅｐ４３）。 Thereafter, an image to be transmitted / displayed is generated (Step 42), and the generated image is transmitted (Step 43).
また撮影した原画像３０を用いて例えば撮影現場の混雑状況の時間変化の統計を取るなどのデータの蓄積／処理（あるいはデータベース管理とそのデータを用いた統計処理）の例を以下に説明する。
An example of data accumulation / processing (or database management and statistical processing using the data) such as taking statistics of temporal changes in the congestion situation at the shooting site, for example, using the captured
Ｓｔｅｐ３３で取得した原画像３０に対して、Ｓｔｅｐ３８では人物が映っている度合い（人物確率）を画素毎に計算する。そして算出された人物が映っている度合い（人物確率）が所定の判定値（例えば５０％または７０％）を超えた部分では、原画像３０内に人物が映っていると判定（推定）する。
For the
次にその人物が映っていると判定された画素を集計し、原画像３０内に映っている人数を算出する（Ｓｔｅｐ５１）。一般的に同一人物が複数画素間に跨って映る場合が多い。従って人物が映っている度合い（人物確率）が所定の判定値（例えば５０％または７０％）を超えた画素間の連続性を判断して複数人物間の切り分け領域を推定し、原画像３０内の人数を予測する。
Next, the pixels determined that the person is shown are totaled, and the number of people shown in the
このＳｔｅｐ５１で得られた同一原画像３０内に映った人物数（人数）を混雑履歴保存部１６４内に順次保存する（Ｓｔｅｐ５２）。この混雑履歴保存部１６４内に保存される情報は図１６を用いて既に説明したように、人数算出時刻（計測時刻）毎の混雑値が記録される。
The number of persons (number of people) shown in the same
その後で図８の混雑状況統計処理システム１６８が混雑履歴保存部１６４内の混雑履歴情報（図１６）を統計処理し、撮影現場の混雑状況と混雑場所に対する時間変化状況を分析しても良い。
Thereafter, the congestion status
上記した実施形態の説明では、プライバシー加工する対象は、すべての人物であるかのごとく説明した。しかし、上記したシステムは、必要に応じて特定の人物に関しては、プライバシー加工することなく、該特定の人物を鮮明な画像のまま提供することも可能である。例えば現場において、撮像信号が、緊急時のレポートに利用される場合、或いは、ニュースに利用されるような場合、レポーターやアナウンサーの画像は鮮明であっても構わない。このような必要性が生じた場合は、例えば図８に示した画像取得部１１４から出力される原画像３０が、パーソナルコンピュータ等２５６の表示部２７４に入力され、オペレータにより確認される。オペレータは、特定の人物の画像の例えば顔或いは身体全体を例えば表示部２７４上で指定する。指定方法としては、例えば入力部２７８の一部であるマウスのポインタにより枠を描画して、特定人物の画像の例えば顔或いは体全体を囲み、決定操作を行う。これにより、頭範囲検出部１５２及び又は体範囲検出部１５４が、特定人物を検出（顔認識処理を行うと好ましい）した場合には、当該人物に関しては、プライバシー加工をしないように、プライバシー加工部１１６に制御情報を伝送する。なお特定人物の検出方法としては、説明した方法に限らず各種の方法が可能である。例えば特定人物が特定の識別しやすい衣裳や帽子を着用し、頭範囲検出部１５２及び又は体範囲検出部１５４が、該衣裳や帽子を検出できるようにしてもよい。
In the description of the above-described embodiment, the privacy processing target is described as if it is all persons. However, the above-described system can provide a specific person as a clear image without processing privacy for the specific person as necessary. For example, when the imaging signal is used for an emergency report or used for news in the field, the image of the reporter or the announcer may be clear. When such a necessity arises, for example, the
いくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
２、４、６ 撮影された原画像内人物
１０ 原画像の例
１２、１４ 撮影された原画像内で検出された人物範囲を示す領域
２２ 人物範囲検出
２４ 検出範囲にぼかし加工
３０ 原画像
３２ 無人画像
３４ 無人画像領域
３６ 少し後に撮影された原画像
３８ プライバシー情報に関係する領域
４０ プライバシー加工された画像
４２、４４、４６、４８ 移動人物
５０ 送信／表示する画像
５２、６２、７２ 全体をプライバシー加工した例
５４、６４、７４ プライバシー情報に関係する領域例
５６、６６、７６ 無人画像例
５８ 送信／表示画像
６８、７８ 送信／表示する画像例
８２ 原画像例
８４、８６ 原画像例
８８ 移動情報例
１０２ 撮影システム
１０４ 画像加工部
１０６ データ処理／データベース管理部
１１２ 撮像部（カメラ）
１１４ 画像取得部
１１６ プライバシー加工部
１１８ 画像合成部
１２０ 画像送信部
１２２ 表示部（パソコン、スマートフォン、電子掲示板など）
１３０ 無人画像生成部
１３２ 画像蓄積部
１３４ 画像履歴保存部
１３６ 移動情報抽出部
１３８ 移動情報の履歴保存部
１４０ 移動情報集計部
１５２ 頭範囲検出部
１５４ 体範囲検出部
１６０ 人物確率分布計測部
１６２ 人数集計部
１６４ 混雑履歴保存部
１６８ 混雑状況統計処理システム
２００ インターネット
２０２ ウェブ・サーバ
２０４ データベースサーバ
２０６、２１０、２５０ 携帯端末
２０８ ルーター
２１２ インターネット接続テレビ
２１４ パソコン
２１６ 電子掲示板
２２２、２３２、２６２、２７２ 通信部
２２４、２３４、２７４、２８４ 表示部
２３６、２６６ 半導体メモリ部
２４０、２７０ 制御部
２４２ ノースブリッジ
２４４ サウスブリッジ
２４６ 撮像部（カメラ部）
２４８ グラフィックスコントローラ
２５２ 撮像機（カメラ）
２５６ コンピュータ
２６４ 撮像部
２７４、２８４ 表示部
２７６ メモリ部
２７８ 入力部
２８８ 表示切替指定領域
３００ プライバシー保護対応画像編集用サブプログラム／メソッド
３０４ 専用ＡＰＩ
３０８ 携帯端末制御用メインプログラム（クラス）
３１４ プライバシー保護対応制御サブプログラム／メソッド（プライバシー保護コマンダ）
３１６ カメラコントロールサブプログラム／メソッド（カメラコントローラ）
３１８ メモリコントロールサブプログラム／メソッド（メモリコントローラ）
３２４ インタープリタサブプログラム／メソッド（インタープリタ）
３２８ 専用のメモリメモリコントロールサブプログラム／メソッド（専用メモリコントローラ）
３３０ プライバシー保護対応統合プログラム／クラス（インテグレータ）
３３２ 無人画像作成用サブプログラム／メソッド（バックグラウンドジェネレータ）
３３４ 移動情報抽出／管理用サブプログラム／メソッド（ムービングパートイクストラクタ）
３３６ 送信／表示用画像生成用サブプログラム／メソッド（プライバシープロテクタ）
３３８ プライバシー情報（や人物通行）に関係するデータの蓄積／統計処理の制御用サブプログラム／メソッド（データマネージャ）。
2, 4, 6 Person in original image taken 10 Example of
114
DESCRIPTION OF
248
308 Main program (class) for mobile terminal control
314 Privacy protection control subprogram / method (privacy protection commander)
316 Camera Control Subprogram / Method (Camera Controller)
318 Memory control subprogram / method (memory controller)
324 interpreter subprogram / method (interpreter)
328 Dedicated memory memory control subprogram / method (dedicated memory controller)
330 Integrated Program / Class for Privacy Protection (Integrator)
332 Subprogram / method (background generator) for unattended image creation
334 Subprogram / method for moving information extraction / management (moving part extractor)
336 Subprogram / method for image generation for transmission / display (privacy protector)
338 A subprogram / method (data manager) for controlling accumulation / statistical processing of data related to privacy information (and personal traffic).
Claims (6)
撮影された原画像の中でプライバシー情報に関係する領域に関してプライバシー加工するプライバシー加工部と、
前記プライバシー加工部で生成されたプライバシー加工後の画像と前記無人画像とを合成する画像合成部から構成され、
前記無人画像を参照して前記プライバシー情報に関係する領域を抽出する撮影システム。 An unmanned image generation unit that generates an unmanned image that does not include privacy information from the captured image or video;
A privacy processing unit that processes privacy regarding the area related to privacy information in the captured original image;
Consists of an image synthesis unit that synthesizes the image after privacy processing generated by the privacy processing unit and the unmanned image,
An imaging system for extracting an area related to the privacy information with reference to the unmanned image.
一定時間分の前記移動情報を集計して移動方向を算出する移動情報集計部を有し、
前記移動情報集計部から得られた情報に基付いて前記のプライバシー加工を行う請求項１記載の撮影システム。 Extract movement information in the image by comparing with past images,
A movement information totaling unit that calculates the movement direction by totaling the movement information for a certain period of time;
The imaging system according to claim 1, wherein the privacy processing is performed based on information obtained from the movement information aggregation unit.
前記プライバシー情報に関係する領域の中から人物の体範囲を検出する体範囲検出部とを有し、
前記頭範囲と頭部以外の体範囲内の少なくとも一部で異なるプライバシー加工を行う請求項１記載の撮影システム。 A head range detection unit for detecting a head range of a person from the area related to the privacy information;
A body range detection unit that detects the body range of a person from the area related to the privacy information;
The imaging system according to claim 1, wherein different privacy processing is performed in at least a part of the body range other than the head range and the head range.
前記プライバシー情報に関係する領域内で頭部を検出する頭範囲検出部と、
前記プライバシー情報に関係する領域内での体領域を検出する体範囲検出部と、
前記頭範囲検出部で検出された頭部と、前記体範囲検出部での検出結果に基付く前記頭部以外の体領域内の少なくとも一部で異なるプライバシー加工が上記プライバシー加工部内で行われる撮影システム。 A privacy processing unit that extracts a region related to privacy information from the captured image or video, and processes the privacy in the region;
A head range detection unit for detecting a head in an area related to the privacy information;
A body range detection unit that detects a body region within a region related to the privacy information;
Photography in which privacy processing is performed in the privacy processing unit, which is different between at least a part of the body region other than the head based on the detection result of the head range detection unit and the detection result of the body range detection unit. system.
画像加工部内で加工生成された後、
画像送信部から送信される画像もしくは映像の表示方法で有り、
前記画像もしくは映像内はプライバシー情報を含まない無人画像領域とプライバシー加工後の画像領域とを含み、
前記プライバシー加工後の画像領域にはプライバシー情報が含まれ、
また前記プライバシー情報には人物の顔の一部を含む事が可能な画像や映像の表示方法。 At least a part of the original image captured by the imaging unit is
After being processed and generated in the image processing section,
It is a method for displaying images or videos sent from the image sending unit,
The image or video includes an unattended image area that does not include privacy information and an image area after privacy processing,
Privacy information is included in the image area after the privacy processing,
In addition, the privacy information may include an image or video display method that can include a part of a person's face.
画像加工部内で加工生成された後、
画像送信部から送信される画像もしくは映像の表示方法で有り、
前記画像もしくは映像内はプライバシー情報を含まない無人画像領域とプライバシー情報に関係する領域とを含み、
前記プライバシー情報に関係する領域内の人物の頭部と前記頭部以外の体領域内の少なくとも一部では異なるプライバシー加工に基付く表示が行われる画像や映像の表示方法。 At least a part of the original image captured by the imaging unit is
After being processed and generated in the image processing section,
It is a method for displaying images or videos sent from the image sending unit,
The image or video includes an unattended image area that does not include privacy information and an area related to privacy information,
An image or video display method in which display based on different privacy processing is performed on at least a part of a person's head in an area related to the privacy information and a body area other than the head.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016075843A JP6419749B2 (en) | 2016-04-05 | 2016-04-05 | Image capturing system and image and video display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016075843A JP6419749B2 (en) | 2016-04-05 | 2016-04-05 | Image capturing system and image and video display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017188771A true JP2017188771A (en) | 2017-10-12 |
| JP6419749B2 JP6419749B2 (en) | 2018-11-07 |
Family
ID=60046577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016075843A Active JP6419749B2 (en) | 2016-04-05 | 2016-04-05 | Image capturing system and image and video display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6419749B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019079357A (en) * | 2017-10-26 | 2019-05-23 | Kddi株式会社 | Learning video selecting device, program and method for selecting, as learning video, shot video with predetermined image region masked |
| JP2020048055A (en) * | 2018-09-19 | 2020-03-26 | 株式会社東芝 | Image sensor, sensing method, control system, and program |
| CN111179299A (en) * | 2018-11-09 | 2020-05-19 | 珠海格力电器股份有限公司 | Image processing method and device |
| JP2020086504A (en) * | 2018-11-15 | 2020-06-04 | 日本電気株式会社 | Image processing apparatus, image processing method and program |
| DE112018005681T5 (en) | 2017-09-28 | 2020-07-16 | Mitsubishi Heavy Industries, Ltd. | THERMAL SPRAYING NOZZLE AND THERMAL PLASMA SPRAYING DEVICE |
| CN113158220A (en) * | 2020-01-22 | 2021-07-23 | 富士通株式会社 | Information processing method, information processing apparatus, and computer-readable recording medium |
| EP3855332A1 (en) | 2020-01-22 | 2021-07-28 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus to determine whether a process uses sensitive information |
| WO2021250805A1 (en) * | 2020-06-10 | 2021-12-16 | マクセル株式会社 | Watching monitoring device and watching monitoring method |
| US11527265B2 (en) | 2018-11-02 | 2022-12-13 | BriefCam Ltd. | Method and system for automatic object-aware video or audio redaction |
| WO2023037549A1 (en) * | 2021-09-13 | 2023-03-16 | 日本電気株式会社 | Monitoring image generation system, image processing device, image processing method, and program |
| JP7516515B2 (en) | 2020-06-10 | 2024-07-16 | マクセル株式会社 | Monitoring device and monitoring method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007213181A (en) * | 2006-02-08 | 2007-08-23 | Advanced Telecommunication Research Institute International | Privacy protection image generation device |
| JP2009225398A (en) * | 2008-03-19 | 2009-10-01 | Secom Co Ltd | Image distribution system |
| JP2013066016A (en) * | 2011-09-16 | 2013-04-11 | Univ Of Electro-Communications | Outline extraction system, outline extraction device and outline extraction program |
| JP2015222881A (en) * | 2014-05-23 | 2015-12-10 | パナソニックＩｐマネジメント株式会社 | Monitoring device, monitoring system and monitoring method |
| WO2016002152A1 (en) * | 2014-06-30 | 2016-01-07 | 日本電気株式会社 | Image processing system, image processing method and program storage medium for which personal private information has been taken into consideration |
-
2016
- 2016-04-05 JP JP2016075843A patent/JP6419749B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007213181A (en) * | 2006-02-08 | 2007-08-23 | Advanced Telecommunication Research Institute International | Privacy protection image generation device |
| JP2009225398A (en) * | 2008-03-19 | 2009-10-01 | Secom Co Ltd | Image distribution system |
| JP2013066016A (en) * | 2011-09-16 | 2013-04-11 | Univ Of Electro-Communications | Outline extraction system, outline extraction device and outline extraction program |
| JP2015222881A (en) * | 2014-05-23 | 2015-12-10 | パナソニックＩｐマネジメント株式会社 | Monitoring device, monitoring system and monitoring method |
| WO2016002152A1 (en) * | 2014-06-30 | 2016-01-07 | 日本電気株式会社 | Image processing system, image processing method and program storage medium for which personal private information has been taken into consideration |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112018005681T5 (en) | 2017-09-28 | 2020-07-16 | Mitsubishi Heavy Industries, Ltd. | THERMAL SPRAYING NOZZLE AND THERMAL PLASMA SPRAYING DEVICE |
| JP2019079357A (en) * | 2017-10-26 | 2019-05-23 | Kddi株式会社 | Learning video selecting device, program and method for selecting, as learning video, shot video with predetermined image region masked |
| JP2020048055A (en) * | 2018-09-19 | 2020-03-26 | 株式会社東芝 | Image sensor, sensing method, control system, and program |
| JP7237499B2 (en) | 2018-09-19 | 2023-03-13 | 株式会社東芝 | Image sensor, sensing method, control system and program |
| US11984141B2 (en) | 2018-11-02 | 2024-05-14 | BriefCam Ltd. | Method and system for automatic pre-recordation video redaction of objects |
| US11527265B2 (en) | 2018-11-02 | 2022-12-13 | BriefCam Ltd. | Method and system for automatic object-aware video or audio redaction |
| CN111179299A (en) * | 2018-11-09 | 2020-05-19 | 珠海格力电器股份有限公司 | Image processing method and device |
| JP2020086504A (en) * | 2018-11-15 | 2020-06-04 | 日本電気株式会社 | Image processing apparatus, image processing method and program |
| JP7387981B2 (en) | 2018-11-15 | 2023-11-29 | 日本電気株式会社 | Image processing device, image processing method, program |
| EP3855332A1 (en) | 2020-01-22 | 2021-07-28 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus to determine whether a process uses sensitive information |
| EP3855333A1 (en) | 2020-01-22 | 2021-07-28 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus to determine whether a process uses sensitive information |
| CN113158220A (en) * | 2020-01-22 | 2021-07-23 | 富士通株式会社 | Information processing method, information processing apparatus, and computer-readable recording medium |
| US11797707B2 (en) | 2020-01-22 | 2023-10-24 | Fujitsu Limited | Non-transitory computer-readable recording medium having stored therein information processing program, information processing method, and information processing apparatus |
| WO2021250805A1 (en) * | 2020-06-10 | 2021-12-16 | マクセル株式会社 | Watching monitoring device and watching monitoring method |
| US20230300296A1 (en) * | 2020-06-10 | 2023-09-21 | Maxell, Ltd. | Watching monitoring device and watching monitoring method |
| JP7516515B2 (en) | 2020-06-10 | 2024-07-16 | マクセル株式会社 | Monitoring device and monitoring method |
| WO2023037549A1 (en) * | 2021-09-13 | 2023-03-16 | 日本電気株式会社 | Monitoring image generation system, image processing device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6419749B2 (en) | 2018-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6419749B2 (en) | Image capturing system and image and video display method | |
| US11217006B2 (en) | Methods and systems for performing 3D simulation based on a 2D video image | |
| CN113810587B (en) | Image processing method and device | |
| JP6599436B2 (en) | System and method for generating new user selectable views | |
| CN102694969B (en) | Image processing device and image processing method | |
| JP5569990B2 (en) | Attribute determination method, attribute determination apparatus, program, recording medium, and attribute determination system | |
| JP6397581B2 (en) | Congestion status visualization device, congestion status visualization system, congestion status visualization method, and congestion status visualization program | |
| CN103731583B (en) | Intelligent synthetic, print processing method is used for taking pictures | |
| CN111861879A (en) | Method and apparatus for human super-resolution from low resolution images | |
| WO2019050916A1 (en) | Techniques for rendering three-dimensional animated graphics from video | |
| CN107341435A (en) | Processing method, device and the terminal device of video image | |
| KR102097781B1 (en) | Apparatus and Method for Providing Object Information | |
| CN105556508A (en) | Devices, systems and methods of virtualizing a mirror | |
| JP2019009752A (en) | Image processing device | |
| CN108388882A (en) | Based on the gesture identification method that the overall situation-part is multi-modal RGB-D | |
| JP2004145448A (en) | Terminal device, server device, and image processing method | |
| US20120170800A1 (en) | Systems and methods for continuous physics simulation from discrete video acquisition | |
| CN110827193A (en) | Panoramic video saliency detection method based on multi-channel features | |
| EP2276234A1 (en) | Image processing device, camera, image processing method, and program | |
| KR102382247B1 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2019135810A (en) | Image processing apparatus, image processing method, and program | |
| JP2022105590A (en) | Information processing device, information processing method, and program | |
| CN108564654B (en) | Picture entering mode of three-dimensional large scene | |
| KR20160091119A (en) | Apparatus and Method for Estimating Human Characteristics based on Imaga | |
| JP6544970B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181010 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6419749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |