JP2023111974A - 画像マスキング装置及び画像マスキング方法 - Google Patents
画像マスキング装置及び画像マスキング方法 Download PDFInfo
- Publication number
- JP2023111974A JP2023111974A JP2023094011A JP2023094011A JP2023111974A JP 2023111974 A JP2023111974 A JP 2023111974A JP 2023094011 A JP2023094011 A JP 2023094011A JP 2023094011 A JP2023094011 A JP 2023094011A JP 2023111974 A JP2023111974 A JP 2023111974A
- Authority
- JP
- Japan
- Prior art keywords
- image
- masking
- unit
- masked
- target portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000873 masking effect Effects 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 9
- 238000011840 criminal investigation Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 26
- 238000001514 detection method Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 230000013016 learning Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】今後様々なロケーションに設置される監視カメラシステムや画像センサに顔や個人を特定するものが映りこんだ際に、個人情報保護の観点で、自動的にマスキングする画像マスキング装置及び方法を提供すること、更に、犯罪捜査や事件があった場合に、マスキングを解除する必要に迫られた際には、そのマスキングを解除する機能を保有する画像マスキング装置及び方法を提供すること。【解決手段】画像マスキング装置であって、画像の入力を受け付ける画像入力受付部と、入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、抽出された上記マスキング対象部分にマスキングを付すマスキング付与部と上記マスキングが付された画像を出力する画像出力部とを有する。更に、画像のマスキングを除去するアンマスキング部を有してもよい。【選択図】図1
Description
本発明は、画像の特定の個所にマスキングを付す画像マスキング装置及び画像マスキング方法に係る。なお、マスキングとは画像の一部を覆い隠すことをいう。
近年、犯罪の発生の抑止、あるいは犯罪発生時の状況の把握などの目的で、監視カメラが広汎に設置されており、その目的のために有効に機能している。
しかしながら、その画像の中に、犯罪とは関係のない、個人のプライバシーを侵害するような情報、例えば、個人の顔画像、車のナンバープレートなどが撮像され、問題を生じている。
このような問題を生じないようにするために、特許文献1には、監視カメラが画像に映るプライバシーゾーンをマスキングするマスクデータを保持し、このデータに従って画像の一部をマスキングするように構成する技術思想が開示されている。
更に、マスキングの解除についても、パスワードを有する特定の人のみが実施できるようにし、一般人が恣意的に操作することを防ぐ技術思想も開示されている。
しかしながら、特許文献1のプライバシーゾーンは、操作者がその中心位置とゾーン枠を指定するもので、人による操作が必要なことから手間がかかり、かつ、その範囲外の情報についてはマスキングされず、個人情報の保護がなされないという問題点があった。
本発明は、上記の問題点を踏まえ、今後様々なロケーションに設置される監視カメラシステムや画像センサに顔や個人を特定するものが映りこんだ際に、個人情報保護の観点で、自動的にマスキングする画像マスキング装置及び方法を提供することを課題とする。更に、犯罪捜査や事件があった場合に、マスキングを解除する必要に迫られた際には、そのマスキングを解除する機能を保有する画像マスキング装置及び方法を提供することを課題とする。
かかる課題を解決するため、本発明に係る画像マスキング装置は、
A)画像の入力を受け付ける画像入力受付部と、
B)入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、
C)抽出された前記マスキング対象部分にマスキングを付すマスキング付与部と、
D)前記マスキングが付された画像を出力する画像出力部と
を有することを特徴とする。
A)画像の入力を受け付ける画像入力受付部と、
B)入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、
C)抽出された前記マスキング対象部分にマスキングを付すマスキング付与部と、
D)前記マスキングが付された画像を出力する画像出力部と
を有することを特徴とする。
ここで、画像は、静止画、動画のいずれをも含むものであり、画像入力受付部は、監視カメラなどの撮像部から直接に入力されるもののほか、有線・無線のネットワークやインターネットを通じて画像受信部で受信されたものや、既に撮影されまたは処理されて、画像記憶部に記憶されているものなどの入力を受け付ける。
また、画像出力部から画像を出力するとは、画像表示部に画像を表示すること、画像を記憶装置に記憶すること、画像送信部を通じて画像をネットワークなどの外部に送信することを含むものとする。
また、本発明に係る画像マスキング装置は、前記マスキング対象部分が、人を含む動物の顔、人を含む動物の外形、車両番号、車両外観、表札、家屋外観、個人情報記載部分のいずれか1つ以上であることを特徴としてもよい。
ここで、個人情報記載部分とは、免許証・パスポート・個人番号カードなどの個人情報が記載されている書類またはカード類の個人情報が記載された部分のことである。
また、対象とする画像は、監視カメラの画像だけでなく、テレビ放映画像、スマートホンや携帯可能なカメラによる画像など、一切の撮影された動画及び静止画の画像が含まれる。
例えば、テレビ放映画像において、取材の際に背後の人の顔をマスキング(あるいはモザイク処理)している場合があるが、このような場合に、自動でマスキングを行うことも可能である。
このようにすると、人手を介さずにマスキング対象部分が抽出でき、マスキングを付すことができるため、監視カメラ画像などの応用範囲が大きく拡大する。
また、本発明に係る画像マスキング装置は、更に、
E)前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と
を有することを特徴としてもよい。
E)前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と
を有することを特徴としてもよい。
すなわち、マスキング対象部分が人間の顔であった場合、性別、年齢、着衣、顔の特徴(眼鏡、髭、頭髪量など)などの属性情報を画像から検出し、それらの属性情報を、タグを付すなどの手法により、マスキング対象部分と紐づけて出力することで、その後の種々の用途に有効に利用できる。
なお、属性を自動的に検出せずに、あるいは自動的な検出と併用して、人手により属性を付与するようにしてもよい。属性情報の正確さが増す場合もあり得る。
更に、本発明に係る画像マスキング装置は、前記属性情報を用いて、前記マスキング対象部分を検索する機能を有することを特徴としてもよい。
このようにすると、膨大な画像情報の中から、付されたタグにある属性情報の組合せ(例えば、男性で、眼鏡を着用しているなど)から、特定の画像を抽出することができ、更に、マスキングを解除するアンマスキングが必要となった場合にも、アンマスキングすべき画像を特定して効率よく処理ができる。
また、本発明に係る画像マスキング装置は、更に、
F)前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と
を有することを特徴としてもよい。
F)前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と
を有することを特徴としてもよい。
このようにすると、顔画像の場合であれば、個人を特定することなく、マーケティングなどに必要な、顧客の属性毎(性別、年代別など)に集計した統計データを取得することができる。
また、本発明に係る画像マスキング装置は、画像情報の中に、マスキングが不要な特定の情報を認識した場合に、該特定情報に関連したマスキング対象部分をマスキングすることを特徴としてもよい。
このようにすると、マスキングをせずに利用したい情報と関連して同じ画像に写り込んでいる他の情報をマスキングすることができ、個人情報などを保護しつつ、画像情報を利用することができるという効果を奏する。
特に、本発明に係る画像マスキング装置は、前記特定情報が車両番号であり、前記マスキング対象部分が該車両の運転者及び/または同乗者の全てまたは一部であることを特徴としてもよい。
このようにすると、車両番号は料金収受などの目的でマスキングは不要であるが、その車両の運転者や同乗者の顔は、個人情報保護の観点からマスキングが必要な場合に、極めて有効である。
ここで、本発明に係る画像マスキング装置は、前記マスキング対象部分抽出部が、機械学習を用いた画像処理によって前記マスキング対象部分を抽出することを特徴としてもよい。
このようにすると、マスキング対象部分の抽出が人手を介することなく高精度で行える。
更に、本発明に係る画像マスキング装置は、前記機械学習が、畳み込みニューラルネットワークを利用したものであることを特徴としてもよい。
このようにすると、機械学習の中でも画像処理に優れた手法であるため、より高精度のマスキング対象部分の抽出が可能となる。
あるいは、本発明に係る画像マスキング装置は、前記マスキング対象部分抽出部が、エッジ抽出処理を用いた画像処理によって前記マスキング対象部分を抽出することを特徴としてもよい。
このようにすると、対象とする画像によっては、簡便で、かつ精度の高いマスキング対象部分の抽出ができる場合もある。
あるいは、本発明に係る画像マスキング装置は、前記マスキング対象部分抽出部が、OCR処理を用いた画像処理によって前記マスキング対象部分を抽出することを特徴としてもよい。
このようにすると、特に、マスキング対象部分が文字情報を含む場合には、その部分の抽出が容易となる。
更に、本発明に係る画像マスキング装置は、
G)前記マスキングが付された画像のマスキングを除去するアンマスキング部と
を有することを特徴としてもよい。
G)前記マスキングが付された画像のマスキングを除去するアンマスキング部と
を有することを特徴としてもよい。
このようにすると、マスキングされた画像情報を、例えば犯罪捜査などの特定の目的のためにアンマスキングすることができ、画像情報の有効活用がなされる。
なお、本発明に係る画像マスキング装置は、前記マスキング対象部分の属性情報により、マスキングを除去する部分を決定することを特徴としてもよい。
このようにすると、例えば、監視カメラ画像の中から、アンマスキングが必要な特定の画像を抽出するのに、画像に付されたタグなどに記された属性情報によって行うことができるため、人手の介在を少なくし、見落としの無い高精度なアンマスキングが可能となる。
また、前記アンマスキング部は、特定の手順によってのみ、アンマスキングが可能であることを特徴としてもよい。
例えば、その特定の手順は、マスキングされた画像と、暗号化されたマスキング対象部分の元の画像とを関連付けて記憶し、アンマスキングの際に、マスキング対象部分の元の画像を復元して、マスキング画像に嵌めこむことであることを特徴としてもよい。
具体的には、警察や特定の権限を有する人のみが、IDカード、パスワード、指紋・虹彩などの生体認証などを用いて暗号を解除する操作を行うようにする。あるいは、特定の端末からのみ操作ができるようにしてもよい。
例えば、米国におけるスーツケースに用いられるTSAロックのように、認定されたマスキング方法が世界中の監視カメラに搭載され、私人は監視カメラの特定の情報が見えないものの、警察や特定の権限を有した人のみがマスキング解除ができるということも想定できる。
なお、前述のテレビ放映画像の場合では、編集時に、インタビューを受けている人だけアンマスキングするということも可能である。
また、本発明は、画像マスキング装置が有する機能を、画像マスキング方法という態様としたものであってもよい。装置の構成によらず、本発明の効果を実現できる。
また、本発明は、入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、抽出された前記マスキング対象部分にマスキングを付すマスキング付与部とを有する画像マスキングユニットという態様であってもよい。
更に、前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と、前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と、前記マスキングが付された画像のマスキングを除去するアンマスキング部とのうちの、少なくとも一つ以上を含むことを特徴とする画像マスキングユニットという態様であってもよい。
そのようにすれば、その他の周辺ユニットについて、制約なく組み合わせることができ、画像マスキングユニットのみでも本発明の効果を実現できる。
本発明の画像マスキング装置及び画像マスキング方法によれば、監視カメラなどの画像に、マスキング対象部分に自動的にマスキングすることができるので、個人情報が保護され、かつ、犯罪捜査などの際にマスキングを解除する必要に迫られた際には、そのマスキングを、管理された特定の手順で解除することができるため、公益的な観点からの画像の利用が可能となるなどの効果がある。
以下、図面を参照し、本発明の一実施形態にかかる画像マスキング装置について説明する。なお、以下では本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。
図1は本発明の画像マスキング装置1の一実施形態のブロック図である。
画像マスキング装置1は、ハードウェア構成としては、PCが好適であり、CPU、メモリー、通信インターフェース、ディスプレイなどからなる。
機能的には、画像マスキング装置1は、それらのハードウェア構成要素を用いて実現する画像マスキングユニット10、制御部20、画像入力受付部30、画像出力部40を含み、更に、画像マスキングユニット10は、マスキング対象部分抽出部110、マスキング対象属性検出部120、マスキング対象統計処理部130、マスキング付与部140、アンマスキング部150の機能要素を含んでいる。
制御部20は、全体の制御を司り、画像入力受付部30からの画像の入力の受け付け、画像出力部40への画像の出力、画像マスキングユニット10を用いた画像のマスキング・アンマスキング処理を制御する。
画像入力受付部30は、マスキングを必要とする画像の入力を受け付ける。例えば、カメラなどの撮像部50から、有線・無線やインターネットなどを介して送信される画像を受信する画像受信部60から、あるいは、これまでに撮影された、あるいは画像処理された画像を記憶してある画像記憶部70から、画像の入力を受ける。
ここで、撮像部50としては、固定の場所に設置された監視カメラに代表されるが、ほかにも、車載カメラ、テレビや映画の撮影機、スマホや写真機など、動画、静止画が撮影できるものであればどのようなものであってもよい。
画像マスキングユニット10は、マスキング対象部分抽出部110、マスキング対象属性検出部120、マスキング対象統計処理部130、マスキング付与部140、アンマスキング部150を有しており、制御部20から伝達される画像に対して処理を行う。
マスキング対象部分抽出部110は、画像の中のマスキング対象部分を抽出する。
マスキング対象属性検出部120は、マスキング対象部分の属性、例えば、人の顔であれば、性別、年齢などの属性を検出する。
マスキング対象統計処理部130は、マスキング対象の、属性別、日別、時間帯別などの統計処理を行う。
マスキング付与部140は、抽出されたマスキング対象部分にマスキングを付与する。
アンマスキング部150は、マスキングされた画像のマスキング部分の全て、または一部をアンマスキングする。
画像出力部40は、制御部20に接続され、撮像部50で撮影された画像、画像マスキングユニット10で処理された画像、画像に関連付けられた属性、更に、アンマスキングに必要な情報などを出力する。
出力先としては、画像を表示する画像表示部90へ、画像を記憶する画像記憶部70へ、あるいは、画像を有線・無線あるいはインターネットなどを介して送信する画像送信部80へ、と出力する。
なお、これまで説明した構成には限定されず、画像マスキング装置に、撮像部、画像受信部、画像記憶部、画像送信部、画像表示部の一部または全部が内蔵されていてもよく、逆に、一部の画像マスキング装置の機能が撮像部に内蔵されていてもよいし、あるいは、画像マスキング装置の機能の分担がこれと異なってもよく、更には、クラウドコンピューティングのように画像マスキング装置の機能が遠隔に分散されて設けられてもよい。
次に、このような構成の本発明の画像マスキング装置の動作を説明する。図2は本発明の画像マスキング装置1の一実施形態のマスキングまでのフローチャートである。
まず、画像入力受付部30が、画像の入力を受ける(ステップS01)。ここでは、例えば、撮像部50としての街路を監視する監視カメラから、常時撮影されている動画が入力されるものとする。
次に、マスキング対象部分抽出部110がマスキング対象部分を抽出する(S02)。ここでは、個人のプライバシー保護の観点から、監視カメラ画像の中の、人物の顔画像をマスキング対象部分とする。
具体的には、撮影された画像につき、機械学習、その中でも人工ニューラルネットワークを用いたディープラーニングによって、顔画像と思われるものを抽出する。図3は本発明の画像マスキング装置1の一実施形態の顔画像抽出のフローチャートであり、図4から図6は本発明の画像マスキング装置1の一実施形態の顔画像抽出からマスキングまでの画像の説明図であり、図4は原画像、図5はマスキング対象領域を抽出した画像、図6はマスキングを付与した後の画像である。なお、図5に相当するマスキング対象領域の抽出図は、実際の使用の際は画像として表示されなくてもよい。
ここで、まず、監視カメラなどから、分類された学習用データ(顔画像の場合であれば、顔画像である/顔画像でない、及び、顔画像を内包する矩形などの外形の位置)を収集する(S11)。その量は多い方が望ましい。
次に、学習用データを訓練データと検証データに分ける(S12)。
これについて、ニューラルネットワークを用いて、訓練データで学習、重み調整を行ない、検証データで現在の学習状況を検証する(S13)。
これを繰り返して検証時の間違い率が所望の値より小さくなれば学習は終了する(S14)。
次に、学習完了済みのニューラルネットワークに新たな画像、例えば、撮像部50で撮影した図4に示すような画像を入力する(S15)。
すると、この中のマスキング対象部分、例えば、人物の顔画像が抽出される(S16)。図5に示すように、画面右上方の前を向いた女性の顔101、右下方の横を向いた男性の顔102、中央の子供の顔103が抽出され、矩形で囲われる。なお、この形状はこれには限定されず、円形、楕円形、多角形などどのようなものでもよい。
なお、機械学習の方法は、ニューラルネットワークやディープラーニングに限定せず、決定木学習やサポートベクターマシン(SVM)などどのような手法の機械学習であってもよいが、追加の人手による入力を必要とする場合もあり得る。
また、機械学習によらない方法も使用することができる。例えば、エッジ抽出処理によることもできる。これは、画像の明るさの鋭敏な変化のあるところをエッジすなわち輪郭とみなすもので、具体的な手法は、実用化されている。
あるいは、文字を含む画像、例えば自動車のナンバープレート、住所情報などの場合については、光学文字認識(OCR)によってマスキングする個所を決定してもよい。
ここで、マスキング対象部分を抽出する際に、マスキング対象属性検出部120が、マスキング対象から、必要とされる属性を検出する(S03)。
必要な属性としては、例えば人の顔の場合であれば、性別、年齢、特徴(体形、眼鏡、髭、頭髪量など)などである。これは、後にアンマスキングする際、あるいは、統計処理をする際などに有効である。
なお、マスキング対象部分抽出部110、及び、マスキング対象属性検出部120は、具体的には、NECソリューションイノベータ株式会社のFieldAnalyst(登録商標)やグローリー株式会社の顔認証システムなど、実用化されている技術を応用することもできる。
なお、検出された属性は、制御部20によって、抽出されたマスキング対象部分にタグ付けするなど、マスキング対象部分と関連づけて記憶される。
次に、マスキング付与部140が、マスキング対象部分の元の画像を暗号化する(S04)。これは、アンマスキングを可能とするためであるが、特定の操作を行わないとアンマスキングができないようにするための処理である。
同時に、マスキング付与部140が、図6に示すように、抽出された対象部分201、202、203にマスキングを行う(S04)。マスキングは、領域の全てをグレー色で不透明に塗りつぶすようにしたが、それには限定されず、色、透明の度合い、ベタでなくモザイク状など、どのようなものであってもよいし、枠部分を有してもよいし、グレーでない無彩色や有彩色であってもよい。
なお、マスキングを実施した後は、マスキング部分の画像情報は上書きされて消失しており、その画像からは復元することはできない。
次に、画像出力部40を経由して画像記憶部70において、マスキングされた画像と、暗号化されたマスキング対象部分の元の画像と、マスキング部分の属性とを関連付けて記憶する(S06)。これは、後にアンマスキングが必要となった場合に確実に操作ができるためである。
ここまでの動作(S01からS06)はすべて自動で行われるため、人手の介在を必要とせず、効率が極めてよく、また、人手の介在による個人プライバシーの侵害の恐れもない。
なお、必要な場合には、画像出力部40を経由して画像表示部90においてマスキングされた画像を表示する(S07)。
更に、必要な場合は、マスキング対象統計処理部130が、検出された属性と関連づけて統計的な集計処理を行うこともできる(S08)。
例えば、人の顔の画像であれば、男性が56%、女性が44%、年齢40歳未満が32%、40歳以上60歳以下が54%、60歳超が14%などというような統計が得られる。これは、個人情報を開示せずに、属性によって分類した結果を、マーケティングなどに活用するために、有効である。
ここで、本発明のような画像処理のニューラルネットワークとしては、現時点では畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いることが望ましい。例えば、2016年8月26日発行のIEEE Signal Processing
Letters にあるJoint Face Detection and Alignment Using
Multitask Cascaded Convolutional Networksに記載された方法は、極めて有効である。これは複数(3ないし4)の浅いディープラーニングをカスケード接続したネットワーク構造をしており、高速に動作することが可能となっている。
Letters にあるJoint Face Detection and Alignment Using
Multitask Cascaded Convolutional Networksに記載された方法は、極めて有効である。これは複数(3ないし4)の浅いディープラーニングをカスケード接続したネットワーク構造をしており、高速に動作することが可能となっている。
高速に処理できることから、フレーム毎にマスキング対象部分を抽出し、マスキングを付与することができる。そのため、固定カメラだけでなく、車載カメラなどの移動体からの画像に対しても対応が可能である。なお、前のフレームとの差分によってマスキング部分を決定する方法であってもよい。
次に、アンマスキング部150の動作について説明する。図7は、本発明の画像マスキング装置1の一実施形態のアンマスキングに関するフローチャートである。
アンマスキング部150が、画像記憶部70から画像入力受付部30を経由して、マスキングされた画像と、それに関連付けられて記憶されている、暗号化されたマスキング対象部分の元の画像とを読み出す(S21)。
次に、マスキング対象部分の元の画像の復元処理を行う(S22)。これは、特定の権限を有する操作者あるいは装置を予め定めておいて、パスワード、個人ID、指紋・虹彩などの生体認証などの入力を行うことで、操作を開始するようにすればよい。
次にマスキング対象部分の復元された画像を、マスキングされた画像の対象部分に嵌めこむ(S23)。
このようにすることで、マスキングが解除された画像を得ることができ、必要に応じて、アンマスキングされた画像を、画像出力部40を経由して、画像記憶部70に記憶したり、画像表示部90に表示したり、画像送信部80から遠隔に送信したりすることができる。
なお、これまでの説明では、マスキングを実施した後は、マスキング部分の画像情報は上書きされて消失しており、その画像からは復元することはできず、マスキング対象部分の元の画像は暗号化して記憶されるとしたが、マスキングを実施した後も、マスキング部分の画像情報を維持し、かつ、マスキング対象部分の座標などの情報のみを暗号化して記憶するようにしてもよい。
この場合には、アンマスキング時には、マスキング対象部分の座標情報を復号化して、それを用いて、マスキング画像の元の画像を復元するようにする。
このようにすれは、暗号化された情報量が少ないため、高速な処理が可能となることも期待できる。
また。マスキングする前の画像とマスキング付与後の画像の両方を記憶するようにしてもよい。マスキングする前の画像については厳重なアクセス管理(暗号化やパスワードなど)を行うことによりプライバシーを保護するようにする。
このようにすると、複雑な処理を必要とせずに、ある程度のプライバシー保護が実現できる。
なお、これまでの説明では、マスキング対象部分を人物の顔として説明したが、それ以外の個人情報に係る、動物の顔、人を含む動物の外形、車両番号、車両外観、表札、家屋外観、個人情報記載部分などであってもよい。
ここで、個人情報記載部分とは、免許証・パスポート・個人番号カードなどの個人情報が記載されている書類またはカード類の個人情報が記載された部分のことである。
なお、画像情報の中に、マスキングが不要な特定の情報、例えば、道路や駐車場において、必要な車両番号を認識した場合に、その特定情報に関連したマスキングを必要とする部分、例えば、その車両の運転者や同乗者をマスキングするようにしてもよい。
図8は、本発明の画像マスキング装置1の別の実施形態の原画像の説明図であり、車のナンバープレート401、402を対象としている。なお、ナンバープレートの場合には、アンマスキングの際に、ナンバープレートの記号・番号を自動的に読み取り、犯罪捜査に役立てることも可能である。
本発明の画像マスキング装置は、監視カメラ画像に限らず、幅広くプライバシー保護の必要性のある画像の処理に用いることができるため、産業上の利用可能性が大いにある。
1 画像マスキング装置
10 画像マスキングユニット
20 制御部
30 画像入力受付部
40 画像出力部
50 撮像部
60 画像受信部
70 画像記憶部
80 画像送信部
90 画像表示部
110 マスキング対象部分抽出部
120 マスキング対象属性検出部
130 マスキング対象統計処理部
140 マスキング付与部
150 アンマスキング部
101-103 マスキング対象部分
201-203 マスキング付与部分
401-402 ナンバープレート
10 画像マスキングユニット
20 制御部
30 画像入力受付部
40 画像出力部
50 撮像部
60 画像受信部
70 画像記憶部
80 画像送信部
90 画像表示部
110 マスキング対象部分抽出部
120 マスキング対象属性検出部
130 マスキング対象統計処理部
140 マスキング付与部
150 アンマスキング部
101-103 マスキング対象部分
201-203 マスキング付与部分
401-402 ナンバープレート
Claims (4)
- A)画像の入力を受け付ける画像入力受付部と、
B)入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、
C)抽出された前記マスキング対象部分にマスキングを付すマスキング付与部と、
D)前記マスキングが付された画像を出力する画像出力部と
を有し、
画像情報の中に、マスキングせずに利用する特定の情報を認識した場合に、該特定情報に関連してマスキングを要するマスキング対象部分をマスキングすることを特徴とする画像マスキング装置。 - 前記マスキングせずに利用する特定の情報が車両番号であり、前記マスキングを要するマスキング対象部分が該車両の運転者及び/または同乗者の全てまたは一部であることを特徴とする請求項1に記載の画像マスキング装置。
- A)画像の入力を受け付け、
B)入力された画像からマスキング対象部分を自動的に抽出し、
C)抽出された前記マスキング対象部分にマスキングを付し、
D)前記マスキングが付された画像を出力する
画像マスキング方法であって、
画像情報の中に、マスキングせずに利用する特定の情報を認識した場合に、該特定情報に関連してマスキングを要するマスキング対象部分をマスキングすることを特徴とする画像マスキング方法。 - 前記マスキングせずに利用する特定の情報が車両番号であり、前記マスキングを要するマスキング対象部分が該車両の運転者及び/または同乗者の全てまたは一部であることを特徴とする請求項3に記載の画像マスキング方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017111532 | 2017-06-06 | ||
JP2017111532 | 2017-06-06 | ||
PCT/JP2018/021677 WO2018225775A1 (ja) | 2017-06-06 | 2018-06-06 | 画像マスキング装置及び画像マスキング方法 |
JP2019523938A JPWO2018225775A1 (ja) | 2017-06-06 | 2018-06-06 | 画像マスキング装置及び画像マスキング方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523938A Division JPWO2018225775A1 (ja) | 2017-06-06 | 2018-06-06 | 画像マスキング装置及び画像マスキング方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023111974A true JP2023111974A (ja) | 2023-08-10 |
Family
ID=64566817
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523938A Pending JPWO2018225775A1 (ja) | 2017-06-06 | 2018-06-06 | 画像マスキング装置及び画像マスキング方法 |
JP2023094011A Pending JP2023111974A (ja) | 2017-06-06 | 2023-06-07 | 画像マスキング装置及び画像マスキング方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523938A Pending JPWO2018225775A1 (ja) | 2017-06-06 | 2018-06-06 | 画像マスキング装置及び画像マスキング方法 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JPWO2018225775A1 (ja) |
WO (1) | WO2018225775A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872282B (zh) * | 2019-01-16 | 2021-08-06 | 众安信息技术服务有限公司 | 一种基于计算机视觉的图像脱敏方法与*** |
KR102301239B1 (ko) * | 2020-05-07 | 2021-09-09 | 에스케이텔레콤 주식회사 | 지능형 카메라 영상에 대한 프라이버시 마스킹장치 및 방법 |
KR102437039B1 (ko) * | 2020-07-02 | 2022-08-26 | 주식회사 딥브레인에이아이 | 영상 생성을 위한 학습 장치 및 방법 |
KR102519956B1 (ko) * | 2021-03-02 | 2023-04-10 | 건양대학교 산학협력단 | 시각장애인 편의를 위한 버스 알림 시스템 |
KR102553801B1 (ko) * | 2021-11-11 | 2023-07-12 | 한국도로공사 | 차량 이미지 탑승자 개인정보 보호 방법 및 시스템 |
WO2024105778A1 (ja) * | 2022-11-15 | 2024-05-23 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4402998B2 (ja) * | 2004-03-29 | 2010-01-20 | 三菱電機株式会社 | マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置 |
JP4410755B2 (ja) * | 2005-12-09 | 2010-02-03 | 株式会社日立製作所 | 画像処理装置および監視システム |
JP4701356B2 (ja) * | 2006-02-08 | 2011-06-15 | 株式会社国際電気通信基礎技術研究所 | プライバシー保護画像生成装置 |
WO2008038333A1 (en) * | 2006-09-25 | 2008-04-03 | Pioneer Corporation | Data recording device, data recording method, data recording program, and computer readable recording medium |
JP5269033B2 (ja) * | 2009-12-18 | 2013-08-21 | 韓國電子通信研究院 | 映像のプライバシーマスキング方法及び装置 |
JP6491442B2 (ja) * | 2013-09-20 | 2019-03-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP5834193B2 (ja) * | 2014-02-05 | 2015-12-16 | パナソニックIpマネジメント株式会社 | モニタリング装置、モニタリングシステムおよびモニタリング方法 |
-
2018
- 2018-06-06 JP JP2019523938A patent/JPWO2018225775A1/ja active Pending
- 2018-06-06 WO PCT/JP2018/021677 patent/WO2018225775A1/ja active Application Filing
-
2023
- 2023-06-07 JP JP2023094011A patent/JP2023111974A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2018225775A1 (ja) | 2020-04-09 |
WO2018225775A1 (ja) | 2018-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023111974A (ja) | 画像マスキング装置及び画像マスキング方法 | |
EP3692461B1 (en) | Removing personally identifiable data before transmission from a device | |
US8752197B2 (en) | Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems | |
US20150104103A1 (en) | Surveillance camera that respects privacy | |
US20070201694A1 (en) | Privacy management in imaging system | |
KR102099570B1 (ko) | 차량의 리모트 제어 시스템 및 그의 동작 방법 | |
US10545343B2 (en) | Augmented reality security verification | |
JP2022122858A (ja) | 制限エリア内の不認可のユーザを識別することを可能にする情報要素をデバイスに提供する方法 | |
JP6910772B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
CN105913019A (zh) | 虹膜识别方法及终端 | |
JPWO2009013822A1 (ja) | 映像監視装置および映像監視プログラム | |
WO2019245680A1 (en) | Automatic video privacy | |
CN106296559A (zh) | 图像处理方法及装置 | |
US20230222843A1 (en) | Method and device for registering biometric feature | |
JP5730000B2 (ja) | 顔照合システム、顔照合装置及び顔照合方法 | |
CN116881967A (zh) | 隐私保护方法、装置及设备 | |
Kazimov et al. | The role of biometric technology in information security | |
CN109919021A (zh) | 人脸拍摄图像保护方法 | |
US11775631B1 (en) | System and method for perfecting and accelerating biometric identification via evolutionary biometrics via continual registration | |
KR102539533B1 (ko) | 타인의 신분증 불법 촬영을 방지하기 위한 인증 방법 및 장치 | |
JP2018169943A (ja) | 顔認証処理装置、顔認証処理方法及び顔認証処理システム | |
KR101513467B1 (ko) | 스쿨존 cctv 감시장치 성능개선 시스템 | |
WO2021175714A1 (en) | Scrambling of regions of interest in an image to preserve privacy | |
KR20210084802A (ko) | 왜곡 영상 복원 처리 방법 | |
JP5718757B2 (ja) | 画像管理装置、画像管理プログラム、および画像管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230608 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240805 |