JP7054492B2 - 情報加工モジュール、情報加工方法、情報加工プログラム及び情報処理装置 - Google Patents

Description

本発明は、情報加工モジュール、情報加工方法、情報加工プログラム及び情報処理装置に関し、特に、高解像度画像を加工する情報加工モジュール、情報加工方法、情報加工プログラム及び情報処理装置に関する。

非特許文献１には、ホームページ等に投稿された画像から指紋を読み取り、個人情報として悪用することが可能であるということが掲載されている。スマートフォンの普及で、インターネット上に大量の画像が投稿されるようになったため、個人情報の悪用リスクも増大している。第三者に画像から指紋が読み取られた場合、プライバシーの侵害、金銭的な被害を受けるおそれがあり、情報技術が進展する今後は一層注意が必要となる、とされている。

産経ニュース「指紋がネットで狙われている！ 手の画像は悪用恐れ… 国立情報学研が新技術の実用化目指す（２０１７年１月９日）」

しかし、上記のように、画像から指紋を読み取り、個人情報として悪用することを有効に防止することについては、カメラ、ディスプレイの解像度が向上するスピードが速く、十分な対策が講じられていない。

また、指紋以外にも生体認証が可能な部位があることからわかるように、個人情報として悪用される対象は、画像からを読み取られた指紋に限られるものではない。したがって、生体認証が可能な部位について全般的に、悪用防止の対策が講じられるべきである。

そこで、本発明は、画像などから読み取り可能な生体認証に用いられる情報を悪用することを防ぐことを課題とする。

上記課題を解決するために、本発明の情報加工モジュールは、
加工対象の情報のうち少なくとも生体認証に用いることができる部分を、生体認証用のテンプレートとの間で照合不可の状態に加工する加工手段を備える。

また、本発明の情報加工方法は、
加工対象の情報のうち少なくとも生体認証に用いることができる部分を生体認証用のテンプレートとの間で照合不可の状態に加工するステップを含む。

さらに、本発明の情報加工プログラムは、上記情報加工方法を情報処理装置に実行させる。

さらに、本発明の情報処理装置は、上記情報加工モジュールを備える。

この情報処理装置とは、デジタルカメラ、携帯型カムコーダなどを含むビデオカメラ、
カメラ付き携帯電話機又はスマートフォンなどの撮像装置と、ディスプレイと、デジタルテレビ受信機と、ＤＶＤレコーダ／プレーヤと、パーソナルコンピュータと、プリンタとなどが挙げられる。なお、生体認証に用いることができる情報とは、指紋、掌形、顔、網膜、虹彩、耳、血管、リップムーブメント、瞬き、歩行、筆跡、音声、キーストロークが挙げられる。

本発明の実施形態１の撮像装置１の構成を示すブロック図である。 図１に示す画像処理部４０による画像データの加工対象例を示す図である。 図１に示す画像処理部４０による画像データの指紋部分の加工前後の状態を示す図である。 図３（ｂ）に示す加工を行う場合の画像処理部４０の動作例を示す図である。

１ 撮影装置
１０ システム制御部
１２ ＲＯＭ
１４ ＲＡＭ
２０ 撮像部
２２ 撮像素子
２４ 駆動回路
２６ ＡＦＥ
３０ 光学制御部
３２ 撮影レンズ
３４ 絞り
３６ シャッター
４０ 画像処理部
４１ フレームメモリ
４２ バッファメモリ
４３ 汎用メモリ
４４ 画像認識部
６２ フラッシュメモリ
７０ 表示装置
７２ ビデオ出力部
８０ メモリカード
９０ 電源部

以下、図面を参照して本発明を実施するための形態について詳細に説明する。

図１は、本発明の実施形態の情報処理装置であるところの撮影装置１（ビデオカメラ）の模式的な構成を示すブロック図である。撮影装置１は、大まかにみると、以下説明する、システム制御部１０と、撮像部２０と、撮影レンズ３２と、画像処理部４０と、フラッシュメモリ６２と、表示装置７０と、ビデオ出力部７２と、に大別される。

システム制御部１０は、撮影装置１全体の動作を司るものであり、ＣＰＵ（Central Pr
ocessing Unit）、ＤＳＰ（Digital Signal Processor）等のプロセッサを含む。システム制御部１０は、電源部９０から電源が供給された後に、ＲＯＭ（Read Only Memory）１２にアクセスして、各種動作を実現する制御プログラムを読み出し、ワークエリアであるＲＡＭ（Random Access Memory）１４等にロードして、その制御プログラムを実行することにより撮影装置１全体の制御を行うものである。

撮像部２０は、以下説明する、撮像素子２２と、駆動回路２４と、アナログフロントエンド（ＡＦＥ：Analog Front-End）２６とを備える。撮像素子２２は、選択的にカラーフィルタが搭載されたＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などで構成され、被写体からの光信号を入力して、これに対応するアナログ撮像信号を出力するものである。駆動回路２４は、撮像素子２２に対して、アナログ撮像信号の出力等を制御する駆動信号を供給するものである。ＡＦＥ２６は、撮像素子２２から出力されるアナログ撮像信号に対して、ＣＤＳ（Correlated Double Sampling）によるリセットノイズの除去、自動利得制御及びアナログ－デジタル変換等の処理を行ってデジタル撮像信号を生成するものである。

光学系に関しては、撮影レンズ３２は、例えばオートフォーカス機構を有する複数の光学レンズ、光学フィルタ等から構成されるズームレンズであり、被写体からの光信号を取り込むものである。絞り３４は、撮影レンズ３２を通じて撮像装置１に取り込まれる光量及びピント調整を担うものである。シャッター３６は、絞り３４とともに適正露出を確保するものである。光学制御部３０は、撮影レンズ３２と、絞り３４と、シャッター３６との動作を制御するものである。

画像処理部４０は、撮像部２０のＡＦＥ２６から出力されるデジタル撮像信号を入力し、当該デジタル撮像信号に対して、既知のように、クランプ、欠陥補正、デモザイク、シャープネス、明度補正、リニアマトリクス、ホワイトバランス、輪郭補正、ガンマ補正、Ｙ／Ｃ分離、色差補正等の信号処理を施すことによって画像データを生成するものである。そして、画像処理部４０は、生成した各画像データを順次フレーム単位でフレームメモリ４１に保存し、所定のタイミングで当該各画像データを読み出し、ＭＰＥＧ４（Moving
Picture Experts Group 4）形式等の所定のフォーマットで圧縮して、ＰＥＳ（Packetized Elementary Stream）パケットやムービーフラグメント等の単位でバッファメモリ４２に保存するものである。

また、画像処理部４０は、バッファメモリ４２に保存された圧縮後の画像データを、メモリカードインタフェース（Ｉ／Ｆ）６０を介して、これに着脱可能なメモリカード８０に、又は、フラッシュメモリ６２にアクセスして保存するものである。

さらに、画像処理部４０は、操作部９２を通じて、ユーザにより撮影画像の再生指示がなされると、その際に指定された画像データをメモリカード８０又はフラッシュメモリ６２から読み出して、所定のフォーマットのビデオ信号に変換し、表示装置７０又はビデオ出力部７２に出力するものである。

ここで、画像処理部４０は、ＡＦＥ２６から出力されるデジタル撮像信号又はこれに基づく画像データをのうち、少なくとも生体認証に用いることができる部分を、生体認証用のテンプレートとの間で照合不可の状態に加工するものである。換言すると、本実施形態の撮像装置１は、この種の動作を実現する情報加工モジュールを備えている。以下、画像データを加工する場合を例に説明する。

（１）加工領域
画像データの加工領域は、画像データ全体としてもよいが、少なくとも、生体認証に用
いることができる指紋部分等である。すなわち、画像データの加工領域は、
［ａ］画像データ全体、
［ｂ］画像データのうち指紋部分等のみ、
［ｃ］当該指紋部分等の一部（例えば、特徴点）、
［ｄ］当該指紋部分等とその周辺領域、
が挙げられる。

なお、上記の各加工領域には、それぞれ以下の利点があるので、ユーザがいずれの加工領域とするかについては選択できるようにしてもよい。
［ａ］画像データ全体を加工する場合には、加工領域を特定するための画像認識処理が不要になるという利点がある。
［ｂ］画像データのうち指紋部分等のみを加工する場合には、加工領域が少なくて済むので、加工による負荷が少なくて済むという利点がある。特に、画像データが静止画像データである場合に好適である。
［ｃ］当該指紋部分等の一部を加工する場合には、［ｂ］の場合よりもさらに加工による負荷が少なくて済むという利点がある。特に、テレビ番組収録用ビデオカメラで、生放送のテレビ番組を撮影する場合のように、加工時間の確保が困難な場合に好適である。
［ｄ］当該指紋部分等とその周辺領域を加工する場合には、連写した静止画像データ或いは動画データのフレーム画像データのように、加工対象の画像データ間に大きな相違がない場合に、前回の加工部分を含むその周辺を加工することで、画像認識処理を間引いて実行することができるという利点がある。

なお、生体認証に用いることができる部分は、指紋部分以外にも、掌形部分、顔部分、網膜部分、虹彩部分、耳部分、血管部分、リップムーブメント部分、瞬き部分、歩行部分、筆跡部分、音声部分又はキーストローク部分が挙げられる。

（２）加工手法
加工手法としては、
［ａ］画像データ全体を加工する場合
例えば、画像から読み取られた指紋等の特徴点が認識できないように、画像データ全体のうち、全体的に略均一に分布している数％～１０％ほどの部分を、意図的に黒レベル約１００％に変更する、或いは、画素欠陥と同じ状態を作り出すということが挙げられる。
［ｂ］画像データの一部を加工する場合
画像データのうち指紋部分等を加工する場合には、当該部分に対応する画素群のデータを、渦巻き状に回転処理したり、ランダムに入れ替えたり、黒レベル約１００％或いは人工的に作成した指紋画像等に差し替えたりすることが挙げられる。なお、ここでいう加工とは、画像データに、画素欠陥があった場合に、欠陥補正をしないことを含む。また、画像から指紋を読み取り、個人情報として悪用することをより強固に回避するためには、不可逆的な加工をすることが好ましい。

（３）加工レベル
画像データの加工レベルとしては、少なくとも、生体認証用のテンプレートとの間で照合不可の状態に加工する。具体的には、加工後の画像データに基づく画像の指紋を指紋認証センサによって読み取って、当該指紋を登録されているテンプレートと照合した場合でも、これらが照合不可となればよい。

ここでいう照合不可の状態とは、他人受入率が通常の生体認証以下の状態をいう。一般的には、他人受入率は、指紋の場合には０．００１％以下程度、掌形の場合には０．１５％以下程度、顔の場合には３％以下程度、虹彩の場合には０．００１％以下程度、血管（静脈）の場合には０．０００１％以下程度、筆跡の場合には３％以下程度、音声の場合に
は５％以下程度をいうので、これらの条件を満たすような加工をすればよい。なお、通常であれば、指紋部分の特徴点を異ならせることで、この条件を満たすことは容易である。

なお、例えば、高解像度カメラは、せっかく、高解像度画像を得ることができるので、あたかも解像度を低下させるかのような加工は好ましくないともいえる。一方、画像の指紋等が加工されていても、通常、実害が発生することは稀である。また、人間の目では認識できない程度の加工であっても、普通は、特徴点さえ変更した画像データに基づく画像は、テンプレートと照合した場合でも照合不可である。さらに、生体認証はそれ単体で認証に用いられることももちろんあるが、多くの場合、他の認証と組み合わせて用いられるので、実在しない擬似的な画像データに差し替えるような加工をしても問題ないと考えられる。

（４）加工時期
画像データの加工時期は、例えば、
［ａ］クランプ処理等と並行して（例えば、クランプ処理とデモザイク処理との間）、
［ｂ］クランプ処理等の後からＭＰＥＧ４形式等のフォーマットへの圧縮前、
［ｃ］画像データを伸張してから表示装置７０等に出力するまで、
が挙げられる。

なお、上記の各加工時期には、それぞれ以下の利点があるので、ユーザがいずれのタイミングで加工を施すかについては選択できるようにしてもよい。
［ａ］クランプ処理等と並行して加工するのであれば、例えば、クランプ処理とデモザイク処理との間の隙間時間を有効活用できる。なお、この加工時期を実現するには、後述する図４のステップＳ１１とステップＳ１２とを並行して行えばよい。
［ｂ］クランプ処理等の後からＭＰＥＧ４形式等のフォーマットへの圧縮前に加工するのであれば、画像データがフレームメモリ４１に保存されて圧縮されるまでの隙間時間を有効活用できる。なお、この加工時期を実現するには、後述する図４に示すとおりの順序で処理すればよい。
［ｃ］画像データを伸張してから表示装置７０等に出力するまでに加工するのであれば、一般的に、画像データの記録開始指示から実際に記録をするまでの時間に処理すべき事項は、画像データの再生開始指示から実際に再生するまでの時間に処理すべき事項よりも多いので、相対的に時間に余裕のない画像データの記録時に加工をしなければならない事態を回避できる。なお、この加工時期を実現するには、後述する図４に示すステップＳ１２とステップＳ１３との順序を入れ替えればよい。

汎用メモリ４３には、上記の加工を行うために必要なプログラム及び情報が格納されている。画像処理部４０は、汎用メモリ４３に格納されているプログラムと図示しないＣＰＵとの協働により、汎用メモリ４３に格納されている情報に基づいて上記加工を行う。この際、加工に先立って、画像認識部４４によってデジタル撮像信号又は画像データから指紋検出等を行うことで加工領域を決定してもよい。

表示装置７０は、いわゆるビューファインダとしても機能する、画像処理部４０から入力される画像信号に基づいて、被写体の撮影画像を表示画面に表示する、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）等である。

ビデオ出力部７２は、図示しない外部のディスプレイなどの表示装置、映像機器、パーソナルコンピュータ又はプリンタと有線又は無線で接続され、画像処理部４０から出力されるビデオ信号を外部のディスプレイ等へ出力するものである。

図２は、図１に示す画像処理部４０による画像データの加工対象例を示す図である。図２に示す画像の場合には、領域Ａ～領域Ｅが、生体認証に用いることができる情報が表示される領域である。既述のように、図２に示す画像全体に対して加工を施してもよいが、少なくとも、領域Ａ～領域Ｅ内の生体認証に用いることができる情報については加工を施すべきである。

図３は、図１に示す画像処理部４０による画像データの加工前後の状態を示す図である。図３（ａ）には加工前の画像データの指紋部分の拡大図を示し、図３（ｂ）～図３（ｄ）には加工後の画像データの指紋部分の拡大図を示している。

図３（ｂ）に示す画像データの指紋部分は、図３（ａ）に示す画像データの指紋部分を、擬似的な画像データに差し替えたものである。図３（ｃ）に示す画像データの指紋部分は、図３（ａ）に示す画像データの指紋部分を、部分的にマスクしたものである。図３（ｄ）に示す画像データの指紋部分は、図３（ａ）に示す画像データの指紋部分における特異点の位置を変更したものである。

この種の加工を施すことによって、この加工後の画像データに基づく画像の指紋を読み取って、それを個人情報として悪用しようとしても、生体認証用のテンプレートと比較した場合に照合不可になり、実際には悪用できないことになる。

図４は、図３（ｂ）に示す加工を行う場合の画像処理部４０の動作例を示す図である。ここでは、ビデオカメラによって動画像を撮影し、そのデジタル撮像信号に基づく画像データに対して加工を行う場合を例に説明する。

まず、画像処理部４０は、撮像部２０のＡＦＥ２６から出力されるデジタル撮像信号に対して、既知のように、クランプ処理等を施して、画像データを生成して、フレームメモリ４１に保存する（ステップＳ１１）。

つぎに、画像処理部４０は、まず、フレームメモリ４１に保存した画像データを読み出す。そして、この画像データのうち生体認証に用いることができる指紋部分に対して加工処理を行う（ステップＳ１２）。

具体的には、まず、画像認識部４４が、画像データの特徴点を分離抽出したり、パターンマッチングしたりするなどして、画像データから指紋部分を特定するといった画像認識処理を行う（ステップＳ２１）。なお、画像データ全体に対して加工処理を施す場合には、画像認識処理は不要である。

つぎに、画像処理部４０は、図３（ｂ）に示す差替用の指紋の擬似的な画像データを、汎用メモリ４３から読み出すといった差替画像読出処理を行う（ステップＳ２２）。汎用メモリ４３には、予め一又は二以上の差替用の指紋の擬似的な画像を格納しておけばよい。

つづいて、画像処理部４０は、ステップＳ２１における画像認識処理によって認識した加工前の画像データの指紋部分に基づいて、汎用メモリ４３から読み出した差替用の指紋の擬似的な画像データの大きさ、角度、色合いなどを編集するといった編集処理を行う（ステップＳ２３）。

その後、画像処理部４０は、ステップＳ２１における画像認識処理によって認識した加工前の画像データの指紋部分を、ステップＳ２３における編集処理で編集した指紋の擬似的な画像データに差し替えるといった差替処理を行う（ステップＳ２４）。こうして加工
処理が施された画像データは、フレームメモリ４１に再び保存される。なお、図４に示す時期に加工処理を施すと、画像データをフレームメモリ４１に保存してから圧縮処理をするまでの隙間時間を有効利用できる。

それから、画像処理部４０は、ステップＳ２４における差替処理によって差し替えられた加工後の画像データを、所定のタイミングでフレームメモリ４１から読み出して、ＭＰＥＧ４形式などのフォーマットで圧縮するといった圧縮処理を行う（ステップＳ１３）。

なお、圧縮処理が施された画像データは、既知のように、バッファメモリ４２に保存される。そして、バッファメモリ４２に、所定数のフレームが保存されると、メモリカード８０等に出力される。

また、図３（ｃ）の画像データに加工するためには、一部が黒レベル約１００％となる画像であるマスク画像を格納しておき、ステップＳ２２では当該マスク画像を読み出すといった読出処理を実行する。そして、ステップＳ２３では、ステップＳ２１において認識した加工前の画像データの指紋部分に基づいて、マスク画像の大きさ等を編集すればよい。

また、図３（ｄ）の画像データに加工するためには、ステップＳ２２～Ｓ２４に代えて、ステップＳ２１において分離抽出した画像データの特徴点を結ぶ仮想ラインを作り、その仮想ライン近傍の各画素のデータに所定の重みづけをするなどして、データ移動処理をすればよい。

本実施形態では、画像データを記録する際に加工を行う場合を例に説明したが、画像データを再生する際に加工を行うこともできる。例えば、メモリカード８０等に保存された画像データを再生する際に、当該画像データを伸張してから、表示装置７０へ出力するまで又はビデオ出力部７２を通じて外部のディスプレイ等へ出力するまでに、加工を行ってもよい。

また、本実施形態では、主として、指紋部分を加工する例を説明したが、網膜部分、虹彩部分、掌形部分、血管部分或いは顔部分についても、指紋部分の場合と同様の手法によって加工すればよい。

［他の実施形態］
既述の実施形態では、情報処理装置であるところの撮像装置１としてビデオカメラを例に説明したが、情報処理装置はこれに限定されるものではない。情報処理装置の例としては、入力型装置、中間型装置、出力型装置といった３タイプが挙げられる。

（１）入力型装置
既述のビデオカメラもこれに属するが、その他には、スチルカメラ、ＤＶＤレコーダ、ＩＣレコーダなどの音声入力装置もこれに該当する。スチルカメラの場合には、画像データの圧縮に際して、ＪＰＥＧ（Joint Photographic Experts Group）形式のフォーマットで行う点を除けば、ビデオカメラの場合とほぼ同様である。ＤＶＤレコーダの場合には、取り込む画像データに対して加工を施せばよい。音声入力装置の場合には、声紋認証を行う場合が挙げられるが、特徴点の周波数を変更等する加工を施すなどして指紋部分等の加工と同様の加工を行えばよい。

（２）中間型装置
既に生成済みの画像データ等を扱う装置がこれに該当する。例示すると、ファイルサーバ、コンピュータなどが挙げられる。これらの装置に、既述のような情報加工モジュール
を搭載すれば、当該装置で扱う画像データ等についても加工を施すことができる。画像データ等が格納されているサーバ又はこれに接続されているコンピュータの場合には、これらに既述のような情報加工モジュールを設けることによって加工を施すことができる。この場合には、サーバに格納されている圧縮状態の画像データ等を伸張して、図４に示したステップＳ２１～Ｓ２４党を実行すればよい。加工を施したデータは、その後に圧縮してサーバ内にける加工前のファイルの格納領域に戻すか、コンピュータに接続されているディスプレイに表示させればよい。

（３）出力型装置
この種の装置も、既に生成済みの画像データ等を扱うものである。例示すると、ディスプレイ、デジタルテレビ受信機、ＤＶＤプレーヤ、プリンタなどが挙げられる。これらについても、既述のような情報加工モジュールを搭載すれば、当該装置で扱う画像データ等についても加工を施すことができる。いずれの装置においても、入力した画像データ等に対して加工を施してから、自装置又はこれに接続されているディスプレイに表示したり、印刷したりすればよい。

さらに、本実施形態で説明した撮像装置１等の動作は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、撮像装置１により行なわれる情報加工方法も、ハードウェア、ソフトウェア又はこれらに組合せにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

Claims (6)

1. 加工対象の画像データのうち生体認証に用いることができる部分を、生体認証用のテンプレートとの間で照合不可の状態に加工する加工手段を備える情報加工モジュールであって、
   前記加工手段は、
   前記画像データ全体のうち生体認証に用いることができる部分の一部である特徴点に対応する画素の画素値を白又は黒とする、情報加工モジュール。
2. 前記部分を認識する認識手段を備える、請求項１記載の情報加工モジュール。
3. 加工対象の画像データのうち生体認証に用いることができる部分を、生体認証用のテンプレートとの間で照合不可の状態に加工する加工手段を備える情報加工モジュールであって、
   前記加工手段は、前記画像データに係る指紋部分における特異点の位置を変更する、
   情報加工モジュール。
4. 加工対象の画像データのうち生体認証に用いることができる部分を、生体認証用のテンプレートとの間で照合不可の状態に加工するステップを含む情報加工方法であって、
   前記ステップは、
   前記画像データ全体のうち生体認証に用いることができる部分の一部である特徴点に対応する画素の画素値を白又は黒とする、情報加工方法。
5. 請求項４記載の情報加工方法を情報処理装置に実行させる情報加工プログラム。
6. 請求項１から３のいずれか記載の情報加工モジュールを備える情報処理装置。

Images