JP2009033738A - 撮像装置、画像ファイルのデータ構造 - Google Patents
撮像装置、画像ファイルのデータ構造 Download PDFInfo
- Publication number
- JP2009033738A JP2009033738A JP2008167153A JP2008167153A JP2009033738A JP 2009033738 A JP2009033738 A JP 2009033738A JP 2008167153 A JP2008167153 A JP 2008167153A JP 2008167153 A JP2008167153 A JP 2008167153A JP 2009033738 A JP2009033738 A JP 2009033738A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- information
- original image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
【課題】画像に関するプライバシー等を保護する。
【解決手段】撮像装置は、被写体を撮影することによって元画像を取得し、元画像の顔領域に対して可逆性の加工処理を施すことにより元画像から加工画像を生成する。そして、この加工画像と、顔領域の位置及び大きさ並びに加工処理の内容を特定する復元用情報と、その復元用情報に従って加工画像から元画像を復元してそれを表示することに対する許可/禁止を切替制御するための権限管理情報と、を互いに関連付けて画像ファイルに格納する。SNS等を運営するサーバはユーザPCから画像ファイルを受け取り、閲覧側PCからの送信要求があった際、ユーザPCと閲覧側PCとの関係及び画像ファイル内の権限管理情報から閲覧側PCに元画像を送信するか否かを判断する。
【選択図】図7
【解決手段】撮像装置は、被写体を撮影することによって元画像を取得し、元画像の顔領域に対して可逆性の加工処理を施すことにより元画像から加工画像を生成する。そして、この加工画像と、顔領域の位置及び大きさ並びに加工処理の内容を特定する復元用情報と、その復元用情報に従って加工画像から元画像を復元してそれを表示することに対する許可/禁止を切替制御するための権限管理情報と、を互いに関連付けて画像ファイルに格納する。SNS等を運営するサーバはユーザPCから画像ファイルを受け取り、閲覧側PCからの送信要求があった際、ユーザPCと閲覧側PCとの関係及び画像ファイル内の権限管理情報から閲覧側PCに元画像を送信するか否かを判断する。
【選択図】図7
Description
本発明は、デジタルスチルカメラ又はデジタルビデオカメラ等の撮像装置に関する。また本発明は、画像データを格納した画像ファイルのデータ構造に関する。また本発明は、上記の撮像装置又は画像ファイルと関連する、情報提供装置、端末装置、画像表示装置及び画像ファイルの記録方式に関する。
これまで、個人的に撮影した静止画像や動画像は、撮影者自身とその家族や友人などの限られた人間にのみ閲覧されることが通常であった。しかし、近年のデジタルカメラの普及と、ソーシャルネットワーキングサービス(以下、「SNS」と略記する)や所謂ブログ等の情報共有サービスが浸透するにつれて、不特定多数の人間に対して撮影した静止画像や動画像を公開する機会が増えつつある。その一方で、肖像権、著作権又はプライバシー等の保護に関する意識は高まりつつある。
プライバシー等を保護する方法として、SNS等で採用される公開制限(閲覧制限)を利用する方法があるが、制限されたユーザ(画像の提供を受けるユーザ)は全く画像の内容を知ることができない。プライバシー等を保護するためには、保護したい部分だけの公開を制限すれば足るのであり、画像の内容を全て非公開とすることが画像提供者の意図に沿うとは限らない。
また、下記特許文献1に記載の方法では、元画像の全体領域から顔領域やテキスト記載領域を抽出し、それらの領域に対してモザイク処理や黒塗り処理等の加工処理を行うことにより、それらの領域の画像内容を特定不可能にしている。しかしながら、この方法では、加工処理が一旦施されると加工処理前の元画像を復元することが困難となるため、元画像を閲覧しても良い人であっても元画像の内容を見ることができなくなるという問題を有する。
そこで本発明は、プライバシー等の保護に寄与する、撮像装置、画像ファイルのデータ構造、情報提供装置、端末装置、画像表示装置及び画像ファイルの記録方式を提供することを目的とする。
上記目的を達成するために本発明に係る撮像装置は、被写体を撮影することによって元画像を取得する撮像手段と、前記元画像中の特定領域内の画像に対して可逆型の加工処理を施すことにより、前記元画像から加工画像を生成する加工処理手段と、前記加工画像と、前記加工画像から前記元画像を復元するために必要な復元処理の内容を特定する復元用情報と、を互いに関連付けて格納した画像ファイルを記録手段に記録する記録制御手段と、を備えたことを特徴とする。
撮像装置上で画像ファイルを保存する時点で加工処理が実施され、画像ファイル内の画像は加工画像となっているため、仮に、画像ファイルが不正に流通した場合でも特定領域内の画像に関するプライバシー等が保護される。また、従来の手法(例えば、上記特許文献1参照)と異なり、復元用情報を用いることによって加工画像から元画像を復元することが可能である。
そして例えば、前記記録制御手段は、前記復元用情報に従って前記加工画像から前記元画像を復元してそれを視認可能な状態にすることに対する許可/禁止を切替制御するための権限管理情報を、更に、前記加工画像及び前記復元用情報に関連付けて前記画像ファイルに格納する。
権限管理情報を適切に設定することにより、ユーザの意図に沿った、元画像の閲覧制限制御が可能となる。
また具体的には例えば、当該撮像装置は、前記元画像の画像データに基づいて、前記元画像から特定の画像特徴を有する領域を検出する特定領域検出手段を更に備え、前記加工処理手段は、前記特定領域検出手段によって検出された領域から前記特定領域を設定する。
或いは具体的には例えば、当該撮像装置は、外部からの前記特定領域を指定するための操作を受け付ける指定操作受付手段を更に備え、前記加工処理手段は、前記操作に従って前記特定領域を設定する。
また例えば、前記特定領域検出手段によって検出される、前記特定の画像特徴を有する領域は、人物の顔を含む顔領域であり、前記特定領域検出手段は、自身が検出した顔領域が特定条件を満たすか否かを判断し、前記加工処理手段は、前記特定条件を満たすと判断された顔領域から前記特定領域を設定する。
そして例えば、当該撮像装置に予め設定された登録人物の顔領域、特定性別の人物の顔領域、特定人種の人物の顔領域、及び、特定年齢層の人物の顔領域の内の、何れか1以上の顔領域が前記特定条件を満たすと判断されてもよい。
また例えば、前記撮像手段は、時系列に並ぶ複数の元画像より成る元動画像を取得し、当該撮像装置は、前記元動画像の画像データに基づいて前記元動画像内で特定被写体を追尾する追尾処理手段を更に備え、前記加工処理手段は、前記複数の元画像の何れかの元画像を基準元画像として捉えて、前記基準元画像中の、前記特定被写体を含む特定領域を設定するとともに、前記追尾処理手段の追尾結果に基づいて、前記基準元画像以外の元画像における特定領域内に前記特定被写体が含まれるように前記基準元画像以外の元画像に対する特定領域を設定し、その後、各元画像に対して設定した特定領域内の画像に前記加工処理を施すことにより、前記元動画像から、時系列に並ぶ複数の加工画像より成る加工動画像を生成する。
そして例えば、前記基準元画像に対する前記特定領域は、前記基準元画像の画像データに基づいて又は外部からの操作に基づいて設定される。
また具体的には例えば、前記復元用情報は、前記加工画像上における前記特定領域の位置及び大きさを表す情報を含む。
また具体的には例えば、前記加工処理は、前記特定領域内の画像を加工するためのモザイク処理又はマスク処理を含む。
また例えば、前記権限管理情報は、認証コードを含み、当該撮像装置と他の撮像装置との間で互いに異なる固有コードが各撮像装置に予め与えられており、当該撮像装置は、 表示手段と、前記復元用情報に基づいて前記加工画像から前記元画像を復元する復元処理手段と、前記認証コードと当該撮像装置に対する固有コードとを照合する照合手段と、 前記照合手段による照合結果に基づいて、前記復元処理手段によって復元された前記元画像の前記表示手段での表示を許可するか否かを判別する判別手段と、を備え、前記判別手段の判別結果に応じて前記復元処理手段及び前記表示手段を制御する。
これにより、画像ファイルを記録した記録媒体の紛失等があった場合でも、プライバシー等が保護される。
また、本発明に係る画像ファイルのデータ構造は、元画像中の特定領域内の画像に対して可逆型の加工処理を施すことによって得られた加工画像のデータと、前記加工画像から前記元画像を復元するために必要な復元処理の内容を特定する復元用情報のデータと、を互いに関連付けて格納したことを特徴とする。
そして例えば、前記復元用情報に従って前記加工画像から前記元画像を復元してそれを視認可能な状態にすることに対する許可/禁止を切替制御するための権限管理情報のデータを、更に、前記加工画像のデータ及び前記復元用情報のデータに関連付けて画像ファイルに格納するとよい。
また、本発明に係る情報提供装置は、上記の画像ファイルを提供元装置から受け取り、前記提供元装置と所定の関係を有し且つ表示手段を備えた端末装置からの送信要求に従って通信網を介して前記画像ファイルに基づく情報を前記端末装置に送信する情報提供装置であって、前記画像ファイル内の復元用情報に基づいて前記画像ファイル内の加工画像から元画像を復元する復元処理手段を備え、前記送信要求があった際、前記画像ファイル内の権限管理情報と前記関係に基づいて、前記復元処理手段によって復元された前記元画像の前記端末装置に対する送信を許可するか否かを判別し、その判別結果に応じて前記端末装置への送信内容を制御することを特徴とする。
これにより、SNS等において、プライバシー等を保護する仕組みを導入することが可能である。
そして例えば、当該情報提供装置は、前記関係を事前に認識しており、前記権限管理情報と前記関係に応じて、前記端末装置に、第1及び第2の権限を含む複数段階の権限の内の何れかを与え、前記第1の権限を前記端末装置に与えているときにおいて、前記送信要求があった際、前記復元処理手段による復元された前記元画像を前記端末装置に対して送信する一方、前記第2の権限を前記端末装置に与えているときにおいて、前記送信要求があった際、前記復元処理手段による復元された前記元画像の前記端末装置に対する送信を禁止する。
また、本発明に係る端末装置は、表示手段を備え、上記の情報提供装置から通信網を介して前記画像ファイルに基づく情報を受け取って、受け取った情報に基づく画像を前記表示手段に表示することを特徴とする。
また、本発明に係る画像表示装置は、上記の画像ファイルを受け取るファイル入力手段と、表示手段と、を備えている。そして、前記画像ファイル内の権限管理情報は、認証コードを含み、当該画像表示装置は、前記画像ファイル内の復元用情報に基づいて前記画像ファイル内の加工画像から元画像を復元する復元処理手段と、前記認証コードと当該画像表示装置に登録されたコードとを照合する照合手段と、前記照合手段による照合結果に基づいて、前記復元処理手段によって復元された前記元画像の前記表示手段での表示を許可するか否かを判別する判別手段と、を更に備え、前記判別手段の判別結果に応じて前記復元処理手段及び前記表示手段を制御することを特徴とする。
これにより、画像ファイルが不正に流出した場合でも、プライバシー等が保護される。
また、本発明に係る画像ファイルの記録方式は、元画像中の特定領域内の画像に対して可逆型の加工処理を施すことによって得られた加工画像のデータと、前記加工画像から前記元画像を復元するために必要な復元処理の内容を特定する復元用情報のデータと、を互いに関連付けて記録することを特徴とする。
本発明によれば、プライバシー等の保護に寄与する撮像装置等を提供することができる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第1〜第9実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
図1は、本発明の実施の形態に係る撮像装置1の全体ブロック図である。撮像装置1は、動画像及び静止画像を撮影可能なデジタルビデオカメラである。但し、撮像装置1は、静止画像のみを撮影可能なデジタルスチルカメラであってもよい。図1に示す如く、撮像装置1は、符号11〜28で参照される各部位を備える。
まず、撮像装置1内の各部位の基本的な動作を説明する。撮像装置1内の各部位は、バス24又は25を介して、各部位間の信号(データ)のやり取りを行う。TG22は、撮像装置1全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置1内の各部に与える。タイミング制御信号は、垂直同期信号Vsyncと水平同期信号Hsyncを含む。
CPU23は、撮像装置1内の各部の動作を統括的に制御する。操作部26は、ユーザによる操作を受け付ける。操作部26は、録画ボタン26a、シャッタボタン26b及び操作キー26c等を有している。操作部26に与えられた操作内容は、CPU23に伝達される。撮像装置1上での各種の設定は、主として操作キー26cを介して行われる。SDRAM17は、フレームメモリとして機能する。撮像装置1内の各部は、必要に応じ、信号処理時に一時的に各種のデータ(デジタル信号)をSDRAM17に記録する。メモリカード18は、外部記録媒体であり、例えば、SD(Secure Digital)メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード18を例示しているが、外部記録媒体を、1または複数のランダムアクセス可能な記録媒体(半導体メモリ、メモリカード、光ディスク、磁気ディスク等)で構成することができる。
図2は、図1の撮像部11の内部構成図である。撮像部11にカラーフィルタなどを用いることにより、撮像装置1は、撮影によってカラー画像を生成可能なように構成されている。
撮像部11は、光学系35と、絞り32と、撮像素子33と、ドライバ34を有している。光学系35は、ズームレンズ30及びフォーカスレンズ31を含む複数枚のレンズを備えて構成される。ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能である。ドライバ34は、CPU23からの制御信号に基づいて、ズームレンズ30及びフォーカスレンズ31の移動を制御し、光学系35のズーム倍率や焦点距離を制御する。また、ドライバ34は、CPU23からの制御信号に基づいて絞り32の開度(絞り値)を制御する。
被写体からの入射光は、光学系35を構成する各レンズ及び絞り32を介して、撮像素子33に入射する。光学系35を構成する各レンズは、被写体の光学像を撮像素子33上に結像させる。TG22は、上記タイミング制御信号に同期した、撮像素子33を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子33に与える。
撮像素子33は、例えばCCD(Charge Coupled Devices)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなる。撮像素子33は、光学系35及び絞り32を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をAFE12に出力する。より具体的には、撮像素子33は、マトリクス状に二次元配列された複数の画素(受光画素;不図示)を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、TG22からの駆動パルスに従って、後段のAFE12に順次出力される。
AFE12は、撮像部11(撮像素子33)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。AFE12は、このデジタル信号を、順次、映像信号処理部13に出力する。
映像信号処理部13は、AFE12の出力信号に基づいて、撮像部11によって撮影された画像(以下、「撮影画像」又は「フレーム画像」ともいう)を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Yと、撮影画像の色を表す色差信号U及びVと、から構成される。映像信号処理部13にて生成された映像信号は、圧縮処理部16と映像出力回路20に送られる。
また、映像信号処理部13は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたAF評価値及び撮影画像の明るさに応じたAE評価値(輝度評価値)を検出し、それらをCPU23に伝達する。CPU23は、AF評価値に応じて図2のドライバ34を介してフォーカスレンズ31の位置を調節することにより、被写体の光学像を撮像素子33上に結像させる。また、CPU23は、AE評価値に応じて図2のドライバ34を介して絞り32の開度(及び必要に応じてAFE12における信号増幅の増幅度)を調節することにより、受光量(画像の明るさ)を制御する。
マイク14は、外部から与えられた音声(音)を、アナログの音声信号に変換して出力する。音声信号処理部15は、マイク14から出力されるアナログの音声信号をデジタルの音声信号に変換する。このデジタルの音声信号は、圧縮処理部16に送られる。
圧縮処理部16は、映像信号処理部13からの映像信号を、所定の圧縮方式を用いて圧縮する。動画像または静止画像の撮影及び記録時において、圧縮された映像信号はメモリカード18に送られ、メモリカード18に記録される。また、圧縮処理部16は、音声信号処理部15からの音声信号を、所定の圧縮方式を用いて圧縮する。動画像の撮影及び記録時において、映像信号処理部13からの映像信号と音声信号処理部15からの音声信号は、圧縮処理部16にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード18に記録される。
撮像装置1の動作モードには、動画像または静止画像の撮影及び記録が可能な撮影モードと、メモリカード18に格納された動画像または静止画像を表示部27に再生表示する再生モードと、が含まれる。操作キー26cに対する操作に応じて、各モード間の遷移は実施される。録画ボタン26aに対する操作に従って動画像の撮影及び記録の開始又は終了が実施される。また、シャッタボタン26bに対する操作に従って静止画像の撮影及び記録が実施される。
撮影モードでは、所定のフレーム周期(例えば、1/60秒)にて順次撮影が行われる。撮影モードにおいて、ユーザが録画ボタン26aを押下すると、CPU23の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部16を介してメモリカード18に記録される。再度、録画ボタン26aを押下すると、動画像撮影は終了する。つまり、映像信号及び音声信号のメモリカード18への記録は終了し、1つの動画像の撮影は完了する。
また、撮影モードにおいて、ユーザがシャッタボタン26bを押下すると、静止画像の撮影が行われる。具体的には、CPU23の制御の下、その押下後の1つのフレームの映像信号が、静止画像を表す映像信号として、圧縮処理部16を介してメモリカード18に記録される。
再生モードにおいて、ユーザが操作キー26cに所定の操作を施すと、メモリカード18に記録された動画像または静止画像を表す圧縮された映像信号は、伸張処理部19に送られる。伸張処理部19は、受け取った映像信号を伸張して映像出力回路20に送る。尚、撮影モードにおいては、録画ボタン26a又はシャッタボタン26bが押下されていなくても、所定のフレーム周期(例えば、1/60秒の周期)にて撮影画像が取得されている。この撮影画像を、特に、スルー画像という。撮影モードでは、所謂プレビューを行うべく、逐次スルー画像の映像信号が映像出力回路20に送られる。
映像出力回路20は、与えられたデジタルの映像信号を表示部27で表示可能な形式の映像信号(例えば、アナログの映像信号)に変換して出力する。表示部27は、液晶ディスプレイなどの表示装置であり、映像出力回路20から出力された映像信号に応じた画像を表示する。
また、再生モードにおいて動画像を再生する際、メモリカード18に記録された動画像に対応する圧縮された音声信号も、伸張処理部19に送られる。伸張処理部19は、受け取った音声信号を伸張して音声出力回路21に送る。音声出力回路21は、与えられたデジタルの音声信号をスピーカ28にて出力可能な形式の音声信号(例えば、アナログの音声信号)に変換してスピーカ28に出力する。スピーカ28は、音声出力回路21からの音声信号を音声(音)として外部に出力する。
図3に、撮像装置1と協働して特徴的な動作を行う画像管理システムの全体構成図を示す。図3において、符号2は、ユーザ用のコンピュータ(以下、「ユーザPC」という)である。符号3は、サーバコンピュータ(以下、単に「サーバ」という)である。符号4は、コンピュータ・ネットワークとしての通信網である。今、通信網4は、インターネットであるとする。符号101、102及び103は、夫々、サーバ3に格納された画像の閲覧等を行うための閲覧用のコンピュータ(以下、「閲覧側PC」という)である。
図4に、ユーザPC2の概略内部ブロック図を示す。ユーザPC2は、符号41〜48にて参照される各部位を備える。図5に、サーバ3の概略内部ブロック図を示す。サーバ3は、符号61〜65にて参照される各部位を備える。閲覧側PC101〜103も、ユーザPC2と同様の構成を有し、液晶ディスプレイ等から成る表示部(不図示)等を備えている。ユーザPC2とサーバ3は、通信網4を介して任意のデータの送受信が可能であり、閲覧側PC101〜103の夫々とサーバ3は、通信網4を介して任意のデータの送受信が可能である。尚、図示の簡略化及び説明の便宜上、図3には閲覧用PCが3台しか示されていないが、閲覧用PC101、102又は103と同様の多数の閲覧用PCが通信網4を介してサーバ3に接続されうる。
撮像装置1は、撮影された静止画像又は動画像に応じた画像ファイルを作成し、該画像ファイルはメモリカード18に記録される。ここにおける画像ファイルには、後述の特殊画像ファイルが含まれる。メモリカード18は撮像装置1に対して着脱自在となっている。メモリカード18を撮像装置1から取り外して図4のユーザPC2のカードスロット44に装着することにより、ユーザPC2は、メモリカード18内に記録された画像ファイルを読み出すことが可能となる。また、撮像装置1に装着されたメモリカード18内の画像ファイルを、USB(Universal Serial Bus)などの規格に従った通信線を介してユーザPC2に読み込ませることもできる。ユーザPC2に読み込まれた画像ファイルは、画像処理部42を含む主制御部41に与えられる。液晶ディスプレイ等から成る表示部45及びスピーカ46は、主制御部41の制御の下、夫々、映像の表示及び音声の出力を行う。また、メモリ48の記憶内容は、主制御部41に参照される。
図4のPC操作キー47に所定の操作が施された時、主制御部41に与えられた画像ファイルは、図5のサーバ3の、画像処理部62を含む主制御部61に送信される(所謂アップロードが行われる)。この送信は、図4の通信部43、図3の通信網4及び図5の通信部63を介して行われる。主制御部61が受信した画像ファイルは、ユーザPC2の固有情報と関連付けられつつサーバHDD(ハードディスク)64に保存される。
サーバ3は、インターネット上で所定のIPアドレスが割り当てられたWWW(World Wide Web)サーバであり、SNS(ソーシャルネットワーキングサービス)や所謂ブログ等のウェブサイトを運営する。
サーバ3は、通信網4を介して閲覧側PC101〜103の夫々からの送信要求(配信要求)を受け付ける。閲覧側PC101からサーバHDD64に格納された画像ファイル又は該画像ファイルを含むウェブページに対する送信要求を受け取った時、画像ファイルの内容と公開管理メモリ65の記憶内容に基づいて送信すべきデータを判断し、その判断結果に応じたデータを閲覧側PC101に送信する(詳細は後述)。閲覧側PC102及び103についても同様である。尚、公開管理メモリ65を、サーバHDD64内の一部記録領域から形成することが可能である。
図1の撮像装置1において、操作キー26cに対して所定の操作を施すことによってメモリカード18への画像の記録方式を特殊記録方式に設定することができる。撮像装置1は、特殊記録方式が設定されている時に特異な動作を行い、特徴的な画像ファイルを作成及び保存(記録)する。この特徴的な画像ファイルを、特に、特殊画像ファイルと呼ぶことにする。以下の説明は、特に記述なき限り、特殊記録方式が設定されている時の動作の説明である。特殊記録方式は、肖像権、著作権又はプライバシー等の保護や機密情報の秘密性保持にとって有益である。
以下に、図3に示す画像管理システムの全体又は一部の動作又はそれらに関与する動作を説明する実施例として、第1〜第9実施例を説明する。各実施例に記載した事項は、矛盾なき限り或いは特に記述無き限り、任意に組み合わせて実施することが可能である。
<<第1実施例>>
第1実施例について説明する。まず、特殊記録方式が設定されている時に撮像装置1において実施される画像処理内容について説明する。ここでは、人物の顔をプライバシー保護の対象とすることを想定する。
第1実施例について説明する。まず、特殊記録方式が設定されている時に撮像装置1において実施される画像処理内容について説明する。ここでは、人物の顔をプライバシー保護の対象とすることを想定する。
図1の撮像装置1は、顔検出機能を備えている。顔検出機能は、図1の映像信号処理部13内の顔検出部よって実現される。図6に、図1の映像信号処理部13の内部の一部ブロック図を示す。映像信号処理部13は、顔検出部81及び加工処理部82を含む。
顔検出部81は、撮像部11による各撮影画像を入力画像として受け取り、入力画像の画像データに基づいて、入力画像中から人物の顔を検出して、顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部81は何れの手法をも採用可能である。例えば、特開2000−105819号公報に記載の手法のように入力画像から肌色領域を抽出することによって顔(顔領域)を検出しても良いし、特開2006−211139号公報又は特開2006−72770号公報に記載の手法を用いて顔(顔領域)を検出しても良い。
典型的には例えば、入力画像内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か(着目領域が顔領域であるか否か)を検出する。類似判定は、顔であるか否かを識別するのに有効な特徴量を抽出することによって行う。特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジ等である。
入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて1画素ずつずらされながら、更新設定される。また、入力画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。
顔検出部81から出力される顔検出結果は、加工処理部82に与えられる。加工処理部82は、撮像部11による撮影画像を顔検出結果に基づいて加工し、加工後の画像を加工画像として出力する。加工画像との区別を明確化するため、撮像部11の撮影によって得られた加工前の撮影画像を、以下、「元画像」と呼ぶ。
今、1つの元画像に着目する。図7(a)に、着目した元画像300を示す。元画像300には2人の人物301及び302が描写されている。紙面左側の人物301は男性であり、紙面右側の人物302は女性である。符号311及び312が付された矩形領域は、夫々、人物301及び302について抽出された顔領域である。
顔検出部81から出力される顔検出結果によって、顔検出部81にて抽出された元画像内の顔領域の位置及び大きさが特定される(大きさによって幅と高さが特定されるものとする)。複数の顔領域が抽出された場合は、各顔領域についての位置及び大きさを特定する情報が顔検出結果に含まれる。尚、顔領域の形状が矩形である場合を例示しているが、顔領域の形状は矩形以外(例えば、楕円や真円)であっても構わない。本実施例において、顔検出部81によって検出された顔領域は、加工処理部82による「加工対象領域」となる。図7(a)の例では、顔領域311と312の夫々が、加工対象領域となる(従って、加工対象領域は2つである)。
加工処理部82は、与えられた元画像内の加工対象領域に対して所定の加工処理を施す。加工対象領域以外の領域に対して該加工処理は施されない。図7(b)に、図7(a)の元画像300に対して加工処理を経て得られる加工画像320を示す。加工画像320においては、人物301及び302が誰であるのかを顔に基づいて判断できないようになっている。
加工処理部82にて実施される加工処理として様々な種類の加工処理を採用することが可能である。但し、その加工処理は、可逆型の加工処理である必要がある。
加工処理部82における加工処理として、例えば、ガラス処理、ネガポジ処理、XOR0x80処理、RGB入れ替え処理、Winマスク処理、Mekoマスク処理、Q0マスク処理、FLマスク処理、CPマスク処理などを採用可能である。それらの処理は、何れもマスク処理の一種であるが、それらの処理の内の一部は、モザイク処理にも分類される。モザイク処理では、例えば、加工対象領域を縦及び横方向に所定画素間隔で分割し、分割によって得られた各領域をランダムに並べ替える。
ガラス処理には横ガラス処理と縦ガラス処理が含まれる。横ガラス処理では、加工対象領域を縦方向に所定画素間隔で分割し、分割によって得られた各領域の上下方向の位置関係を入れ替える。縦ガラス処理では、加工対象領域を横方向に所定画素間隔で分割し、分割によって得られた各領域の左右方向の位置関係を入れ替える。横ガラス処理と縦ガラス処理を組み合わせて実施することもできる。
ネガポジ処理では、加工対象領域内のRGB信号のビット反転を行う。尚、加工対象領域内の映像信号がYUV形式で表現されている場合は、その映像信号をRGB信号に変換してからネガポジ処理を実施すればよい。
XOR0x80処理では、加工対象領域内のRGB信号の各信号値と、16進数表記における0x80(80H)との排他的論理和をとり、その排他的論理和の結果を出力する。
RGB入れ替え処理では、加工対象領域内のRGB信号の各信号値を、R、G、B信号間で入れ替える。
Winマスク処理では、加工対象領域を縦方向に所定画素間隔で分割し、分割によって得られた各領域を所定の規則に則って入れ替える。
Mekoマスク処理では、加工対象領域を縦及び横方向に所定画素間隔で分割し、分割によって得られた各領域をランダムに並べ替え、更にネガポジ反転を行う。
Q0マスク処理では、横ガラス処理と縦ガラス処理とネガポジ反転などを組み合わせて実施する。
FLマスク処理では、加工対象領域を縦及び横方向に所定画素間隔で分割し、分割によって得られた各領域を渦巻き状に並べ替える。
CPマスク処理では、加工対象領域を縦及び横方向に所定画素間隔で分割し、分割によって得られた各領域を並べ替える。但し、この並べ替えの仕方は、分割によって得られた領域の個数と所定文字数以下のアルファベット文字列とで決定される。従って、元の画像を得るためには、このアルファベット文字列が必要となる。CPマスク処理を利用する際には、後述の認証コードとともに、このアルファベット文字列を用いた管理が可能となる。例えば、加工画像から元画像を復元する機能を備えた装置(撮像装置1やユーザPC2)において、その装置のユーザがその装置に上記アルファベット文字列を与えないと元画像の復元を行わない、といった仕組みを導入することもできる。
ネガポジ処理では、加工対象領域内のRGB信号のビット反転を行う。尚、加工対象領域内の映像信号がYUV形式で表現されている場合は、その映像信号をRGB信号に変換してからネガポジ処理を実施すればよい。
XOR0x80処理では、加工対象領域内のRGB信号の各信号値と、16進数表記における0x80(80H)との排他的論理和をとり、その排他的論理和の結果を出力する。
RGB入れ替え処理では、加工対象領域内のRGB信号の各信号値を、R、G、B信号間で入れ替える。
Winマスク処理では、加工対象領域を縦方向に所定画素間隔で分割し、分割によって得られた各領域を所定の規則に則って入れ替える。
Mekoマスク処理では、加工対象領域を縦及び横方向に所定画素間隔で分割し、分割によって得られた各領域をランダムに並べ替え、更にネガポジ反転を行う。
Q0マスク処理では、横ガラス処理と縦ガラス処理とネガポジ反転などを組み合わせて実施する。
FLマスク処理では、加工対象領域を縦及び横方向に所定画素間隔で分割し、分割によって得られた各領域を渦巻き状に並べ替える。
CPマスク処理では、加工対象領域を縦及び横方向に所定画素間隔で分割し、分割によって得られた各領域を並べ替える。但し、この並べ替えの仕方は、分割によって得られた領域の個数と所定文字数以下のアルファベット文字列とで決定される。従って、元の画像を得るためには、このアルファベット文字列が必要となる。CPマスク処理を利用する際には、後述の認証コードとともに、このアルファベット文字列を用いた管理が可能となる。例えば、加工画像から元画像を復元する機能を備えた装置(撮像装置1やユーザPC2)において、その装置のユーザがその装置に上記アルファベット文字列を与えないと元画像の復元を行わない、といった仕組みを導入することもできる。
これらの他、加工対象領域内の映像信号のビット列をランダムに入れ替えるといったことも可能である。
加工処理部82にて実施される加工処理は可逆型の加工処理であるので、その加工処理に対応する復元処理によって加工画像から元画像を完全に復元することができる。この復元処理の実行に必要な復元処理情報も、加工処理部82(又は図1のCPU23等)にて生成される。復元処理情報は、加工対象領域に対して如何なる加工処理を行ったかを特定する情報とも言える。加工処理部82における加工処理が、分割された領域、信号値又はビット列に対する並べ替え処理を含む場合、その並べ替え順を復元処理情報に含める必要があるが、その並べ替え順を暗号化してから復元処理情報に含めるようにしてもよい。
尚、加工処理部82にて如何なる加工処理を施すかを、図1の操作キー26cに対する所定操作によってユーザが設定することができる。その際、加工処理の強度等も設定することが可能である。それらの設定がなされていない場合は、予め規定された加工処理を撮像装置1が自動的に実施する。尚、加工処理の強度とは、加工処理によって加工対象領域内の画像が元画像のそれからどの程度変質したかを表す指標であり、加工処理の程度とも読み替えることができる。加工処理の強度の設定によって、例えば、ガラス処理によって分割される領域の大きさを設定することができる。
図8に、図1のシャッタボタン26bの押下に伴って作成されメモリカード18に記録される特殊画像ファイル340のデータ構造を示す。特殊画像ファイル340は、静止画像用の特殊画像ファイルであり、CPU23の制御の下、撮像装置1内で作成される。
特殊画像ファイル340は、ヘッダ領域341と本体領域342から形成される。当然ではあるが、同一の特殊画像ファイル内に定義されたヘッダ領域と本体領域は互いに関連付けられている。特殊画像ファイル340の場合、ヘッダ領域341と本体領域342は互いに関連付けられ、特殊画像ファイル340内に格納された各データは互いに関連付けられている。
本体領域342には加工画像を表す画像データが格納される。この画像データは、加工画像を図1の圧縮処理部16にて圧縮することによって得られた、圧縮された映像信号としての圧縮データである。本体領域342を含む特殊画像ファイル340内に、元画像の画像データは含まれない。ヘッダ領域341には加工対象領域の関連情報等が格納される。具体的には、特殊画像ファイル340に対応する元画像の加工対象領域に対して、加工対象領域ID、加工位置・大きさ情報、復元処理情報、認証コード、公開レベル情報及び拡張情報が定められ、それらがヘッダ領域341に格納される。この際、加工対象領域が複数ある場合は、加工対象領域ごとに、加工対象領域ID、加工位置・大きさ情報、復元処理情報、認証コード、公開レベル情報及び拡張情報が定められる。
説明の具体化のため、図7(a)の元画像300に対応する特殊画像ファイルが特殊画像ファイル340である場合を考える。この場合、図7(a)の顔領域311及び312の夫々についての加工対象領域ID、加工位置・大きさ情報、復元処理情報、認証コード、公開レベル情報及び拡張情報がヘッダ領域341に格納される。
加工対象領域IDは、基本的には、加工対象領域ごとに異なる通し番号である。今の例の場合、第1の加工対象領域としての領域311及び第2の加工対象領域としての顔領域312の通し番号は、例えば、夫々1及び2とされる。加工対象領域が顔領域である場合、加工対象領域IDに、更に、性別、年齢及び人種等の属性情報を付加することも可能である。撮像装置1又は特殊画像ファイル340を受け取ったユーザPC2(図3参照)上において、加工対象領域ごとに、これらの属性情報を手動にて設定することができる。
加工位置・大きさ情報は、加工対象領域の画像上の位置及び大きさを特定する情報である。加工対象領域が矩形領域である場合は、大きさによって加工対象領域の幅と高さが特定されるものとする。今の例の場合、顔領域311と312の夫々が加工対象領域となっているため、加工位置・大きさ情報は、図6の顔検出部81の顔検出結果に基づく、顔領域の画像上の位置及び大きさを特定する情報である。顔領域311についての加工位置・大きさ情報は、元画像300及び加工画像320上における顔領域311の位置及び大きさを表す。顔領域312についても同様である。尚、加工対象領域の形状が矩形でない場合は、加工対象領域の形状をも特定する情報を加工位置・大きさ情報に含めればよい。
ヘッダ領域341内の復元処理情報は、加工処理部82にて生成されたそれと同じものである。加工対象領域に対して如何なる加工処理を行ったかを特定する復元処理情報と、加工対象領域の画像上の位置及び大きさを特定する加工位置・大きさ情報とに基づけば、加工画像から元画像を復元することが可能である。従って、加工位置・大きさ情報と復元処理情報は、加工画像から元画像を復元するために必要な復元処理の内容を特定する復元用情報を形成する。
各加工対象領域間において、復元処理情報は、典型的には同じとされるが、それらは互いに相違しうる。例えば、加工処理部82にて如何なる加工処理を施すかを、特殊画像ファイル340の作成及び保存時に、操作キー26cを用いて加工対象領域(顔領域311及び312)ごとに設定することができるようにしておくとよい。この場合において、例えば、元画像300が得られた後、特殊画像ファイル340を生成する際に、顔領域311にネガポジ処理を実施し且つ顔領域312にRGB入れ替え処理を実施するように設定されたとする。そうすると、その設定内容に従った加工処理が元画像300に対して実施されて、得られた加工画像が特殊画像ファイル340の本体領域342に格納されると共に、ネガポジ処理に対応する復元処理情報が顔領域311の復元処理情報として且つRGB入れ替え処理に対応する復元処理情報が顔領域312の復元処理情報として特殊画像ファイル340のヘッダ領域341に格納される。
認証コード及び公開レベル情報は、復元用情報に従って加工画像から元画像を復元しそれを視認可能な状態にすることに対する許可又は禁止(或いは一部許可)を切替制御するための権限管理情報である。認証コード及び公開レベル情報の利用例については後述する。
拡張情報は、ユーザによって付加されうる付加的な情報であり、ユーザは、様々な情報を付加情報としてヘッダ領域341に格納しておくことができる。
認証コード及び公開レベル情報を、加工対象領域ごとに個別に設定することが可能である。例えば、それらを特殊画像ファイル340の作成及び保存時に、操作キー26cを用いて加工対象領域ごとに設定することができる。認証コード及び公開レベル情報に対してこのような設定がなされなかった場合は、撮像装置1が自動的に認証コード及び公開レベル情報として予め規定された初期データをヘッダ領域341に書き込む。拡張情報に関しても、加工対象領域ごとに個別に設定することが可能である。
ヘッダ領域へのデータ保存形式及び特殊画像ファイル全体のデータ保存形式は、任意に定めることができるが、各データをExif(Exchangeable image file format)などの既存の規格に沿って保存することも可能である。また、記録機器又は再生機器に対する画像のファイルシステムの規格としてDCF(Design rule for Camera File system)等があるが、ヘッダ領域へのデータ保存形式及び特殊画像ファイル全体のデータ保存形式をDCF等の既存の規格に従わせることも可能である。
例えば、Exifのファイルフォーマットに準拠するように特殊画像ファイルを作成する場合、Exifのファイルフォーマットに準拠した任意の画像表示ソフトウェア上で特殊画像ファイル内の画像を閲覧することが可能となる。しかしながら、撮像装置1上で特殊画像ファイルを保存する時点でモザイク処理等が実施され、特殊画像ファイル内の画像は加工画像となっているため、仮に、メモリカード18が紛失又は盗難されたり、コンピュータウイルスやファイル交換ソフトの悪用等によってネット経由で特殊画像ファイルが流出した場合でも、プライバシーが保護される(今の例の場合、加工画像内の人物の顔が特定できないため、プライバシーが保護される)。
また、従来の手法(例えば、上記特許文献1参照)と異なり、復元用情報を用いることによって加工画像から元画像を復元することが可能である。そして、権限管理情報を利用することによって元画像への復元及び復元した元画像の閲覧権限を管理することが可能である(この管理の手法例は、他の実施例で後述する)。
尚、図3のユーザPC2及びサーバ3は、特殊画像ファイルに準拠しているものとする。つまり、図3の撮像装置1、ユーザPC2及びサーバ3を含む画像管理システム全体内において、ヘッダ領域へのデータ保存形式及び特殊画像ファイル全体のデータ保存形式は予め規定されているものとする。
<<第2実施例>>
次に、第2実施例について説明する。第1実施例では、図6の顔検出部81を利用して元画像中の顔領域を加工対象領域とする場合を説明した。しかしながら、加工対象領域は、顔領域以外であっても構わない。一般化して考えれば、元画像の画像データに基づいて元画像から特定の画像特徴を有する領域を検出する特定領域検出部(不図示)を図1の映像信号処理部13内に設け、その特定領域検出部によって検出された領域から加工対象領域を定めればよい。通常は、特定領域検出部によって検出された領域そのものを加工対象領域とすればよい。第1実施例においては、特定領域検出部が図6の顔検出部81に相当し、特定の画像特徴は顔の画像特徴に相当し、特定領域検出部によって検出された領域が顔領域(図7(a)の顔領域311及び312)に相当する。
次に、第2実施例について説明する。第1実施例では、図6の顔検出部81を利用して元画像中の顔領域を加工対象領域とする場合を説明した。しかしながら、加工対象領域は、顔領域以外であっても構わない。一般化して考えれば、元画像の画像データに基づいて元画像から特定の画像特徴を有する領域を検出する特定領域検出部(不図示)を図1の映像信号処理部13内に設け、その特定領域検出部によって検出された領域から加工対象領域を定めればよい。通常は、特定領域検出部によって検出された領域そのものを加工対象領域とすればよい。第1実施例においては、特定領域検出部が図6の顔検出部81に相当し、特定の画像特徴は顔の画像特徴に相当し、特定領域検出部によって検出された領域が顔領域(図7(a)の顔領域311及び312)に相当する。
元画像内において、特定の画像特徴を有する領域は、例えば、人物の顔を含む領域(即ち、上述の顔領域)、特定種類の物体(極秘に開発中の機械等)を含む領域、特定の文字(極秘資料のタイトル文字等)を含む領域、又は、特定のデザイン(開発中の衣装デザイン等)を含む領域であり、何れも不特定の人物に閲覧されると問題が生じうる領域である。
元画像の画像データに基づいて元画像から特定の画像特徴を有する領域を検出する手法として、公知の手法を採用可能である。例えば、特定種類の物体を表す基準画像を撮像装置1内のメモリ(不図示)に予め登録しておき、パターンマッチング等を用いて元画像と基準画像とを対比することにより特定種類の物体を含む領域を自動検出することが可能である。人物の顔を含む領域、特定の文字を含む領域及び特定のデザインを含む領域についても同様にして検出可能である。
また、撮像装置1上又はユーザPC2上で、加工対象領域を手動操作によって設定するようにしてもよい。例えば、撮像装置1において、特殊画像ファイルの作成及び保存時に操作キー26cを用いて加工対象領域を任意に手動設定することができるようにしておく。そして、元画像が得られた後、その元画像に対応する特殊画像ファイルを生成する際にユーザの手動設定にて加工対象領域を定め、手動設定にて定められた加工対象領域に対して加工処理を施すことにより該加工処理に応じた特殊画像ファイルを撮像装置1内のメモリカード18に格納するようにする。この場合、勿論、ヘッダ領域の内容は、手動設定にて定められた加工対象領域に応じた内容となる。
加工対象領域の手動設定は、一旦、特殊画像ファイルの作成及び保存が行われた後であっても可能である。この場合、事後的に行われる手動設定によって新たに定められた加工対象領域に応じて、特殊画像ファイルの本体領域内の画像データ及びヘッダ領域内の復元用情報等が更新される。更に、この事後的に行われる加工対象領域の手動設定は、撮像装置1上だけでなく、撮像装置1から特殊画像ファイルの提供を受けたユーザPC2(図3)上でも可能である(図4のPC操作キー47を用いて該手動設定を行えばよい)。尚、撮像装置1又はユーザPC2にタッチパネル機能が備わっているなら、タッチパネルを介した操作によって加工対象領域を手動設定するように構わない。
例えば、図7(a)の元画像300に関し、顔領域311を加工対象領域から除外し、顔領域312のみを加工対象領域とするといった利用法も可能である。
また、撮像装置1における特殊画像ファイルの作成及び保存時又はその後に、撮像装置1上又はユーザPC2上において、その特殊画像ファイルのヘッダ領域における認証コード及び公開レベル情報を任意に設定することができるようしておくとよい。
<<第3実施例>>
また、人物の顔ではなく、その人物の背景を知られたくない場合もある。この場合は、人物の顔を含まない背景領域に対してモザイク処理等を行うことも可能である。これを第3実施例として説明する。例えば、不特定の人間に撮影場所の特定をなされたくない場合や、撮影時の背景部分に存在していた家具や小物を不特定の人間に対して開示したくない場合に、本実施例は有益である。
また、人物の顔ではなく、その人物の背景を知られたくない場合もある。この場合は、人物の顔を含まない背景領域に対してモザイク処理等を行うことも可能である。これを第3実施例として説明する。例えば、不特定の人間に撮影場所の特定をなされたくない場合や、撮影時の背景部分に存在していた家具や小物を不特定の人間に対して開示したくない場合に、本実施例は有益である。
これを実施するには、撮像装置1において特殊画像ファイルの作成及び保存時にユーザが操作キー26c等を用いて背景領域を加工対象領域とするように指示する。この指示内容は、図1のCPU23を介して図6の加工処理部82に伝達される。この場合、加工処理部82は、顔検出部81にて検出された顔領域を除く背景領域を加工対象領域として取り扱って元画像内の背景領域に対して所定の加工処理を施し、これによって加工画像を得る。背景領域に対して加工処理を施した加工画像の画像データは、撮像装置1においてシャッタボタン26bの押下に伴って作成及び保存されるべき特殊画像ファイルの本体領域に格納され、背景領域に対する加工処理に応じた復元用情報がその特殊画像ファイルのヘッダ領域に格納される(図8参照)。
図7(a)の元画像300に対して上述の背景領域に対する加工処理を施すことによって得られる加工画像の例を図9に示す。図9は、顔領域及び顔領域の近傍を除く領域が加工対象領域として取り扱われた時に得られる加工画像を表している。
背景領域を加工対象領域に設定した場合は、例えば、その旨を表す情報が、図8のヘッダ領域の拡張情報として格納される。尚、加工対象領域が顔領域と背景領域の何れとなっているかを表す情報の格納領域を、拡張情報の格納領域とは別に、ヘッダ領域に設けるようにしても構わない。
<<第4実施例>>
次に、第4実施例について説明する。第4実施例では、撮像装置1で作成した特殊画像ファイルを図3のサーバ3を介して公開する手法例を説明する。
次に、第4実施例について説明する。第4実施例では、撮像装置1で作成した特殊画像ファイルを図3のサーバ3を介して公開する手法例を説明する。
今、説明の具体化のため、撮像装置1にて作成されユーザPC2を介してサーバ3にアップロードされる(即ち、送信される)特殊画像ファイルが、第1実施例で述べた図8の特殊画像ファイル340であり、且つ、該特殊画像ファイル340の本体領域342に格納されている加工画像が図7(b)の加工画像320である場合を想定する。加工画像320は、第1実施例で述べたように、図7(a)の元画像300内の顔領域311及び312に所定の加工処理を施すことによって得られた加工画像である。勿論、本実施例で着目する特殊画像ファイル340のヘッダ領域341には、第1実施例でも述べたように、加工画像320を元画像300に復元するために必要な復元用情報が格納されている(図8参照)。
サーバ3が運営するSNSやウェブサイトの規定に従って、ユーザPC2と閲覧側PC101〜103の夫々には、互いに異なる固有のID番号が事前に割り振られているものとする。サーバ3の公開管理メモリ65(図5参照)には、各ID番号と、ユーザPC2と閲覧側PC101〜103の夫々との関係を示す公開管理関係情報が予め格納されている。公開管理関係情報によって示される関係を、以下「公開関係」と呼ぶ。尚、固有のID番号とは、ユーザPC2又は閲覧用PCの利用者に対して割り振られたID番号であり、例えば、閲覧側PC101に対応するID番号が事前にサーバ3から発行され、その発行を受けたユーザが該ID番号をサーバ3に接続可能な任意のコンピュータに付与すると、そのコンピュータが閲覧側PC101として機能するようになる。ユーザPC2並びに閲覧側PC102及びPC103についても同様である。
この公開管理関係情報の内容例を図10に示す。今、ユーザPC2と閲覧側PC101、102及び103との間の公開関係が、夫々、第1、第2及び第3の公開関係であったとし、それを表す情報が公開管理関係情報となっていたとする。実際には、各ID番号を用いてサーバ3は図10に示すような各公開関係を認識している。
ところで、SNS等においては、一般的に、公開しようとする各情報に対して公開制限を加えることができ、“或る情報を「友人」に相当するID番号を有した閲覧用PCには公開するが、その情報を「友人の友人」又は「一般」に相当するID番号を有した閲覧用PCには公開しない”といったことを公開側のPC(ユーザPC2に相当)で自由に設定することが可能である。「一般」とは、「友人」でも「友人の友人」でもないことを示す。そこで、第1〜第3の公開関係を、サーバ3が運営するSNSやウェブサイトの公開制限に沿って規定しておく。今、第1、第2及び第3の公開関係を、夫々、公開制限における「友人」、「友人の友人」及び「一般」に割り当てるものとする。
本実施例では、公開管理関係情報とヘッダ領域341内の公開レベル情報に基づいて公開の仕方を制御する。ヘッダ領域341内の公開レベル情報は、上述したように、撮像装置1によって自動的に設定される、或いは、撮像装置1又はユーザPC2上でユーザにより設定される。特殊画像ファイル340は、ユーザPC2及び通信網4を経由してサーバ3にアップロードされ(即ち、送信され)、サーバ3は、特殊画像ファイル340をユーザPC2のID番号と関連付けてサーバHDD64(図5参照)に保存する。実際には、特殊画像ファイル340を含むウェブページがサーバ3にアップロードされてサーバHDD64に保存されることも多いが、説明の簡略化上、特殊画像ファイル340のみに着目する。
今、公開レベル情報によって、公開の仕方を3段階に分類する場合を考える。サーバHDD64に格納された特殊画像ファイル340のヘッダ領域341内の公開レベル情報の内容例を図11に示す。今、ユーザPC2との間で第1、第2及び第3の公開関係を有する閲覧側PCに、夫々、第1、第2及び第3の権限を与えることを指示する内容が、公開レベル情報によって規定されていた場合を考える。この場合、図5のサーバ3の主制御部61は、サーバHDD64内の特殊画像ファイル340に対するアクセス権限として、閲覧側PC101、102及び103に、夫々、第1、第2及び第3の権限を与えることになる。
以上のような想定の下、各閲覧用PCがサーバ3内の特殊画像ファイル340にアクセスしようとした場合の、サーバ3の動作及び各閲覧用PC上での表示画像を説明する。
閲覧用PC101が、サーバ3内の特殊画像ファイル340に対応する画像を閲覧用PC101に送信するように送信要求をサーバ3に対して出した際、サーバ3の主制御部61は、サーバHDD64内の特殊画像ファイル340の公開レベル情報と公開管理メモリ65内の公開管理関係情報に基づいて、閲覧用PC101に与えられるべき権限を認識する。上述したように、閲覧用PC101に与えられるべき権限は第1の権限である。この場合、サーバ3の画像処理部62(図5参照)は、サーバHDD64から特殊画像ファイル340内の加工画像320と復元用情報を読み出し、復元用情報に基づいて加工画像320から元画像300を復元する。そして、復元した元画像300を表す画像データを閲覧用PC101に送信する。これにより、閲覧用PC101に備えられる表示部(不図示)上に図12(a)に示す画像(即ち、元画像300)が表示される。
閲覧用PC103が、サーバ3内の特殊画像ファイル340に対応する画像を閲覧用PC103に送信するように送信要求をサーバ3に対して出した際、サーバ3の主制御部61は、サーバHDD64内の特殊画像ファイル340の公開レベル情報と公開管理メモリ65内の公開管理関係情報に基づいて、閲覧用PC103に与えられるべき権限を認識する。上述したように、閲覧用PC103に与えられるべき権限は第3の権限である。この場合、サーバ3の画像処理部62(図5参照)は、サーバHDD64から特殊画像ファイル340内の加工画像320を読み出し、復元処理を行うことなく、加工画像320を表す画像データを閲覧用PC103に送信する。これにより、閲覧用PC103に備えられる表示部(不図示)上に図12(c)に示す画像(即ち、加工画像320)が表示される。
閲覧用PC102が、サーバ3内の特殊画像ファイル340に対応する画像を閲覧用PC102に送信するように送信要求をサーバ3に対して出した際、サーバ3の主制御部61は、サーバHDD64内の特殊画像ファイル340の公開レベル情報と公開管理メモリ65内の公開管理関係情報に基づいて、閲覧用PC102に与えられるべき権限を認識する。上述したように、閲覧用PC102に与えられるべき権限は第2の権限である。この場合、サーバ3の画像処理部62(図5参照)は、サーバHDD64から特殊画像ファイル340内の加工画像320と復元用情報を読み出し、復元用情報に基づいて加工画像320から元画像300を一旦復元した後、元画像300内の顔領域311及び312に対して所定の加工処理を施すことによって第2の加工画像を生成する。そして、この第2の加工画像を表す画像データを閲覧用PC102に送信する。これにより、閲覧用PC102に備えられる表示部(不図示)上に図12(b)に示す画像(即ち、第2の加工画像)が表示される。尚、撮像装置1又はユーザPC2において、加工画像320を第2の加工画像に変換するための情報を復元用情報に含めておくようにしてもよく、そのようにすれば、元画像300を一旦生成する必要は無い。
第2の加工画像を生成する際に用いる加工処理として、撮像装置1の加工処理部82にて採用可能な任意の加工処理を用いることができる。但し、元画像300から第2の加工画像を生成する際に用いる加工処理の種類及び/又は強度を加工画像320を生成する際のそれと異ならせて、加工画像320と第2の加工画像を異ならせる。どのような加工処理を用いて第2の加工画像を生成するかは、予めサーバ3及び撮像装置1を含む画像管理システム全体内で予め設定される、或いは、ヘッダ領域341の拡張情報によって規定される。今の例の場合、第2の加工画像の方が加工画像320よりも加工処理の強度が弱く、画像内の人物の顔が比較的特定されやすくなっている。
また、女性の顔の公開を控えたい場合は、図12(b)に示す画像に代えて、図13に示すような画像を第2の加工画像として生成させるといったことも可能である。図13の画像では、女性の顔領域だけに強度が比較的弱い加工処理が施されており、男性の顔領域には加工処理が施されていない。
上述のようにすれば、SNSやブログ等のウェブサイトにおいて、画像中の個人のプライバシーを保護する仕組みを導入することが可能である。公開側のユーザは、公開レベル情報を設定しておくだけで(或いは撮像装置1で自動的に設定される公開レベル情報を利用するだけで)、簡便にプライバシーの保護効果を享受することができる。
公開側で詳細に加工対象領域や公開レベル情報を設定することもできるのであるが、その設定を行おうとすると、その設定分だけユーザに負担がかかる。公開しようとする画像の枚数は多数であることが通常であるので、以下のようにすればユーザの負担が軽減され、実用性が増す。例えば、人物の顔をプライバシー保護の対象と考える場合、一旦、顔領域を加工対象領域とするように且つ図11に示すような公開レベル情報が自動的に設定されるように撮像装置1又はユーザPC2を操作しておく。そうすると、その後は、プライバシー保護のための操作を殆ど要することなく、公開側のユーザは特殊画像ファイルを次々とアップロードすることができる。
また、公開レベル情報に基づく公開制御の他に、認証コードを利用した公開制御も実施することが可能である。例えば、ユーザPC2のユーザが、第3の権限しか有さない閲覧用PC103のユーザに、特別に特殊画像ファイル340の元画像300をサーバ3経由で提供したい場合、ユーザPC2のユーザが閲覧用PC103のユーザに、ヘッダ領域341内の認証コードをパスワードとして伝える。閲覧用PC103のユーザが該パスワードを沿えて特殊画像ファイル340に対応する画像の送信要求をサーバ3に対して出力した際、サーバ3の主制御部61は、閲覧用PC103から送られてきたパスワードとサーバHDD64内の特殊画像ファイル340に格納された認証コードとを照合し、両者の合致が確認されれば、特殊画像ファイル340内の加工画像320と復元用情報から元画像300を復元して元画像300を表す画像データを閲覧用PC103に送信する(合致しなければ該送信は行われない)。これにより、閲覧用PC103に備えられる表示部(不図示)上に元画像300が表示される。
尚、パスワードを伝える代わりに、閲覧用PC103のID番号と認証コードをリンクさせておいてもよい。つまり、単純には例えば、ヘッダ領域341の認証コードが閲覧用PC103のID番号と同じとなるように、認証コードを撮像装置1又はユーザPC2上で設定しておき、その認証コードを含む特殊画像ファイル340をサーバ3にアップロードするようにする。閲覧用PC103のユーザが特殊画像ファイル340に対応する画像の送信要求をサーバ3に対して出力した際、サーバ3の主制御部61は、閲覧用PC103のID番号とヘッダ領域341の認証コードを照合し、両者の合致が確認されれば、特殊画像ファイル340内の加工画像320と復元用情報から元画像300を復元して元画像300を表す画像データを閲覧用PC103に送信する(合致しなければ該送信は行われない)。
この他、様々な変形例があるが、以下に利用可能な変形例を列記する。
変形例1:認証コードを、ヘッダ領域341内の各情報へのアクセス制限に利用することも可能である。例えば、サーバ3は、サーバHDD64における特殊画像ファイル340のヘッダ領域341の各情報を、認証コードをサーバ3に与えた閲覧用PCに対してのみ、提供する。これに類似して、公開レベル情報を、ヘッダ領域341内の各情報へのアクセス制限に利用することも可能である。例えば、サーバ3は、サーバHDD64における特殊画像ファイル340のヘッダ領域341の各情報を、第1の権限を有する閲覧用PC101に対してのみ、提供する。
変形例2:図11に示すような内容を規定の記述形式に従って記述したものを公開レベル情報としてもよいが、例えば、図3に示される画像管理システムの全体で図11に示す内容が「1」であることを規定しておくようにしてもよい。この場合、ヘッダ領域341には「1」を公開レベル情報として記述しておけば足る。この場合、勿論、図11に示す公開レベル情報と異なる公開レベル情報には1以外の文字列が割り当てられる。それ以外にも、画像管理システム内で規定された任意の記述方式で公開レベル情報を表すことが可能である。また、図11に示す各公開関係と各権限との関係は例示であり、ユーザがそれを様々に変更可能である。
変形例3:上述の例では、第1、第2、第3の権限を有する閲覧用PCからの送信要求に対して、夫々、元画像300、加工画像320及び第2の加工画像を送信しているが、これはあくまでも例示であり、様々に変形可能である。例えば、第1、第2、第3の権限を有する閲覧用PCからの送信要求に対して、夫々、元画像300、元画像300及び加工画像320を送信するようにしてもよいし、夫々、元画像300、加工画像320及び加工画像320を送信するようにしてもよい。また、第3の権限を有する閲覧用PCからの送信要求に対しては画像の送信を一切行わないといったことも可能である。
変形例4:上述の例では、公開レベル情報によって、公開の仕方を3段階に分類しているが、この段階数は任意である。SNS等の規定に応じて、公開の仕方を4段階以上に分類することも可能であるし、2段階までの分類に限定されることもある。セキュリティ用途であれば、一般に、2段階で足るともいえる。また、同様に、権限の分類数も3以外となりうる。尚、変形例3で例示した如く、第1、第2、第3の権限を有する閲覧用PCからの送信要求に対して、夫々、元画像300、元画像300及び加工画像320を送信するようにした場合は、結果的に公開の仕方が2段階に分類されていることになる。
<<第5実施例>>
静止画像の特殊画像ファイルに関する動作説明を行ってきたが、同様の動作を、動画像にも適用することができる。動画像用の特殊画像ファイルに関する実施例を、第5実施例として説明する。
静止画像の特殊画像ファイルに関する動作説明を行ってきたが、同様の動作を、動画像にも適用することができる。動画像用の特殊画像ファイルに関する実施例を、第5実施例として説明する。
図14に、図1の録画ボタン26aの操作に伴って作成されメモリカード18に記録される特殊画像ファイル400のデータ構造を示す。特殊画像ファイル400は、動画像用の特殊画像ファイルであり、CPU23の制御の下、撮像装置1内で作成される。
特殊画像ファイル400は、ヘッダ領域401と本体領域402から形成される。当然ではあるが、同一の特殊画像ファイル内に定義されたヘッダ領域と本体領域は互いに関連付けられている。特殊画像ファイル400の場合、ヘッダ領域401と本体領域402は互いに関連付けられ、特殊画像ファイル400内に格納された各データは互いに関連付けられている。
1つの動画像は、時系列で並ぶ複数のフレーム画像によって形成される。周期的に訪れる各フレームにおいて、1つのフレーム画像が得られる。各フレーム画像は、撮像部11にて順次得られる各撮影画像である。動画像においては、各フレーム画像が図6の加工処理部82に対する元画像となり、各元画像が加工画像に変換される。
本体領域402には各加工画像を表す各画像データが格納される。この各画像データは、各加工画像を図1の圧縮処理部16にて圧縮することによって得られた、圧縮された映像信号としての圧縮データである。ヘッダ領域401には加工対象領域の関連情報等が格納される。典型的には例えば、フレームごとに、加工対象領域ID、加工位置・大きさ情報、復元処理情報、認証コード、公開レベル情報及び拡張情報が定められ、それらがヘッダ領域401に格納される。この際、1つのフレーム画像内に加工対象領域が複数ある場合は、加工対象領域ごとに、加工対象領域ID、加工位置・大きさ情報、復元処理情報、認証コード、公開レベル情報及び拡張情報が定められる。尚、図14は、1つのフレーム画像内に2つの加工対象領域が存在している場合を想定している。
個々のフレーム(フレーム画像)に対する、加工対象領域ID、加工位置・大きさ情報、復元処理情報、認証コード、公開レベル情報及び拡張情報は、静止画像用の特殊画像ファイルにおけるそれらと同様である。ヘッダ領域401には、静止画像用のヘッダ領域における情報と同様の情報が、動画像を形成するフレームの個数分だけ格納されることとなる。個々のフレームに対して、静止画像に対して説明してきた上述の各事項を適用することができる。
個々のフレームに対して公開レベル情報等を個別に設定することができるのであるが、例えば、公開レベル情報を全フレームに対して共通とすることも可能である。復元処理情報及び認証コードについても同様である。公開レベル情報、復元処理情報及び認証コードを全フレームに対して共通とした場合、第2番目以降のフレームに対しては加工位置・大きさ情報のみをヘッダ領域401に格納していけば足る。
また、第k番目のフレームに対する公開レベル情報を第(k−1)番目のフレームに対する公開レベル情報から変更する場合は、第k番目のフレームに対する公開レベル情報をヘッダ領域401に記述すればよい(kは2以上の整数)。この際において、第(k+1)番目以降のフレームに対する公開レベル情報をヘッダ領域401に記述しなかった場合、第(k+1)番目以降のフレームに対する公開レベル情報は第k番目のフレームのそれと同じとされる。認証コード等に対しても同様である。
図3のユーザPC2及びサーバ3は、静止画像の特殊画像ファイルと同様に、動画像用の特殊画像ファイルにも準拠している。つまり、図3の撮像装置1、ユーザPC2及びサーバ3を含む画像管理システム全体内において、ヘッダ領域401へのデータ保存形式及び特殊画像ファイル400全体のデータ保存形式は予め規定されている。
静止画像の特殊画像ファイルと同様、特殊画像ファイル400は、ユーザPC2及び通信網4を経由してサーバ3にアップロードされうる。このアップロードがなされた際、サーバ3は、特殊画像ファイル400をユーザPC2のID番号と関連付けつつサーバHDD64に保存する。
そして、特殊画像ファイル400に対応する画像を送信するように指示する送信要求を各閲覧用PCから受けた際、サーバ3は、特殊画像ファイル400内の各フレームの加工画像ごとに第4実施例と同様の処理を行う。例えば、第4実施例の図10と同じ公開管理関係情報が定められており、図11と同じ公開レベル情報を全フレームに対して共通に設定していた場合において、閲覧用PC101が特殊画像ファイル400に対する送信要求をサーバ3に与えた場合は、本体領域402内の各加工画像が元画像に復元されて各元画像から成る動画像がサーバ3から閲覧用PC101に送信される。一方、閲覧用PC103が特殊画像ファイル400に対する送信要求をサーバ3に与えた場合は、本体領域402内の各加工画像を時系列で並べた動画像がサーバ3から閲覧用PC103に送信される。公開レベル情報が各フレーム間で異なる場合は、フレームごとに、元画像の復元及び送信に対する許可/禁止が判断される。
<<第6実施例>>
次に、第6実施例について説明する。第6実施例では、通信網4などを介して公開する予定がない画像に対してプライバシー等の保護を図る手法を説明する。
次に、第6実施例について説明する。第6実施例では、通信網4などを介して公開する予定がない画像に対してプライバシー等の保護を図る手法を説明する。
まず、複数の撮像装置間におけるプライバシー等の保護手法を説明する。今、図15に示す如く、2台の撮像装置1及び1aがあったとする。図15における撮像装置1は、図1及び図3に示すそれと同じものである。撮像装置1aは、撮像装置1と同一の構成を有する撮像装置である。撮像装置1aの全体ブロック図は、図1のそれと同じであるため、重複する図示を省略する。
撮像装置1及び1aを含む各撮像装置には、互いに異なる固有コードが割り振られている。この固有コードは、例えば、各撮像装置に割り当てられたシリアル番号である。例えば、各撮像装置の出荷時において、撮像装置(1又は1a)の内部に設けられた不揮発性メモリ(不図示)に上記の固有コードを保存しておく。今、撮像装置1に割り当てられた固有コードを第1の固有コードと呼び、撮像装置1aに割り当てられた固有コードを第2の固有コードと呼ぶ。上述の説明から明らかなように、第1の固有コードと第2の固有コードは互いに異なる。
本実施例において、各撮像装置(1、1a)は、自身に割り当てられた固有コードを認証コードとして特殊画像ファイルのヘッダ領域に書き込むものとする。また、本実施例では、上述の他の実施例で述べたのと異なり、特殊画像ファイルのヘッダ領域における認証コードをユーザが変更できないものとする。また更に、本実施例において、各撮像装置(1、1a)には特殊画像ファイルに対する閲覧用ソフトウェアが導入されており、各撮像装置(1、1a)は該閲覧用ソフトウェア上で特殊画像ファイル内の画像データを読み出すものとする(該閲覧用ソフトウェアを用いることなく、特殊画像ファイル内の画像データを読み出すことができないとする)。閲覧用ソフトウェアは、図1のCPU23上で動作する。
そして、今、撮像装置1において、静止画像又は動画像が撮影され、静止画像用又は動画像用の特殊画像ファイル430が撮像装置1のメモリカード18に保存された場合を考える。特殊画像ファイル430のデータ構造は、図8の特殊画像ファイル340又は図14の特殊画像ファイル400のそれと同様である。この特殊画像ファイル430のヘッダ領域には、撮像装置1に割り当てられた第1の固有コードが認証コードとして書き込まれることになる。
閲覧用ソフトウェアは、特殊画像ファイル430のヘッダ領域に書き込まれた認証コードと当該閲覧用ソフトウェアが導入された撮像装置の固有コードとを照合し、両者の一致が確認された場合にのみ、特殊画像ファイル430内の加工画像から元画像を復元して、該元画像を当該閲覧用ソフトウェアが導入された撮像装置の表示部に表示させる。尚、この復元は、例えば、図1の映像信号処理部13に実装された復元処理部(不図示)によって実施される。また、認証コードと固有コードとの照合を行う照合部と、その照合結果に基づく元画像の復元及び表示の許可/禁止を判別する判別部は、CPU23によって実現されることになる。
具体的には、撮像装置1において以下のような動作が行われる。撮像装置1のユーザが特殊画像ファイル430に対応する元画像を閲覧しようとする場合、その閲覧希望を指示する操作を操作キー26cに対して行う。この操作がなされると、閲覧用ソフトウェア(即ち、撮像装置1のCPU23)が特殊画像ファイル430のヘッダ領域に書き込まれた認証コードをメモリカード18から読み出すと共に撮像装置1に割り当てられた固有コードを上記不揮発性メモリ等から読み出し、読み出した認証コードと固有コードを照合する。今の場合、両者が一致しているため、閲覧用ソフトウェア(即ち、撮像装置1のCPU23)は元画像の復元及び表示を許可する。従って、撮像装置1において特殊画像ファイル430内の加工画像から元画像が復元され、該元画像が撮像装置1の表示部27の表示画面上に表示される。
一方、特殊画像ファイル430を格納したメモリカード18を撮像装置1aに装着し、撮像装置1aのユーザが特殊画像ファイル430に対応する元画像を閲覧しようとした場合は、撮像装置1aにおいて以下のような動作が行われる。撮像装置1aにおいて、元画像の閲覧希望を指示する操作がなされると、閲覧用ソフトウェア(即ち、撮像装置1aのCPU23)が特殊画像ファイル430のヘッダ領域に書き込まれた認証コードをメモリカード18から読み出すと共に撮像装置1aに割り当てられた固有コードを上記不揮発性メモリ等から読み出し、読み出した認証コードと固有コードを照合する。今の場合、両者は一致していないため、閲覧用ソフトウェア(即ち、撮像装置1aのCPU23)は元画像の復元及び表示を禁止する。この場合、例えば、特殊画像ファイル430内の加工画像が撮像装置1aの表示部27の表示画面上に表示される。或いは、撮像装置1aの表示部27の表示画面上に、画像を表示できない旨のメッセージが表示される。
尚、撮像装置1及び1aの内、撮像装置1においてのみ、元画像の復元の許可/禁止に対する、上述のような処理を解除可能としておくとよい。この解除は、閲覧用ソフトウェア上で、認証コードと固有コードとの合致を条件として実行される(従って、撮像装置1aでは実行できない)。この解除を指示する操作が撮像装置1に対してなされた後は、特殊画像ファイル430に対応する元画像の復元及び表示を撮像装置1a上でも行うことが可能となる。
次に、上記の特殊画像ファイル430を例にとりつつ、PC上におけるプライバシー等の保護手法を説明する。今、図16に示す如く、ユーザPC2の他に、ユーザPC2とは異なるパーソナルコンピュータ2a(以下、PC2aという)があったとする。PC2aは、ユーザPC2と同一の構成を有する。PC2aの内部ブロック図は、図4のそれと同じであるため、重複する図示を省略する。特殊画像ファイル430は、ユーザPC2とPC2aに提供される。
本実施例において、ユーザPC2及びPC2aには特殊画像ファイルに対する専用ソフトウェアが導入されており、ユーザPC2及びPC2aを含む、特殊画像ファイルにアクセス可能な再生機器(画像表示装置)は、その専用ソフトウェア上でしか特殊画像ファイル内の各データの読み出し及び編集ができないものとする。専用ソフトウェアを表すプログラムは、ハードディスク等から成る図4のメモリ48に格納され、専用ソフトウェアは主制御部41上で動作する。
専用ソフトウェアには、PC用登録コードを登録可能である。この登録は、専用ソフトウェアを再生機器(例えば、ユーザPC2及びPC2a)に導入する際に行われる。撮像装置1及びユーザPC2のユーザは、ユーザPC2に専用ソフトウェアを導入する際に、撮像装置1に割り当てられた第1の固有コードをユーザPC2に与えることにより、第1の固有コードをPC用登録コードとしてユーザPC2の専用ソフトウェア上に登録する。一方、撮像装置1a及びPC2aのユーザは、PC2aに専用ソフトウェアを導入する際に、撮像装置1aに割り当てられた第2の固有コードをPC2aに与えることにより、第2の固有コードをPC用登録コードとしてPC2aの専用ソフトウェア上に登録する。第1の固有コードは、撮像装置1a及びPC2aのユーザにとって不明である。
専用ソフトウェアは、特殊画像ファイル430のヘッダ領域に書き込まれた認証コード(今の例の場合、第1の固有コード)と当該専用ソフトウェアに登録されたPC用登録コードとを照合し、両者の一致が確認された場合にのみ、特殊画像ファイル430内の加工画像から元画像を復元して、該元画像を当該専用ソフトウェアが導入された再生機器の表示部に表示させる。尚、この復元は、例えば、図4の画像処理部42(復元処理部)によって実施される。また、認証コードとPC用登録コードとの照合を行う照合部と、その照合結果に基づく元画像の復元及び表示の許可/禁止を判別する判別部は、主制御部41によって実現されることになる。
具体的には、ユーザPC2において以下のような動作が行われる。ユーザPC2のユーザが特殊画像ファイル430に対応する元画像を閲覧しようとする場合、その閲覧希望を指示する操作をPC操作キー47に対して行う。この操作がなされると、専用ソフトウェア(即ち、ユーザPC2の主制御部41)が特殊画像ファイル430のヘッダ領域に書き込まれた認証コードとユーザPC2の専用ソフトウェアに登録されたPC用登録コードを照合する。今の場合、両者が一致しているため、専用ソフトウェア(即ち、ユーザPC2の主制御部41)は元画像の復元及び表示を許可する。従って、ユーザPC2において特殊画像ファイル430内の加工画像から元画像が復元され、該元画像がユーザPC2の表示部45の表示画面上に表示される。また、ユーザPC2において、元画像の編集も許可される。
一方、PC2aのユーザが特殊画像ファイル430に対応する元画像を閲覧しようとした場合は、PC2aにおいて以下のような動作が行われる。PC2aのユーザは、その閲覧希望を指示する操作をPC2aのPC操作キー47に対して行う。この操作がなされると、専用ソフトウェア(即ち、PC2aの主制御部41)が特殊画像ファイル430のヘッダ領域に書き込まれた認証コードとPC2aの専用ソフトウェアに登録されたPC用登録コードを照合する。今の場合、両者は一致していないため、専用ソフトウェア(即ち、PC2aの主制御部41)は元画像の復元及び表示を禁止する。この場合、例えば、特殊画像ファイル430内の加工画像がPC2aの表示部45の表示画面上に表示される。或いは、PC2aの表示部45の表示画面上に、画像を表示できない旨のメッセージが表示される。
尚、ユーザPC2及びPC2aの内、ユーザPC2においてのみ、元画像の復元の許可/禁止に対する、上述のような処理を解除可能としておくとよい。この解除は、専用ソフトウェア上で、認証コードとPC用登録コードとの合致を条件として実行される(従って、PC2aでは実行できない)。この解除を指示する操作がユーザPC2に対してなされた後は、特殊画像ファイル430に対応する元画像の復元及び表示をPC2a上でも行うことが可能となる。
上述のように処理することで、撮像装置1又はユーザPC2以外では元画像は表示されなくなるため、メモリカード18が紛失又は盗難されたり、コンピュータウイルスやファイル交換ソフトの悪用等によってネット経由で特殊画像ファイル430が流出した場合でも、プライバシー等が保護される。
<<第7実施例>>
上述の各実施例にて生成された静止画像用又は動画像用の特殊画像ファイルは、メモリカード18以外の記録媒体にコピー(複製)される可能性があるが、このコピーに対して、プライバシー等の保護を図る仕組みを導入することもできる。静止画像用の特殊画像ファイルを例にとり、これを第7実施例として説明する。本実施例では、特殊画像ファイルを特定の複製用ソフトウェア上でしかコピーできないものとする。複製用ソフトウェアは、例えば、ユーザPC2に導入され、ユーザPC2上で動作する。
上述の各実施例にて生成された静止画像用又は動画像用の特殊画像ファイルは、メモリカード18以外の記録媒体にコピー(複製)される可能性があるが、このコピーに対して、プライバシー等の保護を図る仕組みを導入することもできる。静止画像用の特殊画像ファイルを例にとり、これを第7実施例として説明する。本実施例では、特殊画像ファイルを特定の複製用ソフトウェア上でしかコピーできないものとする。複製用ソフトウェアは、例えば、ユーザPC2に導入され、ユーザPC2上で動作する。
図17に、本実施例に係る特殊画像ファイル500のデータ構造を示す。特殊画像ファイル500は、図8のヘッダ領域341に権限レベル情報を付加したヘッダ領域501と、図8の本体領域342と同じ本体領域502と、から形成される。権限レベル情報がヘッダ領域501内の権限管理情報に含まれる、と考えることもできる。
権限レベル情報は、複数段階に分類された権限レベルの何れかを示す。今、権限レベル情報は「1」、「2」又は「3」の何れかの値をとり、権限レベルが3段階で分類されるものとする。勿論、権限レベルを3段階以外の段階数で分類しても構わない。権限レベル情報が「1」である時に権限レベルは最も高く、権限レベル情報の数値が大きくなるにつれて権限レベルが低くなるものとする。
権限レベル情報は、当初「1」となっている。つまり、撮像装置1上で特殊画像ファイル500を作成及び保存する際、権限レベル情報として「1」を書き込むようにする。ユーザは、この権限レベル情報を変更できないものとする。
複製用ソフトウェア上で特殊画像ファイル500を複製する時、権限レベル情報だけは複製元の特殊画像ファイルのそれから変更される。具体的には、複製元の特殊画像ファイルにおける権限レベル情報の数値に対して複製先の特殊画像ファイルにおける権限レベル情報の数値を1以上大きくする。例えば、複製元の特殊画像ファイルにおける権限レベル情報が「1」であるとき、複製先の特殊画像ファイルにおける権限レベル情報は「2」とされ、複製元の特殊画像ファイルにおける権限レベル情報が「2」であるとき、複製先の特殊画像ファイルにおける権限レベル情報は「3」とされる。但し、複製しようとするユーザが複製用ソフトウェアが導入された機器(例えばユーザPC2)に対してヘッダ領域501に格納された認証コードを与えた上で複製を行った場合は、権限レベル情報の変更は行われないものとする。
今、特殊画像ファイル500内に対応する元画像が図7(a)の元画像300であるとする。本実施例において、撮像装置1及びユーザPC2を含む、特殊画像ファイル500にアクセス可能な再生機器(画像表示装置)は、権限レベル情報に応じた画像の表示を行う。つまり、特殊画像ファイル内の画像を表示する際、その再生機器は自身に与えられた特殊画像ファイル500内の権限レベル情報を参照する。そして、権限レベル情報が「1」の時は、特殊画像ファイル500内の復元用情報に基づいて特殊画像ファイル500内の加工画像から元画像300を復元して元画像300を表示する。一方、権限レベル情報が「2」の時は、図12(b)に示す第2の加工画像を生成し、第2の加工画像を表示する。第2の加工画像の生成手法は、第4実施例で記載したものと同様である。また、権限レベル情報が「3」の時は、図12(c)に示す加工画像を表示する(即ち、特殊画像ファイル500内の加工画像をそのまま表示する)。
上述の如く、コピーを繰り返す度に権限レベル情報を変更していくことにより、(再生に関する権限レベルを低下させていくことにより)、顔を特定可能な画像が不特定の人間に流通する可能性が抑制され、プライバシー等の保護が図られる。尚、上述した、権限レベル情報の変更の仕方は例示であり、それを上述の例と異ならせることも可能である。
<<第8実施例>>
第8実施例について説明する。第8実施例では、図6の顔検出部81が、撮影画像(元画像)から顔領域を単に検出するだけでなく、検出した顔領域が特定顔条件を満たすか否かを判断可能なように形成されている。特殊記録方式によってメモリカード18に記録されるべき画像の取得に先立って、ユーザは、特定顔条件を撮像装置1に設定しておくことができる。そして、第8実施例では、顔検出部81による顔検出結果だけでなく、特定顔条件の成否にも基づいて加工対象領域が設定される。加工対象領域の設定動作を除いて、第8実施例に係る撮像装置1の構成及び動作は、第1実施例で説明したものと同様である。
第8実施例について説明する。第8実施例では、図6の顔検出部81が、撮影画像(元画像)から顔領域を単に検出するだけでなく、検出した顔領域が特定顔条件を満たすか否かを判断可能なように形成されている。特殊記録方式によってメモリカード18に記録されるべき画像の取得に先立って、ユーザは、特定顔条件を撮像装置1に設定しておくことができる。そして、第8実施例では、顔検出部81による顔検出結果だけでなく、特定顔条件の成否にも基づいて加工対象領域が設定される。加工対象領域の設定動作を除いて、第8実施例に係る撮像装置1の構成及び動作は、第1実施例で説明したものと同様である。
例えば、検出した顔領域に含まれる顔が、撮像装置1に予め設定されている登録人物の顔である場合、特定顔条件が満たされると判断される。このような特定顔条件を利用する場合、ユーザは、登録しておきたい人物の顔の画像を登録顔画像として撮像装置1に予め記憶させておく。その後、元画像から顔領域が抽出された時、顔検出部81は、その抽出した顔領域の画像の画像データと登録顔画像の画像データに基づいて両画像間の類似度を評価し、評価した類似度が所定の基準類似度よりも高い場合、抽出した顔領域内の顔が登録人物の顔であると判断する一方、そうでない場合、抽出した顔領域内の顔が登録人物の顔でないと判断する。抽出した顔領域内の顔が登録人物の顔であると判断したとき、その登録人物の顔を含む顔領域は特定顔条件(以下、第1の特定顔条件とも呼ぶ)を満たすと判断する。
或いは例えば、検出した顔領域に含まれる顔を有する人物の性別を推定可能に顔検出部81を形成しておく。一方で、ユーザは、特定顔条件の成否に関わる特定性別として男性及び女性の何れか一方を、操作部26に対する所定操作等によって予め設定しておく。元画像から顔領域が抽出された時、顔検出部81は、その抽出した顔領域の画像データに基づいて、その顔領域に含まれる顔が男性の顔であるのか或いは女性の顔であるのかを推定し、推定した性別と特定性別が一致するときに、抽出した顔領域(即ち、特定性別の顔を含む顔領域)は特定顔条件(以下、第2の特定顔条件とも呼ぶ)を満たすと判断する。
或いは例えば、検出した顔領域に含まれる顔を有する人物の人種を推定可能に顔検出部81を形成しておく。ユーザは、特定顔条件の成否に関わる特定人種を操作部26に対する所定操作等によって予め設定しておく。特定人種は、複数の人種の内の何れかであり、複数の人種には、白人、黒人、アジア人が含まれる。元画像から顔領域が抽出された時、顔検出部81は、その抽出した顔領域の画像データに基づいて、その顔領域に含まれる顔の人種を推定し、推定した人種と特定人種が一致するときに、抽出した顔領域(即ち、特定人種の顔を含む顔領域)は特定顔条件(以下、第3の特定顔条件とも呼ぶ)を満たすと判断する。
或いは例えば、検出した顔領域に含まれる顔を有する人物の年齢層を推定可能に顔検出部81を形成しておく。ユーザは、特定顔条件の成否に関わる特定年齢層を操作部26に対する所定操作等によって予め設定しておく。人間の年齢(例えば0歳から100歳)を複数の年齢層に切り分け、その複数の年齢層の内の1つを特定年齢層として設定しておくことができる。例えば、11歳以下、12〜19歳以下、20〜39歳、40歳〜59歳、60歳以上を、夫々、第1、第2、第3、第4及び第5の年齢層とし、第1〜第5の年齢層によって上記の複数の年齢層を形成することができる。元画像から顔領域が抽出された時、顔検出部81は、その抽出した顔領域の画像データに基づいて、その顔領域に含まれる顔の年齢層を推定し、推定した年齢層と特定年齢層が一致するときに、抽出した顔領域(即ち、特定年齢層の顔を含む顔領域)は特定顔条件(以下、第4の特定顔条件とも呼ぶ)を満たすと判断する。
顔領域の画像データから、その顔領域に対応する人物の性別、人種及び年齢層を推定する方法として、公知の方法(例えば、特開2004−246456号公報、特開2005−266981号公報または特開2003−242486号公報に記載の方法)を含む任意の方法を利用することができる。
図6の加工処理部82は、顔検出部81にて抽出された、元画像内の顔領域の位置及び大きさを特定する顔検出結果と、上記の特定顔条件の成否に基づいて、加工対象領域を設定する。説明の具体化のため、図7(a)に示す元画像300が取得された場合を考える。
この場合において、人物302のみが登録人物として撮像装置1に設定されているとき、加工処理部82は、顔領域312を加工対象領域として設定する一方で顔領域311を加工対象領域から除外し、加工対象領域に対して第1実施例等で述べた加工処理を施すことにより加工画像を生成する。これによって、図18(a)に示すような加工画像が得られる。
或いは、女性が特定性別として撮像装置1に設定されているとき、加工処理部82は、顔領域312を加工対象領域として設定する一方で顔領域311を加工対象領域から除外し、加工対象領域に対して第1実施例等で述べた加工処理を施すことにより加工画像を生成する。これによって、図18(b)に示すような加工画像が得られる。
或いは、アジア人が特定人種として撮像装置1に設定されているとき、加工処理部82は、顔領域311及び312の夫々を加工対象領域として設定し、各加工対象領域に対して第1実施例等で述べた加工処理を施すことにより加工画像を生成する(尚、人物301及び302はアジア人であるとする)。これによって、図18(c)に示すような加工画像が得られる。
或いは、上記の第3の年齢層が特定年齢層として撮像装置1に設定されているとき、加工処理部82は、顔領域311及び312の夫々を加工対象領域として設定し、各加工対象領域に対して第1実施例等で述べた加工処理を施すことにより加工画像を生成する(尚、人物301及び302の年齢は20代であるとする)。これによって、図18(d)に示すような加工画像が得られる。
尚、上記の第1〜第4の特定顔条件の内、2以上の特定顔条件を満たす顔領域のみが、加工対象領域として設定されるようにしてもよい。
上述のような特定顔条件を利用することにより、ユーザが望む特定の人物に対してのみ、適切なプライバシー保護を成すことができる。
<<第9実施例>>
第9実施例について説明する。上述の第5実施例において動画像に対する画像処理方法を説明したが、第9実施例でも、動画像に対する画像処理方法を説明する。
第9実施例について説明する。上述の第5実施例において動画像に対する画像処理方法を説明したが、第9実施例でも、動画像に対する画像処理方法を説明する。
第5実施例でも述べたように、1つの動画像は、時系列で並ぶ複数のフレーム画像によって形成される。周期的に訪れる各フレームにおいて、1つのフレーム画像が得られる。各フレーム画像は、撮像部11にて順次得られる各撮影画像である。動画像においては、各フレーム画像が加工処理部82に対する元画像となり、各元画像が加工画像に変換される。動画像に対する特殊画像ファイルの作成方法は、第5実施例で述べたそれと同様である。以下、第9実施例に特有の、特定被写体の追尾処理を用いた加工対象領域の設定方法を説明する。
今、図1の撮像部11を用いた撮影によって動画像600が取得された場合を考える。図19に、動画像600を形成する、複数の元画像として複数のフレーム画像が示されている。動画像600を形成する複数のフレーム画像には、時刻tnの撮影によって得られたフレーム画像FIn、時刻tn+1の撮影によって得られたフレーム画像FIn+1、時刻tn+2の撮影によって得られたフレーム画像FIn+2、時刻tn+3の撮影によって得られたフレーム画像FIn+3、・・・が含まれる(nは整数)。時刻tiから1フレーム周期分の時間が経過すると時刻ti+1が訪れるものとする(iは整数)。
図20に、第9実施例に係る映像信号処理部13aの内部の一部ブロック図を示す。映像信号処理部13aは、図1の映像信号処理部13として利用される。映像信号処理部13aは、追尾処理部83及び加工処理部82を含む。加工処理部82は、図6に示すそれと同じ機能を有する。追尾処理部83は、動画像600内に含まれる特定被写体を動画像600内において追尾する機能を備える。
追尾処理部83は、動画像600の画像データに基づき、各フレーム画像内における特定被写体の位置を逐次検出していくことにより、動画像600内において特定被写体の位置を追尾する。追尾されるべき特定被写体を、以下、「追尾対象」という。
追尾処理部83は、動画像600を形成する複数のフレーム画像の内、何れかのフレーム画像を基準フレーム画像として捉え、基準フレーム画像の画像データに基づいて追尾対象を設定すると共に基準フレーム画像における追尾対象の位置及び大きさを検出する。その後、動画像600を形成する複数のフレーム画像の内、基準フレーム画像以外のフレーム画像を追尾対象フレーム画像として捉え、追尾対象フレーム画像の画像データに基づいて追尾対象フレーム画像における追尾対象の位置及び大きさを検出する。
例えば、追尾処理部83は、追尾対象が有する色情報に基づいて追尾処理を行う。色情報に基づく追尾処理の方法として、特開平5−284411号公報、特開2000−48211号公報、特開2001−169169号公報などに記載の方法を用いることができる。色情報に基づく追尾処理ではなく、他の情報に基づく追尾処理(他の方法による追尾処理)を実行するようにしてもよい。例えば、画像マッチングを用いた追尾処理、オプティカルフローを用いた追尾処理、背景差分法に基づく移動物体検出を用いた追尾処理、又は、フレーム間差分法に基づく移動物体検出を用いた追尾処理を、追尾処理部83にて実行するようにしてもよい。
説明の具体化のため、以下、追尾処理部83が色情報に基づく追尾処理を行う場合を想定する。また、追尾対象が人物である場合を考える。追尾対象が人物である場合、追尾処理部83には、追尾処理機能だけでなく、図6の顔検出部81が有する機能と同等の機能が備えられる。尚、追尾対象は人物以外でもよい。例えば、追尾対象は、自動車等の車両や移動するロボットであってもよい。
動画像600を形成する複数のフレーム画像の内、追尾対象が含まれる1枚のフレーム画像が基準フレーム画像として設定される。例えば、動画像600を形成する複数のフレーム画像の内、追尾対象を含み且つ最も時間的に早く得られたフレーム画像が基準フレーム画像として設定される。説明の簡略化上、今、動画像600を形成する複数のフレーム画像の内、4つのフレーム画像FIn〜FIn+3にのみ追尾対象が含まれているものとする(フレーム画像FIn〜FIn+3にのみ追尾対象の画像データが存在するものとする)。そうすると、フレーム画像FInが基準フレーム画像として設定される。尚、ユーザの手動操作に従って基準フレーム画像の設定を行っても良い。
追尾処理部83は、基準フレーム画像としてのフレーム画像FInの画像データに基づいて、追尾対象及び追尾色を設定する。追尾対象及び追尾色の設定方法を、図21を参照して説明する。図21において、破線矩形領域611は、追尾処理部83の顔検出処理によって基準フレーム画像としてのフレーム画像FInから抽出された顔領域である。追尾処理部83は、顔領域611に含まれる顔を有する人物を、追尾対象として設定する。顔領域611の抽出後、追尾処理部83は、その顔領域611に対応する人物の胴体部分を含む領域である胴体領域612を検出する。胴体領域612は、顔領域611の下方側(眉間から口に向かう方向側)に存在する矩形領域とされる。基準フレーム画像において、胴体領域612の位置及び大きさは、顔領域611の位置及び大きさに依存して決定される。
その後、追尾処理部83は、胴体領域612内の画像の画像データに基づいて胴体領域612内の色を特定し、特定した色を追尾色として設定する。例えば、胴体領域612内の画像を形成する各画素の色信号(例えば、RGB信号)に基づいて胴体領域612内の画像の色ヒストグラムを生成する。そして、その色ヒストグラムに基づいて胴体領域612内の画像における支配色又は最頻色を求め、その求めた色を追尾色として設定する。或る画像の支配色とは、その画像の画像領域の大部分を占めている色を指し、或る画像の最頻色とは、その画像の色ヒストグラムにおいて最も高い度数を有している色を指す(支配色と最頻色は同じでありうる)。或いは、胴体領域612内の画像を形成する各画素の色信号(例えば、RGB信号)を平均化することにより胴体領域612内の画像の平均的な色を求めて、その平均的な色を追尾色として設定するようにしてもよい。
尚、追尾対象及び追尾色を、操作部26に対する手動操作によって設定するようにしても良い。例えば、ユーザが、操作部26に対する操作を介して追尾対象となるべき人物のフレーム画像上の位置を指定することによって追尾対象が設定されてもよく、操作部26に対する操作を介して追尾色を指定することによって追尾色が設定されてもよい。
フレーム画像FInを基準フレーム画像として捉えた上で追尾対象及び追尾色が設定された後、追尾処理部83は、フレーム画像FInより後に得られる各追尾対象フレーム画像に対して追尾処理を実行することにより、各追尾対象フレーム画像における追尾対象の位置及び大きさを検出する。より具体的には例えば、着目した追尾対象フレーム画像内に、追尾対象の胴体領域の大きさと同程度の大きさを有する追尾枠を設定して、追尾枠内における画像の色と追尾色との類似性評価を追尾枠の位置を探索範囲内で順次変更しながら実行し、最大の類似性が得られた追尾枠の位置に追尾対象の胴体領域が存在すると判断する。今回の追尾対象フレーム画像に対する探索範囲は、前回の追尾対象フレーム画像における追尾対象の位置を基準にして設定される。通常、その探索範囲は、前回の追尾対象フレーム画像における追尾対象の位置を中心とする矩形領域とされ、探索範囲のサイズ(画像サイズ)は、フレーム画像の全体画像領域のサイズよりも小さい。
追尾処理部83は、追尾対象フレーム画像FIn+1、FIn+2、FIn+3・・・に対して、未来に向かって時間が進行する方向に追尾処理を順次実行することにより、各追尾対象フレーム画像における追尾対象の位置を検出する。尚、追尾対象フレーム画像における追尾対象の大きさは、公知の方法(例えば、特開2004−94680号公報又は特開平9−189934号公報に記載された方法)を含む任意の方法によって検出することができる。検出された追尾対象の大きさに依存して、上記の追尾枠の大きさは可変設定される。
追尾処理部83によって検出された、各追尾対象フレーム画像における追尾対象の位置及び大きさを表す追尾結果情報は、加工処理部82に伝達される。また、基準フレーム画像における追尾対象の位置及び大きさを表す追尾初期情報も、追尾処理部83から加工処理部82に伝達される。
加工処理部82は、追尾初期情報に基づき、基準フレーム画像の全体画像領域の中から、追尾対象の全体又は一部の像が表れる画像領域(追尾対象を表す画像データが存在する領域)を抽出し、その抽出した画像領域を基準フレーム画像上における加工対象領域として設定する。例えば、図21の顔領域611を含む画像領域、又は、顔領域611及び胴体領域612を含む画像領域、又は、追尾対象の全体像が表れる画像領域を、基準フレーム画像上における加工対象領域として設定する。
更に、加工処理部82は、追尾結果情報に基づき、追尾対象フレーム画像ごとに、追尾対象フレーム画像の全体画像領域の中から、追尾対象の全体又は一部の像が表れる画像領域(追尾対象を表す画像データが存在する領域)を抽出し、その抽出した画像領域を追尾対象フレーム画像上における加工対象領域として設定する。例えば、追尾対象フレーム画像内の追尾対象についての顔領域を含む画像領域、追尾対象フレーム画像内の追尾対象についての顔領域及び胴体領域を含む画像領域、又は、追尾対象フレーム画像内の追尾対象の全体像が表れる画像領域を、追尾対象フレーム画像上における加工対象領域として設定する。
加工対象部82は、各フレーム画像上の加工対象領域に対して、フレーム画像ごとに、第1実施例等にて述べた加工処理を施す。これにより、時系列で並ぶ複数の加工画像が生成される。動画像用の特殊画像ファイルの作成動作を含む、この複数の加工画像が生成された後の動作は、第5実施例で述べたものと同様である。
図22に、追尾対象の全体像が表れる画像領域を追尾対象領域として設定した場合における、各フレーム画像上の加工対象領域を示す。図22において、破線矩形領域620〜623が、夫々、フレーム画像FIn〜FIn+3上の加工対象領域である。加工対象領域の外形形状は、勿論、矩形以外であっても構わない。
尚、上述の例では、未来に向かって時間が進行する方向に追尾処理が順次実行されているが、過去に向かって時間が遡る方向に追尾処理を順次実行しても良い。つまり例えば、ユーザの手動操作又は追尾処理部83による自動設定により、動画像600を形成する複数のフレーム画像の内、フレーム画像FIn+3が基準フレーム画像として設定された場合、フレーム画像FIn+2、FIn+1、FIn・・・の順番で、追尾対象の追尾を行うようにしてもよい。
また、基準フレーム画像から検出された顔領域が第8実施例で述べた特定顔条件を満たすか否かを判断する機能を追尾処理部83に持たせるようにしてもよい。そして、特定顔条件を満たす顔領域を基準フレーム画像内から抽出し、抽出した顔領域に含まれる顔を有する人物を追尾対象として設定するようにしてもよい。この場合、登録人物、特定性別の人物、特定人種の人物、又は、特定年齢層の人物が追尾対象として設定される。尚、上記の第1〜第4の特定顔条件の内、2以上の特定顔条件を満たす顔領域に対応する人物のみが、追尾対象として設定されるようにしてもよい。
本実施例の如く撮像装置1を形成すれば、基準フレーム画像に対して設定された追尾対象の画像が動画像全体に亘って自動的に加工される。つまり、ユーザに殆ど負担をかけることなく、追尾対象のプライバシーを動画像全体に亘って保護することができる。
<<変形等>>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1及び注釈2を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1及び注釈2を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
[注釈1]
図1の撮像装置1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図6に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
図1の撮像装置1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図6に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
図4のユーザPC2及び図5のサーバ3も、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図4の主制御部41の機能及び図5の主制御部61の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
[注釈2]
例えば、以下のように考えることができる。図1のCPU23は、特殊画像ファイルをメモリカード18に記録する記録制御手段としての機能を備える。図4のユーザPC2において、カードスロット44は、特殊画像ファイルを受け取るためのファイル入力手段として機能しうる。勿論、特殊画像ファイルを有線又は無線の通信によってユーザPC2に提供することもできる。
例えば、以下のように考えることができる。図1のCPU23は、特殊画像ファイルをメモリカード18に記録する記録制御手段としての機能を備える。図4のユーザPC2において、カードスロット44は、特殊画像ファイルを受け取るためのファイル入力手段として機能しうる。勿論、特殊画像ファイルを有線又は無線の通信によってユーザPC2に提供することもできる。
1 撮像装置
2 ユーザPC
3 サーバ
4 通信網
101、102、103 閲覧用PC
2 ユーザPC
3 サーバ
4 通信網
101、102、103 閲覧用PC
Claims (18)
- 被写体を撮影することによって元画像を取得する撮像手段と、
前記元画像中の特定領域内の画像に対して可逆型の加工処理を施すことにより、前記元画像から加工画像を生成する加工処理手段と、
前記加工画像と、前記加工画像から前記元画像を復元するために必要な復元処理の内容を特定する復元用情報と、を互いに関連付けて格納した画像ファイルを記録手段に記録する記録制御手段と、を備えた
ことを特徴とする撮像装置。 - 前記記録制御手段は、前記復元用情報に従って前記加工画像から前記元画像を復元してそれを視認可能な状態にすることに対する許可/禁止を切替制御するための権限管理情報を、更に、前記加工画像及び前記復元用情報に関連付けて前記画像ファイルに格納する
ことを特徴とする請求項1に記載の撮像装置。 - 前記元画像の画像データに基づいて、前記元画像から特定の画像特徴を有する領域を検出する特定領域検出手段を更に備え、
前記加工処理手段は、前記特定領域検出手段によって検出された領域から前記特定領域を設定する
ことを特徴とする請求項1または請求項2に記載の撮像装置。 - 外部からの前記特定領域を指定するための操作を受け付ける指定操作受付手段を更に備え、
前記加工処理手段は、前記操作に従って前記特定領域を設定する
ことを特徴とする請求項1または請求項2に記載の撮像装置。 - 前記特定領域検出手段によって検出される、前記特定の画像特徴を有する領域は、人物の顔を含む顔領域であり、
前記特定領域検出手段は、自身が検出した顔領域が特定条件を満たすか否かを判断し、
前記加工処理手段は、前記特定条件を満たすと判断された顔領域から前記特定領域を設定する
ことを特徴とする請求項3に記載の撮像装置。 - 当該撮像装置に予め設定された登録人物の顔領域、
特定性別の人物の顔領域、
特定人種の人物の顔領域、及び、
特定年齢層の人物の顔領域の内の、
何れか1以上の顔領域が前記特定条件を満たすと判断される
ことを特徴とする請求項5に記載の撮像装置。 - 前記撮像手段は、時系列に並ぶ複数の元画像より成る元動画像を取得し、
当該撮像装置は、前記元動画像の画像データに基づいて前記元動画像内で特定被写体を追尾する追尾処理手段を更に備え、
前記加工処理手段は、
前記複数の元画像の何れかの元画像を基準元画像として捉えて、前記基準元画像中の、前記特定被写体を含む特定領域を設定するとともに、
前記追尾処理手段の追尾結果に基づいて、前記基準元画像以外の元画像における特定領域内に前記特定被写体が含まれるように前記基準元画像以外の元画像に対する特定領域を設定し、その後、
各元画像に対して設定した特定領域内の画像に前記加工処理を施すことにより、前記元動画像から、時系列に並ぶ複数の加工画像より成る加工動画像を生成する
ことを特徴とする請求項1または請求項2に記載の撮像装置。 - 前記基準元画像に対する前記特定領域は、前記基準元画像の画像データに基づいて又は外部からの操作に基づいて設定される
ことを特徴とする請求項7に記載の撮像装置。 - 前記復元用情報は、前記加工画像上における前記特定領域の位置及び大きさを表す情報を含む
ことを特徴とする請求項1〜請求項8の何れかに記載の撮像装置。 - 前記加工処理は、前記特定領域内の画像を加工するためのモザイク処理又はマスク処理を含む
ことを特徴とする請求項1〜請求項9の何れかに記載の撮像装置。 - 前記権限管理情報は、認証コードを含み、
当該撮像装置と他の撮像装置との間で互いに異なる固有コードが各撮像装置に予め与えられており、
当該撮像装置は、
表示手段と、
前記復元用情報に基づいて前記加工画像から前記元画像を復元する復元処理手段と、
前記認証コードと当該撮像装置に対する固有コードとを照合する照合手段と、
前記照合手段による照合結果に基づいて、前記復元処理手段によって復元された前記元画像の前記表示手段での表示を許可するか否かを判別する判別手段と、を備え、
前記判別手段の判別結果に応じて前記復元処理手段及び前記表示手段を制御する
ことを特徴とする請求項2に記載の撮像装置。 - 元画像中の特定領域内の画像に対して可逆型の加工処理を施すことによって得られた加工画像のデータと、
前記加工画像から前記元画像を復元するために必要な復元処理の内容を特定する復元用情報のデータと、を互いに関連付けて格納した
ことを特徴とする画像ファイルのデータ構造。 - 前記復元用情報に従って前記加工画像から前記元画像を復元してそれを視認可能な状態にすることに対する許可/禁止を切替制御するための権限管理情報のデータを、更に、前記加工画像のデータ及び前記復元用情報のデータに関連付けて格納した
ことを特徴とする請求項12に記載の画像ファイルのデータ構造。 - 請求項2又は請求項13に記載の画像ファイルを提供元装置から受け取り、前記提供元装置と所定の関係を有し且つ表示手段を備えた端末装置からの送信要求に従って通信網を介して前記画像ファイルに基づく情報を前記端末装置に送信する情報提供装置であって、
前記画像ファイル内の復元用情報に基づいて前記画像ファイル内の加工画像から元画像を復元する復元処理手段を備え、
前記送信要求があった際、前記画像ファイル内の権限管理情報と前記関係に基づいて、前記復元処理手段によって復元された前記元画像の前記端末装置に対する送信を許可するか否かを判別し、その判別結果に応じて前記端末装置への送信内容を制御する
ことを特徴とする情報提供装置。 - 当該情報提供装置は、前記関係を事前に認識しており、
前記権限管理情報と前記関係に応じて、前記端末装置に、第1及び第2の権限を含む複数段階の権限の内の何れかを与え、
前記第1の権限を前記端末装置に与えているときにおいて、前記送信要求があった際、前記復元処理手段による復元された前記元画像を前記端末装置に対して送信する一方、
前記第2の権限を前記端末装置に与えているときにおいて、前記送信要求があった際、前記復元処理手段による復元された前記元画像の前記端末装置に対する送信を禁止する
ことを特徴とする請求項14に記載の情報提供装置。 - 表示手段を備え、
請求項14又は請求項15に記載された情報提供装置から通信網を介して前記画像ファイルに基づく情報を受け取って、受け取った情報に基づく画像を前記表示手段に表示する
ことを特徴とする端末装置。 - 請求項2又は請求項13に記載の画像ファイルを受け取るファイル入力手段と、表示手段と、を備えた画像表示装置において、
前記画像ファイル内の権限管理情報は、認証コードを含み、
当該画像表示装置は、
前記画像ファイル内の復元用情報に基づいて前記画像ファイル内の加工画像から元画像を復元する復元処理手段と、
前記認証コードと当該画像表示装置に登録されたコードとを照合する照合手段と、
前記照合手段による照合結果に基づいて、前記復元処理手段によって復元された前記元画像の前記表示手段での表示を許可するか否かを判別する判別手段と、を更に備え、
前記判別手段の判別結果に応じて前記復元処理手段及び前記表示手段を制御する
ことを特徴とする画像表示装置。 - 画像ファイルの記録方式であって、
元画像中の特定領域内の画像に対して可逆型の加工処理を施すことによって得られた加工画像のデータと、
前記加工画像から前記元画像を復元するために必要な復元処理の内容を特定する復元用情報のデータと、を互いに関連付けて記録する
ことを特徴とする画像ファイルの記録方式。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008167153A JP2009033738A (ja) | 2007-07-04 | 2008-06-26 | 撮像装置、画像ファイルのデータ構造 |
US12/167,646 US8233677B2 (en) | 2007-07-04 | 2008-07-03 | Image sensing apparatus and image file data structure |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007175949 | 2007-07-04 | ||
JP2008167153A JP2009033738A (ja) | 2007-07-04 | 2008-06-26 | 撮像装置、画像ファイルのデータ構造 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009033738A true JP2009033738A (ja) | 2009-02-12 |
Family
ID=40403674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008167153A Pending JP2009033738A (ja) | 2007-07-04 | 2008-06-26 | 撮像装置、画像ファイルのデータ構造 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009033738A (ja) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010197467A (ja) * | 2009-02-23 | 2010-09-09 | Casio Computer Co Ltd | 撮影装置、及びプログラム |
JP2010197968A (ja) * | 2009-02-27 | 2010-09-09 | Nikon Corp | 合焦評価装置、カメラおよびプログラム |
JP2010200270A (ja) * | 2009-02-27 | 2010-09-09 | Nikon Corp | 画像処理装置、カメラおよびプログラム |
JPWO2011007554A1 (ja) * | 2009-07-16 | 2012-12-20 | パナソニック株式会社 | アクセス制御装置、アクセス制御方法、プログラム、記録媒体及び集積回路 |
JP2013069187A (ja) * | 2011-09-26 | 2013-04-18 | Dainippon Printing Co Ltd | 画像処理システム、画像処理方法、サーバおよびプログラム |
JP2013210986A (ja) * | 2012-03-30 | 2013-10-10 | Sony Corp | 情報処理装置および情報処理方法、並びにプログラム |
KR101363601B1 (ko) * | 2012-03-30 | 2014-02-19 | (주)씽크포비엘 | 사생활 보호 기능을 구비한 영상 감시 방법 및 시스템 |
JP2014509425A (ja) * | 2011-02-28 | 2014-04-17 | ノキア コーポレイション | データのプライバシーを強化する方法および装置 |
KR20150077551A (ko) * | 2013-12-27 | 2015-07-08 | 주식회사 케이티 | 이미지 데이터의 필터링 장치 및 이를 이용한 이미지 데이터의 필터링 방법 |
WO2015136796A1 (ja) * | 2014-03-10 | 2015-09-17 | ソニー株式会社 | 情報処理装置、記憶媒体、および制御方法 |
KR20150141122A (ko) * | 2014-05-13 | 2015-12-17 | 시아오미 아이엔씨. | 프라이버시 정보 은닉방법, 장치, 프로그램 및 기록매체 |
JP2016034115A (ja) * | 2014-07-31 | 2016-03-10 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、動画公開システム、動画公開方法、プログラムおよび記録媒体 |
US9483649B2 (en) | 2012-10-12 | 2016-11-01 | Sony Corporation | Image processing device, image processing system, image processing method, and program |
JP2017211766A (ja) * | 2016-05-24 | 2017-11-30 | 株式会社Screenホールディングス | 画像処理システム、画像処理プログラム、および画像処理方法 |
JP2018029309A (ja) * | 2016-08-19 | 2018-02-22 | 株式会社東芝 | 撮像装置および送信方法 |
JP2019165431A (ja) * | 2018-01-23 | 2019-09-26 | ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH | プライバシー対応データを記録するための方法およびシステム |
JP2020025219A (ja) * | 2018-08-08 | 2020-02-13 | アークレイ株式会社 | 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム |
WO2020049958A1 (ja) * | 2018-09-06 | 2020-03-12 | ソニー株式会社 | 情報処理システム、情報処理方法、端末装置および情報処理装置 |
JP2021082951A (ja) * | 2019-11-19 | 2021-05-27 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム及び情報処理システム |
WO2022190157A1 (ja) * | 2021-03-08 | 2022-09-15 | 株式会社日立国際電気 | 撮像装置及び映像処理システム |
WO2023175652A1 (ja) * | 2022-03-14 | 2023-09-21 | 日本電気株式会社 | 動画生成装置、動画生成方法、および動画生成プログラム |
WO2023233457A1 (ja) * | 2022-05-30 | 2023-12-07 | 日本電気株式会社 | 画像処理装置、認証システム、画像処理方法、及び非一時的なコンピュータ可読媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11252504A (ja) * | 1998-03-05 | 1999-09-17 | Casio Comput Co Ltd | 画像のセキュリテイシステム,電子カメラ装置および画像処理装置 |
JP2004062560A (ja) * | 2002-07-30 | 2004-02-26 | Omron Corp | 顔照合装置および顔照合方法 |
JP2005049939A (ja) * | 2003-07-29 | 2005-02-24 | Casio Comput Co Ltd | 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム |
JP2007164275A (ja) * | 2005-12-09 | 2007-06-28 | Hitachi Ltd | 画像処理装置および監視システム |
-
2008
- 2008-06-26 JP JP2008167153A patent/JP2009033738A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11252504A (ja) * | 1998-03-05 | 1999-09-17 | Casio Comput Co Ltd | 画像のセキュリテイシステム,電子カメラ装置および画像処理装置 |
JP2004062560A (ja) * | 2002-07-30 | 2004-02-26 | Omron Corp | 顔照合装置および顔照合方法 |
JP2005049939A (ja) * | 2003-07-29 | 2005-02-24 | Casio Comput Co Ltd | 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム |
JP2007164275A (ja) * | 2005-12-09 | 2007-06-28 | Hitachi Ltd | 画像処理装置および監視システム |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010197467A (ja) * | 2009-02-23 | 2010-09-09 | Casio Computer Co Ltd | 撮影装置、及びプログラム |
JP2010197968A (ja) * | 2009-02-27 | 2010-09-09 | Nikon Corp | 合焦評価装置、カメラおよびプログラム |
JP2010200270A (ja) * | 2009-02-27 | 2010-09-09 | Nikon Corp | 画像処理装置、カメラおよびプログラム |
JPWO2011007554A1 (ja) * | 2009-07-16 | 2012-12-20 | パナソニック株式会社 | アクセス制御装置、アクセス制御方法、プログラム、記録媒体及び集積回路 |
JP5475779B2 (ja) * | 2009-07-16 | 2014-04-16 | パナソニック株式会社 | アクセス制御装置、アクセス制御方法、プログラム、記録媒体及び集積回路 |
JP2014509425A (ja) * | 2011-02-28 | 2014-04-17 | ノキア コーポレイション | データのプライバシーを強化する方法および装置 |
JP2013069187A (ja) * | 2011-09-26 | 2013-04-18 | Dainippon Printing Co Ltd | 画像処理システム、画像処理方法、サーバおよびプログラム |
JP2013210986A (ja) * | 2012-03-30 | 2013-10-10 | Sony Corp | 情報処理装置および情報処理方法、並びにプログラム |
KR101363601B1 (ko) * | 2012-03-30 | 2014-02-19 | (주)씽크포비엘 | 사생활 보호 기능을 구비한 영상 감시 방법 및 시스템 |
US9483649B2 (en) | 2012-10-12 | 2016-11-01 | Sony Corporation | Image processing device, image processing system, image processing method, and program |
KR102175121B1 (ko) * | 2013-12-27 | 2020-11-09 | 주식회사 케이티 | 이미지 데이터의 필터링 장치 및 이를 이용한 이미지 데이터의 필터링 방법 |
KR20150077551A (ko) * | 2013-12-27 | 2015-07-08 | 주식회사 케이티 | 이미지 데이터의 필터링 장치 및 이를 이용한 이미지 데이터의 필터링 방법 |
WO2015136796A1 (ja) * | 2014-03-10 | 2015-09-17 | ソニー株式会社 | 情報処理装置、記憶媒体、および制御方法 |
JPWO2015136796A1 (ja) * | 2014-03-10 | 2017-04-06 | ソニー株式会社 | 情報処理装置、記憶媒体、および制御方法 |
US10282619B2 (en) | 2014-03-10 | 2019-05-07 | Sony Corporation | Processing apparatus, storage medium, and control method |
KR101657231B1 (ko) * | 2014-05-13 | 2016-09-13 | 시아오미 아이엔씨. | 프라이버시 정보 은닉방법, 장치, 프로그램 및 기록매체 |
KR20150141122A (ko) * | 2014-05-13 | 2015-12-17 | 시아오미 아이엔씨. | 프라이버시 정보 은닉방법, 장치, 프로그램 및 기록매체 |
JP2016034115A (ja) * | 2014-07-31 | 2016-03-10 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、動画公開システム、動画公開方法、プログラムおよび記録媒体 |
US9690992B2 (en) | 2014-07-31 | 2017-06-27 | Fujifilm Corporation | Image processing apparatus, image processing method, moving image publishing system, moving image publishing method, and recording medium |
JP2017211766A (ja) * | 2016-05-24 | 2017-11-30 | 株式会社Screenホールディングス | 画像処理システム、画像処理プログラム、および画像処理方法 |
WO2017204081A1 (ja) * | 2016-05-24 | 2017-11-30 | 株式会社Screenホールディングス | 画像処理システム、画像処理プログラム、および画像処理方法 |
JP2018029309A (ja) * | 2016-08-19 | 2018-02-22 | 株式会社東芝 | 撮像装置および送信方法 |
JP2019165431A (ja) * | 2018-01-23 | 2019-09-26 | ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーHonda Research Institute Europe GmbH | プライバシー対応データを記録するための方法およびシステム |
JP2020025219A (ja) * | 2018-08-08 | 2020-02-13 | アークレイ株式会社 | 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム |
JP7253336B2 (ja) | 2018-08-08 | 2023-04-06 | アークレイ株式会社 | 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム |
WO2020049958A1 (ja) * | 2018-09-06 | 2020-03-12 | ソニー株式会社 | 情報処理システム、情報処理方法、端末装置および情報処理装置 |
JPWO2020049958A1 (ja) * | 2018-09-06 | 2021-08-12 | ソニーグループ株式会社 | 情報処理システム、情報処理方法、端末装置および情報処理装置 |
JP2021082951A (ja) * | 2019-11-19 | 2021-05-27 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム及び情報処理システム |
JP7394597B2 (ja) | 2019-11-19 | 2023-12-08 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム及び情報処理システム |
WO2022190157A1 (ja) * | 2021-03-08 | 2022-09-15 | 株式会社日立国際電気 | 撮像装置及び映像処理システム |
JP7448721B2 (ja) | 2021-03-08 | 2024-03-12 | 株式会社日立国際電気 | 撮像装置及び映像処理システム |
WO2023175652A1 (ja) * | 2022-03-14 | 2023-09-21 | 日本電気株式会社 | 動画生成装置、動画生成方法、および動画生成プログラム |
WO2023233457A1 (ja) * | 2022-05-30 | 2023-12-07 | 日本電気株式会社 | 画像処理装置、認証システム、画像処理方法、及び非一時的なコンピュータ可読媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009033738A (ja) | 撮像装置、画像ファイルのデータ構造 | |
US8233677B2 (en) | Image sensing apparatus and image file data structure | |
US8738622B2 (en) | Processing captured images having geolocations | |
US10062406B2 (en) | Video masking processing method and apparatus | |
JP6209962B2 (ja) | 情報処理装置及び情報処理プログラム | |
US20040123131A1 (en) | Image metadata processing system and method | |
US10165178B2 (en) | Image file management system and imaging device with tag information in a communication network | |
JP2008523650A (ja) | 生体情報読取機付無線画像撮影装置 | |
JP2008165700A (ja) | 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム | |
KR20100107684A (ko) | 공유 레벨에 따라 영상을 차등화하여 제공하는 영상 공유 장치 및 방법 | |
JP5348682B2 (ja) | 画像管理装置、その制御方法及びプログラム | |
JP2010045699A (ja) | 情報記録装置、撮像装置、情報記録方法およびプログラム | |
CN102567729A (zh) | 区域特定方法、区域特定装置、服务器及*** | |
JP2003087632A (ja) | 撮影機能を有する電子機器及び画像処理システム | |
JP6428152B2 (ja) | 肖像権保護プログラム、情報通信装置及び肖像権保護方法 | |
JP4462094B2 (ja) | カメラ装置およびその制御プログラム | |
US20090073272A1 (en) | Digital image capturing system and control method thereof | |
WO2018179555A1 (ja) | 撮像装置 | |
WO2017157435A1 (en) | A method and system for visual privacy protection for mobile and wearable devices | |
JP2002281486A (ja) | 画像取得システム | |
JP2009027503A (ja) | 撮像装置、改竄検出方法、および改竄検出装置 | |
JP4365730B2 (ja) | 画像再生システムおよび画像ファイリングシステム | |
JP2011223109A (ja) | 撮像装置および画像ファイル生成方法 | |
JP2003348536A (ja) | デジタルカメラ | |
JP2006172146A (ja) | データ管理機能を有する機器、及び、データ管理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120424 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120904 |