以下、本発明の実施の形態(以下、「実施の形態」という)について説明する。なお、以下の形態により本発明が限定されるものではない。また、以下において、同一の構成には同一の符号を付して説明する。
図1は、本発明の一実施の形態にかかる画像通信システムの構成を模式的に示す概略図である。
図1に示す画像通信システム1は、被写体を撮像して被写体の画像データを生成し、この画像データを含む画像ファイルを、ネットワークNを介して外部に送信する撮像装置100と、ネットワークNを介して撮像装置100から送信された画像ファイルを受信するとともに、受信した画像ファイルに添付された複数のサーバの少なくとも一部からなる画像ファイルの送信ルートのルート情報のタグ情報に応じたサーバに画像ファイルを送信する画像受付サーバ200と、撮像装置100とネットワークを介して通信可能なサーバから送られてくる画像ファイルに添付されたタグ情報に基づいて、この画像ファイルを管理する管理サーバ300と、ネットワークNを介して画像受付サーバ200または管理サーバ300から画像ファイルを受信するとともに、後述する携帯機器500または携帯機器600からのアクセスに応じて画像データやコンテンツデータ等の投稿情報を送信する画像表示サーバ400と、ネットワークNを介して画像表示サーバ400にアクセス可能または管理サーバ300からの情報を受信する携帯機器500および携帯機器600と、を備える。また、以下においては、携帯機器500または携帯機器600のいずれかを示す場合、携帯機器500として説明する。
まず、撮像装置100について説明する。図2は、撮像装置100の被写体に面する側(前面側)の構成を示す斜視図である。図3は、撮像装置100の撮影者に面する側(背面側)の構成を示す斜視図である。図4は、撮像装置100の機能構成を示すブロック図である。
図2〜図4に示す撮像装置100は、撮像部101と、位置取得部102と、入力部103と、表示部104と、タッチパネル105と、時計106と、生体情報検出部107と、記録部108と、通信部109と、制御部110と、を備える。
撮像部101は、制御部110の制御のもと、被写体を撮像して被写体の画像データを生成する。撮像部101は、光学系101aと、撮像素子101bと、信号処理部101cと、を有する。
光学系101aは、所定の視野領域からの光を集光する。光学系101aは、焦点距離を変更可能なズーム機能、焦点を調整するフォーカス機能、シャッタおよび絞り等を有する。光学系101aは、制御部110から入力される指示信号に応じて、焦点距離の変更、焦点の調整、絞り値の変更およびシャッタースピードの設定を行う。
撮像素子101bは、光学系101aが集光した光を受光して電気信号に変換して信号処理部101cに出力する。撮像素子101bは、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等を用いて構成される。また、撮像素子101bは、制御部110から入力される指示信号に応じて、所定のフレームレート、たとえば30fpsや60fpsで画像データを順次生成する。
信号処理部101cは、撮像素子101bから出力されるアナログ信号に対してノイズ低減処理やゲインアップ処理等のアナログ処理を施してA/D変換を行って制御部110に出力する。
位置取得部102は、地上の物体の位置を測位する測定手段であるGPS(Global Positioning System)を構成する複数のGPS衛星から送信されてくる衛星の軌道情報を受信し、この受信した軌道情報に基づいて、撮影時や画像再生時における撮像装置100の位置情報を取得し、この位置情報を制御部110に出力する。ここで、位置情報は、経度、緯度および時刻情報である。
入力部103は、撮像装置100の電源オンや電源オフの指示信号の入力を受け付ける電源スイッチ103aと、撮像装置100に撮影を指示するレリーズ信号の入力を受け付けるレリーズスイッチ103bと、撮像装置100の各種パラメータの設定を切り替える指示信号の入力を受け付ける操作スイッチ103cと、撮像装置100のモードを切り替えるモード切替スイッチ103dと、を有する。また、レリーズスイッチ103bは、外部からの押圧により進退可能であり、半押しされた場合、撮像装置100に撮影準備動作を指示するファーストレリーズ信号の入力を受け付ける一方、全押しされた場合に撮像装置100に静止画撮影を指示するセカンドレリーズ信号の入力を受け付ける。
表示部104は、撮像部101が撮像した画像データに対応するライブビュー画像、画像処理部110aが画像処理を施した画像データに対応する画像、記録部108が記録する画像データに対応する画像を表示する。表示部104は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて構成される。ここで、画像の表示には、撮影直後の画像データを所定時間(たとえば3秒間)だけ表示するレックビュー表示、記録部108に記録された画像データを再生する再生表示、および撮像部101が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー画像表示等が含まれる。また、表示部104は、撮像装置100の操作情報および撮影に関する情報、たとえば露出値や絞り値等を適宜表示する。
タッチパネル105は、表示部104の表示画面上に設けられる。タッチパネル105は、指やタッチペンその他の外部からの物体のタッチ位置を検出し、この検出したタッチ位置に応じた位置信号を制御部110に出力する。また、タッチパネル105は、ユーザが表示部104で表示される情報に基づいてタッチした位置を検出し、この検出したタッチ位置に応じて撮像装置100が行う動作を指示する指示信号の入力を受け付ける。一般に、タッチパネル105としては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。なお、本実施の形態では、タッチパネル105が被写体の肖像権に関する許諾情報の入力を受け付ける許諾情報入力部として機能する。
時計106は、計時機能および撮像日時の判定機能を有する。時計106は、撮像部101によって撮像された画像データに日時データを付加するため、制御部110に日時データを出力する。
生体情報検出部107は、撮像装置100の背面側の側面に設けられ、撮像装置100を用いて画像データが生成された際の撮影者の生体情報を検出する。具体的には、生体情報検出部107は、撮影者の指紋、静脈、筋電流等の個人認証が可能な生体情報を検出する。生体情報検出部107は、指紋検出センサ、静脈検出センサ、筋電流センサ等の個人認証が可能な生体情報センサ等を用いて構成される。また、生体情報検出部107は、外部からタッチされた際の被写体の生体情報を検出する。なお、生体情報検出部107は、声紋、暗号、ユーザIDおよびパスワードのいずれかを検出してもよい。また、生体情報検出部107は、小型カメラで顔認証をしてもよい。つまり、生体情報検出部107は、撮影者の顔を撮影し、この顔の特徴点を検出する顔判定機能を有する撮像部であっても適用することができる。
記録部108は、撮像装置100を動作させるための各種プログラムおよびプログラムの実行中に使用される各種データやパラメータ等を記録する。また、記録部108は、撮像装置100が実行するプログラム記録部108aと、画像データ、画像データを現像する際の画像処理情報、画像データを撮像した際の撮像情報、サムネイル画像データおよび個人認証に用いるタグ情報を対応付けた画像ファイルを記録する画像データ記録部108bと、他の画像受付サーバ200と無線通信するために必要な撮像装置100の識別情報(IPアドレス)、識別情報に対応するパスワード、画像受付サーバ200に画像ファイルを含むコンテンツデータを送信する際のアカウントおよび画像受付サーバ200のIPアドレス等を記録する接続先情報記録部108cと、撮像装置100の所有者を示す所有者情報および撮像装置100に対応付けられた携帯機器500への確認先情報を記録する個人情報記録部108dと、を有する。ここで、確認先情報とは、携帯機器500へのメールを送信する際のメールアドレス、電話番号および携帯機器500の所有者情報である。また、記録部108は、FlashメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて構成される。
ここで、画像データ記録部108bが記録する画像ファイルについて詳細に説明する。図5は、画像ファイルの構成の一例を示す図である。
図5に示す画像ファイルF100は、画像データF1を格納する画像データ格納領域F10と、Exif(Exchangeable image file format)に準拠したフォーマットでヘッダ情報を格納するヘッダ情報格納領域F20と、ネットワークNを介して外部へ画像ファイルを送信する際の個人認証に用いるタグ情報を格納するタグ情報格納領域F30と、を有する。
ヘッダ情報格納領域F20には、サムネイル画像データF21(JPEG形式)と、画像処理部110aが画像データを現像する際の画像処理パラメータを記録する画像処理情報F22と、画像データを撮像した際の焦点距離、絞り値、露出値、ISO感度、ホワイトバランスおよびシャッタースピード等を記録する撮像情報F23とが記録(格納)される。
タグ情報格納領域F30には、生体情報検出部107が検出した生体情報F31、位置取得部102が取得した位置情報F32、時計106から入力された時間F33と、画像データに対応する画像の所定の画素列の撮像装置100から被写体までの距離の分布を示す距離分布情報F34と、画像内の被写体の肖像権の許諾の有無を示す許諾ID情報F35と、撮像装置100の識別情報を示す機器識別情報F36と、撮像装置100の所有者の携帯機器500の確認先情報F37と、複数のサーバの少なくとも一部からなる画像ファイルの送信ルートのルート情報F38と、が格納(記録)されている。このように、画像に多くのタグ情報を付与するのは、撮影者本人や身内や関係者にとっては便利な事が多いが、情報が増えるほど、プライバシーの問題が出てくる可能性があり、特に不特定多数の鑑賞者がアクセス可能なネット上へのアップロード画像に関しては、悪意を持った、あるいは無意識に権利を侵害するような人が、この情報を、権利者の想定外の活用をしてしまう危険性があった。つまり、本実施の形態にかかる撮像装置100は、状況に応じて、このタグ情報(特に、いつどこで誰が、といった個人の行動トレースができる項目)は削除して送信する。
このように、図5に示すフォーマットに従って、画像ファイルF100が画像データ記録部108bに記録される。
通信部109は、所定の無線通信規格に従って、画像受付サーバ200、管理サーバ300、画像表示サーバ400および携帯機器500のいずれかと無線通信を行って画像ファイルまたはコンテンツデータを画像受付サーバ200、管理サーバ300、画像表示サーバ400および他の携帯機器500のいずれかに送信する。ここで、所定の無線通信規格は、IEEE802.11bおよびIEEE802.11n等である。なお、本実施の形態では、いずれの無線通信規格であっても適用可能である。また、通信部109は、管理サーバ300、画像表示サーバ400および携帯機器500のいずれかからコンテンツデータ、エラー情報、IPアドレスおよびパスワード(キー情報)を受信する。ここで、エラー情報とは、画像ファイルを送信した場合において、画像ファイルのタグ情報に確認先情報が記録されていないとき、後述する画像受付サーバ200を介して管理サーバ300から送信された確認先情報が付加されていないことを示す情報である。また、通信部109は、送信する画像ファイルのタグ情報のうち少なくともルート情報を含む画像ファイルを、このルート情報にしたがって複数のサーバのいずれかに送信する。
また、通信部109は、ネットワークNを介して管理サーバ300、画像表示サーバ400および携帯機器500のいずれかと無線通信を行って画像ファイル、コンテンツデータまたは各種情報を双方向に通信を行うための通信デバイスを用いて構成される。通信デバイスは、他の機器との間で電波信号を送受信するアンテナと、アンテナが受信した信号を復調処理するとともに、送信する信号を変調処理する送受信回路等で構成される。
また、通信部109は、撮像装置100の起動時において、その存在を報知する識別情報(機器ID)を含む通信信号を定期的に送信する。さらに、通信部109は、管理サーバ300、画像表示サーバ400および携帯機器500のいずれかから送信された通信信号を受信して停止状態または待機状態から復帰し、管理サーバ300、画像表示サーバ400および携帯機器500のいずれかとの間で通信を確立する。さらにまた、通信部109は、撮像装置100のモード、たとえば、再生モードや通信モードに移行した際に停止状態または待機状態から復帰する。なお、通信部109は、撮像装置100の外部から装着されるメモリカード等の記録媒体に設けられてよい。また、通信部109は、ホットシューを介して撮像装置100に装着されるアクセサリに設けられていてもよい。
制御部110は、入力部103から入力される指示信号またはタッチパネル105から入力される位置信号等に応じて撮像装置100を構成する各部に対応する指示やデータの転送等を行って撮像装置100の動作を統括的に制御する。制御部110は、CPU(Central Processing Unit)等を用いて構成される。
ここで、制御部110の詳細な構成について説明する。制御部110は、画像処理部110aと、顔検出部110bと、距離分布検出部110cと、タグ情報付加部110dと、タグ情報削除部110eと、表示制御部110fと、候補化判定部110gと、を有する。
画像処理部110aは、撮像部101が生成した画像データまたは記録部108が記録する画像データ(RAWデータ)を取得し、取得した画像データに対して各種の画像処理を施した画像データ(処理画像データ)を生成する。この画像データは、制御部110を介して記録部108に出力される。画像処理部110aは、画像エンジンを用いて構成される。
顔検出部110bは、画像データに対応する画像に含まれる人物の顔をパターンマッチングによって検出する。具体的には、顔検出部110bは、パターンマッチングにより画像中の顔の位置を検出後、目や鼻、口等の顔の特徴の位置を検出することによって、顔の位置、顔の大きさ(サイズ)、顔の向き、顔の角度(傾き)等を検出する。また、顔検出部110bは、画像中の顔を検出した場合、目、鼻、口および顔の大きさ(サイズ)を顔の特徴点として検出する。なお、顔検出部110bは、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部110bは、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。
距離分布検出部110cは、画像データに対応する画像内における所定の画素列を基準とした際の撮像装置100から被写体までの距離の分布を示す距離分布情報を検出する。具体的には、距離分布検出部110cは、複数のフォーカスポイントそれぞれの距離を検出することによって、撮像装置100から被写体までの距離分布情報を検出する。ここで、距離分布情報は、撮像装置100のピント合わせ時に得られる情報であってもよく、ピント位置情報であっても、相対比較情報でもよい。また、距離分布検出部110cは、正確に測定する必要もなく、遠近関係が分かるだけでもよい。距離分布検出部110cは、風景と至近がわかるだけでもよく、ポスターなどは、風景であっても、遠距離ではなく近距離と判定して検出してもよい。さらに、ピント合わせは、山登り方式や位相差方式などが一般的であるが、顔の大きさ情報やぼけ情報を利用してもよい。
タグ情報付加部110dは、複数のサーバの少なくとも一部からなる画像ファイルの送信ルートのルート情報を含み、この画像ファイルに対して添付されるタグ情報を付加する。具体的には、タグ情報付加部110dは、画像ファイルF100に記録するタグ情報格納領域F30に生体情報F31と、位置情報F32と、時間F33と、距離分布情報F34と、許諾ID情報F35と、機器識別情報F36と、確認先情報F37と、ルート情報F38と、を生成して画像ファイルにタグ情報として付加する。
タグ情報削除部110eは、通信部109が画像ファイルを複数のサーバのいずれかに送信する場合、画像ファイルのタグ情報のルート情報に基づいて、ルート情報以外のタグ情報を削除する。具体的には、タグ情報削除部110eは、画像ファイルF100が記録するタグ情報格納領域F30に記録された生体情報F31と、位置情報F32と、時間F33と、距離分布情報F34と、許諾ID情報F35と、機器識別情報F36と、確認先情報F37と、を削除する。なお、タグ情報削除部110eは、個人が特定されるタグ情報、たとえば生体情報F31、位置情報F32、許諾ID情報F35および確認先情報F37のみを削除してもよい。これは、不特定多数の鑑賞者がアクセス可能なネット上へのアップロード画像に関しては、悪意を持った、あるいは無意識に権利を侵害するような人が、この情報を、権利者の想定外の活用をしてしまう危険性があり、状況に応じて、このタグ情報(特に、いつどこで誰が、といった個人の行動トレースができる項目)は削除して送信した方が安心である。被写体を特定できるような情報も削除した方が良い場合が多い。
表示制御部110fは、表示部104の表示態様を制御する。また、表示制御部110fは、撮像装置100の各種情報を表示部104に表示させる。
候補化判定部110gは、顔検出部110bが画像内で検出した顔が特定の顔であるか否かを判定する。具体的には、候補化判定部110gは、顔検出部110bが検出した顔の特徴点が予め登録した撮像装置100の所有者の家族の顔の特徴点やペットの特徴点と一致するか否かを判定する。
撮影条件タグ情報決定部110hは、画像ファイルの送信ルートを第1のルート(ルート1)または第2のルート(ルート2)で画像表示サーバ400に画像表示を行わせるかを決定することによって、タグ情報付加部110dが画像ファイルに対して添付する撮影時の撮影タグ情報を決定する。ここで、撮影時の撮影タグ情報とは、生体情報F31、位置情報F32、時間F33、距離分布情報F34、許諾ID情報F35および機器識別情報F36である。
通信決定部110iは、画像ファイルに添付された撮影タグ情報に従って、画像ファイルの送信ルートを第1のルート(ルート1)または第2のルート(ルート2)のいずれかで画像表示サーバ400に画像ファイルを送信するかを決定する。たとえば、通信決定部110iは、画像ファイルに添付された撮影タグ情報が距離分布情報F34の場合、画像ファイルを後述する第1のルートで画像表示サーバ400に送信することを決定し、この決定をルート情報として画像ファイルを付加する。
つぎに、画像受付サーバ200の構成について説明する。図6は、画像受付サーバ200の機能構成を示すブロック図である。
図6に示す画像受付サーバ200は、通信部201と、画像データベース202と、画像受付サーバ制御部203と、を有する。
通信部201は、ネットワークNを介して、撮像装置100、管理サーバ300、画像表示サーバ400および携帯機器500のいずれかと通信を行って画像ファイルやコンテンツデータを撮像装置100、管理サーバ300、画像表示サーバ400および携帯機器500のいずれかに送信する。また、通信部201は、撮像装置100、管理サーバ300、画像表示サーバ400および携帯機器500のいずれかと通信を行って画像ファイルの要求データ、IPアドレスおよびアカウントデータ(キー情報)等を受信する。
画像データベース202は、ネットワークN、通信部201および画像受付サーバ制御部203を介して撮像装置100、管理サーバ300、画像表示サーバ400および携帯機器500のいずれかから受信した画像ファイルおよびコンテンツデータ等を記録する。画像データベース202は、SDRAMやハードディスクレコーダ等の記録媒体を用いて構成される。
画像受付サーバ制御部203は、CPU等を用いて構成され、ネットワークNおよび通信部201を介して撮像装置100、管理サーバ300、画像表示サーバ400および携帯機器500のいずれかから入力されるアクセス信号に応じて、画像データベース202に記録された画像ファイルやコンテンツデータを送信する。また、画像受付サーバ制御部203は、転送先設定部203aを有する。
転送先設定部203aは、ネットワークNおよび通信部201を介して撮像装置100から受信した画像ファイルF100のタグ情報格納領域F30のルート情報F38に基づいて、送信先のサーバに画像ファイルF100を送信する。具体的には、転送先設定部203aは、撮像装置100から受信した画像ファイルF100に記録されたルート情報F38がルート1の場合、画像ファイルF100を画像表示サーバ400に送信する一方、ルート情報F38がルート2の場合、画像ファイルF100を管理サーバ300に送信する。
つぎに、管理サーバ300の構成について説明する。図7は、管理サーバ300の機能構成を示すブロック図である。
図7に示す管理サーバ300は、通信部301と、ユーザデータベース302と、画像データベース303と、管理サーバ制御部304と、を有する。
通信部301は、所定の通信規格に従って、撮像装置100、画像受付サーバ200、画像表示サーバ400および携帯機器500のいずれかと通信を行って画像ファイルやコンテンツデータを受信する。また、通信部301は、ネットワークNを介して受信した画像ファイルのタグ情報に含まれる情報のうち、撮像装置100に対応付けられた外部機器としての携帯機器500の確認先情報に基づいて携帯機器500へ確認情報としてのタグ情報を送信する。さらに、通信部301は、画像ファイルのタグ情報に含まれ、管理サーバ300を経由する画像ファイルの送信ルートのルート情報に基づいて電子透かし情報が付加された画像ファイルを撮像装置100、画像受付サーバ200、画像表示サーバ400および携帯機器500のいずれかに送信する。なお、本実施の形態では、通信部301がサーバ通信部として機能する。
ユーザデータベース302は、予め記録された個人認証情報を記録する。具体的には、ユーザデータベース302は、撮像装置100の所有者に関する所有者情報、撮像装置100の所有者の生体情報、肖像権者の肖像権情報、肖像権者の生体情報および所有者または肖像権者の携帯機器500のメールアドレスや携帯番号を含む確認先情報を記録する。ユーザデータベース302は、SDRAMやハードディスクレコーダ等の記録媒体を用いて構成される。
画像データベース303は、受信した画像ファイルを記録する。画像データベース303は、受信画像データ記録部303aと、送信画像データ記録部303bと、を有する。
受信画像データ記録部303aは、画像受付サーバ200から受信した画像ファイルを記録する。具体的には、受信画像データ記録部303aは、ネットワークNおよび画像受付サーバ200を介して撮像装置100が送信した送信時の画像ファイルを記録する。
送信画像データ記録部303bは、後述する管理サーバ制御部304によって個人認証に用いるタグ情報が電子透かし情報として画像データに付加された送信画像ファイルを記録する。このタグ情報の電子透かし化は、タグ情報そのものを電子透かし化するのみならず、タグ情報を参照できるような情報でもよく、タグ情報を暗号化して電子透かし化してもよい。電子透かしの技術としては、これらの情報を、文字コードや数字、識別子のような形に変換し、空間領域、周波数領域などに埋め込めば良い。特定色情報を持つ画素値の特定ビットに埋め込んだり、スペクトル拡散法、パッチワーク法などを適宜利用することを想定している。この電子透かしの技術を利用して、改ざん防止用の透かし情報を添付してもよい。
ここで、送信画像データ記録部303bが記録する送信画像ファイルについて詳細に説明する。図8は、送信画像ファイルの構成の一例を示す図である。
図8に示す送信画像ファイルF200は、画像データF1を格納する画像データ格納領域F10と、ヘッダ情報を格納する送信画像ファイルF200のヘッダ情報格納領域F20と、ネットワークNを介して外部へ画像ファイルを送信する際の個人認証に用いるタグ情報を格納するタグ情報格納領域F30と、を有する。
ヘッダ情報格納領域F20には、Exifに準拠したフォーマットで、サムネイル画像データF21と、画像処理情報F22と、撮像情報F23とが記録(格納)される。
タグ情報格納領域F30には、生体情報F31、位置情報F32、時間F33と、距離分布情報F34と、許諾ID情報F35と、機器識別情報F36と、確認先情報F37と、ルート情報F38と、画像ファイルを送信した送信者を識別する送信者ID情報F39と、が格納(記録)されている。
このように、図8に示すフォーマットに従って、送信画像ファイルF200が送信画像データ記録部303bに記録される。
管理サーバ制御部304は、CPU等を用いて構成され、ネットワークNおよび通信部301を介して撮像装置100、画像受付サーバ200、画像表示サーバ400および携帯機器500のいずれかから入力されるアクセス信号に応じて、画像データベース303に記録された送信画像ファイルを送信する。また、管理サーバ制御部304は、個人情報設定部304aと、個人情報判定部304bと、電子透かし生成部304cと、画像検索部304dと、タグ情報削除部304eと、を有する。
個人情報設定部304aは、ネットワークNおよび通信部301を介して受信した画像ファイルに含まれるタグ情報をユーザデータベースに記録する。
個人情報判定部304bは、ネットワークNを介して携帯機器500から受信したタグ情報を選択した選択情報と受信した画像ファイルに含まれる個人認証用のタグ情報とが一致するか否かを判定する。また、個人情報判定部304bは、ネットワークNおよび通信部301を介して受信した画像ファイルに含まれるタグ情報とユーザデータベース302に記録された所有者情報、撮像装置100の所有者の生体情報、肖像権者の肖像権情報および肖像権者の生体情報を含む個人認証情報とが一致するか否かを判定する。
電子透かし生成部304cは、個人情報判定部304bが携帯機器500から受信した選択情報と受信した画像ファイルに含まれるタグ情報とが一致すると判定した場合、選択情報に応じたタグ情報を画像データに電子透かし情報として付加する。
画像検索部304dは、ネットワークNを介して携帯機器500から受信したモデル画像を用いてネットワークN上に存在する類似画像を検索し、検索した類似画像が存在する場合、この類似画像を管理するサーバに類似画像を削除する削除指示信号を送信する。
タグ情報削除部304eは、通信部301が画像ファイルを送信する際に画像ファイルのタグ情報を削除する。具体的には、タグ情報削除部304eは、送信画像ファイルF200のタグ情報格納領域F30から生体情報F31、位置情報F32、許諾ID情報F35、機器識別情報F36、確認先情報F37および送信者ID情報F39を削除する。また、タグ情報削除部304eは、電子透かし生成部304cが画像データに電子透かし情報として付加したタグ情報のみを送信画像ファイルF200のタグ情報格納領域F30から削除してもよい。
つぎに、画像表示サーバ400について説明する。図9は、画像表示サーバ400の機能構成を示すブロック図である。
図9に示す画像表示サーバ400は、通信部401と、画像データベース402と、画像表示サーバ制御部403と、を有する。
通信部401は、所定の通信規格に従って、撮像装置100、画像受付サーバ200、管理サーバ300および携帯機器500のいずれかと通信を行って画像ファイルやコンテンツデータを受信する。また、通信部401は、ネットワークNを介して画像ファイルやコンテンツデータを撮像装置100、画像受付サーバ200、管理サーバ300および携帯機器500のいずれかに送信する。
画像データベース402は、ネットワークNおよび通信部401を介して画像受付サーバ200または管理サーバ300から受信した画像ファイルを記録する。画像データベース402は、SDRAMやハードディスクレコーダ等の記録媒体を用いて構成される。
画像表示サーバ制御部403は、CPU等を用いて構成され、ネットワークNおよび通信部401を介して撮像装置100、画像受付サーバ200、管理サーバ300および携帯機器500のいずれかから入力されるアクセス信号に応じて、ブラウザの指定ページ(画像ファイル)を送信する。
ここで、画像表示サーバ制御部403の詳細な構成について説明する。画像表示サーバ制御部403は、著作権情報追加部403aと、画像データ削除部403bと、アクセス判定部403cと、表示制御部403dと、を有する。
著作権情報追加部403aは、ネットワークNおよび通信部401を介して管理サーバ300から受信した画像ファイルに著作権情報が含まれている場合、画像データベース402に複製を禁止する禁止情報を画像ファイルに著作権情報として追加する。
アクセス判定部403cは、ネットワークNおよび通信部401を介してアクセス信号を受信した機器を判定する。たとえば、アクセス判定部403cは、画像受付サーバ200、管理サーバ300または携帯機器500からアクセスがあったか否かを判定する。
画像データ削除部403bは、ネットワークNおよび通信部401を介して管理サーバ300から画像ファイルを削除する削除信号を受信した場合、削除信号が指示する画像ファイルを画像データベース402から削除する。
表示制御部403dは、ネットワークNおよび通信部401を介して撮像装置100、画像受付サーバ200、管理サーバ300および携帯機器500のいずれかから入力されるアクセス信号に応じて、指定されたブラウザの指定ページの表示態様を制御する。たとえば、表示制御部403dは、指定された指定ページの画像ファイルの画像データに対応する画像を表示する。さらに、表示制御部403dは、指定ページの画像ファイルに禁止情報が含まれている場合、画像上に複製を禁止する情報を重畳して表示させる。
つぎに、携帯機器500について説明する。図10は、携帯機器500の機能構成を示すブロック図である。なお、携帯機器500は、撮像装置100と同じ持ち主であれば、自分の撮像装置(カメラ)が、どのように使われたかを認識する権利があると考えてもよい。この場合は、同じ持ち主で、撮像装置100と携帯機器500とが関連づけられて登録されているとする。もちろん、貸し出し用の撮像装置であれば、貸し出した先のプライバシーまでを知る権利はない場合もあるので、貸し出した先の携帯機器を、ここでの携帯機器500として登録できるようにしても良い。
図10に示す携帯機器500は、通信部501と、表示部502と、タッチパネル503と、操作部504と、記録部505と、携帯機器制御部506と、を有する。
通信部501は、所定の通信規格に従って、撮像装置100、画像受付サーバ200、画像表示サーバ400および画像表示サーバ400のいずれかと通信を行って画像ファイルやコンテンツデータを受信する。また、通信部501は、ネットワークNを介して画像ファイルやコンテンツデータを撮像装置100、画像受付サーバ200、画像表示サーバ400および画像表示サーバ400のいずれかに送信する。さらに、通信部501は、管理サーバ300から個人認証に用いるタグ情報の一覧を受信する。
表示部502は、画像データに対応する画像を表示する。表示部502は、液晶または有機EL等からなる表示パネルを用いて構成される。また、表示部502は、通信部501が受信したタグ情報の一覧を表示する。具体的には、表示部502は、携帯機器500と対応付けられた撮像装置100の所有者の所有者情報、たとえば携帯機器500のメールアドレス情報や携帯番号情報、撮像装置100の所有者情報および肖像権情報等を表示する。さらに、表示部502は、ネットワークNおよび通信部501を介して画像表示サーバ制御部403にアクセスした際に指定した指定ページの画像を表示する。
タッチパネル503は、表示部502の表示画面上に設けられる。タッチパネル503は、外部からの指やタッチペンその他の物体のタッチを検出し、この検出したタッチ位置に応じた位置信号を携帯機器制御部506に出力する。また、タッチパネル503は、ユーザが表示部502で表示される情報に基づいてタッチした位置を検出し、この検出したタッチ位置に応じて携帯機器500が行う動作を指示する指示信号の入力を受け付ける。
操作部504は、携帯機器500の各種パラメータや個人認証情報を選択する選択信号の入力を受け付ける。
記録部505は、画像データや携帯機器500が実行する各種プログラムを記録する。記録部505は、FlashメモリやDRAM等の半導体メモリを用いて構成される。
携帯機器制御部506は、CPU等を用いて構成され、タッチパネル503から入力される位置信号または操作部504から入力される指示信号に応じて携帯機器500を構成する各部に対応する指示やデータの転送等を行って携帯機器500の動作を統括的に制御する。また、携帯機器制御部506は、タッチパネル503から入力された位置信号に応じて選択されたタグ情報を、通信部501およびネットワークNを介して管理サーバ300に送信する。もちろん、ユーザは、携帯機器500で、撮影時の撮影タグ情報を、ユーザの記憶によって補うようにしても良い。例えば、ユーザは、携帯機器500を用いることにより、地図情報で、観光地名までしか入っていなかったタグ情報を観光地にある施設の名前まで特定したり、「おばあちゃんの家」といった、そのユーザ特有の関係を表した情報に変換してもよい。これは日時情報でも同様のことが言え、「誕生日」や「結婚記念日」とか、一般化できない情報に置き換える等の工夫を行えるようにしてもよい。このように個人情報化を進めていくと、ますます個人情報流出のリスクが高まるので、暗号化や電子透かし化の技術が重要になる。
なお、携帯機器600は、上述した携帯機器500と同一の構成を有するため、携帯機器600の構成の説明は省略する。
以上のように構成された画像通信システム1は、撮像装置100が生成した画像データを含む画像ファイルの著作権を放棄(著作権フリー)する著作権放棄モードと著作権を保護する著作権保護モードとを行うことができる。さらに、画像通信システム1または撮像装置100は、著作権放棄モードまたは著作権保護モードの切り替えによって、画像ファイルの送信ルートを切り替えてもよい。なお、以下においては、まず、画像通信システム1が実行する撮像装置100によって生成された画像ファイルの著作権を放棄する著作権放棄モードを説明後、著作権保護モードについて説明する。
図11は、画像通信システム1が実行する著作権放棄モードの概要を示す図である。
図11において、まず、撮像装置100は、ネットワークNを介してルート情報(ルート1)以外のタグ情報を削除するとともに、画像受付サーバ200を経由して画像表示サーバ400に画像ファイルを画像受付サーバ200に送信する(ステップS1)(ルート1)。
撮像装置100から画像ファイルを受信した画像受付サーバ200は、画像ファイルに含まれるルート情報に応じて画像ファイルを画像表示サーバ400に送信する(ステップS2)。その後、画像表示サーバ400は、画像受付サーバ200から受信した画像ファイルを画像データベース402に記録する。これにより、ユーザが、携帯機器600を用いて画像表示サーバ400にアクセスして指定ページの画像を閲覧後、この画像を選択した場合、画像ファイルの著作権が放棄(著作権フリー)されているため、選択した画像の画像データを携帯機器600によって取得することで自由に複製することができる。ただし、このような画像は、何の情報もなく、無責任に投稿された権利侵害画像であったり、撮影された画像から個人に不利益を生じる不適当な画像であったりする可能性が否定できないので、一方的な削除措置に対しても文句を言うことが難しい。
このように、画像通信システム1の著作権放棄モードにおいては、撮像装置100が送信した画像ファイルのタグ情報を削除して画像受付サーバ200を経由して画像表示サーバ400に送信することにより、著作権が放棄された画像ファイルを画像表示サーバ400に送信(投稿)することができる。さらに、撮像装置100は、画像受付サーバ200に画像ファイルを送信する際にタグ情報を削除して送信するので、画像表示サーバ400の指定ページで他のユーザに閲覧された場合であっても、私的な情報が漏洩することを防止することができる。
つぎに、画像通信システム1が実行する撮像装置100によって生成された画像ファイルの著作権を保護する著作権保護モードについて説明する。図12は、画像通信システム1が実行する著作権保護モードの概要を示す図である。
図12に示すように、まず、撮像装置100は、ネットワークNを介してタグ情報を付加した画像ファイルを画像受付サーバ200に送信する(ステップS10)。このタグ情報には、画像受付サーバ200および管理サーバ300を経由して画像表示サーバ400に画像ファイルを送信するルート情報(ルート2)および撮像装置100に対応付けられた携帯機器500の送信先情報としての確認先情報が含まれる。
タグ情報が付加された画像ファイルを受信した画像受付サーバ200は、画像ファイルのタグ情報のルート情報に応じて画像ファイルを管理サーバ300に送信する(ステップS11)。
画像受付サーバ200から画像ファイルを受信した管理サーバ300は、タグ情報の確認先情報に対応する携帯機器500に対して、個人認証に用いるタグ情報の一覧を確認情報としてメールで送信する(ステップS12)。具体的には、管理サーバ300は、タグ情報のアドレス情報に対応する携帯機器500に対して、たとえば確認情報として、タグ情報の所有者情報、生体情報、位置情報、著作権情報および肖像権情報のいずれか一つ以上をメールで送信する。ここでの携帯機器は、パーソナルユースで、通信機能を有する情報端末であれば何でもよい。
確認済情報としてのタグ情報の一覧を受信した携帯機器500は、タッチパネル503から入力される位置信号で選択されたタグ情報を管理サーバ300に送信する(ステップS13)。この場合、携帯機器500は、1以上のタグ情報を管理サーバ300に送信する。
携帯機器500からタグ情報を受信した管理サーバ300は、携帯機器500で選択されたタグ情報の電子透かし情報を生成し、この電子透かし情報を画像データに付加するとともに、電子透かし情報に対応するタグ情報を画像ファイルから削除する(ステップS14)。
続いて、管理サーバ300は、画像データにタグ情報の電子透かし情報を付加した画像ファイルを画像表示サーバ400に送信する(ステップS15)(ルート2)。その後、画像表示サーバ400は、管理サーバ300から受信した画像ファイルを画像データベース402に記録する。これにより、ユーザが、携帯機器600を用いて画像表示サーバ400にアクセスして指定ページの画像を閲覧後、この画像を選択した場合、画像ファイルの著作権で複製が禁止されているため、選択した画像の画像データを携帯機器600によって取得することができない。
このように、画像通信システム1の著作権保護モードにおいては、撮像装置100が送信した画像ファイルのタグ情報のルート情報に応じて、画像受付サーバ200および管理サーバ300を経由して画像表示サーバ400に画像ファイルを送信する。これにより、著作権を保護した状態で画像ファイルを画像表示サーバ400に送信することができる。
さらに、撮像装置100の所有者以外の撮影者、たとえば所有者のアシスタントが撮像装置100を用いて撮影した場合であっても、撮像装置100の所有者が個人認証に用いるタグ情報を選択して承認することにより、画像ファイルの著作権を保護した状態で画像表示サーバ400に画像ファイルを送信することができる。
さらにまた、管理サーバ300は、携帯機器500で選択されたタグ情報の電子透かし情報を生成し、この電子透かし情報を含むタグ情報を削除した画像ファイルを画像表示サーバ400に送信するので、画像表示サーバ400の指定ページで他のユーザに閲覧された場合であっても、私的な情報が漏洩することを防止することができる。
なお、上述したモードの切り替えによって、画像ファイルの送信ルートを切り替えてもよく、撮影条件タグ情報決定部110hが画像ファイルの送信ルートを第1のルート(たとえば図11のルート1)または第2のルート(たとえば図12のルート2)で画像表示サーバ400に画像表示を行わせるかを決定することによって画像ファイルに対して添付される撮影時の撮影タグ情報を決定し、通信部109がネットワークNを介して第1または第2のいずれかのルートで画像表示サーバ400に画像ファイルを送信してもよい。
また、考え方を変えて、ネット上で表示する画像に添付するタグ情報を先に決められるようにして、画像ファイルを生成するとともに、ネットワークNを介して画像表示サーバ400と通信を行ってもよい。この場合、撮影条件タグ情報決定部110hが画像ファイルに対して添付される撮影時の撮影タグ情報を決定し、通信決定部110iが画像ファイルに添付された撮影タグ情報に従って、画像ファイルの送信ルートを第1のルート(たとえば図11のルート1)または第2のルート(たとえば図12のルート2)のいずれかで画像表示サーバ400に画像ファイルを送信するかを決定して通信部109に画像ファイルを送信させてもよい。
以下、図11および図12で説明した撮像装置100、画像受付サーバ200、管理サーバ300および画像表示サーバ400それぞれの処理をより詳細に説明する。
まず、撮像装置100のより詳細な処理内容について説明する。図13は、撮像装置100のより詳細な処理内容を示すフローチャートである。
図13に示すように、まず、撮像装置100が撮影モードに設定されている場合(ステップS101:Yes)、制御部110は、撮像部101が生成した画像データに対応するライブビュー画像を表示部104に表示させる(ステップS102)。この場合、図14に示すように、撮影者K1は、撮像装置100の表示部104で表示されるライブビュー画像W1を確認することによって、被写体P1に対する構図や撮影条件、たとえば絞り値、露出値、ISO感度、ホワイトバランス、ピント位置、シャッタースピードおよび階調のいずれかを操作スイッチ103cによって調整しながら撮影を行う。
続いて、顔検出部110bがライブビュー画像W1で顔を検出した場合(ステップS103:Yes)、タグ情報付加部110dは、顔検出部110bが検出した顔の特徴点を取得する(ステップS104)。具体的には、図15に示すように、タグ情報付加部110dは、顔検出部110bがライブビュー画像W1で顔を検出した場合、検出した顔の特徴点を取得する。この際、表示制御部110fは、顔検出部110bが検出した顔を含む顔領域に対応するフレームF1をライブビュー画像W1に重畳して表示部104に表示させる。ステップS104の後、撮像装置100は、ステップS105へ移行する。
ステップS103において、顔検出部110bがライブビュー画像W1で顔を検出していない場合(ステップS103:No)、撮像装置100は、ステップS105へ移行する。
続いて、タグ情報付加部110dは、時計106から時間を取得し(ステップS105)、位置取得部102から位置情報を取得する(ステップS106)。
その後、タグ情報付加部110dは、生体情報検出部107が検出した撮影者の生体情報を取得する(ステップS107)。具体的には、図15に示すように、タグ情報付加部110dは、撮影者が生体情報検出部107をタッチした際に生体情報検出部107が検出した撮影者の生体情報を取得する。ここで、撮影した瞬間に撮影者を特定することが非常に著作権管理上、重要である一方で、この情報はプライバシーに密接に関連する可能性が高いので、強固なプライバシー保護が必要な情報である。しかし、この段階で、撮像装置100等のモバイル、携帯機器で、この情報を完全に保護することは困難で、このような技術の最新版を常にインストールしておくことも困難であった。そこで、本発明では、外部送信時に最適な環境で最適な技術を利用して、この個人情報(プライバシー情報)を保護できるようにした。著作権と個人情報が表裏一体の関係にあることが問題であり、本発明はその点に留意したものとなっている。
レリーズスイッチ103bが操作されることにより、撮影操作があった場合(ステップS108:Yes)、距離分布検出部110cは、ライブビュー画像W1の所定の水平方向の1ライン上を基準にした際の撮像装置100から被写体までの距離の分布を示す距離分布情報を検出する(ステップS109)。
図16は、距離分布検出部110cの距離検出方法の概要を模式的に示す図である。図16(b)において、縦軸が撮像装置100から被写体までの距離を示し、横軸が画像の1ライン(直線L10)における各画素の位置を示す。
図16に示すように、距離分布検出部110cは、ライブビュー画像W1の所定の水平方向の1ライン、たとえば顔検出部110bによって検出された顔領域に対応するフレームF1を含む1ライン(画素列)を走査することによって撮像装置100から被写体までの距離分布を検出する。具体的には、図16(a)に示すように、距離分布検出部110cは、ライブビュー画像W1上におけるラインL10を走査することによって、撮像装置100から被写体までの距離分布情報L11(図16(b))を検出する。
ステップS110において、制御部110は、撮像装置100の撮影を実行する。具体的には、撮像部101を駆動することによって撮像部101が出力した画像データ(RAWデータ)に対して、所定の画像処理を施す動作をいう。このように画像処理が施された画像データは、記録部108の画像データ記録に記録される。
続いて、タグ情報付加部110dは、画像データにタグ情報を対応付けて画像ファイルに記録する(ステップS111)。
その後、表示制御部110fは、撮影した画像データに対応する画像を表示部104に表示させる(ステップS112)。
続いて、表示部104が画像を表示してから所定時間、たとえば3秒経過した場合(ステップS113:Yes)、撮像装置100は、ステップS114へ移行する。これに対して、表示部104が画像を表示してから所定時間経過していない場合(ステップS113:No)、撮像装置100は、ステップS112へ戻る。
ステップS114において、表示制御部110fは、表示部104による画像の表示を終了する(ステップS114)。
続いて、撮像装置100の電源がオフ状態になった場合(ステップS115:Yes)、撮像装置100は、本処理を終了する。これに対して、撮像装置100の電源がオフ状態になっていない場合(ステップS115:No)、撮像装置100は、ステップS101へ戻る。
ステップS108において、撮影操作がない場合(ステップS108:No)、撮像装置100は、ステップS101へ戻る。
ステップS101において、撮像装置100が撮影モードに設定されていない場合(ステップS101:No)において、再生モードが設定されているとき(ステップS116:Yes)、表示制御部110fは、画像データ記録部108bが記録する画像データの一覧を表示部104に表示させる(ステップS117)。
続いて、タッチパネル105または入力部103を介して表示部104が表示する画像が選択された場合(ステップS118:Yes)、表示制御部110fは、選択された画像を表示部104に全画面表示させる(ステップS119)。
その後、タッチパネル105または入力部103を介して画像を変更する場合(ステップS120:Yes)、撮像装置100は、ステップS119へ戻る。これに対して、タッチパネル105または入力部103を介して画像を変更しない場合(ステップS120:No)、撮像装置100は、ステップS121へ移行する。
ステップS118において、タッチパネル105または入力部103を介して表示部104が表示する画像が選択されていない場合(ステップS118:No)、撮像装置100は、ステップS121へ移行する。
続いて、撮像装置100が再生モードを終了する場合(ステップS121:Yes)、撮像装置100は、ステップS116へ戻る。これに対して、撮像装置100が再生モードを終了しない場合(ステップS121:No)、撮像装置100は、ステップS122へ移行する。
ステップS122において、表示部104が表示する画像の画像ファイルを画像表示サーバ400に投稿する指示信号の入力を受け付ける画像投稿アイコン(図示せず)が操作された場合(ステップS122:Yes)、撮像装置100は、後述するステップS123へ移行する。これに対して、表示部104が表示する画像データの画像ファイルを画像表示サーバ400に投稿する指示信号の入力を受け付ける画像投稿アイコンが操作されていない場合(ステップS122:No)、撮像装置100は、ステップS118へ戻る。
ステップS123において、制御部110は、撮像装置100に権利放棄モードが設定されているか否かを判断する(ステップS123)。具体的には、制御部110は、表示部104が表示する画像上における著作権を放棄する指示信号の入力を受け付けるアイコン(図示せず)がタッチパネル105を介して操作されたか否かを判断する。制御部110が撮像装置100に権利破棄モードが設定されていると判断した場合(ステップS123:Yes)、撮像装置100は、後述するステップS124へ移行する。これに対して、制御部110が撮像装置100に権利放棄モードが設定されていないと判断した場合(ステップS123:No)、撮像装置100は、後述するステップS126へ移行する。
ステップS124において、タグ情報削除部110eは、送信する画像ファイルに記録されたルート情報以外のタグ情報を削除する。なお、タグ情報削除部110eは、ルート情報に応じて、削除するタグ情報を変更してもよい。たとえば、タグ情報削除部110eは、タグ情報の生体情報、位置情報および確認先情報のみを削除してもよい。
続いて、通信部109は、ネットワークNを介してタグ情報削除部110eによってルート情報以外のタグ情報を削除された画像ファイルを画像受付サーバ200に送信する(ステップS125)。この場合、図17に示すように、表示制御部110fは、表示部104が表示する画像W1に関して著作権を放棄した旨の情報(メッセージ)を表示部104に表示させてもよい。これにより、撮影者は、撮影した画像の著作権を放棄したことを直感的に把握することができる。ステップS125の後、撮像装置100は、ステップS115へ移行する。
ステップS126において、顔検出部110bが画像内で顔を検出した場合(ステップS126:Yes)、撮像装置100は、画像内の顔に対して肖像権の許諾の有無情報を添付する肖像権許諾処理を実行する(ステップS127)。
図18は、図13のステップS127の肖像権許諾処理の概要を示すフローチャートである。
図18に示すように、候補化判定部110gは、顔検出部110bが画像内で検出した顔が特定の顔であるか否かを判定する(ステップS201)。具体的には、候補化判定部110gは、顔検出部110bが検出した顔の特徴点が予め登録した撮像装置100の所有者の家族の顔の特徴点やペットの特徴点と一致するか否かを判定する。候補化判定部110gが顔検出部110bによって画像内で検出された顔が特定の顔であると判定した場合(ステップS201:Yes)、撮像装置100は、後述するステップS202へ移行する。これに対して、候補化判定部110gが顔検出部110bによって画像内で検出された顔が特定の顔でないと判定した場合(ステップS201:No)、撮像装置100は、後述するステップS203へ移行する。
ステップS202において、タグ情報付加部110dは、画像内の顔(被写体)が肖像権フリー(肖像権放棄)であることを示すタグ情報を画像ファイルのタグ情報に付加する。ステップS202の後、撮像装置100は、図13のメインルーチンへ戻る。
ステップS203において、表示部104が表示する画像内の顔がタッチされた場合(ステップS203:Yes)において、生体情報検出部107が生体情報を検出したとき(ステップS204:Yes)、タグ情報付加部110dは、表示部104が表示する画像内でタッチされた顔の特徴点および生体情報検出部107が検出した生体情報をタグ情報として付加する(ステップS205)。具体的には、図19および図20(a)に示すように、タグ情報付加部110dは、被写体P1が表示部104によって表示された画像W1内で自分の顔領域F1をタッチした場合、このタッチした顔の顔領域F1の特徴点を生体情報として肖像権の許諾IDのタグ情報に付加する。さらに、図20(b)に示すように、タグ情報付加部110dは、被写体P1が生体情報検出部107をタッチした際に、生体情報検出部107が検出した生体情報をタグ情報として付加する。ステップS205の後、撮像装置100は、図13のメインルーチンへ戻る。
ステップS204において、生体情報検出部107が被写体P1の生体情報を検出していない場合(ステップS204:No)、タグ情報付加部110dは、被写体の肖像権の未確定を示す未確定情報をタグ情報に付加する(ステップS206)。ステップS206の後、撮像装置100は、図13のメインルーチンへ戻る。
ステップS203において、表示部104が表示する画像内の顔がタッチされていない場合(ステップS203:No)において、所定時間、たとえば5秒経過したとき(ステップS207:Yes)、撮像装置100は、図13のメインルーチンへ戻る。
ステップS203において、表示部104が表示する画像内の顔がタッチされていない場合(ステップS203:No)において、所定時間経過していないとき(ステップS207:No)、撮像装置100は、ステップS203へ戻る。
図13に戻り、ステップS128以降の説明を続ける。ステップS128において、通信部109は、タグ情報が付加された画像ファイルを画像受付サーバ200に送信する。ステップS128の後、撮像装置100は、ステップS115へ移行する。
ステップS101において、撮像装置100が撮影モードに設定されておらず(ステップS101:No)、かつ、撮像装置100が再生モードに設定されていない場合(ステップS116:No)において、撮像装置100が通信先設定モードに設定されているとき(ステップS129:Yes)、タグ情報付加部110dは、タッチパネル105または入力部103から入力される指示信号に応じて、撮像装置100の所有者の携帯機器500のメールアドレス、撮像装置100の所有者名および携帯番号を個人情報記録部108dに記録する(ステップS130)。
続いて、タグ情報付加部110dは、画像ファイルを画像表示サーバ400で表示する指定ページを設定する(ステップS131)。ステップS131の後、撮像装置100は、ステップS115へ移行する。
ステップS129において、撮像装置100が通信先設定モードに設定されていない場合(ステップS129:No)において、ネットワークNを介して他の機器からアクセスがあったとき(ステップS132:Yes)、撮像装置100は、通信部109を介して画像ファイルを受信し(ステップS133)、受信した画像ファイルを記録部108に記録する(ステップS134)。ステップS134の後、撮像装置100は、ステップS115へ移行する。
ステップS132において、ネットワークNを介して他の機器からアクセスがないとき(ステップS132:No)、撮像装置100は、ステップS115へ移行する。
つぎに、画像受付サーバ200のより詳細な処理内容について説明する。図21は、画像受付サーバ200のより詳細な処理内容を示すフローチャートである。
図21に示すように、ネットワークNを介して撮像装置100から通信があった場合(ステップS301:Yes)において、撮像装置100から画像ファイルを受信したとき(ステップS302:Yes)、画像受付サーバ制御部203は、受信した画像ファイルを画像データベース202に記録する(ステップS303)。
続いて、画像ファイルのタグ情報に付加されたルート情報が管理サーバ300経由である場合(ステップS304:Yes)、画像受付サーバ制御部203は、ネットワークNおよび通信部201を介して画像データベース202に記録した画像ファイルを管理サーバ300に送信する(ステップS305)。ステップS305の後、画像受付サーバ200は、本処理を終了する。
ステップS304において、画像ファイルのタグ情報に付加されたルート情報が管理サーバ300経由でない場合(ステップS304:No)、画像受付サーバ制御部203は、ネットワークNおよび通信部201を介して画像データベース202に記録した画像ファイルを画像表示サーバ400に送信する(ステップS306)。ステップS306の後、画像受付サーバ200は、本処理を終了する。
ステップS302において、撮像装置100から画像ファイルを受信していないとき(ステップS302:No)、画像受付サーバ制御部203は、ステップS301へ戻る。
ステップS301において、ネットワークNを介して撮像装置100から通信がない場合(ステップS301:No)において、管理サーバ300から通信があったとき(ステップS307:Yes)、画像受付サーバ制御部203は、画像ファイルを受信した撮像装置100に、撮像装置100の所有者の携帯機器500の確認先情報が付加されていない旨のエラー情報を送信する(ステップS308)。これにより、撮像装置100の撮影者は、画像ファイルを画像受付サーバ200に送信した際に、タグ情報の未設定を未然に防止することができる。ステップS308の後、画像受付サーバ200は、本処理を終了する。
ステップS307において、ネットワークNを介して撮像装置100から通信がない場合(ステップS301:No)において、管理サーバ300から通信がないとき(ステップS307:No)、画像受付サーバ200は、本処理を終了する。
つぎに、管理サーバ300のより詳細な処理内容について説明する。図22は、管理サーバ300のより詳細な処理内容を示すフローチャートである。
図22に示すように、画像受付サーバ200から通信があった場合(ステップS401:Yes)において、画像受付サーバ200からデータを受信したとき(ステップS402:Yes)、管理サーバ制御部304は、画像受付サーバ200から画像ファイルを受信する(ステップS403)。
続いて、個人情報判定部304bは、画像受付サーバ200から受信した画像ファイルに撮像装置100における所有者の確認先情報があるか否かを判定する(ステップS404)。個人情報判定部304bが画像受付サーバ200から受信した画像ファイルに確認先情報があると判定した場合(ステップS404:Yes)、管理サーバ300は、画像受付サーバ200から受信した画像ファイルを画像データベース303に記録する(ステップS405)。
続いて、管理サーバ制御部304は、確認先情報に基づいて、タグ情報の一覧を携帯機器500に送信する(ステップS406)。ステップS406の後、管理サーバ300は、ステップS401へ戻る。
ステップS404において、個人情報判定部304bが画像受付サーバ200から受信した画像ファイルに確認先情報がないと判定した場合(ステップS404:No)、管理サーバ制御部304は、送信先に確認先情報が付加されていない旨のエラー情報を画像受付サーバ200に送信する(ステップS407)。なお、この場合、個人情報判定部304bが画像受付サーバ200から受信した画像ファイルの付加されたタグ情報とユーザデータベース302に記録されたユーザデータとが一致する情報があると判定した場合、管理サーバ制御部304は、ユーザデータベース302に記録された携帯機器500の確認先情報を用いてタグ情報の一覧を携帯機器500に送信してもよい。ステップS407の後、管理サーバ300は、ステップS401へ戻る。
ステップS401において、画像受付サーバ200から通信がない場合(ステップS401:No)において、携帯機器500から通信があったとき(ステップS408:Yes)、管理サーバ300は、ステップS409へ移行する。
続いて、携帯機器500から選択情報を受信した場合(ステップS409:Yes)、管理サーバ制御部304は、選択情報に応じたタグ情報を選択する(ステップS410)。たとえば、管理サーバ制御部304は、携帯機器500から受信した選択情報がタグ情報の生体情報または距離分布情報であった場合、画像受付サーバ200から受信した画像ファイルのタグ情報の中から生体情報または距離分布情報を選択する。
その後、電子透かし生成部304cは、選択情報に応じたタグ情報および携帯機器500の確認先情報の電子透かし情報を生成して画像データに付加する(ステップS411)。この際、電子透かし生成部304cは、選択情報以外のタグ情報を画像ファイルから削除する。
続いて、管理サーバ制御部304は、ネットワークNおよび通信部301を介して画像表示サーバ400に画像ファイルを送信する(ステップS412)。ステップS412の後、管理サーバ300は、ステップS401へ戻る。
ステップS409において、携帯機器500から選択情報を受信していない場合(ステップS409:No)、管理サーバ300は、携帯機器500から選択情報を受信するまで待機する。
ステップS408において、携帯機器500から通信がないとき(ステップS408:No)、管理サーバ300は、ステップS413へ移行する。
続いて、携帯機器500または外部の機器から画像を監視する指示があった場合(ステップS413:Yes)、管理サーバ制御部304は、携帯機器500または外部の機器からサンプル画像ファイルおよびサンプル画像ファイルの顔特徴情報を取得する(ステップS414)。
画像検索部304dは、サンプル画像ファイルおよび顔の特徴点情報に基づいて、ネットワークNおよび通信部301を介してネットワークN上にアップロードされた画像を検索する(ステップS415)。
サンプル画像ファイルの画像データに対応する画像または顔の特徴点情報に類似する類似画像があった場合(ステップS416:Yes)において、類似画像に電子透かし情報が画像データに付加され(ステップS417:Yes)、電子透かし情報が適切なとき(ステップS418:Yes)、管理サーバ300は、ステップS401へ戻る。
サンプル画像ファイルの画像データに対応する画像または顔特徴情報に類似する類似画像があった場合(ステップS416:Yes)において、類似画像に電子透かし情報が画像データに付加されていないとき(ステップS417:No)、管理サーバ制御部304は、ネットワークNおよび通信部301を介して対象画像の削除指示信号を画像表示サーバ400に送信する(ステップS419)、ステップS419の後、管理サーバ300は、ステップS401へ戻る。
ステップS418において、電子透かし情報が適切でないとき(ステップS418:No)、管理サーバ300は、ステップS419へ移行する。
ステップS413において、携帯機器500または外部の機器から画像を監視する指示がない場合(ステップS413:No)において、画像表示サーバ400から画像の購入希望信号が受信したとき(ステップS420:Yes)、管理サーバ300は、後述するステップS421へ移行する。これに対して、携帯機器500または外部の機器から画像を監視する指示がない場合(ステップS413:No)において、画像表示サーバ400から画像の購入希望信号が受信していないとき(ステップS420:No)、管理サーバ300は、後述するステップS422へ移行する。
ステップS421において、管理サーバ制御部304は、購入希望信号の画像ファイルに付加されたアドレス情報に基づいて、購入希望情報を携帯機器500に送信する(ステップS421)。これにより、携帯機器500または撮像装置100の所有者は、画像の購入者が現れたことを知ることができる。ステップS421の後、管理サーバ制御部304は、ステップS401へ戻る。
ステップS422において、携帯機器500から購入希望の画像ファイルの著作権者から画像ファイルの許諾を示す情報を受信した場合(ステップS422:Yes)、管理サーバ制御部304は、購入希望者の携帯機器600のアドレス情報と画像ファイルの著作権者の携帯機器500のアドレス情報とを双方向に送信する仲介処理を実行する(ステップS423)。これにより、購入希望者および画像ファイルの著作権者は、それぞれの情報を取得することができ、画像ファイルの売買等を直接的に行うことができる。ステップS423の後、管理サーバ300は、ステップS401へ戻る。
ステップS422において、携帯機器500から購入希望の画像ファイルの著作権者から画像ファイルの許諾を示す情報を受信していない場合(ステップS422:No)において、ユーザ登録があったとき(ステップS424:Yes)、個人情報設定部304aは、ユーザの個人認識情報、タグ情報、撮像装置100の所有者情報および肖像権情報をユーザデータベース302に登録する登録処理を実行する(ステップS425)。ステップS425の後、管理サーバ300は、ステップS401へ移行する。
ステップS422において、携帯機器500から購入希望の画像ファイルの著作権者から画像ファイルの許諾を示す情報を受信していない場合(ステップS422:No)において、ユーザ登録がないとき(ステップS424:No)、管理サーバ300は、ステップS401へ移行する。
つぎに、画像表示サーバ400のより詳細な処理内容について説明する。図23は、画像表示サーバ400のより詳細な処理内容を示すフローチャートである。
図23に示すように、ネットワークNを介して外部からデータを受信した場合(ステップS501:Yes)において、送信元が画像受付サーバ200であるとき(ステップS502:Yes)、画像表示サーバ制御部403は、画像受付サーバ200からの画像ファイルを受信する(ステップS503)。
続いて、画像表示サーバ制御部403は、画像受付サーバ200から受信した画像ファイルを指定ページに記録して画像データベース402に記録する(ステップS504)。ステップS504の後、画像表示サーバ400は、ステップS501へ戻る。
ステップS502において、送信元が画像受付サーバ200でないとき(ステップS502:No)、画像表示サーバ400は、ステップS505へ移行する。
続いて、送信元が管理サーバ300である場合(ステップS505:Yes)、画像表示サーバ400は、後述するステップS506へ移行する。これに対して、送信元が管理サーバ300でない場合(ステップS505:No)、画像表示サーバ400は、ステップS501へ戻る。
ステップS506において、画像表示サーバ制御部403は、管理サーバ300から画像ファイルを受信する。
続いて、著作権情報追加部403aは、著作権禁止情報を画像ファイルのタグ情報に追加する(ステップS507)。
その後、管理サーバ300から受信した画像ファイルを指定ページに記録して画像データベース402に記録する(ステップS508)。ステップS508の後、画像表示サーバ400は、ステップS501へ戻る。
ステップS501において、ネットワークNを介して外部からデータを受信していない場合(ステップS501:No)において、ブラウザにアクセスがあったとき(ステップS509:Yes)、画像表示サーバ400は、後述するステップS510へ移行する。これに対して、ステップS501において、ネットワークNを介して外部からデータを受信していない場合(ステップS501:No)において、ブラウザにアクセスがないとき(ステップS509:No)、画像表示サーバ400は、ステップS501へ戻る。
ステップS510において、携帯機器500または携帯機器600の場合(ステップS510:Yes)、表示制御部403dは、指定された指定ページを表示する(ステップS511)。この場合、表示制御部403dは、指定された指定ページに広告を付加して表示する。
続いて、別ページを指示する指示信号が入力された場合(ステップS512:Yes)、表示制御部403dは、指示信号に応じた別ページに広告を付加して表示する(ステップS513)。
その後、携帯機器500または携帯機器600からコメント情報を受信した場合(ステップS514:Yes)、画像表示サーバ制御部403は、コメント情報を指定ページに記載して画像データベース402に記録する(ステップS515)。
続いて、携帯機器500または携帯機器600のブラウザアクセスが終了した場合(ステップS516:Yes)、画像表示サーバ制御部403は、指定ページを画像データベース402に記録する終了処理を実行する(ステップS517)。ステップS517の後、画像表示サーバ400は、ステップS501へ戻る。
ステップS516において、携帯機器500または携帯機器600のブラウザアクセスが終了していない場合(ステップS516:No)、画像表示サーバ400は、ステップS518へ移行する。
続いて、携帯機器500または携帯機器600を介して画像が選択された場合(ステップS518:Yes)において、著作権禁止情報があるとき(ステップS519:Yes)、表示制御部403dは、コピー不可を示す情報を選択された画像上に重畳して表示させる(ステップS520)。具体的には、図24に示すように、携帯機器500のユーザがタッチパネル503を介して画像W1を選択した場合において、この画像W1上にコピー不可の情報を重畳して表示させる。これにより、携帯機器500または携帯機器600の所有者は、選択した画像が著作権で保護されていることを直感的に把握することができる。
その後、携帯機器600から画像購入の希望があった場合(ステップS521:Yes)、画像表示サーバ制御部403は、管理サーバ300に購入希望情報を送信する(ステップS522)。ステップS522の後、画像表示サーバ400は、ステップS501へ戻る。
ステップS521において、携帯機器600から画像購入の希望がない場合(ステップS521:No)、画像表示サーバ400は、ステップS501へ戻る。
ステップS518において、画像が選択された場合(ステップS518:Yes)において、著作権禁止情報がないとき(ステップS519:No)、画像表示サーバ制御部403は、選択された画像ファイルを携帯機器600に送信する(ステップS523)。具体的には、図25に示すように、携帯機器600のユーザがタッチパネル503を介して画像W2を選択した場合において、この画像W2に著作権禁止情報がないとき(著作権自由)、画像W2の画像ファイルを携帯機器600に送信する。ステップS523の後、画像表示サーバ400は、ステップS501へ戻る。
ステップS512において、別ページを指示する指示信号が入力されていない場合(ステップS512:No)、画像表示サーバ400は、ステップS514へ移行する。
ステップS514において、コメント情報を受信していない場合(ステップS514:No)、画像表示サーバ400は、ステップS516へ移行する。
ステップS510において、携帯機器500または携帯機器600でない場合(ステップS510:No)、画像表示サーバ400は、ステップS524へ移行する。
続いて、管理サーバ300である場合(ステップS524:Yes)において、削除指示を受信したとき(ステップS525:Yes)、画像データ削除部403bは、削除指示に応じた画像を画像データベース402から削除する(ステップS526)。これにより、著作権を侵害する画像ファイルを削除することができる。ステップS526の後、画像表示サーバ400は、ステップS501へ戻る。
ステップS524において、管理サーバ300でない場合(ステップS524:No)、画像表示サーバ400は、ステップS501へ戻る。
ステップS525において、削除指示を受信してないとき(ステップS525:No)、画像表示サーバ400は、ステップS501へ戻る。
以上説明した本発明の一実施の形態によれば、撮影者が意図しない画像データがサーバに投稿されることを防止することができる。
また、本発明の一実施の形態によれば、撮像装置100が送信した画像ファイルのタグ情報を削除して画像受付サーバ200を経由して画像表示サーバ400に送信することにより、著作権が放棄された画像ファイルを画像表示サーバ400に送信(投稿)することができる。
また、本発明の一実施の形態によれば、撮像装置100が画像受付サーバ200に画像ファイルを送信する際にタグ情報を削除して送信するので、画像表示サーバ400の指定ページで他のユーザに閲覧された場合であっても、私的な情報が漏洩することを防止することができる。
また、本発明の一実施の形態によれば、撮像装置100が送信した画像ファイルのタグ情報のルート情報に応じて、画像受付サーバ200および管理サーバ300を経由して画像表示サーバ400に画像ファイルを送信する。これにより、著作権を保護した状態で画像ファイルを画像表示サーバ400に送信することができる。
また、本発明の一実施の形態によれば、悪意のある撮影者、または、無意識に権利侵害した撮影者が被写体として写真やポスターを撮影して画像データを含む画像ファイルを画像表示サーバ400に送信(投稿)する場合であっても、管理サーバ300がタグ情報の距離分布情報を写真やポスターに写る肖像権者の携帯機器に連絡するので、肖像権者が意図しない画像データが画像表示サーバ400に勝手に投稿されることを未然に、または、投稿発覚後すぐに防止することができる。
また、本発明の一実施の形態によれば、被写体の許諾なしに撮影者が撮影した画像データを含む画像ファイルを画像表示サーバ400に送信する場合であっても、管理サーバ300がタグ情報の許諾IDに対応する被写体の携帯機器に連絡し、被写体の許諾がなければ画像表示サーバ400に送信することができない。この結果、被写体の肖像権が無視された状態で画像データがウェブサイト上で公開されることを防止することができる。
また、本発明の一実施の形態によれば、撮像装置100の所有者以外の撮影者、たとえば所有者のアシスタントが撮像装置100を用いて撮影した場合であっても、撮像装置100の所有者が個人認証情報を選択して承認することにより、画像ファイルの著作権を保護した状態で画像表示サーバ400に画像ファイルを送信することができる。
また、本発明の一実施の形態によれば、管理サーバ300が携帯機器500で選択された個人認証情報の電子透かしを生成し、この電子透かしを含むタグ情報の個人を認証するための個人情報を削除して画像ファイルを画像表示サーバ400に送信するので、画像表示サーバ400の指定ページで他のユーザに閲覧された場合であっても、私的な情報が漏洩することを防止することができる。
また、本発明にかかる撮像装置は、デジタル一眼レフカメラ以外にも、たとえばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。
また、本発明にかかる撮像装置および管理サーバに実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本発明にかかる撮像装置および管理サーバに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。さらに、本発明にかかる撮像装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本発明にかかる画像受付サーバ、管理サーバおよび画像表示サーバは、それぞれ個別に運用していたが、画像受付サーバ、管理サーバおよび画像表示サーバを一つのサーバで運用するようにしてもよい。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。