JP7251247B2 - 通信システム、及び通信方法 - Google Patents
通信システム、及び通信方法 Download PDFInfo
- Publication number
- JP7251247B2 JP7251247B2 JP2019056527A JP2019056527A JP7251247B2 JP 7251247 B2 JP7251247 B2 JP 7251247B2 JP 2019056527 A JP2019056527 A JP 2019056527A JP 2019056527 A JP2019056527 A JP 2019056527A JP 7251247 B2 JP7251247 B2 JP 7251247B2
- Authority
- JP
- Japan
- Prior art keywords
- data processing
- image
- terminal
- processing
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本開示内容は、通信システム、及び通信方法に関する。
近年、IoT(Internet of Things)が注目されている。その中でも、特に、エッジコンピューティングの通信システムが注目されている。この通信システムでは、端末側で画像や音声のデータを取得し、インターネットを介してサーバに送信し、サーバ側で認識処理を行なう。特許文献1では、人物の顔を認識する処理を実行する目的で、端末(エッジノード)側に顔認識のためのカメラを設置し、画像取得端末はカメラから取得した画像データをサーバ(顔認識のプリケーションサーバ)に送信し、サーバで顔の認証処理を実行するクラウドサービスプラットフォームが開示されている。
また、魚眼カメラで撮像された画像から物体を検出し、その物体を含む領域を切出し、更に射影方式変換を行なう技術は既に知られている。
しかしながら、今までの魚眼カメラは特定(固定)のアプリケーションを想定して構築されており、魚眼カメラ等の撮像により得られた撮像画像データを用いて行なう後処理の目的(顔認識、ぼかし等)の変更や、後処理を実行するサーバ等の性能の違いがあるため、画像サイズや射影方式の変更等のように利用者の様々なニーズに対応できないという問題があった。
請求項1に係る発明は、通信ネットワークを介してサービスを提供するサービス提供サーバと、所定の画像処理により生成された撮像画像のデータを得る画像取得端末と、前記画像データに対して所定の画像処理を行う集中データ処理サーバと、前記画像取得端末と前記集中データ処理サーバとを仲介する分散データ処理端末と、を有する通信システムであって、前記分散データ処理端末は、前記サービス提供サーバから提供されるサービスに関連付けて、前記画像取得端末または前記集中データ処理サーバのどちらか一方に対する画像処理内容を他方へ要求後に応答として得られる画像処理内容を前記一方へ送信し、前記画像取得端末の画像処理後に受信した画像データを前記分散データ処理端末に送信することにより、前記サービスに対する画像処理を前記集中データ処理サーバに処理させる送受信手段を有することを特徴とする通信システムである。
以上説明したように本発明によれば、撮像により得られた撮像画像データに対する後処理が利用者の様々なニーズに対応できるという効果を奏する。
●第1の実施形態
〔全体概略〕
以下、図面を用いて、本発明の第1の実施形態の全体の概略について説明する。本実施形態は、エッジコンピューティングを実現する通信システムを開示している。即ち、本実施形態は、サービス提供サーバ8での処理及び画像取得端末2での処理の協同により、画像取得端末2でサービス提供サーバ8から提供されるサービスを実現する発明を開示している。
〔全体概略〕
以下、図面を用いて、本発明の第1の実施形態の全体の概略について説明する。本実施形態は、エッジコンピューティングを実現する通信システムを開示している。即ち、本実施形態は、サービス提供サーバ8での処理及び画像取得端末2での処理の協同により、画像取得端末2でサービス提供サーバ8から提供されるサービスを実現する発明を開示している。
<実施形態の全体構成>
図1は、本実施形態に係る通信システムの概略図である。図1に示されているように、本実施形態の通信システムは、実時間データ処理端末3、近端末データ処理装置5、分散データ処理端末6、集中データ処理サーバ7、サービス提供サーバ8、及び認証サーバ9a,9b,9cによって構築されている。なお、実時間データ処理端末3、近端末データ処理装置5、及び分散データ処理端末6によって、分散処理システム100が構築されている。分散処理システム100は複数存在するが、図1では、図面を簡略化するため、1つだけ記載している。
図1は、本実施形態に係る通信システムの概略図である。図1に示されているように、本実施形態の通信システムは、実時間データ処理端末3、近端末データ処理装置5、分散データ処理端末6、集中データ処理サーバ7、サービス提供サーバ8、及び認証サーバ9a,9b,9cによって構築されている。なお、実時間データ処理端末3、近端末データ処理装置5、及び分散データ処理端末6によって、分散処理システム100が構築されている。分散処理システム100は複数存在するが、図1では、図面を簡略化するため、1つだけ記載している。
近端末データ処理装置5は、イントラネット200を介して分散データ処理端末6と通信可能に接続されている。分散データ処理端末6は、インターネット600を介して、集中データ処理サーバ7、サービス提供サーバ8、及び認証サーバ9a,9b,9cと通信可能に接続されている。なお、以下に記載された「認証サーバ9」は、認証サーバ9a,9b,9cの総称である。
これらのうち、実時間データ処理端末3は、撮像画像のデータ(以下、「撮像画像データ」という)を得るための実時間処理(リアルタイムの処理)を行なう端末である。実時間データ処理端末3には、CMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの被写体を撮像する画像センサを備えた撮像ユニット40が着脱自在に接続される。これにより、実時間データ処理端末3は、撮像ユニット40から入力された撮像画像データをデジタル化し、実時間(たとえば1/60秒ごと)で物体(ここでは、顔)の画像を検出する。実時間データ処理端末3は、背景等を含んだ撮像画像のうちの物体部分(ここでは、顔の部分)の領域である部分画像のデータ(以下、「部分画像データ」という)を近端末データ処理装置5に送信する。
近端末データ処理装置5は、実時間データ処理端末3に最も近いところに配置され、例えばハードウェア的にも密接にデータバスやUSB(Universal Serial Bus)等で1対1に接続されている。近端末データ処理装置5は、実時間データ処理端末3から受信した部分画像データをJPEG(Joint Photographic Experts Group)などの汎用的なフォーマットに符号化した後、イントラネット200を介して分散データ処理端末6に送信する。なお、部分画像データは、集中データ処理サーバ7で照合データと照合する場合の「被照合データ」として扱われる。また、通常、実時間データ処理端末3と近端末データ処理装置5は接続されて一体になっており、ここでは、実時間データ処理端末3と近端末データ処理装置5とで画像取得端末2を構成している。そのため、部分画像データ(被照合データ)をJPEGなどの汎用的なフォーマットに符号化する機能は、実時間データ処理端末3、又は近端末データ処理端末装置5のいずれに備えられていても良い。
分散データ処理端末6は、近端末データ処理装置5に比較的近い位置で利用者によって利用され、利用者の各種操作を受け付けることが可能なコンピュータである。分散データ処理端末6は、予め、顔画像の照合が行なわれる場合の「照合データ」を登録して保存している。分散データ処理端末6は、インターネット600を介して、集中データ処理サーバ7に、照合データと被照合データとの照合を要求することができる。この場合、分散データ処理端末6は、近端末データ処理装置5から受信した被照合データ、及び予め自端末(分散データ処理端末6)に登録している照合データも送信する。更に、分散データ処理端末6は、集中データ処理サーバ7から、照合結果を示す照合結果情報を応答として受信することができる。また、分散データ処理端末6は、グラフィックインターフェースを介して照合結果を表示させることができる。
集中データ処理サーバ7は、近端末データ処理装置5から比較的遠い位置に設置されており、分散データ処理端末6とはインターネット600等の通信ネットワークを介して通信することができる。集中データ処理サーバ7は、照合要求を示す照合要求情報並びに照合データ及び被照合データを受信した場合、照合データ及び被照合データの照合を行い、類似度を判断する。そして、集中データ処理サーバ7は、分散データ処理端末6に対して、類似度を含んだ照合結果を示す照合結果情報を送信する。
サービス提供サーバ8は、画像取得端末2に対して、各種サービスを提供するサーバである。
認証サーバ9aは、画像取得端末2(又は利用者)がサービス提供システム8からサービスを受けられる正当な権限があるか否かを判断するために端末ID(又は利用者ID)の認証を行なう。認証サーバ9b,9cも同様である。
〔ハードウェア構成〕
次に、図2乃至図6を用いて、本実施形態の通信システムの各ハードウェア構成について説明する。
次に、図2乃至図6を用いて、本実施形態の通信システムの各ハードウェア構成について説明する。
<実時間データ処理端末のハードウェア構成>
図2は、実時間データ処理端末のハードウェア構成図である。実時間データ処理端末3は、CPU301、ROM302、RAM303、EEPROM304、CMOSセンサ305、加速度・方位センサ306、メディアI/F308、GPS受信部309を備えている。
図2は、実時間データ処理端末のハードウェア構成図である。実時間データ処理端末3は、CPU301、ROM302、RAM303、EEPROM304、CMOSセンサ305、加速度・方位センサ306、メディアI/F308、GPS受信部309を備えている。
これらのうち、CPU301は、実時間データ処理端末3全体の動作を制御する。ROM302は、CPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。EEPROM304は、CPU301の制御にしたがって、実時間データ処理端末用プログラム等の各種データの読み出し又は書き込みを行う。CMOSセンサ305は、CPU301の制御に従って被写体(主に撮像ユニット40の死角)を撮像して、撮像画像データを得る。加速度・方位センサ306は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F308は、フラッシュメモリ等の記録メディア307に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部309は、GPS衛星からGPS信号を受信する。
また、実時間データ処理端末3は、撮像ユニットI/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイ317、外部機器接続I/F318、及びタッチパネル321を備えている。
これらのうち、撮像ユニットI/F313は、外付けの撮像ユニット40が接続された場合に、撮像ユニット40の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御に従ってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイ317は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。タッチパネル321は、利用者がディスプレイ317を押下することで、実時間データ処理端末3を操作する入力手段の一種である。
また、実時間データ処理端末3は、バスライン310を備えている。バスライン310は、図2に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
<撮像ユニットのハードウェア構成>
図3は、撮像ユニットのハードウェア構成図である。特に、図3(a)は、撮像ユニット40のうち、単眼の撮像ユニット40aのハードウェア構成図である。図3(b)は、撮像ユニット40のうち、複眼の撮像ユニット40bのハードウェア構成図である。なお、「撮像ユニット40」は、撮像素子の数又はレンズの種類が異なる複数種類の撮像ユニット(撮像ユニット40a、40b等)の総称である。
図3は、撮像ユニットのハードウェア構成図である。特に、図3(a)は、撮像ユニット40のうち、単眼の撮像ユニット40aのハードウェア構成図である。図3(b)は、撮像ユニット40のうち、複眼の撮像ユニット40bのハードウェア構成図である。なお、「撮像ユニット40」は、撮像素子の数又はレンズの種類が異なる複数種類の撮像ユニット(撮像ユニット40a、40b等)の総称である。
図3(a)に示されているように、撮像ユニット40aは、CMOSやCCD等の撮像素子401a、レンズ402a、及び実時間データ処理端末3の撮像ユニットI/F313に電気的に接続するための接続I/F408aを有している。撮像ユニット40aが実時間データ処理端末3の撮像ユニットI/F313に接続された場合には、撮像素子401aは、撮像ユニットI/F313から接続I/F408aを介して送られて来た撮像制御信号により撮像を行い、接続I/F408aを介して撮像ユニットI/F313に撮像画像データを送信する。
また、図3(b)に示されているように、撮像ユニット40bは、CMOSやCCD等の撮像素子401b1,401b2、レンズ402b1,402b2、及び実時間データ処理端末3の撮像ユニットI/F313に電気的に接続するための接続I/F408bを有している。レンズ402b1,402b2は、例えば、魚眼レンズである。撮像ユニット40bが実時間データ処理端末3の撮像ユニットI/F313に接続された場合には、撮像素子401bは、撮像ユニットI/F313から接続I/F408bを介して送られて来た撮像制御信号により撮像を行い、接続I/F408bを介して撮像ユニットI/F313に、複数の撮像画像データを送信する。
図3(a)に示されている撮像ユニット40aは、一般の平面画像を得るが、図3(b)に示されている撮像ユニット40bは、全天球画像を得ることができる。ここで、図4を用いて、撮像ユニット40bで撮像された画像から正距円筒射影画像ECが作成されるまでの処理の概略を説明する。なお、図4(a)は撮像ユニット40bで撮像されることで生成された半球画像(前側)、図4(b)は撮像ユニット40bで撮像されることで生成された半球画像(後側)、図4(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。
図4(a)に示されているように、撮像素子401b1によって得られた画像は、レンズ402b1によって湾曲した半球画像(前側)となる。また、図4(b)に示されているように、撮像素子403bによって得られた画像は、レンズ402b2によって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは合成され、図4(c)に示されているように、正距円筒射影画像ECが作成される。
<近端末データ処理装置、分散データ処理端末のハードウェア構成>
図5は、近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。ここでは、近端末データ処理装置5と分散データ処理端末6とは、同じハードウェア構成を備えている場合を示しているため、近端末データ処理装置5について説明し、分散データ処理端末6の説明は省略する。
図5は、近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。ここでは、近端末データ処理装置5と分散データ処理端末6とは、同じハードウェア構成を備えている場合を示しているため、近端末データ処理装置5について説明し、分散データ処理端末6の説明は省略する。
図5に示されているように、近端末データ処理装置5は、CPU501、ROM502、RAM503、EEPROM504、CMOSセンサ505、加速度・方位センサ506、メディアI/F508、GPS受信部509を備えている。
これらのうち、CPU501は、近端末データ処理装置5全体の動作を制御する。ROM502は、CPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。EEPROM504は、CPU501の制御にしたがって、近端末データ処理装置用プログラム等の各種データの読み出し又は書き込みを行う。CMOSセンサ505は、CPU501の制御に従って被写体(主に近端末データ処理装置5を操作するユーザの自画像)を撮像し、撮像画像データを得る。加速度・方位センサ506は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F508は、フラッシュメモリ等の記録メディア507に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部509は、GPS衛星からGPS信号を受信する。
また、近端末データ処理装置5は、遠距離通信回路511、遠距離通信回路511のアンテナ511a、CMOSセンサ512、撮像素子I/F513、マイク514、スピーカ515、音入出力I/F516、ディスプレイ517、外部機器接続I/F518、近距離通信回路519、近距離通信回路519のアンテナ519a、及びタッチパネル521を備えている。
これらのうち、遠距離通信回路511は、イントラネット200を介して、他の機器と通信する回路である。CMOSセンサ512は、CPU501の制御に従って被写体を撮像して、撮像画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F513は、CMOSセンサ512の駆動を制御する回路である。マイク514は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F516は、CPU501の制御に従ってマイク514及びスピーカ515との間で音信号の入出力を処理する回路である。ディスプレイ517は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F518は、各種の外部機器を接続するためのインターフェースである。近距離通信回路519は、NFC(Near Field radio Communication)やBluetooth(登録商標)等の通信回路である。タッチパネル521は、利用者がディスプレイ517を押下することで、近端末データ処理装置5を操作する入力手段の一種である。
また、近端末データ処理装置5は、バスライン510を備えている。バスライン510は、図5に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
<集中データ処理サーバ、サービス提供サーバ、認証サーバのハードウェア構成>
図6は、集中データ処理サーバ、サービス提供サーバ、又は認証サーバのハードウェア構成図である。ここでは、集中データ処理サーバ7、サービス提供サーバ8、及び認証サーバ9は、同じハードウェア構成を備えている場合を示しているため、集中データ処理サーバ7について説明し、サービス提供サーバ8及び認証サーバ9の説明は省略する。
図6は、集中データ処理サーバ、サービス提供サーバ、又は認証サーバのハードウェア構成図である。ここでは、集中データ処理サーバ7、サービス提供サーバ8、及び認証サーバ9は、同じハードウェア構成を備えている場合を示しているため、集中データ処理サーバ7について説明し、サービス提供サーバ8及び認証サーバ9の説明は省略する。
図6は、集中データ処理サーバのハードウェア構成図である。集中データ処理サーバ7は、コンピュータによって構築されており、図6に示されているように、CPU701、ROM702、RAM703、HD704、HDD(Hard Disk Drive)705、記録メディア706、メディアI/F707、ディスプレイ708、ネットワークI/F709、キーボード711、マウス712、CD-RWやDVD、Blu‐rayの記憶媒体に対応したドライブ714、及び、バスライン710を備えている。なお、集中データ処理サーバ7は、サーバとして機能するため、キーボード711やマウス712等の入力装置や、ディスプレイ708等の出力装置はなくてもよい。
これらのうち、CPU701は、集中データ処理サーバ7全体の動作を制御する。ROM702は、CPU701の駆動に用いられるプログラムを記憶する。RAM703は、CPU701のワークエリアとして使用される。HD704は、プログラム等の各種データを記憶する。HDD705は、CPU701の制御にしたがってHD704に対する各種データの読み出し又は書き込みを制御する。メディアI/F707は、フラッシュメモリ等の記録メディア706に対するデータの読み出し又は書き込み(記憶)を制御する。ディスプレイ708は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークI/F709は、インターネット600を利用してデータ通信をするためのインターフェースである。キーボード711は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス712は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ドライブ714は、着脱可能な記録媒体に対する各種データの読み出し等を制御する。
また、集中データ処理サーバ7は、バスライン710を備えている。バスライン710は、図6に示されているCPU701等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
〔ソフトウェア構成〕
図7は、画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。
図7は、画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。
図7に示されているように、実時間データ処理端末3は、OS300、及び画像認識アプリケーション(以下、「アプリケーション」は「アプリ」と示す)AP1を有している。画像認識アプリAP1は、実時間データ処理端末3のRAM303の作業上で動作する。このうち、OS300は、基本的な機能を提供し、実時間データ処理端末3全体を管理する基本ソフトウェアである。画像認識アプリAP1は、撮像画像から人物や動物等の顔を認識するためのアプリである。
また、近端末データ処理装置5は、OS500、及び通信アプリAP2を有している。通信アプリAP2は、近端末データ処理装置5のRAM503の作業上で動作する。このうち、OS500は、基本的な機能を提供し、近端末データ処理装置5全体を管理する基本ソフトウェアである。通信アプリAP2は、分散データ処理端末6等の他の端末(装置)と通信を行うためのアプリである。
このように、画像取得端末2では、実時間データ処理端末3が画像認識を行うのに対して、近端末データ処理装置5がイントラネット200を介して分散データ処理端末6と通信を行なうことで、分散処理を行なうことができる。
なお、実時間データ処理端末3及び近端末データ処理装置5は、OSだけでなく、ドライバ、ソフトウェア開発キット(SDK)、またはアプリケーションプログラミングインタフェース(API)等の各ソフトウェアを搭載している。実時間データ処理端末3及び近端末データ処理装置5は、例えば、それぞれが異なるOSを搭載している等、搭載されている各ソフトウェアは異なっていてもよい。
続いて、図面を用いて、本発明の一実施形態の機能構成及び処理について説明する。
〔実施形態の機能構成〕
まず、図8乃至図17を用いて、本実施形態に係る通信システムを構成する端末、装置、及びサーバの各機能構成について説明する。図8は、実施形態に係る通信システムの機能ブロック図である。図8は、特に画像取得端末2の機能ブロックを示している。
まず、図8乃至図17を用いて、本実施形態に係る通信システムを構成する端末、装置、及びサーバの各機能構成について説明する。図8は、実施形態に係る通信システムの機能ブロック図である。図8は、特に画像取得端末2の機能ブロックを示している。
<実時間データ処理端末の機能構成>
図8に示されているように、実時間データ処理端末3は、判断部33、画像処理部34、物体検出部35、イベント生成部36、表示制御部37、接続部38、記憶・読出部39、ぼかし処理部47、及び通信部48を有している。これら各部は、図2に示されている各構成要素のいずれかが、EEPROM304からRAM303上に展開されたプログラムに従ったCPU301からの命令によって、動作することで実現される機能又は手段である。
図8に示されているように、実時間データ処理端末3は、判断部33、画像処理部34、物体検出部35、イベント生成部36、表示制御部37、接続部38、記憶・読出部39、ぼかし処理部47、及び通信部48を有している。これら各部は、図2に示されている各構成要素のいずれかが、EEPROM304からRAM303上に展開されたプログラムに従ったCPU301からの命令によって、動作することで実現される機能又は手段である。
また、実時間データ処理端末3は、図2に示されているROM302、RAM303、及びEEPROM304によって構築される記憶部3000を有している。記憶部3000には、後述の形状モデルデータが記憶されている。更に、記憶部3000には、撮像素子情報管理DB3001、サイクル値管理DB3002、画像取得プログラム管理DB3003、合成処理プログラム管理DB3004、歪み補正プログラム管理DB3005、及びサービスプログラム管理DB3006が構築されている。
撮像素子情報管理DB3001は、後述の撮像素子情報管理テーブルによって構成されている。サイクル値管理DB3002は、後述のサイクル値管理テーブルによって構成されている。画像取得プログラム管理DB3003は、後述の画像取得プログラム管理テーブルによって構成されている。合成処理プログラム管理DB3004は、後述の合成処理プログラム管理テーブルによって構成されている。歪み補正プログラム管理DB3005は、後述の歪み補正プログラム管理テーブルによって構成されている。サービスプログラム管理DB3006は、後述のサービスプログラム管理テーブルによって構成されている。
(撮像素子情報管理テーブル)
図10(a)は、撮像素子情報管理テーブルを示す概念図である。この撮像素子情報管理テーブルでは、撮像ユニット40の型番、及び撮像ユニット40が有する撮像素子の数、及びこの撮像素子に使われるレンズの種類が関連付けて管理されている。なお、型番は、撮像素子の数及びこの撮像素子に使われるレンズの種類の違いに応じた撮像ユニットの種類を示す種類情報の一例である。また、撮像素子数や、レンズの種類が特定できるものであれば、型番に限らず、製品番号、バーコードなどの識別情報であってもよい。
図10(a)は、撮像素子情報管理テーブルを示す概念図である。この撮像素子情報管理テーブルでは、撮像ユニット40の型番、及び撮像ユニット40が有する撮像素子の数、及びこの撮像素子に使われるレンズの種類が関連付けて管理されている。なお、型番は、撮像素子の数及びこの撮像素子に使われるレンズの種類の違いに応じた撮像ユニットの種類を示す種類情報の一例である。また、撮像素子数や、レンズの種類が特定できるものであれば、型番に限らず、製品番号、バーコードなどの識別情報であってもよい。
(サイクル値管理テーブル)
図10(b)は、サイクル値管理テーブルを示す概念図である。このサイクル値管理テーブルでは、撮像ユニット40が有する撮像素子の数、及び後述の物体認識の処理のサイクル値(Frames Per Second)が関連付けて管理されている。
図10(b)は、サイクル値管理テーブルを示す概念図である。このサイクル値管理テーブルでは、撮像ユニット40が有する撮像素子の数、及び後述の物体認識の処理のサイクル値(Frames Per Second)が関連付けて管理されている。
図11に示されている各テーブルは、各プログラムが、実時間データ処理端末3にインストールされているか否かを管理するためのテーブルである。
(画像取得プログラム管理テーブル)
図11(a)は、画像取得プログラム管理テーブルを示す概念図である。この画像取得プログラム管理テーブルでは、撮像ユニット40が有する撮像素子の数、及び画像取得プログラム(又はこの名称)が関連付けて管理されている。例えば、撮像素子の数「1」の場合の画像取得プログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgC01 (1系統の画像取得)」が関連付けて管理されている。撮像素子の数「2」の場合の画像取得プログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgC02 (2系統の画像取得)」が関連付けて管理されている。
図11(a)は、画像取得プログラム管理テーブルを示す概念図である。この画像取得プログラム管理テーブルでは、撮像ユニット40が有する撮像素子の数、及び画像取得プログラム(又はこの名称)が関連付けて管理されている。例えば、撮像素子の数「1」の場合の画像取得プログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgC01 (1系統の画像取得)」が関連付けて管理されている。撮像素子の数「2」の場合の画像取得プログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgC02 (2系統の画像取得)」が関連付けて管理されている。
(合成処理プログラム管理テーブル)
図11(b)は、合成処理プログラム管理テーブルを示す概念図である。この合成処理プログラム管理テーブルでは、撮像ユニット40が有する撮像素子の数、及び合成処理プログラムの名称が関連付けて管理されている。
図11(b)は、合成処理プログラム管理テーブルを示す概念図である。この合成処理プログラム管理テーブルでは、撮像ユニット40が有する撮像素子の数、及び合成処理プログラムの名称が関連付けて管理されている。
(歪み補正プログラム管理テーブル)
図11(c)は、歪み補正プログラム管理テーブルを示す概念図である。この歪み補正プログラム管理テーブルでは、撮像ユニット40が有するレンズの種類、及び歪み補正プログラム(又はこの名称)が関連付けて管理されている。例えば、レンズの種類「広角」の場合の歪み補正プログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgW01(広角歪み補正)」が関連付けて管理されている。レンズの種類「魚眼」の場合の歪み補正プログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgW02(魚眼歪み補正)」が関連付けて管理されている。
図11(c)は、歪み補正プログラム管理テーブルを示す概念図である。この歪み補正プログラム管理テーブルでは、撮像ユニット40が有するレンズの種類、及び歪み補正プログラム(又はこの名称)が関連付けて管理されている。例えば、レンズの種類「広角」の場合の歪み補正プログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgW01(広角歪み補正)」が関連付けて管理されている。レンズの種類「魚眼」の場合の歪み補正プログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgW02(魚眼歪み補正)」が関連付けて管理されている。
(サービスプログラム管理テーブル)
図11(d)は、サービスプログラム管理テーブルを示す概念図である。このサービスプログラム管理テーブルでは、認証サーバ9を識別するための認証サーバID、及び画像取得端末2が提供されるサービスを実行するためのサービスプログラムの名称が関連付けて管理されている。例えば、認証サーバID「a01」の場合のサービスプログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgD01 (物体認識)」が関連付けて管理されている。
図11(d)は、サービスプログラム管理テーブルを示す概念図である。このサービスプログラム管理テーブルでは、認証サーバ9を識別するための認証サーバID、及び画像取得端末2が提供されるサービスを実行するためのサービスプログラムの名称が関連付けて管理されている。例えば、認証サーバID「a01」の場合のサービスプログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgD01 (物体認識)」が関連付けて管理されている。
また、認証サーバID「a02」の場合のサービスプログラムが実時間データ処理端末3にインストールされている場合には、プログラム「ProgD02 (物体ぼかし)」が関連付けて管理されている。物体ぼかしのサービス内容は、集中データ処理サーバ7が物体ぼかし後の画像データを保存することであるが、更に、物体ばかしの処理が、集中データ処理サーバ7側で行われる場合(S108参照)と、実時間データ処理端末3で行われる場合(S125参照)がある。
(実時間データ処理端末の各機能構成)
次に、図8を用いて、実時間データ処理端末3の各機能構成について更に詳細に説明する。
次に、図8を用いて、実時間データ処理端末3の各機能構成について更に詳細に説明する。
実時間データ処理端末3の判断部33は、CPU301の処理によって実現され、各種判断を行なう。例えば、判断部33は、撮像ユニット40から送られて来る型番に基づき、撮像素子情報管理DB3001を参考にして、撮像素子の数を判断する。
画像処理部34は、CPU301の処理によって実現され、図11に示されている各プログラム(画像取得プログラム、画像合成プログラム、歪み補正プログラム、及びサービスプログラム)の実行により、各種画像処理を行なう。具体的には、画像処理部34は、取得するために認証が不要な第1のプログラム(例えば、画像取得プログラム、画像合成プログラム、及び歪み補正プログラム)を実行することで、画像データに対して第1の画像処理(例えば、画像取得、画像合成、歪み補正)を行なう。また、画像処理部34は、取得するために認証が必要な第2のプログラム(例えば、サービスプログラム)を実行することで、画像データに対して第2の画像処理(例えば、物体認識処理、物体ぼかし処理)を行なう。
物体検出部35は、CPU301の処理によって実現され、撮像ユニット40から接続部38を介して取得された撮像画像のデータにおいて、顔などの予め決められた特定の物体の候補となる特徴点を検出し、顔などの予め定められた特定の物体の形状モデルを示す形状モデルデータを参照して、撮像画像の中の物体の位置を検出することで、撮像画像から顔などの物体の領域の矩形画像(以下、「物体領域矩形画像」という)を検出(又は抽出)する。
イベント生成部36は、CPU301の処理によって実現され、画像処理部34で物体の位置が検出された旨の検出情報(イベント情報)を生成する。
表示制御部37は、CPU301の処理によって実現され、表示手段の一例であるディスプレイ317に各種画面を表示させる。
接続部38は、撮像ユニットI/F313、及びCPU301の処理によって実現され、撮像ユニット40を実時間データ処理端末3に機械的及び電気的に接続するためのインターフェースである。
記憶・読出部39は、CPU301の処理によって実現され、記憶部3000に各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
ぼかし処理部47は、CPU301の処理によって実現され、送受信部41で受信した画像の一部または全部に対してぼかしをかける処理を実行する。
通信部48は、外部機器接続I/F318、及びCPU301の処理によって実現され、1対1の通信を介して近端末データ処理装置5の後述の通信部58と各種データ(または情報)の送受信を行う。なお、この通信は有線だけでなく無線であってもよい。
<近端末データ処理装置の機能構成>
図8に示されているように、近端末データ処理装置5は、送受信部51、データ検出部56、表示制御部57、通信部58、及び記憶・読出部59を有している。これら各部は、図5に示されている各構成要素のいずれかが、近端末データ処理装置5において、EEPROM504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって、動作することで実現される機能又は手段である。
図8に示されているように、近端末データ処理装置5は、送受信部51、データ検出部56、表示制御部57、通信部58、及び記憶・読出部59を有している。これら各部は、図5に示されている各構成要素のいずれかが、近端末データ処理装置5において、EEPROM504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって、動作することで実現される機能又は手段である。
また、近端末データ処理装置5は、図5に示されているROM502、RAM503、及びEEPROM504によって構築される記憶部5000を有している。
(近端末データ処理装置の各機能構成)
次に、図8を用いて、近端末データ処理装置5の各機能構成について更に詳細に説明する。
次に、図8を用いて、近端末データ処理装置5の各機能構成について更に詳細に説明する。
近端末データ処理装置5の送受信部51は、遠距離通信回路511、アンテナ511a、及びCPU501の処理によって実現され、通信ネットワーク(ここでは、イントラネット200)を介して、分散データ処理端末6との間で各種データ(または情報)の送受信を行う。
データ検出部56は、CPU501の処理によって実現され、実時間データ処理端末3からのデータを受信するべきイベントが発生しているか否か、データの受信が完了したか否かを検出する。また、データ検出部56は、分散データ処理端末6から送られて来た認証サーバIDの内容に基づいてサービス内容を特定する。
表示制御部57は、CPU501の処理によって実現され、表示手段の一例であるディスプレイ517に各種画面を表示させる。
通信部58は、外部機器接続I/F518、及びCPU501の処理によって実現され、1対1の通信を介して実時間データ処理端末3の通信部48と各種データ(または情報)の送受信を行う。なお、この通信は有線だけでなく、無線であってもよい。
記憶・読出部59は、CPU501の処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
<分散データ処理端末の機能構成>
図9に示されているように、分散データ処理端末6は、送受信部61、受付部62、判断部63、表示制御部67、及び記憶・読出部69を有している。これら各部は、図5に示されている各構成要素のいずれかが、分散データ処理端末6において、EEPROM504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって、動作することで実現される機能又は手段である。
図9に示されているように、分散データ処理端末6は、送受信部61、受付部62、判断部63、表示制御部67、及び記憶・読出部69を有している。これら各部は、図5に示されている各構成要素のいずれかが、分散データ処理端末6において、EEPROM504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって、動作することで実現される機能又は手段である。
また、分散データ処理端末6は、図5に示されているROM502、RAM503、及びEEPROM504によって構築される記憶部6000を有している。この記憶部6000には、照合データが記憶されている。更に、記憶部6000には、照合データ管理DB6001が構築されている。照合データ管理DB6001は、後述の照合データ管理テーブルによって構成されている。なお、照合データは、分散データ処理端末6以外の他のデータ管理サーバ等で記憶してもよい。
(照合データ管理テーブル)
図13は、照合データ管理テーブルを示す概念図である。この照合データ管理テーブルでは、照合データのファイル名を示す画像ファイル、及び照合画像で示される人物の名前が関連付けて管理されている。
図13は、照合データ管理テーブルを示す概念図である。この照合データ管理テーブルでは、照合データのファイル名を示す画像ファイル、及び照合画像で示される人物の名前が関連付けて管理されている。
(分散データ処理端末の各機能構成)
分散データ処理端末6の送受信部61は、分散データ処理端末6における、遠距離通信回路511、アンテナ511a、及びCPU501の処理によって実現され、通信ネットワーク(ここでは、インターネット600)を介して、集中データ処理サーバ7と各種データ(または情報)の送受信を行う。例えば、送受信部61は、照合データと被照合データとの照合要求を集中データ処理サーバ7に対して送信したり、集中データ処理サーバ7から送られて来た照合結果に対する処理を行ったりする。
分散データ処理端末6の送受信部61は、分散データ処理端末6における、遠距離通信回路511、アンテナ511a、及びCPU501の処理によって実現され、通信ネットワーク(ここでは、インターネット600)を介して、集中データ処理サーバ7と各種データ(または情報)の送受信を行う。例えば、送受信部61は、照合データと被照合データとの照合要求を集中データ処理サーバ7に対して送信したり、集中データ処理サーバ7から送られて来た照合結果に対する処理を行ったりする。
受付部62は、分散データ処理端末6における、タッチパネル521、及びCPU501の処理によって実現され、利用者の各種操作を受け付ける。
判断部63は、分散データ処理端末6におけるCPU501の処理によって実現され、各種判断を行なう。
表示制御部67は、分散データ処理端末6におけるCPU501の処理によって実現され、表示手段の一例であるディスプレイ517に各種画面を表示させる。
記憶・読出部69は、分散データ処理端末6におけるCPU501の処理によって実現され、記憶部6000に各種データ(または情報)を記憶したり、記憶部6000から各種データ(または情報)を読み出したりする。例えば、記憶・読出部69は、受付部62で受け付けられた登録要求により、照合データ(ここでは、顔画像データ)を記憶部6000に記憶して登録させる。
<集中データ処理サーバの機能構成>
図9に示されているように、集中データ処理サーバ7は、送受信部71、受付部72、特徴量生成部74、照合部75、物体検出部76、ぼかし処理部77、及び記憶・読出部79を有している。これら各部は、図6に示されている各構成要素のいずれかが、分散データ処理端末6において、HD704からRAM703上に展開されたプログラムに従ったCPU701からの命令によって、動作することで実現される機能又は手段である。
図9に示されているように、集中データ処理サーバ7は、送受信部71、受付部72、特徴量生成部74、照合部75、物体検出部76、ぼかし処理部77、及び記憶・読出部79を有している。これら各部は、図6に示されている各構成要素のいずれかが、分散データ処理端末6において、HD704からRAM703上に展開されたプログラムに従ったCPU701からの命令によって、動作することで実現される機能又は手段である。
また、集中データ処理サーバ7は、図6に示されているROM702、RAM703、及びHD704によって構築される記憶部7000を有している。記憶部7000には、処理情報管理DB7001が構築されている。処理情報管理DB7001には、後述の処理情報管理テーブルによって構成されている。また、記憶部7000には、後述の照合側の特徴量データが記憶されている。
(処理情報管理テーブル)
図12に示されている各テーブルは集中データ処理サーバ7の記憶部7000に保存されており、実時間データ処理端末3が行なう処理内容を管理するためのテーブルである。
図12に示されている各テーブルは集中データ処理サーバ7の記憶部7000に保存されており、実時間データ処理端末3が行なう処理内容を管理するためのテーブルである。
図12(a)は、顔認識サービス実行のためのテーブルである。このテーブルは実時間データ処理端末3には、サービス名称「物体認識」、及び処理情報が関連付けて管理されている。この場合の処理情報には、物体検出処理(例えば、顔検出処理)を実行させるか否か、生成される顔領域切出し画像の水平画素数と垂直画素数、及び生成される顔領域切出し画像の射影方式の各情報が含まれている。
図12(b)、(c)は、物体ぼかしサービス実行のためのテーブルである。このテーブルでは、サービス名称「物体ぼかし」、及び処理情報が関連付けて管理されている。この場合の処理情報には、実時間データ処理端末3に物体ぼかし処理(例えば、顔ぼかし処理)を実行させるか否か、生成される撮像画像の水平画素数と垂直画素数、生成される撮像画像の射影方式の各情報が含まれている。実時間データ処理端末3に物体ぼかし処理を実行させない場合(図12(b)のOFF参照)、代わりに集中データ処理サーバ7が物体ぼかし処理のサービスを行う。実時間データ処理端末3に物体ぼかし処理を実行させる場合(図12(c)のON参照)、実時間データ処理端末3が物体ぼかし処理を行う。物体ぼかしサービスの場合、実時間データ処理端末3に物体ぼかし処理(例えば、顔ぼかし処理)を実行させるか否かに拘わらず、集中データ処理サーバ7が物体ぼかし処理後の画像データを保存するサービスを行う。
集中データ処理サーバ7の処理能力が比較的高い場合には、予め処理情報管理DB7001に、図12(a)、(b)のテーブルが管理されている。一方、集中データ処理サーバ7の処理能力が比較的低い場合には、予め処理情報管理DB7001に、図12(a)、(c)のテーブルが管理されている。
なお、透視投影の詳細な内容が日本の特許3012142、正距円筒射影の詳細な内容は日本の特許3025255に開示されているため、ここでは説明を省略する。
(集中データ処理サーバの各機能構成)
集中データ処理サーバ7の送受信部71は、ネットワークI/F709、及びCPU701の処理によって実現され、通信ネットワーク(ここでは、インターネット600)を介して、分散データ処理端末6と各種データ(または情報)の送受信を行う。送受信部71は、照合データと被照合データとの照合要求を分散データ処理端末6から受信したり、分散データ処理端末6に対して照合結果を示す照合結果情報を送信したりする。
集中データ処理サーバ7の送受信部71は、ネットワークI/F709、及びCPU701の処理によって実現され、通信ネットワーク(ここでは、インターネット600)を介して、分散データ処理端末6と各種データ(または情報)の送受信を行う。送受信部71は、照合データと被照合データとの照合要求を分散データ処理端末6から受信したり、分散データ処理端末6に対して照合結果を示す照合結果情報を送信したりする。
受付部72は、キーボード711、マウス712、及びCPU701の処理によって実現され、利用者の各種操作を受け付ける。
特徴量生成部74は、CPU701の処理によって実現され、送受信部71によって受信された被照合データ(部分画像データ)及び照合データから特徴量のパラメータを生成する。
照合部75は、CPU701の処理によって実現され、特徴量生成部74で生成された特徴量を用いて照合データ側の特徴量と被照合データ側の特徴量とを照合し、類似度を示す得点(ポイント)を算出する。
物体検出部76は、送受信部71で受信した画像から物体(例えば、顔)を検出する。
ぼかし処理部77は、送受信部71で受信した画像の一部または全部に対して、ぼかしをかける処理を実行する。
記憶・読出部79は、CPU701の処理によって実現され、記憶部7000に各種データ(または情報)を記憶したり、記憶部7000から各種データ(または情報)を読み出したりする。
<サービス提供サーバの機能構成>
次に、図9、図14乃至図16を用いて、サービス提供サーバ8の各機能構成について詳細に説明する。図9に示されているように、サービス提供サーバ8は、送受信部81、判断部82、取出部87、及び記憶・読出部89を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD704からRAM703上に展開されたサービス提供サーバ8用プログラムに従ったCPU701からの命令によって動作することで実現される機能又は手段である。
次に、図9、図14乃至図16を用いて、サービス提供サーバ8の各機能構成について詳細に説明する。図9に示されているように、サービス提供サーバ8は、送受信部81、判断部82、取出部87、及び記憶・読出部89を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD704からRAM703上に展開されたサービス提供サーバ8用プログラムに従ったCPU701からの命令によって動作することで実現される機能又は手段である。
また、サービス提供サーバ8は、図6に示されているRAM703、及びHD704によって構築される記憶部8000を有している。この記憶部8000には、分散データ処理端末6又は認証サーバ9から送られて来る各種データが記憶される。また、記憶部8000には、図11で示されている各プログラムが全て記憶されており、サービス提供サーバ8は、実時間データ処理端末3の要求に応じて、要求対象のプログラムを送信することができる。
更に、記憶部8000には、セッション管理DB8001、及び認証サーバ管理DB8002が構築されている。このうち、セッション管理DB8001は、後述のセッション管理テーブルによって構成されている。認証サーバ管理DB8002は、後述の認証サーバ管理テーブルによって構成されている。以下、各テーブルについて詳細に説明する。
(セッション管理テーブル)
図14は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、分散データ処理端末6にサービスを提供するために、分散データ処理端末6と確立する通信セッションを識別するためのセッションID、分散データ処理端末6を識別するための端末ID、及び端末IDで示される利用者の分散データ処理端末6のIPアドレスが関連付けて記憶されて管理されている。
図14は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、分散データ処理端末6にサービスを提供するために、分散データ処理端末6と確立する通信セッションを識別するためのセッションID、分散データ処理端末6を識別するための端末ID、及び端末IDで示される利用者の分散データ処理端末6のIPアドレスが関連付けて記憶されて管理されている。
図15(a)、(b)、(c)は、端末ID(identification)の一例として、電子メールアドレスを示しており、それぞれ認証対象部分と認証対象外部分によって構成されている。認証対象部分は、認証サーバ9によって認証される際に利用される利用者IDである。認証対象外部分は、認証サーバ9によって認証される際に利用されない部分である。
このうち、図15(a)に示されている第1のパターンでは、認証対象部分は、アカウント名”asai”、ホスト名”myhost”、及びドメイン名の前段部分“ricoo.com”によって構成されている。一方、認証対象外部分は、ドメイン名の後段部分”theta1”によって構成されている。この場合、取出部87は、”/”によって、認証対象部分と認証対象外部分を区別する。
また、図15(b)も第1のパターンを示しているが、認証対象外部分が図15(a)と異なる。即ち、認証サーバ9は、図15(a)に示されている端末IDと、図15(b)に示されている端末IDでは、認証対象部分が同じであるため、同じIDとして認証する。
なお、端末IDは、図15(c)に示されている第2のパターンであってもよい。この第2のパターンでは、認証対象部分は、アカウント名の前段部分”asai”によって構成されている。一方、認証対象外部分は、アカウント名の後段部分”theta2”、ホスト名”myhost”、及びドメイン名“ricoo.com”によって構成されている。この場合、取出部87は、”+”によって、認証対象部分と認証対象外部分を区別する。
(認証サーバ管理テーブル)
図16は、認証サーバ管理テーブルを示す概念図である。この認証サーバ管理テーブルでは、各認証サーバ9を識別するための認証サーバID毎に、各認証サーバ9にアクセスするためのURL(Uniform Resource Locator)が関連付けて記憶されて管理されている。
図16は、認証サーバ管理テーブルを示す概念図である。この認証サーバ管理テーブルでは、各認証サーバ9を識別するための認証サーバID毎に、各認証サーバ9にアクセスするためのURL(Uniform Resource Locator)が関連付けて記憶されて管理されている。
(サービス提供サーバの各機能構成)
次に、図9を用いて、サービス提供サーバ8の各機能構成について詳細に説明する。
次に、図9を用いて、サービス提供サーバ8の各機能構成について詳細に説明する。
サービス提供サーバ8の送受信部81は、主に、図6に示されているCPU701からの命令、及びネットワークI/F709によって実現され、通信ネットワーク9を介して分散データ処理端末6、又は認証サーバ9と各種データ(または情報)の送受信を行う。
判断部82は、主に、図6に示されているCPU701からの命令によって実現され、例えば、分散データ処理端末6にサービスを提供するための通信セッションが既に確立されているか否かを判断する。
取出部87は、主に、図6に示されているCPU701からの命令によって実現され、端末IDから、図15に示されているような利用者ID(認証対象部分)を取り出す処理を行う。
記憶・読出部89は、主に、図6に示されているCPU701からの命令、及びHDD705によって実現され、記憶部8000に各種データを記憶したり、記憶部8000から各種データを読み出したりする。
<認証サーバの機能構成>
次に、図9及び図11を用いて、認証サーバ9の機能構成について詳細に説明する。認証サーバ9は、送受信部91、認証部92、及び、記憶・読出部99を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD704からRAM703上に展開された認証サーバ9用プログラムに従ったCPU701からの命令によって動作することで実現される機能又は手段である。
次に、図9及び図11を用いて、認証サーバ9の機能構成について詳細に説明する。認証サーバ9は、送受信部91、認証部92、及び、記憶・読出部99を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD704からRAM703上に展開された認証サーバ9用プログラムに従ったCPU701からの命令によって動作することで実現される機能又は手段である。
また、認証サーバ9は、図6に示されているRAM703、及びHD704によって構築される記憶部9000を有している。この記憶部9000には、分散データ処理端末6又はサービス提供サーバ8から送られて来る各種データが記憶される。
更に、記憶部9000には、認証管理DB9001が構築されている。認証管理DB9001は、後述の認証管理テーブルによって構成されている。以下、このテーブルについて詳細に説明する。
(認証管理テーブル)
図17(a)は認証サーバ9aが有する認証管理テーブルを示す概念図、図17(b)は認証サーバ9bが有する認証管理テーブルを示す概念図、図17(c)は認証サーバ9cが有する認証管理テーブルを示す概念図である。
図17(a)は認証サーバ9aが有する認証管理テーブルを示す概念図、図17(b)は認証サーバ9bが有する認証管理テーブルを示す概念図、図17(c)は認証サーバ9cが有する認証管理テーブルを示す概念図である。
各認証管理テーブルでは、端末IDのうちの利用者ID(認証対象部分)とパスワードとが関連付けて記憶されて管理されている。
(認証サーバの各機能構成)
次に、図9を用いて、認証サーバ9の各機能構成について詳細に説明する。
次に、図9を用いて、認証サーバ9の各機能構成について詳細に説明する。
認証サーバ9の送受信部91は、主に、図6に示されているCPU701からの命令、及びネットワークI/F709によって実現され、インターネット600を介して分散データ処理端末6及びサービス提供サーバ8と各種データ(または情報)の送受信を行う。
認証部92は、主に、図6に示されているCPU701からの命令によって実現され、認証要求を送信した画像取得端末2に、サービスを受けられる正当な権限があるか否かを判断することで、IDの認証を行なう。認証サーバ9が、このような認証を実施するのは、分散データ処理端末6が、画像取得端末2を管理していることに由来する。
記憶・読出部99は、主に、図6に示されているCPU701からの命令、及びHDD705によって実現され、記憶部9000に各種データ(または情報)を記憶したり、記憶部9000から各種データ(または情報)を読み出したりする。
〔本実施形態の処理又は動作〕
続いて、図18乃至図26を用いて、本実施形態の処理又は動作について説明する。
続いて、図18乃至図26を用いて、本実施形態の処理又は動作について説明する。
<認証処理>
まずは、図18乃至図21を用いて、認証処理について説明する。図18及び図19は、認証処理を示したシーケンス図である。図20及び図21は、分散データ処理端末の画面例を示す図である。
まずは、図18乃至図21を用いて、認証処理について説明する。図18及び図19は、認証処理を示したシーケンス図である。図20及び図21は、分散データ処理端末の画面例を示す図である。
図18に示されているように、分散データ処理端末6の送受信部61からサービス提供サーバ8に対して、認証先選択画面の要求を送信する(ステップS21)。この要求には、分散データ処理端末6の端末IDが含まれている。また、この際、送受信部61は、自端末のIPアドレスを送信する。これにより、サービス提供サーバ8の送受信部81は、認証先選択画面の要求、及び分散データ処理端末6のIPアドレスを受信する。
次に、サービス提供サーバ8の判断部82は、セッション管理テーブル(図14参照)に、ステップS21で受信された端末IDが所定のセッションIDと関連づけて管理されているか否かを判断する(ステップS22)。以降、端末IDが管理されていなかった場合について説明する。
サービス提供サーバ8の送受信部81は分散データ処理端末6に対して、認証先選択画面のデータを送信する(ステップS23)。これにより、分散データ処理端末6の送受信部61は、認証先選択画面のデータを受信する。
次に、分散データ処理端末6の表示制御部63はディスプレイ517に対して、図20に示されているような認証先選択画面s1を表示させる(ステップS24)。図20では、分散データ処理端末6としての画面例が示されている。この認証先選択画面s1には、端末IDの入力欄b1、パスワードの入力欄b2、及びログイン要求(認証要求)するためのログインボタンb3が表示されている。更に、認証先選択画面s1には、認証サーバ9a,9b,9cをそれぞれ選択するための認証サーバ選択ボタンa1,a2,a3が表示されている。例えば、認証サーバ選択ボタンa1は、利用者が物体認証処理のサービスを受ける場合のボタンである。認証サーバ選択ボタンa2は、利用者が物体ぼかしのサービスを受ける場合のボタンである。
ここで、利用者が、入力欄b1に自己の端末ID、入力欄b2に自己のパスワードを入力し、認証サーバ選択ボタンa1,a2,a3のうち所望のボタンを押下し、ログインボタンb3を押下すると、受付部62が各入力及び選択を受け付ける(ステップS25)。ここでは、認証サーバ選択ボタンa1が選択されることで、画像認識処理のうち、物体検出処理プログラムProgD01により物体検出処理が実行される場合について説明する。
送受信部61はサービス提供サーバ8に対して、ID(ここでは、端末ID又は利用者ID)の認証要求を送信する(ステップS26)。この認証要求には、ステップS25で受け付けられた端末ID及びパスワード、並びに認証サーバ9の選択結果及び分散データ処理端末6のURLが含まれている。この認証結果は、認証サーバ9を識別するための認証サーバIDを示している。これにより、サービス提供サーバ8の送受信部81は、IDの認証要求を受信する。
次に、サービス提供サーバ8の記憶・読出部89は、ステップS26で受信された選択結果としての認証サーバIDを検索キーとして、認証サーバ管理テーブル(図16参照)を検索することにより、対応する認証サーバのURLを読み出す(ステップS27)。
次に、取出部87は、ステップS26で受信された端末IDのうち、利用者ID(認証対象部分)のみを取り出す(ステップS28)。そして、送受信部81は、ステップS27で読み出されたURLで示される認証サーバ9に対して、IDの認証要求を送信する(ステップS29)。このIDの認証要求には、ステップS28で取り出された利用者ID(認証対象部分)、ステップS26で受信されたパスワード、及びステップ26で受信された分散データ処理端末6のURLが含まれている。これにより、認証サーバ9の送受信部71は、利用者の認証要求を受信する。
次に、認証サーバ9の記憶・読出部99は、ステップS29によって受信された利用者ID(認証対象部分)及びパスワードの組を検索キーとし、認証管理テーブル(図17参照)において同じ組の認証対象部分及びパスワードを検索した結果を用いて、認証部92が認証を行なう(ステップS30)。認証部92は、同じ組が管理されている場合には、分散データ処理端末6はサービス提供サーバ8からサービスを受けるための正当な端末であると判断し、同じ組が管理されていない場合には、分散データ処理端末6はサービス提供サーバ8からサービスを受けるための正当な端末でないと判断する。
なお、ステップS28では、取出部87が端末IDから認証対象部分を取り出したが、これに限るものではない。例えば、サービス提供サーバ8は取出部87を有しておらず、ステップS29において、送受信部81が、パスワード及びURLの他に、端末IDのうち利用者ID(認証対象部分)のみを送信するようにしてもよい。
続いて、図19に示されているように、認証サーバ9の認証部92は、トークン(送信権)の暗号化を行なう(ステップS41)。そして、送受信部91は、ステップS29によって受信された分散データ処理端末6のURLに基づいて、この分散データ処理端末6に認証結果を送信する(ステップS42)。この認証結果は、分散データ処理端末6が正当であるか否かを示すとともに、ステップS41によって暗号化されたトークンが含まれている。これにより、分散データ処理端末6の送受信部61は、利用者の認証結果を受信する。以降、利用者が正当な権限を有する場合について説明する。
分散データ処理端末6の送受信部61は、サービス提供サーバ8に対して、セッション確立要求を送信する(ステップS43)。このセッション確立要求には、端末ID、及びステップS42で受信された暗号化されているトークンが含まれている。これにより、サービス提供サーバ8の送受信部81は、セッション確立要求を受信する。
次に、サービス提供サーバ8は、セッション確立要求を送信した分散データ処理端末6が、ステップS30で正当であると判断されたことを確認するため、送受信部81は認証サーバ9に対してトークンの認証要求を送信する(ステップS44)。このトークンの認証要求には、ステップS43で受信された暗号化されているトークンが含まれている。これにより、認証サーバ9の送受信部91は、トークンの認証要求を受信する。
次に、認証部92は、ステップS44によって受信された、暗号化されているトークンを復号化する(ステップS45)。そして、認証部92は、ステップS41で暗号化する前のトークンと、ステップS45で復号化した後のトークンを比較することで、トークンの認証を行なう(ステップS46)。そして、認証サーバ9の送受信部91は、サービス提供サーバ8に対して、ステップS46の認証結果を送信する(ステップS47)。これにより、サービス提供サーバ8の送受信部81は、認証結果を受信する。以降、ステップS46において、トークンが正当であると判断された場合について説明する。
次に、サービス提供サーバ8の記憶・読出部89は、セッション管理テーブル(図14参照)において、新たにセッションIDを割り当てるとともに、このセッションIDに対して、ステップS26で受信された端末ID及びIPアドレスを関連付けて管理する(ステップS48)。そして、送受信部81は、分散データ処理端末6に対してサービス提供画面のデータを送信する(ステップS49)。これにより、分散データ処理端末6の送受信部61は、サービス提供画面のデータを受信する。
次に、分散データ処理端末6の表示制御部63は、ディスプレイ517上に、図21に示されているようなサービス提供画面s2を表示させる(ステップS50)。図21では、分散データ処理端末6の画面例が示されている。ここでは、サービス提供例として、分散データ処理端末6から画像取得端末2に対する遠隔操作を実現させるための遠隔操作サービスについて説明する。図21に示されているサービス提供画面s2には、遠隔操作対象を識別するための端末IDの入力欄c1、及び「遠隔操作開始」ボタンc2が表示されている。
<画像認識の準備処理>
(サービスの起動処理)
図22を用いて、画像認識の開始要求の処理を示したシーケンス図である。
(サービスの起動処理)
図22を用いて、画像認識の開始要求の処理を示したシーケンス図である。
まず、分散データ処理端末6では、受付部62が利用者によって指定されたサービス名称に係るサービスの開始要求を受け付ける(ステップS61)。この場合、分散データ処理端末6のGUI(Graphical User Interface)が利用される。そして、分散テータ端末6の送受信部61は、集中データ処理サーバ7に対して処理情報の要求を送信する(ステップS62)。この時、開始するサービス(物体認識,顔ぼかし等)を特定するためのサービス名称が送信される。これにより、集中データ処理サーバ7の送受信部71は、処理情報の要求を受信する。
集中データ処理サーバ7の記憶・読出部79は、ステップS62で受信されたサービス名称を検索キーとして処理情報管理DB7001を検索することにより、対応する処理情報を読み出す(ステップS63)。例えば、顔認識サービスが選択された場合は、図12(a)のテーブル、物体ぼかしサービスが選択された場合は図12(b)又は図12(c)のテーブルが読み出される。図12(b)と図12(c)とでは、物体ぼかしサービスが実行されるサーバの性能によりテーブルの内容が異なる。図12(b)は集中データ処理サーバ7の性能が比較的高い場合に用いられ、実時間データ処理端末3は顔ぼかし処理を実行しない。対する図12(c)は集中データ処理サーバ7の性能が比較的低い場合に用いられ、実時間データ処理端末3は顔ぼかし処理を実行する。
次に、集中データ処理サーバ7の送受信部71は、分散データ処理端末6に対して処理情報を送信する(ステップS64)。これにより、分散データ処理端末6の送受信信部61は、処理情報を受信する。
分散データ処理端末6の送受信部61は、画像取得端末2の近端末データ処理装置5に対して処理準備要求を送信する(ステップS65)。これにより画像取得端末2の送受信部21は処理準備要求を受信する。この要求には、ステップS61で指定されたサービス名称、及びステップS64で受信された処理情報が含まれている。近端末データ処理装置5の通信部58は、実時間データ処理端末3の通信部48に対して、処理情報を転送する(ステップS66)。そして、実時間データ処理端末3の記憶・読出部39は、受信された処理情報に従い、実行する処理の設定を行なう(ステップS67)。実行処理の設定の詳細はサービス毎に後述する。
また、ステップS67による設定後、実時間データ処理端末3の通信部48は近端末データ処理装置5に対して設定完了通知を送信する(ステップS68)。これにより近端末データ処理装置5の送受信部51は設定完了通知を受信する。
次に、近端末データ処理装置5の送受信部51は、分散データ処理端末6に対して処理準備完了通知を送信する(ステップS69)。これによって分散データ処理端末6の送受信部61は処理準備完了通知を受信する。
分散データ処理端末6の送受信部61は、集中データ処理サーバ7に対してサービス開始要求を送信する(ステップS70)。これによって、集中データ処理サーバ7の送受信部71は、サービス開始要求を受信する。また、分散データ処理端末6の送受信部61は、近端末データ処理装置5に対して処理開始要求を送信する(ステップS71)。近端末データ処理装置5の通信部58は、実時間データ処理端末3の通信部48に対して、処理開始要求を転送する(ステップS72)。これによって、サービス全体の開始が行われる。サービス処理の詳細はサービス毎に後述する。
続いて、顔認識サービスの1パターンと物体ぼかしサービスの2パターンの計3パターンについての処理を説明する。
(実時間データ処理端末の設定処理)
画像取得端末2における設定、具体的には、図22のステップS67のシーケンスをそれぞれのサービス毎に説明する。
画像取得端末2における設定、具体的には、図22のステップS67のシーケンスをそれぞれのサービス毎に説明する。
〔a〕物体認識サービスの例
近端末データ処理装置5の送受信部51は、処理情報を受信すると(S65参照)、近端末データ処理装置5のサービス特定部54は、サービス名称(物体認識)に基づいて実行すべきサービス(ここでは、顔認識サービス)を特定する。そして、近端末データ処理装置5の通信部58は、実時間データ処理端末3の通信部48に対して、処理設定テーブル(図12(a)参照)の内容が示された処理情報に従い、以下の設定を行なう。
(1)物体検出部35が処理準備を完了する。
(2)画像処理部34が、検出する物体領域矩形画像の水平画素数と垂直画素数を200に設定する。この場合の例では、集中データ処理サーバ7の照合部75で行われる物体(例えば、顔)認識処理のアルゴリズムに最適なサイズが設定される。
(3)画像処理部34が、物体検出部35で検出された物体領域矩形画像の射影方式を透視投影方式に設定する。集中データ処理サーバ7の照合部75で正しい照合結果を得るための設定である。
近端末データ処理装置5の送受信部51は、処理情報を受信すると(S65参照)、近端末データ処理装置5のサービス特定部54は、サービス名称(物体認識)に基づいて実行すべきサービス(ここでは、顔認識サービス)を特定する。そして、近端末データ処理装置5の通信部58は、実時間データ処理端末3の通信部48に対して、処理設定テーブル(図12(a)参照)の内容が示された処理情報に従い、以下の設定を行なう。
(1)物体検出部35が処理準備を完了する。
(2)画像処理部34が、検出する物体領域矩形画像の水平画素数と垂直画素数を200に設定する。この場合の例では、集中データ処理サーバ7の照合部75で行われる物体(例えば、顔)認識処理のアルゴリズムに最適なサイズが設定される。
(3)画像処理部34が、物体検出部35で検出された物体領域矩形画像の射影方式を透視投影方式に設定する。集中データ処理サーバ7の照合部75で正しい照合結果を得るための設定である。
〔b〕物体ぼかしサービス1の例
近端末データ処理装置5の送受信部51は、処理情報を受信すると(S65参照)、近端末データ処理装置5のサービス特定部54は、サービス名称(物体ぼかし(サーバ))に基づいて実行すべきサービス(ここでは、集中データ処理サーバ7による物体ぼかし及び保存サービス)を特定する。そして、近端末データ処理装置5の通信部58は、実時間データ処理端末3の通信部48に対して、処理設定テーブル(図12(b)参照)の内容が示された処理情報に従い、以下の設定を行なう。
(1)ぼかし処理部47が物体ぼかし処理の無効(OFF)を設定する。
(2)画像処理部34が、接続部38を介し撮像ユニット40に対して、撮像する全体画像の水平画素数を3840・垂直画素数を2160に設定する。この場合、撮像ユニット40が撮像可能な最大サイズを設定することになるが、サイズは小さくしてもよい。
(3)画像処理部34が、撮像ユニットから取得された撮像画像データの射影方式を正距円筒射影に設定する。なお、射影方式の変換は、サービス提供サーバ8が行ってもよい。
近端末データ処理装置5の送受信部51は、処理情報を受信すると(S65参照)、近端末データ処理装置5のサービス特定部54は、サービス名称(物体ぼかし(サーバ))に基づいて実行すべきサービス(ここでは、集中データ処理サーバ7による物体ぼかし及び保存サービス)を特定する。そして、近端末データ処理装置5の通信部58は、実時間データ処理端末3の通信部48に対して、処理設定テーブル(図12(b)参照)の内容が示された処理情報に従い、以下の設定を行なう。
(1)ぼかし処理部47が物体ぼかし処理の無効(OFF)を設定する。
(2)画像処理部34が、接続部38を介し撮像ユニット40に対して、撮像する全体画像の水平画素数を3840・垂直画素数を2160に設定する。この場合、撮像ユニット40が撮像可能な最大サイズを設定することになるが、サイズは小さくしてもよい。
(3)画像処理部34が、撮像ユニットから取得された撮像画像データの射影方式を正距円筒射影に設定する。なお、射影方式の変換は、サービス提供サーバ8が行ってもよい。
〔c〕物体ぼかしサービス2の例
近端末データ処理装置5の送受信部51は、処理情報を受信すると(S65参照)、近端末データ処理装置5のサービス特定部54は、サービス名称(物体ぼかし(端末))に基づいて実行すべきサービス(ここでは、実時間データ処理端末3による物体ぼかし、及び集中データ処理サーバ7による保存サービス)を特定する。そして、近端末データ処理装置5の通信部58は、実時間データ処理端末3の通信部48に対して、処理設定テーブル(図12(c)参照)の内容が示された処理情報に従い、以下の設定を行なう。
(1)ぼかし処理部47が物体ぼかし処理の有効(ON)を設定する。
(2)画像処理部34が、接続部38を介し撮像ユニット40に対して、撮像する全体画像の水平画素数を3840・垂直画素数を2160に設定する。この場合、撮像ユニット40が撮像可能な最大サイズを設定することになるが、サイズは小さくしてもよい。
(3)画像処理部34が、撮像ユニット40から取得された撮像画像データの射影方式を正距円筒射影に設定する。なお、射影方式の変換は、サービス提供サーバ8が行ってもよい。
近端末データ処理装置5の送受信部51は、処理情報を受信すると(S65参照)、近端末データ処理装置5のサービス特定部54は、サービス名称(物体ぼかし(端末))に基づいて実行すべきサービス(ここでは、実時間データ処理端末3による物体ぼかし、及び集中データ処理サーバ7による保存サービス)を特定する。そして、近端末データ処理装置5の通信部58は、実時間データ処理端末3の通信部48に対して、処理設定テーブル(図12(c)参照)の内容が示された処理情報に従い、以下の設定を行なう。
(1)ぼかし処理部47が物体ぼかし処理の有効(ON)を設定する。
(2)画像処理部34が、接続部38を介し撮像ユニット40に対して、撮像する全体画像の水平画素数を3840・垂直画素数を2160に設定する。この場合、撮像ユニット40が撮像可能な最大サイズを設定することになるが、サイズは小さくしてもよい。
(3)画像処理部34が、撮像ユニット40から取得された撮像画像データの射影方式を正距円筒射影に設定する。なお、射影方式の変換は、サービス提供サーバ8が行ってもよい。
<サービス実行中に実時間データ処理端末が行なう処理>
図23乃至図26を用いて、それぞれのサービスが設定され、実行される処理について説明する。
図23乃至図26を用いて、それぞれのサービスが設定され、実行される処理について説明する。
〔a〕物体認識サービスの例
図23は実時間データ処理端末3の設定に処理設定テーブル(図12(a))を用いた場合の物体認識サービスの処理を示したシーケンス図である。
図23は実時間データ処理端末3の設定に処理設定テーブル(図12(a))を用いた場合の物体認識サービスの処理を示したシーケンス図である。
まず、撮像ユニット40により撮像されることで撮像画像データが生成され、実時間データ処理端末3の接続部38は、撮像ユニット40から撮像画像データを取得する(ステップS81)。
次に、実時間データ処理端末3の物体検出部35は、撮像画像に対して物体(ここでは、顔)の検出処理を行なう(ステップS82)。この処理で目的の検出対象(ここでは、顔)が検出された場合は、画像処理部34は、撮像画像データに対して射影方式変換を行なう(ステップS83)。この場合、画像処理部34は、撮像ユニット40により得られる等距離射影から、上述の既に設定されている透視射影への変換を行なう。
次に、画像処理部34は、物体(顔)の部分画像である物体領域矩形画像が処理設定テーブルにより設定された水平画素数及び垂直画素数になるようにリサイズ処理を行うことで、物体(顔)の部分画像である被照合データを作成する(ステップS84)。このリサイズされる画素数は、後ほど集中データ処理サーバ7で、照合データと照合しやすいように予め定められている。
画像処理部34は、物体(顔)の物体領域矩形画像である部分画像データの符号化(エンコード)を行う(ステップS85)。
実時間データ処理端末3の通信部48は、近端末データ処理装置5の通信部58に対して、撮像の処理完了通知を送信する(ステップS86)。この処理完了通知には、ステップS85で符号化された部分画像データとしての被照合データが含まれる。これにより、近端末データ処理装置5の通信部58は処理完了通知を受信する。
次に、近端末データ処理装置5の送受信部51は分散データ処理端末6に対して、撮像の処理完了通知を送信する(ステップS87)。この処理完了通知には、ステップS86で受信された被照合データが含まれる。これにより、分散データ処理端末6の送受信部61は、処理完了通知を受信する。
次に、分散データ処理端末6の記憶・読出部69は、記憶部6000から照合データを読み出す(ステップS88)。そして、送受信部61は、集中データ処理サーバ7に対して、照合要求を送信する(ステップS89)。この照合要求には、ステップS87で受信された被照合データ、及びステップS88で読み出された照合データが含まれている。これにより、集中データ処理サーバ7の送受信部71は、照合要求を受信する。
次に、集中データ処理サーバ7の照合部75は、ステップS89で受信された照合データと被照合データとを照合し、互いのデータの類似度を示す得点を算出する(ステップS90)。照合部75による類似度の算出後に、送受信部7は、分散データ端末6に対して、照合結果通知を送信する(ステップS91)。この照合結果通知には、ステップS90で算出された類似度が含まれている。これにより、分散データ処理端末6の送受信部61は、照合結果通知を受信する。
次に、分散データ処理端末6の表示制御部67は、分散データ処理端末6のディスプレイ517上に、ステップS91で受信された類似度に基づいて、照合結果を表示させる(ステップS92)。
〔b〕顔ぼかし処理パターン1の例
図24は、実時間データ処理端末3の設定に処理設定テーブル(図12(b))を用いた場合の物体ぼかしサービスの処理を示したシーケンス図である。図26は、分散データ処理端末における画像の表示例を示した図である。
図24は、実時間データ処理端末3の設定に処理設定テーブル(図12(b))を用いた場合の物体ぼかしサービスの処理を示したシーケンス図である。図26は、分散データ処理端末における画像の表示例を示した図である。
まず、撮像ユニット40により撮像されることで撮像画像データが生成され、実時間データ処理端末3の接続部38は、撮像ユニット40から撮像画像データを取得する(ステップS101)。物体(顔)ぼかしサービスの場合、インターバル撮像機能等が用いられる。
次に、実時間データ処理端末3の画像処理部34は、撮像画像データに対して射影方式変換を行なう(ステップS102)。この場合、画像処理部34は、撮像ユニット40により得られる等距離射影から、上述の既に設定されている正距円筒射影への変換を行なう。
画像処理部34は、ぼかし処理前の撮像画像データの符号化(エンコード)を行う(ステップS103)。
実時間データ処理端末3の通信部48は、近端末データ処理装置5の通信部58に対して、撮像の処理完了通知を送信する(ステップS104)。この処理完了通知には、ステップS103で符号化された撮像画像データが含まれる。これにより、近端末データ処理装置5の通信部58は、処理完了通知を受信する。
近端末データ処理装置5の送受信51は、分散データ処理端末6に対して、撮像の処理完了通知を送信する(ステップS105)。この処理完了通知には、ステップS104で受信された撮影画像データが含まれる。これにより、分散データ処理端末6の送受信部61は、処理完了通知を受信する。
次に、分散データ処理端末6の送受信部61は、集中データ処理サーバ7に対して、撮像の処理完了通知を送信する(ステップS106)。この処理完了通知には、ステップS105で受信された撮影画像データが含まれる。これにより、集中データ処理サーバ7の送受信部71は、処理完了通知を受信する。
集中データ処理サーバ7の物体検出部76は、撮像画像データに対して物体(顔)の検出処理を行なう(ステップS107)。この処理で物体(顔)が検出された場合は、集中データ処理サーバ7のぼかし処理部77は、検出された物体(顔)の部分画像である物体領域矩形画像に対して、ぼかし処理を行なう(ステップS108)。最後に、集中データ処理サーバ7の記憶・読出部79は、ぼかし処理後の撮影画像データを記憶部7000へ記憶する(ステップS109)。なお、ぼかし処理後の撮影画像データには、図26に示されているように、ぼかし処理された領域部分(物体領域矩形画像部分)と、この部分以外の撮像画像内のぼかし処理されていない領域部分(胸部分及び背景部分)とが含まれている。
〔c〕顔ぼかし処理パターン2の例
図25は実時間データ処理端末3の設定に処理設定テーブル(図12(c))を用いた場合の物体ぼかしサービスの処理を示したシーケンスである。
図25は実時間データ処理端末3の設定に処理設定テーブル(図12(c))を用いた場合の物体ぼかしサービスの処理を示したシーケンスである。
まず、撮像ユニット40により撮像されることで撮像画像データが生成され、実時間データ処理端末3の接続部38は、撮像ユニット40から撮像画像データを取得する(ステップS121)。物体ぼかしサービスの場合、インターバル撮像機能等が用いられる。
次に、実時間データ処理端末3の物体検出部35は、撮像画像に対して物体(ここでは、顔)の検出処理を行なう(ステップ122)。この処理で物体(顔)が検出された場合は、実時間データ処理端末3のぼかし処理部47は、検出された物体(顔)の部分画像である物体領域矩形画像に対して、ぼかし処理を行なう(ステップS123)。
次に、実時間データ処理端末3の画像処理部34は、ぼかし処理後の撮像画像データに対して射影方式変換を行なう(ステップS124)。この場合、画像処理部34は、撮像ユニット40により得られる等距離射影から、上述の既に設定されている正距円筒射影への変換を行なう。なお、ぼかし処理後の撮影画像データには、図26に示されているように、ぼかし処理された領域部分(物体領域矩形画像部分)と、この部分以外の撮像画像内のぼかし処理されていない領域部分(胸部分及び背景部分)とが含まれている。
画像処理部34は、物体(顔)の部分画像データ(被照合データ)の符号化(エンコード)を行う(ステップS125)。
実時間データ処理端末3の通信部48は、近端末データ処理装置5の通信部58に対して、撮像の処理完了通知を送信する(ステップS126)。この処理完了通知には、ステップS125で符号化された、ぼかし処理後の撮像画像データが含まれる。これにより、近端末データ処理装置5の通信部58は、処理完了通知を受信する。
近端末データ処理装置5の送受信51は、分散データ処理端末6に対して、撮像の処理完了通知を送信する(ステップS127)。この処理完了通知には、ステップS126で受信された、ぼかし処理後の撮影画像データが含まれる。これにより、分散データ処理端末6の送受信部61は、処理完了通知を受信する。
次に、分散データ処理端末6の送受信部61は、集中データ処理サーバ7に対して、撮像の処理完了通知を送信する(ステップS128)。この処理完了通知には、ステップS127で受信された、ぼかし処理後の撮影画像データが含まれる。これにより、集中データ処理サーバ7の送受信部71は、処理完了通知を受信する。最後に、集中データ処理サーバ7の記憶・読出部79は、ぼかし処理後の画像データを記憶部7000へ記憶する(ステップS109)。
以上のように、集中データ処理サーバ7の性能が比較的に高い場合は、集中データ処理サーバ7が物体ぼかし処理を実行する(図24参照)。これに対して、集中データ処理サーバ7の性能が比較的に低い場合は、実時間データ処理端末3が物体ぼかし処理を実行する(図25参照)。
また、集中データ処理サーバ7が、サービスに対応する処理情報管理DB7001を備えているため、集中データ処理サーバ7を管理する管理者にとっては、処理情報管理DB7001の管理や運営がしやすいというメリットがある。
〔実施形態の主な効果〕
以上説明したように本実施形態によれば、魚眼カメラ等の撮像により得られた撮像画像データを用いて行なう後処理の目的(顔認識、顔ぼかし等)の変更や、後処理を実行するサーバ等の性能の違いがあっても、画像取得端末2側と集中データ処理サーバ7側で処理分担を変更することができるため、利用者の様々なニーズに対応できるという効果を奏する。
以上説明したように本実施形態によれば、魚眼カメラ等の撮像により得られた撮像画像データを用いて行なう後処理の目的(顔認識、顔ぼかし等)の変更や、後処理を実行するサーバ等の性能の違いがあっても、画像取得端末2側と集中データ処理サーバ7側で処理分担を変更することができるため、利用者の様々なニーズに対応できるという効果を奏する。
例えば、サービスが物体認識サービスの場合(図11(d)、図23参照)、画像取得端末2の実時間データ処理端末3が、物体検出(S81参照)、射影方式変換(S82参照)、及びリサイズ(S83参照)まで行うことで、集中データ処理サーバ7は、照合処理(S89参照)を行えば済む。これにより、集中データ処理サーバ7の性能が比較的低くても、サービス提供サーバ8による物体認識サービスの提供が可能となる。
また、サービスが物体ぼかしサービス(パターン1)の場合(図11(d)、図24参照)、分散データ処理端末6が、撮像画像から物体検出(S107参照)、及びぼかし処理(S108参照)まで行うことで、画像取得端末2は、撮像画像データの送信(S105参照)を行えば済む。これにより、画像取得端末2の性能が比較的低くても、サービス提供サーバ8による物体ぼかしサービスの提供が可能となる。
更に、サービスが物体ぼかしサービス(パターン2)の場合(図11(d)、図25参照)、
画像取得端末2側の実時間データ処理端末3が、撮像画像から物体検出(S124参照)、及びぼかし処理(S125参照)まで行うことで、分散データ処理端末6は、ぼかし処理さえた後の画像データの記憶(S131参照)を行えば済む。これにより、集中データ処理サーバ7の性能が比較的低くても、サービス提供サーバ8による物体ぼかしサービスの提供が可能となる。
画像取得端末2側の実時間データ処理端末3が、撮像画像から物体検出(S124参照)、及びぼかし処理(S125参照)まで行うことで、分散データ処理端末6は、ぼかし処理さえた後の画像データの記憶(S131参照)を行えば済む。これにより、集中データ処理サーバ7の性能が比較的低くても、サービス提供サーバ8による物体ぼかしサービスの提供が可能となる。
また、画像取得端末2の実時間データ処理端末3が撮像画像データの射影方式を変換することで(S82,S102,S126)、魚眼レンズで撮像したときに歪みを補正して閲覧時の違和感を低減することができる。
●第2の実施形態
続いて、図27及び図28を用いて、第2の実施形態について説明する。本実施形態は、第1の実施形態におけるステップS61~S69の別の処理例を示す。なお、他の処理、ハードウェア構成、及び機能構成は、第1の実施形態と同様であるため、これらの説明を省略する。
続いて、図27及び図28を用いて、第2の実施形態について説明する。本実施形態は、第1の実施形態におけるステップS61~S69の別の処理例を示す。なお、他の処理、ハードウェア構成、及び機能構成は、第1の実施形態と同様であるため、これらの説明を省略する。
第1の実施形態では、集中データ処理サーバ7の記憶部7000に処理情報管理DB7001が記憶されているが、第2の実施形態では、集中データ処理サーバ7の記憶部7000に処理情報管理DB7001が記憶されていない。この代わりに、近端末データ処理装置5の記憶部5000に、図27に示されているテーブルで構成された処理情報管理DBが記憶されている。
(処理情報テーブル)
図27に示されている各テーブルは近端末データ処理装置5の記憶部5000に保存されており、集中データ処理サーバ7が行なう処理内容を管理するためのテーブルである。図27(a)、(b)は、物体ぼかしサービス実行に特化したテーブルである。これらのテーブルにより、集中データ処理サーバに物体ぼかし処理を実行させるか否か(ON/OFF)、ぼかし処理後の撮影画像データを保存させるか否か(ON/OFF)を設定することができる。
図27に示されている各テーブルは近端末データ処理装置5の記憶部5000に保存されており、集中データ処理サーバ7が行なう処理内容を管理するためのテーブルである。図27(a)、(b)は、物体ぼかしサービス実行に特化したテーブルである。これらのテーブルにより、集中データ処理サーバに物体ぼかし処理を実行させるか否か(ON/OFF)、ぼかし処理後の撮影画像データを保存させるか否か(ON/OFF)を設定することができる。
実時間データ処理端末3の処理能力が比較的高い場合には、予め記憶部5000には、図27(a)のテーブルが管理されている。一方、実時間データ処理端末3の処理能力が比較的低い場合には、予め記憶部5000には、図27(c)のテーブルが管理されている。
(サービスの起動処理)
まず、分散データ処理端末6では、受付部62が利用者からサービスの開始要求を受け付ける(ステップS161)。この場合、分散データ処理端末6のGUI(Graphical User Interface)が利用される。
まず、分散データ処理端末6では、受付部62が利用者からサービスの開始要求を受け付ける(ステップS161)。この場合、分散データ処理端末6のGUI(Graphical User Interface)が利用される。
次に、分散データ処理端末6の送受信部61は、近端末データ処理装置5に対して、処理情報の要求を送信する(ステップS162)。この場合、開始するサービスを特定するためのサービス名称が送信される。これにより近端末データ処理装置5の送受信部51は、処理情報の要求を受信する。
次に、近端末データ処理装置5の記憶・読出部59は、ステップS162で受信されたサービス名称を検索キーとして記憶部5000を検索することにより、対応する処理情報を読み出す(ステップS163)。
近端末データ処理装置5の送受信部51は、分散データ処理端末6に対して処理情報の通知を送信する(ステップS164)。この処理情報の通知には、上記ステップS163で読み出された処理情報(図27のテーブルの情報)が含まれている。これにより分散データ処理端末6の送受信部61は処理情報の通知を受信する。
次に、分散データ処理端末6の送受信部61は、集中データ処理サーバ7に対してサービス準備要求を送信する(ステップS165)。この場合、開始するサービスを特定するためのサービス名称と、ステップS164で受信された処理情報が送信される。これにより、集中データ処理サーバ7の送受信部71は、サービス準備要求を受信する。
次に、集中データ処理サーバ7の記憶・読出部79は、処理情報に従い、各種設定を行う(ステップS166)。具体的には、物体ぼかし処理の有効(ON)又は無効(OFF)、画像保存の有効(ON)又は無効(OFF)の設定である。
次に、集中データ処理サーバ7の送受信部71は、分散データ処理端末6に対して、サービス準備完了通知を送信する(ステップS167)。これにより、分散データ処理端末6の送受信部61は、サービス準備完了通知を受信する。以降の処理は、図22のステップS69以降の処理と同一であるため、その説明を省略する。
また、サービス実行中に実時間データ処理端末3や、集中データ処理サーバ7が実行する処理の設定と、処理については、上述した集中データ処理サーバ7が処理情報テーブルを備える場合と同等であるが、以下、簡便に説明する。
即ち、ステップS166において図27(a)に示される処理情報(テーブルの情報)が設定される場合には、図24に示されている処理が実行される。一方、ステップS166において図27(b)に示される処理情報(テーブルの情報)が設定される場合には、図25に示されている処理が実行される。
なお、この実施形態の例では、近端末データ処理装置5において、サービスに対応する処理情報テーブルを備えている場合を説明した。システムを管理する管理者にとっては、集中データ処理サーバで管理するよりも、管理や運営でのメリットは低減する。しかしながら、集中データ処理サーバへの負荷が軽減され、個々の近端末データ処理装置5で管理することにより、実時間データ処理端末3の処理能力に応じて希望する処理内容を柔軟に変更することなどができるようになる。
●補足
上記実施形態では、射影方式の変換は、画像取得端末2の実時間データ処理端末3が行っているが、集中データ処理サーバ7側で行ってもよい。
上記実施形態では、射影方式の変換は、画像取得端末2の実時間データ処理端末3が行っているが、集中データ処理サーバ7側で行ってもよい。
また、上記各実施形態では、撮像画像データについて説明したが、これに限らず、撮像されずに利用者によって作成された作成画像データであってもよい。この場合、撮像画像データ及び作成画像データは、「画像データ」の一例である。また。画像取得端末2は、通信端末の一例であり、画像データを外部から取得せず、自端末で作成してもよい。更に、通信端末は、集音により音データを取得してもよいし、温度センサにより温度データを取得してもよいし、湿度センサにより湿度データを取得してもよい。
また、各CPU301,501,701等の各構成要素は、単一であってもよく複数であってもよい。また、画像取得端末2、分散データ処理端末6、及び集中データ処理サーバ7は、それぞれ複数あってもよい。更に、分散データ処理端末6はサーバであってもよい。
また、上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated
Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。
Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。
2 画像取得端末(通信端末の一例)
3 実時間データ処理端末
5 近端末データ処理装置
6 分散データ処理端末
7 集中データ処理サーバ
34 画像処理部(画像処理手段の一例)
35 物体検出部(物体検出手段の一例)
38 接続部(取得手段の一例)
47 ぼかし処理部(ぼかし処理手段の一例)
51 送受信部
61 送受信部
62 受付部
67 表示制御部
69 記憶・読出部
71 送受信部
74 特徴量生成部
75 照合部
76 物体検出部(物体検出手段の一例)
77 ぼかし処理部(ぼかし処理手段の一例)
200 イントラネット
600 インターネット
3001 撮像素子情報管理DB(撮像素子情報管理手段の一例)
3002 サイクル値管理DB
3003 画像取得プログラムDB
3004 合成処理プログラム管理DB
3005 歪み補正プログラム管理DB
3006 サービスプログラム管理DB(プログラム管理手段の一例)
6000 記憶部
6001 照合データ管理DB
8000 記憶部
8001 セッション管理DB
8002 認証サーバ管理DB
9000 記憶部
9001 認証管理DB
3 実時間データ処理端末
5 近端末データ処理装置
6 分散データ処理端末
7 集中データ処理サーバ
34 画像処理部(画像処理手段の一例)
35 物体検出部(物体検出手段の一例)
38 接続部(取得手段の一例)
47 ぼかし処理部(ぼかし処理手段の一例)
51 送受信部
61 送受信部
62 受付部
67 表示制御部
69 記憶・読出部
71 送受信部
74 特徴量生成部
75 照合部
76 物体検出部(物体検出手段の一例)
77 ぼかし処理部(ぼかし処理手段の一例)
200 イントラネット
600 インターネット
3001 撮像素子情報管理DB(撮像素子情報管理手段の一例)
3002 サイクル値管理DB
3003 画像取得プログラムDB
3004 合成処理プログラム管理DB
3005 歪み補正プログラム管理DB
3006 サービスプログラム管理DB(プログラム管理手段の一例)
6000 記憶部
6001 照合データ管理DB
8000 記憶部
8001 セッション管理DB
8002 認証サーバ管理DB
9000 記憶部
9001 認証管理DB
Claims (9)
- 通信ネットワークを介してサービスを提供するサービス提供サーバと、
所定の画像処理により生成された撮像画像のデータを得る画像取得端末と、
前記画像データに対して所定の画像処理を行う集中データ処理サーバと、
前記画像取得端末と前記集中データ処理サーバとを仲介する分散データ処理端末と、を有する通信システムであって、
前記分散データ処理端末は、前記サービス提供サーバから提供されるサービスに関連付けて、
前記画像取得端末または前記集中データ処理サーバのどちらか一方に対する画像処理内容を他方へ要求後に応答として得られる画像処理内容を前記一方へ送信し、前記画像取得端末の画像処理後に受信した画像データを前記分散データ処理端末に送信することにより、前記サービスに対する画像処理を前記集中データ処理サーバに処理させる送受信手段を有することを特徴とする通信システム。 - 前記サービスは物体認識サービスであり、前記分散データ処理端末の送受信手段が、前記画像取得端末に対する画像処理内容を前記集中データ処理サーバに対して要求した場合の当該画像処理内容は、少なくとも物体検出と射影方式変換とリサイズを含み、前記受信した画像データに対する物体認識を前記集中データ処理サーバが処理することを特徴とする請求項1記載の通信システムである。
- 前記サービスは物体ぼかしサービスであり、前記分散データ処理端末の送受信手段が、前記画像取得端末に対する画像処理内容を前記集中データ処理サーバに対して要求した場合の当該画像処理内容は、少なくとも物体検出とぼかし処理とを含み、前記受信した画像データに対する保存処理を前記集中データ処理サーバが処理することを特徴とする請求項1記載の通信システム。
- 前記サービスは物体ぼかしサービスであり、前記分散データ処理端末の送受信手段が、前記画像取得端末に対する画像処理内容を前記集中データ処理サーバに対して要求した場合の当該画像処理内容は、前記受信した画像データに対する物体検出と物体ぼかしと保存処理を前記集中データ処理サーバが処理することを特徴とする請求項1記載の通信システム。
- 前記画像取得端末に対する画像処理内容は射影方式変換をさらに追加することを特徴とする請求項3または4記載の通信システム。
- 前記サービスは物体ぼかしサービスであり、前記分散データ処理端末の送受信手段が、前記集中データ処理サーバに対する画像処理内容を前記画像取得端末に対して要求した場合の当該画像処理内容は保存処理を含み、前記画像取得端末から受信した画像データに対して、少なくとも物体検出と物体ぼかしの画像処理が施されていることを特徴とする請求項1記載の通信システム。
- 前記サービスは物体ぼかしサービスであり、前記分散データ処理端末の送受信手段が、前記集中データ処理サーバに対する画像処理内容を前記画像取得端末に対して要求した場合の当該画像処理内容は物体ぼかしと保存処理を含み、前記画像取得端末から受信した画像データに対して、少なくとも物体検出の画像処理が施されていることを特徴とする請求項1記載の通信システム。
- 前記前記画像取得端末から受信した画像データに対して、さらに射影方式変換処理が追加されていることを特徴とした請求項6または7記載の通信システム。
- 通信ネットワークを介してサービスを提供するサービス提供サーバと、
所定の画像処理により生成された撮像画像のデータを得る画像取得端末と、
前記画像データに対して所定の画像処理を行う集中データ処理サーバと、
前記画像取得端末と前記集中データ処理サーバとを仲介する分散データ処理端末と、を有する通信システムが実行する通信方法であって、
前記分散データ処理端末は、前記サービス提供サーバから提供されるサービスに関連付けて、
前記画像取得端末または前記集中データ処理サーバのどちらか一方に対する画像処理内容を他方へ要求後に応答として得られる画像処理内容を前記一方へ送信し、前記画像取得端末の画像処理後に受信した画像データを前記分散データ処理端末に送信することにより、前記サービスに対する画像処理を前記集中データ処理サーバに処理させることを特徴とする通信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/366,422 US10931836B2 (en) | 2018-03-29 | 2019-03-27 | Communication system, image processing method, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018064787 | 2018-03-29 | ||
JP2018064787 | 2018-03-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019176471A JP2019176471A (ja) | 2019-10-10 |
JP7251247B2 true JP7251247B2 (ja) | 2023-04-04 |
Family
ID=68168986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019056527A Active JP7251247B2 (ja) | 2018-03-29 | 2019-03-25 | 通信システム、及び通信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7251247B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4016464A1 (en) | 2020-11-26 | 2022-06-22 | Ricoh Company, Ltd. | Apparatus, system, method, and carrier means |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000076172A (ja) | 1998-08-28 | 2000-03-14 | Toshiba Corp | 分散システム |
JP2002170110A (ja) | 2000-09-22 | 2002-06-14 | Seiko Epson Corp | 画像処理方法 |
WO2012169232A1 (ja) | 2011-06-08 | 2012-12-13 | オムロン株式会社 | 分散画像処理システム |
JP2016024471A (ja) | 2014-07-16 | 2016-02-08 | 富士フイルム株式会社 | 画像処理システム、クライアント、画像処理方法、プログラムおよび記録媒体 |
JP2018011327A (ja) | 2013-02-28 | 2018-01-18 | 株式会社ニコン | 電子機器および表示方法 |
-
2019
- 2019-03-25 JP JP2019056527A patent/JP7251247B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000076172A (ja) | 1998-08-28 | 2000-03-14 | Toshiba Corp | 分散システム |
JP2002170110A (ja) | 2000-09-22 | 2002-06-14 | Seiko Epson Corp | 画像処理方法 |
WO2012169232A1 (ja) | 2011-06-08 | 2012-12-13 | オムロン株式会社 | 分散画像処理システム |
JP2018011327A (ja) | 2013-02-28 | 2018-01-18 | 株式会社ニコン | 電子機器および表示方法 |
JP2016024471A (ja) | 2014-07-16 | 2016-02-08 | 富士フイルム株式会社 | 画像処理システム、クライアント、画像処理方法、プログラムおよび記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2019176471A (ja) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10931836B2 (en) | Communication system, image processing method, and recording medium | |
US10915777B2 (en) | Communication terminal, communication system, and image processing method | |
JP7310105B2 (ja) | 通信端末、通信システム、画像処理方法、及びプログラム | |
US11245707B2 (en) | Communication terminal, communication system, communication control method, and recording medium | |
US11025603B2 (en) | Service providing system, service delivery system, service providing method, and non-transitory recording medium | |
JP7251247B2 (ja) | 通信システム、及び通信方法 | |
JP6428152B2 (ja) | 肖像権保護プログラム、情報通信装置及び肖像権保護方法 | |
CN109479054B (zh) | 服务提供***、服务通信***、服务提供方法和记录介质 | |
US11128623B2 (en) | Service providing system, service delivery system, service providing method, and non-transitory recording medium | |
US11076010B2 (en) | Service providing system, service delivery system, service providing method, and non-transitory recording medium | |
CN108885653B (zh) | 服务提供***、服务递送***、服务提供方法和程序 | |
JP2019186914A (ja) | 通信端末、通信システム、通信方法、及びプログラム | |
JP7358868B2 (ja) | 通信端末、通信システム、位置管理方法、及びプログラム | |
US20240212305A1 (en) | Imaging system, imaging device, information processing server, imaging method, information processing method, and storage medium | |
JP2021057029A (ja) | 設定装置、通信システム、設定方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7251247 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |