JP7297882B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

従来から、撮影端末が、撮影前に撮影中信号を周囲に配信し、当該撮影中信号を受信した端末のうち、撮影拒否設定されている端末が、撮影拒否信号を撮影端末へ送信し、撮影端末が、当該撮影拒否信号を受信した場合、撮影できないようにする技術がある（例えば、特許文献１）。

特開２００４―８８２７３号公報

上記特許文献１に開示されている技術においては、撮影端末が、撮影拒否信号を受信した場合、撮影することができなくなってしまう。例えば、端末を有するユーザが多くいる場所で撮影する場合、撮影拒否信号を送信する端末が１つあるだけで、撮影が一切できなくなり、必ずしも適切な撮影制御ができないという問題点がある。

本発明の目的は、プライバシーを保護しつつ、適切な撮影制御をすることを目的とする。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。

一例を挙げるならば、画像情報に対して編集処理をする画像処理装置であって、画像情報を取得する画像取得部と、当該画像情報の撮影位置および撮影方向を取得する位置取得部と、位置情報を発信する装置の位置と、撮影可否に関する情報とが関連付けられた撮影可否情報を取得する撮影可否情報取得部と、撮影可否情報における位置情報を発信する装置の位置が、位置取得部により取得された撮影位置および撮影方向に基づいた撮影範囲に対応する撮影可否情報の撮影可否に関する情報に基づいて、画像取得部により取得された画像情報における、当該撮影可否情報の位置情報を発信する装置の位置に基づいた範囲に対してマスク処理をする画像編集部と、画像編集部により編集された画像情報を出力する画像出力部と、を含む。

本発明の技術を用いることにより、プライバシーを保護しつつ、適切な撮影制御をすることができる。

本実施形態に係る本実施例の情報システムの構成図である。 本実施形態による撮影装置の概観を説明する図である。 本実施形態による撮影装置のハードウェア構成を説明する図である。 本実施形態による情報端末の概観を示す図である。 本実施形態による情報端末のハードウェア構成を説明する図である。 本実施形態によるサーバ装置のハードウェア構成を説明する図である。 本実施形態による情報端末の機能ブロック図である。 サーバ装置で記憶される撮影可否情報のデータ構造の図である。 本実施形態による撮影装置の機能ブロック図である。 情報端末が、撮影可否情報を生成し、サーバ装置へ送出する処理手順を示すフローチャートである。 撮影装置が、画像編集する処理手順を説明するフローチャートである。 撮影装置と、情報端末との位置関係を示す図である。 マスク処理する範囲を決定する処理を説明する図である。 マスク処理の具体例を説明する図である。 マスク処理の具体例を説明する図である。

以下、本発明の実施形態の例を、図面を用いて説明する。

図１は、本実施例の情報システムの構成図を示す。当該情報システムには、撮影装置１００と、情報端末２００と、ＧＰＳ（Global Positioning System）衛星４００と、サーバ装置５００とを含む。撮影装置１００は、対象を撮影する装置である。撮影装置１００は、例えば、ヘッドマウントディスプレイ、スマートフォン、通信機能を有するディジタルカメラである。また、撮影装置１００は、撮影した結果得られる画像情報に対して所定の編集処理も行う。すなわち、撮影装置１００は、画像処理装置として機能する。

情報端末２００は、撮影可否を示す情報を送信する装置である。情報端末２００は、具体的に、スマートフォン、スマートウォッチ、ウェアラブル端末（例えば、リストバンド型の端末等）である。

サーバ装置５００は、上記撮影可否を示す情報を管理するサーバ装置である。撮影装置１００および情報端末２００と、サーバ装置５００とは、ネットワーク３００（例えば、インターネット）を介して情報を送受信する。ＧＰＳ衛星４００は、ＧＰＳ信号を発信する衛星装置である。

続いて、図２（図２（ａ）～図２（ｃ））を参照して本実施形態による撮影装置１００の概観を説明する。なお、撮影装置１００がヘッドマウントディスプレイの例である。図２は、撮影装置１００の概観を示す図である。具体的に、図２（ａ）は、ユーザ１が撮影装置１００を装着した状態における撮影装置１００の上面図である。図２（ｂ）は、撮影装置１００の正面図である。図２（ｃ）は、撮影装置１００の側面図である。なお、撮影装置１００がスマートフォンの例の場合の概観は、後述の図４と同様であってもよい。

撮影装置１００は、ユーザ１が頭部に装着した状態で、アプリケーションをユーザに視認可能に表示し、実行する装置である。撮影装置１００は、外界を撮像可能な第１画像入力部１３３を有する。なお、当該第１画像入力部１３３は、複数有していてもよい。また、撮影装置１００は、透過型の表示手段である表示部１３１を有する。

また、図２（ｃ）に示すように、撮影装置１００は、音声出力部１４１（例えば、音声出力部１４１Ｌと図示を省略した音声出力部１４１Ｒ）を有する。また、撮影装置１００は、タッチセンサ１２２を有する。また、撮影装置１００は、図示しないが、ステレオマイク１４３Ｓや充電端子１７０Ｐを有するようにしてもよい。なお、表示部１３１は、透過型ではない表示手段でもよい。この場合、撮影装置１００は、当該表示手段に撮像結果を表示する。

続いて、図３を用いて撮影装置１００のハードウェア構成を説明する。図３は、撮影装置１００のハードウェア構成を説明する図である。撮影装置１００は、主制御部１０１を有し、バス１０２を介して各部を制御する。この主制御部１０１は、ＣＰＵ（Central Processing Unit）等である。また、撮影装置１００は、ＲＡＭ１０３、ストレージ１１０、操作入力部１２０、画像処理部１３０、音声処理部１４０、センサ部１５０、通信処理部１６０、および拡張Ｉ／Ｆ部１７０を有する。

操作入力部１２０は、操作キー１２１、タッチセンサ１２２およびタッチパネル１２３を有する。画像処理部１３０は、表示部１３１、画像信号処理部１３２、第１画像入力部１３３、および第２画像入力部１３４を有する。音声処理部１４０は、音声出力部１４１、音声信号処理部１４２、および音声入力部１４３を有する。センサ部１５０は、ＧＰＳ受信部１５１、ジャイロセンサ１５２、地磁気センサ１５３、および加速度センサ１５４を有する。通信処理部１６０は、ＬＡＮ通信部１６１、電話網通信部１６２、およびＢＴ（Bluetooth(登録商標)）通信部１６３を有する。

主制御部１０１は、ストレージ１１０に記憶されている各種情報処理プログラムを実行することにより、各種機能を実行させる演算処理装置である。ＲＡＭ１０３は、各種プログラム実行時のワークエリアとなる。ストレージ１１０は、主制御部１０１が第１画像入力部１３３や第２画像入力部１３４により撮像した画像や、各種情報を記憶する部分である。ストレージ１１０は、ＦｌａｓｈＲＯＭやＥＥＰＲＯＭ等の不揮発記憶媒体である。

操作入力部１２０は、操作入力を受け付けるユーザ操作Ｉ／Ｆである。操作キー１２１は、撮影装置１００の所定位置に設置される物理キー(例えば、電源キー、音量キー、ホームキー等)である。タッチセンサ１２２は、撮影装置１００の筐体等に設置される入力用センサである。タッチパネル１２３は、いわゆるタッチパネルであり、表示部１３１と重ねて配置される。なお、撮影装置１００では、ブルートゥース接続によるポインティングデバイスを用いた操作をするようにしてもよい。

画像処理部１３０は、イメージ（ビデオ）プロセッサなどにより実現するものである。表示部１３１は、シースルー型（透過型）の表示装置である場合、透過で実映像にオブジェクトを重畳表示する。また、表示部１３１は、非透過の表示装置である場合、非透過でカメラスルー画像にオブジェクトを重畳表示する。

画像信号処理部１３２は、イメージシグナルプロセッサであり、第１画像入力部１３３または第２画像入力部１３４による画像を解析して、当該解析結果を主制御部１０１等に出力する部分である。また、主制御部１０１の制御により、表示部１３１に出力するオブジェクトの生成も行う。

第１画像入力部１３３は、外界を撮像する部分である。第２画像入力部１３４は、ユーザ１の眼を撮像する部分である。第２画像入力部１３４により撮像されたユーザ１の眼の画像は、視線検出に用いられる。

音声処理部１４０は、オーディオプロセッサなどにより実現するものである。音声出力部１４１は、音声を出力するスピーカ等である。音声信号処理部１４２は、音声入力部１４３により入力された音声の解析等を行うオーディオシグナルプロセッサである。音声入力部１４３は、ユーザ１の音声や外界音を入力する部分であり、マイク等である。

センサ部１５０は、撮影装置１００の位置および方向を特定するための情報を取得する部分である。センサ部１５０は、ＧＰＳ受信部１５１、ジャイロセンサ１５２、地磁気センサ１５３、および加速度センサ１５４を有する。

ＧＰＳ受信部１５１は、ＧＰＳ信号を受信して得られるＧＰＳ情報を取得する。ジャイロセンサ１５２は、撮影装置１００の移動方位の検出を行う機能を有し、撮影装置１００の方向変化に伴う角速度データを示すジャイロ情報を取得する。地磁気センサ１５３は、地磁気に基づいて撮影装置１００の絶対方位を表す角度を検出する方位検出装置の一種である。このような角度としては、例えば方位角を挙げることができる。加速度センサ１５４は、撮影装置１００の加速度および傾斜角の少なくとも一方を検出する機能を有する。センサ部１５０は、さらに近接センサや照度センサ等を有するようにしてもよい。

通信処理部１６０は、無線通信を制御するコミュニケーションプロセッサである。通信処理部１６０は、ＬＡＮ通信部１６１、電話網通信部１６２、およびＢＴ通信部１６３を有する。拡張Ｉ／Ｆ部１７０は、周辺機器と接続するためのインタフェースである。

続いて、図４（図４（ａ）～図４（ｂ））を参照して本実施形態による情報端末２００の概観を説明する。なお、情報端末２００がスマートフォンの場合の例である。図４は、情報端末２００の概観を示す図である。具体的に、図４（ａ）は、情報端末２００の前面（正面）図であり、図４（ｂ）は、情報端末２００の背面図である。情報端末２００は、操作キー２２１（例えば、電源スイッチとして機能する操作キー２２１Ｐ）、認証に用いられる指紋センサ２２４、ＬＥＤ２２５、表示部２３１として機能するタッチスクリーン２８０を有する。また、このタッチスクリーン２８０は、タッチパネル２２３としても機能する。

また、情報端末２００は、背面カメラ（アウトカメラ）として機能する第１画像入力部２３３、前面カメラ（インカメラ）として機能する第２画像入力部２３４、フラッシュやストロボとして機能する補助光発光部２３５、音声出力部２４１Ｓ、音声出力部２４１Ｍ、音声入力部２４３Ｍ、およびＵＳＢ端子２７０Ｕを有する。音声出力部２４１Ｓは、ステレオスピーカであり、ＡＶ再生時に使用され、音声出力部２４１Ｍは、モノラルスピーカであり、通話時に使用される。音声入力部２４３Ｍは、モノラルマイクである。ＵＳＢ端子２７０Ｕは、いわゆる拡張インタフェース部であり、充電や他のＵＳＢ機器との接続に使用される。

続いて、図５を用いて情報端末２００のハードウェア構成を説明する。図５は、情報端末２００のハードウェア構成を説明する図である。情報端末２００は、主制御部２０１を有し、バス２０２を介して各部を制御する。この主制御部２０１は、ＣＰＵ（Central Processing Unit）等である。また、情報端末２００は、ＲＡＭ２０３、ストレージ２１０、操作入力部２２０、画像処理部２３０、音声処理部２４０、センサ部２５０、通信処理部２６０、および拡張Ｉ／Ｆ部２７０を有する。

操作入力部２２０は、操作キー２２１、タッチセンサ２２２およびタッチパネル２２３を有する。画像処理部２３０は、表示部２３１、画像信号処理部２３２、第１画像入力部２３３、および第２画像入力部２３４を有する。音声処理部２４０は、音声出力部２４１、音声信号処理部２４２、および音声入力部２４３を有する。センサ部２５０は、ＧＰＳ受信部２５１、ジャイロセンサ２５２、地磁気センサ２５３、および加速度センサ２５４を有する。通信処理部２６０は、ＬＡＮ通信部２６１、電話網通信部２６２、およびＢＴ（Bluetooth(登録商標)）通信部２６３を有する。

主制御部２０１は、ストレージ２１０に記憶されている各種情報処理プログラムを実行することにより、各種機能を実行させる演算処理装置である。ＲＡＭ２０３は、各種プログラム実行時のワークエリアとなる。ストレージ２１０は、主制御部２０１が第１画像入力部２３３や第２画像入力部２３４により撮像した画像や、各種情報を記憶する部分である。ストレージ２１０は、ＦｌａｓｈＲＯＭやＥＥＰＲＯＭ等の不揮発記憶媒体である。

操作入力部２２０は、操作入力を受け付けるユーザ操作Ｉ／Ｆである。操作キー２２１は、情報端末２００の所定位置に設置される物理キー(例えば、電源キー、音量キー、ホームキー等)である。タッチセンサ２２２は、情報端末２００の筐体等に設置される入力用センサである。タッチパネル２２３は、情報端末２００が有するものであり、図４に示したタッチスクリーン２８０により実現する。なお、情報端末２００では、ブルートゥース接続によるポインティングデバイスを用いた操作をするようにしてもよい。

画像処理部２３０は、イメージ（ビデオ）プロセッサなどにより実現するものである。表示部２３１は、カメラスルー画像にオブジェクトを重畳表示することが可能である。情報端末２００がリストバンド型の端末等である場合、表示部２３１は無くてもよい。

画像信号処理部２３２は、イメージシグナルプロセッサであり、第１画像入力部２３３または第２画像入力部２３４による画像を解析して、当該解析結果を主制御部２０１等に出力する部分である。また、主制御部２０１の制御により、表示部２３１に出力するオブジェクトの生成も行う。

第１画像入力部２３３は、外界を撮像する部分である。第２画像入力部２３４は、ユーザ１の眼を撮像する部分である。

音声処理部２４０は、オーディオプロセッサなどにより実現するものである。音声出力部２４１は、音声を出力するスピーカ等である。音声信号処理部２４２は、音声入力部２４３により入力された音声の解析等を行うオーディオシグナルプロセッサである。音声入力部２４３は、ユーザの音声や外界音を入力する部分であり、マイク等である。

センサ部２５０は、情報端末２００の位置および方向を特定するための情報を取得する部分である。センサ部２５０は、ＧＰＳ受信部２５１、ジャイロセンサ２５２、地磁気センサ２５３、および加速度センサ２５４を有する。

ＧＰＳ受信部２５１は、ＧＰＳ信号を受信して得られるＧＰＳ情報を取得する。ジャイロセンサ２５２は、情報端末２００の移動方位の検出を行う機能を有し、情報端末２００の方向変化に伴う角速度データを示すジャイロ情報を取得する。地磁気センサ２５３は、地磁気に基づいて情報端末２００の絶対方位を表す角度を検出する方位検出装置の一種である。このような角度としては、例えば方位角を挙げることができる。加速度センサ２５４は、情報端末２００の加速度および傾斜角の少なくとも一方を検出する機能を有する。センサ部２５０は、さらに近接センサや照度センサ等を有するようにしてもよい。

通信処理部２６０は、無線通信を制御するコミュニケーションプロセッサである。通信処理部２６０は、ＬＡＮ通信部２６１、電話網通信部２６２、およびＢＴ通信部２６３を有する。拡張Ｉ／Ｆ部２７０は、周辺機器と接続するためのインタフェースである。

続いて、図６を用いてサーバ装置５００のハードウェア構成を説明する。図６は、サーバ装置５００のハードウェア構成を説明する図である。サーバ装置５００は、主制御部５０１を有し、バス５０２を介して各部を制御する。この主制御部５０１は、ＣＰＵ（Central Processing Unit）等である。また、サーバ装置５００は、ＲＡＭ５０３、ストレージ５１０、操作入力部５２０、表示部５３１、画像信号処理部５３２、およびＬＡＮ通信部５６１を有する。

ストレージ５１０は、不揮発性記憶媒体等であり、撮影可否情報データベース５１１を有する。

撮影可否情報データベース５１１は、複数の情報端末２００の撮影可否状態の情報を記憶するデータベースである。詳細は後述する。

表示部５３１は、ディスプレイ等であり、画像信号処理部５３２は、ビデオシグナルプロセッサであり、ＬＡＮ通信部５６１は、情報端末２００や撮影装置１００と通信するためのインタフェースである。

サーバ装置５００は、情報端末２００から撮影可否情報を受信すると、当該撮影可否情報を撮影可否情報データベース５１１へ登録する。また、サーバ装置５００は、撮影装置１００から撮影可否情報の送信要求を受信した場合、撮影可否情報データベース５１１から該当する撮影可否情報を取得して、撮影装置１００へ送信する。

また、サーバ装置５００は、自装置へアクセスする装置について、公知の認証処理（例えば、ＩＤやパスワードによる照合等）をするようにしてもよい。

なお、サーバ装置５００は、単一の装置により実現されてもよいし、複数の装置により実現されてもよい。

続いて、図７を用いて情報端末２００の機能説明をする。図７は、情報端末２００の機能ブロック図である。情報端末２００は、位置情報算出部２１、撮影可否設定部２２、撮影可否情報生成部２３、および撮影可否情報送出部２４を有する。また、情報端末２００は、図７に示した機能以外の機能も有する。例えば、情報端末２００自体を制御する機能などを有する。

位置情報算出部２１は、情報端末２００の位置を算出する部分である。位置情報算出部２１は、例えば、ＧＰＳ受信部２５１から取得したＧＰＳ信号に基づいて、公知技術により情報端末２００の位置を算出する。なお、位置情報算出部２１は、ＧＰＳ信号以外の情報を用いた公知の測位技術により情報端末２００の位置を算出するようにしてもよい。位置情報算出部２１は、所定のタイミングで、情報端末２００の位置を算出し、算出した情報を位置情報として、撮影可否情報生成部２３へ送出する。

撮影可否設定部２２は、撮影可否を示す情報を設定する部分である。撮影可否設定部２２は、例えば、ユーザが操作入力部２２０を介して入力した撮影可否を示す情報をストレージ２１０等に設定する。

撮影可否情報生成部２３は、撮影可否情報を生成する部分である。ここで、撮影可否情報とは、自装置の周辺（例えば、自装置のユーザ）の撮影可否を示す情報と、自装置の位置とを対応付けた情報を含む情報である。

撮影可否情報生成部２３は、所定のタイミングで、撮影可否情報の送信要否を判断する。例えば、位置情報算出部２１により算出された位置情報を取得したタイミングで、撮影可否情報の送信要否を判断する。

撮影可否情報生成部２３は、位置情報算出部２１から位置情報を取得すると、まず、既に撮影可否情報を送信しているか否かを判断する。撮影可否情報を送信していない場合（撮影可否情報の履歴情報が無い場合）、取得した位置情報と、撮影可否設定部２２により設定されている撮影可否の内容（撮影可否設定情報）と、生成日時と、自装置を識別する情報（端末識別情報）とを含む撮影可否情報を生成し、撮影可否情報送出部２４へ送出する。また、撮影可否情報生成部２３は、送信した撮影可否情報を履歴情報としてストレージ２１０等に記憶しておく。

撮影可否情報生成部２３は、履歴情報がある場合、履歴情報である撮影可否情報の位置情報と、取得した位置情報とを比較して、予め定められている基準距離以上離れているか否かを判断する。当該基準距離以上離れている場合、撮影可否情報を生成し、当該撮影可否情報を撮影可否情報送出部２４へ送出し、履歴情報を当該撮影可否情報に更新する。

撮影可否情報生成部２３は、履歴情報である撮影可否情報の位置情報と、取得した位置情報とを比較して、予め定められている基準距離以上離れていない場合、履歴情報の生成日時と、現在時刻との比較をして、予め定められている基準経過時間以上経過しているか否かを判断する。当該基準経過時間以上経過していない場合、撮影可否情報を生成しない。

撮影可否情報生成部２３は、履歴情報の生成日時と、現在時刻との比較をして、基準経過時間以上経過している場合、撮影可否情報を生成し、当該撮影可否情報を撮影可否情報送出部２４へ送出し、履歴情報を当該撮影可否情報に更新する。

撮影可否情報送出部２４は、撮影可否情報生成部２３から取得した撮影可否情報をサーバ装置５００へ送信する。サーバ装置５００は、当該撮影可否情報を自装置のストレージ（撮影可否情報ＤＢ５１１）に記憶する。

ここで、サーバ装置５００が、撮影可否情報を記憶する場合のデータ構造例について図８を用いて説明する。図８は、サーバ装置５００で記憶される撮影可否情報のデータ構造の図である。撮影可否情報は、端末識別情報と、生成日時と、位置情報と、撮影可否の設定情報とを有する。

撮影可否の設定情報において、「拒否」が設定されている場合、情報端末２００のユーザが撮影を拒否していることを示す。また、撮影可否の設定情報において、「許可」が設定されている場合、情報端末２００のユーザが撮影を許容していることを示す。

続いて、図９を用いて撮影装置１００の機能説明をする。図９は、撮影装置１００の機能ブロック図である。撮影装置１００は、画像取得部１１、位置取得部１２、撮影可否情報取得部１３、画像編集部１４、および画像出力部１５を有する。

画像取得部１１は、撮影装置１００により撮影された結果である周囲の画像情報を取得する部分である。例えば、画像取得部１１は、第１画像入力部１３３による撮像処理による画像情報を、撮影装置１００により撮影された結果である周囲の画像情報として取得する。画像取得部１１は、取得した画像情報を画像編集部１４へ送出する。また、画像取得部１１は、画像情報を取得した旨を位置取得部１２および撮影可否情報取得部１３へ通知する。

位置取得部１２は、画像の撮影位置および撮影方向を取得する部分である。位置取得部１２は、例えば、画像取得部１１から画像情報を取得した旨の通知を取得したことをトリガとして画像の撮影位置および撮影方向を取得する。位置取得部１２は、自装置で撮影する場合、自装置の位置および撮影方向をセンサ部１５０から取得する。位置取得部１２は、取得した撮影位置および撮影方向を画像編集部１４へ送出する。なお、位置取得部１２は、当該撮影位置を撮影可否情報取得部１３へ送出するようにしてもよい。なお、撮影装置１００が、他の装置から画像情報を取得する場合、位置取得部１２は、当該他の装置から撮影位置および撮影方向を取得するようにしてもよい。

撮影可否情報取得部１３は、サーバ装置５００から撮影可否情報を取得する部分である。撮影可否情報取得部１３は、例えば、画像取得部１１から画像情報を取得した旨の通知を取得したことをトリガとして撮影可否情報を取得する。また、撮影可否情報取得部１３は、位置取得部１２から撮影位置を取得し、当該撮影位置をサーバ装置５００に送信すると共にサーバ装置５００から当該撮影位置に対応する撮影可否情報を取得するようにしてもよい。

撮影可否情報取得部１３は、サーバ装置５００から撮影可否情報を取得すると、取得した撮影可否情報を画像編集部１４へ送出する。

画像編集部１４は、位置取得部１２により取得された撮影位置および撮影方向に基づいた撮影範囲に対応する撮影可否情報の撮影可否の設定情報及び情報端末２００の位置情報に基づいて、画像取得部１１により取得された画像情報における、当該撮影可否情報の位置に基づいた範囲に対してマスク処理をする部分である。

画像編集部１４は、位置取得部１２から撮影位置および撮影方向を取得する。また、画像編集部１４は、撮影可否情報取得部１３から撮影可否情報を取得する。また、画像編集部１４は、画像取得部１１から画像情報を取得する。

画像編集部１４は、当該位置取得部１２から取得した撮影位置および撮影方向に基づいて、公知の方法により、撮影範囲を特定する。また、画像編集部１４は、撮影可否情報の設定情報が「拒否」である撮影可否情報の位置情報が、当該撮影範囲に含まれるか否かを判断し、撮影範囲に含まれる場合、当該位置における対象となる情報端末２００に対応する範囲に対してマスク処理をする。

より具体的に、画像編集部１４は、当該情報端末２００に対応する範囲として、当該情報端末２００に対応する人の箇所をマスク処理する。また、画像編集部１４は、当該情報端末２００に対応する人の箇所として、当該人の顔部分をマスク処理するようにしてもよい。

画像出力部１５は、画像編集部１４により編集された画像情報を出力する部分である。画像出力部１５は、画像編集部１４により編集された画像情報を表示部１３１へ出力する。また、画像出力部１５は、画像編集部１４により編集された画像情報をストレージ１１０へ登録するようにしてもよい。

続いて、図１０を用いて、情報端末２００が、撮影可否情報を生成し、サーバ装置５００へ送出する処理手順を説明する。図１０は、情報端末２００が、撮影可否情報を生成し、サーバ装置５００へ送出する処理手順を示すフローチャートである。前提として、既に過去に撮影可否情報をサーバ装置５００に送信しており、履歴情報を保持しているものとする。

まず、情報端末２００の位置情報算出部２１は、ＧＰＳ受信部２５１により受信したＧＰＳ信号（ＧＰＳ情報）を用いて位置情報を算出する（ステップＳ１）。

撮影可否情報生成部２３は、履歴情報である撮影可否情報の位置情報と、算出した位置情報とを比較して、予め定められている基準距離以上離れているか否かを判断する（ステップＳ２）。当該基準距離以上離れている場合（ステップＳ２：Ｙｅｓ）、ステップＳ４へ進む。

撮影可否情報生成部２３は、履歴情報である撮影可否情報の位置情報と、算出した位置情報とを比較して、予め定められている基準距離以上離れていない場合（ステップＳ２：Ｎｏ）、履歴情報の生成日時と、現在時刻との比較をして、予め定められている基準経過時間以上経過しているか否かを判断する（ステップＳ３）。当該基準経過時間以上経過していない場合（ステップＳ３：Ｎｏ）、撮影可否情報を生成せずに、ステップＳ１に進む。

撮影可否情報生成部２３は、履歴情報の生成日時と、現在時刻との比較をして、基準経過時間以上経過している場合（ステップＳ３：Ｙｅｓ）、ステップＳ４へ進む。

ステップＳ４において、撮影可否情報生成部２３は、撮影可否情報を生成する（ステップＳ４）。撮影可否情報送出部２４は、撮影可否情報生成部２３から取得した撮影可否情報をサーバ装置５００へ送信する（ステップＳ５）。サーバ装置５００は、当該撮影可否情報を自装置のストレージに記憶する。

なお、撮影可否情報の更新処理の要否の判断は、サーバ装置５００が行ってもよい。この場合、情報端末２００は履歴情報を保持せず、所定の時間間隔毎に撮影可否情報の生成及びサーバ装置５００への送信処理を行う。サーバ装置５００は、同一の端末識別情報を有する撮影可否情報毎に、記憶されている位置情報及び生成日時と新たに受信した位置情報及び生成日時の比較処理を行い、当該比較結果に基づいて撮影可否情報の更新処理の要否を判断すればよい。

続いて、図１１を用いて、撮影装置１００が、画像編集する処理手順を説明する。図１１は、撮影装置１００が、画像編集する処理手順を説明するフローチャートである。

まず、画像取得部１１は、第１画像入力部１３３による撮像処理による画像情報を取得する（ステップＳ４１）。

続いて、位置取得部１２は、ＧＰＳ受信部１５１から取得した情報（ＧＰＳ情報）を用いて位置情報を算出する（ステップＳ４２）。また、位置取得部１２は、地磁気センサ１５３から取得した情報を用いて方位情報（撮影方向の情報）を算出する（ステップＳ４３）。続いて、撮影可否情報取得部１３は、サーバ装置５００へ撮影可否情報の送信要求をして、サーバ装置５００から撮影可否情報を取得する（ステップＳ４４）。なお、撮影可否情報取得部１３は、撮影装置１００の位置情報を送信して、サーバ装置５００が、当該撮影装置１００の位置から所定範囲内に位置する情報端末２００の撮影可否情報を取得するようにしてもよい。

画像編集部１４は、撮影可否情報取得部１３によって取得された撮影可否情報の内、「拒否」が設定されている撮影可否情報があるか否かを確認する（ステップＳ４５）。画像編集部１４は、「拒否」が設定されている撮影可否情報がない場合（ステップＳ４５：Ｎｏ）、ステップＳ４１の画像情報を画像出力部１５へ送出し、ステップＳ４９へ進む。

画像編集部１４は、「拒否」が設定されている撮影可否情報がある場合（ステップＳ４５：Ｙｅｓ）、位置取得部１２が取得した位置情報と、方位情報と、撮影可否情報取得部１３により取得される撮影可否情報に含まれる位置情報とを用いて、撮影可否情報を送信した情報端末２００の撮影装置１００の指向する方位に対する相対方位を算出する(ステップＳ４６)。なお、相対方位を算出する対象となる端末は、「拒否」が設定されている撮影可否情報を送信している情報端末２００とする。また、「拒否」が設定されている撮影可否情報が複数ある場合、それぞれの情報端末２００を対象としてよい。

画像編集部１４は、撮影装置１００の方位情報と、撮影装置１００の撮影画角（予め設定されている情報）と、ステップＳ４６で算出した相対的方位とに基づいて、「拒否」が設定されている撮影可否情報を送信している情報端末２００の位置情報が、撮影装置１００の撮影画角の範囲内に含まれるか否かを確認する（ステップＳ４７）。

ステップＳ４７において、「拒否」が設定されている撮影可否情報を送信している情報端末２００の位置情報が、何れも撮影装置１００の撮影画角の範囲内に含まれない場合（ステップＳ４７：Ｎｏ）、マスク処理をすることなく、ステップＳ４１の画像情報を画像出力部１５へ送出し、ステップＳ４９へ進む。

ステップＳ４７において、「拒否」が設定されている撮影可否情報を送信している情報端末２００の何れかの位置情報が、撮影装置１００の撮影画角の範囲内に含まれる場合（ステップＳ４７：Ｙｅｓ）、ステップＳ４８へ進む。

ここで、図１２を用いて、「拒否」が設定されている撮影可否情報を送信している情報端末２００の位置情報が、撮影装置１００の撮影画角の範囲内に含まれるか否かを確認する処理内容を説明する。図１２は、撮影装置１００と、情報端末２００との位置関係を示す図である。

図１２に示す位置情報（Ｘ０、Ｙ０）は、位置取得部１２によって取得される撮影装置１００の現在位置情報である。また、図１２に示す方位情報αは、位置取得部１２により算出された方位情報である。この方位情報αは、基準方位（真北／磁北等）に対する撮影装置１００の指向方向の相対角度である。また、図１２に示す円は、位置情報（Ｘ０，Ｙ０）を中心とし、予め定めた所定距離を半径とする円である。

位置情報（Ｘ１、Ｙ１）は、情報端末２００ａの位置情報である。位置情報（Ｘ２、Ｙ２）は、情報端末２００ｂの位置情報である。位置情報（Ｘ３、Ｙ３）は、情報端末２００ｃの位置情報である。なお、撮影装置１００が、自装置の位置情報をサーバ装置５００へ送信している場合、撮影装置１００との距離が所定距離を超える情報端末２００ｃは、撮影範囲を逸脱するものとして、当該情報端末２００ｃの位置情報を含む撮影可否情報を取得しないようにしてもよい。

また、画像編集部１４は、自装置の位置情報をサーバ装置５００へ送信せずに、取得した撮影可否情報の位置情報に基づいて、自装置から所定距離以内に無い撮影可否情報を撮影画角の範囲内に含まれるか否かの判断対象から除外するようにしてもよい。この場合も図１２の例の場合、情報端末２００ａと情報端末２００ｂの撮影可否情報が判断対象となる。

画像編集部１４は、基準方位に対する各情報端末２００（情報端末２００ａ、情報端末２００ｂ）の方向の相対角度γ１、γ２を、情報端末２００ａおよび情報端末２００ｂの位置情報と撮影装置１００の位置情報を用いて算出する。続いて、画像編集部１４は、撮影装置１００に対する相対的方位を算出する。具体的に、画像編集部１４は、情報端末２００ａとの相対的方位として、α－γ１を算出する。また、画像編集部１４は、情報端末２００ｂとの相対的方位として、α－γ２を算出する。なお、時計回り方向を正値とする。

ステップＳ４７の処理で行う確認処理では、撮影装置１００の第１画像入力部１３３の撮影画角βと、上記相対的方位との比較を行う。例えば、画像編集部１４は、（β／２）＞相対的方位（例えば、α－γ１）であれば、情報端末２００が撮影装置１００の撮影画角の範囲内に入ると判断する。また、画像編集部１４は、（β／２）＞相対的方位でなければ、情報端末２００が撮影装置１００の撮影画角の範囲内に入らないと判断する。

図１２の例では、画像編集部１４は、情報端末２００ａが撮影画角の範囲内に入り、情報端末２００ｂが撮影画角の範囲内に入らないと判断する。

図１１に戻り、画像編集部１４は、ステップＳ４７で撮影画角の範囲内に入る情報端末２００の位置についてマスク処理をする（ステップＳ４８）。ここで、図１３、図１４、および図１５を用いて、マスク処理の説明をする。図１３は、マスク処理する範囲を決定する処理を説明する図である。図１４および図１５は、マスク処理の具体例を説明する図である。

まず、図１３を用いて、マスク処理する範囲を決定する処理を説明する。図１３のα、β、γ１は、図１２の図と同様である。図１３に示すＯは、撮影装置１００の基準位置を示す。また、図１３に示すＷは、撮影装置１００の撮影範囲を示す。図１３に示すＬおよびＲは、それぞれ撮影範囲Ｗの左端および右端を示す。図１３に示すＣは、撮影範囲Ｗの中央を示す。図１３に示すＴは、撮影装置１００の撮影範囲Ｗ内における情報端末２００の位置を示すものである（図１２の情報端末２００ｂの位置）。図１３に示すマスク領域Ｍは、撮影装置１００の撮影範囲Ｗ内におけるマスク領域を示すものである。

画像編集部１４は、マスク領域Ｍを下記の（１）～（４）に基づき設定する。（１）長さＬ－Ｃと、長さＴ－Ｃの比率が、ｔａｎ（β／２）とｔａｎ（α－γ１）の比率に等しい。（２）長さＬ－Ｃが、撮影装置１００の撮像素子が取得可能な画素数半分に対応する。（３）上記（１）と（２）により、撮影範囲Ｗ内における情報端末２００の位置Ｔを算出する。（４）位置Ｔを中心とした、予め定めた広さのマスク領域Ｍを算出する。なお、マスク領域Ｍの幅は、画像解析により取得した人の部分を特定した範囲に応じて変更するようにしてもよい。

続いて、図１４および図１５を用いて、マスク処理の具体例を説明する。マスク処理する方法として、図１４（ａ）に示すように、図１３で算出したマスク領域Ｍ全体をマスク処理する方法がある。また、図１４（ｂ）に示すように、マスク領域Ｍから公知の画像解析手法により、人物部分を特定して、人物部分のみマスク処理する方法がある。また、図１４（ｃ）に示すように、マスク領域Ｍから公知の画像解析手法により、人物の顔部分を特定して、当該顔部分のみマスク処理する方法がある。

また、マスク領域Ｍに複数の情報端末２００がある場合の処理例を、図１５を用いて説明する。図１５（ａ）に示すように、図１４（ｂ）の処理と同様にマスク領域Ｍにマスク処理をするようにしてもよい。なお、位置Ｐ１に属する情報端末２００が「拒否」の設定をしており、位置Ｐ２に属する情報端末２００が「拒否」の設定をしていない場合、図１５（ｂ）に示すように、位置Ｐ１および位置Ｐ２の位置関係に基づいて、例えば、位置Ｐ２が位置Ｐ１より手前である場合に、位置Ｐ１側の人物のみマスク処理をするようにしてもよい。

図１１に戻り、画像編集部１４は、ステップＳ４８でマスク処理した結果を画像出力部１５へ送出し、ステップＳ４９へ進む。ステップＳ４９において、画像出力部１５は、表示部へ取得した画像情報を表示する（ステップＳ４９）。

ここで、ユーザ操作により、画像記録指示が無い場合（ステップＳ５０：Ｎｏ）、ステップＳ４１へ進む。また、ステップＳ５０において、画像記録指示がある場合（ステップＳ５０：Ｙｅｓ）、画像出力部１５は、当該画像情報をストレージ１１０へ登録して（ステップＳ５１）、処理を終了する。

なお、上述の例では、ステップＳ４６～ステップＳ４７において、画角βの範囲内に情報端末２００の位置情報が含まれるか否かを判断する場合について述べたが、当該画角βから所定範囲ずらした新たな範囲についても、情報端末２００の位置情報が含まれるか否かを判断するようにしてもよい。画角βの範囲内に、拒否している情報端末２００が含まれ、当該新たな範囲に拒否している情報端末２００が含まれない場合に、当初の画角βに基づいたマスク処理後の画像情報を表示すると共に、所定範囲ずらせば、マスク処理することない画像を得ることが可能である旨を通知することができる。

また、上述の実施例では、撮影装置１００が、一の装置で、撮影して、撮影した画像情報を編集する場合について述べたが、複数の装置により実現するようにしてもよい。例えば、撮影する装置と、当該撮影する装置から画像情報を取得して、当該画像情報を編集する装置とが分離していてもよい。

情報端末２００が、撮影可否情報を生成して、当該撮影可否情報を送信する場合について述べたが、固定された位置に配置された装置（例えば、撮影拒否する展示物周囲に固定された装置）が、自装置の位置情報と撮影可否の設定情報とを送信するようにしてもよい。

情報端末２００が、ネットワーク３００を介してサーバ装置５００へ撮影可否情報を送信する場合について述べたが、近距離無線通信等の通信手段により、直接撮影装置へ撮影可否情報を送信するようにしてもよい。

上述の実施例では、撮影装置１００が、情報端末２００の位置が撮影範囲に対応する撮影可否情報の、撮影可否の設定情報が、「拒否」に設定されている情報端末２００の位置をマスク処理（情報端末２００周囲の箇所を見づらくする処理）を実行する場合について述べた。これに代えて、撮影装置１００は、撮影可否の設定情報が、「許可」に設定されている情報端末２００の位置について、マスク処理として、マスクを解除する処理をするようにしてもよい。例えば、原則撮影不可の箇所で撮影した場合、当該処理を施すようにしてもよい。

上述のように、撮影装置１００では、画像取得部１１が、画像情報（例えば、撮影装置１００の周囲を撮影した画像情報）を取得する。また、位置取得部１２は、画像情報の撮影位置および撮影方向の情報を取得する。また、撮影可否情報取得部１３は、情報端末２００の位置と、撮影可否の設定情報（撮影可否に関する情報）とが関連付けられた撮影可否情報を取得する。画像編集部１４は、撮影可否情報における情報端末２００の位置が、位置取得部１２により取得された撮影位置および撮影方向に基づいた撮影範囲に対応する撮影可否情報の撮影可否の設定情報に基づいて、画像取得部１１により取得された画像情報における当該情報端末２００に基づく範囲に対してマスク処理をする。

この場合、撮影装置１００は、情報端末２００の位置が、画像情報の撮影範囲に含まれている場合に、当該情報端末２００の撮影可否の設定情報の状態に応じて、画像情報における当該情報端末２００に基づく範囲に対してマスク処理をするので、マスク処理をする箇所を限定することで、プライバシーを保護しつつ、適切な撮影制御を行うことができる。

例えば、画像編集部１４は、撮影可否の設定情報が、「拒否」に設定されている情報端末２００に対応する範囲にマスク処理をする。この場合、「拒否」に設定されている情報端末２００の位置に基づいた所定の範囲のみマスク処理をするので、撮影されることを拒否するユーザのプライバシーを保護しつつ、他の箇所に対しては特に画像処理を施さないので、適切な撮影制御をすることができる。

また、画像編集部１４は、撮影可否の設定情報が、「拒否」に設定されている情報端末２００の位置に対応する人の箇所や、当該人の顔部分をマスク処理することにより、マスク処理をする箇所を制限することにより、より適切な撮影制御をすることができる。

前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用してもよい。

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１…ユーザ、１１…画像取得部、１２…位置取得部、１３…撮影可否情報取得部、１４…画像編集部、１５…画像出力部、２１…位置情報算出部、２２…撮影可否設定部、２３…撮影可否情報生成部、２４…撮影可否情報送出部、１００…撮影装置、１０１…主制御部、１０３…ＲＡＭ、１１０…ストレージ、１２０…操作入力部、１２１…操作キー、１２２…タッチセンサ、１２３…タッチパネル、１３０…画像処理部、１３１…表示部、１３２…画像信号処理部、１３３…第１画像入力部、１３４…第２画像入力部、１４０…音声処理部、１４１…音声出力部、１４２…音声信号処理部、１４３…音声入力部、１５０…センサ部、１５１…ＧＰＳ受信部、１５２…ジャイロセンサ、１５３…地磁気センサ、１５４…加速度センサ、１６０…通信処理部、１６１…ＬＡＮ通信部、１６２…電話網通信部、１６３…ＢＴ通信部、１７０…拡張Ｉ／Ｆ部、２０１…主制御部、２０３…ＲＡＭ、２１０…ストレージ、２２０…操作入力部、２２１…操作キー、２２２…タッチセンサ、２２３…タッチパネル、２３０…画像処理部、２３１…表示部、２３２…画像信号処理部、２３３…第１画像入力部、２３４…第２画像入力部、２４０…音声処理部、２４１…音声出力部、２４２…音声信号処理部、２４３…音声入力部、２５０…センサ部、２５１…ＧＰＳ受信部、２５２…ジャイロセンサ、２５３…地磁気センサ、２５４…加速度センサ、２６０…通信処理部、２６１…ＬＡＮ通信部、２６２…電話網通信部、２６３…ＢＴ通信部、２７０…拡張Ｉ／Ｆ部、３００…ネットワーク、４００…ＧＰＳ衛星、５００…サーバ装置。

Claims (5)

1. 画像情報に対して編集処理をする画像処理装置であって、
   画像情報を取得する画像取得部と、
   当該画像情報の撮影位置および撮影方向を取得する位置取得部と、
   外部情報端末の位置を示す位置情報と前記外部情報端末の周辺の撮影可否に関する設定情報とが関連付けられた撮影可否情報を取得する撮影可否情報取得部と、
   前記撮影可否情報取得部により取得された前記撮影可否情報における前記撮影可否に関する設定情報が撮影拒否を示している場合に、前記画像取得部により取得された前記画像情報における、前記位置取得部により取得された前記撮影位置および前記撮影方向と前記撮影可否情報取得部により取得された前記撮影可否情報における前記位置情報とから算出される前記画像処理装置に対する前記外部情報端末の相対的位置に対応する範囲に対してマスク処理をする画像編集部と、
   前記画像編集部により編集された画像情報を出力する画像出力部と、
   を含む、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像編集部は、前記位置取得部により取得された前記撮影位置および前記撮影方向と前記撮影可否情報取得部により取得された前記撮影可否情報における前記位置情報とから算出される前記画像処理装置に対する前記外部情報端末の相対的位置が前記画像処理装置の撮影画角の範囲内に含まれている場合に、前記マスク処理をする、画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記画像編集部は、前記範囲内の人の箇所に対して前記マスク処理をする、画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記画像編集部は、前記範囲内の人の箇所として、当該人の顔部分に対して前記マスク処理をする、画像処理装置。
5. 画像情報に対して編集処理をする画像処理装置で実行する画像処理方法であって、
   画像情報を取得する画像取得ステップと、
   当該画像情報の撮影位置および撮影方向を取得する位置取得ステップと、
   外部情報端末の位置を示す位置情報と前記外部情報端末の周辺の撮影可否に関する設定情報とが関連付けられた撮影可否情報を取得する撮影可否情報取得ステップと、
   前記撮影可否情報取得ステップで取得された前記撮影可否情報における前記撮影可否に関する設定情報が撮影拒否を示している場合に、前記画像取得ステップで取得した前記画像情報における、前記位置取得ステップで取得された前記撮影位置および前記撮影方向と前記撮影可否情報取得ステップで取得された前記撮影可否情報における前記位置情報とから算出される前記画像処理装置に対する前記外部情報端末の相対的位置に対応する範囲に対してマスク処理をする画像編集ステップと、
   前記画像編集ステップで編集した画像情報を出力する画像出力ステップと、
   を含む、画像処理方法。

Images