JP5760764B2 - 撮影装置、画像提供サーバ装置及び画像提供プログラム - Google Patents

撮影装置、画像提供サーバ装置及び画像提供プログラム Download PDF

Info

Publication number
JP5760764B2
JP5760764B2 JP2011148512A JP2011148512A JP5760764B2 JP 5760764 B2 JP5760764 B2 JP 5760764B2 JP 2011148512 A JP2011148512 A JP 2011148512A JP 2011148512 A JP2011148512 A JP 2011148512A JP 5760764 B2 JP5760764 B2 JP 5760764B2
Authority
JP
Japan
Prior art keywords
image data
identification information
communication medium
contact communication
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011148512A
Other languages
English (en)
Other versions
JP2013017050A (ja
Inventor
宣幸 小林
宣幸 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2011148512A priority Critical patent/JP5760764B2/ja
Publication of JP2013017050A publication Critical patent/JP2013017050A/ja
Application granted granted Critical
Publication of JP5760764B2 publication Critical patent/JP5760764B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、例えばイベント会場等の画像を撮影し、ネットワーク経由で提供する撮影サービスを提供する撮影装置、画像提供サーバ装置等に関する。
静止画等の写真や、動画等のビデオ映像等、ユーザのコンテンツを一元管理し、複数のユーザが共通のイベントに参加した際のコンテンツを、位置情報・時刻情報を基に分類して提供することにより、ユーザ間のコンテンツの共有を行う技術が知られている(例えば特許文献1)。
特開2006−75118号公報
しかしながら、特許文献1に開示された技術では、ユーザが、自分の写っている写真を見たい場合でも、画像データには、写っているユーザについての情報が対応付けられていないため、写っていそうな画像データを手当たり次第に探さないといけなかった。また、画像データ毎に写っているユーザについての情報を対応付けようとすると、膨大な作業が必要になる。
また、当該技術では、場所の人気度、写っている他のユーザとの親密度、注目度等を考慮した画像データの分類等を行っておらず、ユーザによる選択の利便性に対する改善の余地があった。
本発明は、上記課題を解決するためになされたものであり、その目的は、画像データに、写っているユーザについての情報等を簡易に対応付けることができ、利便性を向上させることができる撮影装置、画像提供サーバ装置及び画像提供プログラムを提供することにある。
(1)上記課題を解決するための本発明の撮影装置は、個体認識領域内の撮影を行って画像データを出力する撮影手段と、個々のユーザ毎に固有の識別情報を有する非接触通信媒体と、個体認識領域内の前記非接触通信媒体の識別情報を検出する個体認識手段と、コマンド入力領域内の前記非接触通信媒体の識別情報を検出するコマンド入力手段と、該コマンド入力手段により特定の前記非接触通信媒体が所定時間以上検出された際に前記撮影手段に撮影を指示する撮影指示手段と、該撮影指示手段によって撮影が指示された際に前記個体認識手段によって検出されている前記非接触通信媒体の識別情報を前記画像データと対応付けて保持する画像データベースとを備えている。
この発明によれば、撮像された画像データに、撮影指示手段によって撮影が指示された際に個体認識手段によって検出されている非接触通信媒体の識別情報を対応付けて画像データベースに保持することができ、画像データに写っているユーザについての情報を簡易に対応付けることができる。
(2)また、本発明の撮影装置は、前記画像データベースに、撮影指示手段によって撮影が指示された際に前記コマンド入力手段によって検出されている前記非接触通信媒体の識別情報を、前記画像データと前記個体認識手段によって検出されている前記非接触通信媒体の識別情報に対応付けて保持するように構成されている。
(3)また、本発明の撮影装置は、前記撮影手段を複数有し、前記画像データベースに、画像データを撮像した撮影手段毎に固有の識別情報を、前記前記個体認識手段によって検出されている前記非接触通信媒体の識別情報と前記画像データとに対応付けて保持するように構成されている。
(4)また、本発明の撮影装置は、前記個体認識手段を複数有し、前記撮像手段と各々の個体認識手段の間の距離に応じた情報を保持する配置情報保持手段と、前記画像データベースに、撮影指示手段によって撮影が指示された際に各個体認識手段によって検出されている前記非接触通信媒体の識別情報を、前記画像データと検出した個体認識手段の識別情報に対応付けて保持するように構成されている。
(5)また、本発明の画像提供サーバ装置は、個体認識領域内の撮影を行う撮影手段によって撮影された画像データと、当該画像データが撮影された際に前記個体認識領域内で検出された非接触通信媒体の識別情報とが対応付けられて格納された画像データベースと、特定のユーザ毎に、前記画像データベースから、当該ユーザに対応する非接触通信媒体の識別情報が対応付けられている画像データを選択し、選択した画像データ毎に、当該画像データに対応付けられている他のユーザの非接触通信媒体の識別情報に応じた親密度を求める親密度算出手段と、該親密度算出手段が求めた各々の画像データ毎の親密度に応じて、画像データのインデックスデータを作成するインデックス作成手段と、端末装置からの要求に応じて前記インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段とを備える構成を有している。
この発明によれば、画像データに対応付けられた非接触通信媒体の識別情報に応じて、同じ画像データに写っている他のユーザとの親密度に応じたインデックス画像を生成することができる。
(6)また、本発明の画像提供サーバ装置は、個体認識領域内の撮影を行う撮影手段によって撮影された画像データと、当該画像データが撮影された際に前記個体認識領域内で検出された非接触通信媒体の識別情報と、撮影が指示された際にコマンド入力領域内で検出されている前記非接触通信媒体の識別情報(操作者識別情報)とが対応付けられて格納された画像データベースと、特定のユーザ毎に、前記画像データベースから、当該ユーザに対応する非接触通信媒体の識別情報が対応付けられている画像データを選択し、選択した画像データ毎に、当該画像データに対応付けられている前記操作者識別情報に応じた注目度を求める注目度算出手段と、該注目度算出手段が求めた注目度に応じて、画像データのインデックスデータを作成するインデックス作成手段と、端末装置からの要求に応じて該インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段とを備える構成を有している。
(7)また、本発明の画像提供サーバ装置は、個体認識領域内の撮影を行う撮影手段によって撮影された画像データと、当該画像データが撮影された際に前記個体認識領域内で検出された非接触通信媒体の識別情報と、画像データを撮像した撮影手段が設置されている場所毎に固有の識別情報(記録端末識別情報)とが対応付けられて格納された画像データベースと、特定の記録端末識別情報が対応対応付けられている画像データを前記画像データベースから選択し、記録端末識別情報毎に、当該選択した画像データに対応付けられている前記個体認識手段によって検出されている前記非接触通信媒体の識別情報に応じた人気度を求める人気度算出手段と、該人気度算出手段が求めた人気度に応じて、画像データのインデックスデータを作成するインデックス作成手段と、端末装置からの要求に応じて該インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段とを備える構成を有している。
(8)また、本発明の画像提供サーバ装置は、個体認識領域内の撮影を行う撮影手段によって撮影された画像データと、当該画像データが撮影された際に前記個体認識領域内で検出された非接触通信媒体の識別情報と、撮影指示手段によって撮影が指示された際に各個体認識手段によって検出されている前記非接触通信媒体の識別情報とが対応付けられて格納された画像データベースと、前記撮像手段と各々の個体認識手段の間の距離に応じた情報を保持する配置情報保持手段と、特定のユーザ毎に、前記画像データベースから、当該ユーザに対応する非接触通信媒体の識別情報が対応付けられている画像データを選択し、選択した画像データ毎に、当該画像データに対応付けられている検出した固体認識手段の識別情報と前記配置情報保持手段に保持されている情報に応じた撮像手段までの近さを求める近接度算出手段と、該近接度算出手段が求めた近接度に応じて、画像データのインデックスデータを作成するインデックス作成手段と、端末装置からの要求に応じて該インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段とを備える構成を有している。
(9)また、本発明の画像提供プログラムは、画像データベースに格納されている画像データをネットワーク経由で端末装置に提供するサーバ装置で実行される画像提供プログラムであって、当該サーバ装置を、個体認識領域内の撮影を行う撮影手段によって撮影された画像データと、当該画像データが撮影された際に前記個体認識領域内で検出された非接触通信媒体の識別情報とが対応付けられて格納された画像データベースと、特定のユーザ毎に、前記画像データベースから、当該ユーザに対応する非接触通信媒体の識別情報が対応付けられている画像データを選択し、選択した画像データ毎に、当該画像データに対応付けられている他のユーザの非接触通信媒体の識別情報に応じた親密度を求める親密度算出手段と、該親密度算出手段が求めた各々の画像データ毎の親密度に応じて、画像データのインデックスデータを作成するインデックス作成手段と、端末装置からの要求に応じて前記インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段として機能させる。
本発明に係る撮影装置は、撮像された画像データに、撮影指示手段によって撮影が指示された際に個体認識手段によって検出されている非接触通信媒体の識別情報を対応付けて画像データベースに保持することができ、画像データに写っているユーザについての情報を簡易に対応付けることができ、利便性を向上させることができる。
また、本発明に係る画像提供サーバ装置は、親密度算出手段が、特定のユーザ毎に、前記画像データベースから、当該ユーザに対応する非接触通信媒体の識別情報が対応付けられている画像データを選択し、選択した画像データ毎に、当該画像データに対応付けられている他のユーザの非接触通信媒体の識別情報に応じた親密度を求め、インデックス作成手段が、親密度算出手段が求めた各々の画像データ毎の親密度に応じて、画像データのインデックスデータを作成することにより、画像データに対応付けられた非接触通信媒体の識別情報に応じて、同じ画像データに写っている他のユーザとの親密度に応じたインデックス画像を生成することができ、利便性を向上させることができる。
本発明の一実施形態における撮影システムの構成を示すブロック図である。 画像データベースに保持されるテーブルの例を示す図である。 会場内の記録端末装置の設置状況を示す図である。 画像データベースに保持されるテーブルの例を示す図である。 ログイン情報保持部に保持されるテーブルの例を示す図である。 撮影制御処理を示すフローチャートである。 画像データに対応する情報のテーブルを示す図である。 撮影に要した時間を求める処理を示す図である。 画像提供サーバ装置に対する画像データ等のアップロード処理を示すシーケンス図である。 画像データベースに保持されるテーブルの例を示す図である。 画像データベースに保持されるテーブルの例を示す図である。 インデックス情報の作成時に用いるテンプレートデータの例を示す図である。 画像データベースに保持されるテーブルの例を示す図である。 インデックス情報に応じてユーザ端末装置に表示される画像の例を示す図である。 インデックス情報に応じてユーザ端末装置に表示される画像の例を示す図である。 変形例の撮影システムの構成と個体認識領域内の重み付けを概念的に示す図である。
以下、本発明の各実施形態について、図面を参照しながら説明する。
なお、以下に説明する実施形態は、イベント会場やパーティ会場等の画像を撮影し、ネットワーク経由で提供する撮影システムに、本発明に係る撮影装置等を適用した場合の実施形態である。
<構成>
まず、図1を用いて撮影システムの構成について説明する。なお、図1は、当該撮影システムの全体の構成を示す図である。
この映像配信システムは、ファンイベント等の会場に設置され、会場の画像を撮影する記録端末装置10と、記録端末装置10によって撮影された画像の管理を行う撮影サーバ装置20と、ネットワーク1経由でユーザ端末装置40に画像データを提供する画像提供サーバ装置30とを備えている。なお、この構成例では、記録端末装置10、撮影サーバ装置20及び画像提供サーバ装置30を独立した装置として構成した例を示しているが、これらの一つの装置として構成することもでき、あるいは、撮影サーバ装置20と画像提供サーバ装置30等の、いずれか2つの装置を同一の装置として構成することもできる。
記録端末装置10は、画像を撮影するカメラ11[撮影手段]と、ユーザが足首や靴等に装着するICタグ12[非接触通信媒体]と、個体認識領域13内にあるICタグ12を認識する個体認識用リーダライタ(R/W)14[個体認識手段]と、コマンド入力領域15内にあるICタグ12を認識するコマンド用リーダライタ(R/W)16[コマンド入力手段]と、カメラ11と個体認識用R/W14及びコマンド用R/W16の制御等を行うコントローラ17[撮影指示手段]とを備えている。また、会場の床面等には、ユーザが個体認識領域13とコマンド入力領域15の位置を認識するための表示と、カメラ11の位置を示す表示19が設けられている。
カメラ11は、コントローラ17からの指示に応じて撮影を行い、例えばEyeFi(商標)等のように、撮影した画像の画像データを無線ネットワーク経由で撮影サーバ装置20に送信する送信機能を有している。
ICタグ12は、例えば個々のICタグ12毎に固有の識別情報が割り当てられたRFID等の非接触ICカード等で構成されている。個体認識用R/W14とコマンド用R/W16は、各々の検出領域(個体認識領域13、コマンド入力領域15)内にあるICタグ12との間で無線通信を行い、当該領域内にあるICタグ12からの情報(個々のICタグ12毎に割り当てられた固有のタグIDと内部識別情報)を読み取るようになっている。個体認識用R/W14とコマンド用R/W16の検出領域は、各々個体認識領域13とコマンド入力領域15に対応するマット状のアンテナの配置等によって調整することができるようになっている。これにより、個体認識用R/W14は個体認識領域13内のICタグ12を検出し、コマンド用R/W16は、コマンド入力領域15内のICタグ12を検出するように配置されている。ICタグ12、個体認識用R/W14、及びコマンド用R/W16には、例えばTYPE−A、TYPE−B、Felica(登録商標)、NFC等の規格に準拠した製品を使用することができる。
コントローラ17は、例えばパーソナルコンピュータ等の情報処理装置から構成されており、制御用のソフトウェアの実行により、コントローラ17として機能し、コマンド用R/W16が検出したICタグ12の情報等に基づいてカメラ11の制御等を実行する。
また、撮影サーバ装置20は、例えばパーソナルコンピュータ等の情報処理装置から構成されており、制御用のソフトウェアの実行により、無線ネットワーク経由でカメラ11からの画像データを取得する画像取得部21と、コントローラ17から画像データに対応する情報を取得する被写体情報取得部22と、画像データ等を保持する画像データベース23と、ログイン情報保持部25に保持されているログイン情報を用いて画像データベース23に保持されている画像データ等を画像提供サーバ装置30にアップロードするアップロード処理部24と、ユーザ端末装置40等から受信したログイン情報をログイン情報保持部25に登録する登録処理部26として機能する。なお、登録処理部26は、例えばHTTPサーバとして実装されており、所定の入力フォームを介してユーザが入力したログイン情報をログイン情報保持部25に登録するようになっている。
また、画像提供サーバ装置30は、例えばパーソナルコンピュータ等の情報処理装置から構成されており、制御用のソフトウェアの実行により、ユーザ認証を行うログイン処理部31と、画像データ等を保持する画像データベース32と、画像データベース32に保持されている画像データのインデックスを作成するインデックス作成部33と、作成されたインデックスを提供するインデックス提供部34として機能する。
なお、インデックス提供部34は、例えばHTTPサーバとして実装されており、インデックス作成部33は、HTTPサーバのバックエンドで動作し、画像データベース32等に対するデータ操作を実行するデータベースサーバとして実装されている。また、ログイン処理部31は、IDとパスワードによってユーザの認証を行って、データベースサーバに対するアクセスを制限する認証機能として実装されている。
また、ユーザ端末装置40は、例えばパーソナルコンピュータ・携帯情報端末装置等の情報処理装置から構成されており、ネットワーク1を介して画像提供サーバ装置30等と通信を行う通信処理部41(図示せず)と、画像提供サーバ装置30が提供するインデックスの閲覧等を行うWebブラウザ42(図示せず)と、Webブラウザ42等の画像を表示する表示部43(図示せず)と、ユーザからの指示等を入力する入力部44(図示せず)とを備えている。
<データ構造>
図2は、この撮影システムを使用する個々のユーザ毎に固有の識別情報(ユーザID)と当該ユーザが使用しているICタグ12のタグID及び内部識別情報との対応関係を示すテーブル23Aの構成を示している。
会場が広い場合には、例えば図3に示すように、複数の記録端末装置10を設置するようにしてもよい。この図3は、会場を複数の領域(エリア001、エリア002、エリア003)に区切り、複数の記録端末装置10を設置した場合の例を示している。各々の領域には固有の設置場所IDを割り当てている。
また、画像データベース23には、例えば図4に示すように、個々の記録端末装置10毎に、テーブル23Cが保持されている。このテーブル23Cには、記録端末装置10の記録端末IDに対応させて、当該記録端末装置10が設置された領域の設置場所IDと、個々のカメラ11毎に固有の識別情報(記録手段ID)と、個々の個体認識用R/W14毎に固有の識別情報(個体認識手段)と、個々のコマンド用R/W16毎に固有の識別情報(コマンド入力手段)とが記録されている。
また、ログイン情報保持部25には、例えば図5に示すように、各ユーザのユーザID毎に、画像データのアップロード先の画像提供サーバ装置30のURL(アップロード先)と、当該画像提供サーバ装置30における、当該ユーザのアカウント名とパスワードが登録されている。
<動作:事前準備>
上述のように構成された撮影システムでは、当該撮影システムの運営者が、記録端末装置10と撮影サーバ装置20を会場内に設置し、上述の図4に示すテーブルを設定する。
ユーザには、予めユーザIDが割り当てられており、この撮影システムを使用する際には、予めユーザにICタグ12を渡し、撮影サーバ装置20側でキーボード等の入力装置を用いて、ユーザのユーザIDと当該ユーザが使用するICタグ12のタグID及び内部識別情報との対応関係を入力し、上述の図2に示すテーブル23Aに登録しておく。
また、ユーザは、ICタグ12を足首や靴等に装着する。さらに、ユーザは、ユーザ端末装置40等のWebブラウザを操作して、登録処理部26が提供する入力フォームを介してログイン情報を入力する。入力されたログイン情報は登録処理部26がログイン情報保持部25のテーブル25Bに登録する。
<動作:撮影>
個体認識用R/W14及びコマンド用R/W16は、所定時間(例えば1秒)毎に、個体認識領域13及びコマンド入力領域15内に存在しているICタグ12のタグID及び内部識別情報を読み取り、コントローラ17に送信している。コントローラ17は、個体認識用R/W14及びコマンド用R/W16によって検出されたICタグ12のタグID及び内部識別情報を保持しており、カメラ11による撮影の制御等の処理を実行する。なお、この内部識別情報は、当該撮影システム専用のICタグ12であることを判別するために用いている。
ユーザが記録端末装置10を用いて撮影を行う際には、個体認識領域13内に所定時間(例えば5秒)滞在する。コントローラ17は、例えば図6に示すような撮影制御処理を実行している。コントローラ17は、当該処理の終了が指示される(S15)までの間、コマンド入力領域15内にICタグ12が存在しているか否かを検出し(S11)、検出されると、コマンド入力領域15内に連続して5秒以上ICタグ12が存在しているかを確認し(S12)、5秒以上ICタグ12が存在したときにカメラ11に撮影を指示する(S13)。カメラ11は、撮影が指示されると、撮影した画像データを当該カメラ11に対応する記録端末装置10に割り当てられた識別情報[記録端末ID]等と共に撮影サーバ装置20の画像取得部21宛に送信する。
この後、コントローラ17は、当該撮影を行ったユーザ(コマンド入力領域15内に5秒以上滞在したユーザ)が使用しているICタグ12のタグID及び内部識別情報と、カメラ11に撮影を指示した際に個体認識領域13内に存在していたICタグ12すなわち撮影されたユーザが使用しているICタグ12のタグID及び内部識別情報と、ユーザが撮影に要した時間を被写体情報取得部22宛に送信する(S14)。
画像取得部21は、カメラ11からの画像データに固有の識別情報(コンテンツID)を付与して画像データベース23に格納する。被写体情報取得部22は、コンテンツIDにコントローラ17からの情報を対応付けて画像データベース23に格納する。これにより、画像データベース23には、例えば図7に示すように、各画像データのコンテンツIDに対応付けられた、イベント毎に固有の識別情報(イベントID)、撮影を行った記録端末装置10の記録端末ID、撮影を行った日時、操作者のタグID、記録対象者のタグID等の情報23Dが格納される。
上述の「ユーザが撮影に要した時間」は、例えば以下のような処理によってコントローラ17が求める。コントローラ17は、上述のように、個体認識用R/W14及びコマンド用R/W16が検出したICタグ12のタグIDを保持している。これらのタグIDは、例えば図8に示すように、時刻に対応付けて保持されている。あるユーザによる撮影が実行される前に、当該ユーザが個体認識領域13内に入り、当該ユーザが使用しているICタグ12が個体認識用R/W14によって検出されてから撮影が実行されるまでの時間を「撮影に要した時間」とする。
例えば、図8中のコンテンツID“010”の画像データについては、操作者ID“001”に対応するユーザが個体認識領域13に入り、個体認識用R/W14によって記録対象者ID“001”として検出された時刻“12:00:11”から、当該画像データが撮像された時刻“12:00:23”までの13秒が「撮影に要した時間」となる。また、図8中のコンテンツID“011”の画像データについては、操作者ID“001”に対応するユーザが個体認識用R/W14によって記録対象者ID“001”として検出された時刻“12:00:11”から、当該画像データが撮像された時刻“12:00:30”までの20秒が「撮影に要した時間」となる。
なお、コントローラ17は、連続している2回分のいずれかで当該ユーザのタグIDが記録対象者IDとして検出されていれば、当該2回分の時間、当該ユーザが個体認識領域13内に居たものとして扱って「撮影に要した時間」を求めている。例えば図8の例では、時刻“12:00:17”において、記録対象者IDとして“001”は検出されていないが、その前後の時刻において記録対象者IDとして“001”が検出されているため、コントローラ17は、時刻“12:00:17”において
“001”に対応するユーザが個体認識領域13内に居たものとして扱っている。
<動作:アップロード処理>
上述のように、画像データベース23に画像データと記録対象者ID、操作者ID等の情報23Dが格納されると、アップロード処理部24は、例えば図9に示すように、これらの画像データと、これに対応する情報23Dを画像提供サーバ装置30にアップロードする。具体的には、アップロード処理部24は、アップロードしようとする画像データに対応する情報23D中の記録対象者IDに対応する全てのユーザについて、順次、上述の図5に示すテーブル中のアカウント名、パスワードを用い、アップロード先に対応する画像提供サーバ装置30のログイン処理部31にログイン処理を行い、画像データと、これに対応する情報23Dをアップロードする。
これにより、画像データに対応する記録対象者である各ユーザ毎の画像データベース32内の領域には、当該画像データと、例えば図10に示す当該画像データに対応する情報32Aとが格納された状態となり、アップロード処理が終了する。
<動作:インデックス作成処理>
インデックス作成部33は、一定時間毎に、画像データベース32内のデータに基づいて、各ユーザ毎に、画像データベース32内の当該ユーザの領域に格納されている画像データ毎の重要度(スコア)を求めてインデックスデータを作成する。
画像データ毎のスコアは、例えば記録端末装置10が設置された「場所の人気度」、「一緒に写っている他のユーザとの親密度」及び「当該ユーザの注目度」を用いて、インデックス作成部33が算出する。
「場所の人気度」は、例えば「記録対象者」の人数が多いほどスコアが高く、「記録対象者1人あたりの記録回数」が多いほどスコアが高く、「記録1回あたりの記録人数」が多いほどスコアが高くなるように設定する。具体的には、インデックス作成部33が、以下の式によって求める。なお、次式中のa[0]、a[1]、a[2]は次式の左辺各項の重み付け値であり、情報32A内の分布に応じて統計的に処理して設定する。
Figure 0005760764
インデックス作成部33は、画像データベース32に登録された全てのユーザの画像データに対応する情報32Aを解析し、記録端末装置10に対応する記録端末ID毎に、記録対象者の延べ数を求め、「画像データに対応する記録対象者の数」とする。これにより、例えば記録端末IDが“001”である記録端末装置10で記録したユーザ(記録対象者)が5名、記録端末IDが“002”である記録端末装置10で記録したユーザ(記録対象者)が3名であったとすると、記録端末IDが“001”である記録端末装置10で撮影した画像データの重みが大きくなる。
また、インデックス作成部33は、記録端末装置10に対応する記録端末ID毎に、記録対象者1人あたりの平均記録回数を求め、「記録対象者1人あたりの記録回数」とする。これにより、例えば記録端末IDが“001”である記録端末装置10での記録対象者1人あたりの記録回数が2回、記録端末IDが“002”である記録端末装置10での記録対象者1人あたりの記録回数が3回であったとすると、記録端末IDが“002”である記録端末装置10で撮影した画像データの重みが大きくなる。
また、インデックス作成部33は、記録端末装置10に対応する記録端末ID毎に1回の撮影あたりの記録対象者数の平均値を求め、「記録1回あたりの記録対象者の人数」とする。これにより、例えば記録端末IDが“001”である記録端末装置10での撮影1回あたり記録対象者の数が3.0人、記録端末IDが“002”である記録端末装置10での撮影1回あたり記録対象者の数が2.0人であったとすると、記録端末IDが“001”である記録端末装置10で撮影した画像データの重みが大きくなる。このような動作により、画像データのスコアとして「場所の人気度」を算出することができる。
「一緒に写っている他のユーザとの親密度」は、一緒に記録した回数が多いほど親密度が高く、1回あたりの記録で一緒に映った人数が少ないほど、親密度が高く、色々な場所で一緒に映った回数が多いほど親密度が高く、一緒に映っているユーザの親密度が平均として高いと、スコアが高くなるように設定する。具体的には、インデックス作成部33が、当該画像データに対応する情報32A中の記録対象者となっている他の全てのユーザについて、以下の式によって求める。
Figure 0005760764
インデックス作成部33は、当該画像データの記録対象者となっている他の全てのユーザに対して当該ユーザとの二者間の親密度を求め、これらの和を上式の分子とし、記録対象者となっている他のユーザの総数を上式の分母として、「一緒に写っている他のユーザとの親密度」を求める。ここで、他のユーザとの二者間の親密度は、次式によって求める。なお、次式中のb[0]、b[1]、b[2]は次式の左辺各項の重み付け値であり、情報32A内の分布に応じて統計的に処理して設定する。
Figure 0005760764
このような算出方法によって「一緒に写っている他のユーザとの親密度」を求めることにより、いずれかが撮影者かどうか、色々な場所で撮影しているかといった情報を使うことで、偶然一緒に映ってしまっただけの他のユーザとの関係について親密度を低くすることできる。また、このような動作により、画像データに映っているユーザ同士の親密度をスコアとして求めることができる。
「当該ユーザの注目度」は、ユーザが記録者本人であると、スコアが高く、ユーザが記録にかけた時間が長いほど、スコアが高くなるように設定する。具体的には、インデックス作成部33が、次式によって求める。なお、次式中のc[0]、c[1]は次式の左辺各項の重み付け値であり、情報32A内の分布に応じて統計的に処理して設定する。
Figure 0005760764
ある画像データについて、当該ユーザが記録者であるか否かは、当該画像データに対応する情報32A中の「操作者」が当該ユーザのユーザIDであるか否かで判断する。なお、情報32A中の「操作者」は、当該ユーザが使用しているICタグ12のタグIDなので、インデックス作成部33は、例えば登録処理部26に問い合わせを行い、テーブル23A中の当該ユーザのユーザIDに対応するタグIDを取得し、情報32A中のユーザID(「操作者」に対応するタグID)と一致するかを判別する。このように、当該ユーザが操作者の場合には、当該ユーザの意思で撮影しているため、撮影された画像データのスコアが大きくなるように、「当該ユーザの注目度」を求めている。
また、記録にかけた時間は、情報32A中の「記録にかけた時間」で判断する。「記録にかけた時間」が長ければ、写っているユーザ(記録対象者)達が手間ひまをかけて(こだわって)撮影していると考えられ、撮影された画像データの生成したコンテンツのスコアが大きくなるように、「当該ユーザの注目度」を求めている。このような動作により、ユーザが手間をかけて撮影したであろう画像データのスコアを「当該ユーザの注目度」として、その数値を求めることができる。
上述のように、「場所の人気度」WA、「一緒に写っている他のユーザとの親密度」WB及び「当該ユーザの注目度」WCを求めると、インデックス作成部33は、次式により、各画像データ毎に、これらを総合したスコアWを求め、例えば図11に示すように、画像データのコンテンツIDに対するスコアを示すテーブル32Bを作成する。なお、このテーブルは、上述のように、各々のユーザ毎に作成する。また、次式中のα、β、γは、次式の左辺各項の重み付け値であり、情報32A内の分布に応じて統計的に処理して設定する。
Figure 0005760764
上述のように、スコアを求めると、インデックス作成部33は、例えば図12に示すような画像を表示させるテンプレートのデータを用いてインデックスデータを作成する。テンプレートのデータは、画像表示領域51内に、スコアに応じた順序で画像データを表示する領域52〜56と、画像についての情報を表示する領域58の定義等を含むHTML形式等のページ記述データから構成される。
インデックス作成部33は、このテンプレートのデータに、スコアに応じて選択した画像データに対するリンクの記述、画像データに対応する情報等を追加してインデックスデータを作成する。画像データに対するリンクの記述は、上述の図11中のスコアが高い順に、コンテンツIDに対応する画像データのURL等を領域52、領域53、領域54、領域55、領域56に対応する部分の記述に追加する。画像データに対応する情報は、インデックス作成部33が、例えば図13に示すように、上述の情報32Aを集計したテーブル32Cから、上述の図11中のスコアが最高の画像データに対応するコンテンツID、記録日時、記録端末ID、記録対象者等を取得してテンプレートのデータに追加してインデックスデータを作成する。
このようにインデックス作成部33が作成したインデックスデータは、インデックス提供部34がユーザ端末装置40等からの要求に応じてネットワーク1を介して提供する。このインデックスデータに応じて、ユーザ端末装置40等で実行されているWebブラウザ等により、例えば図14及び図15に示すような画像が表示される。
ユーザは、ユーザ端末装置40等のWebブラウザを操作して、インデックス提供部34からのインデックスデータを閲覧し、見たい画像データを選択する。画像データが選択されると、選択された画像データに対するリンクの記述に応じて、Webブラウザが画像提供サーバ装置30に画像データの送信を要求し、これに応じて画像提供サーバ装置30から供給される画像データを閲覧することができる。
<効果>
この実施形態では、上述のように、画像データの撮影時に個体認識領域13内に居るユーザが使用しているICタグ12の情報を記録することにより、画像データに写っているユーザについての情報を、簡易に記録しておくことができる。これにより、画像データに写っているユーザについての情報に基づいて、画像データを選択することが容易になる。
また、この実施形態では、上術のように、「場所の人気度」、「一緒に写っている他のユーザとの親密度」、「当該ユーザの注目度」を重要度(スコア)として求めてインデックスデータを作成し、ユーザが使用するユーザ端末装置40等に対して提供することにより、ユーザにとって重要な画像データを探しやすくすることができ、利便性を向上させることができる。
<変形例1>
上述の説明では、個体認識領域13内のユーザについては、一律に扱って上述のスコアを求めていたが、個体認識領域13内の領域を細分化し、各々記録対象者について、いずれの領域に居るかの情報も記録しておき、例えば図16に示すように、カメラ11に近い方に居るユーザのスコアが大きくなるようにしてもよい。個体認識領域13中の各領域内の数字はスコアを求める際の重みWtを示している。
具体的には、細分化した領域毎に、個体認識用R/W14〜14を設置し、いずれの個体認識用R/W14〜14により記録対象者として検出されたかを記録しておく。各々の記録対象者が検出された領域についての情報は、別途画像提供サーバ装置30側に提供して保持しておき[配置情報保持手段]、画像提供サーバ装置30側で重み付けを行って「カメラまでの近さ」WDを求め、上述のスコアに反映させる。
カメラ11から記録対象者までの距離が近いほうが、撮影された画像データ中に大きく映るため、スコアが大きくなるように、「カメラまでの近さ」を求めている。具体的には、インデックス作成部33は、次式に従って、「カメラまでの近さ」WDを求める。なお、次式中のd[0]は次式の左辺の重み付け値であり、情報32A内の分布に応じて統計的に処理して設定する。
Figure 0005760764
この変形例1では、インデックス作成部33は、次式により、各画像データ毎に、スコアW’を求める。なお、このテーブルは、上述のように、各々のユーザ毎に作成する。また、次式中のα、β、γ、δは、次式の左辺各項の重み付け値であり、情報32A内の分布に応じて統計的に処理して設定する。
Figure 0005760764
以上の処理により、この変形例1では、カメラ11までの近さに応じた重み付けを行ってスコアを求めているため、カメラ11に近い、すなわち、自分が画像データ中に大きく写っている画像データを上位に表示することができる。
<変形例2>
上述の説明では、インデックス作成部33がインデックスを作成する際に、スコア順に画像データを選択するようにしていたが、例えば一定時間内でのスコア順で画像データを選択したり、記録端末装置10を設置した領域(エリア)別のスコア順で画像データを選択したりしてもよく。さらに、これらを組み合わせてインデックスを作成するようにしてもよい。これにより、ユーザの利便性をさらに向上させることができる。また、例えば複数のユーザ(自分と他人であっても、他人だけでもよい)を指定し、当該複数のユーザのIDを含む画像データを対象とし、上述のスコア上位順に表示してもよい。
<変形例3>
上述の説明では、会場で撮影を行う前に、各々のユーザがログイン情報を設定するようにしていたが、撮影後に、ログイン情報を設定するようにしてもよい。この場合は、アップロード処理部24による画像提供サーバ装置30に対するアップロード処理は、ユーザがログイン情報を設定した後に行うようにする。
<変形例4>
上述の説明では、撮影サーバ装置20に画像提供サーバ装置30に対するログイン情報を保持しておき、アップロード処理部24がこのログイン情報を用いてアップロード処理を行うようにしていたが、セキュリティの向上等の観点から、撮影サーバ装置20にはログイン情報を保持せず、パススルー認証等の方法により、画像提供サーバ装置30に対するログイン処理を行うようにしてもよい。
<変形例5>
上述の説明では、インデックス作成部33が、一定時間毎にインデックスデータを作成する動作としていたが、インデックス作成部33が、ユーザ端末装置40等から要求があったタイミングで、インデックスデータを作成し、インデックス提供部34がユーザ端末装置40等に提供する動作としてもよい。
1 … ネットワーク
10 … 記録端末装置
11 … カメラ
12 … ICタグ
14 … 個体認識用R/W
16 … コマンド用R/W
17 … コントローラ
20 … 撮影サーバ装置
23 … 画像データベース
24 … アップロード処理部
30 … 画像提供サーバ装置
31 … ログイン処理部
32 … 画像データベース
33 … インデックス作成部
34 … インデックス提供部
40 … ユーザ端末装置

Claims (9)

  1. 個体認識領域内の撮影を行って画像データを出力する撮影手段と、
    個々のユーザ毎に固有の識別情報を有する非接触通信媒体と、
    個体認識領域内の前記非接触通信媒体の識別情報を検出する個体認識手段と、
    コマンド入力領域内の前記非接触通信媒体の識別情報を検出するコマンド入力手段と、
    該コマンド入力手段により特定の前記非接触通信媒体が所定時間以上検出された際に前記撮影手段に撮影を指示する撮影指示手段と、
    該撮影指示手段によって撮影が指示された際に前記個体認識手段によって検出されている前記非接触通信媒体の識別情報を前記画像データと対応付けて保持する画像データベースと、を備え、
    前記画像データベースに、前記撮影指示手段によって撮影が指示された際に前記コマンド入力手段によって検出されている前記非接触通信媒体の識別情報を、前記画像データと前記個体認識手段によって検出されている前記非接触通信媒体の識別情報に対応付けて保持する、撮影装置。
  2. 請求項1に記載の撮影装置において、
    前記撮影手段を複数有し、
    前記画像データベースに、前記画像データを撮像した撮影手段毎に固有の識別情報を、前記個体認識手段によって検出されている前記非接触通信媒体の識別情報と前記画像データとに対応付けて保持する、撮影装置。
  3. 請求項1又は2に記載の撮影装置において、
    前記個体認識手段を複数有し、
    前記撮影手段と各々の個体認識手段の間の距離に応じた情報を保持する配置情報保持手段と、
    前記画像データベースに、前記撮影指示手段によって撮影が指示された際に各個体認識手段によって検出されている前記非接触通信媒体の識別情報を、前記画像データと検出した個体認識手段の識別情報に対応付けて保持する、撮影装置。
  4. コマンド入力領域内の特定の非接触通信媒体が所定時間以上検出された際に個体認識領域内の撮影を行う撮影手段によって撮影された画像データを取得する第1取得手段と、
    前記画像データが撮影された際に前記特定の非接触通信媒体の識別情報及び前記個体認識領域内で検出された非接触通信媒体の識別情報を取得する第2取得手段と、
    前記撮影手段によって撮影された画像データと、前記特定の非接触通信媒体の識別情報及び前記個体認識領域内で検出された非接触通信媒体の識別情報と、が対応付けられて格納された画像データベースと、
    特定のユーザ毎に、前記画像データベースから、当該ユーザに対応する非接触通信媒体の識別情報が対応付けられている画像データを選択し、選択した画像データ毎に、所定の演算を実行して重要度を算出する算出手段と、
    前記算出された重要度に応じて、前記画像データのインデックスデータを作成するインデックス作成手段と、
    端末装置からの要求に応じて前記インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段と、を備える、画像提供サーバ装置。
  5. コマンド入力領域内の特定の非接触通信媒体が所定時間以上検出された際に個体認識領域内の撮影を行う撮影手段によって撮影された画像データを取得する第1取得手段と、
    前記画像データが撮影された際に前記特定の非接触通信媒体の識別情報及び前記個体認識領域内で検出された非接触通信媒体の識別情報を取得する第2取得手段と、
    前記撮影手段によって撮影された画像データと、前記特定の非接触通信媒体の識別情報及び当該画像データが撮影された際に前記個体認識領域内で検出された非接触通信媒体の識別情報とが対応付けられて格納された画像データベースと、
    特定のユーザ毎に、前記画像データベースから、当該ユーザに対応する非接触通信媒体の識別情報が対応付けられている画像データを選択し、選択した画像データ毎に、当該画像データに対応付けられている他のユーザの非接触通信媒体の識別情報に応じた親密度を求める親密度算出手段と、
    該親密度算出手段が求めた各々の画像データ毎の親密度に応じて、前記画像データのインデックスデータを作成するインデックス作成手段と、
    端末装置からの要求に応じて前記インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段とを備える、画像提供サーバ装置。
  6. コマンド入力領域内の特定の非接触通信媒体が所定時間以上検出された際に個体認識領域内の撮影を行う撮影手段によって撮影された画像データを取得する第1取得手段と、
    前記画像データが撮影された際に前記特定の非接触通信媒体の識別情報及び前記個体認識領域内で検出された非接触通信媒体の識別情報を取得する第2取得手段と、
    前記撮影手段によって撮影された画像データと、当該画像データが撮影された際に前記個体認識領域内で検出された非接触通信媒体の識別情報と、撮影が指示された際にコマンド入力領域内で検出されている前記非接触通信媒体の識別情報(操作者識別情報)とが対応付けられて格納された画像データベースと、
    特定のユーザ毎に、前記画像データベースから、当該ユーザに対応する非接触通信媒体の識別情報が対応付けられている画像データを選択し、選択した画像データ毎に、当該画像データに対応付けられている前記操作者識別情報に応じた注目度を求める注目度算出手段と、
    該注目度算出手段が求めた注目度に応じて、画像データのインデックスデータを作成するインデックス作成手段と、
    端末装置からの要求に応じて該インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段とを備える、画像提供サーバ装置。
  7. コマンド入力領域内の特定の非接触通信媒体が所定時間以上検出された際に個体認識領域内の撮影を行う撮影手段によって撮影された画像データを取得する第1取得手段と、
    前記画像データが撮影された際に前記特定の非接触通信媒体の識別情報及び前記個体認識領域内で検出された非接触通信媒体の識別情報を取得する第2取得手段と、
    前記撮影手段によって撮影された画像データと、前記特定の非接触通信媒体の識別情報及び当該画像データが撮影された際に前記個体認識領域内で検出された非接触通信媒体の識別情報と、画像データを撮像した撮影手段が設置されている場所毎に固有の識別情報(記録端末識別情報)とが対応付けられて格納された画像データベースと、
    特定の記録端末識別情報が対応対応付けられている画像データを前記画像データベースから選択し、記録端末識別情報毎に、当該選択した画像データに対応付けられている前記非接触通信媒体の識別情報に応じた人気度を求める人気度算出手段と、
    該人気度算出手段が求めた人気度に応じて、前記画像データのインデックスデータを作成するインデックス作成手段と、
    端末装置からの要求に応じて該インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段とを備える、画像提供サーバ装置。
  8. 個体認識領域内の撮影を行う撮影手段によって撮影された画像データと、当該画像データが撮影された際に前記個体認識領域内で検出された非接触通信媒体の識別情報と、撮影指示手段によって撮影が指示された際に各個体認識手段によって検出されている前記非接触通信媒体の識別情報とが対応付けられて格納された画像データベースと、
    前記撮影手段と各々の個体認識手段の間の距離に応じた情報を保持する配置情報保持手段と、
    特定のユーザ毎に、前記画像データベースから、当該ユーザに対応する非接触通信媒体の識別情報が対応付けられている画像データを選択し、選択した画像データ毎に、当該画像データに対応付けられている検出した固体認識手段の識別情報と前記配置情報保持手段に保持されている情報に応じた撮影手段までの近さを求める近接度算出手段と、
    該近接度算出手段が求めた近接度に応じて、前記画像データのインデックスデータを作成するインデックス作成手段と、
    端末装置からの要求に応じて該インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段とを備える、画像提供サーバ装置。
  9. 像データをネットワーク経由で端末装置に提供するサーバ装置で実行される画像提供プログラムであって、
    当該サーバ装置を、
    コマンド入力領域内の特定の非接触通信媒体が所定時間以上検出された際に個体認識領域内の撮影を行う撮影手段によって撮影された画像データを取得する第1取得手段と、
    前記画像データが撮影された際に前記特定の非接触通信媒体の識別情報及び前記個体認識領域内で検出された非接触通信媒体の識別情報を取得する第2取得手段と、
    前記撮影手段によって撮影された画像データと、前記特定の非接触通信媒体の識別情報及び前記個体認識領域内で検出された非接触通信媒体の識別情報と、が対応付けられて格納された画像データベース、
    特定のユーザ毎に、前記画像データベースから、当該ユーザに対応する非接触通信媒体の識別情報が対応付けられている画像データを選択し、選択した画像データ毎に、所定の演算を実行して重要度を算出する算出手段、
    前記算出された重要度に応じて、前記画像データのインデックスデータを作成するインデックス作成手段、及び、
    前記端末装置からの要求に応じて前記インデックス作成手段が作成したインデックスデータを提供するインデックス提供手段、
    として機能させる画像提供プログラム。
JP2011148512A 2011-07-04 2011-07-04 撮影装置、画像提供サーバ装置及び画像提供プログラム Expired - Fee Related JP5760764B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011148512A JP5760764B2 (ja) 2011-07-04 2011-07-04 撮影装置、画像提供サーバ装置及び画像提供プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011148512A JP5760764B2 (ja) 2011-07-04 2011-07-04 撮影装置、画像提供サーバ装置及び画像提供プログラム

Publications (2)

Publication Number Publication Date
JP2013017050A JP2013017050A (ja) 2013-01-24
JP5760764B2 true JP5760764B2 (ja) 2015-08-12

Family

ID=47689285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011148512A Expired - Fee Related JP5760764B2 (ja) 2011-07-04 2011-07-04 撮影装置、画像提供サーバ装置及び画像提供プログラム

Country Status (1)

Country Link
JP (1) JP5760764B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017134568A (ja) * 2016-01-27 2017-08-03 ラポ株式会社 画像共有支援システム
JP6615044B2 (ja) * 2016-05-04 2019-12-04 日本ノーベル株式会社 写真撮影配信システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4659184B2 (ja) * 2000-07-25 2011-03-30 株式会社日立製作所 娯楽施設のサービスシステム
JP2002185893A (ja) * 2000-12-11 2002-06-28 Makers Shop:Kk 画像情報提供システムおよび画像情報提供システム制御用プログラム記録媒体
JP2005099165A (ja) * 2003-09-22 2005-04-14 Fuji Photo Film Co Ltd 自動撮影システム
JP2007041964A (ja) * 2005-08-04 2007-02-15 Matsushita Electric Ind Co Ltd 画像処理装置
JP2009124539A (ja) * 2007-11-16 2009-06-04 Dainippon Printing Co Ltd 写真画像提供サーバ、写真画像提供システムおよび方法

Also Published As

Publication number Publication date
JP2013017050A (ja) 2013-01-24

Similar Documents

Publication Publication Date Title
JP5150067B2 (ja) 監視システム、監視装置及び監視方法
JP2018032950A (ja) 情報処理装置及びその方法、コンピュータプログラム
JP2018084890A (ja) 情報処理装置、情報処理方法、およびプログラム
US20190147251A1 (en) Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium
US8897484B1 (en) Image theft detector
JP2019091395A (ja) 情報処理装置、監視システム、方法及びプログラム
JP2019020777A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
JP5760764B2 (ja) 撮影装置、画像提供サーバ装置及び画像提供プログラム
US10984249B2 (en) Information processing apparatus, system, control method for information processing apparatus, and non-transitory computer readable storage medium
JP2007293399A (ja) 画像交換装置および画像交換方法ならびに画像交換処理プログラム
JP2020197849A (ja) 情報処理装置、制御方法およびプログラム
JP2015072633A (ja) 画像処理装置及びプログラム
JP2020052822A (ja) 情報処理装置、認証システムおよびそれらの制御方法、プログラム
JP7400886B2 (ja) ビデオ会議システム、ビデオ会議方法、およびプログラム
JP2005327156A (ja) 関係検知システム
JP7206741B2 (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
KR20160044858A (ko) 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체
JP2009124539A (ja) 写真画像提供サーバ、写真画像提供システムおよび方法
WO2022176342A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
JP2021043546A (ja) 情報処理装置、制御方法およびプログラム。
JP5002415B2 (ja) データアクセス制御装置
JP2018033103A (ja) フレームレート判定装置、フレームレート判定方法及びフレームレート判定用コンピュータプログラム
JP2019135636A (ja) 自分史作成支援システム
WO2022009380A1 (ja) サーバ装置、入退場管理システム、サーバ装置の制御方法及び記憶媒体
JP2019159587A (ja) オンラインサービスシステム、オンラインサービス提供方法、コンテンツ管理装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150525

R150 Certificate of patent or registration of utility model

Ref document number: 5760764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees