JP6181893B1 - 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法 - Google Patents

閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法 Download PDF

Info

Publication number
JP6181893B1
JP6181893B1 JP2017071393A JP2017071393A JP6181893B1 JP 6181893 B1 JP6181893 B1 JP 6181893B1 JP 2017071393 A JP2017071393 A JP 2017071393A JP 2017071393 A JP2017071393 A JP 2017071393A JP 6181893 B1 JP6181893 B1 JP 6181893B1
Authority
JP
Japan
Prior art keywords
image
browsing
posting
mobile terminal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017071393A
Other languages
English (en)
Other versions
JP2018173811A (ja
Inventor
修一 倉林
修一 倉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cygames Inc
Original Assignee
Cygames Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cygames Inc filed Critical Cygames Inc
Priority to JP2017071393A priority Critical patent/JP6181893B1/ja
Priority to JP2017140889A priority patent/JP6925901B2/ja
Application granted granted Critical
Publication of JP6181893B1 publication Critical patent/JP6181893B1/ja
Priority to KR1020197032339A priority patent/KR102164472B1/ko
Priority to CN201880035471.2A priority patent/CN110692081B/zh
Priority to PCT/JP2018/011978 priority patent/WO2018181095A1/ja
Publication of JP2018173811A publication Critical patent/JP2018173811A/ja
Priority to US16/588,226 priority patent/US11062137B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0224—Discounts or incentives, e.g. coupons or rebates based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0225—Avoiding frauds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】掲示物の閲覧確認のためのシステム、プログラム、携帯端末装置、サーバ及び方法を提供すること。【解決手段】複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるシステムであって、前記システムは携帯端末装置及びサーバを備え、前記携帯端末装置は、携帯端末制御部、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備え、前記サーバは、サーバ制御部、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶するサーバ記憶部を備え、前記携帯端末制御部は、閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信し、前記サーバ制御部は、閲覧確認要求に基づいて閲覧画像が正当であるか否かを判定するシステム。【選択図】図１

Description

本発明は、掲示物の閲覧確認のためのシステム、プログラム、携帯端末装置、サーバ及び方法に関する。
店舗等の所定の場所を訪れた者に対して店舗やオンラインゲームにおける特典を与えるサービスが知られている。特許文献１においては、店舗内に投影された特定の映像を携帯端末装置で撮像すると特典を与えるシステムが開示されている。特許文献２は、ＧＰＳを用いて位置を特定し、登録された店舗等を訪問したことを確認するチェックイン処理を実行してネットゲームのためのポイントを提供するシステムを開示する。また、特許文献３は、特定の画像を携帯端末装置で撮像させて、撮像された画像が正しい画像である場合に特典を付与するシステムを開示する。
特開２０１６−０６２２７３号公報 特開２０１３−０００５５２号公報 特開２００９−１６９５８６号公報
所定の場所を訪れた携帯端末装置のユーザに対して店舗やゲーム等の特典を与えるサービスを提供する際に、特徴的な画像を印刷したポスター等を掲示し、これを携帯端末装置を用いて撮像させてサーバへ送信させることにより、ユーザの訪問を確認することが可能ではある。しかし、他人が撮像したポスターの画像を複製等によって容易に入手することができ、これをサーバへ送信することにより、実際に掲示場所を訪問しなくとも不正に特典を取得することができる。また、多数印刷された同一の掲示物を複数の場所に掲示した場合に、掲示物を撮像した画像のみでは、ユーザが撮像した掲示物がいずれの場所に掲示された掲示物であるのかを識別することはできない。場所を識別する二次元コードを掲示物に貼付することにより、撮像された画像の掲示位置を特定することが可能である。しかし、掲示場所毎に異なる二次元コードを作成して各掲示物に貼付する必要があるため、単価を大きく上昇させるとともに既存の掲示物の製造・流通経路を変更することを要求する。
ＧＰＳを用いてユーザ等の位置を特定するシステムを採用した場合、悪意のある者が位置情報を改竄することによって、実際には掲示場所を訪れていないにもかかわらず、そこを訪れたと偽って特典を不正に取得されるおそれがある。
ＢＬＥ（Bluetooth（登録商標） Low Energy）ビーコンや近距離型の無線通信（ＮＦＣ（Near Field Radio Communication））を用いて、所定の場所にユーザが訪問したことを検知することも可能である。例えば、ＢＬＥビーコンと呼ばれる超小型デバイスが、ＵＵＩＤやＵＲＬを埋め込んだＢＬＥのAdvertisingパケットを周囲にブロードキャストし、これを受信した携帯端末装置に現在位置に応じた動作を取らせることが可能である。ＮＦＣは、ＮＦＣを搭載する携帯端末装置と、ＮＦＣリーダとの間においてセキュアな通信セッションをアドホックに確立する。これにより、ペアリング等の追加処理なくＮＦＣリーダに携帯端末を近づけるだけで、所定位置での閲覧の認証を得る機能を容易に実現することができる。
しかし、ＢＬＥビーコンやＮＦＣのための装置は印刷物と比較して高価であり、全国に数千件の装置を設置した場合のコストは高額になる。また、ＢＬＥビーコン方式では、不正なアプリケーションを用いてビーコンを受信することができ、そのビーコンをネットワーク上に転送するスニッフィングにより、１台のデバイスが複数のデバイスの代理を行い、遠隔地に存在するユーザのための認証を得ることができる。ＮＦＣは高いセキュリティ機構を実現しているが、ＮＦＣを搭載するスマートフォン等の携帯端末装置は限定されている。したがって、ＮＦＣ方式を採用した場合、多数の利用者へサービスを提供することは難しい。さらに、ＮＦＣは決済システムに用いられているため、安易にスマートフォンをＮＦＣリーダにかざす、という行為に抵抗を感じる利用者もいる。
本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち、本発明の一実施態様におけるシステムは、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるシステムであって、前記システムは携帯端末装置及びサーバを備え、前記携帯端末装置は、携帯端末制御部、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備え、前記サーバは、サーバ制御部、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶するサーバ記憶部を備え、前記携帯端末制御部は、前記位置情報取得部を用いて携帯端末位置情報を取得し、前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定し、前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込み、前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成し、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信し、前記サーバ制御部は、前記閲覧確認要求を前記サーバ通信部を用いて受信し、前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定し、前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定し、前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成し、前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択し、前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算し、前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定し、前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する。
前記携帯端末制御部が前記正規化情報を生成することは、前記基準掲示物画像と前記閲覧画像とを比較して、前記閲覧画像における掲示物の画像の配置を示す配置情報を生成することを含み、前記正規化情報は前記配置情報を含み、前記サーバ記憶部に記憶された認証済画像は掲示物の周辺部の正規化された画像であり、前記サーバ制御部が前記正規化情報に基づいて正規化することは、前記掲示物の配置情報に基づいて前記閲覧画像のうち前記掲示物の周辺部の画像を抽出することを含むようにしてもよい。
前記携帯端末制御部が前記正規化情報を生成することは、前記基準掲示物画像及び前記閲覧画像における掲示物の画像の輝度及び色彩の差分を演算して、演算された輝度及び色彩の差分に基づく光学的補正情報を生成することを含み、前記正規化情報は前記光学的補正情報を含む、前記サーバ制御部が前記正規化情報に基づいて正規化画像を生成することは、前記光学的補正情報に基づいて、前記閲覧画像の輝度及び色彩を補正することを含んでもよい。
また、前記サーバ制御部が前記正規化画像と前記認証済画像との類似性を演算することは、前記閲覧画像及び認証済画像をそれぞれ２以上の領域に分割し、前記分割された閲覧画像及び認証済画像の対応する領域毎の類似性を演算し、前記領域毎の類似性及び各領域に割り当てられた重み付けに基づいて閲覧画像と認証済画像との類似性を演算すること、を含み、前記重み付けは認証済画像における対応する領域間の類似性のばらつきに基づいて決定されるようにしてもよい。
さらに、前記サーバ制御部は、前記類似性に基づいて前記閲覧画像が正当であると判定された場合、前記サーバ記憶部に前記正規化画像を認証済画像として掲示場所の位置情報に紐付けて記憶してもよい。
前記携帯端末記憶部は２種類以上の掲示物の画像を掲示物の種類を示す掲示物識別情報と紐付けて記憶し、前記閲覧確認要求は、前記領域内に撮像されている掲示物の掲示物識別情報を更に含み、前記サーバ記憶部に記憶される認証済画像は掲示物識別情報に紐付けられ、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択することは、前記閲覧確認要求に含まれる掲示物識別情報に紐付けられた認証済画像を選択することを含んでもよい。
本発明の一実施態様における携帯端末装置は、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、携帯端末制御部、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置であって、前記携帯端末制御部が、前記位置情報取得部を用いて携帯端末位置情報を取得し、前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定し、前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込み、前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成し、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する。
本発明の一実施態様におけるサーバは、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるサーバであって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記サーバは、サーバ制御部、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備え、前記サーバ制御部は、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信し、前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定し、前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定し、前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成し、前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択し、前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算し、前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定し、前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する。
さらに本発明の一実施態様における携帯端末装置のためのプログラムは、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるプログラムであって、前記プログラムは、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置に、前記位置情報取得部を用いて携帯端末位置情報を取得する段階と、前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定する段階と、前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込む段階と、前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成する段階と、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する段階と、を実行させる。
さらに本発明の一実施態様におけるサーバのためのプログラムは、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるプログラムであって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記プログラムは、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備えるサーバに、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信する段階と、前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定する段階と、前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定する段階と、前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成する段階と、前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択する段階と、前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算する段階と、前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定する段階と、前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する段階と、を実行させる。
本発明の一実施態様の携帯端末において実行される方法は、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置によって実行される方法であって、前記位置情報取得部を用いて携帯端末位置情報を取得する段階と、前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定する段階と、前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込む段階と、前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成する段階と、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する段階と、を含む。
本発明の一実施態様のサーバによって実行される方法は、複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、サーバによって実行される方法であって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報に基づく閲覧画像に含まれる掲示物の位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記前記サーバは、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備え、前記方法は、前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信する段階と、前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定する段階と、前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定する段階と、前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成する段階と、前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択する段階と、前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算する段階と、前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定する段階と、前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する段階と、を含む。
本発明によれば、悪意のある利用者が不正に認証を得ることを防止する閲覧確認システムを安価に実現することができる。本発明は、不正を防止する高い耐タンパ性を有するとともに、複製が容易なポスター等の掲示物を用いることができるから、安価に実現することができる。また、本発明において用いられる携帯端末装置は特殊な機能を必要としないから、多数の利用者へ閲覧確認サービスを提供することができる。一度認証された画像を認証済画像としてサーバに登録する構成とすれば、閲覧確認システムは自律的に成長し、より精度の高い不正検出を実現することができる。
本発明の一実施形態に係るシステムの全体構成である。 本発明の一実施形態に係る携帯端末装置のハードウェア構成図である。 本発明の一実施形態に係るサーバのハードウェア構成図である。 本発明の一実施形態に係る携帯端末装置の機能ブロック図である。 本発明の一実施形態に係るサーバの機能ブロック図である。 本発明の一実施形態に係る情報処理を示すフローチャートである。 本発明の一実施形態に係る携帯端末装置の情報処理を示すフローチャートである。 本発明の一実施形態に係る画面表示例を示す図である。 本発明の一実施形態に係るサーバの情報処理を示すフローチャートである。 本発明の一実施形態に係る正規化画像の分割を示す図である。 本発明の一実施形態に係る画像間距離の概念を示す図である。 本発明の一実施形態に係る各領域毎の認証済画像間の凝縮性を模式的に示した図である。
以下、図面を参照して、本発明の一つの実施形態を説明する。本実施形態に係る閲覧確認システム１００は、図１に示すように、ネットワーク１１０を介して接続された１以上の携帯端末装置１２０とサーバ１３０を備えるシステムによって実現することができる。
本実施形態における携帯端末装置１２０は、掲示物を撮像してネットワーク１１０を介してサーバ１３０へ送信する装置であり、例えば、携帯電話機、スマートフォン、タブレット端末、携帯ゲーム機及びデジタルカメラ等の携帯型装置とすることができる。携帯端末装置１２０は、処理装置２０１、表示装置２０２、入力装置２０３、撮像装置２０４、位置情報取得装置２０５、記憶装置２０６、通信装置２０７及びバス２０８を備える。記憶装置２０６はプログラム２０９を格納する。
処理装置２０１は、プログラム２０９、入力装置２０３からの入力データ、撮像装置２０４からの撮像データ、位置情報取得装置２０５または通信装置２０７から受信したデータ等に基づいて、ウェブブラウザ等のアプリケーションの実行、画像処理などの各種の処理を行う。処理装置２０１は、携帯端末装置１２０が備える各装置を制御するプロセッサを備えており、プロセッサが含むレジスタや記憶装置２０６をワーク領域として各種処理を行う。これらの各構成部はバス２０８によって接続されるが、それぞれが必要に応じて個別に接続される形態であってもかまわない。
表示装置（ディスプレイ）２０２は、処理装置２０１の制御に従って、アプリケーション画面や撮像装置２０４によって撮像された画像を表示する。好ましくは液晶ディスプレイであるが、有機ＥＬを用いたディスプレイやプラズマディスプレイ等であってもよい。
入力装置２０３は、タッチパネル、タッチパッド、入力ボタン等のようにユーザからの入力を受け付ける機能を有するものである。携帯端末装置１２０が入力装置２０３としてタッチパネルを備える場合、タッチパネルは表示装置２０２としても機能し、表示装置２０２と入力装置２０３は一体となった構造である。表示装置２０２と入力装置２０３は、別の位置に配置される別個の形態であってもかまわない。撮像装置２０４は、実空間領域の静止画ないし動画を撮像するものである。位置情報取得装置２０５は、携帯端末装置の現在位置を示す情報を取得するものであり、例えばＧＰＳセンサやＷｉＦｉのＳＳＩＤ等に基づいて位置を特定する装置とすることができる。
記憶装置２０６は、ハードディスク、メインメモリ、及びバッファメモリを含む。ただしハードディスクは、情報を格納できるものであればいかなる不揮発性ストレージまたは不揮発性メモリであってもよく、着脱可能なものであってもかまわない。例えば携帯端末装置１２０がスマートフォンである場合はＲＯＭ及びＲＡＭを含む。記憶装置２０６には、プログラム２０９や当該プログラムの実行に伴って参照されうる各種のデータが記憶される。プログラム２０９は、オペレーティングシステム、またはビデオゲーム、ウェブブラウザ等のプレイヤ入力を要求するあらゆるアプリケーションのためのプログラムやデータを含む。
通信装置２０７は、移動体通信、無線ＬＡＮ等の無線通信やイーサネット（登録商標）ケーブル、ＵＳＢケーブル等を用いた有線通信を行う。この通信装置２０７によって、プログラムをサーバ１３０からダウンロードして、記憶装置２０６に格納することもできる。ＣＤ／ＤＶＤ等の光学ディスクにプログラムを格納し、通信装置２０７に光学ドライブを接続して、光学ディスクからプログラム等を読み込んで記憶装置２０６に格納してもよい。
図３は本実施形態に係るサーバ１３０のハードウェア構成を示すブロック図である。サーバ１３０は、処理装置３０１、表示装置３０２、入力装置３０３、記憶装置３０６及び通信装置３０７を備える。これらの各構成部はバス３０８によって接続されるが、それぞれが必要に応じて個別に接続される形態であってもかまわない。
処理装置３０１は、サーバ１３０が備える各装置を制御するプロセッサを備えており、記憶装置３０６をワーク領域として各種処理を行う。表示装置３０２はサーバのユーザに情報を表示する機能を有する。入力装置３０３はキーボードやマウス等のようにユーザからの入力を受け付ける機能を有するものである。
記憶装置３０６は、ハードディスク、メインメモリ、及びバッファメモリを含む。ハードディスクにはプログラム３０９が記憶される。ただしハードディスクは、情報を格納できるものであればいかなる不揮発性ストレージまたは不揮発性メモリであってもよく、着脱可能なものであってもかまわない。記憶装置３０６には、プログラム３０９や当該プログラムの実行に伴って参照され得る各種のデータが記憶される。
通信装置３０７はイーサネット（登録商標）ケーブル等を用いた有線通信や移動体通信、無線ＬＡＮ等の無線通信を行い、ネットワーク１１０へ接続する。
図４は本発明の携帯端末装置１２０の機能ブロック図の一例を示す。携帯端末装置１２０は、携帯端末制御部４０１、携帯端末表示部４０２、携帯端末入力部４０３、撮像部４０４、位置情報取得部４０５、携帯端末記憶部４０６及び携帯端末通信部４０７を備える。
携帯端末表示部４０２はユーザに提示するための情報を表示する。携帯端末入力部４０３はユーザからの入力を受け付ける。撮像部４０４は実空間領域の静止画ないし動画を撮像する。位置情報取得部４０５は携帯端末装置１２０の現在位置情報を取得する。
携帯端末記憶部４０６は、所定の掲示場所に掲示された掲示物の画像である基準掲示物画像を掲示物の種類を示す掲示物識別情報（ＩＤ）に紐付けて記憶する。本実施形態においては、掲示物の種類が複数あるものとするが、１種類だけであってもかまわない。する。基準掲示物画像が１種類しかない場合は、基準掲示物画像は掲示物ＩＤと紐付けて記憶されなくともよい。基準掲示物画像は、例えば、サーバ１３０から閲覧確認用アプリケーションに含めて携帯端末装置１２０の記憶部４０６にダウンロードすることができる。携帯端末記憶部４０６に記憶された基準掲示物画像は、サーバ１３０から通信部４０７を介して受信される情報に基づいて、所定のタイミングで更新することができる。例えば、特典付与のためのゲームイベントの更新のタイミングや一定期間毎に基準掲示物画像をダウンロードして更新することができる。閲覧確認用アプリケーションをウェブブラウザとして、閲覧画像を撮影するためのウェブサイトへアクセスした際に基準掲示物画像をダウンロードしてもよい。
携帯端末の制御部４０１は、位置情報取得部４０５を用いて携帯端末位置情報を取得し、携帯端末記憶部４０６に記憶された基準掲示物画像と撮像部４０４によって撮像された空間の画像とを比較して、基準掲示物画像の掲示物が撮像された空間の画像における所定の領域内に撮像されているか否かを判定する。そして、携帯端末制御部４０１は、掲示物が所定の領域内に撮像されていると判定すると、所定の領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込み、この掲示物の基準掲示物画像と取り込まれた閲覧画像における掲示物の画像とを比較して、基準掲示物画像を基準として閲覧画像を正規化するための正規化情報を生成し、閲覧画像、正規化情報及び携帯端末位置情報を含む閲覧確認要求を携帯端末通信部４０７を用いてサーバ１３０へネットワーク１１０を介して送信する。本実施形態においては、撮像部４０４によって撮像された画像に含まれる掲示物の種類を特定し、特定された種類の掲示物ＩＤを閲覧確認要求に含める。
本実施形態において携帯端末制御部４０１は、図２に記載されたハードウェア構成に含まれるプログラム２０９が処理装置２０１によって実行されることにより実現されるが、集積回路等を用意することによっても実現できる。また、携帯端末表示部４０２、携帯端末入力部４０３、撮像部４０４、位置情報取得部４０５及び携帯端末記憶部４０６及び携帯端末通信部４０７はそれぞれ図２に記載した表示装置２０２、入力装置２０３、撮像装置２０４、位置情報取得装置２０５、記憶装置２０６及び通信装置２０７の各ハードウェアによって実現されるが、プログラム２０９が処理装置２０１等によって実行され、各ハードウェアと協働することによって実現されてもよい。
図５は本発明のサーバ１３０の機能ブロック図の一例を示す。サーバ１３０は、サーバ制御部５０１、サーバ表示部５０２、サーバ入力部５０３、サーバ記憶部５０６及びサーバ通信部５０７を備える。
サーバ表示部５０２はサーバのユーザに提示するために情報を表示する。サーバ入力部５０３はユーザからの入力を受け付ける。サーバ記憶部５０６は、所定の掲示場所に掲示された掲示物の画像である基準掲示物画像を掲示物ＩＤに紐付けて記憶する。基準掲示物画像が１種類しかない場合においては、基準掲示物画像は掲示物ＩＤと紐付けて記憶されなくともよい。さらにサーバ記憶部５０６は、正当と判定された閲覧画像の正規化画像である１つ以上の認証済画像もまた記憶する。認証済画像は当該認証済画像に含まれる掲示物の掲示場所の位置情報に紐付けて記憶する。掲示場所の位置情報は、閲覧画像を撮像した際に携帯端末装置１２０によって取得された位置情報を用いることもできるし、他の記憶されている認証済画像の位置情報を用いることもできる。最初に記憶された認証済画像の位置情報は管理者によって入力してもよい。サーバ通信部５０７は無線または有線によって情報を送受信する。
サーバ制御部５０１は、携帯端末装置１２０からの要求に応じて記憶部５０６に記憶された基準掲示物画像をその紐付けられた掲示物ＩＤとともに通信部５０７を介して携帯端末装置１２０へ送信する。また、基準掲示物画像が更新されたタイミング等の所定のタイミングで、記憶部５０６から基準掲示物画像を読み出し、携帯端末装置１２０へ送信し、携帯端末装置１２０における基準掲示物画像の更新を行うことができる。
サーバ制御部５０１は、携帯端末装置１２０から送信された閲覧確認要求をサーバ通信部５０７を用いて受信し、受信した閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定し、閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定する。閲覧画像が加工されていないと判定した場合、閲覧画像を正規化情報に基づいて正規化した正規化画像を生成し、閲覧確認要求に含まれる位置情報、認証済画像に紐付けられた位置情報に基づいて、サーバ記憶部５０６に記憶された認証済画像から閲覧画像に対応する１以上の認証済画像を選択する。本実施形態においては、認証済画像は、閲覧確認要求に含まれる掲示物ＩＤ及びサーバ記憶部５０６に記憶された掲示物ＩＤにも基づいて選択される。この選択された１以上の認証済画像と正規化画像を比較して、正規化画像と認証済画像との類似性を演算し、類似性に基づいて閲覧画像が正当であるか否かを判定する。閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定し、閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する。
本実施形態においてサーバ制御部５０１は、図３に記載されたハードウェア構成に含まれるプログラム３０９が処理装置３０１によって実行されることにより実現されるが、集積回路等を用意することによっても実現できる。また、サーバ表示部５０２、サーバ入力部５０３、サーバ記憶部５０６及びサーバ通信部５０７はそれぞれ図３に記載した表示装置３０２、入力装置３０３、記憶装置３０６及び通信装置３０７の各ハードウェアによって実現されるが、プログラム３０９が処理装置３０１等によって実行され、各ハードウェアと協働することによって実現されてもよい。
次に、本実施形態における携帯端末装置１２０及びサーバ１３０の動作のフローチャートを図６に示した。本実施形態においては、携帯端末装置１２０であるスマートフォンのユーザがプレイしているオンラインゲームにおけるアイテムを取得するために、ユーザは複数の場所に掲示された掲示物であるポスターを閲覧することを求められている場合を例にとって説明する。ユーザはポスターの掲示場所を実際に訪れ、閲覧確認用アプリケーションでポスターを撮像して、サーバ１３０へ送信し、サーバ１３０において正当な閲覧画像として認証がなされると、ユーザが実際にその場所を訪問してポスターを閲覧したと認められ、このユーザのゲームアカウントに対してアイテムが配布される。本実施形態において掲示物は紙に印刷されたポスターとするが、情報等を提示するために掲示するものであれば液晶パネル等の表示装置や看板であってもよい。
まず、本実施形態においてユーザはプログラム２０９として閲覧確認用アプリケーションを携帯端末装置１２０にダウンロードしてインストールし、いずれかの掲示場所を訪れてポスターを閲覧する。ユーザがポスターの画像を撮像するために携帯端末装置１２０における閲覧確認用アプリケーションを起動すると、携帯端末装置１２０が閲覧確認要求処理（Ｓ６０１）を開始する。閲覧確認要求処理において携帯端末装置１２０の制御部４０１が撮像部４０４を用いて、ポスター及びその周辺部の画像を閲覧画像として撮像し、この閲覧画像を含む閲覧確認要求をサーバ１３０へ通信部４０７を介して送信する。
サーバ１３０は閲覧確認要求を受信して、閲覧確認処理を実行する（Ｓ６０２）。閲覧確認処理においてサーバ１３０は、ユーザによる閲覧が不正であるか否かを判定する。ユーザが実際に掲示場所を訪れていないにもかかわらず、掲示場所を訪れたものと偽って閲覧確認要求を行った場合には、この閲覧は不正な閲覧とする。ユーザが掲示物が掲示されている場所を実際に訪れて閲覧して閲覧確認要求を行った場合には、この閲覧は正当な閲覧とする。サーバ１３０は閲覧が不正であるか否かの判定結果に基づく処理を行う。
本実施形態における閲覧確認要求処理（Ｓ６０１）のより具体的な処理内容を図７に示す。ユーザが携帯端末装置１２０における閲覧確認用アプリケーションを起動すると、閲覧確認要求処理が開始される。
携帯端末制御部４０１は位置情報取得部４０５を用いて現在の携帯端末装置１２０の位置情報を取得し（Ｓ７０１）、基準掲示物画像のためのカウンタｄを０にセットする（Ｓ７０２）。本実施形態においては記憶部４０６にはＤ個の基準掲示物画像が記憶され、これらのいずれかがユーザによって撮像された画像に含まれているかを順次判定する。基準掲示物画像は例えば格納されたメモリ番号順に比較の対象とされる。
ユーザは携帯端末装置１２０の撮像部４０４をポスターに向けて、ポスターの撮像を試みる。撮像部４０４は向けられた方向の実空間を撮像する（Ｓ７０３）。そして、記憶部４０６に記憶された基準掲示物画像のうちのｄ番目（０≦ｄ＜Ｄ）の基準掲示物画像と撮像部４０４によって撮像された空間の撮像画像と比較して（Ｓ７０４）、基準掲示物画像内の掲示物（ポスター）が撮像された空間の画像における所定の領域内に撮像されているか否かを判定する（Ｓ７０５）。ポスターが撮像されるべき所定の領域は、撮像部４０４によって撮像可能な領域の全体よりも小さい領域とする。したがって、撮像部４０４はポスターを所定の領域内で撮像するとともにポスターの周辺部も同時に撮像する。
ユーザによって撮像されたポスターの画像と正当であると既に認定されたポスターの画像とを比較するだけでは、ユーザの画像が、複製によって取得されたポスターの画像であるのか、実際に掲示場所を訪れて撮像されたポスターの画像であるのかを判定することは困難である。また、同じポスターが複数箇所に掲示されている場合には、異なる掲示場所に掲示されたポスターであってもその撮像画像は実質的に同じ画像となる。このため一つの掲示場所を訪れて閲覧画像を撮像したユーザが、この閲覧画像を他の掲示場所の閲覧画像として利用することを防止することはできない。しかし、ポスターの周辺を含んだ画像は、例えば、通行人が映り込んだり、日陰の位置が変わったりするため、撮影する時間が異なれば、完全に同じ画像とはならない。また、ポスターの周辺部はポスターの掲示場所毎に異なるから、ポスターの周辺部を含む画像は掲示場所毎に異なるものとなる。そこで、本発明においては、ポスターの画像とともにポスターの周辺部も併せて撮像させることにより、閲覧画像が複製によって取得された画像であるか否かを判定することを可能とするとともに、撮像場所毎に区別して正当な閲覧画像を判定することを可能とする。
ｄ番目の基準掲示物画像の掲示物が撮像された空間の画像における所定の領域内に撮像されていると判定されない場合には（Ｓ７０５）、カウンタｄをカウントアップし（Ｓ７０６）、判定すべきすべての基準掲示物画像と撮像画像とを比較したかを判定する（Ｓ７０７）。すべてについて判定していない場合には次の基準掲示物画像が撮像画像に掲示物が撮像されているかを判定する（Ｓ７０４、Ｓ７０５）。すべての基準掲示物画像と撮像画像との比較を行ったと判定された場合には（Ｓ７０７）、カウンタｄをリセットし（Ｓ７０２）、新たな空間の画像を撮像し（Ｓ７０３）、この撮像画像に対して基準掲示物画像との比較を実行する。いずれかの基準掲示物画像の掲示物が撮像された空間の画像における所定の領域内に撮像されていると判定されるまでＳ７０２〜Ｓ７０５の処理を繰り返し実行する。
図８に１つの実施例としての表示部４０２に表示される閲覧確認用アプリケーションの表示画面８００を示す。図８（ａ）に示すように、表示部４０２は、撮像部４０４によって撮像された空間の画像とともに、ポスター８０２を納めるべき所定の領域を示す枠８０１及びポスター全体を枠内に入れるように指示するメッセージを表示する。ここでは表示部４０２には撮像部４０４の撮像領域の全体８０３が表示され、枠８０１はこの全体の領域よりも小さい領域である。このため、ポスター８０２が枠８０１に収められた際には枠８０１の外側領域にはポスター８０２の周辺の画像８０５が表示される。枠８０１内にポスターを収めるように指示されることにより、ユーザは携帯端末装置１２０を移動させる。これにより、ポスター画像と周辺画像との相対的な位置関係が一定な撮像画像を得ることを可能とする。すなわち、幾何学的正規化を行うことができる。
基準掲示物画像の掲示物が撮像された空間の画像における所定の領域内に撮像されているか否かを判定する処理（Ｓ７０４、Ｓ７０５）は、例えば、ＯＲＢ（Oriented FAST and Rotated BRIEF）特徴量を用いたキーポイントマッチング技術を用いることにより実現できる。具体的には、基準掲示物画像内の特徴的な点（キーポイント）を予め検出して閲覧確認用アプリケーションの一部として記憶部４０６に格納しておく。そして、この予め格納された基準掲示物画像の特徴点（キーポイント）を所定の領域（枠８０１）内に重畳させ、撮像部４０４が撮像して得た画像の特徴点がこの所定の領域内に重畳された特徴点と重なっている場合、基準掲示物画像の掲示物が撮像された空間の画像における所定の領域内に撮像されていると判定する。基準掲示物画像の特徴点と撮像された画像の特徴点とは完全に重なる必要はない。例えば、所定数の特徴点が所定のずれの範囲で重なった場合には、所定の領域内に掲示物が撮像されていると判定することができる。
ユーザが携帯端末装置１２０を動かして、所定の領域内にポスターを納めることに成功すると、基準掲示物画像のポスターが撮像された空間の画像における所定の領域内に撮像されていると判定され（Ｓ７０５）、所定の領域内に撮像されたポスター及びその周辺部を含む空間の画像が、以降の処理のために閲覧画像として取り込まれる（Ｓ７０８）。本実施形態においては、閲覧画像に撮像されていると判定されたポスターの基準掲示物画像に紐付けられた掲示物ＩＤを特定する。本実施形態においては、各携帯端末装置が掲示物の種類を特定する処理を実行するから、大量の閲覧確認要求が同時になされた場合であっても各携帯端末装置へ負荷が分散され、サーバへの負荷を軽減することができる。
本実施形態において、ポスターが所定の枠内に収まったときの撮像画像を閲覧画像として取り込む処理はユーザの入力によらず携帯端末装置１２０によって自動的に実行され、この閲覧画像のための正規化情報を生成するステップ（Ｓ７０９）へ移行する。図８（ｂ）に示すように、閲覧画像の取り込みに成功したことをユーザに伝えるためのメッセージとともに閲覧画像をサーバに送信して閲覧確認要求を送信するか再度撮影し直すかを問い合わせるメッセージを表示部４０２に表示し、入力部４０３が再度取り直すための入力を受け付けた場合にはＳ７０２へ戻り、サーバ１３０へ送信するための入力を受け取った場合に次のステップ（Ｓ７０９）へ移行するようにしてもよい。
Ｓ７０９において、ポスターの基準掲示物画像と閲覧画像におけるポスターの画像とを比較して、基準掲示物画像を基準として閲覧画像を正規化するための正規化情報を生成する。正規化情報生成のために比較される基準掲示物画像はＳ７０５において閲覧画像の所定の領域内に撮像されていると判定されたポスターの基準掲示物画像である。ポスター及びポスターの周辺部を撮像した画像は、ポスターを撮像する際のポスターと撮像部４０４との相対的位置、携帯端末装置１２０の機種間の撮像部４０４の特性差や光源状態の差等によって、同じポスター及び周辺部の画像であっても異なる画像となる。このため、閲覧画像と既に正当であると判定された閲覧画像とを比較しただけでは、両者が同じ場所に掲示された掲示物の画像であるにもかかわらず、両者の共通性が低くなり、同じ場所で撮影された画像であると判定されない可能性が高くなる。撮像部４０４の特性の違いや光源状態の違いがある場合であっても、掲示物画像と周辺画像との幾何学的、光学的関係は固定される。そこで本発明においては、基準掲示物画像を基準点として閲覧画像を正規化することにより、撮像環境の相違による共通性の低下を効果的に排除する。
本実施形態においては正規化として幾何学的正規化及び光学的正規化を行う。幾何学的正規化のための正規化情報は、閲覧画像におけるポスター画像部分と周辺画像部分との幾何学的関係を特定する幾何学的補正情報を含む。前述のとおり、本実施形態においては、ポスターを撮像する際に携帯端末装置１２０の位置を誘導することにより、撮像画像中のポスターの配置を所定の配置にする、すなわち、幾何学的正規化を行う。しかし、基準掲示物画像の特徴点と撮像された画像の特徴点とが完全に一致することを要求しない場合には、閲覧画像におけるポスターの配置は完全に一定ではない。そこで、携帯端末制御部４０１が基準掲示物画像と閲覧画像とを比較して、閲覧画像におけるポスター画像の配置を特定し、幾何学的補正情報を生成する。
具体的には、閲覧画像と携帯端末記憶部４０６に格納されたポスターの基準掲示物画像とをキーポイントマッチングにより比較して所定の領域内のポスター部分の配置を特定する。そして、幾何学的補正情報として、閲覧画像におけるポスター部分の配置を特定する配置情報を生成する。配置情報は、閲覧画像におけるポスター部分の左下端の座標（ｘ，ｙ）とポスター部分の幅（ｗ）及び高さ（ｈ）を含む。
光学的正規化のため正規化情報は、基準掲示物画像及び閲覧画像におけるポスターの画像の輝度や色彩の差分を演算して得られた光学的補正情報を含む。光学的補正情報を生成することにより、携帯端末装置１２０の機種間の撮像部４０４の特性差や光源状態の差があっても、閲覧画像が正当なものであるか否かを判定することが可能となる。
本実施形態においては光学的補正情報を生成するために、前述の幾何学的補正情報である配置情報に基づいて、閲覧画像からポスター部分を切り出したポスター画像Ｑを生成する。そして、この生成されたポスター画像Ｑと記憶部４０６に格納されたこのポスターの基準掲示物画像Ｔとの平均輝度差分を−１〜１の実数として計算する。この平均輝度差分averageBrightnessDiff(T,Q)を、次のように定義する。
Figure 0006181893
ここで、Ｔiは基準掲示物画像Ｔにおけるｉ番目のピクセルであり、Ｑiは閲覧画像から切り出したポスター画像Ｑにおけるｉ番目のピクセルである。brightness()は、引数として与えられたピクセルの輝度を算出する関数である。Ｎは画像のピクセル総数である。この関数へ渡される画像は、同一のピクセル数となるように正規化されていることが好ましい。
また、色彩差分の計算においては、均等性のある色空間上での色の距離系である、godlove色差式（Godlove, I. H.: Improved Color-Difference Formula, with Applications to the Perceptibility and Acceptability of Fadings, Journal of the Optical Society of America, 41(11), pp.760-770, (1951)）や、CIE2000（Luo, M. R., Cui, G., & Rigg, B., "The development of the CIE 2000 colour-difference formula: CIEDE2000", Color Research & Application, Volume 26, Issue 5, October 2001, pp. 340-350, DOI: 10.1002/col.1049）を用いることができる。例えば、ＨＳＶ空間上の距離として一般的に知られるgodlove色差式Δgodloveは、次のように定義できる。
Figure 0006181893
この色差式を用いて、基準掲示物画像Ｔと閲覧画像から切り出したポスター画像Ｑとの平均色彩差分averageColorDiff(T,Q)は、次のように定義できる。
Figure 0006181893
前述のとおり、本実施形態においては、正規化情報として幾何学的補正情報と光学的補正情報とを含む。閲覧画像におけるポスター部分の配置情報を幾何学的補正情報とし、平均輝度差分averageBrightnessDiff(T,Q)及び平均色彩差分averageColorDiff(T,Q)を光学的補正情報とする。しかし、正規化情報として幾何学的補正情報及び光学的補正情報の一方のみ含んでもよいし、光学的補正情報として輝度補正情報及び色彩補正情報の一方のみを含んでもよい。
次に、携帯端末装置１２０の制御部４０１は通信部４０７を用いて閲覧確認要求をサーバ１３０へネットワーク１１０を介して送信する（Ｓ７１０）。閲覧確認要求は、ユーザを識別するユーザＩＤ、基準掲示物画像の掲示物ＩＤ、閲覧画像、正規化情報及び携帯端末位置情報を含む。基準掲示物画像の掲示物ＩＤはＳ７０５において閲覧画像の所定の領域内に撮像されていると判定されたポスターの基準掲示物画像に紐付けられた掲示物ＩＤである。
次に、図９に示したフローチャートに基づいて、サーバ１３０で実行される閲覧確認処理（Ｓ６０２）の具体的な処理を説明する。本実施形態では、チート行為、すなわち、ポスターを実際に閲覧していないにもかかわらず、複製や加工された画像を用いて閲覧確認要求を行い特典を取得しようとする行為の検出を２段階に分けて実行する。
第１の段階においては閲覧画像を不正に加工したことを検出する。第２の段階においてはサーバに格納された１以上の認証済画像を用いて外れ値または過剰近似値を持つ閲覧画像を検出し、掲示場所で撮像された画像ではない閲覧画像及び他の閲覧画像の複製等によって不正に取得した可能性が高い閲覧画像を検出する。
Ｓ９０１において、サーバ１３０は、携帯端末装置１２０から送信された閲覧確認要求を通信部５０７を介して受信する。そして、受信された閲覧確認要求に含まれる閲覧画像が不正に加工されていないかを検証する（Ｓ９０２）。画像が不正に加工されたか否かを検証する方法としては、A. E. Dirik and N. Memon, "Image tamper detection based on demosaicingartifacts," 2009 16th IEEE International Conference on Image Processing(ICIP), Cairo, 2009, pp. 1497-1500やMinati Mishra, Flt. Lt. Dr. M. C. Adhikary, "Digital Image Tamper DetectionTechniques - A Comprehensive Study," International Journal of ComputerScience and Business Informatics, Vol.2, No.1. ISSN: 1694-2108 , June 2013に示されているとおり、様々な方法が知られている。本発明においては、画像が不正に加工されたか否かを検証する方法であればいかなる方法であってもよい。
閲覧画像が不正に加工されていると判定された場合には、閲覧確認要求は不正な閲覧による不正な要求であるとして、不正要求処理を行う（Ｓ９０３）。例えば、閲覧確認要求に含まれるユーザＩＤに基づいて、当該ユーザのオンラインゲームアカウントを使用停止にする。
閲覧画像が不正に加工されていないと判定された場合には、閲覧確認要求に含まれる正規化情報に基づいて閲覧画像を正規化し、正規化画像を生成する（Ｓ９０４）。閲覧画像を正規化することにより、撮像環境の相違による共通性の低下を効果的に排除する。本実施形態においてはまず、正規化情報に含まれる幾何学的補正情報である配置情報に基づいて幾何学的正規化を行う。前述のとおり、配置情報は、閲覧画像におけるポスター部分の左下端の座標（ｘ，ｙ）とポスター部分の幅（ｗ）及び高さ（ｈ）を含む。サーバ制御部５０１が配置情報に基づいて閲覧画像からポスター以外の画像、すなわち、ポスターの周辺画像を抽出することにより、幾何学的正規化を行う。
次に、抽出された周辺画像に対して正規化情報に含まれる光学的補正情報に基づいて光学的正規化を行う。光学的正規化は輝度補正と色彩補正に分けられる。輝度補正は、周辺画像の各ピクセルを以下の式に基づいて補正する。
Figure 0006181893
ここで、ｒ,ｇ,ｂは、補正対象となる周辺画像のある特定のピクセルのＲＧＢの値であり、この関数brightnessCompensation(r, g, b, BC)によって得られた行列の各要素を輝度補正されたｒ,ｇ,ｂとする。ｒ,ｇ,ｂの演算結果は、上限値２５５、下限値０で飽和することが好ましい。ＢＣは輝度補正のための係数であり、本実施形態においては前述の平均輝度差分averageBrightnessDiff(T,Q)で得られた値とする。
色彩補正は、averageColorDiff(T,Q)に基づいて色空間上の距離と移動方向（ベクトル）を算出し、そのベクトルと合成した特徴ベクトルを用いて行う。
次に、正規化画像に対応する１つ以上の認証済画像をサーバ記憶部５０６から選択して読み出す（Ｓ９０５）。認証済画像は、所定の掲示場所に掲示された掲示物の閲覧画像として正当なものと判定された画像に基づく画像である。本実施形態においては、認証済画像は正当な画像と判定された閲覧画像を、Ｓ９０４に関連して説明した正規化処理により正規化した画像である。認証済画像はポスターの周辺画像を含むから、掲示物の種類が同じであっても掲示場所毎に異なる画像となる。また、同じ掲示場所であっても撮像時間等によってある程度の類似性を保ちつつも異なる認証済画像となる。認証済画像は、本システムの管理者が予め掲示場所にて閲覧して撮像した画像に基づくものとすることができる。さらに、後述するとおり、ユーザによって送信された閲覧画像のうち正当なものと判定された画像に基づいて新たな認証済画像を登録することによって、サーバ記憶部５０６に記憶された認証済画像を増やしていくことができる。認証済画像は、掲示物ＩＤ及び位置情報に紐付けてサーバ記憶部５０６に記憶される。位置情報はその掲示場所を示す情報であり、本実施形態においては緯度及び経度とする。掲示場所の位置情報は、閲覧画像を撮像した際に携帯端末装置１２０によって取得された携帯端末位置情報を用いることもできるし、既に記憶されている認証済画像の位置情報を用いることもできる。最初に記憶された認証済画像の位置情報は管理者によって入力してもよい。
サーバ制御部５０１は、閲覧確認要求に含まれる掲示物ＩＤ及び位置情報に基づいて当該閲覧確認要求に対応する認証済画像を１つ以上選択する。例えば、閲覧確認要求に含まれる掲示物ＩＤと同じ掲示物ＩＤに紐付けられた認証済画像のうち携帯端末位置情報における緯度及び経度と比較してその差が所定値以内となる緯度及び経度の位置情報に紐付けられている認証済画像を選択する。選択される認証済画像が多いほど閲覧確認処理の正確性は向上するが、１つであっても閲覧確認処理を行うことはできる。
次に正規化画像と選択された認証済画像との類似性を演算する（Ｓ９０６）。類似性演算においては、正規化画像を複数の領域に分割し、領域毎に色彩情報を分析する。サーバ記憶部５０６に格納された認証済画像についても領域分割及び色彩情報分析を同様の方法により実行し、その結果を予めサーバ記憶部５０６に格納しておく。正規化画像の分割は例えば図１０に示したように、ポスター部分１１００を除いた正規化画像を１００１〜１００４という４つの領域に分割することができる。色彩分析された画像Ｉは次のように定義できる。
Figure 0006181893
Figure 0006181893
ここでｒjは画像Iから分割されたｊ番目の領域のヒストグラムであり、Ｊは領域数である。ｈbはヒストグラムのｂ番目の値であり、Ｂはビン数である。なお、ヒストグラムｒjの特徴量として様々な特徴量を用いることができる。例えば、０〜２５５の輝度のヒストグラムとしてもよいし、Ｒ，Ｇ，Ｂ値をそれぞれ０〜２５５に分けた色彩のヒストグラムとしてもよい。また、特定の色集合にクラスタリングした後の面積比を示すヒストグラムとしてもよいし、色情報を使用せずに、テクスチャ特徴量としてもよい。
次に、正規化画像と選択された認証済画像との類似性を演算する。本実施形態においては、正規化画像Ｑと認証済画像Ｍとの類似性としての距離distance(Q,M)を次のように定義する。distance(Q,M)は０から１までの実数を返す関数である。
Figure 0006181893
ここで、Ｑ[0+j,b]は正規化画像Ｑのｊ番目の領域のヒストグラムにおけるｂ番目の値を意味し、Ｍ[0+j,b]は認証済画像Ｍのｊ番目の領域のヒストグラムにおけるｂ番目の値を意味する。Ｂは正規化画像Ｑおよび認証済画像Ｍのヒストグラムのビン数であり、Ｊは領域数である。この関数は、領域間の適合性評価のために式（８）に示すカラーヒストグラムの差分値（ヒストグラム・インターセクション）を用いている。
Figure 0006181893
本実施形態におけるカラーヒストグラムの差分値は、正規化画像Ｑ及び認証済画像Ｍの対応する領域毎にヒストグラム間の差分を演算する。ヒストグラム間の差分はＬ1ノルムを１とする。したがって、ヒストグラム間の差分は最大で２であるため、２を分母として０〜１に正規化する。このヒストグラム差分の二乗が、周辺画像を構成する領域毎に得られるため、それらを合計した値の平方根として、類似性としての距離を求めることができる。distance(Q,M)の式は、平均二乗誤差平方根（Root Mean Squared Error, RMSE）と呼ばれる、各データ値と他のデータ値の距離を用いて、標準的なクエリと検索対象との差の標準的な大きさを示す指数を、画像式差の距離計量に応用したものである。この実施例以外の方法としては、例えば、ヒストグラム差分の代わりに、Earth Mover’s Distance（[Ofir Pele and Michael Werman. 2008. A Linear Time Histogram Metric for Improved SIFT Matching. In Proceedings of the 10th European Conference on Computer Vision: Part III (ECCV '08), David Forsyth, Philip Torr, and Andrew Zisserman (Eds.). Springer-Verlag, Berlin, Heidelberg, 495-508及びOfir Pele and Michael Werman, Fast and Robust Earth Mover's Distances, In Proceedings of the IEEE 12th International Conference on Computer Vision, November 2009）を用いた適合性評価関数等の他の関数を用いても実現できることは明らかである。
上述の方法により、選択された１つ以上の認証済画像Ｍの各々に対する正規化画像の距離distance(Q,M)を演算する。距離が０の場合には両画像は最も類似していることを意味し、大きくなるほど類似していないことを意味する。そして、演算された距離の平均距離averageDistance（Q）を以下のように定義する。
Figure 0006181893
ここで、Ｓは選択された認証済画像の数であり、Ｍsはｓ番目の選択された認証済画像である。この平均距離が外れ閾値よりも大きい場合は、この正規化画像に対応する閲覧画像は不正であると判定する。また、いずれかの認証済画像との距離distance(Q,M)が過剰類似閾値以下である場合は、不正であると判定する。すなわち、平均距離が外れ閾値以下であり、すべての認証済画像との距離が過剰類似閾値より大きい場合に正当な閲覧画像と判定する。
同じ場所に掲示されたポスターの背景を含む画像には共通性があるべきであるが、過剰に類似している場合は他の閲覧画像の複製の可能性が高い。外れ閾値は、２つの画像が同じ場所に掲示されたポスターの背景を含む画像と考えられる距離の最大値である。これよりも距離が大きい場合には共通性が低いため、同じ場所に掲示されたポスターの背景を含む画像ではないと考えられる。過剰類似閾値は、一方が他方の閲覧画像の複製ではないと考えられる距離の最小値である。これよりも距離が小さい場合には過剰に類似しているため一方は他方の複製であると考えられる。
本実施形態においては、正規化画像及び認証済画像を４つの領域に分割する形態を説明したが、分割しなくとも本発明は実施可能である。
また、別の実施例として、すべての認証済画像との平均距離を用いるのではなく、認証済画像のうちの重心画像群との平均距離を用いることもできる。所定の掲示場所のための認証済画像同士の距離を予め演算してその平均距離が小さい画像群を当該掲示場所における重心画像群とする。例えば、表１に示すような２つの認証済画像間で定義された距離を要素とする距離行列を作成する。Ｐ個の画像が認証済画像として存在するとき、画像間の距離を要素としたＰ×Ｐ対称行列となる。対角要素は同一画像同士の距離を示すため、すべて０となる。表１はこれに最右行として平均距離を加えたものである。
Figure 0006181893
この距離行列に基づいて平均距離が最も小さいＺ個の画像を抽出して重心画像群として、この重心画像群を格納する配列Ｇの各要素である認証済画像と正規化画像Ｑとの平均距離を以下の式により求めることができる。
Figure 0006181893
ここで、Ｇzは配列Ｇにおけるｚ番目の認証済画像である。この重心画像群の抽出はＳ９０５における認証済画像の選択として行うことができる。すなわち、この式では、重心として選択されている画像と、正規化画像Ｑとの距離平均を求めている。この方法では、重心となる画像群とのみ比較演算を行うため、計算量を削減し、判定処理を高速化することができる。
本発明における画像間の距離を可視化したものを図１１に示す。図中の一つの点は一つの画像に対応している。（ａ）はサーバ記憶部５０６に格納されている認証済画像が１つのときの状態を示しており、（ｂ）〜（ｅ）にかけて登録認証済画像が増えていくと、表１に示したような互いの距離を演算できるようになる。登録された認証済画像が一つであっても閲覧画像との距離の演算は可能であるが、登録された認証済画像の数が多ければ多いほど、ノイズの影響を受けにくくなり、より精度の高い類似性判定が可能となる。
さらに変形例として、分割された領域毎に重み付けされた距離weigthedDistance(Q,M)を用いて類似性を演算することもできる。正規化画像Ｑとサーバ記憶部５０６に格納された認証済画像Ｍとの重み付き距離weightedDistance(Q,M)は、０から１までの実数を返す関数であり、次のように定義できる。
Figure 0006181893
ここで、dist(Qj,Mj)はｊ番目の領域の類似性を計算する関数であり、例えば、ｊ番目の領域間の距離を計算する関数である。Ｑjはｊ番目の領域の正規化画像Ｑであり、Ｍjはｊ番目の領域の認証済画像であり、ｗjはｊ番目の領域のための重みを示す。この重みはサーバ記憶部５０６に格納されている認証済画像のうち同じ位置情報に紐付けられた認証済画像の対応する領域間の比較を行い、各画像の距離行列を算出することにより求めたものである。具体的には、前述のカラーヒストグラムの差分値等の適合性評価関数を用いて、各画像の領域間の距離を算出し、距離行列を生成する。この距離行列の平均距離を求めることにより、ポスターの掲示場所で、変化しやすい周辺の領域と、変化しにくい周辺の領域を検出し、変化のしにくさ（画像間の類似性のばらつき）に応じた重みを設定する。平均距離が大きく、凝縮性が低い領域（画像間の類似性がばらついている領域）は変化のしやすい領域であり、平均距離が小さく、凝縮性が高い領域変化（画像間の類似性がばらついていない領域）は変化のしにくい領域である。変化のしにくい領域については高い重みを与え、変化のしやすい領域については低い重みを与える。
図１２に各領域の認証済画像間の距離を模式的に示した。（ａ）〜（ｄ）はそれぞれ左上領域（ａ）、右上領域（ｂ）、左下領域（ｃ）、右下領域（ｄ）における各認証済画像を写像して、互いの距離関係を示している。左上領域（ａ）においては各認証済画像同士が近接しているため平均距離が小さく、凝縮性が高い領域（画像間の類似性がばらついていない領域）であることが分かる。一方、右下領域（ｄ）においては確認証済画像を写像した点同士が分散しているため、平均距離が大きく凝縮性が低い領域（画像間の類似性がばらついている領域）であることが分かる。
各領域における認証済画像間の類似性のばらつきは、ポスターの周辺部がどのような場所であるかに依存する。例えば、ポスターがデパートの入口脇に掲示され、ポスターの右側周辺部にはデパートの入口が撮像され、左側周辺部にはデパートの壁のみが撮像されているとする。デパートの入り口にはデパート利用者が頻繁に出入りするため、右側周辺部の画像は撮像するたびに大きく異なるものとなる。一方、デパートの壁は天気や時刻に従って明度等が変化する程度であるため、左側周辺部の画像は撮像されるたびに大きく異なることはない。特に、光学的正規化を行えば、その変化は非常に小さいものとなる。
本変形例においては、変化のしやすい領域においては、正規化画像と認証済画像との距離が大きかったとしても、それはそもそも変化のしやすい領域であることに起因するもの、例えば通行人が映り込んだことに起因するものであると考えられるから、そのような領域における距離は全体としての類似性判断への影響を小さくする。一方、変化の小さい領域での正規化画像と認証済画像との距離が大きい場合には、類似性判断において意味のある相違に起因する、例えば、異なる掲示場所の画像であることに起因する可能性が高いから、重み付けを大きくする。このように各領域の変化のしやすさに基づいて、重み付けを与えることにより、閲覧画像の正当性判断をより正確に行うことが可能となる。
Ｓ９０７において閲覧画像が正当であると判断された場合、Ｓ９０８において当該閲覧画像の正規化画像をサーバ記憶部５０６に認証済画像としてポスターの掲示場所の位置情報に紐付けて登録し、これ以降の閲覧確認要求に対する認証済画像として使用される。これによりシステムは自律的に成長することが可能となる。Ｓ９０９において、当該閲覧画像を送信したユーザに対して、ユーザＩＤに基づいて特典付与のための処理を実行する。例えば、ユーザがプレイするオンラインゲームにおけるポイントを当該ユーザのアカウントに対して付与する。
Ｓ９０７において閲覧画像が不正であると判断された場合、当該閲覧画像が不正なものと判定されたことをサーバ１３０の管理者に通知する（Ｓ９１０）。そして、管理者に肉眼で閲覧画像が不正なものであるか否かの判定を行わせる。これによって、実際には正当な閲覧画像であるにもかかわらず誤って不正なものと判定されることを防止することができる。特に、サーバ記憶部５０６に格納されている認証済画像が少ない場合には、類似性に基づく判定の信頼性が低いため、管理者による再判定は有効である。
そして、管理者によって不正画像であることが確認されると、サーバ入力部５０３によって不正画像であるとの入力がなされ（Ｓ９１１）、Ｓ９０３において不正要求処理が実行される。一方、管理者によって正当な画像であると判定されると、サーバ入力部５０３によって正当な画像であるとの入力がなされ（Ｓ９１１）、Ｓ９０８において正規化画像が新たな認証済画像として登録された後、特典付与処理（Ｓ９０９）が実行される。
他の実施例として、Ｓ９０７において正当な画像ではないと判定された場合には、管理者に通知せずに、不正要求処理（Ｓ９０３）を実行してもよい。さらに他の実施例として、Ｓ９０４〜Ｓ９０９については、所定間隔毎に蓄積された複数の閲覧確認要求に対して一括で処理を行うバッチ処理としてもよい。この場合には、Ｓ９０２において、閲覧画像が不正に加工されていないと判定された閲覧確認要求に対しては、閲覧確認が正当なものであるとして特典付与処理を実行し、その後、バッチ処理において不正な閲覧画像であることが判定された場合には、アカウントの停止等の不正要求処理を実行する（Ｓ９０３）。このようなバッチ処理とすることにより、ユーザへのレスポンス性能を高めることができる。
本実施形態においては、幾何学的正規化及び光学的正規化の両方を行ったが、これらのいずれか一方でも本発明を実現できることは明らかである。さらに、光学的正規化については輝度による正規化及び色彩による正規化のいずれか一方のみを行ってもよい。また正規化画像及び認証済画像は掲示物を含んだ画像とすることもできる。
本実施形態においては、２種類以上の掲示物の画像が携帯端末記憶部及びサーバ記憶部に格納されている場合について説明したが、１種類のみの掲示物の画像が記憶されている場合には、掲示物ＩＤに関する処理は省略することができる。また、掲示場所が１カ所のみである場合には位置情報に関する処理を省略することもできる。基準掲示物画像に位置情報を紐付けて、携帯端末装置によって撮像された画像携帯端末位置近傍の基準掲示物画像とのみを比較して閲覧画像を取得することもできる。上述の実施形態においては、画像間の類似性として距離や平均距離を用いた例を説明したが、画像間の類似性を評価できるものであればどのようなのであってもよい。
以上に説明した処理または動作において、矛盾が生じない限りにおいて、処理または動作を自由に変更することができる。また以上に説明してきた各実施形態は、本発明を説明するための例示であり、本発明はこれらの実施形態に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
１００ 閲覧確認システム
１１０ ネットワーク
１２０ 携帯端末装置
１３０ サーバ
２０１ 処理装置
２０２ 表示装置
２０３ 入力装置
２０４ 撮像装置
２０５ 位置情報取得装置
２０６ 記憶装置
２０７ 通信装置
２０８ バス
２０９ プログラム
３０１ 処理装置
３０２ 表示装置
３０３ 入力装置
３０６ 記憶装置
３０７ 通信装置
３０８ バス
３０９ プログラム
４０１ 携帯端末制御部
４０２ 携帯端末表示部
４０３ 携帯端末入力部
４０４ 撮像部
４０５ 位置情報取得部
４０６ 携帯端末記憶部
４０７ 携帯端末通信部
５０１ サーバ制御部
５０２ サーバ表示部
５０３ サーバ入力部
５０６ サーバ記憶部
５０６ サーバ記憶
５０７ サーバ通信部
８００ 表示画面
８０１ 枠
８０２ ポスター
８０３ 撮像領域
８０５ ポスター周辺
１０００ 正規化画像
１００１ 分割領域
１００２ 分割領域
１００３ 分割領域
１００４ 分割領域
１１００ ポスター部分

Claims (12)

  1. 複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるシステムであって、前記システムは携帯端末装置及びサーバを備え、前記携帯端末装置は、携帯端末制御部、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備え、前記サーバは、サーバ制御部、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶するサーバ記憶部を備え、
    前記携帯端末制御部は、
    前記位置情報取得部を用いて携帯端末位置情報を取得し、
    前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定し、
    前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込み、
    前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成し、
    前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信し、
    前記サーバ制御部は、
    前記閲覧確認要求を前記サーバ通信部を用いて受信し、
    前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定し、
    前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定し、
    前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成し、
    前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択し、
    前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算し、
    前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、
    前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定し、
    前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する、
    ことを特徴とするシステム。
  2. 前記携帯端末制御部が前記正規化情報を生成することは、前記基準掲示物画像と前記閲覧画像とを比較して、前記閲覧画像における掲示物の画像の配置を示す配置情報を生成することを含み、
    前記正規化情報は前記配置情報を含み、
    前記サーバ記憶部に記憶された認証済画像は掲示物の周辺部の正規化された画像であり、
    前記サーバ制御部が前記正規化情報に基づいて正規化することは、前記掲示物の配置情報に基づいて前記閲覧画像のうち前記掲示物の周辺部の画像を抽出することを含む、
    ことを特徴とする請求項１に記載のシステム。
  3. 前記携帯端末制御部が前記正規化情報を生成することは、前記基準掲示物画像及び前記閲覧画像における掲示物の画像の輝度及び色彩の差分を演算して、演算された輝度及び色彩の差分に基づく光学的補正情報を生成することを含み、
    前記正規化情報は前記光学的補正情報を含み、
    前記サーバ制御部が前記正規化情報に基づいて正規化画像を生成することは、前記光学的補正情報に基づいて、前記閲覧画像の輝度及び色彩を補正することを含む、
    ことを特徴とする請求項１または２に記載のシステム。
  4. 前記サーバ制御部が前記正規化画像と前記認証済画像との類似性を演算することは、
    前記閲覧画像及び認証済画像をそれぞれ２以上の領域に分割し、
    前記分割された閲覧画像及び認証済画像の対応する領域毎の類似性を演算し、
    前記領域毎の類似性及び各領域に割り当てられた重み付けに基づいて閲覧画像と認証済画像との類似性を演算すること、を含み、
    前記重み付けは認証済画像における対応する領域間の類似性のばらつきに基づいて決定される、
    ことを特徴とする請求項１から３のいずれか１項に記載のシステム。
  5. 前記サーバ制御部は、前記類似性に基づいて前記閲覧画像が正当であると判定された場合、前記サーバ記憶部に前記正規化画像を認証済画像として掲示場所の位置情報に紐付けて記憶する、ことを特徴とする請求項１から４のいずれか１項に記載のシステム。
  6. 前記携帯端末記憶部は２種類以上の掲示物の画像を掲示物の種類を示す掲示物識別情報と紐付けて記憶し、
    前記閲覧確認要求は、前記領域内に撮像されている掲示物の掲示物識別情報を更に含み、
    前記サーバ記憶部に記憶される認証済画像は掲示物識別情報に紐付けられ、
    前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択することは、前記閲覧確認要求に含まれる掲示物識別情報に紐付けられた認証済画像を選択することを含む、
    ことを特徴とする請求項１から５のいずれか１項に記載のシステム。
  7. 複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、携帯端末制御部、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置であって、前記携帯端末制御部が、
    前記位置情報取得部を用いて携帯端末位置情報を取得し、
    前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定し、
    前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込み、
    前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成し、
    前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する、
    ことを特徴とする携帯端末装置。
  8. 複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるサーバであって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記サーバは、サーバ制御部、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備え、前記サーバ制御部は、
    前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信し、
    前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定し、
    前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定し、
    前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成し、
    前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択し、
    前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算し、
    前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、
    前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定し、
    前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する、
    ことを特徴とするサーバ。
  9. 複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるプログラムであって、前記プログラムは、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置に、
    前記位置情報取得部を用いて携帯端末位置情報を取得する段階と、
    前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定する段階と、
    前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込む段階と、
    前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成する段階と、
    前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する段階と、
    を実行させる、ことを特徴とするプログラム。
  10. 複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用されるプログラムであって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記プログラムは、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備えるサーバに、
    前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信する段階と、
    前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定する段階と、
    前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定する段階と、
    前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成する段階と、
    前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択する段階と、
    前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算する段階と、
    前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、
    前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定する段階と、
    前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する段階と、
    を実行させることを特徴とするプログラム。
  11. 複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、携帯端末通信部、撮像部、携帯端末記憶部及び位置情報取得部を備える携帯端末装置によって実行される方法であって、
    前記位置情報取得部を用いて携帯端末位置情報を取得する段階と、
    前記携帯端末記憶部に記憶された掲示物の画像である基準掲示物画像と前記撮像部によって撮像された空間の画像とを比較して、前記基準掲示物画像の掲示物が前記撮像された空間の画像における所定の領域内に撮像されているか否かを判定する段階と、
    前記掲示物が前記領域内に撮像されていると判定されると、前記領域内に撮像された掲示物及び当該掲示物の周辺部を含む空間の画像である閲覧画像を取り込む段階と、
    前記掲示物の基準掲示物画像と前記閲覧画像における掲示物の画像とを比較して、前記基準掲示物画像を基準として前記閲覧画像を正規化するための正規化情報を生成する段階と、
    前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求をサーバへ前記携帯端末通信部を用いて送信する段階と、
    を含む、ことを特徴とする方法。
  12. 複数の場所に掲示された掲示物を携帯端末装置のユーザが掲示場所を訪れて閲覧したことを確認するために使用され、サーバによって実行される方法であって、前記携帯端末装置は閲覧画像、正規化情報及び携帯端末位置情報に基づく閲覧画像に含まれる掲示物の位置情報を含む閲覧確認要求を送信するものであり、前記閲覧画像は所定の場所に掲示された掲示物及び周辺部の画像を含み、前記正規化情報は前記閲覧画像を正規化するための情報であり、前記携帯端末位置情報は前記携帯端末装置の位置を示す情報であり、前記前記サーバは、サーバ通信部及び各掲示場所の掲示物についての認証済画像を掲示場所の位置情報に紐付けて記憶したサーバ記憶部を備え、前記方法は、
    前記閲覧画像、前記正規化情報及び前記携帯端末位置情報を含む閲覧確認要求を前記サーバ通信部を用いて受信する段階と、
    前記閲覧確認要求に含まれる閲覧画像が加工されているか否かを判定する段階と、
    前記閲覧画像が加工されていると判定した場合、ユーザによる閲覧を不正な閲覧と判定する段階と、
    前記閲覧画像が加工されていないと判定した場合、前記閲覧画像を前記正規化情報に基づいて正規化した正規化画像を生成する段階と、
    前記携帯端末位置情報及び前記認証済画像に紐付けられた位置情報に基づいて、前記サーバ記憶部に記憶された認証済画像から前記閲覧画像に対応する１以上の認証済画像を選択する段階と、
    前記正規化画像を前記選択された１以上の認証済画像と比較して、前記正規化画像と認証済画像との類似性を演算する段階と、
    前記類似性に基づいて前記閲覧画像が正当であるか否かを判定し、
    前記閲覧画像が正当であると判定された場合、ユーザによる閲覧を正当な閲覧と判定する段階と、
    前記閲覧画像が正当でないと判定された場合、ユーザによる閲覧を不正な閲覧と判定する段階と、
    を含むことを特徴とする方法。
JP2017071393A 2017-03-31 2017-03-31 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法 Active JP6181893B1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017071393A JP6181893B1 (ja) 2017-03-31 2017-03-31 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
JP2017140889A JP6925901B2 (ja) 2017-03-31 2017-07-20 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
KR1020197032339A KR102164472B1 (ko) 2017-03-31 2018-03-26 열람 확인을 위한 시스템, 휴대 단말 장치, 서버, 프로그램 및 방법
CN201880035471.2A CN110692081B (zh) 2017-03-31 2018-03-26 用于查看确认的***、便携式终端装置、服务器、程序和方法
PCT/JP2018/011978 WO2018181095A1 (ja) 2017-03-31 2018-03-26 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
US16/588,226 US11062137B2 (en) 2017-03-31 2019-09-30 System, portable terminal device, server, program, and method for viewing confirmation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017071393A JP6181893B1 (ja) 2017-03-31 2017-03-31 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017140889A Division JP6925901B2 (ja) 2017-03-31 2017-07-20 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP6181893B1 true JP6181893B1 (ja) 2017-08-16
JP2018173811A JP2018173811A (ja) 2018-11-08

Family

ID=59604965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017071393A Active JP6181893B1 (ja) 2017-03-31 2017-03-31 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法

Country Status (5)

Country Link
US (1) US11062137B2 (ja)
JP (1) JP6181893B1 (ja)
KR (1) KR102164472B1 (ja)
CN (1) CN110692081B (ja)
WO (1) WO2018181095A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173929A (ja) * 2017-03-31 2018-11-08 株式会社Ｃｙｇａｍｅｓ 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
US11281908B2 (en) 2017-10-10 2022-03-22 Cygames, Inc. System, server, program, and method for confirming acquisition of target object

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6677788B1 (ja) * 2018-11-29 2020-04-08 株式会社Ｃｙｇａｍｅｓ 情報処理プログラム、情報処理方法およびゲーム装置
JP6736751B1 (ja) 2019-12-11 2020-08-05 株式会社Ｃｙｇａｍｅｓ 既知の画像を用いた画像撮影の安定化のための方法、プログラム、電子装置
JP7446107B2 (ja) 2019-12-27 2024-03-08 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理システムの制御方法、およびコンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231450A (ja) * 2009-03-26 2010-10-14 Seiko Epson Corp 撮影データ認証装置、撮影データ認証システム、撮影データ認証方法及びプログラム
JP2011060072A (ja) * 2009-09-11 2011-03-24 Nec Biglobe Ltd 到達確認システム、サーバ、端末、到達確認システムの制御方法、及びプログラム
JP2017010284A (ja) * 2015-06-22 2017-01-12 オカムラ印刷株式会社 情報処理システム、情報処理装置、情報処理プログラム、携帯端末装置およびその制御プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4481529B2 (ja) * 2001-06-26 2010-06-16 キヤノン株式会社 データ保存サービス装置、その制御方法、及びプログラム
JP2004157938A (ja) * 2002-11-08 2004-06-03 Hitachi Ltd 画像情報管理方法、システム、プログラム、ならびに記録媒体
JP4514134B2 (ja) * 2005-01-24 2010-07-28 株式会社コナミデジタルエンタテインメント ネットワークシステム、サーバ装置、不正利用検出方法、ならびに、プログラム
JP4922953B2 (ja) 2008-01-15 2012-04-25 日本写真印刷株式会社 特典付与システム
CN103179370B (zh) * 2010-09-21 2017-04-19 株式会社锦宫事务 图像处理***以及图像处理方法
JP2013000552A (ja) 2011-06-10 2013-01-07 Kazuyuki Fukushima シミュレーションゲーム装置
JP5698293B2 (ja) * 2013-03-25 2015-04-08 富士フイルム株式会社 携帯型医用画像表示端末及びその作動方法
US10262427B2 (en) * 2014-09-01 2019-04-16 Nec Corporation Determination method, determination system, determination device, and program
JP6455040B2 (ja) 2014-09-17 2019-01-23 株式会社リコー 店舗集客支援システム、サーバ装置、プログラムおよび方法
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231450A (ja) * 2009-03-26 2010-10-14 Seiko Epson Corp 撮影データ認証装置、撮影データ認証システム、撮影データ認証方法及びプログラム
JP2011060072A (ja) * 2009-09-11 2011-03-24 Nec Biglobe Ltd 到達確認システム、サーバ、端末、到達確認システムの制御方法、及びプログラム
JP2017010284A (ja) * 2015-06-22 2017-01-12 オカムラ印刷株式会社 情報処理システム、情報処理装置、情報処理プログラム、携帯端末装置およびその制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173929A (ja) * 2017-03-31 2018-11-08 株式会社Ｃｙｇａｍｅｓ 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
US11281908B2 (en) 2017-10-10 2022-03-22 Cygames, Inc. System, server, program, and method for confirming acquisition of target object

Also Published As

Publication number Publication date
CN110692081A (zh) 2020-01-14
JP2018173811A (ja) 2018-11-08
WO2018181095A1 (ja) 2018-10-04
CN110692081B (zh) 2022-12-20
US20200026921A1 (en) 2020-01-23
KR20190137122A (ko) 2019-12-10
KR102164472B1 (ko) 2020-10-12
US11062137B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
JP6181893B1 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
US9767124B2 (en) Information processing system and information processing method
US10062099B2 (en) Product identification based on location associated with image of product
US7992181B2 (en) Information presentation system, information presentation terminal and server
US20190373465A1 (en) Visual display systems and method for manipulating images of a real scene using augmented reality
JP6120467B1 (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
KR101738443B1 (ko) 증강 현실 콘텐츠를 스크리닝하는 방법, 장치, 및 시스템
US11281908B2 (en) System, server, program, and method for confirming acquisition of target object
KR20180100074A (ko) 공간객체 검색결과 정렬 방법, 시스템 및 컴퓨터 독취가능 저장장치
KR101554776B1 (ko) 피사체의 촬영을 통한 피사체 소스정보의 제공방법 및 이를 위한 서버와 휴대용 단말기
JP2010230813A (ja) 情報提供装置、情報提供方法およびプログラム
TWI603227B (zh) 移動物件的虛擬訊息遠距管理方法與應用系統
US20160085297A1 (en) Non-transitory computer readable medium, information processing apparatus, and position conversion method
JP6047939B2 (ja) 評価システム、プログラム
JP2017228278A (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
JP6925901B2 (ja) 閲覧確認のためのシステム、携帯端末装置、サーバ、プログラム及び方法
KR20210094396A (ko) 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버
KR102469244B1 (ko) 이미지 프로세싱에 기반하여 오프라인 광고 성과 데이터를 수집하는 방법
KR20200024540A (ko) 이미지 검색을 위한 요약 정보 제공 방법 및 이를 지원하는 서비스 장치
JP6019888B2 (ja) 評価システム、情報処理装置
JP2014016843A (ja) 評価システム、プログラム
JP5966714B2 (ja) 評価システム、プログラム
JP2019125394A (ja) 対象物取得確認のためのシステム、サーバ、プログラム及び方法
KR20080036231A (ko) 정보 제시 시스템, 정보 제시 단말기 및 서버
JP2023136582A (ja) 情報処理装置、情報処理システム、及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170411

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170411

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170720

R150 Certificate of patent or registration of utility model

Ref document number: 6181893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250