JP2016530593A - イメージの鮮明性を評価すること - Google Patents

イメージの鮮明性を評価すること Download PDF

Info

Publication number
JP2016530593A
JP2016530593A JP2016518316A JP2016518316A JP2016530593A JP 2016530593 A JP2016530593 A JP 2016530593A JP 2016518316 A JP2016518316 A JP 2016518316A JP 2016518316 A JP2016518316 A JP 2016518316A JP 2016530593 A JP2016530593 A JP 2016530593A
Authority
JP
Japan
Prior art keywords
image
blur
score
sharpness
weighting matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016518316A
Other languages
English (en)
Inventor
バードワージ，アヌラグ
ダイ，ウェイ
ピラムス，ロビンソン
スンダルイサーン，ニーラカンタン
エル． ライマン，ネイト
エル． ライマン，ネイト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PayPal Inc
Original Assignee
PayPal Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PayPal Inc filed Critical PayPal Inc
Publication of JP2016530593A publication Critical patent/JP2016530593A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

システムは、画像鮮明性結果を計算し、使用するように構成されることが出来る。ある例示的実施形態においては、コンテンツ認識画像鮮明性評価スキームは、目的のオブジェクトについて取られた写真の鮮明性あるいはブラーの度合いを計算するために、システムによって実装される。ある例示的実施形態においては、画像鮮明性評価スキームから計算された鮮明性スコアは、オブジェクトが写真に示されたのと同一のカテゴリの他の写真に対して、意味のあるスコアに変換される。様々な例示的実施形態において、モバイルベースのアシスタントは、モバイルデバイスを用いて写真をアップロードするユーザに、瞬時の（あるいは、略瞬時の）フィードバックを提供するように構成される。他の例示的実施形態においては、ウェブベースのアシスタントは、電子コマースあるいはマーケットプレイスウェブサイトに同時に１以上の写真をアップロードするユーザに、瞬時の（あるいは、略瞬時の）フィードバックを提供するように構成される。【選択図】図１８

Description

＜関連出願＞
この国際出願は、２０１３年１１月６日出願の米国特許出願第１４／０７３，７８８号と、２０１３年６月４日出願の米国仮特許出願第６１／８３０，９５１号に対し、優先権の利益を主張し、両出願の全内容は、ここに、参照によって組み込まれる。
＜技術分野＞
ここに説明される主題は、一般に、データを処理することに関する。特には、本開示は、画像の鮮明性を評価することを促進するシステム及び方法を扱う。
画像は、特に、画像を見るユーザの観点から、あるいは、電子コマース（ｅコマース）を促進するために、より効果的に、あるいは、テキストでは不可能な方法で、情報を伝達するために用いられることが出来る。画像を用いて情報を伝達することができる程度は、画像の品質に関連している。アマチュアあるいは、時々の販売者は、彼等の製品の品質の良い写真を撮ることが出来る専門の技術を持っていないだろう。良くある画像品質問題の一つは、写真の輪郭の不明瞭さ（ブラー、鮮明性の欠如）である。
特許あるいは出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面を有するこの特許あるいは特許出願公開文書のコピーは、リクエスト及び必要な料金の支払いによって、特許庁より提供されるだろう。
ある実施形態は、添付の図面において、例示であって、限定ではない方法で示される。
ネットワークを介してデータを交換するように構成されたクライアント−サーバアーキテクチャを有する、ある例示的実施形態による、システムのネットワークアーキテクチャを図示するブロック図である。 ある例示的実施形態による、図１のシステム内に提供されるコンポーネントを示すブロック図である。 ある例示的実施形態による、ブラーをモデル化するカーネルの様々な形態を例示する例示的画像の集合である。 ある例示的実施形態による、ブラーの様々なタイプを例示する例示的画像の集合である。 ある例示的実施形態による、画像処理動作を例示する例示的画像の集合である。 ある例示的実施形態による、エッジエネルギーマップ、重みマップ、正規化重みマップを示す。 ある例示的実施形態による、画像処理の例示的方法を図示するフローチャートである。 ある例示的実施形態による、各鮮明性スコア及びブラー確率と共に提示される例示的画像の集合である。 ある例示的実施形態による、各鮮明性スコア及びブラー確率と共に提示される例示的画像の集合である。 ある例示的実施形態による、各評価された鮮明性レベル及びブラーの確率を有する、１つのリスティングオブジェクトから撮られた４つの画像の集合である。 ある例示的実施形態による、各評価された鮮明性レベルとブラーの確率を有する、女性服のカテゴリからのいくつかの例示的画像を示す。 ある例示的実施形態による、複数のアルゴリズムを比較する実験的データの棒プロットである。 ある例示的実施形態による、アップロードされた画像に応答してユーザに提供される瞬時のフィードバックを図示する概念図である。 ある例示的実施形態による、アップロードされた画像に応答してユーザに提供される瞬時のフィードバックを図示する概念図である。 ある例示的実施形態による、ユーザに返される、アップロード画像と画像鮮明性評価結果の例示的スクリーンショットである。 ある例示的実施形態による、ユーザに返される、アップロード画像と画像鮮明性評価結果の例示的スクリーンショットである。 ある例示的実施形態による、ユーザに返される、アップロード画像と画像鮮明性評価結果の例示的スクリーンショットである。 ある例示的実施形態による、ユーザに返される、アップロード画像と画像鮮明性評価結果の例示的スクリーンショットである。 ある例示的実施形態による、ユーザに返される、アップロード画像と画像鮮明性評価結果の例示的スクリーンショットである。 ある例示的実施形態による、画像鮮明性を評価するように構成されたネットワーク化されたシステムの動作を図示するフローチャートである。 命令の集合が、マシンに、ここに説明する任意の１以上の方法を実行させるために実行されることができる、コンピュータシステムの例示的形態におけるマシンの図的表現である。
ここに説明する例示的実施形態への様々な変更は、当業者には自明であろう。また、ここに規定される一般的な原理は、本発明の範囲を離れることなく、他の実施形態と応用に適用されることが出来る。更に、以下の説明においては、多くの詳細が、説明のために述べられる。しかし、当業者は、本発明は、それらの特定の詳細なしで実施されることが出来ることを理解するだろう。他の例においては、既知の構造及び処理は、不必要な詳細によって、本発明の説明が不明確にならないように、ブロック図の形態では示されない。従って、本開示は、示された実施形態に限定されることは意図しておらず、ここに説明する原理と特徴に整合する最も広い範囲にわたって一致する。ここに提供した見出しは、利便のためのみであり、用いられる語句の範囲あるいは意味に必ずしも影響を与えるものではない。
図１は、ネットワークを介してデータを交換するように構成されたクライアント−サーバアーキテクチャを有する、一実施形態による、ネットワークシステム１００を図示するネットワーク図である。ネットワーク化されたシステム１０２（例えば、画像の鮮明性を評価するように構成された鮮明性評価マシン）は、ネットワーク１０４（例えば、インターネットあるいは、WAN（wide area network ））を介して、１以上のクライアント及びデバイスに、サーバ側機能を提供するネットワークベースの公開システムである、あるいは、を含むことが出来る。図１は、更に、例えば、デバイスマシン１１０及び１１２上で実行するウェブクライアント１０６（例えば、ウェブブラウザ）及びプログラマチッククライアント１０８の一つあるいは両方を図示する。一実施形態においては、ネットワークシステム１００は、マーケットプレイスシステムを含む。他の実施形態においては、ネットワークシステム１００は、これらには限定されないが、ソーシャルネットワーキングシステム、マッチングシステム、推薦システム、電子コマース（ｅコマース）システム、検索システム、及び、任意のこれらの適切な組み合わせなどの他のタイプのシステムを含む。
デバイスマシン１１０及び１１２のそれぞれは、少なくとも、ディスプレイと、ネットワーク化されたシステム１０２（例えば、画像鮮明性評価マシン）にアクセスするための、ネットワーク１０４との通信機能を含む、コンピューティングデバイスである、あるいは、を含むことが出来る。デバイスマシン１１０及び１１２の例は、これらには限定されないが、リモートデバイス、ワークステーション、コンピュータ、汎用コンピュータ、インターネット装置、ハンドヘルドデバイス、無線デバイス、携帯デバイス、ウェアラブルコンピュータ、セルラあるいはモバイル電話、PDA（portable digital assistant）、スマートフォン、タブレット、ウルトラブック、ネットブック、ラップトップ、デスクトップ、マルチプロセッサシステム、マイクロプロセッサベースあるいは、プログラマブル消費者電気製品、ゲームコンソール、セットトップボックス、ネットワークPC、ミニコンピュータ、及び、これらの任意の適切な組み合わせを含む。デバイスマシン１１０及び１１２のそれぞれは、有線あるいは無線接続を介して、ネットワーク１０４に接続することが出来る。例えば、ネットワーク１０４の１以上の部分は、アドホックネットワーク、イントラネット、エクストラネット、VPN（virtual private network）、LAN（local area network）、無線LAN（WLAN）、WAN（wide area network）、無線WAN（WWAN）、MAN（metropolitan area network）、インターネットの一部、PSTN（Public Switched Telephone Network）の一部、セルラ電話ネットワーク、無線ネットワーク、WiFiネットワーク、WiMaxネットワーク、他の種類のネットワーク、あるいは、２以上のそのようなネットワークの組み合わせとすることが出来る。
デバイスマシン１１０及び１１２のそれぞれは、これらには限定されないが、ウェブブラウザ、メッセージングアプリケーション、電子メール（ｅメール）アプリケーション、ｅコマースサイトアプリケーション（マーケットプレイスアプリケーションとも呼ばれる）などの、１以上のアプリケーションを含む。ある例示的実施形態においては、ｅコマースサイトアプリケーションが、デバイスマシン１１０及び１１２の与えられた一つに含まれるなら、このｅコマースサイトアプリケーションは、ローカルに、ユーザインタフェース及び、少なくともいくつかの、ｅコマースサイトの機能を提供するように構成され、ｅコマースサイトアプリケーションは、必要に応じて、データあるいは、ローカルには得られない処理機能（販売に用いられるアイテムのデータベースへのアクセス、ユーザの認証、支払い方法の確認など）のために、ネットワーク化されたシステム１０２と通信するように構成される。逆に、ｅコマースサイトアプリケーションが、デバイスマシン１１０及び１１２の与えられた一つに含まれないならば、デバイスマシン１１０、１１２の与えられた一つは、ネットワーク化されたシステム１０２上で提供されるｅコマースサイト（あるいは、その変形）にアクセスするために、ウェブブラウザを使用することが出来る。２つのデバイスマシン１１０及び１１２が図１に示されているが、２より多い、あるいは、２より少ないデバイスマシンが、システム１００に含まれることが出来る。
アプリケーションプログラムインタフェース（API）サーバ１１４及び、ウェブサーバ１１６は、１以上のアプリケーションサーバ１１８に結合し、１以上のアプリケーションサーバ１１８に、それぞれ、プログラマチック及びウェブインタフェースを提供する。アプリケーションサーバ１１８は、１以上の、マーケットプレイスアプリケーション１２０及び支払いアプリケーション１２２を提供する。アプリケーションサーバ１１８は、今度は、１以上のデータベース１２６へのアクセスを促進する１以上のデータベースサーバ１２４へ結合されるように示される。
マーケットプレイスアプリケーション１２０は、幾つかのｅコマース機能とサービスを、ネットワーク化されたシステム１０２にアクセスするユーザに提供することが出来る。ｅコマース機能あるいはサービスは、幾つかの公開機能とサービス（例えば、検索、リスティング、コンテンツビューイング、支払いなど）を含むことが出来る。例えば、マーケットプレイスアプリケーション１２０は、商品あるいはサービスをリストアップし、あるいは、商品あるいはサービスを販売のために提供し、商品あるいはサービスの検索をし、トランザクションを促進し、及び、トランザクション及び関連するユーザについてのフィードバックを調べ、あるいは、提供するために、ユーザに、幾つかのサービス及び機能を提供することが出来る。更に、マーケットプレイスアプリケーション１２０は、リスティング、トランザクションあるいはユーザとの相互作用に関して、データ及びメタデータを追跡し、及び、格納することが出来る。ある実施形態においては、マーケットプレイスアプリケーション１２０は、アプリケーションサーバ１１８、データベースサーバ１２４あるいはその両方にアクセス可能な、アプリケーションサーバ１１８あるいは、データベース１２６に格納されるコンテンツアイテムへのアクセスを公開、あるいは、提供することが出来る。支払いアプリケーション１２２は、同様に、ユーザに、幾つかの支払いサービス及び機能を提供することが出来る。支払いアプリケーション１２２は、アカウントに、値（例えば、ＵＳドルなどの商業通貨、あるいは、「ポイント」などの専売通貨（proprietary currency ））をユーザが蓄積することを可能とし、そして、後に、マーケットプレイスアプリケーション１２０を介して、利用可能になった製品あるいはアイテム（例えば、商品あるいはサービス）のために、蓄積した値を引き換えることを可能とすることが出来る。マーケットプレイス及び支払いアプリケーション１２０及び１２２が、両者がネットワーク化されたシステム１０２の一部を形成するとして、図１に示されており、別の実施形態においては、支払いアプリケーション１２２は、ネットワーク化されたシステム１０２とは別で、これから異なる支払いサービスの一部を形成することが出来ることは理解されるだろう。他の実施形態においては、支払いアプリケーション１２２は、ネットワークシステム１００から省略されることが出来る。ある実施形態においては、少なくとも、マーケットプレイスアプリケーション１２０の一部は、１以上のデバイスマシン１１０及び１１２上で提供されることが出来る。
更に、図１に示されたネットワークシステム１００が、クライアント−サーバアーキテクチャを使用する一方、本開示の実施形態は、そのようなアーキテクチャに限定されず、同様に、例えば、分散あるいはピアツーピアアーキテクチャシステムに応用を見つけることが出来る。様々なマーケットプレイス及び支払いアプリケーション１２０及び１２２は、また、必ずしもネットワーキング機能を有しないスタンドアロンソフトウェアプログラムとして実装されることが出来る。
ウェブクライアント１０６は、ウェブサーバ１１６によってサポートされているウェブインタフェースを介して、様々なマーケットプレイス及び支払いアプリケーション１２０及び１２２にアクセスする。同様に、プログラマチッククライアント１０８は、APIサーバ１１４によって提供されるプログラマチックインタフェースを介して、マーケットプレイス及び支払いアプリケーション１２０及び１２２によって提供される様々なサービス及び機能にアクセスする。プログラマチッククライアント１０８は、例えば、販売者が、オフラインで、ネットワーク化されたシステム１０２上のリスティングを作成し、管理することが出来るようにし、プログラマチッククライアント１０８とネットワーク化されたシステム１０２間のバッチモード通信を実行可能とする販売者アプリケーション（例えば、カリフォルニア州、サンホセのeBay Inc.,によって開発されたTurboListerアプリケーション）とすることが出来る。
図１は、また、APIサーバ１１４によって提供されるプログラマチックインタフェースを介して、ネットワーク化されたシステム１０２にプログラマチックなアクセスを有するとして、第三者サーバマシン１３０上で実行される、第三者アプリケーション１２８を図示する。例えば、第三者アプリケーション１２８は、ネットワーク化されたシステム１０２から取得された情報を用いて、第三者によって提供されるウェブサイト上の１以上のフィーチャあるいは機能をサポートする。第三者ウェブサイトは、例えば、ネットワーク化されたシステム１０２の関連するアプリケーションによってサポートされる、１以上のプロモーション用、マーケットプレイスあるいは支払いの機能を提供することが出来る。
図２は、ある例示的実施形態による、ネットワーク化されたシステム１０２内に提供されるコンポーネントを示すブロック図を図示する。ネットワーク化されたシステム１０２は、鮮明性評価マシン（例えば、１以上のソフトウェアモジュールによって構成されたサーバマシン）である、あるいは、を含むことが出来る。ネットワーク化されたシステム１０２は、サーバマシン間での通信を可能とするために通信可能なように結合される、専用、あるいは、共有サーバマシン上で提供されることが出来る。コンポーネント自身は、情報が、アプリケーション間でやり取りでき、あるいは、アプリケーションが共通データを共有、及び、アクセス可能とするように、（例えば、適切なインタフェースを介して）相互に、及び、様々なデータソースに通信可能なように結合される。更に、コンポーネントは、データベースサーバ１２４を介して、１以上のデータベースにアクセスすることが出来る。
ネットワーク化されたシステム１０２は、幾つかの公開、リスティング、あるいは、価格設定機構を提供することができ、これにより、販売者（第１のユーザとも呼ばれる）は、販売あるいは、交換のために、商品あるいはサービスをリストアップする（あるいは、関係する情報を公開する）ことができ、バイヤー（第２のユーザとも呼ばれる）は、そのような商品あるいはサービスを購入あるいは交換することへの興味を表明、あるいは、そうしたい希望を示すことができ、トランザクション（トレードなど）が、商品あるいはサービスに関連して、完了されることが出来る。この結果、ネットワーク化されたシステム１０２は、少なくとも１つの公開エンジン２０２及び１以上の販売エンジン２０４を含むことが出来る。公開エンジン２０２は、ネットワーク化されたシステム１０２上で、アイテムのリスティングあるいは、製品説明ページなどの情報を公開することが出来る。ある実施形態においては、販売エンジン２０４は、固定価格リスティング及び価格設定機構をサポートする１以上の固定価格エンジン、及び、オークション形式のリスティング及び価格設定機構（例えば、英国式オークション、オランダ式オークション、中国式オークション、ダブルオークション、逆オークションなど）をサポートする１以上のオークションエンジンを含むことが出来る。様々なオークションエンジンは、また、予約価格フィーチャなどのこれらのオークション形式リスティングのサポートにおいて、幾つかのフィーチャを提供することが出来、これにより、販売者は、リスティング及び代理入札フィーチャに関連した予約価格を指定することができ、これにより、入札者は、自動代理入札を行なうことが出来る。販売エンジン２０４は、更に、製品及びサービスに対する商人生成提供をサポートする１以上の取引エンジンを含むことが出来る。
リスティングエンジン２０６は、販売者が、アイテムのリスティングを簡便に作成可能とし、あるいは、作成者が、公開情報を生成可能とする。一実施形態においては、リスティングは、ユーザ（例えば、販売者）が、ネットワーク化されたシステム１０２を介して、トランザクションを行いたい商品あるいはサービスに関連する。ある実施形態においては、リスティングは、商品あるいはサービスについての提供、取引、クーポンあるいはディスカウントとすることが出来る。各商品あるいはサービスは、特定のカテゴリに関連する。リスティングエンジン２０６は、名称、説明、及び、外観ネームバリューペア（aspect name-value pairs ）などのリスティングデータを受信することが出来る。更に、商品あるいはサービスの各リスティングは、アイテム識別子が割り当てられることが出来る。他の実施形態においては、ユーザは、広告あるいは、情報公開の他の形式であるリスティングを生成することが出来る。リスティング情報は、そして、ネットワーク化されたシステム１０２に結合された１以上の格納デバイス（例えば、データベース１２６）に格納されることができる。リスティングは、また、製品と、この製品に関連した情報（例えば、製品名、仕様、及び、レビュー）を表示する製品説明ページを含むことが出来る。ある実施形態においては、製品説明ページは、製品説明ページに記述される製品に対応するアイテムリスティングの集まりを含むことが出来る。
リスティングエンジン２０６は、また、バイヤーが、購入したいアイテムのリスティングあるいはリクエストを利便良く生成可能とすることが出来る。ある実施形態においては、リスティングは、ユーザ（例えば、バイヤー）が、ネットワーク化されたシステム１０２を介して、トランザクションを行いたい商品あるいはサービスに関連することが出来る。各商品あるいはサービスは、特定のカテゴリに関連付けられることが出来る。リスティングエンジン２０６は、バイヤーがリクエストされたアイテムについて知っている、名称、説明、及び、外観ネーム／バリューペアなどのリスティングデータを、出来るだけ多く、あるいは、出来るだけ少なく受信することが出来る。ある実施形態においては、リスティングエンジン２０６は、バイヤーが提出したアイテム情報を解析し、リスティングの不完全な部分を完全にすることが出来る。例えば、バイヤーがリクエストされたアイテムの短い説明を提供するならば、リスティングエンジン２０６は、この説明を解析し、キーとなる語句を抽出し、それらの語句を、アイテムの識別を判断することに用いることが出来る。判断されたアイテムの識別を用いて、リスティングエンジン２０６は、バイヤーアイテムリクエストに含めるために、追加のアイテムの詳細を取得することが出来る。ある実施形態においては、リスティングエンジン２０６は、商品あるいはサービスの各リスティングにアイテム識別子を割り当てることが出来る。
ある実施形態においては、リスティングエンジン２０６は、販売者が、製品あるいはサービスについて、ディスカウントの提供を生成可能とすることが出来る。リスティングエンジン２０６は、提供される製品あるいはサービス、製品あるいはサービスの価格（ディスカウントあり、あるいは、なし）、提供が有効な期間などのリスティングデータを受信することが出来る。ある実施形態において、リスティングエンジン２０６は、販売者が、販売者のモバイルデバイスから提供を生成可能とする。生成された提供は、格納及び追跡のために、ネットワーク化されたシステム１０２へアップロードされることが出来る。
ネットワーク化されたシステム１０２を検索することは、検索エンジン２０８によって促進される。例えば、検索エンジン２０８は、ネットワーク化されたシステム１０２を介して公開されたリスティングのキーワード問い合わせを可能とする。例示的実施形態においては、検索エンジン２０８は、ユーザのデバイスからキーワード問い合わせを受信し、リスティング情報を格納する格納デバイスのレビューを実行する。レビューは、ソートされ、ユーザのクライアントデバイス（例えば、デバイスマシン１１０あるいは１１２）に返送されるリスティングの結果の集合を蓄積することを可能とするだろう。検索エンジン２０８は、問い合わせ（例えば、キーワード）及び、任意の後続のユーザのアクション及び振る舞い（例えば、ナビゲーション、選択、あるいは、クリックスルー）を記録することが出来る。
検索エンジン２０８は、また、ユーザの位置に基づいて、検索を実行することが出来る。ユーザは、モバイルデバイスを介して、検索エンジン２０８にアクセスし、検索問い合わせを生成することが出来る。検索問い合わせとユーザの位置を用いて、検索エンジン２０８は、ユーザに、製品、サービス、提供、オークションなどの関連した検索結果を返すことが出来る。検索エンジン２０８は、リスト形式及び、マップ上のグラフの両方で関連する検索結果を特定することが出来る。マップ上のグラフィカルインジケータの選択は、選択された検索結果についての追加的な詳細を提供することが出来る。ある実施形態においては、ユーザは、検索問い合わせの一部として、検索結果を制限するために、ユーザの現在の位置からの半径あるいは距離を指定することが出来る。
検索エンジン２０８は、また、画像に基づいて、検索を実行することが出来る。画像は、カメラ、あるいは、クライアントデバイスの画像形成コンポーネントから取ることが出来、あるいは、記憶装置からアクセスされることが出来る。
更なる例においては、ナビゲーションエンジン２１０は、ユーザが、ネットワーク化されたシステム１０２内で、どのリスティングが分類されるかにより、様々なカテゴリ、カタログ、あるいは、目録データ構造を巡ることを可能とする。例えば、ナビゲーションエンジン２１０は、ユーザが、リスティングの特定に到達するまで、カテゴリの階層（例えば、カテゴリツリー構造）を含む、カテゴリツリーを順次下がりながら巡ることを可能とする。ナビゲーションエンジン２１０内の様々な他のナビゲーションアプリケーションは、検索及びブラウジングアプリケーションを補足するために提供されることが出来る。ナビゲーションエンジン２１０は、カテゴリツリーを下って巡るために、ユーザによって実行される様々なユーザアクション（例えば、クリック）を記録することが出来る。
ネットワーク化されたシステム１０２に関連した追加的なモジュール及びエンジンが、更に詳細に、以下に記述される。モジュールあるいはエンジンは、以下に記述する詳細の様々な側面を実装することができることは理解されるべきである。例えば、画像鮮明性検出エンジン２１２（画像鮮明性診断エンジン、画像ブラー検出エンジンあるいは、画像ブラー診断エンジンとも呼ばれる）及び、画像アップロードアシスタンスエンジン２１４は、以下に記述する機能及び動作を実行するために、ネットワーク化されたシステム１０２あるいは、任意の１以上のデバイスマシン１１０あるいは１１２（例えば、クライアントマシン）に含まれることが出来る。
ｅコマースにおける高品質画像は、ユーザの閲覧時間、及び、コンバート率を改善する。消費者−消費者（C2C）ｅコマース環境においては、例えば、販売者は、彼等の製品の良い品質の写真を撮る専門のスキルを有していないかもしれない。良くある品質問題の一つは、写真のブラーである。製品のブラーがかかった写真が、販売者によって、ｅコマースシステムにアップロードされると、そのような製品を販売する可能性が低くなる。従って、本説明では、高品質画像を、オンラインｅコマースあるいはマーケットプレイスシステムなどのオンラインベースのシステムにアップロードする際に、画像の品質を評価し、あるいは、ユーザに利便を図るために、以下を提案する。ここで説明されるシステム及び方法の例示的実施形態は、コンテンツ認識画像鮮明性評価アルゴリズムを実装することができ、そのようなアルゴリズムを、画像アップロード（例えば、写真アップロード）における、リアルタイム（あるいは、略リアルタイム）なアシスタンスを促進するために用いることが出来る。
画像鮮明性診断を実行する場合、ここに説明するシステム及び方法の例示的実施形態は、画像の表示されるコンテンツを要素に分解することが出来る。例えば、画像の多くの部分が濃い（無地の）領域（例えば、濃い色）を含む場合、画像は、パターンあるいは濃くない領域よりも少ない高周波数信号を示す傾向がある。
ここに説明されるシステム及び方法の例示的実施形態は、ユーザが画像をアップロードすると（例えば、製品リスティング処理の間に）、ユーザに画像品質について、瞬間的にフィードバックを提供することが出来る。そのようなリアルタイム（あるいは、略リアルタイム）なフィードバックは、ユーザがブラーな画像を公開するのを防止、あるいは、思いとどまらせる。フィードバックフィーチャがない場合、製品の視覚的表現としてのブラーな画像の使用は、情報があいまいで、製品の詳細が失われているとして、潜在的なバイヤーからの信頼を潜在的に減少するかもしれない。
ここに説明するシステム及び方法の様々な例示的実施形態による、画像鮮明性診断（画像ブラー検出とも呼ばれる）は、特定のカメラあるいは、他のハードウェアとは結びつかない、ソフトウェアベースの、あるいは、ウェブベースの検出スキームであることが出来る。
画像は、ｅコマースにおいて大きなインパクトを有する。特に、画像を見るユーザの観点から、より効果的に、あるいは、テキストでは不可能な方法で、情報を伝達し、あるいは、ｅコマースを促進するために用いられることが出来る。
しかし、多くのC2Cｅコマースサイトにおいては、販売者は、高画質製品画像を取るための専門的な撮影技術あるいは、道具を有していない。低画質の写真は、低品質のバイヤー経験あるいは、低品質の販売者のコンバートを引き起こし、今度は、信頼の置けるマーケットプレイスとしてのｅコマースサイトについての悪印象となるかもしれない。多くの写真品質問題の中でも、ブラー（例えば、鮮明性の欠如）は、特に、写真を撮るために、より多くの人々が、モバイルデバイスあるいは他の携帯デバイス（例えば、iPhone、iPad、スマートフォン、タブレット）を用いる場合、しばしば起こるものである。より多くの販売者が、モバイルアプリで製品のリスティングを更新し、あるいは、生成し、モバイルデバイスを用いて、製品の写真を撮る。モバイルアプリ及びデバイスのそのような使用は、製品のリスティングを更新し、あるいは、生成するためには、かなり便利な方法であるが、関連するブラー問題は、従来のカメラを用いて撮影された画像より、それらの画像において、よりしばしば出くわすものである。ブラー効果を有する画像は、高周波数情報の欠如を導き、バイヤーが製品の詳細を見ることを難しくし、従って、製品の品質に疑問を投げかけることになるかもしれない。あるガイダンス及びインストラクションは、販売者が、彼らがアップロードした写真を評価し、また、複数の写真が、与えられた製品のリスティングのためにアップロードされたとき、どの写真がメイン画像として表示されるべきかの正しい決定をなすことを助ける。
従って、重み付けブラー計量（Weighted Blur Metric ）が、写真の鮮明性を評価するために実装されることができ、自動写真評価システムは、ブラー効果について、画像品質のフィードバックをすぐにユーザに提供するよう構成されることが出来る。これは、販売者が、電子環境において、彼等の製品の視覚的表現の高スタンダードを維持するのを助けるのに特に有用であるだろう。
セクション１は、非参照ブラー解析の背景を導入する。セクション２は、写真の鮮明性を評価する方法を提案する。異なるデータセットへの実験は、セクション３に含まれる。セクション４は、ウェブ及びモバイル写真評価システム、例えば、自動写真評価及びアップロードアシスタンスシステムを提示する。
１．非参照ブラー及び鮮明性の概観
製品の写真の側面の一つは、製品あるいはシーンを正確に表現できることである。語句「製品」、「アイテム」、「シーン」、「オブジェクト」などは、画像コンテンツを示すために、ここに相互に交換して用いられる。画像は、スペクトル中のその高空間周波数値が減衰されたとき、ブラーとなっているように見える。従って、高周波数コンテンツの欠損になり、画像の鮮明性とコントラストを減少する。ブラー効果は、画像と畳み込みされた異なるカーネル関数を用いてモデル化されることが出来る。従って、一ピクセルのシーン情報は、隣接するピクセルに「こぼれ出す」。シーンにおける高コントラストエッジは、徐々に起こる転移となり、精細な詳細は、ブラーとなり、あるいは、見ることさえできなくなるだろう。図３は、ある例示的実施形態による、ブラープロセスをモデル化するためのカーネルの幾つかの種類を示す。図４は、ある例示的実施形態による、実際の画像の例と、2つの異なる種類のブラー、焦点外れブラー及び、動きブラーが起きた同一の画像の例を示す。ブラーの共通の原因は、これらには限定されないが、動きブラー、焦点外れブラー、画像圧縮などを含む。
動きブラーは、オブジェクトの相対的動き、あるいは、露光時間中のカメラの相対的動きによって起こる。線形動きブラーは、一方向のみにかすむと考えられるが、非線形は、異なる強度の複数の方向へのかすみを含む。動きブラーの小さな量であっても、ブラーの方向には関係なく、性能をかなり劣化させる。焦点外れブラーは、最も良い焦点の平面あるいは面から離れる光軸に沿っての並進を示し、その結果、入射光がぼやける。一般に、焦点外れは、焦点が撮影されるべきオブジェクトの「被写界深度」の外にある時に起こる。オブジェクトが、この被写界深度から離れるに従い、焦点外れの度合いも大きくなる。焦点外れのブラーは、ガウシアンブラーによって近似されることの出来る、ディスクカーネルを用いて、画像を畳み込み処理することに対応する。この差異は、限定されない定義域を有するガウシアンカーネルを用いるガウシアンブラーである。
非参照写真品質評価は、歪みの度合いを測定するための基準として、既存の完全なグランドトルース写真がないことを意味する。従って、評価は、評価されるべき画像のみに依存すべきである。非参照ブラー評価は、数十年にわたってとても難しい問題であった。また、コンテンツ認識評価は、基準データがないために、より難しいものである。異なるコンテンツを有する画像の組の比較は、両画像が、周波数領域において同様な振る舞いを有するなら、より納得のいくものである。自然のシーンの画像は、一般に、人工のオブジェクトの比較と、とても異なった分布を有している。
２．画像鮮明性評価スキーム
様々な例示的実施形態によると、鮮明性評価マシンは、販売者が（例えば、販売者ユーザが）、彼等の画像が、販売者の製品の詳細情報が見えなくなる、鮮明性のあるレベルより低いかどうかを理解する助けとなるように、（例えば、１以上のソフトウェアモジュールによって）構成されることが出来る。ブラー計量（Blur Metric ）は、人間が、ブラー画像と、同一の再ブラー化画像間の差を認識するのが難しいという見識に基づいて、鮮明性評価マシンによって実装されることが出来る。ブラー計量は、ブラー不快感を評価するために、同一画像において認識することが出来るブラーの異なるレベル間の差異を利用することが出来る。
しかし、このブラー計量は、同様なコンテンツを含む画像を評価するのにはよいが、このブラー計量は、相互に異なるコンテンツを有する画像については、それらの周波数レベルの本質的差異のために、あまり最適ではない。ほとんどの自然のシーンの画像と異なり、製品画像は、一般に、色とテクスチャの両方について、ほとんど変化を有しない。例えば、黒のiPadあるいは黒のドレスの製品画像は、白と黒の色を含むのみであり、殆どの領域は、濃く（無地の）、テクスチャのないものである。そのような場合、高周波数信号は、製品対背景のエッジにおいてのみ起こる。濃い（無地の）領域においては、ピクセルは、その周囲の領域と同様であり、ブラー計量において用いられる再ブラースキーマは、有用な信号を抽出するのに困難を有し、むしろ、それらの低周波数性のために、ブラー領域として、それらの濃い領域を扱う。ある状況においては、これは、画像の本質的な低周波数コンテンツによる、ブラー計量による誤った警告に導く。
この問題を解決するために、重荷付けブラー計量が実装され、これは、適用的に、画像からのエッジコンテンツ情報を含む。重み付けブラー計量のアルゴリズムは、濃い領域ではなく、画像のエッジにより焦点を当てることにより、画像の各局所領域からのブラー信号を適切に正規化することが出来る。そのようにすることにより、上記した問題は、本質的な低周波数画像コンテンツによる、誤った警告を減少させることに向けられることが出来る。ブラー検出器は、また、重み付けブラー計量の定量的出力をモデル化し、画像がブラーとなる確率（例えば、チャンス）を計算することにより、実装されることが出来る。最後に、ブラー検出及び写真アシスタントシステムは、ウェブ及びモバイルインタフェースの両方を含んで構成され（例えば、組み立てられ）ることが出来る。システムは、任意のアップロードされた画像を解析し、顧客（例えば、販売者）を、特に、ｅコマース環境における販売プロセスにおいて、助けるために、ブラー画像に印を付けるように構成されることが出来る。
重み付けブラー計量の様々な例示的実施形態によると、与えられた画像は、最初、以下の関数によってグレースケールに変換される：I=0.2989R＋0.5870G＋0.1140B、ここで、R、G、Bは、画像の、赤、緑、青色成分である。画像コンテンツは、局所的鮮明性レベルを捕捉するために、異なる領域及びパッチに渡って変化するので、画像は、最初、複数の小さな長方形領域に分割される。変数ｍは、水平軸及び垂直軸に渡ったブロックの数であり、生成されるパッチの全数は、ｍ２である。各個別のパッチ（i,j）について、ここで、(i,j）は、パッチ（１≦i≦ｍ、１≦j≦ｍ）に対するインデックスであり、Blur(i,j)は、ブラー計量によって計算されたブラースコアを示すとする。例えば、各パッチ(i,j)は、１５×１５ピクセル、２０×２０ピクセルなどとすることが出来る。
重み行列Wを計算するために、画像は、最初、グレースケール画像に変換され、それから、水平及び垂直方向に別々にソーベル演算によってフィルタリングされる。Sｈ及びSｖは、それぞれ、水平及び垂直方向のソーベルフィルタの結果を表すとする。エッジエネルギーマップは、以下のように計算されることが出来る：
図５は、（ａ）オリジナル画像、（ｂ）グレー画像に変換された画像、および、（ｃ）水平および（ｄ）垂直ソーベルフィルタの結果を示す。
各パッチの重みは、そのパッチ内のすべてのエッジエネルギー値を集めることによって計算されることが出来る：
ここで、ＷおよびＨは、それぞれ、全体画像の幅と高さである。
エッジの高密度の領域の重要性を強調するために、スムージングパラメータσが組み込まれ、正規化重み計量を計算するのに用いられる：
図６は、σ＝３の、エッジエネルギーマップ、重みマップ、および、正規化重みマップを示す。
最終ブラースコアは、この正規化重み計量によって、各パッチからブラースコアを重み付けることによって、計算されることが出来る：
２．１ブラー検出器
取得された鮮明性スコアは、０から１の範囲であり、ここで、１は、鮮明な画像を示し、０は、最もかすんだ（ブラーな）画像を示す。しかし、鮮明性スコアの出力は、ガウス分布に従う。この定量的結果を適切に整理するために、計算された鮮明性スコアは、画像がブラーとなる確率（ブラーの確率あるいは、ブラースコアの確率とも呼ばれる）にモデル化され、変換される。
αおよびβは、鮮明性スコア空間を確率空間にマッピングする関数に用いられる２つのパラメータである。この確率スコアは、よりユーザフレンドリな方法で、鮮明性スコアを解釈することを助ける。ユーザが画像をアップロードすると、確率スコアは、ユーザに、画像の与えられたカテゴリ（例えば、図４に示された例では、カテゴリは、トップスであるアパレルがある）のために以前にアップロードした鮮明あるいはブラー画像の実際の分布に対して、どのくらい画像が鮮明かの感覚を与える。ブラーが大きいと、０と１との間であるような、与えられた範囲の確率スコアも大きくなる。（例えば、トップス、パンツ、ジーンズ、コート、セーター、手袋、帽子、シートなど）の画像の各カテゴリは、以前にアップロードされた鮮明な、あるいは、ブラーの画像の、それ自身の実際の分布を有することが出来る。画像の与えられたカテゴリの分布は、画像の他のカテゴリに対して、異なるαパラメータ、βパラメータあるいはその両方を用いさせる。例えば、鮮明性スコアが、０．４７として計算されたとしても、０から１の範囲では、かなりブラーであると思われるが、０．２から０．５の鮮明性スコアの間の範囲の同一カテゴリにおける全画像は、そのカテゴリの実際の画像の分布が与えられたなら、鮮明と考えられるかもしれない。逆に、０．４７の同一の値は、与えられたカテゴリの全画像が、０．３５から０．９の範囲であるなら、ブラーであると考えられるかもしれない。
また、ブラー検出器（例えば、鮮明性評価マシン内）は、Pblurに基づいて組み立てられる。Pblur>pの画像は、ブラーであるとして印がつけられ、従って、ユーザに、視覚的に不快か何かの、アップロードされたブラーな画像を保持するのを防止するように警告を提供する。
図７は、画像の鮮明性あるいはブラー性を解析し、鮮明性スコアを確率スコアに変換し、予め決められたブラー閾値に対して確率スコアを比較し、ユーザのために、画像がブラーすぎるとして印を付ける例示的方法を図示するフローチャートである。
３．実験結果
上記スキームは、２つのデータセットに適用可能である。第１のデータセットは、主観的品質評価のための公共のデータベースである。例えば、第１のデータセットは、CSIQ（Categorical Subjective Image Quality ）データベースである、あるいは、を含むことが出来る。このデータセットは、画像歪みの広いバリエーションを含むことが出来る。ある例示的実施形態においては、ブラーな部分集合のみが用いられる。
図８および図９は、それぞれ、「Shrp」 および「Pblur」として示される、取得された鮮明性スコアおよびブラー確率を示す。ブラー確率を計算するためのパラメータが、α＝０．９およびβ＝０．４４として、経験値に設定される。各図に対し、グランドトルース鮮明性レベルは、(a)>(b)>(c)>(d)>(e)>(f)である。画像は、上記スキームを用いて、鮮明性について正しくランク付けられることが見て取れる。特に、図８の画像（ｄ）と（ｅ）を比較すると、図８の画像（ｅ）は、ブラー歪みのため、かなり、視覚的に不快であり、一方、図８の画像（ｄ）は、それほどでもなく、従って、視覚的に受け入れ可能であることが見て取れる。提案された検出器は、ブラーの確率として、０．５３８１と０．９０５３となり、人間の視覚と一致する（あるいは、に、よりユーザフレンドリな）ブラー効果を予測する能力を示す。
第２のデータセットは、オンラインｅコマースサイト（例えば、eBay.com ）から取られることが出来る。例えば、第２のデータセットは、多くのバリエーションを持つ女性服のカテゴリからの194,279枚の画像である、あるいは、を含むことが出来る。各リスティングに対し、販売者は、しばしば、同一オブジェクトから取られた１または複数の画像をアップロードする。図１０は、１つのリスティングオブジェクトから取られた４つの画像の、評価された鮮明性レベルとブラーの確率を示す。図１０は、上記のアプローチが、ブラー歪みを正しく予測し、かなり精細な画像間でもより分けることさえ出来ることを示す。右上画像は、ブラー値の最低確率を有する、４つの画像の集合の中からの最も鮮明な画像である。図１１は、女性服カテゴリからの幾つかの例示的画像を示す。図１１に示すように、上記アプローチは、うまくブラー画像を検出し、更に、画像に印を付けるのに用いることができ、販売者に、画像品質を改善するように警告を出す。
ブラーあるいは鮮明性評価において、画像コンテンツを組み込むために、濃い領域のより大きな部分を有する画像は、より少ない高周波数信号を含み、従って、誤った警告となる傾向がある。上記スキームを用いることによる改善を評価するために、最もブラーとなっている画像が解析され、問題は、例えば、画像をそのブラーレベルについての正しいランキングを生成するために、ランキング問題として扱われる。この設定は、また、ユーザを助けるために、ブラー画像に印を付けることができる、鮮明性評価システム（例えば、鮮明性評価マシン）を組み立てるのを促進する。従って、オリジナルの194k個のデータセットから全部で9,313枚の画像が用いられる。これらの画像は、残りの画像と比較して、最もブラーとなっているだろう。データの複雑性および人間の認識の限界のため、ブラーの度合いについて、画像の絶対的なランキングを取得することは、とても難しい。従って、各個別の画像をランキングするのではなく、依然人間の視覚によってより分けられるブラーの異なるレベルを有する２つの集合に、データを分割することはもっともなことであろう。
鮮明性評価システムのある例示的実施形態においては、9,313枚の最もブラーな画像のそれぞれは、手仕事でチェックされ、これらの画像は、２つの集合に分けられる：ポジティブセットとネガティブセット。ポジティブセットは、ネガティブセットより、相対的によりブラーな画像からなっているだろう。例えば、ポジティブセットφposは、8,241枚の画像からなり、ネガティブセットφnegは、1,072枚の画像からなることが出来る。画像の２つのセットへの手仕事での分類は、上記アプローチが、この２レベルのデータセットをより良くより分けるかどうかを判断するために比較される。ブラーと鮮明な画像をより分けることは、すべてのブラーな画像をより分けるよりずっと楽なので、これは、ずっと難しい問題である。
ランキングの標準の評価計量は、これには限定されないが、nDCG（normalized discounted cumulative gain ）などの、異なるアルゴリズムの性能を解析するために用いられることが出来る。DCGは、２つの仮定を立てる：高度に関連したアイテム（われわれの場合、ポジティブセットからの最もブラーな画像）は、ランクの上のほうに現れる場合、より有用である；それらはまた、わずかばかり関連したアイテム（ネガティブセットからのよりわずかにブラーな画像）よりもより有用であり、今度は、無関係なアイテム（鮮明な画像）よりもより有用である。位置ｐにおけるDCG値は、以下によって計算される：
しかし、DCGは、結果および位置の長さに依存する。この効果を除去するために、各選択された位置ｐにおけるDCGは、理想的なDCGによって正規化される：
完全なランキングは、１．０のnDCGpを生成する。すべてのnDCGは、インターバル０．０から１．０上の相対値である。
各画像は、グレー画像（例えば、グレースケール画像）に変換され、複数のパッチ（ｍ＝１５）に分割される。ベースラインアルゴリズムBlurMetricに加え、他の２つのアルゴリズムBetaBlurとTopBlockBlurと上記WeightedBlurアルゴリズム（様々なσで）を比較することは有用であろう。BetaBlurは、単純平滑化スキーマ（実験でβ＝４）を用いる：
TopBlockBlurは、最も大きい重みW(i,j)を有する上位のパッチからのブラー値Blur(i,j)を平均化する。ある例示的実施形態においては、それは、上位３分の１のパッチを平均化する。
図１２は、異なるアプローチに対する、幾つかの上位位置（p＝1100、1600、2100、2600）において計算されたnDCGの棒プロットを示す。提案のWeightedBlur計量（σ＝３，５）は、ベースラインアプローチ（Blur Metric）および他の２つの方法（BetaBlurおよびTopBlockBlur）よりも一貫してよりよい、ということが、図１２から見られる。σを増加することは、エッジ領域に焦点を当てるように、アルゴリズムを強いる。
４．画像診断および販売者アシスタントシステム
上記アプローチに基づいて、２つのシステム（例えば、ウェブバージョンとモバイルバージョン）は、写真のアップロードプロセスの間、ユーザ（例えば、販売者）をガイドするように実装されることが出来る。ユーザが画像をアップロードするとき、画像は、その鮮明性品質を評価するために、サーバAPI（あるいは、直接、ユーザデバイス上で計算される）に送信される。鮮明性の結果は、そして、ユーザに返され、ユーザフレンドリなメータあるいはグレーディングを用いて表示される。高確率でブラーとなっている画像については、ユーザは、警告サインのポップアップウィンドウ（あるいは、他の通知フォーマット）を受信し、彼等のデバイス上で、写真編集ツールを用いて画像品質を改善するか、あるいは、他の画像を撮って、アップロードすることが尋ねられる。ある実施形態においては、写真編集ツールは、現在アップロードされている画像のブラーを扱うには不十分かも知れず、その場合には、他の写真を取ることが望まれる。
図１３および１４は、ある例示的実施形態による、それぞれ、モバイルおよびウェブコンテキストでアップロードされた画像に応答して、ユーザにすぐに提供されるフィードバックを示す概念図である。
モバイルコンテキストにおいて、図１３に示されるように、モバイルカメラで撮られた、あるいは、フォトアルバムからアップロードされた各画像を用いて、ネットワーク化されたシステム１０２は、ユーザ（例えば、販売者）が、鮮明性品質を評価するのを助け、瞬時のフィードバックを提供する。ユーザは、そして、彼等のリスティング製品のために、他の写真を撮るか否かを決定する。
ウェブコンテキスト（デスクトップあるいはラップトップ上で、あるいは、ウェブサイトを介してアクセスされる）において、図１４に示されるように、製品の複数の画像が、与えられたリスティングに対して、ユーザ（例えば、販売者）によって、同時にアップロードされることが出来る。ネットワーク化されたシステム１０２は、販売者が、すべてのこれらの画像を評価し、アップロードされた画像の集合から最も鮮明な画像を選択することを助ける。すべての画像がブラー閾値より下になった場合には、そして、ネットワーク化されたシステム１０２は、他の写真を撮る、写真編集ツールを適用するなど、警告、推薦、あるいは、他の通知を提供することが出来る。
図１５〜１９は、ある例示的実施形態による、アップロードされた画像と、ユーザに帰される画像鮮明性評価結果の例示的スクリーンショットを示す。画像鮮明性評価結果は、これらには限定されないが、リストアップされるべきアイテムを一意に特定するアイテム識別子（ID）、０と１の間の鮮明性スコア、ブラースコアの対応する確率、および、画像がどの程度「良い」（鮮明）あるいは、「悪い」（ブラー）であるかのグラフィカルインジケータを含むことが出来る。図１４〜１８に示された画像鮮明性評価結果の任意の１以上は、モバイルコンテキスト、ウェブコンテキスト、あるいは、両方（例えば、販売者アシスタントスキームの一部として）において、提示されることが出来る。
このように、エッジ指向重み付けブラー計量および、画像鮮明性の確率モデルを含む、コンテンツ認識画像鮮明性評価スキームが、ここに開示される。上記スキームの様々なデータセットへの適用は、より良い、鮮明性レベルの検出および、改善された鮮明性／ブラー検出結果を生成した。スキームを用いると、モバイルシステムあるいは、ウェブベースのシステムは、１以上のオブジェクト（例えば、ｅコマースサイトあるいはマーケットプレイスにリストアップされるべき製品）の写真をアップロードしたユーザに、アップロードされた写真の品質についての瞬時のフィードバックを提供するように構成されることが出来る。フィードバックは、写真のブラーの程度について、定量的にユーザを教育するために、１以上のインジケータ（例えば、数字的、グラフィック的など）を含むことが出来る。システムは、追加的に、別の写真を撮って、アップロードする、アップロードされた写真を編集する、あるいは、与えられたオブジェクトのアップロードされた写真の集合の中から、最も鮮明な写真を選択するための推薦あるいは通知を提供することが出来る。
以下の参照文献は、ここにその全体が組み込まれる：
Chandler, E. C. (2009). Most apparent distortion: a dual strategy for full-reference image quality assessment. SPIE.
Crete, F. (2007). The Blur Effect: Perception and Estimation with a New No-Reference Perceptual Blur Metric. SPIE Electronic Imaging Symposium Conf Human Vision and Electronic Imaging.
Karam, N. D. (2010). An Improved No-Reference Sharpness Metric Based on the Probability of Blur Detection. International Workshop on Video Processing and Quality Metrics for Consumer Electronics (VPQM) .
N.D. Narvekar and L. J. Karam. (2009). A No-Reference Perceptual Image Sharpness Metric Based on a Cumulative Probability of Blur Detection . International Workshop on Quality of Multimedia Experience (QoMEX) , (pp. 87-91).
Z. Wang, H. R. (2002). No-reference perceptual quality assessment of JPEG compressed images. IEEE Int. Conf. Image Proc.
他の例示的実施形態において、製品リスティングの品質は、販売者によって投稿された画像をアップグレードすることによって改善される。販売者は、アイテムの写真を撮り、ユーザデバイス（例えば、デバイスマシン１１０あるいは１１２）を用いて、システム（例えば、ネットワーク化されたシステム１０２）に画像をアップロードすることができ、画像は、ユーザデバイス、システムあるいは、両方によって処理され、画像が低品質である（例えば、予め定められた閾値より下）ことが判断されたなら、製品リスティングのアップロードされた画像ではなく、蓄積画像が用いられる。画像処理は、これらには限定されないが、低輝度、部分画、ブラー、色の正しさ、色合いなどの、１以上の画像の特徴を判断するために、アップロードされた画像の解析を含むことが出来る。アップロードされた画像を蓄積画像と置き換える前に、１以上の通知およびオプションが、販売者に提示されることが出来る。例えば、蓄積画像のプレビューが、販売者に提供され、販売者の許可が、蓄積画像の使用のために求められる。他の例として、販売者は、現在アップロードされた画像を蓄積画像に置き換えるのではなく、異なる画像をアップロードする選択（および、アイテムのよりよい写真を撮るための推薦が提供されるかもしれない）が与えられることが出来る。更に他の例として、１以上の蓄積画像は、蓄積画像のライブラリ（例えば、データベース１２６において維持される）において利用可能であり、販売者は、リストアップされたアイテムに対応した蓄積画像選択の中から選択することが出来る。アイテムに対応する蓄積画像は、アップロードされた画像が、蓄積画像に一致可能なように、対応するメタデータあるいはアイテム情報を有することが出来る。これらには限定されないが、リスティング情報（例えば、アイテム名、アイテムの説明、アイテムの仕様など）、アップロードされた画像に含まれるメタデータあるいは、その両方などの販売者側情報は、アップロードされた画像の適切な置き換えである１以上の蓄積画像を特定するために、蓄積画像と関連したアイテム情報と照合するために用いられることが出来る。例として、画像の鮮明性が解析された後、および、販売者に画像品質結果（図１４〜１８に示されたような）が提示された後、アップロードされた画像の品質が、１以上の予め判断された（ブラー性）閾値より下であるなら、蓄積画像利用可能性の判断を行うことが出来る。特定された蓄積画像は、潜在的置き換えとして、置き換え許可のために、あるいは、現在のアップロードされた画像を置き換えるためにアップロードするために、アイテムの他の写真を撮るとき取り組むため、より良い画像品質の見本として、販売者に提示されることが出来る。
５．方法およびシステムの例示的実施形態
図２０は、ある例示的実施形態による、画像鮮明性を評価する方法２０００を実行するネットワーク化されたシステム１０２の動作を図示する。方法２０００の動作は、図２について上記したモジュール（例えば、画像アップロードアシスタンスエンジン２１４および画像鮮明性検出エンジン２１２）を用いて、実行される。図２０に示されるように、方法２０００は、動作２０１０、２０２０、２０３０、２０４０、２０５０および２０６０を含む。
動作２０１０において、画像アップロードアシスタンスエンジン２１４は、ユーザのデバイスから画像を受信する。例えば、ユーザは、画像アップロードアシスタンスエンジン２１４を含むことができる、ネットワーク化されたシステム１０２へ、画像をアップロードするデバイスマシン１１０を操作することが出来る。他の例として、デバイスマシン１１０は、画像アップロードアシスタンスエンジン２１４を含み、デバイスマシン１１０において、画像を受信することが出来る。
動作２０２０において、画像鮮明性検出エンジン２１２は、受信された画像を長方形領域（例えば、パッチ）に分割する。長方形領域は、画像の直交軸（例えば、水平および垂直軸）に沿って、量について同じであることが出来る。上記したように、これは、ｍ×ｍ（ｍ２）個のパッチに分割された画像となることが出来る。
動作２０３０において、画像鮮明性検出エンジン２１２は、上記したBlur Metric のような、非参照認識ブラー計量とすることができる、非参照ブラー計量に基づいて（に従って）、長方形領域（例えば、パッチ）のブラースコアを計算する。特に、非参照ブラー計量は、長方形領域のそれぞれに対し、ブラースコアを計算するために使用されることが出来る。
動作２０４０において、画像鮮明性検出エンジン２１２は、画像について、重み付け行列Ｗを計算する。重み付け行列Ｗの計算は、画像をフィルタリングすることと、直交する方向の２つの結果に基づいている。上記したように、例えば、２つの結果は、水平方向に画像（例えば、グレースケール形式の）をソーベルフィルタリングした第１の結果と、垂直方向に画像（例えば、グレースケール形式の）をソーベルフィルタリングした第２の結果を含むことが出来る。
動作２０５０において、画像鮮明性検出エンジン２１２は、長方形領域のブラースコア（例えば、動作２０３０において計算されたような）への、重み付け行列Ｗ（例えば、動作２０４０において計算されたような）の適用に基づいて、全体として、画像の鮮明性スコア(Shrp)を生成する。
動作２０６０において、画像アップロードアシスタンスエンジン２１４は、ユーザのデバイスに、画像の鮮明性スコア（例えば、動作２０５０において生成されたような）を表示させる。これは、動作２０１０において、画像を受信することに応答して実行されることが出来る。様々な例示的実施形態によると、鮮明性スコアの表示は、図１５〜１９に図示されたように実行されることが出来る。
図２０に示されるように、方法２０００は、動作２０２０の前に実行されることが出来る、動作２０１２を含むことが出来る。動作２０１２において、画像鮮明性検出エンジン２１２は、画像をグレースケールに変換する。上記したように、これは、各グレースケールピクセルの強度（Ｉ）が0.2985R + 0.5870G + 0.1140Bに等しい関数に従って実行することが出来、ここで、R、GおよびBは、それぞれ、動作２０１０において受信される画像内の対応する画像ピクセルの赤、緑、および、青色成分を表す。動作２０１２の実行は、グレースケールである動作２０２０における長方形領域になることが出来る。
図２０にも示されるように、１以上の動作２０４２、２０４４、２０４６および２０４８は、重み付け行列Wが計算される、動作２０４０の一部（例えば、前処理タスク、サブルーチン、あるいは、一部）として実行されることが出来る。動作２０４０について上記されたように、重み付け行列の割り当ては、画像の水平方向のソーベルフィルタリングからの第１の結果（例えば、第１のエッジマップ）と、画像の垂直方向のソーベルフィルタリングからの第２の結果（例えば、第２のエッジマップ）に基づくことが出来る。動作２０４２において、画像鮮明性検出エンジン２１２は、（例えば、水平と垂直方向に、画像にソーベルフィルタリングを個別に適用することにより）これらの第１および第２の結果を取得する。そのような第１および第２の結果の例は、図５について上記された。
動作２０４４において、画像鮮明性検出エンジン２１２は、動作２０４２からの第１と第２の結果に基づいて、エッジエネルギーマップを生成する。エッジエネルギーマップの生成は、上記した式１に従って実行されることが出来る。エッジエネルギーマップの例は、図６について上に説明された。
動作２０４６において、画像鮮明性検出エンジン２１２は、長方形領域（例えば、パッチ）のそれぞれについてのエッジエネルギー値を集める。これは、上記した、式２に従って行うことが出来る。動作２０４６の実行は、重み付け行列W（例えば、最初平滑でない形態）の生成となる。
動作２０４８において、画像鮮明性検出エンジン２１２は、重み付け行列Wが、高エッジ密度の領域（例えば、パッチ）について正規化されるように、重み付け行列Wに、平滑化パラメータσを適用する。これは、上記したように、式３に従って行われる。様々な例示的実施形態によると、動作２０５０は、この正規化された（例えば、平滑化された）重み付け行列Wを用いて実行される。そのような例示的実施形態においては、画像の鮮明性スコア(Shrp)は、上記したように、式４および５に従って計算されることが出来る。
図２０に更に示されるように、１以上の動作２０５２および２０５４は、方法２０００の一部として実行されることが出来る。例えば、動作２０５２および２０５４の一方、あるいは、両方は、動作２０５０における鮮明性スコアの生成の後、および、動作２０６０における鮮明性スコアの表示の前に実行されることが出来る。
動作２０５２において、画像アップロードアシスタンスエンジン２１４は、画像の鮮明性スコア（例えば、動作２０５０において生成される）に基づいて、グラフィカルな鮮明性メータを生成する。上記したように、そのようなグラフィカルな鮮明性メータは、視覚的画像（例えば、ネットワーク化されたシステム１０２によって以前に受信された画像）に関連する画像の相対的鮮明性を示すことが出来る。そのようなグラフィカルな鮮明性メータの例は、図１５〜１９に図示されている。従って、動作２０６０の実行は、デバイス１１０に、生成されたグラフィカルな鮮明性メータと共に、画像の鮮明性スコアを表示させることを含むことが出来る。
動作２０５４において、画像鮮明性検出エンジン２１２は、画像の鮮明性スコア（例えば、動作２０５０において生成された）に基づいて、画像のブラー確率を計算する。ブラー確率は、上記した、式６に従って計算されることが出来る。式６について上記したように、ブラー確率の計算は、画像カテゴリ（例えば、トップスであるアパレル）に特有な１以上のパラメータ（例えば、分布パラメータαおよびβ）に基づくことが出来る。従って、ブラー確率は、画像のその与えられたカテゴリに対して以前にアップロードされた、画像の実際の分布に相対的に、画像がどの程度鮮明かを表すことが出来る。従って、動作２０６０の実行は、デバイス１１０に、画像のブラー確率と共に、画像の鮮明性スコアを表示させることを含む。
ここに説明された方法によると、ネットワーク化されたシステム１０２は、アップロードされた画像における画像のブラー性を自動的に検出し、定量化することにより、ユーザに利益を与えることが出来る。ネットワーク化されたシステム１０２は、また、ｅコマース環境の販売アシスタントを提供することができ、従って、製品リスティング生成に関連してアップロードされた画像の品質を改善するために、リアルタイムで潜在的な販売者をガイドすることが出来る。上記したように、コンテンツ認識画像鮮明性評価スキームは、目的のオブジェクトについて撮られた写真の、鮮明性あるいはブラーの度合いを計算するために、ネットワーク化されたシステム１０２に実装されることが出来る。ある例示的実施形態においては、画像鮮明性評価スキームからの、計算された鮮明性スコアは、写真に表示されたオブジェクトとして、同一のカテゴリの他の写真に対して意味のあるスコアに変換される。
様々な例示的実施形態においては、モバイルベースのアシスタントは、モバイルデバイスを用いて写真をアップロードするユーザへ、瞬間の（あるいは、略瞬間の）フィードバックを提供するように構成される。そのようなモバイルベースのアシスタントは、システム、モバイルデバイス、あるいは、両方の組み合わせによって実装されることが出来る。別の例示的実施形態においては、ウェブベースのアシスタントは、電子コマースあるいはマーケットプレイスウェブサイトに、同時に、１以上の写真をアップロードするユーザに、瞬間の（あるいは、略瞬間の）フィードバックを提供するように構成される。そのようなウェブベースのアシスタントは、システム、販売者コンピュータ、あるいは、両方によって実装されることが出来る。フィードバックは、画像鮮明性評価スキームおよび、画像品質を改善するための推薦を用いて計算された、アップロードされた写真のブラー性の１以上の指示を含むことが出来る。ある例示的実施形態においては、アイテムの販売者がアップロードした画像に対応する１以上の蓄積画像は、アップロードされた画像の品質が、ある閾値より低いときに、特定される。蓄積画像の１以上は、アイテムの製品リスティングを生成する間、販売者のアップロードされた画像を置き換えることが出来る。
図２１は、マシン読み取り可能な媒体２１２２（例えば、マシン読み取り可能な格納媒体、コンピュータ読み取り可能な格納媒体、あるいは、それらの任意の適切な組み合わせ）から命令２１２４を読取ることが出来、全面的に、あるいは、部分的に、ここに説明した方法の任意の１以上を実行することの出来る、ある例示的実施形態による、マシン２１００のコンポーネントを図示するブロック図である。特に、図２１は、マシン２１００に、全面的に、あるいは、部分的に、ここに説明した方法の任意の１以上を実行させる命令２１２４（例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、あるいは、他の実行可能なコード）を実行することが出来る、コンピュータシステムの例示的形態におけるマシン２１００を示す。別の実施形態においては、マシン２１００は、スタンドアロンデバイスとして動作し、あるいは、他のマシンに接続（例えば、ネットワーク化）されることが出来る。ネットワーク化された展開においては、マシン２１００は、サーバ−クライアントネットワーク環境においては、サーバマシンあるいはクライアントマシンの能力で、あるいは、分散（例えば、ピアツーピア）ネットワーク環境におけるピアマシンとして、動作することが出来る。マシン２１００は、サーバコンピュータ、クライアントコンピュータ、パソコン（PC）、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、セルラフォン、スマートフォン、セットトップボックス（STB)、PDA（personal digital assistant ）、ウェブ装置、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、あるいは、マシンによって取られるべきアクションを指定する命令２１２４を、シーケンシャルに、あるいは、他の方法で、実行することの出来る任意のマシンとすることが出来る。更に、単一のマシンのみが図示されているが、語句「マシン」は、ここに説明した方法の任意の１以上の全部あるいは部分を実行するための命令２１２４を、個別に、あるいは、共同して実行するマシンの任意の集合も含むと取られなくてはならない。
マシン２１００は、プロセッサ２１０２（例えば、中央演算装置（CPU）、グラフィック処理装置（GPU）、デジタル信号プロセッサ（DSP）、ASIC(application specific integrated circuit ）、無線周波数集積回路（RFIC)、あるいは、それらの任意の適切な組み合わせ）、メインメモリ２１０４、および、静的メモリ２１０６を含み、これらは、バス２１０８を介して、相互に通信するように構成されている。プロセッサ２１０２は、プロセッサ２１０２が、全面的に、あるいは、部分的に、ここに記述した方法の任意の１以上を実行するように構成可能なように、命令２１２４の幾つか、あるいは、全部によって、一時的に、あるいは、固定的に、構成可能なマイクロ回路を含むことが出来る。例えば、プロセッサ２１０２の１以上のマイクロ回路の集合は、ここに記述した１以上のモジュール（例えば、ソフトウェアモジュール）を実行するように構成可能とすることが出来る。
マシン２１００は、更に、グラフィックスディスプレイ２１１０（例えば、プラズマディスプレイパネル（PDP）、発光ダイオード（LED)ディスプレイ、液晶ディスプレイ（LCD)、プロジェクタ、陰極線管（CRT)あるいは、グラフィックスあるいはビデオを表示することが出来る任意の他のディスプレイ）を含むことが出来る。マシン２１００は、また、英数字入力デバイス２１１２（例えば、キーボードあるいはキーパッド）、カーソル制御デバイス２１１４（例えば、マウス、タッチパッド、トラックボール、ジョイスティック、動きセンサ、目追跡デバイス、あるいは、他のポインティング装置）、格納装置２１１６、オーディオ生成デバイス２１１８（例えば、サウンドカード、増幅器、スピーカ、ヘッドフォンジャック、あるいは、それらの任意の適切な組み合わせ）および、ネットワークインタフェースデバイス２１２０を含むことが出来る。
格納装置２１１６は、ここに記述した方法あるいは機能の任意の１以上を実装する命令２１２４を格納する、マシン読み取り可能な媒体２１２２（例えば、有形および非一時的マシン読み取り可能な格納媒体）を含む。命令２１２４は、また、マシン２１００によって実行される前、あるいは、間、メインメモリ２１０４内、プロセッサ２１０２内（例えば、プロセッサのキャッシュメモリ内）、あるいは、両方に、完全に、あるいは、少なくとも部分的に存在することが出来る。従って、メインメモリ２１０４およびプロセッサ２１０２は、マシン読み取り可能な媒体（例えば、有形および非一時的なマシン読み取り可能な媒体）と考えることが出来る。命令２１２４は、ネットワークインタフェースデバイス２１２０を介して、ネットワーク１０４上を送受信されることが出来る。例えば、ネットワークインタフェースデバイス２１２０は、任意の１以上の伝送プロトコル（例えば、HTTP（hypertext transfer protocol））を用いて、命令２１２４を通信することが出来る。
ある例示的実施形態においては、マシン２１００は、スマートフォンあるいは、タブレットコンピュータなどの携帯コンピューティングデバイスであり、１以上の追加的入力コンポーネント２１３０（例えば、センサあるいはゲージ）を有することが出来る。そのような入力コンポーネント２１３０の例は、画像入力コンポーネント（例えば、１以上のカメラ）、オーディオ入力コンポーネント（例えば、マイクロフォン）、方向入力コンポーネント（例えば、コンパス）、位置入力コンポーネント（例えば、GPS（global positioning system ）レシーバ）、向きコンポーネント（例えば、ジャイロスコープ）、動き検出コンポーネント（例えば、１以上の加速度メータ）、高度検出コンポーネント（例えば、高度計）、及び、ガス検出コンポーネント（例えば、ガスセンサ）を含む。任意の１以上のこれらの入力コンポーネントによって取得される入力は、ここに記述された任意のモジュールによって用いるためにアクセスでき、及び、利用することが出来る。
ここに用いられるように、語句「メモリ」は、データを一時的に、あるいは、固定的に格納することが出来るマシン読み取り可能な媒体を指し、これらには限定されないが、ランダムアクセスメモリ（RAM）、リードオンリメモリ（ROM）、バッファメモリ、フラッシュメモリ、及び、キャッシュメモリを含むように取られることが出来る。マシン読み取り可能な媒体２１２２は、例示的実施形態において、単一の媒体として示され、一方、語句「マシン読み取り可能な媒体」は、命令を格納することが出来る、単一の媒体、あるいは、複数の媒体（例えば、集中あるいは分散データベース、あるいは、関連キャッシュ及びサーバ）を含むと取られるべきである。語句「マシン読み取り可能媒体」は、また、命令２１２４が、マシン２１００の１以上のプロセッサ（例えば、プロセッサ２１０２）によって実行されたとき、マシン２１００に、ここに記述された方法の任意の１以上を、全面的に、あるいは、部分的に、実行するように、マシン２１００によって実行される命令２１２４を格納することが出来る、任意の媒体あるいは複数の媒体の組み合わせを含むように取られなくてはならない。従って、「マシン読み取り可能な媒体」は、複数の格納装置あるいはデバイスを含む、クラウドベースの格納システムあるいは格納ネットワークと共に、単一の格納装置あるいはデバイスを指す。語句「マシン読み取り可能な媒体」は、従って、これらには限定されないが、固体メモリ、光媒体、磁気媒体、あるいは、それらの任意の適切な組み合わせの形態の１以上の有形なデータリポジトリを含むと取られなくてはならない。
この明細書に渡って、複数のインスタンスが、単一のインスタンスとして記述されるコンポーネント、動作、あるいは、構造を実装することが出来る。１以上の方法の個々の動作が図示され、別個の動作として記述されたが、１以上の個別の動作は、同時に実行されることができ、動作が、図示された順番で実行されることを要求することは何も無い。例示的構成において、別個のコンポーネントとして提示される構造及び機能は、結合された構造あるいはコンポーネントとして実装されることが出来る。同様に、単一のコンポーネントとして提示された構造及び機能は、個別のコンポーネントとして実装されることが出来る。これら及び他の変形、改変、追加、及び改良は、この主題の範囲内に入る。
ある実施形態は、ロジックあるいは幾つかのコンポーネント、モジュール、あるいは機構を含むとしてここに記述された。モジュールは、ソフトウェアモジュール（例えば、マシン読み取り可能な媒体あるいは伝送信号に実装されたコード）あるいはハードウェアモジュールのいずれかを構成することが出来る。「ハードウェアモジュール」は、ある動作を実行することが出来る有形ユニットであり、ある物理的方法で、構成され、あるいは、配列されることが出来る。様々な例示的実施形態においては、１以上のコンピュータシステム（例えば、スタンドアロンコンピュータシステム、クライアントコンピュータシステム、あるいは、サーバコンピュータシステム）あるいは、コンピュータシステムの１以上のハードウェアモジュール（例えば、プロセッサあるいは、プロセッサ群）は、ここに記述したように、ある動作を実行するように動作するハードウェアモジュールとして、ソフトウェア（例えば、アプリケーションあるいはアプリケーション部分）によって構成されることが出来る。
ある実施形態においては、ハードウェアモジュールは、機械的に、電子的に、あるいは、それらの任意の適切な組み合わせとして、実装されることが出来る。例えば、ハードウェアモジュールは、専用回路あるいは、ある動作を実行するように固定的に構成されるロジックを含むことが出来る。例えば、ハードウェアモジュールは、FPGA（field programmable gate array ）あるいは、ASICなど、特殊目的プロセッサとすることが出来る。ハードウェアモジュールは、また、ある動作を実行するためにソフトウェアによって一時的に構成されるプログラマブルロジックあるいは回路を含むことが出来る。例えば、ハードウェアモジュールは、汎用プロセッサあるいは他のプログラマブルプロセッサ内に含まれるソフトウェアを含むことが出来る。ハードウェアモジュールを、機械的に、専用及び固定的に構成された回路、あるいは、一時的に構成された回路（例えば、ソフトウェアによって構成された）で、実装するという決定は、コストと時間の考慮によって決められることが出来ることは理解されるであろう。
従って、フレーズ「ハードウェアモジュール」は、ある方法で動作し、あるいは、ここに記述したある動作を実行するために、物理的に構成された、固定的に構成された（例えば、ハードワイヤード）あるいは、一時的に構成された（例えば、プログラムされた）エンティティである場合、有形なエンティティを含むと理解されるべきである。ここに用いられるように、「ハードウェア実装モジュール」は、ハードウェアモジュールを指す。ハードウェアモジュールが、一時的に構成される（例えば、プログラムされる）実施形態を考えるならば、ハードウェアモジュールのそれぞれは、任意の時点で構成され、あるいは、生成される必要は無い。例えば、ハードウェアモジュールが、特殊目的プロセッサとなるように、ソフトウェアによって構成される汎用プロセッサを含む場合、汎用プロセッサは、異なる時点で、それぞれ、異なる特殊目的プロセッサ（例えば、異なるハードウェアモジュールを含む）として構成されることが出来る。ソフトウェアは、従って、例えば、ある時点で、特定のハードウェアモジュールを構成し、異なる時点では、異なるハードウェアモジュールを構成するためのプロセッサを構成することが出来る。
ハードウェアモジュールは、他のハードウェアモジュールと情報の授受をすることが出来る。従って、記述されたハードウェアモジュールは、通信可能に結合されているとみなすことが出来る。複数のハードウェアモジュールが、同時に存在する場合、通信は、２以上のハードウェアモジュール間での信号通信（例えば、適切な回路及びバスを介して）を介して達成されることが出来る。複数のハードウェアモジュールが、異なる時点で構成、あるいは、生成される実施形態においては、そのようなハードウェアモジュール間の通信は、例えば、複数のハードウェアモジュールがアクセスするメモリ構造における情報の格納及び取得を介して達成されることが出来る。例えば、一ハードウェアモジュールは、動作を実行し、通信可能なように結合されているメモリデバイスに、その動作の出力を格納することが出来る。更なるハードウェアモジュールは、そして、後の時点で、格納された出力を取得し、処理するために、メモリデバイスにアクセスすることが出来る。ハードウェアモジュールは、また、入力あるいは出力デバイスと通信を開始することができ、リソース（例えば、情報の集合）に操作を加えることが出来る。
ここに記述された例示的方法の様々な動作は、関連の動作を実行するために、一時的に構成され（例えば、ソフトウェアによって）あるいは、固定的に構成される１以上のプロセッサによって、少なくとも部分的に実行されることが出来る。一時的にあるいは固定的に実行されるに関わらず、そのようなプロセッサは、ここに記述した１以上の動作あるいは機能を実行するように動作するプロセッサ実装モジュールを構成することが出来る。ここに用いられるように、「プロセッサ実装モジュール」は、１以上のプロセッサを用いて実装されたハードウェアモジュールを指す。
同様に、ここに記述した方法は、少なくとも部分的にプロセッサ実装とすることが出来、プロセッサは、ハードウェアの例である。例えば、方法の動作の少なくとも幾つかは、１以上のプロセッサ、あるいは、プロセッサ実装されたモジュールによって実行されることが出来る。更に、１以上のプロセッサは、また、「クラウドコンピューティング」環境において、あるいは、「software as a service 」(SaaS)として、関連する動作の実行をサポートするために動作することが出来る。例えば、動作の少なくとも幾つかは、コンピュータ群（プロセッサを含むマシンの例として）によって実行されあることが出来、これらの動作は、ネットワーク（例えば、インターネット）を介して、あるいは、１以上の適切なインタフェース（例えば、アプリケーションプログラムインタフェース（API））を介してアクセスすることが出来る。
ある動作の実行は、単一のマシン内に存在するのみならず、幾つかのマシンに渡って展開される、１以上のプロセッサ間に分散されることが出来る。ある例示的な実施形態においては、１以上のプロセッサあるいは、プロセッサ実装されたモジュールは、単一の地理的位置（例えば、家庭環境、オフィス環境、あるいは、サーバファーム）に位置されることが出来る。他の例示的実施形態においては、１以上のプロセッサあるいは、プロセッサ実装されたモジュールは、幾つかの地理的位置に渡って分散されることが出来る。
ここに説明した主題のある部分は、アルゴリズム、あるいは、マシンメモリ（例えば、コンピュータメモリ）内のビットあるいは二値デジタル信号として格納されるデータへの操作の記号表現について提示されることが出来る。そのようなアルゴリズムあるいは、記号表現は、他の当業者に仕事の実質を伝えるためにデータ処理の分野の当業者によって使用される技術の例である。ここに使われるように、「アルゴリズム」は、操作あるいは、所望の結果に導く同様な処理の矛盾の無いシーケンスである。この文脈では、アルゴリズム、及び、動作は、物理量の物理的操作を含む。典型的には、必ずしもそうではないが、そのような量は、格納され、アクセスされ、伝送され、組み合わされ、比較され、あるいは、マシンによって操作されることが出来る、電気、磁気あるいは光信号の形態を取ることが出来る。時々、主に、良くある慣用の理由により、そのような信号を、「データ」、「コンテンツ」、「ビット」、「値」、「エレメント」、「記号」、「文字」、「語句」、「数」、「数字記号」などの言葉を用いて指すことは便利である。しかし、これらの言葉は、単に便利なラベルであり、適切な物理量に関連付けされるべきである。
特に断らない限り、「処理」、「コンピューティング」、「計算」、「判断」、「提示」、「表示」などの言葉を用いたここでの説明は、１以上のメモリ（例えば、揮発性メモリ、不揮発性メモリ、あるいは、それらの任意の適切な組み合わせ）、レジスタ、あるいは、情報を受信し、格納し、送信し、あるいは、表示する他のマシンコンポーネント内の物理的（例えば、電気、磁気、あるいは、光）量として表示されるデータを操作し、あるいは、変換するマシン（例えば、コンピュータ）のアクション、あるいは、処理を示すことが出来る。更に、特に断らない限り、語句「ａ」、あるいは、「ａｎ」が、特許文書によくあるように、１以上のインスタンスを含むために、ここに用いられる。最後に、ここに用いられるように、接続詞「あるいは」は、特に断られない限り、非排他的「あるいは」を示す。

Claims (20)

  1. ユーザのデバイスから画像を受信し、
    前記ユーザの前記デバイスに、前記画像の前記受信への応答として、前記画像の鮮明性スコアを表示させる、
    ように構成された画像アップロードアシスタンスモジュールと、
    前記画像の水平と垂直軸に沿って、量的に同じ長方形領域に前記画像を分割し、
    前記画像の前記水平及び垂直軸に沿って、量的に同じ前記長方形領域のブラースコアを計算し、前記長方形領域の前記ブラースコアの前記計算は、非参照ブラー計量に基づき、
    直交する方向に、前記画像をフィルタリングした２つの結果に基づき、前記画像の重み付け行列を計算し、
    前記長方形領域の前記ブラースコアへの前記重み付け行列の適用に基づいて、前記画像の前記鮮明性スコアを生成する、
    ように画像鮮明性検出モジュールによって構成されるプロセッサと、を備えるシステム。
  2. 前記画像鮮明性検出モジュールは、更に、前記プロセッサを、
    前記直交する方向に、前記画像をフィルタリングした前記２つ結果からエッジエネルギーマップを生成し、
    前記エッジエネルギーマップに基づいて、前記重み付け行列を計算する、
    ように構成する、請求項１に記載のシステム。
  3. 前記エッジエネルギーマップは、前記画像の前記水平及び垂直軸に沿って、量的に同じ前記長方形領域のそれぞれのエッジエネルギー値を定量化し、
    前記画像鮮明性検出モジュールは、更に、前記長方形領域のそれぞれの前記エッジエネルギー値を収集するように前記プロセッサを構成する、
    請求項２に記載のシステム。
  4. 前記画像鮮明性検出モジュールは、更に、前記プロセッサを、
    前記画像の前記鮮明性スコアに基づいて、及び、前記画像を含む画像カテゴリに特有の分布パラメータに基づいて、前記画像のブラー確率を計算するように構成し、
    前記デバイスに、前記鮮明性スコアを表示させることは、前記デバイスに、前記画像の前記ブラー確率と共に、前記鮮明性スコアを表示させる、
    請求項１に記載のシステム。
  5. ユーザのデバイスから画像を受信することと、
    前記画像の水平及び垂直軸に沿って、量的に同じ長方形領域に前記画像を分割することと、
    前記画像の前記水平及び垂直軸に沿って、量的に同じ前記長方形領域のブラースコアを計算することであって、前記長方形領域の前記ブラースコアの前記計算は、非参照ブラー計量に基づく、ことと、
    直交方向に、前記画像をフィルタリングした２つの結果に基づいて、前記画像の重み付け行列を計算することと、
    前記長方形領域の前記ブラースコアに前記重み付け行列を適用したことに基づいて、前記画像の鮮明性スコアを生成することであって、前記鮮明性スコアの前記生成は、マシンのプロセッサによって実行される、ことと、
    前記ユーザの前記デバイスに、前記画像の前記受信への応答として、前記画像の前記鮮明性スコアを表示させることと、
    を含む方法。
  6. 前記デバイスに前記鮮明性スコアを表示させることは、前記デバイスに、複数の追加的画像に関連して、前記画像の相対的鮮明性を示すグラフィカル鮮明性メータで、前記鮮明性スコアを表示させる、
    請求項５に記載の方法。
  7. 前記画像の前記鮮明性スコアに基づいて、前記グラフィカル鮮明性メータを生成する、ことを更に含む、
    請求項６に記載の方法。
  8. 前記長方形領域に、前記画像を前記分割する前に、前記受信された画像をグレースケールに変換する、ことを更に含み、
    前記グレースケール画像を前記分割することは、グレースケールの前記長方形領域になる、
    請求項５に記載の方法。
  9. 前記受信した画像をグレースケールに前記変換することは、R、G、及びBを対応する画像ピクセルの赤、緑、及び青色成分としたとき、各グレースケールピクセルの前記強度が0.2985R + 0.5870G + 0.1140Bに等しい関数に従って、実行される、
    請求項５に記載の方法。
  10. 前記重み付け行列の前記計算は、
    前記画像を水平にソーベルフィルタリングすることによる第１の結果を取得することと、
    前記画像を垂直にソーベルフィルタリングすることによる第２の結果を取得することと、を含み、
    前記第１及び第２の結果が、前記重み付け行列の前記計算が基づく前記２つの結果である、
    請求項５に記載の方法。
  11. 前記重み付け行列の前記計算は、前記直交する方向の前記画像のフィルタイリングの前記２つの結果から、エッジエネルギーマップを生成することを含み、
    前記重み付け行列は、前記エッジエネルギーマップに基づいて計算される、
    請求項５に記載の方法。
  12. 前記エッジエネルギーマップは、前記画像の前記水平及び垂直軸に沿った、量的に同じ、前記長方形領域のそれぞれのエッジエネルギー値を定量化し、
    前記重み付け行列の前記計算は、前記長方形領域のそれぞれの前記エッジエネルギー値を集めることを含む、
    請求項１１に記載の方法。
  13. 前記重み付け行列の前記計算は、前記画像の前記水平及び垂直軸に沿って、量的に同じ、前記長方形領域の前記ブラースコアへ前記重み付け行列を適用することを含む、
    請求項５に記載の方法。
  14. 前記重み付け行列の前記計算は、エッジ密度について、前記重み付け行列を正規化するために適用可能な平滑化パラメータに基づく、
    請求項５に記載の方法。
  15. 前記画像の前記鮮明性スコアに基づく前記画像のブラー確率を計算することを更に含み、
    前記デバイスに前記鮮明性スコアを表示させることは、前記デバイスに、前記画像の前記ブラー確率と共に、前記鮮明性スコアを表示させる、
    請求項５に記載の方法。
  16. 前記ブラー確率を前記計算することは、前記画像を含む画像カテゴリに特有な分布パラメータに基づく、
    請求項１５に記載の方法。
  17. 前記ブラー確率は、以前に受信された、複数の更なる画像に関連して、前記画像の相対的鮮明性の度合いを表す、
    請求項１５に記載の方法。
  18. マシンの１以上のプロセッサによって実行されたとき、前記マシンに動作を実行させる命令を含む非一時的マシン読み取り可能な格納媒体であって、前記動作は、
    ユーザのデバイスから画像を受信することと、
    前記画像の水平及び垂直軸に沿って、量的に同じ長方形領域に前記画像を分割することと、
    前記画像の前記水平及び垂直軸に沿って、量的に同じ前記長方形領域のブラースコアを計算することであって、前記長方形領域の前記ブラースコアの前記計算は、非参照ブラー計量に基づく、ことと、
    直交方向の前記画像のフィルタリングの２つの結果に基づいて、前記画像の重み付け行列を計算することと、
    前記長方形領域の前記ブラースコアへの、前記重み付け行列の適用に基づいて、前記画像の鮮明性スコアを生成することと、
    前記ユーザの前記デバイスに、前記画像の前記受信への応答として、前記画像の前記鮮明性スコアを表示させること、
    を含む非一時的マシン読み取り可能な格納媒体。
  19. 前記重み付け行列の前記計算は、前記直交する方向に前記画像をフィルタリングした前記２つの結果からエッジエネルギーマップを生成することを含み、
    前記重み付け行列は、前記エッジエネルギーマップに基づいて計算される、
    請求項１８に記載の非一時的マシン読み取り可能な格納媒体。
  20. 前記動作は、更に、
    前記画像の前記鮮明性スコアに基づいて、前記画像のブラー確率を計算することを含み、
    前記デバイスに、前記鮮明性スコアを表示させることは、前記デバイスに、前記画像の前記ブラー確率と共に、前記鮮明性スコアを表示させる、
    請求項１８に記載の非一時的マシン読み取り可能な格納媒体。
JP2016518316A 2013-06-04 2014-03-27 イメージの鮮明性を評価すること Pending JP2016530593A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361830951P 2013-06-04 2013-06-04
US61/830,951 2013-06-04
US14/073,788 US9542736B2 (en) 2013-06-04 2013-11-06 Evaluating image sharpness
US14/073,788 2013-11-06
PCT/US2014/032078 WO2014197111A1 (en) 2013-06-04 2014-03-27 Evaluating image sharpness

Publications (1)

Publication Number Publication Date
JP2016530593A true JP2016530593A (ja) 2016-09-29

Family

ID=51985178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016518316A Pending JP2016530593A (ja) 2013-06-04 2014-03-27 イメージの鮮明性を評価すること

Country Status (8)

Country Link
US (1) US9542736B2 (ja)
EP (1) EP3005236A4 (ja)
JP (1) JP2016530593A (ja)
KR (1) KR20160016961A (ja)
CN (1) CN105556540A (ja)
AU (1) AU2014275410A1 (ja)
CA (1) CA2914043A1 (ja)
WO (1) WO2014197111A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542736B2 (en) 2013-06-04 2017-01-10 Paypal, Inc. Evaluating image sharpness
CN105447047B (zh) * 2014-09-02 2019-03-15 阿里巴巴集团控股有限公司 建立拍照模板数据库、提供拍照推荐信息的方法及装置
US11721414B2 (en) * 2015-03-12 2023-08-08 Walmart Apollo, Llc Importing structured prescription records from a prescription label on a medication package
US10015364B2 (en) * 2015-05-11 2018-07-03 Pictureworks Pte Ltd System and method for previewing digital content
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US9516237B1 (en) * 2015-09-01 2016-12-06 Amazon Technologies, Inc. Focus-based shuttering
CN105469411B (zh) * 2015-11-27 2018-07-06 小米科技有限责任公司 用于检测图像清晰度的方法、装置及终端
CN105631854A (zh) * 2015-12-16 2016-06-01 天津天地伟业数码科技有限公司 一种基于fpga平台的自适应图像清晰度评价算法
US10402677B2 (en) 2016-06-10 2019-09-03 Apple Inc. Hierarchical sharpness evaluation
JP7300985B2 (ja) * 2017-04-17 2023-06-30 ソニーグループ株式会社 情報処理装置および情報処理方法
CN107316293B (zh) * 2017-06-22 2020-07-03 深圳市灵星雨科技开发有限公司 一种led模糊图片识别判断方法及其***
CN107330891B (zh) * 2017-07-17 2021-02-19 浙报融媒体科技(浙江)有限责任公司 一种有效的图像质量评价***
CN111213156B (zh) 2017-07-25 2024-05-10 惠普发展公司，有限责任合伙企业 字符识别锐度确定
CN108305230A (zh) * 2018-01-31 2018-07-20 上海康斐信息技术有限公司 一种模糊图像综合处理方法和***
US10552714B2 (en) * 2018-03-16 2020-02-04 Ebay Inc. Generating a digital image using a generative adversarial network
US11120536B2 (en) * 2018-12-12 2021-09-14 Samsung Electronics Co., Ltd Apparatus and method for determining image sharpness
US12016696B2 (en) * 2019-01-04 2024-06-25 Stella Surgical Device for the qualitative evaluation of human organs
US11397977B1 (en) * 2019-06-26 2022-07-26 Block, Inc. Integration of image capturing mechanism into ecommerce application
CN110428383B (zh) * 2019-08-07 2021-10-08 中国矿业大学 一种基于模糊检测概率的移动巡检模糊图像质量修正方法
CN111145150B (zh) * 2019-12-20 2022-11-11 中国科学院光电技术研究所 一种通用型无参考图像质量评价方法
US11276156B2 (en) * 2020-01-07 2022-03-15 GM Global Technology Operations LLC Gaussian image quality analysis tool and method for operation
US20230401813A1 (en) * 2020-11-09 2023-12-14 Canon U.S.A., Inc. Detection of image sharpness in frequency domain
CN112700407B (zh) * 2020-12-14 2022-08-19 贝壳技术有限公司 一种确定图像清晰度的方法、装置和存储介质
US11688049B2 (en) * 2021-04-20 2023-06-27 Walmart Apollo, Llc Systems and methods for image processing
CN117274106B (zh) * 2023-10-31 2024-04-09 荣耀终端有限公司 一种照片修复的方法、电子设备及相关介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0668253A (ja) * 1992-06-18 1994-03-11 Nec Corp 画像の鮮鋭度測定方法及び装置
JP2003046778A (ja) * 2001-08-01 2003-02-14 Olympus Optical Co Ltd 画像処理システム
JP2006053854A (ja) * 2004-08-16 2006-02-23 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2006155545A (ja) * 2004-11-30 2006-06-15 Hiroshi Kida 画像評価装置及びカメラ付き携帯端末
JP2006237676A (ja) * 2005-02-22 2006-09-07 Fuji Xerox Co Ltd 画像評価方法および画像評価装置並びにプログラム
JP2007527567A (ja) * 2003-07-02 2007-09-27 セラーテム・テクノロジー・インコーポレイテッド 領域エッジのシャープネス補正を伴う画像シャープニング
JP2010021893A (ja) * 2008-07-11 2010-01-28 Canon Inc 動画像処理装置および動画像処理方法
WO2010016103A1 (ja) * 2008-08-04 2010-02-11 グローリー株式会社 画像照合装置及び画像照合方法
US20130033608A1 (en) * 2010-05-06 2013-02-07 Nikon Corporation Image sharpness classification system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3108355B2 (ja) * 1996-02-02 2000-11-13 三洋電機株式会社 被写体追尾カメラ装置
US6950210B2 (en) * 2001-11-21 2005-09-27 Matsushita Electric Industrial Co., Ltd. Method and apparatus for adaptively binarizing color document images
GB0224357D0 (en) * 2002-10-19 2002-11-27 Eastman Kodak Co Image processing
JP2007528137A (ja) * 2003-06-27 2007-10-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 非対称に強調される画像及びビデオのシャープネスメトリック
KR100584320B1 (ko) * 2003-07-30 2006-05-26 삼성전자주식회사 휴대 단말기의 손금 인식방법
DE10354226B4 (de) * 2003-11-20 2006-04-06 Siemens Ag Verfahren und Vorrichtung zum Laden eines in einem Archiv befindlichen Bildes mittels Pipeline Verarbeitung des in Chunks zerlegten Bildes mit Darstellung von Zwischenergebnissen in inkrementell erhöhter Auflösung
US20050185836A1 (en) 2004-02-24 2005-08-25 Wei-Feng Huang Image data processing in color spaces
US7764844B2 (en) * 2004-09-10 2010-07-27 Eastman Kodak Company Determining sharpness predictors for a digital image
JP2006121266A (ja) * 2004-10-20 2006-05-11 Toshiba Corp 画像処理装置、画像処理プログラム
EP1988705A1 (en) * 2007-04-30 2008-11-05 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensors
US8472744B2 (en) * 2008-05-27 2013-06-25 Nikon Corporation Device and method for estimating whether an image is blurred
JP2010055194A (ja) * 2008-08-26 2010-03-11 Sony Corp 画像処理装置および方法、学習装置および方法、並びにプログラム
US9626730B2 (en) * 2011-05-05 2017-04-18 Arm Limited Method of and apparatus for encoding and decoding data
KR20130037097A (ko) * 2011-10-05 2013-04-15 주식회사 케이티 디지털 콘텐츠의 변형을 탐지하기 위한 디지털 영상 제공 장치 및 디지털 영상 복원 장치
CN103093419B (zh) * 2011-10-28 2016-03-02 浙江大华技术股份有限公司 一种检测图像清晰度的方法及装置
US9087262B2 (en) * 2011-11-10 2015-07-21 Fuji Xerox Co., Ltd. Sharpness estimation in document and scene images
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
US9542736B2 (en) 2013-06-04 2017-01-10 Paypal, Inc. Evaluating image sharpness

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0668253A (ja) * 1992-06-18 1994-03-11 Nec Corp 画像の鮮鋭度測定方法及び装置
JP2003046778A (ja) * 2001-08-01 2003-02-14 Olympus Optical Co Ltd 画像処理システム
JP2007527567A (ja) * 2003-07-02 2007-09-27 セラーテム・テクノロジー・インコーポレイテッド 領域エッジのシャープネス補正を伴う画像シャープニング
JP2006053854A (ja) * 2004-08-16 2006-02-23 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2006155545A (ja) * 2004-11-30 2006-06-15 Hiroshi Kida 画像評価装置及びカメラ付き携帯端末
JP2006237676A (ja) * 2005-02-22 2006-09-07 Fuji Xerox Co Ltd 画像評価方法および画像評価装置並びにプログラム
JP2010021893A (ja) * 2008-07-11 2010-01-28 Canon Inc 動画像処理装置および動画像処理方法
WO2010016103A1 (ja) * 2008-08-04 2010-02-11 グローリー株式会社 画像照合装置及び画像照合方法
US20130033608A1 (en) * 2010-05-06 2013-02-07 Nikon Corporation Image sharpness classification system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
勝間裕章, 外１名: ""画像の鮮鋭度評価を目的とした輝度勾配の性質に関する研究"", 電子情報通信学会技術研究報告, vol. 第１０７巻, 第３５８号, JPN6017003035, 22 November 2007 (2007-11-22), JP, pages 97 - 100 *

Also Published As

Publication number Publication date
KR20160016961A (ko) 2016-02-15
CN105556540A (zh) 2016-05-04
US20140355881A1 (en) 2014-12-04
WO2014197111A1 (en) 2014-12-11
AU2014275410A1 (en) 2015-12-17
EP3005236A4 (en) 2017-01-11
US9542736B2 (en) 2017-01-10
CA2914043A1 (en) 2014-12-11
EP3005236A1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
US9542736B2 (en) Evaluating image sharpness
US11258944B2 (en) Automatic guided capturing and presentation of images
US11449719B2 (en) Image evaluation
US10885608B2 (en) Super-resolution with reference images
KR102390547B1 (ko) 이미지 특징 데이터 추출 및 사용
CN111670452B (zh) 销售清单创建方法
US20180268453A1 (en) Composite image generation
CN115760289A (zh) 在线市场***
CN111241385A (zh) 信息处理方法、装置以及计算机***和介质
JP6432182B2 (ja) サービス提供装置、方法、及びプログラム
Patel et al. Image de-photobombing benchmark
CN116402573A (zh) 基于深度学习的目标监管方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170912