JP4934843B2 - 情報処理装置、画像登録方法、およびプログラム - Google Patents

情報処理装置、画像登録方法、およびプログラム Download PDF

Info

Publication number
JP4934843B2
JP4934843B2 JP2006321943A JP2006321943A JP4934843B2 JP 4934843 B2 JP4934843 B2 JP 4934843B2 JP 2006321943 A JP2006321943 A JP 2006321943A JP 2006321943 A JP2006321943 A JP 2006321943A JP 4934843 B2 JP4934843 B2 JP 4934843B2
Authority
JP
Japan
Prior art keywords
image data
image
correction
corrected
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006321943A
Other languages
English (en)
Other versions
JP2008134921A (ja
Inventor
雅二郎 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2006321943A priority Critical patent/JP4934843B2/ja
Priority to US11/984,956 priority patent/US8538149B2/en
Priority to EP07254575A priority patent/EP1927952A1/en
Priority to CN2007101961824A priority patent/CN101192240B/zh
Publication of JP2008134921A publication Critical patent/JP2008134921A/ja
Application granted granted Critical
Publication of JP4934843B2 publication Critical patent/JP4934843B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、画像修正技術に関し、より詳細には、原画像データを補正して情報処理装置に登録する情報処理装置、画像登録方法およびプログラムに関する。
近年、ネットワーク技術の進歩およびコンピュータ装置などの性能向上に伴い、コンピュータ装置に加え、携帯電話、PDA(Personal Data Assistant)、デジタルカメラなどからネットワークにアクセスし、画像イメージを登録し、ネットワーク上で利用することが可能となっている。
ネットワークを介して登録される画像イメージの取得源が拡大するにつれて、ネットワークを介して接続された画像登録用のサーバは、画像品質が異なる画像を格納することになる。サーバは、ネットワークを介して伝送された画像イメージを、管理およびネットワークを介してブラウジングさせることもできる。しかしながら、複数の画像を例えばウェブ・ページを介して一般に閲覧させるような場合、画像イメージの取得源の相違による画質の相違のため、画像イメージにより伝えたい内容を伝えられない場合も考えられる。また、画像登録者が、自宅に設置したコンピュータ装置ではできないような専用の画像処理を希望する場合や、サーバ側で画像の品質をある程度均一化させた後にブラウジングさせることが好ましい場合もある。
ネットワークを介して画像を登録する画像補正処理システムは、例えば特開2004−21720号公報(特許文献1)に開示されている。特許文献1に開示された画像補正処理システムは、撮影画像データに自動的に画像補正処理を実行し、画像補正処理の少なくとも一部を省略することで、画質劣化の少ない補正処理を自動的に行っている。
特許文献1に開示されたシステムは、転送先の端末が携帯端末であるか否かの判断に応じてリサイズ処理を実行するか否かを判断する。特許文献1では、転送先が携帯端末のみである場合にリサイズを実行し、転送先が携帯端末のみではない場合にリサイズを実行しないことで、転送先の端末に対応した補正画像を作成し、以後のアクセスのため画像保管装置に保管される。
特開2004−21720号公報
特許文献1に開示されたシステムは、画像補正を施した画像データを保管する点では、利用者に対して画像補正後の画像データを提供することができる。しかしながら、電子メールの転送先を使用して画像処理のプロセスを選択するため、利用者が電子メールの転送を前提としない場合、より具体的には、インターネット・イクスプローラ(商標)、ネットスケープ・ナビゲータ(商標)、MOZILAなどのWWWブラウザを介してブラウジングさせるために画像を登録する場合には、まったく機能することができないという不都合があった。
すなわち、これまでWWWブラウザなどによりパッシブに画像データにアクセスされるサーバ装置に伝送された画像データの画像特徴を使用して、自動的にまたはユーザ要求により、情報処理装置が補正し、データベースなどに登録することが可能な情報処理装置、画像登録方法、およびプログラムが必要とされていた。
また、補正を実行するか否かをユーザが指定し、ユーザからの指令に応答して補正を実行するか否かを可能とする情報処理装置、画像登録方法、およびプログラムが必要とされていた。
さらに、ユーザが補正を希望する場合、画像特徴を使用した画像補正の補正度合いをユーザが選択することを可能とする、情報処理装置、画像登録方法、およびプログラムが必要とされていた。
また、携帯電話、PDAやデジタルカメラなどから送信された画像データを、WWWブラウザ機能や表示画面に制限がある環境以外の例えばパーソナル・コンピュータなどを使用して画像補正を行うことを可能とする、情報処理装置、画像登録方法、およびプログラムが必要とされていた。
本発明は、上記従来技術の問題点に鑑みてなされたものであり、本発明の情報処理装置は、多様な装置から伝送された画像データを、補正後のデータ伝送の有無とは分離して画像特徴を使用してウェブ・ページ上で補正し、記憶装置に登録する。情報処理装置は、画像データの画像特徴を使用して背景画像と物体画像とを識別し、画像データを補正して、補正画像データを作成する。情報処理装置は、補正画像データを、URI(Uniform Resource Indicator)またはURL(Uniform Resource Locator)と対応づけて登録し、利用者からの閲覧要求に対応する。
補正は、情報処理装置がデフォルト設定として管理する基準値を使用して自動的に実行することもできる。また、ユーザが補正処理の有無や補正レベルを指定して、指定された補正レベルで画像補正を実行することもできる。
登録された補正画像データは、ウェブ・ページを表示させる、HTML、XMLなどの構造化文書にタグ<img src>などのタグを使用して記述され、ウェブ・ページ上に表示される。また、ウェブ・ページに表示された補正画像データには、<href>タグなどを使用して、URIで指定される補正前の画像データがリンクされていてもよい。この場合、ユーザは、ウェブ・ページから直接補正画像データに直接アクセスすることができる。
さらに、ユーザが携帯電話、PDA、デジタルカメラなどの端末装置からネットワークを介して画像データを情報処理装置に伝送した場合、ユーザは、携帯端末から画像補正を指令することができる。また、ユーザがさらに良好な表示環境およびブラウジング環境で画像を確認しながら画像補正を行いたい場合、ユーザは、パーソナル・コンピュータなどのコンピュータ装置から登録した画像データにアクセスし、補正レベルを確認しながらインタラクティブに画像データを補正し、補正画像を登録することができる。
本発明によれば、画像データの情報処理装置における処理と分離してパッシブにブラウジングされる画像データに対して画像補正を行うことが可能となり、ウェブ・ページに表示される画像データの品質を揃え、より効果的なブラウジングを可能とする。
また、本発明によれば、ユーザが画像データを送信した環境とは異なる環境下で、補正の要否および補正レベルを判断し、情報処理装置に登録することが可能となるので、ウェブ・ページに表示される補正画像データの品質を、ユーザの判断およびサービス・サイトが要求する設定レベル以上で設定し、より効果的なウェブ・ページを提供することが可能となる。
さらに、本発明によれば、一定以上の品質の補正画像データを格納するデータベース・サーバまたはバックアップ・サーバを提供することができる。
本発明によれば、画像データを登録する情報処理装置であって、
ネットワークを介して画像データを取得するネットワーク処理手段と、
前記画像データを解析し、前記画像データから背景画像と物体画像を抽出し、抽出された前記背景画像を補正条件にしたがって補正して補正画像データを作成する画像補正手段と、
作成した前記補正画像データを、前記補正画像データと、前記画像データと、前記画像データを送付したユーザのユーザ識別値とを相互参照可能に格納する記憶手段と
を含み、
前記画像補正手段は、前記ネットワークを介して補正要求を受取り、前記補正要求を解析して、前記補正要求に含まれる補正条件にしたがって背景画像処理部による補正処理を、画像処理スクリプトIDと画像処理スクリプトを実行するためのスクリプト識別値とを対応させたテーブルから選択して実行させる選択実行手段を含み、前記補正条件にしたがって補正された前記補正画像データを前記ネットワークを介して送出する、
情報処理装置が提供される。
本発明の前記画像補正手段は、
画像データから背景画像と物体画像を抽出する物体抽出処理手段と、
抽出された背景画像を補正し、物体画像を含む補正画像データを作成する背景画像処理部と、
を含むことができる。
本発明の前記物体抽出処理手段は、前記画像データの画素をブロックに割当て、前記ブロックごとの画像特徴を使用して前記背景画像と前記物体画像とを抽出し、メモリに格納する抽出手段を含むことができる。本発明の前記背景画像処理部は、前記背景画像として抽出されたブロックの削除、色値指定、または背景画像データを前記画像データのサイズにリサイズし、前記物体画像とレイヤ合成する背景修正手段を含むことができる。本発明によれば、前記画像補正手段は、前記ネットワークを介して補正要求を受取り、前記補正要求を解析して、前記補正要求に含まれる補正条件にしたがって前記背景画像処理部の処理を選択して実行させる選択実行手段を含み、前記補正条件にしたがって補正された前記補正画像データを前記ネットワークを介して送出することが好ましい。本発明では、前記画像データおよび前記補正画像データを、前記ネットワークを介してブラウジングするブラウジング手段を含むことができる。
本発明の前記情報処理装置は、CGIサーバ、アプリケーション・サーバ、またはSOAPサーバであり、前記画像データおよび前記補正画像データを前記ネットワークを介して利用者にブラウジングし、外部接続されたウェブ・サーバ手段から前記補正要求を受取ることができる。
また、本発明によれば、情報処理装置に対してネットワークを介して画像を登録する画像登録方法であって、前記画像登録方法は、前記情報処理装置が、
前記ネットワークを介して端末装置から画像データを受信し、前記画像データを解析して背景画像データと、物体画像データとを分離して、前記背景画像データおよび前記物体画像データをメモリに格納するステップと、
前記メモリに格納された背景画像データを修正し、前記物体画像データを含む補正画像データを、画像処理スクリプトIDと画像処理スクリプトを実行するためのスクリプト識別値とを対応させたテーブルから選択した補正条件にしたがって前記画像処理スクリプトを実行させることにより作成するステップと、
作成された前記補正画像データを、前記補正画像データと、前記画像データと、前記画像データを送付したユーザのユーザ識別値とを相互参照可能に格納する記憶手段に格納するステップと、
前記ネットワークを介して登録画像表示要求を受信し、前記登録画像表示要求を解析し、前記補正画像データが前記記憶手段に登録されているか否かを検索し、前記補正画像データが登録されている場合には、前記補正画像データを表示させ、前記補正画像データが登録されていない場合には、補正されていない前記画像データを表示させるステップと
を実行する、画像登録方法が提供される。
本発明では、前記補正画像データを作成するステップは、前記画像データに対し、サービス・サイトの設定に応答した修正処理を実行するステップを含むことができる。本発明の前記画像データは、EXIFフォーマットで伝送され、前記補正画像データを作成するステップは、前記EXIFフォーマットに記述されたデータを使用して前記補正画像を作成するステップを含むことができる。
本発明の前記画像データは、ホワイトバランス、彩度補正、シャープネス、コントラスト、歪曲補正、画像サイズ、ノイズ除去のうち、少なくとも1の前処理を施された後に前記情報処理装置が受信することができる。
本発明の前記補正画像データを作成するステップは、前記背景画像データに対して装飾データを重畳するステップを含むことができる。本発明の前記補正画像を作成するステップは、前記背景画像の画像特徴を使用して前記背景画像と前記物体画像とを識別するステップを含むことができる。
本発明の前記補正画像データを作成するステップは、さらに、
前記ネットワークを介してサービス・サイトからの補正要求を待機するステップと、
前記補正要求を受信した場合、前記補正要求から前記補正条件および前記画像データを取得するステップと、
前記補正条件にしたがって呼出しオブジェクトを変更するステップと
前記オブジェクトに前記画像データを定義してインスタンスを作成するステップとを含むことができる。本発明では、さらに、前記補正要求をサービス・サイトから受信するステップと、前記補正画像データを前記サービス・サイトにレスポンスとして返すステップとを含むことができる。
本発明では、コンピュータに対して上記いずれかに記載の機能手段を実現する、コンピュータ実行可能なプログラムが提供できる。
以下、本発明を図面に示した実施形態をもって説明するが、本発明は、図面に示した実施形態に限定されるものではない。
図1は、画像データに対して補正を行う情報処理装置10の機能ブロック図を示す。情報処理装置10は、パーソナル・コンピュータ、ワークステーション、またはサーバとして構成されるコンピュータとして構成されている。情報処理装置10は、中央処理装置(CPU)と、CPUが使用するデータの高速アクセスを可能とするキャッシュ・メモリと、CPUの処理を可能とするRAM、DRAMなどの固体メモリ素子から形成されるメモリとを含んで構成される。
情報処理装置10が使用するCPUとしては、より具体的には、例えば、PENTIUM(登録商標)〜PENTIUM(登録商標) IV、ATHRON(登録商標)、CELERON(登録商標)など、PENTIUM(登録商標)互換CPU、POWER PC(登録商標)、MIPSなど、CISCまたはRISCアーキテクチャのCPUを、その処理能力や使用するプラットフォームの実装形式に応じて適宜選択して実装することができる。
また、使用するオペレーティング・システム(OS)としては、MacOS(商標)、Windows(登録商標)、Windows(登録商標)200X Server、UNIX(登録商標)、AIX(登録商標)、LINUX(登録商標)またはそれ以外の適切なOSを挙げることができる。さらに、情報処理装置10は、上述したOS上で動作する、C、C++、Visual C++、VisualBasic、Java(登録商標)、JAVA(登録商標)SCRIPT、Perl、Rubyなどのオブジェクト指向のプログラミング言語により記述されたアプリケーション・プログラムを格納し、実行する。さらに、情報処理装置10を、サーバとして実装する場合には、サーバは、Apache、IIS、CGI(Common Gateway Interface)などのサーバ・プログラムをサポートし、HTTPプロトコル、FTPプロトコル、SMTPプロトコルを使用して要求される、画像登録や画像補正などを処理する、CGIサーバ、アプリケーション・サーバ、SOAPサーバなどのWebサーバとして構成することができる。
図1に示すように、情報処理装置10は、処理実行部12と、ディスプレイ装置14と、処理実行部12に対して各種指令を送るキーボードなどの入力装置16、マウスなどのポインタ装置18を含んでいる。処理実行部12は、キーボード16またはマウス18からの周力を入出力制御部28を介して受取り、指令された処理を実行する。また、処理実行部12は、入出力制御部28を介してディスプレイ装置14に処理結果またはダウンロードした画像データを表示させている。
さらに情報処理装置10は、ブラウザ処理部24と、画像補正処理部26とを含んで構成されている。ブラウザ処理部24は、サーブレット、アパッチ、IISなどのサーバ機能として実装されている。ブラウザ処理部24は、インターネット・イクスプローラ(商標)、ネットスケープ・ナビゲータ、MOZILLAなどのブラウザソフトウェアに対して、HTML、XMLなどの構造化文書を送付する。ネットワーク30を介して遠隔接続された端末装置に送付された構造化文書は、ブラウザソフトウェアにより端末装置上にウェブ・ページとして表示されて、端末装置に対して各種サービスを提供している。
また、ブラウザ処理部24は、NIC(Network Interface Card)などのOSI基本参照モデルでいうところの、データリンク層レベルのネットワーク機器を含むネットワーク処理部22を介して、LAN(Local
Area Network)、WAN(Wide Area Network)およびインターネットを含むネットワーク30を通してHTTPリクエスト/レスポンス、FTPリクエスト/レスポンスなどのトランザクションを処理し、ディスプレイ装置14上にブラウザソフトウェアによるブラウジングを可能としている。なお、インターネットに接続するまでに、レベル2またはレベル3のネットワーク機器を経由することもできるし、DNS(Domain
Name Server)、POPサーバなどを介して端末装置に接続することができる。ブラウザ処理部24は、アプレットを実装していて、構造化文書にアプレット呼出しタグ<applet>または<object>を記述することにより、アプレットを実行させることができる。
また、画像補正処理部26は、デジタルカメラ、携帯カメラなどから取得された画像データに対して画像補正を行い、画像データおよび補正後の補正画像データを記憶装置20に格納している。また、処理実行部12は、リレーショナル・データベースなどのデータベース手段を実装していて、画像データと補正画像データとを相互に参照可能に管理している。
図2は、図1に示した画像補正処理部26の詳細な機能ブロックを示す。画像補正処理部26は、画像取得処理部32と、画像解析処理部34とを含んで構成されている。画像取得処理部32は、イーサネット(登録商標)を含むバスタイプの伝送路を介してデジタルカメラなどが取得した画像データを取得し、バッファ・メモリ44に格納する。
画像解析処理部34は、取得した画像データを、ブロック分割し、各ブロックに含まれる画素についてRGBデータを平均し、平均色値を計算する。なお、平均色値は、RGB次元として計算され、そのまま以後の処理に使用することができる。また、平均色値を、RGBの平均値からCIE1976L均等色空間に変換し、所定の色差範囲の基準値を使用してブロック内の平均値の僅かなずれ(例えば、ゴミ、陰など)が物体認識に影響を与えないように、統計処理することができる。なお、以下、説明の便宜上、加法混色系であるRGB表色系について説明するが、CMY系の減法混色の表色系でも同一の処理が可能である。
また、本発明の他の実施形態では、画像解析処理部34は、画像データをブロックに分割し、ブロックのテクスチャをフーリエ変換して周波数空間スペクトルに変換することによりブロック単位にテクスチャを解析する処理を実行することもできる。
背景取得処理部36は、画像解析処理部34が割当てたブロックについて、画像データの、4方向の端縁周辺部にあるブロックを平均するに充分な数、例えば、1つの端縁周縁部について1〜5ブロック程度で、4方向について4〜20ブロック程度特定し、ブロックの平均値を特定したブロックについてさらに平均し、不偏分散と、分散との差が所定の閾値以下となるブロック数を設定することができる。背景色値として取得する。この場合、特定したブロックの平均色値の標準偏差を計算しておくことで、識別処理に使用することができる。画像データの端縁周辺部は、画像データ内での注目物体(以下、単に物体として参照する。)を含まないように形成されるものと考えられるためである。背景取得処理部36の計算した背景色値は、バッファ・メモリに一旦格納され、物体抽出処理部38により読出され、画像データ中の物体に対応する画素を抽出するために使用される。
また、本発明の他の実施形態で、テクスチャ解析を実行する場合、画像データの端縁周辺部の周波数空間スペクトルを構成する周波数群で特徴づけられるフィルタ・データを取得し、フィルタ・データを参照してブロックを背景画像として識別することができる。
物体抽出処理部38は、ソフトウェア的に、また必要に応じてハードウェアとの組合わせとして、画像データの画像特徴を使用して背景画像と物体画像を抽出する抽出手段を実装する。画像特徴としては、RGB、CMY、CIE1976L、テクスチャの空間周波数スペクトルなどを使用することができるが、これらに限定されるものではない。また、抽出手段は、本実施形態では、(1)スネーク法、(2)テクスチャ解析法などの複数種類の処理を使用して構成することができる。
(1)のスネーク法は、背景色値およびその判断に使用する基準値を使用して背景画像と判断されたブロックを背景として識別していき、処理対象のブロックについて基準値を超えて背景色値と異なる色値を有している場合に、当該ブロックの直前のブロックまでを背景画像として識別し処理終了後に画像データから、物体画像を抽出する方法である。
また、上記(2)のテクスチャ解析法は、画像データのRGB値をフーリエ変換して周波数変換し、特定周波数を含む領域を物体領域として識別する方法であり、画像データをブロックに分割し、ブロックの平均色値を使用してフーリエ変換することで、テクスチャ解析を行うこともできるし、また、ブロック分割することなく、画像データに対して直接フーリエ変換することもできる。テクスチャ解析を使用する場合の基準値としては、背景画像として特徴づけるための周波数バンドを使用することができ、また所定の周波数帯域をフィルタとして設定し、背景画像および物体画像をそれぞれ抽出することができる。
背景画像処理部40は、抽出された物体画像に対して背景画像の色値を変更する処理を実行する。なお、図2に示すように、画像補正処理部26は、適切な記憶装置に、RGB値(またはCMY値またはCIE1976L)を有する複数の色値の背景画像データ46を格納している。また、背景画像データ46は、窓飾り、枠飾りなどを有していてもよく、背景画像処理部40からのアクセスに対応して、背景色の修正および飾り表示などを可能としている。
背景画像処理部40は、画像データの物体画像を除いた部分の色値を修正する処理を実行する。背景画像の色値を修正する処理は、本実施形態では、ソフトウェアとして実装される背景修正手段以下の処理を使用して背景修正処理を実行することができる。
(1)画像データと同一のサイズにサイズ調整した背景画像データ46を下側レイヤとし、上側レイヤに物体画像を重ね合わせレイヤを統合して、GIF、JPEG、JPEG2000、PNG、TIFFなどのファーマットの画像データとする処理。
(2)背景画像であると識別されたブロックに帰属される画素を指定し、特定のRGB値を指定して背景画像の色値を修正し、適切なフォーマットの画像データとする処理。
(3)画像データと同一のサイズにサイズ調整した背景画像データ46を下側レイヤとし、画像データを上側レイヤとして、画像データの背景画像に対応する色を透過色指定する処理。
上記(1)の処理は、背景色を修正する他、背景画像に枠飾りを付ける処理にも使用することができる。また、上記(2)の処理は、背景画像データ46を直接使用しない処理である。上記(2)および(3)の処理は、それぞれ分離して適用することもできるし、また(2)および(3)を組み合わせて適用することもできる。(2)および(3)の処理を組合わせることで、(1)と同様に、枠飾りなどを背景画像として追加することができる。なお、背景画像を識別する場合に使用する基準値としては、ブロックの平均色値の標準偏差を使用することができ、RGBそれぞれについての標準偏差σ、σ、σなどを使用して各RGBの値を判定するか、またはσ、σ、σの算術平均、幾何平均などを使用して判断基準として使用することができる。
また、背景画像を代表するブロックについて取得された周波数フィルタを、判断基準として、背景画像と物体画像とを分離することができる。なお、処理時間やゴミ、周辺部のシェーディングなどの影響を考慮しなくとも良い場合には、ブロック単位での処理ではなく、画素単位の処理を使用して背景画像と物体画像とを分離することもできる。
コントラスト補正処理部42は、物体画像と新たな背景画像とに対して適切なコントラストを付与するための処理である。コントラスト補正処理部42は、物体画像と、背景画像のRGB値を相対的に修正する処理を経験的に与えられたバランスが与えられるように自動実行することができる。また、コントラスト補正処理は、背景画像の色値の修正とともに、補正の結果をユーザに逐次表示させて、インタラクティブに実行することができる。なお、コントラスト補正処理部42は、コントラストを特に修正する必要がない場合には実装時省略してもよい。
背景取得処理部36またはコントラスト補正処理部42の出力結果は、バッファ・メモリに格納された後、記憶装置20またはネットワーク30を介してウェブ・サーバなどに送られる。
図3は、画像解析処理部34および背景取得処理部36が実行するブロック分割処理の実施形態を示した図である。図3に示す画像データ50は、ジャケット52が物体画像として含まれている。また図3に示すように、画像データ50は、背景画像54が物体画像52を取り囲んで構成されている。画像解析処理部34は、画像データ50の画素を、設定されたサイズのブロック56に割当て、ブロック56に含まれる画素のRGB値を平均してブロックについての平均色値を計算し、RAMなどのメモリにブロック識別値とともに登録してゆく。
その後、背景取得処理部36は、画像データの端縁周辺のブロックを適切な個数サンプリングし、平均化処理を行って、背景画像の平均色値を計算する。物体抽出処理部38は、平均色値が計算されると、予め設定した基準値に収まる平均色値を有するブロックを背景画像であるとして識別し、物体画像を抽出する。図4は、物体抽出処理部38が実行する識別処理の実施形態を示した図である。図4に示すように、物体抽出処理部38は、図4中画像データの左手側上端縁から下側に向かってブロックの識別処理を実行しており、識別処理が終了したブロックを、ハッチングで示している。本実施形態では、背景画像を識別する処理は、図3のいかなる方向からでも行うことができるが、物体画像を抽出する観点からは、画像データの端縁から1方向に内側に向かって行うことが好ましい。また、必ずしも1方向からだけではなく、4方向から同時に識別処理を実行させることもできる。
また、図4に示されるように、ブロックのサイズと物体のサイズとの関係から物体付近の背景画像が僅かに残される場合もある。この場合、順次的にブロックサイズを縮小して物体近傍を処理することで、より正確に背景および物体を識別することが可能となる。また他の実施形態では、物体を含む最も外側のブロックについて、背景と物体との境界部分に相当する色値を有する画素を選択し、物体側を残し、背景側を背景として登録することで、よりなめらかな物体境界を形成することもできる。
図5は、背景画像処理部40により識別された背景画像および物体画像に対し、背景画像として識別された領域の色値を修正して作成された補正画像データ58を示す。図5(a)が背景を均一な色値の画像で補正した場合の実施形態であり、図5(b)が窓飾りを付けた画像を背景画像とした場合の実施形態である。補正画像データ58では、背景画像54の不均一さが修正され、均一な背景画像とされているのが示されている。図5(b)に示す実施形態では、背景画像に枠飾りを設けることで、より物体を印象付けるように、背景画像を補正することができる。枠飾りまたは窓飾りなどについては、予め背景画像データ46に付して登録することもできるし、枠飾りまたは窓飾りのデータを別に記憶装置に格納し、補正指令に応答して呼出して、背景画像に合成することができる。
図6は、情報処理装置10が実行する補正処理の他の実施形態を示した図である。図6に示した補正処理は、まず(1)画像データから背景を削除し、(2)背景画像を画像データと同一のサイズにリサイズする。その後、(3)下側レイヤに背景画像を、上側レイヤに物体画像配置し、それぞれの画像の重心が一致するように重畳して、レイヤを統合することにより作成された補正画像データの実施形態である。
なお、本明細書において、「重心」とは、背景画像および物体画像のブロックについてそれぞれ均一な重みを与え、画像領域の重心を意味する。背景画像については、背景画像データ46の中心が重心に一致するが、物体については物体の形状などにより変化するので、背景画像と物体画像の重心を一致させることで、補正画像データ中に物体をバランス良く配置することができる。なお、背景画像と物体画像を重畳するための処理は、背景に対して物体をバランス良く配置できる限り、いかなる方法でも用いることができる。
図6(a)は、送信された画像データであり、図6(b)は、背景を除去することにより得られた物体画像データであり、図6(c)は、背景画像に対して物体画像データを、相互の画像の重心が一致するように配置して画像を統合した補正画像データである。図6(c)に示されるように、補正画像データは、図6(a)に示される補正前の画像データよりも背景が明るく、また撮影時の物体の陰が抑制され、全体的に明るいイメージとされているのがわかる。図5および図6に示されるように、本実施形態の画像補正処理により、物体画像の印象を改善し、より均一なフォーマットでウェブ・ページなどの表示させることができることが示される。
図7は、情報処理装置10がハードディスク装置などの記憶装置にデータベースとして管理するデータ構造の実施形態を示す。図7(a)がデータベースのデータ構造の実施形態であり、図7(b)が、ハードディスク装置などの記憶装置に格納されるディレクトリ構造の実施形態を示す。図7(a)に示すように、画像データ(図示した実施形態では、拡張子.origで示される。)と、補正画像データ(図示した実施形態では拡張子.modで示される。)とは、ユーザ識別値ごとに構成されたレコードを構成しており、ユーザ識別値、画像データ、補正画像データのいずれからでも相互のデータ参照が可能とされている。ユーザ識別値は、サービス・サイトが割当てるユーザ識別値とすることもできるし、また電子メール・アドレスとすることもでき、特に限定されるものではない。
また、図7(b)に示すように、画像データおよび補正画像データは、/etc/image/User/の下位階層に登録されている。図7に示した画像データ構造は、画像データを画像データ構造上で識別するための画像データおよび補正画像データを階層構造を与えている。他の実施形態では、画像データと補正画像データとを相互参照可能に、例えば拡張子などを変えて画像データおよび補正画像データを同一のディレクトリに格納することもできる。
また、データ構造としてXMLを使用することもでき、DOM(Document
Object Model)を使用した検索を可能とするため、さらに他の実施形態では、ユーザ識別値を親ノードとし、画像データおよび補正画像データを子ノードとし、補正履歴に対応した木構造として登録し、ユーザが複数回試みた補正画像データを選択して登録することもできる。
情報処理装置10がアプリケーション・サーバ、ウェブ・サーバ、またはデータ・サーバなどとして構成される場合、画像データまたは補正画像データは、URL(Uniform Resource Locator)またはURI(Uniform Resource Indicator)により、例えば、http://www.on−line_Ricoh.co.jp/index.html/Image/Image_001/Jacket1_modなどとして指定される。
図8は、情報処理装置10が実行する処理の第1実施形態のフローチャートを示す。図8に示した処理は、ステップS100から開始し、ステップS101で画像データ登録要求を端末装置から受取る。ステップS102で端末装置に対して登録フォームを送信する。ステップS103では、情報処理装置10が送信したフォームからSMTPプロトコルを使用した電子メールまたはHTTPプロトコルを使用したアップロードにより画像データを受信する。
電子メールには、画像データが添付されている。画像データは、種々のフォーマットとすることができ、図8に示した実施形態では、GIF、PNG、TIFF、JEPG、JPEG2000、BMP、EXIFなどこれまで知られたいかなるフォーマットでも使用することができる。また、電子メールの本文中には、画像データをアップロードする場合の属性データ、例えば物体の種類、状態、販売希望価格などを記述して送信する。ステップS103で情報処理装置10が電子メールを受信すると、テキスト・パーサなどを起動して、受信したデータから物体の種類、状態、販売希望価格などの属性データを抽出、ステップS104でユーザ識別値に対応づけて記憶装置に格納する。なお、端末装置がEXIFなどの画像フォーマットに対応するソフトウェアを実装している場合には、画像データの特定タグで指定される領域にメタデータとして属性データを記述することができ、電子メール本文には特に属性データを記述する必要はない。
また、EXIFフォーマットの画像データをHTTPプロトコルでアップロードする場合、上述した属性データを記述する入力フィールド内に属性データを記述し、アップロードする画像データを登録して、「送信」ボタンをクリックすることで、情報処理装置10に画像データおよび属性データが送信される。
ステップS105では、画像データおよび属性データを受信した情報処理装置10は、ユーザ指令または自動的に補正画像データを作成し、ステップS106で画像データに対応させて格納する。ステップS107では、情報処理装置10は、端末装置からのブラウジング要求に対応して、補正画像データのURIを記述した構造化文書を端末装置へと送信し、ブラウザソフトウェアを介してウェブ・ページを端末装置に表示させ、処理をステップS108で終了する。
図8に示した処理は、ユーザが画像データに対して補正を行う指令を発行しなくとも情報処理装置10が管理する補正条件リストから、基準値を満足するように補正条件を選択し、補正処理を自動実行する場合の実施形態である。また、図8に示した実施形態では、ブラウジング機能を有していない端末装置が電子メールで画像データをアップロードする場合には、フォームを電子メールで送信しておくか、または電子メールで画像データを送信することで、パーソナル・コンピュータから特定のURLにアクセスせずとも補正画像データを取得することができる。
図9は、情報処理装置10が実行する処理の第2実施形態を示す。図9に示した実施形態は、ユーザ要求により補正の実行および補正レベルなどの条件を指定して、補正画像データを作成する実施形態である。図9に示した処理は、ステップS200から開始し、ステップS201でユーザから補正要求を受領したか否かを継続して判断する。端末装置からの補正要求があった場合(yes)、ステップS202で補正要求からユーザ識別値を取得し、ユーザが登録した画像データのうち、補正画像データが登録されていない画像データを検索する。ステップS203では、検索された画像データのURIをHTMLファイルに記述して端末装置に送信し、端末装置上で画像データをブラウジングさせる。
ステップS204では、補正要求に含まれるか、または補正要求とは別に送信される補正条件を取得し、ステップS205で画像補正処理部26を起動し、補正条件を使用して画像データに対して補正処理を実行し、補正画像データを作成する。その後、情報処理装置10は、ステップS206で補正画像データをウェブ・ページに表示するため、記憶装置に格納し、処理をステップS207で終了させる。
図10は、情報処理装置10が実行する補正処理の実施形態のフローチャートである。図10に示した処理は、ステップS300から開始し、ステップS302で、画像データの画素をブロック分割する。ステップS303でブロック内のRGB(またはCMY)値を平均し、背景画像の平均色値を計算し、バッファ・メモリに格納する。ステップS304で、情報処理装置10は、背景画像の平均色値を中心とし、設定された基準値の範囲の平均色値を有するブロックを画像データ上で識別し、物体画像と背景画像とを抽出する。その後、情報処理装置10は、ステップS305で抽出された背景画像および物体画像に対して背景画像処理を実行し、補正画像データを作成し、画像データに対応づけて格納し、処理をステップS306で終了させる。なお、背景画像の補正処理は、図4および図5で説明した処理、またはフーリエ変換を使用した周波数フィルタを使用して実行される。
なお、背景画像を識別する処理としてフーリエ変換を使用した空間周波数フィルタを使用する場合、ステップS303として、ブロックの周波数スペクトルを取得し、ステップS304で周波数フィルタを使用して識別処理に置き換えた処理を用いることで、空間数端数を使用した背景画像および物体画像の識別・分離処理を実行することができる。
図11は、端末装置からの画像データの伝送の実施形態を示した図である。図11(a)が端末装置60と情報処理装置10との間のトランザクションの実施形態を示し、図11(b)が端末装置60に送付されるフォームを実施形態を示す。図11(a)に示す端末装置60は、携帯電話、デジタルカメラ、PDA、パーソナル・コンピュータなどとされている。携帯端末60がブラウジング機能をサポートしている場合には、アプリケーション・サーバまたはウェブ・サーバなどの情報処理装置10に対し、フォームおよびCGIを使用したアクセスを行う。一方、端末装置60は、情報処理装置10に対してSMTPプロトコルを使用した電子メールで、POPサーバを経由して、情報処理装置10にアクセスする。
図11(b)に示したフォーム66は、ウィンドウ66上にユーザに対し、画像データの登録を行うフォームであることが表示されている。さらにウィンドウ66上には、画像データの送信方法を選択させる表示、「●電子メールで送信」および「●サーバに直接アップロード」がハイパーリンクにより提供されている。ユーザは、画像を送信する場合、端末装置60の環境や入力の手間などを考慮して電子メールまたは直接アップロードする方法を選択する。また、ウィンドウ66には、ユーザが登録処理を中断してトップページに戻るためのボタンなどが配置されている。
端末装置60がフォーム66を介して情報処理装置10にアクセスする場合には、フォームを介して、<a
href=“malito:0n−line_Ricoh@co.jp”>などのタグおよびアクションを使用して専用の電子メール・アドレスに送信することができる。なお、電子メールで画像データを送信する場合、EXIFフォーマットをサポートしている端末装置60では、電子メール本文には属性データを記述せずに画像データのタグで指定される位置に属性データを記述して送信することで、ユーザが端末装置から電子メールを送信することが効率化できる。また、撮影時のデジタルカメラのパラメータ(露出、焦点距離、ストロボの有無、ホワイトバランス)などがEXIFファイルのメタデータとして記述できるので、情報処理装置10側の補正処理も効率化することができる。
また、フォーム端末装置60がフォーム66を使用して情報処理装置10に画像データをアップロードする場合にはフォームには、画像データを登録し、補正などを実行するCGI処理を担当するURLを、<a
href=“http://www.on−line/Ricoh.co.jp/cgi−bin/touroku.cgi”method=“post” enctype=“ ”>などとして記述しておくことができる。ユーザは、端末装置60の画面上に表示されたフォームに入力して行くことで、画像データを登録するURLに直接アクセスし、画像データをその属性データとともにアップロードすることができる。
図12は、ユーザが登録した補正画像データを表示するウェブ・ページの実施形態を示す。図12に示したウェブ・ページは、ユーザが、端末装置60のブラウザソフトウェアを介して、画像データを提供するページである、例えば、http://www.on−line_Ricoh.co.jp/inex.htmlにアクセスした場合に表示される。図12に表示されたウィンドウ80には、ウェブ・ページのURLを表示するフィールド82と、サイト内検索のためのキーワードなどを入力するフィールド84などの他、当該ウェブ・ページが登録された画像を表示させるページである「登録されている画像の一覧です」の表示86が与えられている。
また、図12には、登録された複数の補正画像データ88および補正画像データ90が登録されていて、ウィンドウ80内に一覧表示されている。図12中、補正画像データは、符号88および符号90で示されている。また、例えば符号92で示される画像は、ユーザが補正なく表示することを選択したので、端末装置60から伝送された画像データのままで表示されている。また、補正画像データ88および補正画像データ90は、補正前の画像データのURIに対してハイパーリンクが張られたボタンとして表示されている。このため、ユーザは、ウィンドウ80で補正画像データ88にアイコン94を合わせ、ダブルクリックすることにより、対応する補正前の画像データを参照することができる。
さらに、ウィンドウ80には、他の画像を閲覧するためにページを進める「次へ」ボタン96および前のページに戻るための「戻る」ボタン98が提供されていて、ユーザが自由に登録された画像を閲覧することが可能とされている。
図13は、端末装置60から画像データが登録された後、ユーザが登録した画像データを補正する場合に表示されるウィンドウを示す。図13に示したウィンドウ100は、ユーザが端末装置60から画像データを送信し、情報処理装置10に登録を完了した後に、パーソナル・コンピュータや、携帯電話などブラウジング機能をサポートする携帯端末から特定のウェブ・ページにアクセスすることにより表示される。図13に示したウェブ・ページ100にアクセスする場合には、ユーザはブラウザソフトウェアから、http://www.on−line.Ricoh.co.jp/hosei.htmlなどのURLアドレスを入力する。
URLアドレスの入力後、ディスプレイ画像面上には、情報処理装置10にアクセスするためのユーザ識別値やパスワードなどの入力を要求するウィンドウが表示される。ユーザは、入力フィールドに、ユーザ識別値およびパスワードなどを入力し、情報処理装置10が承認することで、図13のウィンドウ100が表示される。なお、ユーザが入力するユーザ識別値は、画像データを登録する際にユーザが付するユーザ識別値と共通しても良いし、電子メール・アドレスから、情報処理装置10が別に管理するユーザ管理データベースなどを照合して検索可能に関連づけられた値とすることができる。
情報処理装置10は、入力されたユーザ識別値を検索キーとして使用し、データベースを検索し、当該ユーザ識別値に関連づけられた画像データを検索する。検索された画像データのうち、対応する補正画像データが作成されていない画像データを補正対象の画像データであるとして取得し、当該画像データのファイル識別値をURIのファーマットでリンク可能に構造化文書の所定の位置に記述する。補正画像データの登録判断は、補正画像データに対して与えられる拡張子を有する同一ファイル名の存在や、当該画像データへのアクセスログなどを使用して行うことができ、SQL(Structured English Query Language)などを使用してデータベースの該当フィールドを検索することもできる。情報処理装置10は、JAVA(登録商標)サーブレットなどにより、検索された画像データおよび補正画像データを表示させる構造化文書のURIのパスを修正するか、または構造化文書により参照されるURIに、検索したデータを登録することで検索結果を表示させる。
図13のウィンドウ100をさらに説明すると、ウィンドウ100には、補正前の画像データ102が示されている。ユーザが画像データ102をウィンドウ100上で認識し、画像データの補正を希望する場合、補正レベルを指定する入力フィールド110から補正レベルを選択するプルダウンメニュー112を表示させる。ユーザは、希望する、または試みたい補正を選択した後、「補正する」ボタン106をクリックするなどで、補正条件を含む補正指令を情報処理装置10に発行する。
補正指令を補正条件とともに受取った情報処理装置10は、画像処理スクリプトを呼出して図9および図10に示した処理を実行させる。情報処理装置10は、画像処理スクリプトの実行結果である補正画像データを受領して、記憶装置20の画像データと同一のディレクトリ、またはデータベースの同一のユーザ識別値で特定されるレコードの該当フィールドにエントリする。その後、情報処理装置10は、サーブレットを起動して表示しているウィンドウ100を与える構造化文書の補正画像データへのハイパーリンクを作成し、ウィンドウ100内の表示位置に、補正画像データ104として表示させている。
一方、ユーザは、補正を希望しない場合、「すぐに登録」ボタン108をクリックして補正せずに登録することができる。また、補正画像データ104を参照して、補正結果を参照したユーザは、希望するレベルの補正が完了するまで、上述した処理を繰り返し、インタラクティブに補正を行い、ユーザの希望するレベルの補正画像データを登録することができる。補正が終了したユーザは、「登録実行」ボタン114をクリックして、補正画像データの登録処理を実行する。
図14は、情報処理装置10を含むネットワーク・システムの実施形態を示す。図14に示したネットワーク・システム200は、インターネットなどの公共ネットワーク202を介して複数の端末装置60が相互接続されて、画像データの登録の他、画像データおよび補正画像データのブラウジングおよびダウンロードなどのトランザクションを可能としている。端末装置としては図14に示した実施形態では、パーソナル・コンピュータ204、206、携帯電話210、およびデジタルカメラ212などが例示されているが、本発明は端末装置を特に限定するものではない。
また、公共ネットワーク202には、情報処理装置として使用され、アプリケーション・サーバ/ウェブ・サーバ機能を含むサーバ214が接続されている。アプリケーション・サーバは、画像登録および補正などの処理を担当し、ウェブ・サーバは、画像データおよび補正画像データのブラウジングや、画像処理スクリプトを呼出すためのインタフェースを提供する。サーバ214は、ハードディスク装置などを管理しており、画像データおよび補正画像データをデータベースとして管理している。
パーソナル・コンピュータ206は、デジタルカメラ208からUSBなどのバスを介して画像データを受信し、サーバ214への登録および補正処理を依頼する。なお、パーソナル・コンピュータ206は、デジタルカメラ208がサポートするEXIFフォーマットを処理するユーティリティ・ソフトウェアを実装していて、サーバ214に対してEXIFフォーマットの画像データをそのまま伝送している。さらにユーティリティ・ソフトウェアは、伝送前に伝送するべき画像に対して画像処理を自動または手動で実行しても良い。この場合に使用するユーティリティ・ソフトウェアは、ホワイトバランス、彩度補正、シャープネス、コントラスト、歪曲補正、画像サイズ、ノイズ除去などの画像処理を、前処理として実行するためのアプリケーション・ソフトウェアを実装することができる。このようなソフトウェアとしては、例えば、Photoshop(登録商標)のような機能を有している。
携帯電話210は、携帯電話210が実装する携帯カメラを使用して画像データを取得し、SDカードなどの適切な記録媒体に画像データを格納する。その後、携帯電話は、画像登録を行うためのURLを指定したHTTPリクエストを送信し、携帯電話を管理するキャリアの基地局およびゲートウェイ・サーバ、および公共ネットワーク202を介してサーバ214にアクセスする。サーバ214は、フォーム66を送信し、携帯電話210の表示画面には、図11(b)で示したウィンドウ表示を提供する。ユーザは、ウィンドウ表示にしたがってファイル送信モードを選択し、サーバ214に対して画像データの登録を実行する。このとき、引き続いてユーザは画像データの補正処理を行うこともできる。
また、携帯電話210の表示画面は、パーソナル・コンピュータ204などの表示画面よりも小さいので、ユーザがパーソナル・コンピュータ204などでの補正を希望する場合には、画像データの登録後、パーソナル・コンピュータ204から補正処理を指令するウェブ・ページにアクセスし、補正処理画面を表示させることができる。この場合、ユーザ識別値および登録した画像のコインシデンスは、図13で説明したように、検索を実行させることにより提供される。また、他の実施形態では、サーバ214は、HTTPプロトコルをサポートしている端末装置から画像データの登録を受付けた後、補正処理画面を表示させるフォーム66をHTTPレスポンスとして直接返し、ユーザに対して補正処理を容易にしても良い。
一方、サーバ214が電子メールで直接画像データの登録を受付けた場合、サーバ214は、電子メールの送信元をユーザ識別値として画像データとともに登録しておくことができる。この場合、ユーザがパーソナル・コンピュータ204からサーバ214にアクセスしてきた場合、サーバ214は、ユーザ識別値として電子メールの送信元を取得し、対応する画像データを検索し、補正処理を実行する。
ユーザが補正処理画面から補正を行った最終的な補正画像データは、サーバ214により記憶装置に登録され、リレーショナル・データベースなどの該当するフィールドに対応する補正画像データの識別値がエントリされ、補正画像の登録が終了する。
また、サーバ214は、ウェブ・サーバ機能を実装する。サーバ214は、不特定多数の利用者(画像登録を行ったユーザおよびそれ以外の不特定多数のユーザを含む)から、画像データ提供サービス、画像データリポジトリ・サービス、ネットショッピング・サービス、ネットオークション・サービス、ブログ、SNS(ソーシャル・ネットワーキング・サービス)、プリント代行サービス、ファックス代行サービス、補正画像データを表示するウィンドウを、特定の用途に対応して表示させている。利用者は、端末装置のディスプレイ装置上に表示されるウェブ・ページから希望する補正画像データを選択し、補正画像データから補正前の画像データを参照する。利用者は、画像データおよび補正画像データを比較しながら他の画像データを比較を行い、ネットショッピングやネットオークションなど、ウェブ・ページを提供するサービス・サイトから、各種サービスを受けることができる。
図15は、ネットワーク・システムの第2実施形態を示す。図15に示したネットワーク・システム300では、サーバ314およびサーバ318が分離した構成とされている。サーバ314は、アプリケーション・サーバとして機能していて、携帯電話310、デジタルカメラ312、パーソナル・コンピュータ304、306などの端末装置60から送信された画像データの画像補正処理を、サーバ318からのCGI要求を受付けて実行する。サーバ314は、またデータベース316を管理していて、画像データおよび補正画像データの両方を蓄積している。この点で、サーバ314は、画像データおよび補正画像データのデータベース・サーバまたはバックアップ・サーバという機能も含んでいる。
一方、サーバ318は、画像処理とは関係ない、画像データ提供サービス、画像データリポジトリ・サービス、ネットショッピング・サービス、ネットオークション・サービス、ブログ、SNS(ソーシャル・ネットワーキング・サービス)、プリント代行サービス、ファックス代行サービスを専用に提供するウェブ・サーバとして実装されている。サーバ318は、不特定多数の利用者からのウェブ・ページのアクセスに対応し、公共ネットワーク302を介してブラウザソフトウェアを介したサービスを提供している。
サーバ318は、ユーザから画像データの登録を受付け、データベース320に画像データを登録する。また、サーバ318は、登録された画像データに対してユーザからの補正指令を受付けると、サーバ314に対して画像データと補正条件、ネットワーク・アドレス(IPアドレスでもURLでも良い。)本実施形態の場合、サーバ318は、サーバ314に対して画像処理スクリプト識別値を渡し、サーバ314に画像処理スクリプトを呼出しを実行させ、補正画像データを作成させる。
サーバ314は、補正画像データを作成すると、補正画像データを応答パケットとして渡す。サーバ318は、補正画像データを受領すると、ブラウジング画像として提供する記憶領域に補正画像データを格納し、補正画像データを固有に識別させるURIを付して、利用者に対してウェブ・ページを介して補正画像データを表示させている。なお、サーバ318は、元の画像データを保持しておくこともできるし、元の画像データがサーバ314に伝送された後、元の画像データを削除して、サーバ314のURIだけとして画像データを管理することができる。
図16は、図15に示したネットワーク・システム300で実行される補正処理の実施形態のフローチャートを示す。図16に示す処理は、ステップS400でユーザが「補正」ボタンなどをクリックするなどして補正指令をサーバ318(以下、登録サイトとして参照する。)に発行する。ステップS401では、登録サイトは、画像データと、登録サイトのネットワーク・アドレスと、CGI処理識別値をサーバ314(以下、画像補正サイトとして参照する)に送信する。
ステップS402では、登録サイトは、画像補正サイトからのレスポンスを待機する。画像処理サイトからのレスポンスがあると、レスポンスがエラーか否かを判断し、エラーの場合(yes)ステップS405に処理を分岐して当該トランザクションを終了させる。また、ステップS402の判断でレスポンスがエラーでない場合(no)である場合、ステップS403で補正画像データをCGIレスポンスとして受信する。
その後、ステップS404では、登録サイトは、取得した補正画像データを適切な記憶領域に格納し、登録サイトおよび画像補正サイトによるトランザクションをステップS405で終了する。
一方、画像補正サイトは、デーモン・プロセスとして処理を待機しており、ステップS406で登録サイトからの補正処理要求を受付けたか否かを判断する。ステップS406の判断の結果、処理要求を受付けていないと判断した場合(no)処理をステップS406に戻し、処理要求があるまで待機している。一方、ステップS406で処理要求があったと判断した場合(yes)、ステップS407では、画像補正サイトは、画像処理識別値をエントリしたスクリプト・テーブルをルックアップし、受信データに含まれるネットワーク・アドレスとCGI処理識別値とを照合し、当該処理を実行するオブジェクトが存在するか否かを判断する。
図17は、ステップS407の処理で使用する登録サイト−処理スクリプト選択を実行する選択実行手段として実装されるスクリプト・テーブル400の実施形態を示す。図17に示すスクリプト・テーブル400は、登録サイトのネットワーク・アドレス(サイトID)と、画像処理識別値(画像処理スクリプトID)とが対応付けされたテーブル402と、画像処理スクリプトIDと、画像処理スクリプトを実行するスクリプト識別値とを対応させたテーブル404とを含んで構成されている。
画像補正サイトは、補正処理要求を受付けると、サイトID(ネットワーク・アドレス)と、画像処理スクリプトIDの値を取得し、テーブル402を検索して要求される処理が登録サイトに対して許可されているかを判断する。許可されていない場合、具体的には、当該サイトIDに対して割当てられていない画像処理スクリプトIDが送信された場合)、画像補正サイトは、エラーを返す。
一方、画像補正サイトが、当該サイトIDに登録されている画像処理スクリプトIDを送信した場合には、テーブル404を検索して、対応する画像処理スクリプトのスクリプト名を取得し、呼出し処理を実行し、補正要求に対応した処理を実行させる。例えば画像処理スクリプトID=1の画像処理スクリプトはサイズ変更を実行し、画像処理スクリプトID=2で指定される画像処理スクリプトは、背景を抽出する。また画像処理スクリプトID=3で示される画像処理スクリプトは、コントラスト(白黒バランス)の調整を実行し、画像処理スクリプトID=4で指定される画像処理スクリプトは、物体画像を抽出し、背景を除去する処理を実行する画像処理スクリプトである。
なお、スクリプト・テーブル400は、図17に示されるデータ構造以外にも、サイトID(ネットワーク・アドレス)と、補正処理として適用されるオブジェクトやスクリプトを指定できる限り、いかなるデータ構造として画像補正サイトに実装することができる。
また、図17に示すように、テーブル402には、複数種類の処理を、複数の画像処理スクリプトIDとしてエントリすることができる。画像処理スクリプトIDとして複数の処理をエントリする場合には、図13で説明したウィンドウ表示を登録サイトがウェブ・ページとして端末装置60のディスプレイ装置上に表示させ、ユーザに対してインタラクティブに補正レベルや種類を選択させる場合に実装される。
登録サイトと画像補正サイトが異なる場合、登録サイトは表示した図13に示したウェブ・ページからユーザ選択された補正レベルから画像処理スクリプトIDを検索し、画像処理スクリプトIDおよび画像データを送信バッファに格納する。その後、送信バッファに格納されたデータをペイロードに記入し、IPヘッダに登録サイトのネットワーク・アドレスを送信元IPアドレスに記述し、画像補正サイトのIPアドレスを宛先IPアドレスに記述してネットワーク302に送出する。なお、サイトIDとしてIPアドレス以外の値を使用する場合には、ペイロード内に登録サイトのURLまたはURIを記述しておくことで、画像補正サイトでの処理が可能となる。なお、ペイロードにURLまたはURIを記入して補正要求を作成する場合、図17のスクリプト・テーブル400には、URIまたはURLをエントリすれば良い。
さらに、図16の処理を説明すると、ステップS407の判断で該当する処理が存在しないと判断された場合(no)、登録サイトに「エラー」を通知してトランザクションを終了させ、処理をステップS406に戻して再度待機する。一方、ステップS407の判断で該当する処理が存在する場合、ステップS408で画像補正サイトは、HTTPメソッドのうち、POSTメソッドを使用して画像処理スクリプトの呼出しを実行する。なお、画像処理スクリプト識別値は、補正レベルごとに異なるスクリプトとして提供することもできるし、また異なる物体識別処理を実行するスクリプトなど、特定の用途に対応して、いかなる組合わせとして画像補正サイトに実装することができる。
また、登録サイトと画像補正サイトとの間では、補正処理を実行する呼出すべきスクリプトのスクリプト識別値、画像データ、およびネットワーク・アドレスを指定した、RPC(Remote Procedure Call)、CORBA(Common Gateway Object Resource Broker
Architecture)、SOAP(Simple Object Access Protocol)などの分散コンピューティング・アーキテクチャを介して、サーブレット、アパッチなどのサーバ・プログラムといったスクリプトを起動して、画像処理スクリプトに対応する処理を実行させることができる。
さらに、図16にしたがって処理を説明すると、ステップS409では、呼出した画像処理スクリプトのクラスに、受信した画像データを宣言することにより、インスタンスを生成し、処理スクリプトを実行させる。呼出される画像処理スクリプトは、サービス・サイトとして機能する登録サイトにより指定または設定された補正レベルや、背景画像識別処理などの相違に対応して異なる画像処理スクリプトとして実装されていて、複数の登録サイトがある場合でも個別的な補正レベルを提供することが可能とされている。その後、ステップS410では、作成された補正画像データを登録サイトにレスポンス・パケットとして送信し、該当するスレッドの画像処理スクリプトを終了させ後、当該スレッドを生成させたトランザクションを終了させ、再度、ステップS406で待機状態に戻る。
上述したように、本発明によれば、ユーザが登録した画像データに対して一定基準以上のレベルをもった補正画像データとして不特定多数の利用者に閲覧させることができるので、ウェブ・ページの表示の均一性を向上させることで、ウェブ・ページの利用性およびアクセス頻度を向上させることができる。また、本発明によれば、画像補正は、ユーザがインタラクティブに行うことができ、また過度の画像補正を許容しない程度の補正レベルに制限できるので、画像データと補正画像データとの間のコインシデンスも保証できるので、ネットオークションサイトやネットショッピング・サイト、SNSなどにおいてウェブ・ページの利用性と、ウェブ・ページの表示内容との一致性と、サイト信頼性とをバランスさせたネットワーク・サービスが可能となる。
本発明の上記機能は、C、C++、Java(登録商標)、Java(登録商標)Beans、Java(登録商標)Applet、Java(登録商標)Script、サーブレット、Apache、Perl、Rubyなど、レガシープログラミング言語やオブジェクト指向ブログラミング言語などで記述された装置実行可能なプログラムにより実現でき、装置可読な記録媒体に格納して頒布することができる。
これまで本発明を図面に示した実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
情報処理装置の機能ブロックの実施形態を示した図。 画像補正処理部の機能ブロックの実施形態を示した図。 補正処理の実施形態を示した図。 補正処理の実施形態を示した図。 補正画像データの実施形態を示した図。 画像データ、物体画像、補正画像データの実施形態を示した図。 画像データ、補正画像データ、およびユーザ識別値を含むデータ構造の実施形態を示した図。 情報処理装置が実行する処理の実施形態のフローチャート。 外部から補正要求を受付ける実施形態のフローチャート。 補正処理の実施形態のフローチャート。 端末装置からの画像データの伝送の実施形態を示した図。 ユーザが登録した補正画像データを表示するウェブ・ページの実施形態を示した図。 端末装置から画像データが登録された後、ユーザがパーソナル・コンピュータなどから登録した画像データを補正する場合に表示されるウィンドウを示した図。 情報処理装置を含むネットワーク・システムの実施形態を示した図。 ネットワーク・システムの第2実施形態を示した図。 第2実施形態でのトランザクションの実施形態を示した図。 画像補正サイトでスクリプトを選択実行させるためのデータ構造を示した図。
符号の説明
10…情報処理装置、12…処理実行部、14…ディスプレイ装置、16…入力装置、18…ポインタ装置、20…記憶装置、22…ネットワーク処理部、24…ブラウザ処理部、26…画像補正処理部、28…入出力制御部、30…ネットワーク、32…画像取得処理部、34…画像解析処理部、36…背景取得処理部、38…物体抽出処理部、40…背景画像処理部、42…コントラスト補正処理部、
44…バッファ・メモリ、46…背景画像データ、200…ネットワーク・システム(第1実施形態)、300…ネットワーク・システム(第2実施形態)、400…スクリプト・テーブル

Claims (15)

  1. 画像データを登録する情報処理装置であって、
    ネットワークを介して画像データを取得するネットワーク処理手段と、
    前記画像データを解析し、前記画像データから背景画像と物体画像を抽出し、抽出された前記背景画像を補正条件にしたがって補正して補正画像データを作成する画像補正手段と、
    作成した前記補正画像データを、前記補正画像データと、前記画像データと、前記画像データを送付したユーザのユーザ識別値とを相互参照可能に格納する記憶手段と
    を含み、
    前記画像補正手段は、前記ネットワークを介して補正要求を受取り、前記補正要求を解析して、前記補正要求に含まれる補正条件にしたがって背景画像処理部による補正を、画像処理スクリプトIDと画像処理スクリプトを実行するためのスクリプト識別値とを対応させたテーブルから選択して実行させる選択実行手段を含み、前記補正条件にしたがって補正された前記補正画像データを前記ネットワークを介して送出する、
    情報処理装置。
  2. 前記画像補正手段は、
    画像データから背景画像と物体画像を抽出する物体抽出処理手段と、
    抽出された背景画像を補正し、物体画像を含む補正画像データを作成する背景画像処理部と、
    を含む、請求項1に記載の情報処理装置。
  3. 前記物体抽出処理手段は、前記画像データの画素をブロックに割当て、前記ブロックごとの画像特徴を使用して前記背景画像と前記物体画像とを抽出し、メモリに格納する抽出手段を含む、請求項1または2に記載の情報処理装置。
  4. 前記背景画像処理部は、前記背景画像として抽出されたブロックの削除、色値指定、または背景画像データを前記画像データのサイズにリサイズし、前記物体画像とレイヤ合成する背景修正手段を含む、請求項2または3のいずれか1項に記載の情報処理装置。
  5. さらに前記画像データおよび前記補正画像データを、前記ネットワークを介してブラウジングするブラウジング手段を含む、請求項1〜4のいずれか1項に記載の情報処理装置。
  6. 前記情報処理装置は、CGIサーバ、アプリケーション・サーバ、SOAPサーバであり、前記画像データおよび前記補正画像データを前記ネットワークを介して利用者にブラウジングし、外部接続されたウェブ・サーバ手段から前記補正要求を受取る、請求項1に記載の情報処理装置。
  7. 情報処理装置に対してネットワークを介して画像を登録する画像登録方法であって、前記画像登録方法は、前記情報処理装置が、
    前記ネットワークを介して端末装置から画像データを受信し、前記画像データを解析して背景画像データと、物体画像データとを分離して、前記背景画像データおよび前記物体画像データをメモリに格納するステップと、
    前記メモリに格納された背景画像データを修正し、前記物体画像データを含む補正画像データを、画像処理スクリプトIDと画像処理スクリプトを実行するためのスクリプト識別値とを対応させたテーブルから選択した補正条件にしたがって前記画像処理スクリプトを実行させることにより作成するステップと、
    作成された前記補正画像データを、前記補正画像データと、前記画像データと、前記画像データを送付したユーザのユーザ識別値とを相互参照可能に格納する記憶手段に格納するステップと、
    前記ネットワークを介して登録画像表示要求を受信し、前記登録画像表示要求を解析し、前記補正画像データが前記記憶手段に登録されているか否かを検索し、前記補正画像データが登録されている場合には、前記補正画像データを表示させ、前記補正画像データが登録されていない場合には、補正されていない前記画像データを表示させるステップと
    実行する、画像登録方法。
  8. 前記補正画像データを作成するステップは、前記画像データに対し、サービス・サイトの設定に応答した修正処理を実行するステップを含む、請求項7に記載の画像登録方法。
  9. 前記画像データは、EXIFフォーマットで伝送され、前記補正画像データを作成するステップは、前記EXIFフォーマットに記述されたデータを使用して前記補正画像を作成するステップを含む、請求項7または8に記載の画像登録方法。
  10. 前記画像データは、ホワイトバランス、彩度補正、シャープネス、コントラスト、歪曲補正、画像サイズ、ノイズ除去のうち、少なくとも1の前処理を施された後に前記情報処理装置が受信する、請求項7〜9のいずれか1項に記載の画像登録方法。
  11. 前記補正画像データを作成するステップは、前記背景画像データに対して装飾データを重畳するステップを含む、請求項7〜10のいずれか1項に記載の画像登録方法。
  12. 前記補正画像データを作成するステップは、前記背景画像の画像特徴を使用して前記背景画像と前記物体画像とを識別するステップを含む、請求項7〜11に記載の画像登録方法。
  13. 前記補正画像データを作成するステップは、さらに、
    前記ネットワークを介してサービス・サイトからの補正要求を待機するステップと、
    前記補正要求を受信した場合、前記補正要求から前記補正条件および前記画像データを取得するステップと、
    前記補正条件にしたがって呼出しオブジェクトを変更するステップと
    前記オブジェクトに前記画像データを定義してインスタンスを作成するステップと
    を含む、請求項7〜12のいずれか1項に記載の画像登録方法。
  14. さらに、前記補正要求をサービス・サイトから受信するステップと、
    前記補正画像データを前記サービス・サイトにレスポンスとして返すステップとを含む、請求項13に記載の画像登録方法。
  15. コンピュータに対して請求項1〜6のいずれか1項に記載の機能手段を実現する、コンピュータ実行可能なプログラム。
JP2006321943A 2006-11-29 2006-11-29 情報処理装置、画像登録方法、およびプログラム Expired - Fee Related JP4934843B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006321943A JP4934843B2 (ja) 2006-11-29 2006-11-29 情報処理装置、画像登録方法、およびプログラム
US11/984,956 US8538149B2 (en) 2006-11-29 2007-11-26 Data processing apparatus, image registration method, and program product
EP07254575A EP1927952A1 (en) 2006-11-29 2007-11-26 Data processing apparatus and image registration method
CN2007101961824A CN101192240B (zh) 2006-11-29 2007-11-29 情报处理装置、图像登录方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006321943A JP4934843B2 (ja) 2006-11-29 2006-11-29 情報処理装置、画像登録方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2008134921A JP2008134921A (ja) 2008-06-12
JP4934843B2 true JP4934843B2 (ja) 2012-05-23

Family

ID=39052605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006321943A Expired - Fee Related JP4934843B2 (ja) 2006-11-29 2006-11-29 情報処理装置、画像登録方法、およびプログラム

Country Status (4)

Country Link
US (1) US8538149B2 (ja)
EP (1) EP1927952A1 (ja)
JP (1) JP4934843B2 (ja)
CN (1) CN101192240B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5020894B2 (ja) * 2008-06-10 2012-09-05 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
TW201009698A (en) * 2008-08-19 2010-03-01 Arcadyan Technology Corp Method for improving the accessing efficiency of embedded web page
US8230335B2 (en) * 2008-11-26 2012-07-24 Sap Ag Enhanced visual representations of company related data and generation of virtual business cards
KR101042787B1 (ko) * 2009-01-21 2011-06-20 삼성전자주식회사 컨트롤 포인트 및 컨트롤 포인트와 파일을 공유하는 미디어서버를 포함하는 dlna 시스템에서의 파일을 공유하는 방법 및 그 시스템
US8744180B2 (en) * 2011-01-24 2014-06-03 Alon Atsmon System and process for automatically finding objects of a specific color
US8854397B2 (en) 2011-12-13 2014-10-07 Facebook, Inc. Photo selection for mobile devices
JP5641015B2 (ja) * 2012-05-24 2014-12-17 カシオ計算機株式会社 絵画変換snsシステム及び方法、絵画変換sns装置並びにリスト端末
CN103455311A (zh) * 2012-05-29 2013-12-18 鸿富锦精密工业(深圳)有限公司 绘图代码生成***及方法
CN103780970B (zh) * 2013-08-20 2018-03-16 华为终端(东莞)有限公司 一种媒体播放的方法、装置和***
JP6337907B2 (ja) * 2013-11-13 2018-06-06 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US10749926B2 (en) * 2014-04-23 2020-08-18 Rimini Street, Inc. Proxy for modifying HTTP messages to comply with browser
KR102495763B1 (ko) * 2018-02-23 2023-02-06 삼성전자주식회사 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법
US11294996B2 (en) 2019-10-15 2022-04-05 Assa Abloy Ab Systems and methods for using machine learning for image-based spoof detection
US11348375B2 (en) * 2019-10-15 2022-05-31 Assa Abloy Ab Systems and methods for using focal stacks for image-based spoof detection
US11275959B2 (en) 2020-07-07 2022-03-15 Assa Abloy Ab Systems and methods for enrollment in a multispectral stereo facial recognition system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000197044A (ja) 1998-12-28 2000-07-14 Canon Inc 画像処理装置及びその方法、コンピュ―タ可読メモリ
JP2000187731A (ja) 1998-12-21 2000-07-04 Ricoh Co Ltd 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000261774A (ja) * 1999-03-09 2000-09-22 Matsushita Electric Ind Co Ltd 人物画切り出し伝送方法
JP4173246B2 (ja) 1999-04-28 2008-10-29 株式会社リコー 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体
JP4158332B2 (ja) * 2000-02-03 2008-10-01 コニカミノルタビジネステクノロジーズ株式会社 カラー画像処理装置
JP4644927B2 (ja) * 2000-10-18 2011-03-09 ソニー株式会社 ファイル転送方法
JP3950718B2 (ja) 2001-03-19 2007-08-01 株式会社リコー 画像空間表示方法
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
JP2003163803A (ja) * 2001-11-27 2003-06-06 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4169522B2 (ja) 2002-03-22 2008-10-22 株式会社リコー 画像処理装置、画像処理プログラム及びこのプログラムを記憶する記憶媒体
JP4058288B2 (ja) * 2002-04-08 2008-03-05 ヤフー株式会社 類似画像提示システム及び方法
JP4195800B2 (ja) * 2002-06-18 2008-12-10 富士フイルム株式会社 画像補正処理システム及び画像補正処理プログラム
JP2004062804A (ja) 2002-07-31 2004-02-26 Ricoh Co Ltd 画像の分類方法、画像特徴量空間表示方法、プログラムおよび記録媒体
JP2004240692A (ja) 2003-02-05 2004-08-26 Ricoh Co Ltd 画像検索サーバシステム、プログラムおよび記録媒体
JP4055126B2 (ja) * 2003-02-14 2008-03-05 富士フイルム株式会社 人物画像処理方法及び装置
JP4321287B2 (ja) * 2004-02-10 2009-08-26 ソニー株式会社 撮影装置および撮影方法、並びに、プログラム
JP2005333519A (ja) 2004-05-21 2005-12-02 Konica Minolta Photo Imaging Inc プリント作成システム、及びプリント作成方法
JP2006119817A (ja) * 2004-10-20 2006-05-11 Fuji Photo Film Co Ltd 画像処理装置
JP2006321943A (ja) 2005-05-20 2006-11-30 Kao Corp 擬似タバコ臭組成物

Also Published As

Publication number Publication date
JP2008134921A (ja) 2008-06-12
CN101192240A (zh) 2008-06-04
CN101192240B (zh) 2010-08-18
EP1927952A1 (en) 2008-06-04
US20080158612A1 (en) 2008-07-03
US8538149B2 (en) 2013-09-17

Similar Documents

Publication Publication Date Title
JP4934843B2 (ja) 情報処理装置、画像登録方法、およびプログラム
EP2023531B1 (en) Method, apparatus, system, user terminal application server for selecting service
US6272484B1 (en) Electronic document manager
US7188307B2 (en) Access system
CA2603430C (en) System and method for obtaining content based on data from an electronic device
US20130329060A1 (en) Overlay image providing system, server and method
JP4552100B2 (ja) 商品検索システム、商品検索装置及び商品検索装置の商品検索方法
US20090052804A1 (en) Method process and apparatus for automated document scanning and management system
US20030065807A1 (en) Server apparatus and control method therefor
JP2009500719A (ja) 画像によるクエリ探索(query−by−imagesearch)及び検索システム
US20140331114A1 (en) Methods and apparatuses for obtaining and sharing partial content of a webpage
JP5938972B2 (ja) 画像処理装置及びプログラム
KR101282975B1 (ko) 문서 요소를 분리 구조화하여 표준화한 후 웹페이지를 재구성하는 웹화면 크롭 서버 장치
JPH09231121A (ja) 文書蓄積装置
US9697182B2 (en) Method and system for navigating a hard copy of a web page
JP5231613B2 (ja) 画像処理装置、演算装置、通信システム、送信方法、操作方法、プログラム及び記録媒体
JP2000285052A (ja) Url変換方法および装置
US20030159065A1 (en) Apparatus and method for inspecting the copyright of digital data on a network, and recording medium on which is recorded a copyright inspection program
US20050097074A1 (en) Built-in apparatus, HTTP request distribution method, recording medium for storing implementation program and Web system
KR101248867B1 (ko) 웹페이지에서 크롭 영역과 겹쳐지는 문서요소만을 재구성하여 크롭하는 웹화면 크롭 서버 장치
JP2003281030A (ja) 情報提供サーバ、情報提供方法
US20080016084A1 (en) Multifunction peripheral and user information management method thereof
JPH11191082A (ja) サービス中継装置
JP2004139210A (ja) 画像検索装置
JP4013354B2 (ja) データ固定化システム、データ固定化装置、データ中継装置、情報端末装置、データ固定化プログラムを記録したコンピュータ読み取り可能な記録媒体、データ中継プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報端末用プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120131

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4934843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees