JP4024107B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4024107B2
JP4024107B2 JP2002235934A JP2002235934A JP4024107B2 JP 4024107 B2 JP4024107 B2 JP 4024107B2 JP 2002235934 A JP2002235934 A JP 2002235934A JP 2002235934 A JP2002235934 A JP 2002235934A JP 4024107 B2 JP4024107 B2 JP 4024107B2
Authority
JP
Japan
Prior art keywords
image
shooting
instruction
data
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002235934A
Other languages
English (en)
Other versions
JP2004080205A (ja
Inventor
浩 大川
賢一 船戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002235934A priority Critical patent/JP4024107B2/ja
Publication of JP2004080205A publication Critical patent/JP2004080205A/ja
Application granted granted Critical
Publication of JP4024107B2 publication Critical patent/JP4024107B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置にかかり、特に、インターネット等の通信回線を介してカメラ装置による撮影画像に関連するアドバイス情報を提供する画像処理装置に関する。
【0002】
【従来の技術】
ユーザは、写真などを得るために、カメラ装置で撮影するが、その撮影時は、物品を目視しながら構図や明るさなどの撮影条件を決定している。ところが、一眼レフカメラなどのカメラ装置で撮影する場合、その撮影は写真フィルムに露光するため、実際にどのような画像が露光され、最終的にどのような明るさでどのようなぼけ状態の被写体としてプリントが得られるのかは、カメラ装置のファインダーを覗いた撮影状態では把握することができない。このため、ユーザは、得られるプリントを予想しながら、撮影条件を決定する。従って、カメラ装置による撮影は、熟練を要していた。このため、カメラ装置で自動的に撮影条件を決定して、良質なプリントが得られるべく、撮影条件を決定する自動カメラが多用されている。
【0003】
ところで、近年の情報通信インフラの発展に伴って、コンピュータ(PC)を情報端末としてネットワークに参加して、各種情報を入手することが可能になってきている。最近では、平易に利用可能になったネットワークのインターネットを利用して各種画像を配信するサイト(ホームページ)も知られており、通信装置を含むPCを用意するのみで手軽に画像鑑賞が可能になった。そこで、カメラ装置の撮影条件に対応する画像を、情報として配信することで、ユーザは撮影条件に対する画像を鑑賞することができる。
【0004】
【発明が解決しようとする課題】
しかしながら、PC上で写真などの画像を参照することは可能であるものの、写真画像を得るために実際に撮影したときにどのような画像が形成され、その画像はどのように撮影すれば理想的な画像として形成されるのかは困難であった。例えば、カメラ装置の操作について初心者のユーザが、撮影シーンとして逆光のもとで撮影した画像がどのように形成されるのか、形成された画像が好ましくないとき、どこが好ましくないのかを擬似的な撮影環境で体験することは困難であった。
【0005】
本発明は、上記事実を考慮して、ユーザに対して、インターネット等の通信回線を介してカメラ装置で撮影したときに得られるプリント画像を模擬処理することができる画像処理装置を得ることが目的である。
【0006】
【課題を解決するための手段】
上記目的を達成するために本発明は、通信回線に接続された情報端末に対して撮影画像に関連するアドバイス情報を提供する画像処理装置において、少なくとも仮想空間内における被写体の画像データを記憶すると共に、予め定めた基準の撮影条件により前記被写体を撮影したときの基準撮影画像に対する撮影条件の差異に応じたメッセージ情報を記憶する記憶手段と、前記情報端末に仮想的な空間上における撮影環境を提示させるための予め定めた被写体データを送信する送信手段と、前記情報端末により指示されかつ、前記撮影環境内において撮影されるときの撮影条件を受信する受信手段と、受信した撮影条件により前記被写体の撮影画像の画像データを生成する生成手段と、前記受信手段により受信した撮影条件と前記記憶手段に記憶された前記基準撮影画像に対する撮影条件の差異に応じたメッセージ情報とに基づいて、前記撮影画像に対応するアドバイス情報を生成すると共に、前記情報端末へ向けて通信回線を介して提供する提供手段と、を備えたことを特徴とする。
【0007】
本発明の画像処理装置は、通信回線に接続された情報端末に対して撮影画像に関連するアドバイス情報を提供するものである。画像処理装置の記憶手段は、少なくとも仮想空間内における被写体の画像データを記憶している。これと共に、記憶手段は、予め定めた基準の撮影条件により被写体を撮影したときの基準撮影画像に対する撮影情報の差異に応じたメッセージ情報を記憶している。送信手段は、情報端末に仮想的な空間上における撮影環境を提示させるための予め定めた被写体データを送信する。これによって、ユーザ側である情報端末では、仮想的な空間上における撮影環境を提示でき、これをユーザが参照することが可能となる。この情報端末から撮影条件を受信手段によって受信する。撮影条件とは、仮想的な撮影環境内において被写体を撮影するときの撮影条件であり、情報端末側すなわちユーザの意図するカメラ装置や撮影シーンの状態を表すものである。これによって、ユーザの撮影意図として撮影条件を入手することができる。生成手段では、受信した撮影条件により被写体の撮影画像の画像データを生成する。すなわちユーザの指示する撮影条件で撮影したときの画像に相当する画像データを生成できる。提供手段は、前記受信手段により受信した撮影条件と前記記憶手段に記憶された前記基準撮影画像に対する撮影条件の差異に応じたメッセージ情報とに基づいて、撮影画像に対応するアドバイス情報を生成すると共に、情報端末へ向けて通信回線を介して提供する。これによって、ユーザの撮影意図である撮影条件により形成される撮影画像に対応するアドバイス情報を情報端末側に提示でき、ユーザは、情報端末により、意図する撮影条件により得られるべき撮影画像に対応するアドバイスを得ることが可能となる。
【0008】
前記受信手段は、カメラ装置の絞り値及びシャッタースピードの少なくとも一方を含む露出指示値、画角、主要被写体からの距離及び主要被写体に対する撮影方向の少なくとも1つを含む構図指示値、ストロボ点灯の有無、光学フィルタの挿抜、カメラ固定の有無の少なくとも1つを含む外部装置の装着指示値のうちの、少なくとも1つの指示値を前記撮影条件の条件値として受信することができる。
【0009】
ユーザが意図する撮影条件として、カメラ装置の絞り及びシャッタースピードの少なくとも一方を含む露出指示値を条件値として採用することで、少なくとも明るさに関する画像の変化を提供することができる。また、画角、主要被写体からの距離及び主要被写体に対する撮影方向の少なくとも1つを含む構図指示値を条件値として採用することで、少なくとも撮影画像として得られる被写体の位置関係や撮影シーンの形成状態を提供することができる。また、ストロボ点灯の有無、光学フィルタの挿抜、カメラ固定の有無の少なくとも1つを含む外部装置の装着指示値を条件値として採用することで、少なくとも撮影時における様々な外部装置による撮影状態を提供することができる。
【0010】
前記生成手段は、受信した撮影条件により被写体を撮影したときにプリント形成されるべき撮影画像の画像データを生成することができる。
【0011】
生成手段が、被写体を撮影したときにプリント形成されるべき指示画像の画像データを生成するようにすれば、ユーザが意図する撮影条件の画像、すなわちユーザの指示する撮影条件で撮影したときのプリント画像の画像データを生成できる。この画像データを情報端末へ向けて送信することで、ユーザは、情報端末により、意図する撮影条件により形成されるべきプリント画像を参照することが可能となる。
【0012】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態は、コンピュータやPDA等の情報端末を無線または有線でネットワーク接続可能なコンピュータ・ネットワーク・システムに、本発明を適用したものである。本実施の形態のコンピュータ・ネットワーク・システムでは、カメラ装置で撮影したときに得られるプリント画像について、仮想的な空間内でカメラ装置による撮影を模擬しかつ、得られるべきプリント画像に対するアドバイス情報をユーザ側に提示するものである。
【0013】
図1には、本発明の実施の形態が適用可能なネットワークシステムの概略構成が示されている。本実施の形態では、サーバ側で写真画像関連情報提示サイト(以下、写真情報サイト)を構築して運用し、ユーザ側でその写真情報サイトへアクセスするものである。ネットワークシステム80は、各々同一または異なるユーザが画像参照などを希望するユーザ側の複数のコンピュータ84、及び画像データ授受のための同一または異なる複数のコンピュータ81,83,85が、それぞれモデム、ルータ、TA(ターミナル・アダプタ:Terminal Adapter)等の接続装置86を介して、インターネットやその他の小規模ネットワークとしてのLAN(Local Area Network)で代表されるネットワーク(例えば、インターネット)88に接続されて構成されている。これら複数のコンピュータは、ネットワーク88を介して、相互通信により情報授受が可能である。なお、ゲートウェイ・システム89は、ネットワーク88と他のネットワークや独立したコンピュータと接続するためのシステムである。
【0014】
また、以下の説明では、複数のコンピュータ81,83,85の各々はサーバ・コンピュータとして機能し、複数のコンピュータ84の各々はクライアント・コンピュータとして機能する。コンピュータ81は撮影条件に対応する画像に関連するデータを蓄積することが可能なコンピュータ(以下、「蓄積サーバ81」という)として機能し、コンピュータ83はユーザからの提示要請に対応する処理を実行するコンピュータ(以下、「処理サ−バ」)83として機能する構成を一例として説明する。
【0015】
なお、これらのサーバは上記のように分離構成してもよく、また1つのサーバ内で稼働させてもよい。また、本実施の形態では、上記のコンピュータは各々1台ずつとして説明するが、複数台でもよい。
【0016】
本実施の形態では、ネットワークとしてインターネットを適用した場合を説明する。この場合、少なくとも1つのコンピュータは、WWW(World Wide Web)サーバとして機能させることができ、また他のマシンはWWWクライアントとして機能させることもできる。また、アクセス時には、アクセス位置(アクセス先のコンピュータの位置、及びコンピュータ内の情報の位置で構成されるデータ)は、URL(Uniform Resource Locator)で指定することができる。この場合のデータは、一般に、HTTP(Hyper Text Transfer Protocol)に従って転送される。また、コンピュータの識別にはIP(Internet Protocol)アドレスなどの識別データを用いることができ、コンピュータを操作する操作者の識別にユーザ自身の入力や予め定められているコード等のユーザIDを用いることができる。
【0017】
図2には、本実施の形態における情報の授受に関係する主要な部分の処理サーバ83の構成を含めブロック図で示した。処理サーバ83は、ユーザから要求された画像表示の要求などに該当する処理をするための主処理装置である。
【0018】
〔処理サーバ〕
処理サーバ83は、CPU12A、ROM12B、RAM12C、及びI/O12Dがコマンドやデータの授受をすることが可能に接続されたマイクロコンピュータを含んで構成されている。I/O12Dは、フレキシブルディスク装置などのリードライト装置12E、及び処理プログラムなどが記憶された各種メモリが接続されている。なお、図示は省略したが、I/O12Dには、キーボードなどの操作装置やディスプレイなどの表示装置を接続することができる。
【0019】
リードライト装置12Eは、記憶媒体46が挿抜可能に構成されている。記憶媒体46にはフレキスブルディスクなどがある。なお、後述する処理ルーチン等は、リードライト装置12Eを用いて記憶媒体46から実行可能である。従って、後述する処理ルーチンは、本体内のメモリなどに記憶することなく、予め記憶媒体46に記録しておき、リードライト装置12Eを介して記憶媒体に記録された処理プログラムを実行してもよい。なお、ハードディスク装置等の大容量記憶装置を備えて、記憶媒体に記録された処理プログラムを格納(インストール)して該当する処理を実行してもよい。なお、記録媒体としては、CD−ROM,MD,MO,DVD等のディスクやDAT等の磁気テープがあり、これらを用いるときには、上記リードライト装置12EにはCD−ROM装置、MD装置、MO装置、DVD装置、DAT装置等を用いればよい。
【0020】
また、I/O12Dには、通信装置14、画像処理装置16、及びアドバイス装置20が接続されている。通信装置14は、ネットワーク88に接続するための図1の通信装置86を含むものであり、処理サーバ83と外部装置との間で通信を実行するための装置である。画像処理装置16は、処理サーバ83に接続された外部装置(例えば、ユーザ・コンピュータ84)と画像データ授受のための各種処理を行うための装置である(詳細は後述)。アドバイス装置20は、カメラ装置で撮影したときに得られるプリント画像、すなわち仮想的な空間内で模擬したカメラ装置による撮影で得られるべきプリント画像に対して、ユーザ側に提示するためのアドバイス情報を生成する処理を行う装置である(詳細は後述)。
【0021】
さらに、I/O12Dには、各種メモリ18A、18Bが接続されている。これら各種メモリには、カメラ装置で撮影したときに得られるプリント画像をカメラの仮想ファインダとして模擬処理するために用いられる各種データが格納されている。メモリ18Aには、処理サーバ83で実行される処理プログラムが記憶され、メモリ18Bには、模擬処理するための画像データやアドバイス情報などが記憶されている。なお、メモリ18Aは、処理プログラムがROM12BやRAM12Cに記憶される場合には不要である。
【0022】
処理サーバ83では、上記構成以外にも各種電気機器やソフトウェアが可動可能であるが、汎用的かつ一般的なハードウェア構成であるため、詳細な説明を省略する。
【0023】
なお、上記通信装置14でデータを送受信することは、本発明の送信手段、受信手段、及び提供手段の機能を達成するための構成に相当する。また、画像処理装置16で画像データを生成することは本発明の生成手段の機能を達成するための構成に相当する。さらに、アドバイス装置20でアドバイス情報を生成することは本発明の提供手段でアドバイス情報を生成する機能を達成するための構成に相当する。
【0024】
〔蓄積サーバ〕
蓄積サーバ81は、CPU22A、ROM22B、RAM22C、及びI/O22Dがコマンドやデータの授受をすることが可能に接続されたマイクロコンピュータを含んで構成されている。I/O22Dは、リードライト装置22E、及び処理プログラムなどが記憶された各種メモリが接続されている。また、I/O22Dには、通信装置24が接続されている。
【0025】
上記I/O22Dには、各種メモリ28A、28Bが接続されている。メモリ28Aには、蓄積サーバ81で実行される処理プログラムが記憶されている。なお、メモリ28Aは、処理プログラムがROM22BやRAM22Cに記憶される場合には不要である。メモリ28Bには、蓄積サーバ81で蓄積する各種データが記憶されている。この各種データの一例としては、後述するカメラ装置で撮影したときに得られるプリント画像を模擬処理して得られる画像の多数の画像データや、そのプリント画像に対応するメッセージや理想画像などのアドバイス情報がある。
【0026】
なお、蓄積サーバ81は、本実施の形態の写真情報サイトを構成する上で、必須の構成ではない。すなわち、蓄積サーバ81に蓄積する各種データを処理サーバ83に格納することで、実施は容易である。なお、この蓄積サーバ81を設けることにより、扱うデータが膨大になる場合、そのデータ量増大による処理サーバ83の処理負荷が増大することを抑制することができるという利点がある。
【0027】
〔ユーザ・コンピュータ〕
ユーザ・コンピュータ84は、CPU32A、ROM32B、RAM32C、及びI/O32Dがコマンドやデータの授受をすることが可能に接続されたマイクロコンピュータを含んで構成されている。I/O32Dには、通信装置34、フレキシブルディスク装置などのリードライト装置32E、キーボードなどの操作装置32F、ディスプレイなどの表示装置32G、及び処理プログラムなどが記憶された各種メモリが接続されている。
【0028】
上記I/O32Dには、各種メモリ38A、38Bが接続されている。メモリ38Aには、ユーザ・コンピュータ84で実行される処理プログラムが記憶されており、メモリ38Bにはユーザ・コンピュータ84で利用する各種データが記憶される。
【0029】
このようなコンピュータ・ネットワーク・システム80を利用することで、後述するように、ユーザは、本写真情報サイトとの間で煩雑な操作を行うことなく、希望する画像の提示を得ることが可能になる。
【0030】
〔処理サーバの画像処理装置〕
次に、処理サーバ83の画像処理装置16について説明する。
【0031】
なお、ユーザ・コンピュータ84に表示される処理サーバ83から提示する画像は、カメラ装置のファインダーをユーザが覗いたときに参照する画像と、意図するまたは固定の撮影条件で撮影したときにプリントとして得られる画像とがある。すなわち、被写体を参照したときのそのままの状態の画像と、撮影条件によるプリントを想定して画像処理をした状態の画像とがある。また、以下の説明では、ユーザ・コンピュータ84に表示される、撮影条件を変更して撮影するためのカメラ装置を仮想カメラ76として説明する。
【0032】
図3には、画像処理装置16の概略機能構成をブロック図として示した。画像処理装置16は、仮想カメラ76の撮影条件指示を表す指示信号を受け取る受取部50を備えており、受取部50は構図指示部52,露出指示部54,及びオプション指示部56からなる撮影条件設定部に接続される。この撮影条件設定部は、仮想カメラ76で撮影するときの撮影者の意図を反映した調整データに対応する。
【0033】
構図指示部52は、ユーザ・コンピュータ84からの指示信号に含まれる調整データを抽出する判別部である。構図指示部52は、撮影方向判別部52A、及び立ち位置判別部52Bから構成される。ここでは、ユーザ・コンピュータ84に表示された仮想空間Wにおいてユーザが仮想的な撮影者(以下、仮想撮影者)78となり、仮想撮影者78により仮想空間W内を撮影するときの撮影方向や仮想撮影者78の立ち位置などの構図データが指示信号(撮影シーンの構図に関する調整データ)として抽出される。
【0034】
また、露出指示部54は、仮想カメラ76の露出に関係する調整データを抽出する判別部である。露出指示部54は絞り判別部54A及びシャッタスピード判別部54Bから構成される。ここでは、絞り値やシャッタスピードに該当する調整データが抽出される。
【0035】
また、オプション指示部56は、仮想カメラ76に装備可能な外部装置やカメラ機種などのオプション指示を指定した、ユーザ・コンピュータ84からの指示信号に含まれる調整データを抽出する判別部である。オプション指示部56は、オプション指示の一例としてフォーカス判別部56A,ストロボ判別部56B,光学フィルタ判別部56C,三脚判別部56D,ズームレンズ判別部56E,交換レンズ判別部56F,及びカメラ指定判別部56Gから構成される。例えば、フォーカス判別部56Aではフォーカスエリアなどの焦点調整に関する合焦範囲や測光に関する測光範囲などの調整データが抽出され、ストロボ判別部56Bではストロボ照射に該当する調整データが抽出される。
【0036】
同様に、光学フィルタ判別部56Cではユーザが仮想カメラ76に装着を指示した光学フィルタの種類や機能などの詳細データとして調整データが抽出され、三脚判別部56Dユーザが仮想カメラ76に装着を指示した三脚の種類や機能などの詳細データとして調整データが抽出され、ズームレンズ判別部56Eではユーザが仮想カメラ76に装着を指示したズームレンズの種類や機能などの詳細データとして調整データが抽出され、交換レンズ判別部56Fではユーザが仮想カメラ76に装着を指示した光学レンズ(例えば広角や魚眼)の種類や機能などの詳細データとして調整データが抽出され、カメラ指定判別部56Gではユーザが仮想カメラ76として利用するカメラ装置の種類や機能などの詳細データとして調整データが抽出される。
【0037】
構図指示部52は、抽出された撮影方向(例えば視野角)のデータが出力される撮影方向判別部52A及び仮想撮影者78の立ち位置のデータが出力される立ち位置判別部52Bを介して画角導出部58に接続されている。画角導出部58は、撮影方向及び仮想撮影者78の立ち位置により撮影範囲となる画角及び対象空間を導出する。
【0038】
また、露出指示部54は、抽出された絞りのデータが出力される絞り判別部54A及びシャッタスピードのデータが出力されるシャッタスピード判別部54Bを介して露出導出部60に接続されている。露出導出部60は、仮想撮影者78の絞り値やシャッタスピードによる露出を導出する。また、オプション指示部56は、抽出されたオプションデータが出力される各判別部56A〜56Gを介して撮影状態導出部62に接続されている。撮影状態導出部62は、オプションとしてユーザが指示した撮影状態を導出する。
【0039】
上記画角導出部58、露出導出部60、撮影状態導出部62の各々の出力側は、画像処理部66に接続されている。画像処理部66では、各導出部58〜62から出力されるデータすなわち導出画角の対象領域を、絞りやシャッタスピードで撮影した、またはフォーカスエリア、測光範囲、ストロボ照射などのオプションにより変化する撮影状態下で撮影したときの画像を導出する。
【0040】
画像処理部66には、背景となる基準画像が入力されるように背景画像生成部64、仮想空間W内に設置可能な被写体画像が入力されるように被写体画像生成部68が接続されている。背景画像生成部64は、仮想空間W内について三次元的なデータまたは2次元的なデータが多数利用されて撮影範囲を網羅する少なくとも1つの背景画像(基準画像)を生成する生成部であり、少なくとも1つの背景画像を記憶した画像メモリを含んでいる。また、被写体画像生成部68は、仮想空間W内について三次元的な被写体を設置するために少なくとも1つの被写体画像(3次元画像)を生成する生成部であり、少なくとも1つの被写体の画像を記憶した画像メモリを含んでいる。
【0041】
画像処理部66の出力側は、出力部70に接続される。これにより、各導出部で導出された条件による撮影画像である表示画像データが出力される。
【0042】
なお、本実施の形態では、ユーザ・コンピュータ84からの指示信号に含まれる調整データから画像処理する場合を説明するが、本実施の形態は、この画像処理に限定されるものではない。例えば、多数の撮影条件の組み合わせの各々について、予め画像データを画像メモリ78に記憶し、指示信号に含まれる調整データに対応する、画像を選択する構成としてもよい。
【0043】
次に、画像処理装置16において想定する画像の扱いを説明する。
【0044】
図4には、ユーザ・コンピュータ84に表示される、撮影環境として提供する仮想空間Wを示した。仮想空間Wは、仮想空間Wの背景である背景画像42,仮想空間Wの位置する被写体44,48、仮想空間W内を仮想カメラ76で撮影する仮想撮影者78、及び仮想空間Wを照明する光源40から構成されている。光源40の位置や色温度は変更可能であり、被写体44、48の位置も変更可能である。そして、仮想撮影者78の立ち位置なども変更可能である。
【0045】
なお、本実施の形態では、2次元的な背景画像42を用いた場合を説明するが、仮想空間Wの全ての物品を3次元的に捉えて、3次元画像として用いても良い。また、被写体44、48は3次元画像として想定した場合を説明するが、2次元画像であってもよい。
【0046】
図4の仮想空間W内で撮影シーンを得るために、ユーザが撮影環境を指示する場合、マウスなどの入力装置によって指示入力がなされ、この指示データが上記調整データとしてサーバへ送信される。例えば、被写体48を移動するには、被写体48上にマウスカーソルを位置させたのちに、希望位置までドラッグすることにより、位置データが処理サーバ83へ送信され、対象の被写体48をその位置データに該当する位置に設置した場合の画像を返信することができる。この他、仮想カメラ76の撮影条件指示を表す指示信号には、画像処理装置16で受け取る指示信号として、構図指示部52、露出指示部54、及びオプション指示部56で判別可能な指示信号がある。
【0047】
図5には、ユーザ・コンピュータ84に表示される、仮想カメラ76の撮影条件を指示する指示画像の概要画像を示した。図5(A)は構図指示の指示画像52Z、図5(B)は露出指示の指示画像54Z、図5(C)はオプション指示の指示画像56Zを示した。
【0048】
例えば、ユーザが構図を指示するときは、ユーザ・コンピュータ84上で仮想カメラ76の近傍をマウスなどの入力装置で指示することで、その指示データが処理サーバ83へ送信され、処理サーバ83では構図指示の指示画像52Zを返信する。構図指示の指示画像52Zはユーザ・コンピュータ84上では、指示ボタンとして機能し、該当する指示ボタンをマウスなどで押圧することにより、立ち位置や撮影方向を変更できる。なお、ユーザ側に立ち位置及び撮影方向の把握が容易なように、マーク52Za.52Zbを共に表示させるように指示画像52Zを返信し、ユーザはこのマーク52Za.52Zbをドラッグなどの位置変更により調整する。
【0049】
また、ユーザが露出を指示するときは、ユーザ・コンピュータ84上で仮想カメラ76をマウスなどの入力装置で指示することで、その指示データが処理サーバ83へ送信され、処理サーバ83では露出指示の指示画像54Zを返信する。露出指示の指示画像54Zはユーザ・コンピュータ84上では、指示ボタンとして機能し、該当する指示ボタンをマウスなどで押圧することにより、絞りやシャッタスピードを変更できる。なお、ユーザ側に露出データの把握が容易なように、マーク54Za.54Zbを共に表示させるように指示画像54Zを返信し、ユーザはこのマーク54Za.54Zbをドラッグなどの位置変更により調整する。
【0050】
同様に、ユーザがオプションを指示するときは、上記と異なる領域の仮想空間W内をマウスなどの入力装置で指示することで、その指示データが処理サーバ83へ送信され、処理サーバ83ではオプション指示の指示画像56Zを返信する。オプション指示の指示画像56Zはユーザ・コンピュータ84上では、指示ボタンとして機能し、該当する指示ボタンをマウスなどで押圧することにより、各種オプションの設定画面へと移行し、調整することが可能となる。
【0051】
上記では、仮想空間W内における指示により各種調整を行う場合を説明したが、設定画面を提供してもよい。設定画面は、処理サーバ83からの送信データをユーザ・コンピュータ84で受け取って表示してもよいし、ユーザ・コンピュータ84に予め記憶してユーザの指示による指示信号を出力するようにしてもよい。
【0052】
図6には、ユーザ・コンピュータ84に表示される、仮想カメラ76の撮影条件を指示する指示画像と、設定画像とからなる設定画面210を示した。すなわち、設定画面210は、仮想カメラ76のファインダーをユーザが覗いたときの仮想的な目視画像を表示するための指示画像212,仮想カメラ76に関係して設定指示可能な撮影条件の設定画像を表示するための設定画像214から構成される。
【0053】
指示画像212には、背景画像42と、人物である被写体48を被写体とした画像を表示させた一例を示している。なお、指示画像212には、フォーカスエリアの選択アイコン220や測光範囲の移動アイコン222が表示されている。これらの選択アイコン220及び測光範囲の移動アイコン222の各々は、ユーザ・コンピュータ84に装備されたマウスなどの入力装置により移動指示することができる。
【0054】
指示画像212の下方には、撮影条件の主要機能である絞りとシャッタスピードについて、調整ノブアイコン228Aで絞り値を指示する絞り調整スライダ228を有効化する絞り選択ボタン224、調整ノブアイコン230Aでシャッタスピードを指示するシャッタスピード調整スライダ230を有効化するシャッタスピード選択ボタン226を含んでいる。調整ノブアイコン228A、230Aの停止位置の値を、調整データとしてユーザ・コンピュータ84から出力する。
【0055】
シャッタスピード調整スライダ230の下方には、オプション指示の一例として測光に関する撮影条件を設定指示について、測光範囲移動指示ボタン232、及び測光方式指示ボタン234を含んでいる。測光範囲移動指示ボタン232の押圧により上記選択アイコン220の位置を移動可能にでき、測光方式指示ボタン234の押圧により、下方に位置する重点測光指示ボタン236,スポット測光指示ボタン238,予め定めた画面分割(本実施の形態では6分割)による重点測光を指示ボタン240を有効化できる。この指示データを、調整データとしてユーザ・コンピュータ84から出力する。
【0056】
重点測光指示ボタン236の下方には、オプション指示の他例として、ストロボ発光に関する撮影条件を設定指示する画像が連続している。ここでは、調整ノブアイコン248Aでストロボ光の到達距離及び領域調整の具体的な調整量を指示する調光範囲調整スライダ248の指示状態を表す被写体アイコン242、仮想カメラ76のアイコン244、及びストロボ光の照射範囲アイコン246を含んでいる。この調整ノブアイコン228Aの停止位置を、到達距離及び大きさによる調光範囲である調整データとしてユーザ・コンピュータ84から出力する。この調光範囲に連動して、表示領域246には、表示領域244の仮想カメラ76から被写体までの照射範囲の大小が調整される。
【0057】
なお、図示は省略したが、オプション指示による画角の調整指示をすることが可能である。画角は、撮影レンズの焦点距離調整(所謂ズームや、レンズ交換)に相当し、選択指示ボタンや焦点調整指示によって、指示することができる。また、本実施の形態では、写真フィルムの感度を予め定めた感度(例えば、ISO−100)で撮影することを前提とし、プリントも予め定めた感度や材料の印画紙を用いてプリント形成することを前提としている。これらの感度や材料は、選択可能にすることで、様々な感度や材料に対応するプリント画像を得ることが可能になる。この場合には、写真フィルムや印画紙を選択指示する指示ボタンを追加すればよい。
【0058】
以上説明した調整指示による調整データがユーザ・コンピュータ84から出力され、これを処理サーバ83で受け取ることで画像処理装置16で画像処理がなされ、その撮影画像がユーザ側へ提供される。
【0059】
〔処理サーバのアドバイス装置〕
次に、処理サーバ83のアドバイス装置20について説明する。
【0060】
図7には、アドバイス装置20の概略機能構成をブロック図として示した。アドバイス装置20は、画像処理装置16から撮影シーンの撮影画像データが入力されると共に、その撮影画像の撮影条件である指示データが入力される。アドバイス装置20は、仮想カメラ76の撮影条件指示を表す指示信号(指示データ)を撮影指示状態として受け取る受取部21を備えている。受取部21は、受け取った指示信号による撮影状態を導出する導出部23に接続される。導出部23は、仮想カメラ76で撮影するときの撮影者の意図を反映した調整データによる撮影シーンを特定することができるデータを導出するものであり、本実施の形態では、構図、露出、及びオプションの各種データが導出される。
【0061】
また、画像処理装置16から入力された撮影シーンの撮影画像データは、撮影シーン特定部25に入力される。ここでの撮影画像データは、画像処理装置16から出力される撮影画像データと、その画像データを形成するために用いられた指示データすなわち撮影条件を表す指示データである。撮影シーン特定部25では、仮想カメラ76で撮影指示したときの撮影者の意図による撮影条件の基本となる撮影シーンを特定する。この特定は、画像データから得られる濃度分布や色分布から求めても良く、指示データから得られる構図及び被写体の配置から求めても良い。
【0062】
なお、ここでは、撮影シーン特定部25において撮影画像データを利用する場合を含めているが、撮影画像データは必須のデータではない。すなわち、指示データのみからでも特定することができる。
【0063】
撮影シーン特定部25は、撮影条件について基本状態の導出部27を介して理想となる画像を特定する特定部29に接続されている。基本状態の導出部27は、撮影シーン特定部25で特定した撮影シーンについて予め統計的に定まる標準的な撮影条件としての基本状態を導出する。特定部29では、基本状態の導出部27で導出された基本状態による理想画像を特定する。この特定は、画像データを形成するために用いられた指示データすなわち撮影条件を表す指示データに対応する基本状態のデータを特定することである。
【0064】
上記導出部23、及び特定部29の各々の出力側は、差分導出部31に接続されている。差分導出部31では、各導出部23,29から出力されるデータすなわち指示データの差異を導出する。この差異は、理想画像と撮影画像との差になる。差分導出部31の出力側は、アドバイス導出部33に接続されており、差分データがアドバイス導出部33に入力される。アドバイス導出部33は、差分データと、この差分データに対応するアドバイス情報とがテーブルとして記憶されたアドバイステーブル37(メモリ18B)にも接続されている。
【0065】
アドバイス導出部33では、アドバイステーブル37を参照することで、差分導出部31で導出された差分データに対応するアドバイス情報を導出する。このアドバイス情報には、構図、露出、及びオプションの少なくとも1つの撮影条件に対するアドバイスが文字データまたは画像データとして対応されている。
【0066】
上記アドバイス情報の一例には、構図アドバイス、露出アドバイス、及びオプション装置アドバイスがある。構図アドバイスには、撮影シーンについて標準的な撮影方向との差異を報知したり、撮影時の立ち位置ついて標準的な位置との差異を報知したりするものがある。この立ち位置には、逆光時の立ち位置のアドバイスなども含まれる。また、露出アドバイスには、仮想カメラ76の標準的な露出との差異を報知するものがある。例えば、絞り値やシャッタスピードの大小を報知することができる。
【0067】
また、オプション装置アドバイスには、仮想カメラ76に装備した外部装置の利用に関するデータの報知や設定したカメラ機種などの利用に関するデータの報知がある。また、撮影シーンについて、標準的に利用されるオプション装置の利用を促すデータの報知がある。例えば、フォーカス対象領域の指示、測光対象領域や測光方式の指示、などの焦点あわせや測光に関する標準的なデータとの差異についてデータを報知したり、ストロボの使用の有無や向き及び到達距離などの二次光源に関する標準的なデータとの差異についてデータを報知したりする場合がある。また、各種光学フィルタを利用したときに注意すべき項目データの報知や撮影シーンに対して標準的に利用される光学フィルタの利用を促すデータの報知がある。また、画像のブレに応じて三脚の利用を促したり、構図的に被写体が小さいことが判定されるときにズームレンズの利用を促したり、各種交換レンズにより同一の撮影シーンであっても撮影画像が異なるものとして得られることを画像として報知したりすることがある。また、カメラ装置を指定することで、そのカメラ装置の注意事項を報知したり、より効果的な利用方法を報知したりすることがある。
【0068】
アドバイス導出部33の出力側は、アドバイス情報をユーザへ提示する提示データとして出力する出力部35に接続される。これにより、アドバイス導出部33で導出されたアドバイスを撮影画像に関連させて提供することができる。
【0069】
図8には、ユーザ・コンピュータ84に表示される、撮影画像に関連して提供されるアドバイス情報の提示画面の一例を示した。提示画面250には、仮想空間Wで撮影を模擬した撮影画像252、撮影条件254,撮影判定260,アドバイス262の表示領域から構成されている。
【0070】
撮影画像252は、仮想空間Wで撮影を模擬したユーザ側で指定した構図などの撮影条件による撮影画像であり、この画像は、仮想カメラ76のファインダーを覗いたときの目視画像であってもよいし、プリント画像であってもよい。撮影条件254には、仮想空間Wで撮影を模擬したユーザ側で指定した撮影条件の各値が表示される。また、撮影判定260は、ユーザ側で指定した撮影条件により得られる撮影画像252について同一シーンの標準的な撮影画像との差異が所定値未満のときにOK領域256、所定値以上のときにNG領域258が点灯する判定部として機能する。アドバイス262には、仮想空間Wで撮影を模擬したユーザ側で指定した撮影条件の各値に対応する例えば上述のアドバイス情報が表示される。
【0071】
なお、撮影判定260のOK領域256及びNG領域258は、より詳細なアドバイス情報を要求する要求ボタンとして機能させることができる。例えば、OK領域256が押圧されたことで、撮影シーンについての撮影は妥当であることが予測されるが、さらに他の撮影条件の提示や専門家が撮影した場合の撮影条件の提示をすることができる。また、NG領域258が押圧されたことで、アドバイス262に表示された以外のより詳細なアドバイスを提示したりすることがでる。
【0072】
〔実施の形態の作用〕
次に、本実施形態の作用をさらに説明する。なお、本実施の形態では、処理サーバ83がWWW(World Wide Web)サーバとして機能し、ユーザ・コンピュータ84がクライアントとして機能する場合を説明する。この場合、ユーザ・コンピュータ84には、ネットワークアクセス可能なプログラム(所謂情報端末用のブラウザ)がインストールされており、この情報端末用のブラウザを起動することにより、ネットワーク88を介して処理サーバ83(写真情報サイト)にアクセス可能となる。この写真情報サイトへのアクセスには、アクセスを識別するための識別データ(会員IDなど)が予め登録されているものとする。
【0073】
処理サーバ83では、図9に示す処理ルーチンが実行される。ステップ100では、他のコンピュータから処理サーバ83に対してアクセス要求がなされるまで否定判断を繰り返し、肯定されるとステップ102へ進む。ステップ102では、初期情報として写真情報サイトの初期画面(図10参照、後述)の画像データが出力される。
【0074】
図10には、ユーザ・コンピュータ84で実行される処理の過程において、処理サーバ83からの送信データによりユーザ・コンピュータ84に表示される初期画面200の一例を示した。初期画面200は、本写真情報サイトの全貌を3次元イメージで表現した場202の画像を含んでいる。この場202上には写真画像や絵画画像を提供するための写真ギャラリ館204、及び本実施の形態にかかるアドバイス情報提供のための仮想撮影館208が設けられている。画面200を表示するための初期情報(画像データ)は、その写真ギャラリ館204の画像の周囲の所定範囲の領域206について、写真ギャラリ館204への処理へと移行指示するときに押圧されるべきボタン領域として機能すると共に、その仮想撮影館208の画像の周囲の所定範囲の領域207について、仮想撮影館208への処理へと移行指示するときに押圧されるべきボタン領域として機能するデータ構成とされている。
【0075】
ユーザによるユーザ・コンピュータ84の操作により指示領域207内が押圧され、移行指示がなされると、ユーザ・コンピュータ84から移行指示データが処理サーバ83へ向けて送信される。この移行指示データを処理サーバ83が受信することで、図9のステップ104は肯定され、写真講座へ移行するために、ステップ106へ進む。ステップ106では、仮想撮影館208についての情報すなわち撮影空間(撮影シーンの対象となる空間)である仮想空間W(図4)のデータを送信してステップ108へ進む。一方、ステップ104で否定されると、仮想撮影館208以外(ここでは、写真ギャラリ館204)の移行指示がなされたものであるため、ステップ122へ進み、移行指示に対応する他処理(ここでは、写真ギャラリ館204)を実施した後に本ルーチンを終了する。
【0076】
ステップ108は撮影条件すなわち調整データが受信されるまで否定される。ユーザによるユーザ・コンピュータ84の操作により上述のように構図、絞りやシャッタスピードなどの撮影条件指示がなされると、ユーザ・コンピュータ84から調整データが処理サーバ83へ向けて送信される。この調整データを処理サーバ83が受信することで、ステップ108は肯定され、ステップ110へ進む。ステップ110では、撮影指示されたものとして、上記ステップ108で受信した撮影条件を抽出してステップ112へ進む。
【0077】
ステップ112では、上述のようにして画像処理装置16によって画像処理がなされ、撮影条件により撮影し、プリントとして形成されるべき画像(またはユーザによる目視画像)が生成された後、次のステップ114において、その画像データすなわち、ユーザ・コンピュータ84により、ユーザが指示した撮影条件による撮影画像に対するアドバイス情報がアドバイス装置20で生成される。これらの撮影画像データ及びアドバイス情報が、画像表示領域(ユーザ・コンピュータ84の画面)内に収納されるべく画面データを形成し(図8の提示画面250)、これを送信してステップ118へ進む。
【0078】
次のステップ118では、図示を省略した終了ボタンの押圧がなされたことを表すデータを受信したか否かを判断することによって、終了指示であるか否かを判断し、否定されると、ステップ110へ戻り、肯定されると、次のステップ120において終了後に移行する予め定めた規定の処理画面情報を、ユーザ・コンピュータ84へ向けて送信して本ルーチンを終了する。
【0079】
以上説明したように、本実施の形態では、被写体を撮影するときの撮影条件に対応する撮影画像をユーザ側へ提供するときに、仮想カメラでその撮影条件を模した被写体の画像を提供すると共に、ユーザが指示した撮影条件に対応するアドバイス情報を生成し、撮影画像に関連させてユーザ側へ提供することができるので、ユーザはあたかも撮影時に指示した撮影条件に対する評価を得ることができ、様々な撮影条件で実際に撮影した被写体の画像と共にそのアドバイスをユーザ側へ提示することができる。
【0080】
【発明の効果】
以上説明したように本発明によれば、情報端末から仮想的な撮影環境内において被写体を撮影するときの撮影条件を受信して、被写体の撮影画像に対応するアドバイス情報を生成すると共に、情報端末へ向けて提供するので、ユーザの撮影意図である撮影条件により形成される撮影画像に対応するアドバイス情報を情報端末側に提示でき、ユーザは、情報端末により、意図する撮影条件により得られるべき撮影画像に対応するアドバイスを得ることが、という効果がある。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係るネットワークシステムの概略構成を示すブロック図ある。
【図2】 本発明の実施の形態に係るネットワークシステムにおける情報の授受についての機能的なブロック図である。
【図3】 本発明の実施の形態に係る画像処理装置の概略構成を示すブロック図である。
【図4】 本発明の実施の形態に係る、撮影環境として提供する仮想空間を示すイメージ図である。
【図5】 本発明の実施の形態に係る撮影条件の指示画像を示し、(A)は構図指示の指示画像、(B)は露出指示の指示画像、(C)はオプション指示の指示画像を示すイメージ図である。
【図6】 本発明の実施の形態にかかる仮想カメラの撮影条件を指示する指示画像と、設定画像とからなる設定画面を示したイメージ図である。
【図7】 本発明の実施の形態に係るアドバイス装置の概略構成を示すブロック図である。
【図8】 本発明の実施の形態にかかる、撮影画像に対応するアドバイス情報を提示するための表示画面のイメージ図である。
【図9】 処理サーバにおいて実行される処理の流れを示すフローチャートである。
【図10】 本実施の形態にかかる写真情報サイトの初期表示画面を示したイメージ図である。
【符号の説明】
W…仮想空間
14…通信装置
16…画像処理装置
20…アドバイス装置
44…被写体
48…被写体
76…仮想カメラ
78…仮想撮影者
81…蓄積サーバ
83…処理サーバ
84…ユーザ・コンピュータ

Claims (3)

  1. 通信回線に接続された情報端末に対して撮影画像に関連するアドバイス情報を提供する画像処理装置において、
    少なくとも仮想空間内における被写体の画像データを記憶すると共に、予め定めた基準の撮影条件により前記被写体を撮影したときの基準撮影画像に対する撮影条件の差異に応じたメッセージ情報を記憶する記憶手段と、
    前記情報端末に仮想的な空間上における撮影環境を提示させるための予め定めた被写体データを送信する送信手段と、
    前記情報端末により指示されかつ、前記撮影環境内において撮影されるときの撮影条件を受信する受信手段と、
    受信した撮影条件により前記被写体の撮影画像の画像データを生成する生成手段と、
    前記受信手段により受信した撮影条件と前記記憶手段に記憶された前記基準撮影画像に対する撮影条件の差異に応じたメッセージ情報とに基づいて、前記撮影画像に対応するアドバイス情報を生成すると共に、前記情報端末へ向けて通信回線を介して提供する提供手段と、
    を備えたことを特徴とする画像処理装置。
  2. 前記受信手段は、カメラ装置の絞り値及びシャッタースピードの少なくとも一方を含む露出指示値、画角、主要被写体からの距離及び主要被写体に対する撮影方向の少なくとも1つを含む構図指示値、ストロボ点灯の有無、光学フィルタの挿抜、カメラ固定の有無の少なくとも1つを含む外部装置の装着指示値のうちの、少なくとも1つの指示値を前記撮影条件の条件値として受信することを特徴とする請求項1に記載の画像処理装置。
  3. 前記生成手段は、受信した撮影条件により被写体を撮影したときにプリント形成されるべき撮影画像の画像データを生成することを特徴とする請求項1または請求項2に記載の画像処理装置。
JP2002235934A 2002-08-13 2002-08-13 画像処理装置 Expired - Fee Related JP4024107B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002235934A JP4024107B2 (ja) 2002-08-13 2002-08-13 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002235934A JP4024107B2 (ja) 2002-08-13 2002-08-13 画像処理装置

Publications (2)

Publication Number Publication Date
JP2004080205A JP2004080205A (ja) 2004-03-11
JP4024107B2 true JP4024107B2 (ja) 2007-12-19

Family

ID=32020283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002235934A Expired - Fee Related JP4024107B2 (ja) 2002-08-13 2002-08-13 画像処理装置

Country Status (1)

Country Link
JP (1) JP4024107B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142896A (ja) * 2005-11-18 2007-06-07 Fujitsu Ltd 観客画像提供システム、その撮影カメラ制御装置、プログラム
US7668454B2 (en) 2006-08-29 2010-02-23 Hewlett-Packard Development Company, L.P. Photography advice based on captured image attributes and camera settings
JP4965315B2 (ja) * 2007-04-02 2012-07-04 オリンパスイメージング株式会社 撮像装置、撮像方法および情報機器
JP5319999B2 (ja) * 2008-09-25 2013-10-16 パナソニック株式会社 照明装置
JP5204910B2 (ja) * 2012-03-28 2013-06-05 オリンパスイメージング株式会社 撮像装置、撮像方法および情報機器
JP6070262B2 (ja) * 2013-02-25 2017-02-01 スズキ株式会社 画像表示装置
WO2023238646A1 (ja) * 2022-06-07 2023-12-14 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、情報処理システム
JP7508680B1 (ja) 2023-10-05 2024-07-01 株式会社Jr東日本情報システム シミュレーション装置、シミュレーション方法及びシミュレーションプログラム

Also Published As

Publication number Publication date
JP2004080205A (ja) 2004-03-11

Similar Documents

Publication Publication Date Title
TWI450111B (zh) 用於基於影像捕捉裝置呈現的使用者建議之導引式攝影術之方法、電腦可使用媒體、及裝置
US7855732B2 (en) Hand producer for background separated images
JP5074752B2 (ja) 画像要求方法
JP2010041716A (ja) ビューファインダ上のマルチ測定ポイントからのデータ処理方法及びデバイス
JPH09181913A (ja) カメラシステム
JPH09181966A (ja) 画像処理方法及び装置
CN103905732B (zh) 拍摄方法和拍摄装置
KR102151964B1 (ko) 제품 상세정보 콘텐츠를 위한 제품 사진 촬영 서비스 제공 방법
JP4024107B2 (ja) 画像処理装置
JP2002010133A5 (ja)
JP3715576B2 (ja) 画像処理装置
WO2019215797A1 (ja) 構図アドバイスシステム、構図アドバイス方法、カメラ、プログラム
JP2005286379A (ja) 撮影補助システム及び撮影補助方法
JP4919545B2 (ja) データ送信システム、および撮影装置
JP4263017B2 (ja) アドバイス装置及びプログラム
JP2003114605A5 (ja)
JP2002197456A (ja) 画像評価システム、画像評価側端末装置、画像評価方法及び記憶媒体
JP4357232B2 (ja) アドバイス装置及びプログラム
CN111641779B (zh) 一种拍摄控制方法、***及计算设备
CN117241131B (zh) 图像处理方法和装置
CA2600139C (en) Background separated images for print and on-line use
JP2012027608A (ja) 画像処理装置
JP2024022731A (ja) 遠隔撮影システム及び遠隔撮影方法
KR101643604B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터로 읽을 수 있는 저장매체
JP2021052279A (ja) 撮影端末、管理装置、撮影システム、撮影方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050512

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071002

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131012

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees