JP3710335B2 - 通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体 - Google Patents

通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体 Download PDF

Info

Publication number
JP3710335B2
JP3710335B2 JP23719199A JP23719199A JP3710335B2 JP 3710335 B2 JP3710335 B2 JP 3710335B2 JP 23719199 A JP23719199 A JP 23719199A JP 23719199 A JP23719199 A JP 23719199A JP 3710335 B2 JP3710335 B2 JP 3710335B2
Authority
JP
Japan
Prior art keywords
communication
captured image
unit
imaging
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23719199A
Other languages
English (en)
Other versions
JP2000175092A (ja
Inventor
聡 石黒
啓 園部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP23719199A priority Critical patent/JP3710335B2/ja
Priority to US09/406,697 priority patent/US7062230B1/en
Publication of JP2000175092A publication Critical patent/JP2000175092A/ja
Application granted granted Critical
Publication of JP3710335B2 publication Critical patent/JP3710335B2/ja
Priority to US11/358,053 priority patent/US7477880B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32358Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H04N1/32363Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter at the transmitter or at the receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/327Initiating, continuing or ending a single-mode communication; Handshaking therefor
    • H04N1/32765Initiating a communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/327Initiating, continuing or ending a single-mode communication; Handshaking therefor
    • H04N1/32765Initiating a communication
    • H04N1/32767Initiating a communication in response to a user operation, e.g. actuating a switch
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0037Topological details of the connection
    • H04N2201/0039Connection via a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0048Type of connection
    • H04N2201/0049By wire, cable or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0048Type of connection
    • H04N2201/0053Optical, e.g. using an infrared link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0048Type of connection
    • H04N2201/0055By radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3285Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H04N2201/3287Storage of at least one complete document page or image frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば、撮像機能及び通信機能を有する装置やシステムに用いられる技術に関し、特に、撮像機能により得られた画像情報を通信機能により無線送信する技術に関するものである。
【0002】
【従来の技術】
従来より、ディジタルカメラ等の撮像機器にて得られた画像を、携帯電話やPHS(Personal Handyphon System )等の通信機器により遠隔地のサーバ等の機器に無線送信する場合、次のような方法が一般的に用いられている。
例えば、図12に示すように、ディジタルカメラ501とノート型パーソナルコンピュータ(以下、「ノートPC」と言う)502をケーブル504(又はPCカード)を用いて接続し、ノートPC502と携帯電話503もケーブル504を用いて接続する。そして、ディジタルカメラ501にて得られた撮像画像を、一旦ノートPC502に転送してから、携帯電話503に転送する。したがって、図13に示すように、携帯電話503に転送された撮像画像は、一般公衆網506を介して遠隔地にあるサーバ507に無線送信される。
しかしながら、このような方法は、従来あった機器をそのまま利用できる利点はあるが、欠点として、構成が複雑になり、携帯性や操作性を損なうという問題があった。
【0003】
そこで、上記の問題を解決するために、例えば、図14に示すような、ディジタルカメラ等の撮像機能と、携帯電話やPHS等の通信機能とを有する複合機510が提案されている。
この複合機510には、上記図14に示すように、CCD等の撮像素子に対して被写体光を結像させるためのレンズ511、シャッタースイッチ(シャッターボタン)512、複数の操作スイッチからなるスイッチ群513、上記撮像素子にて得られた撮像画像を表示するためのカラー液晶514、及び通信用のアンテナ515が設けられている。
このような複合機510では、例えば、図15及び図16のフローチャートに従って、被写体の撮影から、それにより得られた撮像画像のサーバへの無線送信までの処理が行われる。
【0004】
先ず(上記図15参照)、使用者は、スイッチ群513の所定の操作スイッチを操作することで、複合機510を撮影モードに設定して、撮影動作開始を指示し、所望するタイミングでシャッタースイッチ512を押下する(ステップS521)。
【0005】
これにより、複合機510では、割込みが発生する(ステップS522)。そして、撮像素子により得られた被写体の撮像画像信号は、画像用バッファメモリに一旦取り込まれる(ステップS523)。
画像用バッファメモリに取り込まれた撮像画像信号は、明るさやホワイトバランス等について、種々の補正を経た後、JPEG形式等へのフォーマット変換が行われる(ステップS524)。
このような過程を経て構成された撮像画像データが、最終的に記憶用メモリへ格納される(ステップS525)。
【0006】
次に(上記図16参照)、上述のようにして複合機510にて得られた撮像画像データを、遠隔地のサーバへ送信する場合、使用者は、スイッチ群513の所定の操作スイッチを操作することで、複合機510を送信モードに設定する(ステップS531)。
尚、ここでのモード切替えのための操作は、スイッチ群513の代わりに、カラー液晶514のメニュー画面上にてなされる場合もある。また、ステップS531は、後述するステップS534の後に実行される場合もある。
【0007】
これにより、複合機510では、記憶用メモリへ格納された撮像画像データの読み出しが開始される(ステップS532)。そして、この読み出された撮像画像データが、カラー液晶514にて画面表示される(ステップS533)。
【0008】
使用者は、スイッチ群513の所定の操作スイッチを操作することで、カラー液晶514にて画面表示された撮像画像から、送信したい画像を選択する(ステップS534)。このときの画像の選択は、1つの画像であったり、複数の画像であったり、或いは、記憶メモリに格納されている全ての画像であったりもする。
また、使用者は、スイッチ群513の所定の操作スイッチを操作することで、ステップS534にて選択した画像を送信する相手先のサーバを選択する(ステップS535)。このときのサーバの選択は、予め複合機510内部に記憶されている電話帳データから選択したり、或いは、スイッチ群513により直接相手の電話番号を入力する等の方法が用いられる。
【0009】
ステップS534及びステップS535での使用者の操作が、複合機510にて認識されると、複合機510では、送信すべき画像及びその送信先を使用者に確認するための処理が行われ(ステップS536)、この結果、使用者からのスイッチ群513等による「OK」の指示があった場合に、次のステップS537からの画像送信処理が実際に実行される。
尚、使用者からの指示が「NG」であった場合には、ステップS534に戻り、送信する画像の決定からの処理が実行される。
【0010】
すなわち、先ず、複合機510の種類によって定められた手順(例えば、機器が有する通信機能がPHSであるならば”PIAFS:PHS Internet Access Forum Standard”のような伝送制御手順)に従って、公衆網への発呼が行われる(ステップS537)。これにより、複合機510には、発呼先のサーバから着呼の可否が返送されてくる。
【0011】
そして、サーバからの着呼の可否を確認した結果(ステップS538)、サーバが着呼可能である場合には、互いにネゴシエーション処理が行われた後、複合機510とサーバの機器間の接続が確立される(ステップS539)。
複合機510とサーバのネゴシエーションが完了し、TCP/IP(Transmission Control Protocol/Internet Protocol )等のプロトコルに従った通信が可能な状態となると、複合機510では、ステップS534にて選択された画像をサーバへ送信する処理が実行される(ステップS540)。このときの通信中のエラー処理や再送処理等は、ステップS537での複合機510の種類によって定められた手順に従って行われ、最終的に全ての画像を送信し終えるか、或いは、サーバから受信完了のメッセージを受信した時点で(ステップS541)、サーバとの通信が終了する(ステップS542)。
【0012】
一方、サーバからの着呼の可否を確認した結果(ステップS538)、サーバが着呼不可である場合、すなわちサーバからビシー等の理由により着呼を拒否された場合(ステップS543)、複合機510では、その旨を示すメッセージを画面表示する処理が行われる(ステップS544)。
この場合、使用者は、時間を置いて再接続を試みる要がある。
【0013】
【発明が解決しようとする課題】
ところで、上記図14に示したような複合機510が提案された背景には、携帯性と操作性に加えて、画像をその場で発信することによる即時性の向上が求められていることが挙げられる。
このためには、撮影後の画像を送信するための手順は、できるだけ簡便であることが望まれる。
【0014】
しかしながら、従来の複合機510では、上記図16に示したように、撮影モードにて得られた撮像画像をサーバに送信するために、使用者は、ステップS531(モード切替操作)、ステップS534(送信画像の選択操作)、及びステップS535(送信先の選択操作)の、少なくとも3回のスイッチ操作が必要であった。
これは、撮り貯めた画像を後で一括してサーバに送信する場合等、それほど即時性が要求されない場合には問題にならないが、例えば、目の前にいる被写体の画像を緊急に1枚だけでもサーバに送信したい場合等には、非常に煩雑なものとなる。
また、1枚だけでなく、撮影を連続して行いながら、それらを逐次サーバに送信したい場合にも、該送信のためには、一旦撮影を中断しなければならならず、この間にシャッターチャンスを逃す可能性が生じてくる。
【0015】
そこで、本発明は、上記の欠点を除去するために成されたもので、携帯性、操作性、及び即時性を共に向上させ、撮像画像の送信を効率的に行う通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体を提供することを目的とする。
【0016】
【課題を解決するための手段】
斯かる目的下において、第1の発明は、被写体を撮像して撮像画像を得る撮像手段と、所定の動作を指示するための操作手段と、送信先と通信して、上記撮像手段により得られた上記撮像画像を該送信先に送信する通信手段と、上記操作手段により所定の動作が指示されたことに基づいて、上記撮像手段と上記通信手段との各動作を開始させる制御手段とを有し、上記制御手段は、上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信手段を制御することを特徴とする。
【0017】
第2の発明は、上記第1の発明において、上記通信手段は、無線通信することを特徴とする。
【0018】
第3の発明は、上記第1の発明において、上記撮像手段により得られた撮像画像をメモリに保存するための記憶制御手段と、上記送信先との通信状態を検出する検出手段とを有し、上記制御手段は、上記検出手段での検出結果に基づいて、上記撮像画像を上記メモリに一旦保存することを特徴とする。
【0019】
第4の発明は、上記第3の発明において、上記制御手段は、上記検出手段での検出結果により、通信不可である場合には上記撮像画像を上記メモリに一旦保存し、通信可能となった場合には上記メモリに保存した撮像画像を上記通信手段により送信することを特徴とする。
【0020】
第5の発明は、被写体を撮像して得た撮像画像を送信する通信機能を有する撮像装置であって、所定の動作を指示するための操作手段と、上記操作手段により所定の動作が指示されたことに基づいて、上記の撮像動作と上記通信機能の動作を開始させる制御手段とを有し、上記制御手段は、上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信機能を制御することを特徴とする。
【0021】
第6の発明は、上記第5の発明において、上記通信機能は、無線通信することを特徴とする。
【0022】
第7の発明は、上記第5の発明において、上記撮像画像を保存するためのメモリに保存するための記憶制御手段と、上記送信先との通信状態を検出する検出手段とを有し、上記制御手段は、上記検出手段での検出結果に基づいて、上記撮像画像を上記メモリに一旦保存することを特徴とする。
【0023】
第8の発明は、上記第7の発明において、上記制御手段は、上記検出手段での検出結果により、通信不可である場合には上記撮像画像を上記メモリに一旦保存し、通信可能となった場合には上記メモリに保存した撮像画像を上記通信手段により送信することを特徴とする。
【0024】
第9の発明は、被写体を撮像して撮像画像を得る撮像手段と、所定の動作を指示するための操作手段と、送信先と通信する通信手段と、上記操作手段により所定の動作が指示されたことに基づいて、上記撮像手段と上記通信手段との各動作を開始させる制御手段とを備える通信装置を用いた通信方法であって、上記通信手段により送信先と通信して、上記撮像手段により得られた上記撮像画像を該送信先に送信する送信ステップと、上記制御手段により、上記送信ステップによる上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信手段を制御する制御ステップとを有することを特徴とする。
【0025】
第10の発明は、送信先と通信する通信手段と、所定の動作を指示するための操作手段と、上記操作手段により所定の動作が指示されたことに基づいて、上記の撮像動作と上記通信手段の動作を開始させる制御手段とを備える撮像装置を用いた撮像方法であって、上記通信手段により、被写体を撮像して得た撮像画像を送信する送信ステップと、上記制御手段により、上記送信ステップで上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信手段を制御する制御ステップとを有することを特徴とする。
【0026】
第11の発明は、被写体を撮像して撮像画像を得る撮像手段と、所定の動作を指示するための操作手段と、送信先と通信する通信手段と、上記操作手段により所定の動作が指示されたことに基づいて、上記撮像手段と上記通信手段との各動作を開始させる制御手段とを備える通信装置用のプグラムを記録した記憶媒体であって、上記通信手段により送信先と通信して、上記撮像手段により得られた上記撮像画像を該送信先に送信する送信ステップと、上記制御手段により、上記送信ステップによる上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信手段を制御する制御ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体である。
【0027】
第12の発明は、送信先と通信する通信手段と、所定の動作を指示するための操作手段と、上記操作手段により所定の動作が指示されたことに基づいて、上記の撮像動作と上記通信手段の動作を開始させる制御手段とを備える撮像装置用のプグラムを記録した記憶媒体であって、上記通信手段により、被写体を撮像して得た撮像画像を送信する送信ステップと、上記制御手段により、上記送信ステップで上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信手段を制御する制御ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体である。
【0035】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【0036】
(第1の実施の形態)
本発明は、例えば、図1に示すような複合機100に適用される。
この複合機100の外観については、上記図14に示した従来の複合機510と同様であるが、特定のスイッチ操作を行うことにより、従来の複合機510には無い、あるモードに切り替わる構成が異なる。このモードでは、シャッタースイッチ512が押下されると、複合機100では撮影動作が実行されると同時に、複合機100自身が自動的に公衆網に接続し、遠隔地のサーバに撮像画像を送信するようになされている。ここでは、該モードを「直接送信モード」と呼称する。
以下、複合機100について具体的に説明する。
【0037】
複合機100は、ディジタルカメラ等の撮像機能と、PHSや携帯電話等の通信機能とを有し、上記図1に示すように、撮像部110、画像処理部120、周辺部130、液晶表示部140、通信制御部150、及びメイン制御部160を備えている。
【0038】
撮像部110は、撮像レンズ含む複数のレンズ及び絞りからなるレンズユニット111と、レンズユニット111を介した被写体光が入射する撮像素子(ここでは、CCDとする)112と、レンズユニット111を駆動するソレノイド・モータ115と、CCD112を駆動するCCDボード113と、ソレノイド・モータ115及びCCDボード113を制御するカメラコントローラ114とを備えている。そして、カメラコントローラ114は、メイン制御部160からの制御に従って動作するようになされている。
【0039】
画像処理部120は、画像処理用のCPU121と、撮像部110にて得られた撮像画像を蓄積するためのバッファメモリ122とを備えている。
【0040】
周辺部130は、各種操作スイッチやシャッタスイッチ512を含むスイッチ群132と、複合機100を電源ON/OFFするための電源部133と、画像情報をNTSC方式等にて外部と入出力するための外部入出力部134と、これらを制御するコントローラ(コントロールマイコン)131とを備えている。
【0041】
液晶表示部140は、カラー液晶(LCDモニタ)141(上記図14のカラー液晶514に相当)と、LCDモニタ141のバックライト/インバータ142と、これらを制御するコントローラ(LCDコントローラ)143とを備えている。
【0042】
通信制御部150は、公衆網に対して、複合機100の種類に応じて定められた発呼及び着呼動作を行って、相手側との接続を確立すると共に、TCP/IP等のプロトコルに従って、画像データをネットワークに流したり、相手側からのリクエストを複合機100内の制御信号に変換して伝えるようになされている。このため、通信制御部150は、通信動作を制御するための通信コントローラ151と、通信コントローラ151に接続された通信用バッファメモリ152と、通信用バッファメモリ152に各々接続されたシリアルポート153、IrDAポート154、及びRFモジュレータ155と、RFモジュレータ155に接続された送受信用のアンテナ156とを備えている。
【0043】
メイン制御部160は、撮像部110、画像処理部120、周辺部130、液晶表示部140、及び通信制御部150を集中的に管理するものであり、メインCPU161と、撮像画像や送信先アドレス保存用のフラッシュメモリ162と、画像処理部120での画像処理の作業領域等に使用されるバッファメモリ163と、各種制御のための処理プログラム等が予め格納されたプログラムメモリ164とを備えている。そして、フラッシュメモリ162、バッファメモリ163、及びプログラムメモリ164は各々、メインCPU161に接続されている。
【0044】
上述のような複合機100において、撮像部110にて被写体を撮像し、それにより得られた撮像画像をサーバに対して送信するまでの処理は、図2のフローチャートに示される。以下、本処理について説明する。
【0045】
尚、ここでは、複合機100の最も特徴とする直接送信モード下で動作する場合について具体的に説明する。
また、一般に、公衆網を介した無線通信は、周囲の電波状況や最寄りの基地局までの距離、或いは、複合機100自身の状態(静止しているか、移動中か)等に大きく左右されるが、ここでは説明の簡単のため、これらの変動要因は無いものとする。また、送信先のサーバとの接続が一度確立した後の、通信中の切断は起こらないものとする。
【0046】
先ず、使用者は、スイッチ群132の所定の操作スイッチを操作することで、複合機100を直接送信モードに設定する。
このときの操作は、周辺部130のコントローラ131を介して、メイン制御部160のメインCPU161により認識され、これにより複合機100は、直接送信モードにて動作することになる。
【0047】
また、使用者は、例えば、LCDモニタ141に表示される図3に示すような画面(以下、「送信先選択画面」と言う)から、送信先のサーバを選択する。このときの画面表示は、LCDコントローラ143の制御により行われる。
具体的には、使用者は予め、スイッチ群132の所定の操作スイッチを操作する等をして、複合機100に送信先のサーバ(ここでは、server A,server B,server C,server D,・・・)の所在地(Location)や電話番号(Number)を登録しておく。この登録情報は、周辺部130のコントローラ131を介して、メイン制御部160のフラッシュメモリ162内に構成されたデータベースに格納される。したがって、このデータベースに格納された登録情報が読み出されて、送信先選択画面として、LCDモニタ141にて表示されることになる。
送信先選択画面は、上記図3に示すように、サーバの名前が表示されるフィールド301、サーバの所在地が表示されるフィールド302、サーバの電話番号が表示されるフィールド303、及びユーザ名やパスワード(図示せず)と共に、「SELECT」キー、「OK」キー、及び「CANCEL」キー等の操作キー部305、及びカーソル304から構成されている。
使用者は、このような送信先選択画面上にて、操作キー部305の各種キーやカーソル304を使用して、送信先のサーバを選択して決定する。上記図3では、「server A」が選択された状態を示している。このような操作は、液晶表示部140のLCDコントローラ143を介してメイン制御部160のメインCPU161にて認識される。
【0048】
尚、上述の送信先選択の過程は、複合機100を直接送信モードに切替えてから行っても良いし、或いは、別のモードで予め設定しておいてもよい。何れの場合でも、シャッタースイッチ512を押下する前には、既に送信先のサーバは選択され決定されているものとする。もし未決定の場合は、例えば、直接送信モードに切替えられた時点で、或いは、シャッタースイッチ512が押下された時点で、LCDモニタ141上にその旨を表示して、使用者に知らせる。或いは、警告音等により、使用者に知らせる。
【0049】
上述のようにして、複合機100が直接送信モードに設定され、送信先のサーバも選択され、そして、使用者からスイッチ群132のシャッタースイッチ512が押下されると(ステップS201)、周辺部130のコントローラ131を介してメイン制御部160のメインCPU161に対する割込みが発生する(ステップS202)。
これにより、撮像部110のCCD112の出力信号(撮像画像信号)は、画像処理部120に取り込まれる(ステップS203)。
画像処理部120において、画像処理CPU121は、撮像部110からの撮像画像信号をバッファメモリ122に一旦格納し、該撮像画像信号における明るさやホワイトバランス等について種々の補正処理を行う。その後、メイン制御部160において、メインCPU161は、画像処理部120にて種々の補正処理が行われた撮像画像信号をJPEG形式等へフォーマット変換し、これにより得た撮像画像データをフラッシュメモリ160に格納する(ステップS205)。
【0050】
そこで、メイン制御部160において、メインCPU161は、現在複合機100がどのモードに設定されているかを判別する(ステップS206)。
この判別の結果、複合機100が直接送信モードに設定されていた場合、次のステップS208からの処理を実行する。
一方、複合機100が直接送信モード以外のモード、すなわち通常の送信モードに設定されていた場合には、メインCPU161は、上記図16に示したフローチャートに従って動作するように、複合機100全体の動作制御を行う(ステップS207)。
【0051】
複合機100が直接送信モードに設定されていた場合、メイン制御部160において、メインCPU161は、通信制御部150を介して現在の電波状態を調べる(ステップS208)。
このステップS208の結果、発信可能(「OK」)の場合、次のステップS210からの処理を実行する。一方、発信不可(「NG」)の場合は、メインCPU161は、その旨を示すメッセージ(通信不能)等を液晶表示部140のカラー液晶143へ表示させる(ステップS209)。
尚、ステップS209において、通信不能の表示の代わりに、警告音等により、使用者にその旨を知らせるようにしてもよい。
【0052】
電波状態が発信可能であった場合、上記図16に示したステップS537〜ステップS539と同様にして、複合機100では、公衆網への発呼及び着呼が行われる(ステップS210)。
尚、この発呼及び公衆網接続までの流れ、着呼後の送信先のサーバとのネゴシエーション過程は、通信方式や使用プロトコルによって異なるため、ここでは単純に、送信先のサーバが着呼に応じたか否かのみを判断する。そして、送信先のサーバの通信ポートが使用中である等の理由で、該サーバが着呼に応じなかった場合は、複合機100にはビシーが返送される。この場合、メインCPU161は、その旨を示すメッセージ(通信不能)等を、液晶表示部140のカラー液晶143での表示、或いは警告音等により、使用者に通知するための動作制御を行う(ステップS211)。したがって、着呼及びネゴシエーションが正常に行われ、複合機100と送信先のサーバの通信が確立した場合にのみ、次のステップS212からの処理ステップが実行されることになる。
【0053】
ステップS210での発呼及び着呼処理により、複合機100と送信先のサーバの通信が確立すると、メイン制御部160において、メインCPU161は、フラッシュメモリ162内の撮像画像データを一旦、バッファメモリ163へ移す(ステップS212)。
そして、メインCPU161は、バッファメモリ163内の撮像画像データ(JPEG方式の画像データとする)を、TCP/IP等のプロトコルに従ったパケットに分解し、それらのパケットデータを通信部150へ供給する(ステップS213)。
【0054】
通信部150において、通信コントローラ151は、メイン制御部160からのパケットデータを、複合機100の種類によって定められた手順(ここでは、”PIAFS”のような伝送制御手順とする)に従って変換し、この変換後のパケットデータを通信用バッファメモリ152に格納する(ステップS214)。通信用バッファメモリ152内のパケットデータは、RFモジュール155により、機器に適応した周波数帯域に変換された後、アンテナ156を介して基地局へと送信され、公衆網を通して送信先のサーバへと送信される(ステップS215)。
これを受けたサーバでは、複合機100での上述の逆の手順を経て、撮像画像が復元される。
【0055】
通信用バッファメモリ152内のパケットデータ(撮像画像データ)の送信が終了すると、これを認識したメイン制御部160のメインCPU161は、通信部150の通信コントローラ819に対して切断要求を発行する。これにより、通信コントローラ819は、上述した発呼時の処理と同様にして、定められた手順に従って通信終了処理を行う(ステップS216)。
【0056】
上述のように、本実施の形態では、シャッタースイッチ512が押下されると直ちに、公衆網を介した遠隔地のサーバとの通信を自動的に行い、該サーバと通信可能な場合には、撮像画像の送信を自動的に行う、という直接送信モードを設けた構成としたことにより、使用者は、複合機100のモードを直接送信モードに切り替る、という簡単な操作を行うだけで、撮影して得た撮像画像を直ちに、送信したいサーバへ送ることができる。したがって、使用者は、従来のように、撮像画像を送信する度に、送信画像の選択、送信モードへのモード切替え、送信先の選択等の操作を繰り返し行う必要はない。
【0057】
尚、上述した複合機100を中継用等に適用する場合、すなわち必ずしも複合機100本体に撮像画像を保存しておく必要が無い場合には、上記図2において、ステップS205及びステップS212での、フラッシュメモリ162ヘの書込、及びフラッシュメモリ162からバッファメモリ163への読出の過程は不要である。
このような場合には、例えば、バッファメモリ163を、より高速なバッファメモリで構成し、このバッファメモリ163を使用して、撮像後の画像を直接通信部150を介してサーバへ送信するようにすれば、複合機100内の画像保存用のメモリ領域を、無駄なく効率的に使用することができる。
【0058】
(第2の実施の形態)
本実施の形態では、上述した第1の実施の形態での構成に加えて、直接送信モードにおいて、最初にシャッタスイッチ512が押下されてから、次のシャッタスイッチ512の押下までの時間が、所定時間内であった場合には、発呼及び着呼処理をスキップするように構成する。
この場合の、複合機100における、被写体を撮像してから、撮像画像をサーバに対して送信するまでの処理は、図4のフローチャートに示される。
【0059】
尚、上記図4のフローチャートにおいて、上記図2のフローチャートと同様の処理を実行するステップには同じ符号を付し、その詳細な説明は省略する。ここでは、第1の実施の形態と異なる構成についてのみ、具体的に説明する。
【0060】
先ず、最初のシャッタスイッチ512の押下がなされ、上述したようにして、撮像画像が得られ、複合機100の現在のモードが直接送信モードであると判別されると(ステップS206)、この後、フラグが「ON」であるか否かの判別が行われる(ステップS250)。
このフラグ(判別用フラグ)は、例えば、メイン制御部160のメインCPU161の内部フラグであり、後述するステップS270のインターバルステップにて「ON」又は「OFF」に設定されるものである。そして、この判別用フラグが「ON」である場合には、ステップS208〜ステップS210がキャンセルされて、その次のステップS212からの処理ステップが実行されるようになされている。
ここでは、最初のシャッタスイッチ512の押下時としているため、判別用フラグは「OFF」である。したがって、上述したようにして、ステップS208〜ステップS210による発呼及び着呼処理が行われ、送信先のサーバと通信可能な場合には、該サーバへの撮像画像の送信が行われる(ステップS215)。
【0061】
そこで、ステップS270のインターバルステップでは、図5のフローチャートに従った処理が行われる。
【0062】
すなわち、メイン制御部160において、先ず、メインCPU161は、その内部に所定時間分のタイマを設定し(ステップS270)、シャッタスイッチ512の押下によるステップS202の割込みの発生を監視しながら待機する(ステップS271)。
次に、メインCPU161は、タイマ値が”0”となったか否かを判別し(ステップS272)、タイマ値が”0”であれば、判別用フラグを「OFF」に設定する(ステップS273)。その後、本処理終了となる。
一方、タイマ値が”0”に達していなかった場合、メインCPU161は、シャッタスイッチ512の押下による割込みが発生したか否かを判別する(ステップS274)。この判別の結果、割り込みが発生した場合には、メインCPU161は、判別用フラグを「ON」に設定する(ステップS275)。その後、本処理終了となる。また、割り込みが発生していない場合には、ステップS271に戻り、割り込み発生待ち状態となる。
【0063】
したがって、最初のシャッタスイッチ512の押下から、メインCPU161内のタイマに設定された所定時間内に、次のシャッタスイッチ512が押下されると、判別用フラグが「ON」の状態で、上述したステップS201からの処理が実行され、ステップS250の判別により、ステップS208〜ステップS210の発呼及び着呼処理がキャンセルされて、そのままステップS212からの撮像画像の送信処理が実行されることになる。
また、最初のシャッタスイッチ512の押下から、メインCPU161内のタイマに設定された所定時間経過してから、次のシャッタスイッチ512が押下されると、判別用フラグが「OFF」の状態で、上述したステップS201からの処理が実行され、ステップS250の判別により、最初のシャッタスイッチ512の押下時と同様にして、ステップS208〜ステップS210の発呼及び着呼処理が実行され、次のステップS212からの撮像画像の送信処理が実行されることになる。
【0064】
上述のように、本実施の形態では、撮像画像送信完了後、通信切断まで、所定時間だけインターバルを設けるように構成した。
このためのメインCPU161でのタイマの設定は、用途や状況によって様々なものが考えられるが、例えば、経済性の点でみれば、網接続料金の課金単位時間に合わせることで、無駄な料金の発生は押さえられる。
そこで、図6(a)〜(c)は、上記のインターバルの間隔の設定画面の一例を示したものである。これらの画面表示は、液晶表示部140において、LCDコントローラ143がLCDモニタ141を制御することによりなされる。
【0065】
上記図6(a)〜(c)において、最初の設定画面311は、使用者の用途により、経済性優先モード(ECONOMY )、実用性重視モード(BUSINESS)、及びユーザーによるマニュアル設定モード(USER SETTING)のうち、何れか選択可能に構成されている。ここでは、使用者が、経済性優先モード(ECONOMY )を選択した画面状態を示している。
【0066】
つぎの設定画面312は、経済性優先モード(ECONOMY )の選択時の画面であり、時間と区域による通信料の最低課金秒数の表を、使用者が確認し、「OK」或いは「CANCEL」を指示できるように構成されている。上記図6(b)中の矢印313で示す”45”は、現在の時刻と、送信先のサーバと複合機100の相対距離から抽出された最低課金秒数であり、経済性優先モード(ECONOMY )では、この”45”秒数にインターバル間隔が設定されるようになされている。尚、複合機100の通信機能にモバイルを利用した場合、自機の位置は一定ではなく、サーバとの相対距離も変動するため、この場合、例えば、使用者が大まかな位置を予め設定しておく。また、PHSを利用した場合には、CSの位置情報等を用いて自動対応する。
【0067】
一方、設定画面314は、実用性重視モード(BUSINESS)の選択時の画面であり、経済性よりも利便性を重視し、送信先のサーバに関係なく、常に一定のインターバルを保つように、使用者が設定できるように構成されている。
【0068】
尚、マニュアル設定モード(USER SETTING)の選択時については、図示していないが、上述の設定画面312と設定画面314の中間形態をとった画面により、使用者の好みに応じて、例えば、同一区域内では長めに設定したり、逆に遠距離では早めに設定したり、送信先のサーバに応じて設定を変えたりすることができるようになされている。
【0069】
上述のような本実施の形態によれば、直接送信モードにおいて、ある撮像画像を送信し終えた後、すぐに別の撮像画像を送信する場合には、上述のインターバル時間内であれば、公衆網との接続は切れていないため、通常の接続時に必要な前処理(公衆網に対する再発呼及びネゴシエーション、及び送信先のサーバとの接続処理等)を自動的にスキップできる。
したがって、一般的に時間のかかる公衆網との接続の前処理を省くことができ、効率的に画像送信が行える。さらには、連続して発生するシャッターチャンスを逃すことを防ぐことができる。
【0070】
(第3の実施の形態)
上述した第1の実施の形態では、上記図2に示したように、撮像部110にて被写体を撮像し、それにより得られた撮像画像をサーバに対して送信するまでの処理において、直接送信モードで送信指示がなされたとき、電波状態が悪く、発信不能又は不安定である場合(ステップS208の判別の結果が「NG」の場合)、カラー液晶143へ通信不能のメッセージ等を表示するようにした。
【0071】
そこで、本実施の形態では、上記の場合、送信予定の撮像画像(未送信画像)を一旦メモリに保存しておき、当該未送信画像の発信処理の完了を待たずに、撮影状態に復帰し、電波状態が安定した時点で、上記メモリに保存した未送信画像を自動的に再送信する。
これを実現するハードウェア及びソフトウェアを構成することで、使用者は、電波状態が回復するまで待つ必要がなくなり、また、発信を行うために電波状態が良好な場所に移動する必要もなくなり、電波状態が回復するまでの間でも撮影が可能となる。すなわち、使用者は、電波状態によって撮影を妨げられることがなくなり、円滑に撮影が行える。
以下、このような本実施の形態の構成の一例について具体的に説明する。
【0072】
まず、ハードウェア的な構成については、上記図1に示した構成と基本的に同様の構成とするが、メイン制御部160内のバッファメモリ163の容量を、第1の実施の形態での構成における容量に比べて大きくする。これは、第1の実施の形態では、バッファメモリ163の用途は、メインCPU161に付随するワークエリアとしての用途が主であったが、本実施の形態では、これに加えて未送信画像を一旦格納しておく画像データバッファとして使用するためである。
【0073】
ここで、未送信画像を一旦格納しておくメモリとして、フラッシュメモリ162ではなくバッファメモリ163を用いる理由としては、バッファメモリ163の方が、フラッシュメモリ162よりも高速アクセスが可能であり、その分、機器の開放(撮影状態に復帰)までの時間が短くてすむからである。また、バッファメモリ163を、必ずしも画像送信のために用いるだけでなく、単なる画像バッファとして使用することで、いわゆる速写撮影用バッファとして有効であるからである。
【0074】
尚、上述のバッファメモリ163を用いる理由の記載は、フラッシュメモリ162よりもバッファメモリ163を用いた方が好ましいということであって、もちろんフラッシュメモリ162を用いることを否定するものではない。すなわち、容量単価の低いフラッシュメモリ162を未送信画像を一旦格納しておくメモリとして用いることで、未送信画像の格納時間はかかるが、より多くの画像をストアしておけるというメリットは無視できない。
また、ここでは、未送信画像を一旦格納しておくメモリとしてバッファメモリ163或いはフラッシュメモリ162を用いるようにしているが、これに限られることはない。例えば、未送信画像を一旦格納しておくための専用メモリを新たに設けるようにしてもよい。
【0075】
そこで、ここでのバッファメモリ163は、例えば、図7のメモリマップに示すように、エリア別の構成としている。
すなわち、バッファメモリ163は、上記図7に示すように、大きく、ワークエリア410と、データエリア420に分かれている。
【0076】
ワークエリア410は、第1の実施の形態にて説明した、画像の圧縮や展開等に使用されるメモリ領域であり、本実施の形態でもその基本的な用途は同様である。
【0077】
データエリア420は、本実施の形態で追加されたメモリ領域であり、ワークエリア410で所定のフォーマットに変換された撮影済み画像(撮影画像)を、当該メモリ領域の容量の範囲内で連続的に、高速に記録するためのメモリ領域である。
データエリア420は、さらに、ファイル管理テーブル(FAT)等を記憶するメモリ領域421と、画像データ等を記憶するメモリ領域422に分かれている。
【0078】
メモリ領域421は、例えば、図8に示すように、各画像ファイル(撮影画像)の情報が集合しており、その内容は、通し番号431、最終更新日時432、スタートアドレス433、及びエンドアドレス434の各情報に加え、撮像装置特有のものとして、撮影解像度や、シャッタースピード、絞り値等の撮影データ435が格納される。
【0079】
特に、ここでは、撮影データ435の領域に、送信待ちフラグ435aを、撮影画像のそれぞれに対して1つずつ追加することを特徴とする。
この送信待ちフラグ435aは、直接送信モードのときに付加され、それ以外のモードのときには無視され、通常の撮影バッファとしての処理が優先される。したがって、送信待ちフラグ435aは、直接送信モードにおいて、撮影時の電波状態によって変化する。
【0080】
図9は、上述の送信待ちフラグ435aへの設定処理を示すフローチャートである。この設定処理は、例えば、メインCPU161によって実行される。
【0081】
先ず、上記図2に示した処理において、ステップS208の判別の結果、画像送信時に電波状態がNGである場合(ステップS441)、フラッシュメモリ162内に保存された撮像画像を、バッファメモリ163のデータ領域420に一旦コピーする(ステップS442)。
尚、本ステップ処理は、撮影直後であり、フラッシュメモリ162に撮像画像が格納する前である場合にはこの限りではない。
【0082】
次に、ステップS442にてバッファメモリ163のデータ領域420にコピーした撮像画像に対応する送信待ちフラグ435aを「ON」に設定するする(ステップS443)。
【0083】
そして、後述する複合機100が有する機能を用いて、送信待ちの画像(未送信画像)があることを使用者に通知し(ステップS444)、直ちに通常状態に復帰する(ステップS445)。
【0084】
上述したステップS444にて述べた複合機100が有する機能としては、例えば、カラー液晶143上に、何枚の未送信画像が残っているかをアイコンによって表示する機能、或いは、LEDを設けて、未送信画像が残っている間は当該LEDを点滅させる機能等が考えられる。
【0085】
ここではその一例として、カラー液晶143上に未送信画像の有無をアイコンによって表示する機能を用いる。
この機能により、カラー液晶143上には、図10に示すように、撮像対象の被写体が表示されている領域451の上部領域452に、未送信画像が2枚残っていることを示す2つのアイコンが表示される。これらのアイコンは、未送信画像の状態で変化し、枚数が増えればその分アイコンの数が増えたり、当該未送信画像が送信中であれば、点滅する等の変化を持って、使用者に未送信画像の状態を知らせる。
【0086】
上述のように、ここでは、電波状態が悪く、発信不能又は不安定である場合には、未送信画像を一旦バッファメモリ163に保存しておき、当該未送信画像の発信処理の完了を待たずに、撮影状態に復帰するように構成したので、使用者は、電波状態が悪いときでも、円滑な撮影が続けられる。
【0087】
バッファメモリ163に一旦保存された未送信画像は、電波状態が回復したときに、自動的に送信される。
【0088】
このため、上述したように、電波状態を監視している通信制御部151は、メインCPU161との間で、常に電波状態に関する情報をやり取りし、メインCPU161は、通信制御部151からの情報を元に通信可能か否かを判別しているが、本実施の形態ではさらに、メインCPU161は、バッファメモリ163に保存されている撮像画像のそれぞれに対して設けられた送信待ちフラグ435aを監視し、それらの送信待ちフラグ435aのうち1つでも送信待ちの画像(フラグ=「ON」の画像)が残っている場合、電波状態が通信可能になった時点で、図11に示すような送信処理をバックグラウンドで自動的に実行する。
【0089】
上記送信処理では、先ず、通信制御部151は、電波状態をチェックし(ステップS461)、電波状態が回復したか否かを判別し(ステップS462)、電波状態が回復した場合、メインCPU161に対して割り込み要求を発する。
尚、ステップS462での判別の結果、電波状態が未だ回復していない場合には、そのまま電波状態のチェックを行なう。
【0090】
メインCPU161は、通信制御部151からの割り込みを受けることで、上述した各撮像画像毎の送信待ちフラグ435aをチェックすることで、送信待ちの画像(フラグ=「ON」の画像)が残っているか否かを判別する(ステップS463)。
【0091】
ステップS463の判別の結果、送信待ちの画像(フラグ=「ON」の画像)が残っていない場合、すなわち全ての送信待ちフラグ435aが「OFF」である場合、そのまま通常処理に復帰する(ステップS466)。
【0092】
一方、ステップS463の判別の結果、送信待ちの画像(フラグ=「ON」の画像)が残っていた場合、メインCPU161は、それまで実行していた処理を一時停止又は分割することで、マルチタスクモードに入る(ステップS464)。
このマルチタスクモードは、通常の撮影や閲覧等の処理と並行して、未送信画像の送信処理を行うモードである。これの実現方法としては、CPUの種類やハードウェア、ソフトウェア構成によって様々なものが考えられる。
【0093】
そして、メインCPU161は、ステップS464の処理により、未送信画像を送信し終えた時点で、当該画像に対応した送信待ちフラグ435a「OFF」に設定する。
また、これと同時に、メインCPU161は、上記図10に示したようなカラー液晶143上の未送信画像の存在を示すアイコンを1つ、当該画面から消去する処理を実行する(ステップS465)。
【0094】
ステップS465の処理後、再びステップS462からの処理が実行される。すなわち、ステップS462〜S465の処理は、バッファメモリ163に保存されている撮像画像のそれぞれに対して設けられた送信待ちフラグ435aが全て「OFF」となるまで繰り返し実行される。
【0095】
したがって、上述のような処理構成により、使用者は、電波状況によらず撮影を続けることが可能となる。よって、本実施の形態によれば、上述した第1の実施の形態での効果に加えて、さらに利便性を高めることができるという効果が得られる。
【0096】
尚、本発明の目的は、上述した各実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が各実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【0097】
プログラムコードを供給するための記憶媒体としては、ROM、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード等を用いることができる。
【0098】
また、コンピュータが読みだしたプログラムコードを実行することにより、各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS等が実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0099】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0100】
【発明の効果】
以上説明したように本発明では、使用者から所定の動作が指示されたことに基づいて、撮像動作と、指定された送信先との通信(無線通信等)とを開始する。これにより、撮像動作により得られた撮像画像は、指定された送信先へ自動的に送信される。
また、このとき、指定された送信先への送信完了後、所定時間(一定のインターバル)を経過してから、該送信先との通信断(通信網との接続を解除)を行う。
【0101】
具体的には例えば、使用者により、操作スイッチによる所定の操作が行われると、本装置の動作モードが所定のモードに切り換わる。該所定のモード下における本装置では、シャッタースイッチが押下されると、被写体の撮像が開始されると共に、予め設定された送信先との無線通信の発呼が行われる(撮像動作と通信動作を同時に開始)。これにより、撮像して得られた撮像画像は、自動的に予め設定された送信先へ送信される。
このような構成により、使用者は、装置の動作モードを所定のモードに切り替る、という簡単な操作を行うだけで、撮影して得た撮像画像を直ちに送信したい送信先へ送ることができる。
したがって、使用者は、従来のように、撮像画像を送信する度に、送信画像の選択、送信モードへのモード切替え、送信先の選択等の操作を繰り返し行う必要はない。このため、連続して撮影を行いながら、それらを逐次送信する場合等においても、一旦撮影を中断する必要はなく、また、シャッターチャンスを逃すことなく、効率的に撮像画像の送信を順次行うことができる。
【0102】
また、撮像画像を送信先へ送信し終えた後、すぐに該送信先との通信を切らずに、一定のインターバルを設けてから通信を終了する。これにより、該一定のインターバル間にシャッタースイッチが押下された場合には、再び発呼手順を経ることはなく、次の撮像画像の送信が行われる。
このような構成により、ある撮像画像を送信し終えた後、すぐに別の撮像画像を送信する場合には、上述のインターバル時間内であれば、公衆網との接続は切れていないため、通常の接続時に必要な前処理(公衆網に対する再発呼及びネゴシエーション、及び送信先のサーバとの接続処理等)を自動的にスキップできる。
したがって、一般的に時間のかかる公衆網との接続の前処理を省くことができ、効率的に画像送信が行える。これは特に、連続撮影時に有効であり、連続して発生するシャッターチャンスを逃すことを防ぐことができる。
【0103】
また、撮像画像を送信先へ送信する際(送信の指示がなされたとき)、通信状態(無線送信の場合には電波状態)が通信に適さない状態である場合、当該撮像画像(未送信画像)を一旦メモリへ保存しておくように構成すれば、使用者は、通信状態が悪いときでも、電波状態が回復するまで待つ必要なく、電波状態が良好な場所に移動する必要もなく、円滑な撮影を続けることができる。さらに、通信状態が通信に適する状態に回復したときに、メモリに一旦保存しておいた撮像画像を自動的に送信するように構成すれば、より利便性が高まる。
したがって、通信状態によらず撮影を続けることが可能となり、利便性をさらに高めることができる。
【図面の簡単な説明】
【図1】第1の実施の形態において、本発明を適用した複合機の構成を示すブロック図である。
【図2】上記複合機での撮像画像の送信までの処理を説明するためのフローチャートである。
【図3】上記複合機での送信先のサーバを選択するための画面を説明するための図である。
【図4】第2の実施の形態において、上記複合機での撮像画像の送信までの処理を説明するためのフローチャートである。
【図5】上記の処理でのインターバルステップ処理の詳細を説明するためのフローチャートである。
【図6】上記インターバルを設定するための画面を説明するための図である。
【図7】第3の実施の形態において、撮像画像送信不可のときに、当該撮像画像を一旦保存する上記複合機のバッファメモリのメモリマップを説明するための図である。
【図8】上記バッファメモリの送信待ちフラグを説明するための図である。
【図9】上記送信待ちフラグへの設定処理を説明するためのフローチャートである。
【図10】送信待ちの画像が存在することを使用者へ通知する機能の一例を説明するための図である。
【図11】上記バッファメモリに一旦保存された撮像画像を通信可能となったときに自動的に送信する処理を説明するためのフローチャートである。
【図12】従来において、撮像装置にて得られた撮像画像を、通信装置にて無線送信するための方法を説明するための図である。
【図13】上記通信装置により撮像画像がサーバに送信される様子を説明するための図である。
【図14】上記撮像装置と上記通信装置の複合機の外観図である。
【図15】上記複合機において、シャッタスイッチを押下されてから撮像画像が得られるまでの従来の処理を説明するためのフローチャートである。
【図16】上記複合機において、撮像画像が得られてから、これを送信するまでの処理を説明するためのフローチャートである。
【符号の説明】
100 複合機
110 撮像部
111 レンズユニット
112 撮像素子(CCD)
113 CCDボード
114 カメラコントローラ
120 画像処理部
121 画像処理CPU
122 バッファメモリ
130 周辺部
131 コントローラ
132 スイッチ群
133 電源部
134 外部入出力部
140 液晶表示部
141 LCDモニタ
142 バックライト/インバータ
143 LCDコントローラ
150 通信部
151 通信コントローラ
152 通信用バッファメモリ
153 シリアルポート
154 IrDAポート
155 RFモジュール
156 アンテナ

Claims (17)

  1. 被写体を撮像して撮像画像を得る撮像手段と、
    所定の動作を指示するための操作手段と、
    送信先と通信して、上記撮像手段により得られた上記撮像画像を該送信先に送信する通信手段と、
    上記操作手段により所定の動作が指示されたことに基づいて、上記撮像手段と上記通信手段との各動作を開始させる制御手段とを有し、
    上記制御手段は、上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信手段を制御することを特徴とする通信装置。
  2. 上記通信手段は、無線通信することを特徴とする請求項1記載の通信装置。
  3. 上記撮像手段により得られた撮像画像をメモリに保存するための記憶制御手段と、
    上記送信先との通信状態を検出する検出手段とを有し、
    上記制御手段は、上記検出手段での検出結果に基づいて、上記撮像画像を上記メモリに一旦保存することを特徴とする請求項1記載の通信装置。
  4. 上記制御手段は、上記検出手段での検出結果により、通信不可である場合には上記撮像画像を上記メモリに一旦保存し、通信可能となった場合には上記メモリに保存した撮像画像を上記通信手段により送信することを特徴とする請求項3記載の通信装置。
  5. 被写体を撮像して得た撮像画像を送信する通信機能を有する撮像装置であって、
    所定の動作を指示するための操作手段と、
    上記操作手段により所定の動作が指示されたことに基づいて、上記の撮像動作と上記通信機能の動作を開始させる制御手段とを有し、
    上記制御手段は、上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信機能を制御することを特徴とする撮像装置。
  6. 上記通信機能は、無線通信することを特徴とする請求項5記載の撮像装置。
  7. 上記撮像画像を保存するためのメモリに保存するための記憶制御手段と、
    上記送信先との通信状態を検出する検出手段とを有し、
    上記制御手段は、上記検出手段での検出結果に基づいて、上記撮像画像を上記メモリに一旦保存することを特徴とする請求項5記載の撮像装置。
  8. 上記制御手段は、上記検出手段での検出結果により、通信不可である場合には上記撮像画像を上記メモリに一旦保存し、通信可能となった場合には上記メモリに保存した撮像画像を上記通信機能により送信することを特徴とする請求項7記載の撮像装置。
  9. 被写体を撮像して撮像画像を得る撮像手段と、所定の動作を指示するための操作手段と、送信先と通信する通信手段と、上記操作手段により所定の動作が指示されたことに基づいて、上記撮像手段と上記通信手段との各動作を開始させる制御手段とを備える通信装置を用いた通信方法であって、
    上記通信手段により送信先と通信して、上記撮像手段により得られた上記撮像画像を該送信先に送信する送信ステップと、
    上記制御手段により、上記送信ステップによる上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信手段を制御する制御ステップと
    を有することを特徴とする通信方法。
  10. 上記通信装置は、上記撮像手段により得られた撮像画像をメモリに保存するための記憶制御手段と、上記送信先との通信状態を検出する検出手段とを備え、
    上記制御ステップは、上記検出手段での検出結果に基づいて、上記撮像画像を上記メモリに一旦保存することを特徴とする請求項9記載の通信方法。
  11. 上記制御ステップは、上記検出手段での検出結果により、通信不可である場合には上記撮像画像を上記メモリに一旦保存し、通信可能となった場合には上記メモリに保存した撮像画像を上記通信手段により送信することを特徴とする請求項10記載の通信方法。
  12. 送信先と通信する通信手段と、所定の動作を指示するための操作手段と、上記操作手段により所定の動作が指示されたことに基づいて、上記の撮像動作と上記通信手段の動作を開始させる制御手段とを備える撮像装置を用いた撮像方法であって、
    上記通信手段により、被写体を撮像して得た撮像画像を送信する送信ステップと、
    上記制御手段により、上記送信ステップで上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信手段を制御する制御ステップと
    を有することを特徴とする撮像方法。
  13. 上記撮像装置は、上記撮像画像を保存するためのメモリに保存するための記憶制御手段と、上記送信先との通信状態を検出する検出手段とを有し、
    上記制御ステップは、上記検出手段での検出結果に基づいて、上記撮像画像を上記メモリに一旦保存することを特徴とする請求項12記載の撮像方法。
  14. 上記制御ステップは、上記検出手段での検出結果により、通信不可である場合には上記撮像画像を上記メモリに一旦保存し、通信可能となった場合には上記メモリに保存した撮像画像を上記通信手段により送信することを特徴とする請求項13記載の撮像方法。
  15. 上記検出手段による検出ステップ、または上記検出結果に基づく上記制御ステップと平行して、上記撮像手段による撮影ステップを可能とするマルチタスクモードを有することを特徴とする請求項14記載の撮像方法。
  16. 被写体を撮像して撮像画像を得る撮像手段と、所定の動作を指示するための操作手段と、送信先と通信する通信手段と、上記操作手段により所定の動作が指示されたことに基づいて、上記撮像手段と上記通信手段との各動作を開始させる制御手段とを備える通信装置用のプグラムを記録した記憶媒体であって、
    上記通信手段により送信先と通信して、上記撮像手段により得られた上記撮像画像を該送信先に送信する送信ステップと、
    上記制御手段により、上記送信ステップによる上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信手段を制御する制御ステップと
    をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
  17. 送信先と通信する通信手段と、所定の動作を指示するための操作手段と、上記操作手段により所定の動作が指示されたことに基づいて、上記の撮像動作と上記通信手段の動作を開始させる制御手段とを備える撮像装置用のプグラムを記録した記憶媒体であって、
    上記通信手段により、被写体を撮像して得た撮像画像を送信する送信ステップと、
    上記制御手段により、上記送信ステップで上記撮像画像の送信完了後、所定時間経過してから送信先との通信を終了するように、上記通信手段を制御する制御ステップと
    をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
JP23719199A 1998-09-30 1999-08-24 通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体 Expired - Fee Related JP3710335B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP23719199A JP3710335B2 (ja) 1998-09-30 1999-08-24 通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体
US09/406,697 US7062230B1 (en) 1998-09-30 1999-09-28 Communication device, image-pickup device, storage medium and communication method
US11/358,053 US7477880B2 (en) 1998-09-30 2006-02-22 Communication device, image-pickup device, storage medium and communication method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP27863398 1998-09-30
JP10-278633 1998-09-30
JP23719199A JP3710335B2 (ja) 1998-09-30 1999-08-24 通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2000175092A JP2000175092A (ja) 2000-06-23
JP3710335B2 true JP3710335B2 (ja) 2005-10-26

Family

ID=26533093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23719199A Expired - Fee Related JP3710335B2 (ja) 1998-09-30 1999-08-24 通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体

Country Status (2)

Country Link
US (2) US7062230B1 (ja)
JP (1) JP3710335B2 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3710335B2 (ja) * 1998-09-30 2005-10-26 キヤノン株式会社 通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体
US8046270B2 (en) 2000-05-19 2011-10-25 Eastman Kodak Company System and method for providing image products and/or services
US9622058B1 (en) 2000-06-02 2017-04-11 Timothy G. Newman Apparatus, system, methods and network for communicating information associated with digital images
US7978219B1 (en) * 2000-08-30 2011-07-12 Kevin Reid Imes Device, network, server, and methods for providing digital images and associated processing information
US8326352B1 (en) 2000-09-06 2012-12-04 Kevin Reid Imes Device, network, server, and methods for providing service requests for wireless communication devices
JP4573974B2 (ja) * 2000-09-11 2010-11-04 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法、記憶媒体
JP4543535B2 (ja) 2000-10-26 2010-09-15 株式会社ニコン 無線通信ユニットおよびカメラシステム
JP2002171434A (ja) * 2000-12-04 2002-06-14 Nikon Corp 電子カメラ
JP4434501B2 (ja) * 2001-01-16 2010-03-17 富士フイルム株式会社 デジタルカメラ、クレードル及びカメラシステム
US7430001B2 (en) * 2002-04-12 2008-09-30 Canon Kabushiki Kaisha Image sensing system, communication apparatus and image sensing apparatus having remote control function, and their control method
US7764308B2 (en) 2002-05-27 2010-07-27 Nikon Corporation Image transmission system, image relay apparatus, and electronic image device
WO2003104997A1 (ja) * 2002-06-10 2003-12-18 株式会社エヌ・ティ・ティ・ドコモ Icカード、端末装置及びデータ通信方法
US20040002302A1 (en) * 2002-06-26 2004-01-01 Fuji Photo Film Co., Ltd. Image data transmission method, portable terminal apparatus, image processing method, image processing apparatus, and computer program therefor
US7543027B1 (en) * 2003-01-24 2009-06-02 Unisys Corporation Operator messaging within an environment for operating multiple computing systems
JP2004274525A (ja) 2003-03-11 2004-09-30 Sanyo Electric Co Ltd ディジタルカメラ
JP3927140B2 (ja) * 2003-03-28 2007-06-06 株式会社東芝 無線通信機器および同無線通信機器による画像提供方法
US20060268122A1 (en) * 2003-09-01 2006-11-30 Mariko Iwasaki Camera having transmission function, mobile telephone device, and image data acquiring/transmitting program
JP2007520934A (ja) 2003-12-24 2007-07-26 ウオーカー ディジタル、エルエルシー 画像を自動的に捕捉し、管理する方法および装置
US20060018314A1 (en) * 2004-07-20 2006-01-26 Inventec Appliances Corporation Method of downloading data from PC to PHS or vice versa
JP4564810B2 (ja) * 2004-09-14 2010-10-20 キヤノン株式会社 撮像装置
JP4724512B2 (ja) * 2005-09-13 2011-07-13 キヤノン株式会社 撮像装置、制御方法、制御プログラム及び記憶媒体
JP2007150782A (ja) 2005-11-29 2007-06-14 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
US8644702B1 (en) 2005-12-28 2014-02-04 Xi Processing L.L.C. Computer-implemented system and method for notifying users upon the occurrence of an event
WO2008016113A1 (fr) * 2006-08-04 2008-02-07 Nikon Corporation Dispositif de stockage externe et caméra
EP2063627A4 (en) * 2006-08-23 2016-02-24 Nikon Corp ELECTRONIC CAMERA AND IMAGE TRANSFER METHOD USED IN AN ELECTRONIC CAMERA
US8745255B2 (en) * 2009-02-24 2014-06-03 Microsoft Corporation Configuration and distribution of content at capture
JP5274367B2 (ja) * 2009-05-11 2013-08-28 キヤノン株式会社 撮像装置、及び画像送信方法
JP5473470B2 (ja) * 2009-08-10 2014-04-16 キヤノン株式会社 電子機器およびその制御方法、プログラム
JP5412240B2 (ja) 2009-11-04 2014-02-12 ルネサスエレクトロニクス株式会社 画像処理用半導体装置および画像処理装置
JP4677504B2 (ja) * 2010-03-23 2011-04-27 キヤノン株式会社 撮像装置
JP4621298B2 (ja) * 2010-03-23 2011-01-26 キヤノン株式会社 撮像装置
JP5188618B2 (ja) * 2011-11-10 2013-04-24 キヤノン株式会社 撮像装置、及び画像送信方法
JP5718392B2 (ja) * 2013-03-11 2015-05-13 オリンパスイメージング株式会社 情報機器および情報機器の制御方法
JP6210722B2 (ja) * 2013-05-08 2017-10-11 株式会社ミツトヨ 画像測定装置及び画像測定プログラム
CN103596160B (zh) * 2013-11-25 2017-02-15 联想(北京)有限公司 一种数据传输方法和装置
JP6448292B2 (ja) * 2014-10-16 2019-01-09 キヤノン株式会社 撮影システムおよびその撮影制御方法、プログラム
JP7097694B2 (ja) * 2017-12-26 2022-07-08 キヤノン株式会社 通信装置およびその制御方法
JP7403279B2 (ja) * 2019-10-31 2023-12-22 キヤノン株式会社 画像処理装置および画像処理方法
JP7469884B2 (ja) * 2020-01-15 2024-04-17 キヤノン株式会社 画像処理装置およびその制御方法、プログラム、並びに記憶媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3273192B2 (ja) 1991-12-17 2002-04-08 コニカ株式会社 送信機能付きカメラ、受信機能付き記録装置、及び通信ネットワーク上のデータベース、並びに、これらを用いた画像送受信システム及びその画像送受信方法
US5533097A (en) * 1992-02-26 1996-07-02 Motorola, Inc. Portable communication system comprising a local and wide area communication units which can store a communication when the wide area communication system is not available
JP3059841B2 (ja) 1992-10-15 2000-07-04 京セラ株式会社 携帯電話機能付電子スチルカメラ
US5893037A (en) * 1994-12-09 1999-04-06 Eastman Kodak Company Combined electronic/silver-halide image capture system with cellular transmission capability
US5666159A (en) * 1995-04-24 1997-09-09 Eastman Kodak Company Electronic camera system with programmable transmission capability
US5819184A (en) * 1995-06-07 1998-10-06 Pacific Communication Sciences, Inc. Portable communications and data terminal operating to optimize receipt of both incoming CDPD and AMPS messages
US5909648A (en) * 1996-04-11 1999-06-01 Northern Telecom Limited Network interface and method for providing complete reception of data
US5806005A (en) * 1996-05-10 1998-09-08 Ricoh Company, Ltd. Wireless image transfer from a digital still video camera to a networked computer
US6122521A (en) * 1996-08-20 2000-09-19 Wilkinson; Dian Telecommunications locating system
US6249681B1 (en) * 1997-04-01 2001-06-19 Nokia Mobile Phones Ltd. Method and apparatus for packet data call re-establishment in a telecommunications system
JP3535693B2 (ja) * 1997-04-30 2004-06-07 キヤノン株式会社 携帯電子機器、画像処理方法、撮像装置及びコンピュータ読み取り可能な記録媒体
JP3639730B2 (ja) * 1997-09-30 2005-04-20 キヤノン株式会社 画像処理方法、画像処理装置及び記憶媒体
JPH11237191A (ja) 1998-02-19 1999-08-31 Daido Steel Co Ltd 炉頂予熱装置から排出される排ガスの処理装置
JP3710335B2 (ja) * 1998-09-30 2005-10-26 キヤノン株式会社 通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体

Also Published As

Publication number Publication date
US7062230B1 (en) 2006-06-13
US20060142059A1 (en) 2006-06-29
US7477880B2 (en) 2009-01-13
JP2000175092A (ja) 2000-06-23

Similar Documents

Publication Publication Date Title
JP3710335B2 (ja) 通信装置、撮像装置、通信方法、撮像方法、及び記憶媒体
US7961217B2 (en) Notification of operating status in image sensing system
JP5110805B2 (ja) 有線及び無線通信可能な通信端末、通信方法、プログラム
US7907583B2 (en) Communication terminal apparatus, communication method thereof, and connected destination selection method in wireless LAN
JP2000165726A (ja) 通信装置及び方法
KR101606134B1 (ko) 휴대용 단말기에서 이미지 인식을 통하여 디바이스 연결을 수행하기 위한 장치 및 방법
JP2002094848A (ja) 画像通信装置、画像入力装置および画像出力装置
JP2003087618A (ja) デジタルカメラシステム、画像蓄積装置、およびデジタルカメラ
US7164857B2 (en) Communication terminal and program
JP4574077B2 (ja) 通信システム、無線通信装置、及び撮像装置
JP2003141005A (ja) データ転送装置、画像入出力装置、データ転送制御方法、記憶媒体、及びプログラム
JP3706824B2 (ja) 画像データ送信方法、通信装置、画像データ送信プログラム、および記憶媒体
JP2003309694A (ja) 情報送信装置
JP4272942B2 (ja) 撮像装置
JP2004180077A (ja) 通信装置及び通信方法
JP2002291052A (ja) 携帯電話
JP2002077701A (ja) デジタルカメラおよび携帯電話
JP4055047B2 (ja) 通信機器、通信システム、通信方法及び通信プログラム
JP2003348516A (ja) 画像伝送システム、画像中継装置および電子画像機器
JP2004112007A (ja) 端末装置およびデータ通信システムおよびデータ通信制御方法およびデータ通信方法およびコンピュータが読み取り可能な記憶媒体およびプログラム
JP2005191991A (ja) 情報処理装置
JP2002101327A (ja) 撮像装置及び方法、並びに記憶媒体、並びに通信装置及び方法、並びに記憶媒体
JP2005309996A (ja) 電子装置
JP2000224453A (ja) 通信装置
JP2000253290A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20031225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050809

R150 Certificate of patent or registration of utility model

Ref document number: 3710335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080819

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090819

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090819

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100819

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110819

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120819

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120819

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130819

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees