JP4370808B2 - 通信システムおよび端末機器並びに通信方法 - Google Patents

通信システムおよび端末機器並びに通信方法 Download PDF

Info

Publication number
JP4370808B2
JP4370808B2 JP2003140377A JP2003140377A JP4370808B2 JP 4370808 B2 JP4370808 B2 JP 4370808B2 JP 2003140377 A JP2003140377 A JP 2003140377A JP 2003140377 A JP2003140377 A JP 2003140377A JP 4370808 B2 JP4370808 B2 JP 4370808B2
Authority
JP
Japan
Prior art keywords
terminal device
network
connection
peer
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003140377A
Other languages
English (en)
Other versions
JP2004343619A (ja
Inventor
宏 湊川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2003140377A priority Critical patent/JP4370808B2/ja
Publication of JP2004343619A publication Critical patent/JP2004343619A/ja
Application granted granted Critical
Publication of JP4370808B2 publication Critical patent/JP4370808B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はデータ通信方法およびシステム並びに端末機器に係り、特にネットワーク接続される端末機器間におけるデータ通信に好適なデータ通信技術に関する。
【0002】
【従来の技術】
光ファイバ網などの高速通信回線網の整備や高速通信技術の普及によって、情報伝達の形態は電話やファクシミリによる情報伝達からインターネットや電子メールを用いた情報伝達に推移し、高速通信回線網を用いて動画像などの大容量データを瞬時に送ることが可能になった。また、画像処理技術の進歩やデバイスの高速化、大容量化によって、前述した高速通信回線網を利用して遠隔地において撮影された動画像をリアルタイムで見ることができるようになり、画像と音声とをほぼ同時に送信できるテレビ電話が実現されるようになった。
【0003】
特許文献1に開示された留守番テレビ電話は、音声回線とデータ回線とに接続でき、着信側では映像のみ、または映像および音声が設定できる留守番設定手段を備える。映像のみが設定されている場合には音声回線接続拒否ステータスを相手側に送信し、相手側では音声回線接続拒否ステータスを受信したときには、音声回線接続拒否ステータスに付された理由コードを判別し、データ回線呼設定を相手側に送出する制御を行う。
【0004】
【特許文献1】
特開平6−197338号公報
【0005】
【発明が解決しようとする課題】
しかしながら、テレビ電話では、いきなり相手に電話をかけるという現状であり、これから電話をかける相手のステータスを知ることはできず、電話をかけてよいか否かを知り得なかった。
【0006】
特許文献1に開示された留守番テレビ電話は、着信側の設定が映像のみ(音声着信拒否)である場合には、相手側に音声接続拒否ステータスとデータ回線の呼設定とを返すので、着信側の設定が映像のみである場合には音声回線が接続されず、着信側の設定を反映することが可能であるが、着信側を呼び出す前に着信側のステータスを知り得ない。
【0007】
また、ネットワークを介して行われるデータ通信では、ネットワークサーバによってシステム制御およびデータ管理が行われる場合には、ネットワークサーバの処理負担が増大し、システム制御の不安定化や通信速度の低下などの問題が発生することがある。
【0008】
本発明はこのような事情を鑑みてなされたもので、呼び出す相手の状況を把握して、相手の都合に配慮した通信を可能にし、サーバの負担を軽減できる通信システムおよび端末機器並びに通信方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
記目的を達成するために本発明に係るデータ通信システムは、ネットワークに接続されたサーバと、前記ネットワークを介して前記サーバと接続される第1の端末機器および第2の端末機器を含む複数の端末機器と、から成る通信システムであって、前記サーバは、前記ネットワークに接続されている端末機器の前記ネットワーク上の位置を示す位置情報を管理するとともに、前記ネットワークへ接続を要求している端末機器に対して個別の位置情報を付与する位置情報管理手段と、前記ネットワークへの接続を確立した端末機器に対して、前記位置情報管理手段によって管理されている前記ネットワークへの接続を確立している他の端末機器の位置情報を提供する位置情報提供手段と、を備え、前記第1の端末機器は、当該第1の端末機器のステータス情報に含まれる画像を撮像する撮像手段と、前記サーバに対して前記ネットワークへの接続を要求し、前記ネットワークへの接続を確立させる制御を行う第1の接続制御手段と、前記サーバの位置情報提供手段によって提供される前記ネットワークへの接続を確立している他の端末機器の位置情報を取得する第1の位置情報取得手段と、前記位置情報取得手段により前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記第2の端末機器に対して前記サーバを介在せずにデータ通信を行うためのピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行う第1のピア・ツー・ピア接続制御手段と、前記撮像手段によって撮像された画像を含む前記第1の端末機器の前記ステータス情報を、前記サーバを介在せずに前記ネットワークを介して前記ピア・ツー・ピア接続によって前記第2の端末機器へ送出するステータス情報送出手段と、を備え、前記第2の端末機器は、前記サーバに対して前記ネットワークへの接続を要求し、前記ネットワークへの接続を確立させる制御を行う第2の接続制御手段と、前記サーバの前記位置情報提供手段によって提供される前記ネットワークへの接続を確立している他の端末機器の位置情報を取得する第2の位置情報取得手段と、前記位置情報取得手段によって前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記第1の端末機器に対して前記サーバを介在せずにデータ通信を行うためのピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行う第2のピア・ツー・ピア接続制御手段と、前記第1の端末機器のステータス情報送出手段によって送出された前記ステータス情報を取得するステータス情報取得手段と、前記ステータス情報取得手段によって取得したステータス情報を表示する表示手段と、を備え、前記端末機器は、他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始することを特徴としている。また、上記目的を達成するために本発明に係るデータ通信システムは、ネットワークに接続されたサーバと、前記ネットワークを介して前記サーバと接続される第1の端末機器および第2の端末機器を含む複数の端末機器と、から成る通信システムであって、前記サーバは、前記ネットワークに接続されている端末機器の前記ネットワーク上の位置を示す位置情報を管理するとともに、前記ネットワークへ接続を要求している端末機器に対して個別の位置情報を付与する位置情報管理手段と、前記ネットワークへの接続を確立した端末機器に対して、前記位置情報管理手段によって管理されている前記ネットワークへの接続を確立している他の端末機器の位置情報を提供する位置情報提供手段と、を備え、前記第1の端末機器は、当該第1の端末機器のステータス情報に含まれる画像を撮像する撮像手段と、前記サーバに対して前記ネットワークへの接続を要求し、前記ネットワークへの接続を確立させる制御を行う第1の接続制御手段と、前記サーバの位置情報提供手段によって提供される前記ネットワークへの接続を確立している他の端末機器の位置情報を取得する第1の位置情報取得手段と、前記位置情報取得手段により前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記第2の端末機器に対して前記サーバを介在せずにデータ通信を行うためのピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行う第1のピア・ツー・ピア接続制御手段と、前記撮像手段によって撮像された画像を含む前記第1の端末機器の前記ステータス情報を、前記サーバを介在せずに前記ネットワークを介して前記ピア・ツー・ピア接続によって前記第2の端末機器へ送出するステータス情報送出手段と、を備え、前記第2の端末機器は、前記サーバに対して前記ネットワークへの接続を要求し、前記ネットワークへの接続を確立させる制御を行う第2の接続制御手段と、前記サーバの前記位置情報提供手段によって提供される前記ネットワークへの接続を確立している他の端末機器の位置情報を取得する第2の位置情報取得手段と、前記位置情報取得手段によって前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記第1の端末機器に対して前記サーバを介在せずにデータ通信を行うためのピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行う第2のピア・ツー・ピア接続制御手段と、前記第1の端末機器のステータス情報送出手段によって送出された前記ステータス情報を取得するステータス情報取得手段と、前記ステータス情報取得手段によって取得したステータス情報を表示する表示手段と、を備え、前記端末機器は、他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始し、前記他の端末機器との音声による通話を終了すると、自動的に前記ネットワークとの再接続を行うことを特徴としている。
【0010】
本発明によれば、サーバは、位置情報管理手段によってネットワークへ接続される端末機器のネットワーク上の位置を示す位置情報を管理し、位置情報提供手段によって該位置情報を該ネットワークに接続される端末機器へ提供する。第1の端末機器は、位置情報取得手段によって該位置情報を前記サーバから取得し、ピア・ツー・ピア接続制御手段によって第2の端末機器とのピア・ツー・ピア接続を確立し、第1の端末機器に備えられた撮像手段を用いて撮像された画像を含んだ第1の端末機器のステータス情報をステータス情報送出手段によって第2の端末機器へ送出する。第2の端末機器では、第1の端末機器から送出されたステータス情報をステータス情報取得手段によって取得し、該ステータス情報は第2の端末機器に備えられた表示装置に表示される。したがって、第2の端末機器は第1の端末機器のステータス情報によって該端末機器を利用する者の状況を把握することができ、また、ピア・ツー・ピア接続によってステータス情報をやり取りするのでサーバ負荷を軽減することができる。また、ステータス情報を画像とすると、相手の様子が一目で分かり便利である。
【0011】
位置情報には、IP(internet protocol )ネットワークに接続される機器に一義的に割り振られるIPアドレスやMac アドレスなどを適用してもよいし、該端末機器をネットワーク上で特定できる情報であれば任意のユーザIDなど他の情報を適用してもよい。
【0012】
画像には、例えば、JPEG形式やGIF 形式などの圧縮形式が適用される。もちろん他の圧縮形式を用いてもよい。
【0013】
端末機器がネットワークへの接続を切断すると、該端末機器に割り振られた位置情報はサーバから消去され、該端末機器が再度ネットワークへ接続された場合に新たに位置情報を割り振り、これをサーバが管理する態様としてもよいし、各端末機器には予め固有の端末機器情報が割り振られ、これをサーバが管理する態様でもよい。
【0014】
ピア・ツー・ピア接続は、サーバを経由せずに少なくとも2つの端末機器間でデータ通信を行う態様であり、ネットワーク上でのデータ通信やネットワーク上でのデータの共有に、サーバの処理負担を軽くする目的でよく用いられる。
【0015】
ネットワーク上でデータを共有する態様は、データの検索システムなどをサーバに置き、データのみを端末機器に置く態様でもよいし、データの検索システムなどとデータとを端末機器に置く態様でもよい。
【0016】
ステータス情報は静止画像でもよいし動画像でもよい。間欠画像やフレームレート(フレーム更新周期)が長いものでもよい。また、文字やコード、記号などで表示されてもよいし、音声情報でもよい。
【0017】
ネットワークには、インターネット、LAN等を含んだ、複数の機器間で情報通信が行えるように接続することを示している。ネットワークの通信形態には有線、無線および赤外線などがあり、通信プロトコルにはTCP/IPやUDP/IPなどがある。なお、他のネットワーク形態や他の通信プロトコルを適用してもよい。
【0018】
サーバは単一のコンピュータで構成されていてもよいし、複数のコンピュータで構成されていてもよい。また、前記ネットワークは、電話回線網あるいは電話回線網と兼用可能なハイブリッド回線網を含み、前記端末機器は、所望の相手を呼び出す呼出信号を送出し、呼出相手が前記呼出信号に応答すると電話通話接続を行い、音声による通話をすることができる電話通話手段を備える態様や、前記端末機器は、他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始する態様も好ましい。また、前記端末機器は、前記他の端末機器との音声による通話を終了すると、自動的に前記ネットワークとの再接続を行う態様も好ましく、前記通信システムは、テレビ電話システムを含む態様も好ましい。
【0019】
また、記目的を達成するために本発明に係る端末機器は、ネットワークに接続可能な端末機器であって、当該端末機器のステータス情報に含まれる画像を撮像する撮像手段と、前記ネットワーク上のサーバに対して前記ネットワークへの接続を要求し、前記サーバから付与される当該端末機器の個別の位置情報を取得して前記ネットワークへの接続を確立させる制御を行う接続制御手段と、前記ネットワークへの接続を確立している他の端末機器の位置情報を前記ネットワーク上のサーバから取得する位置情報取得手段と、前記位置情報取得手段によって前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記ネットワークへの接続を確立している他の端末機器に対して前記サーバを介在せずにピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行うピア・ツー・ピア接続制御手段と、前記撮像手段によって撮像された画像を含んだ自己の端末機器のステータス情報を前記ピア・ツー・ピア接続された他の端末機器へ送出するステータス情報送出手段と、前記ピア・ツー・ピア接続制御手段によってピア・ツー・ピア接続される他の端末機器から送出される他の端末機器のステータス情報を取得するステータス情報取得手段と、前記ステータス情報取得手段によって取得されたステータス情報を表示する表示手段と、を備え、他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始することを特徴としている。また、上記目的を達成するために本発明に係る端末機器は、ネットワークに接続可能な端末機器であって、当該端末機器のステータス情報に含まれる画像を撮像する撮像手段と、前記ネットワーク上のサーバに対して前記ネットワークへの接続を要求し、前記サーバから付与される当該端末機器の個別の位置情報を取得して前記ネットワークへの接続を確立させる制御を行う接続制御手段と、前記ネットワークへの接続を確立している他の端末機器の位置情報を前記ネットワーク上のサーバから取得する位置情報取得手段と、前記位置情報取得手段によって前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記ネットワークへの接続を確立している他の端末機器に対して前記サーバを介在せずにピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行うピア・ツー・ピア接続制御手段と、前記撮像手段によって撮像された画像を含んだ自己の端末機器のステータス情報を前記ピア・ツー・ピア接続された他の端末機器へ送出するステータス情報送出手段と、前記ピア・ツー・ピア接続制御手段によってピア・ツー・ピア接続される他の端末機器から送出される他の端末機器のステータス情報を取得するステータス情報取得手段と、前記ステータス情報取得手段によって取得されたステータス情報を表示する表示手段と、を備え、他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始し、前記他の端末機器との音声による通話を終了すると、自動的に前記ネットワークとの再接続を行うことを特徴としている。
【0020】
本発明によれば、接続制御手段によってネットワークへの接続が確立されると、該ネットワークへ接続されている端末機器の該ネットワーク上での位置を示す位置情報を位置情報取得手段によってサーバから取得することができ、ピア・ツー・ピア接続制御手段によって該ネットワークに接続される他の端末機器とのピア・ツー・ピア接続を確立し、撮像手段によって撮像された画像を含んだステータス情報を他の端末機器へ送出することができる。また、他の端末機器から送出される他の端末機器のステータス情報をステータス情報取得手段によって取得し、該ステータス情報を表示手段に表示することができる。
【0021】
サーバと該端末機器を少なくとも2つ備えたネットワークシステムでは、複数の端末機器間で相互に画像を含んだステータス情報をやり取りすることが可能になる。
【0022】
表示装置に表示されるステータス情報を定期的に更新する制御を行うステータス情報制御手段を備える態様が好ましい。ステータス情報を更新する態様は、他の端末機器からステータス情報が送られてくるごとに更新を行う態様でもよいし、ユーザが操作手段によってステータス情報の更新操作を行うとステータス情報が更新される態様でもよい。
【0023】
撮像手段と端末機器とは分離可能に構成されていてもよい。また、撮像手段で生成される画像はカラーでもよいし白黒でもよい。撮像手段によって生成される画像を白黒とすると、端末機器での画像処理が速くなり、また、データ容量を少なくできるので、通信速度や各端末機器での処理への影響が少ない。
【0024】
本発明の一態様によれば、前記ステータス情報送出手段は、前記撮像手段によって撮像された画像を送出しない場合には、前記画像に代わるステータス情報をピア・ツー・ピア接続された端末機器へ送出することを特徴としている。
【0025】
かかる態様によれば、画像送出を停止する設定がなされた場合など撮像手段によって撮像された画像を送出しない場合には、該画像に代わり他の情報を送出することができる。撮像手段によって撮像された画像に代わる情報には、予め用意されている静止画像、動画像でもよいし、メッセージなどの文字情報、音声情報でもよい。
【0026】
本発明の他の態様によれば、所望の相手を呼び出す呼出信号を送出し、呼出相手が前記呼出信号に応答すると電話通話接続を行い、音声による通話をすることができる電話通話手段を備えたことを特徴としている。
【0027】
ステータス情報によって相手の様子を確認してから電話通話手段によって音声による通話を行うことが可能になる。
【0028】
さらに、本発明の他の態様によれば、前記ネットワークは電話回線網を含み、前記表示手段に表示された通話相手のステータス情報を前記電話通話接続を行う前に確認できることを特徴としている。
【0029】
ネットワークによるデータ通信と電話回線網による通話とを同時に行うことのできないハイブリッド回線では通話の際にはデータ通信を一時停止し、通話を確立させればよい。また、通話が終了すると、自動的にデータ通信を再開できるようにネットワークへの接続処理を行うよう制御する態様が好ましい。
【0030】
ハイブリッド回線には、電話、ファクシミリ、データ通信などを統合して1つの通信網に接続する通信回線などがあり、回線の一部が統合される態様でもよいし、すべての回線が統合される態様でもよい。
【0031】
電話回線には、固定電話回線や公衆電話回線が含まれていてもよいし、また、無線電話網や携帯電話網が含まれていてもよい。前記ステータス情報を前記表示手段に表示中に所望の相手を呼び出す呼出信号の送出が可能とする態様も好ましい。前記表示手段は、同一グループに属する他の端末機器のステータス情報を同時表示するか、または一定時間間隔で切換表示する態様も好ましく、前記表示手段は、ネットワークに接続されていない他の端末機器のステータス情報を表示しない態様も好ましい。また、前記ステータス情報は、動画映像や通信拒否を示すメッセージ、ステータス情報非公開を示すメッセージを含む態様も好ましい。前記端末機器は、他の端末機器の個別の位置情報を記憶するアドレス帳を備える態様も好ましい。
【0032】
また、上記目的を達成するために本発明に係るデータ通信方法は、ネットワークに接続されるサーバと、前記ネットワークを介して前記サーバと接続可能な複数の端末機器と、から成る通信システムにおける通信方法であって、前記端末機器に備えられた撮像手段によって当該端末機器のステータス情報に含まれる画像を撮像する撮像工程と、前記ネットワークに接続可能な端末機器から前記サーバに対して前記ネットワークへの接続が要求されると、前記ネットワーク上の当該端末機器の位置を示す固有の位置情報が前記サーバから付与され、当該端末機器の前記ネットワークへの接続を確立させる接続工程と、前記接続工程によって前記ネットワークに接続された端末機器に対して、前記サーバから前記ネットワークへの接続を確立している他の端末機器の位置情報が提供される位置情報提供工程と、前記位置情報提供工程によって、前記サーバから提供された前記他の端末機器の位置情報を、当該端末機器が取得する位置情報取得工程と、前記位置情報取得工程によって、前記他の端末機器の位置情報を当該端末機器が取得すると、前記他の端末機器の位置情報に基づいて当該端末機器が前記他の端末機器に対して前記サーバを介在せずにピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させるピア・ツー・ピア接続工程と、前記ピア・ツー・ピア接続工程において当該端末機器と前記他の端末機器との間のピア・ツー・ピア接続が確立されると、前記撮像工程によって撮像された当画像を含む該端末機器のステータス情報を、前記サーバを介在せずに前記ネットワークを介して前記他の端末機器へ送出するステータス情報送出工程と、前記ステータス情報送出工程において送出された当該端末機器のステータス情報を前記他の端末機器が取得するステータス情報取得工程と、前記ステータス情報取得工程によって前記他の端末機器が取得した当該端末機器のステータス情報を前記他の端末機器に備えられた表示装置に表示するステータス情報表示工程と、他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始する工程と、を含むことを特徴としている。また、上記目的を達成するために本発明に係るデータ通信方法は、ネットワークに接続されるサーバと、前記ネットワークを介して前記サーバと接続可能な複数の端末機器と、から成る通信システムにおける通信方法であって、前記端末機器に備えられた撮像手段によって当該端末機器のステータス情報に含まれる画像を撮像する撮像工程と、前記ネットワークに接続可能な端末機器から前記サーバに対して前記ネットワークへの接続が要求されると、前記ネットワーク上の当該端末機器の位置を示す固有の位置情報が前記サーバから付与され、当該端末機器の前記ネットワークへの接続を確立させる接続工程と、前記接続工程によって前記ネットワークに接続された端末機器に対して、前記サーバから前記ネットワークへの接続を確立している他の端末機器の位置情報が提供される位置情報提供工程と、前記位置情報提供工程によって、前記サーバから提供された前記他の端末機器の位置情報を、当該端末機器が取得する位置情報取得工程と、前記位置情報取得工程によって、前記他の端末機器の位置情報を当該端末機器が取得すると、前記他の端末機器の位置情報に基づいて当該端末機器が前記他の端末機器に対して前記サーバを介在せずにピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させるピア・ツー・ピア接続工程と、前記ピア・ツー・ピア接続工程において当該端末機器と前記他の端末機器との間のピア・ツー・ピア接続が確立されると、前記撮像工程によって撮像された当画像を含む該端末機器のステータス情報を、前記サーバを介在せずに前記ネットワークを介して前記他の端末機器へ送出するステータス情報送出工程と、前記ステータス情報送出工程において送出された当該端末機器のステータス情報を前記他の端末機器が取得するステータス情報取得工程と、前記ステータス情報取得工程によって前記他の端末機器が取得した当該端末機器のステータス情報を前記他の端末機器に備えられた表示装置に表示するステータス情報表示工程と、他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始する工程と、前記他の端末機器との音声による通話を終了すると、自動的に前記ネットワークとの再接続を行う工程と、を含むことを特徴としている。
【0033】
サーバはネットワークに接続される端末機器をグループに分別し、グループごとに位置情報の管理やネットワークの管理を行う態様が好ましい。
【0034】
【発明の実施の形態】
以下、添付図面に従って本発明の好ましい実施の形態について説明する。
【0035】
図1は、本発明の実施形態に係るデータ通信システムのブロック図である。
【0036】
センターサーバ10とクライアント機器12、14、16および18とはネットワーク20に接続されている。
【0037】
ネットワーク20の通信プロトコルにはTCP/IP適用され、ネットワーク20の回線は光ファイバーなどの高速通信回線網によって構成されている。なお、ネットワーク20は少なくともその一部が電話回線網で構成される態様や電話回線網と兼用されるハイブリッド回線として構成される態様でもよい。
【0038】
また、通信プロトコルにはTCP/IPだけでなく、UDP/IPなど他のプロトコルを適用してもよい。
【0039】
センターサーバ10は、ネットワーク20に接続されるクライアントの情報を管理するユーザデータベースや、ネットワーク20上で共有されている各種データが保存されているストレージ22を有している。
【0040】
各クライアント機器がネットワーク20に接続される際には、センターサーバ10によってIPアドレスが発行される。センターサーバ10がクライアント機器にIPアドレスを発行する態様には、クライアント機器がネットワーク20へ接続されるたびにIPアドレス(プライベートIPアドレス)を発行し、クライアント機器がネットワーク20との接続を切断した際には該クライアント機器に割り発行されたIPアドレスを削除する態様や、クライアント機器ごとに固定IPアドレス(グローバルIPアドレス)を発行する態様があり、いずれの態様を適用してもよい。
【0041】
本実施形態では、クライアント機器がネットワーク20に接続されるごとにIPアドレスが発行される態様を例示する。なお、プライベートIPアドレスはセンターサーバ10が管理する領域(例えばネットワーク20内)においてIPアドレスとして機能する。
【0042】
クライアント機器12,14、16はテレビ付き電話であり、クライアント機器18はノートパソコンである。ノートパソコン18にはデジタル通信ケーブル24を介してCCDカメラユニット26が接続されている。CCDカメラユニット26によって撮像された被写体のデジタル画像データ(スルー画)はノートパソコン18の表示部28に表示可能であると共に、ネットワーク20に公開される静止画の画像データとして所定の間隔で取り込まれ、ノートパソコン18内のメモリ(一時記録領域)に記憶される。該メモリでは新たに静止画のデータが取り込まれるたびに記憶されている画像データを更新する。なお、ノートパソコン18にはCCDカメラユニットが一体構成されたカメラ付きノートパソコンを適用してもよい。ノートパソコン18に接続されるカメラユニットの撮像素子はCCD型固体撮像素子に限定されず、CMOS型固体撮像素子や他の撮像素子を用いてもよい。
【0043】
テレビ付き電話12には、電話本体部30、表示部32、CCDカメラ34および、図1には図示しない電話回線接続端子、ネットワーク接続端子(イーサネット端子)、電源供給端子から構成される。電話本体部30には受話器36、テンキーを含んだ操作部38が含まれている。
テレビ付き電話14およびテレビ付き電話16はテレビ付き電話12と同一の構成であり、
それぞれ電話本体部40、42、表示部44、46、CCDカメラ48、50を備え、電話本体部40、42には受話器52、54、操作部56、58が含まれている。
【0044】
図1には、テレビ付き電話14のユーザ60およびテレビ付き電話16のユーザ62が示されている。
【0045】
テレビ付き電話12、14、16は電話回線網に接続可能であり、それぞれ固有の電話番号を有しており、また、ネットワーク接続端子を介してネットワーク20に接続可能であり、ネットワーク20への接続が確立されるとセンターサーバ10からIPアドレスが発行される。
【0046】
IPアドレスはネットワーク20上におけるクライアント機器の位置(アドレス)を示し、192.162.2.38のように所定の規則によって構成された数字列から成り、前述のとおり各数字列はピリオドで区切られている。クライアント機器にIPアドレスが発行されると、ネットワーク20上でデータを共有したり、所定の規則に従ってデータ通信を行ったりすることが可能になる。
【0047】
また、ネットワーク20において、センターサーバ10を介さずにクライアント機器が他のクライアント機器とデータ通信をできるピア・ツー・ピア(P2P) 接続によるデータ通信が可能である。
【0048】
本実施形態のP2P 接続によるデータ通信では、共有データの検索はセンターサーバ10で行われ、共有データは各クライアント機器の所定の記録領域に記録される。前記所定の記録領域にはハードディスクやMOドライブ、メモリカードなどの記録手段が適用される。
【0049】
データ検索機能をセンターサーバ10に持たせることによりクライアント機器間の通信量の増加を防止しながらセンターサーバ10の処理負担を低減させることができる。なお、クライアント機器の処理能力によっては、データ検索機能を各クライアント機器に持たせる態様も可能である。
【0050】
センターサーバ10ではクライアント機器をグループ管理し、同一グループに属するクライアント機器内でIPアドレスを公開し、P2P 接続によるデータ通信を許可する。グループ外のクライアント機器とのデータ通信はセンターサーバ10を介して行うよう構成されている。
【0051】
図1の白抜き矢印線70Aおよび70Bは、センターサーバ10とテレビ付き電話14、16との間で行われるIPアドレス、データ検索時の通信の流れを示し、黒線矢印74は、テレビ付き電話14とテレビ付き電話16との間行われる共有データのデータ通信の流れを示している。
【0052】
図1には示されていないが、もちろん、上述したIPアドレスの発行、データ検索およびデータ通信は、テレビ付き電話12、ノートパソコン18およびネットワーク20に接続される他のクライアント機器におけるデータ通信にも適用可能である。
【0053】
図2は、本発明の実施形態に係るテレビ付き電話のブロック図である。なお、テレビ付き電話12、14、16は同一の構成であり、その説明はテレビ付き電話12を用いて行う。
【0054】
テレビ付き電話12の本体30には、カメラ部100、電話部102、ディスプレイを含む表示部32、および操作部38が設けられている。操作部38には、図示しないダイヤルボタン、通話ボタン、通話切兼用電源ボタン、十字ボタン、実行ボタンその他の各種の操作手段が含まれる。操作部38は、プッシュ式のスイッチ部材に限定されず、ダイヤル部材、レバースイッチなどの構成も可能であり、また、表示部32に表示されるメニュー画面から所望の項目を選択するようなユーザインターフェースもあり得る。
【0055】
テレビ付き電話12は、中央演算処理装置(CPU)を備えた制御部104とメモリ106を備えるとともに、音声処理部108、電話回線網接続手段およびネットワーク接続手段を備えた通信部110、受話口のスピーカ112、送話口のマイク114といった通常の電話機能を実現するために必要な構成要素を備えている。
【0056】
制御部104は、所定のプログラムに従ってテレビ付き電話12全体の動作を制御する制御装置として機能するとともに、各種演算を行う演算装置として機能する。すなわち、制御部104は、操作部38から入力される指令信号に基づいてテレビ付き電話12内の各回路を制御し、通信制御、撮影動作制御、画像処理制御、表示部32の表示制御、メモリ106の読み書き制御および容量管理(空き容量の検出を含む)などを行う。
【0057】
制御部104はバス116を介してメモリ106と接続されている。メモリ106は、制御部104が実行するプログラムおよび制御に必要な各種データなどが格納される不揮発性メモリ(ROM)領域と、プログラムの展開領域および制御部104の演算作業用領域として利用される揮発性メモリ(RAM)領域とを含むブロックである。ROM領域は、電話帳や通話履歴のデータ記憶領域として利用されるとともに、音声や画像の保存領域として利用される。また、RAM領域は、画像データの一時記憶領域としても利用される。
【0058】
音声処理部108は、制御部104と連携して音声信号を処理又は変換する手段であり、通信部110から受入したデータの復号化処理および通信部110を通じて送信するデータの符号化処理を行うとともに、スピーカ112への出力信号生成処理、マイク114からの入力音声信号の符号化処理などを行う。
【0059】
通話モード(電話機能を使用するモード)において、通信相手との通信接続が確立されると、マイク114から入力される音声は電気信号に変換され、音声処理部108に送られる。音声処理部108はマイク114から入力された音声信号をデジタル信号に変換(A/D変換)した後、所要の信号処理を行い、所定形式の音声データに変換する。音声処理部108で処理された音声データ(送信用のデータ)は、バス116を介して通信部110に送られ、所定の送信用信号形式に変換された後、電話回線網に送出される。
【0060】
また、通信部110を介して電話回線網から取得された音声(受信)信号は、通信部110内の復調回路において復調され、音声処理部108に送られる。音声処理部108は、復調回路から受入した音声信号を所定形式の音声データに変換する。音声処理部108で生成された音声データ(受信データ)は、アナログ音声信号に変換(D/A変換)された後、スピーカ112に送られる。こうして、通話相手の音声がスピーカ112から可聴出力される。
【0061】
また、カメラ部100は、撮影レンズ120とCCDイメージセンサ(以下、CCDという。)122を有し、CCD122から得られる画像信号を処理するためのアナログ処理部124、A/D変換器126、信号処理部128、圧縮伸張部130を備えている。なお、本例では撮像素子としてCCDを用いるが、CCD型に限らず、CMOS型など他の方式によるデバイスを用いてもよい。
【0062】
撮影レンズ120を通過した光はCCD122の受光面の上に焦点を結ぶ。CCD122の受光面には多数のフォトセンサ(受光素子)が平面的に配列され、各フォトセンサに対応して赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造で配置されている。RGBカラーフィルタに代えて、CMY等のカラーフィルタを用いることもできる。
【0063】
CCD122の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。CCD122は、シャッタゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間(シャッタスピード)を制御する電子シャッタ機能を有している。
【0064】
CCD122の各フォトセンサに蓄積された信号電荷は、制御部104の指令に従いタイミングジェネレータ(TG)132から与えられるパルス(水平駆動パルスφH,垂直駆動パルスφV,オーバーフロードレインパルス)に基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。CCD122から出力された画像信号は、アナログ処理部124に送られ、相関二重サンプリング(CDS)処理やゲイン調整などの所要の処理が施された後、A/D変換器45によってデジタル信号に変換される。デジタル化された画像データは信号処理部128に送られる。
【0065】
信号処理部128は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路)、輝度・色差信号生成回路、ガンマ補正回路、輪郭補正回路、ホワイトバランス補正回路等を含むデジタル画像信号処理手段であり、制御部104からのコマンドに従ってメモリ106を活用しながら画像信号を処理する。
【0066】
信号処理部128において、ホワイトバランス調整処理、ガンマ変換処理、輝度信号(Y信号)および色差信号(Cr,Cb 信号)への変換処理(YC処理)など、所定の処理が施されて生成された画像データはメモリ106に一時的に記憶される。ここで、撮影中の映像を表示部32のディスプレイ134に表示させる場合には、このメモリ106の内容を読み出して表示回路136に送り、表示回路136において表示用の信号形式に変換した後、ディスプレイ134に供給する。これにより、ディスプレイ134にはCCD122が捉えているリアルタイム映像(スルー画)が表示される。
【0067】
ディスプレイ134にはLCDモニタを適用してもよいし、有機EL、CRTモニタなど他のモニタを適用してもよい。
【0068】
また、テレビ付き電話12は撮影機能を有しており、所定の時間間隔(例えば5秒ごと)に制御部104によって撮影実行の指令を発し、これに応じて記録用の撮影動作を実行する。撮影実行の態様には、操作部38の撮影ボタン(例えば、実行ボタンで兼用)が押されると、制御部104はこれを検知して、記録用の撮影動作を実行する態様がある。これらの態様は併用も可能である。
【0069】
取り込まれた記録用の画像データは、信号処理部128において輝度・色差信号変換処理(YC処理)その他の所定の信号処理を経た後、圧縮伸張部130に送られ、ここで所定の圧縮フォーマット(例えば、JPEG形式) に従って圧縮される。圧縮された画像データは、メモリ106の画像保存領域に格納される。
【0070】
テレビ付き電話12には、動画撮影機能を有しており、動画撮影モードが選択されている場合には、撮影ボタンの押下によって録画動作がスタートし、その後もう一度撮影ボタンを押下すると動画記録作が停止する。なお、撮影ボタンの押下継続中に録画動作を行い、押下解除により録画を停止するようにしてもよい。
【0071】
動画撮影時の音声は、不図示のマイクによって検出され、その検出信号(音声信号)は、音声処理部108において所定の信号形式に変換される。この音声データは、画像データとともに圧縮伸張部130において所定の圧縮フォーマット(例えば、MP4形式)に従って、圧縮処理された後メモリ106に記録される。
【0072】
カメラ部100のうち、撮影レンズ120、CCD122などの撮像機能部分をテレビ付き電話本体30と着脱可能に構成すると便利である。
【0073】
図1に示したノートパソコン18に接続されるCCDカメラユニット26は、上述したテレビ付き電話12のカメラ機能と同様の構成であり、同様のカメラ撮像機能を備えている。CCDカメラユニット26によって撮像されたスルー画は表示部28に表示することができ、また、所定の時間間隔で、ノートパソコン18の記録手段(内部メモリ、メモリカード等)に撮影画像が静止画記録される。
【0074】
更に、テレビ付き電話12は、電子メール機能やインターネットのブラウザ機能などを備えており、これらを利用して画像データ、文書データ、プログラムデータなど種々のデータを送受信することが可能である。
【0075】
上述したデータ通信システムでは、クライアント機器に備えられた撮像機能によって該クライアント機器のユーザを撮影し、この画像を各クライアント機器のステータス情報としてP2P 接続された他の端末機器へ送出することができる。ステータス情報である画像の送出先端末機器では、この画像を取得し、表示することができる。
【0076】
また、各クライアント機器にはアドレス帳機能が備えられており、該アドレス帳に記録されている他のクライアント機器との間でP2P 接続によるデータ通信ができ、自己のステータス情報の送出および他のクライアント機器のステータス情報の取得が可能である。
【0077】
例えば、図1に示したテレビ付き電話14のユーザ60は、テレビ付き電話16のユーザに電話をかける際に、表示部44に表示されたユーザ62の様子を確認し、図1のように本を読んでいるなどユーザ62が電話を受けることができそうな場合には電話をかけ、一方、ユーザ62が電話を受けることができないような場合や、ユーザ62から電話の着信を拒否するステータス情報が表示されている場合には電話をかけないといった判断ができる。なお、ステータス情報は定期的に更新されるよう構成することが好ましい。
【0078】
上記の如く構成されたデータ通信システムでは、センターサーバ10にクライアント機器のIPアドレスの情報を管理するユーザデータベースを備え、クライアント機器がネットワーク20に接続されるときには、該クライアントに対してIPアドレスの発行を行う。ネットワーク20への接続を確立したクライアント機器は他のクライアント機器のIPアドレスの情報をセンターサーバ10から取得し、このIPアドレスの情報に基づいて他のクライアント機器とP2P 接続によるデータ通信が可能になる。各クライアント機器に備えられた撮像手段であるカメラ部を用いて撮像された各機器のユーザの画像をそのクライアント機器のステータス情報として他のクライアント機器に送出する。また、他のクライアント機器から送出された画像を表示できるようにディスプレイを備える構成とした。したがって、ステータス情報によって他のクライアント機器ユーザの様子が一目で分かり、さらに、ステータス情報を定期的に更新するように構成すると、他のクライアント機器ユーザの様子がリアルタイムに分かる。ステータス情報となる画像は静止画でもよいし、動画でもよい。
【0079】
一方、クライアント機器間のデータ通信はセンターサーバ10を介在せずに行うことができ、ネットワーク20内でのデータ共有が可能になると共に、センターサーバ10の処理負担を減らすことができる。データの検索はセンターサーバ10によって行うように構成すると、クライアント機器の処理負担増加を防ぐことができる。
【0080】
センターサーバ10はネットワーク20に接続されるクライアント機器をグループに分別し、クライアント機器間のP2P 接続によるデータ通信を同一グループに属するクライアント機器(グループメンバ)に制限するように管理すると、必要以上の情報がネットワーク20に流通せず、ネットワーク20の通信量を抑制することができる。また、クライアント機器がネットワーク20に接続する際に、センターサーバ10がグループメンバとしての認証(ログイン)を行うようにする態様が好ましい。
【0081】
次に、上述したデータ通信システムを応用したテレビ電話システムについて説明する。図1に示したとおり、テレビ付き電話12、14、16およびノートパソコン18には撮像機能が備えられており、該撮像機能を用いて、該クライアント機器のユーザを撮影し、各ユーザを撮影した画像(映像)は各クライアント機器のステータス情報としてネットワーク20上に公開される。
【0082】
ステータス情報を公開する相手は、電話帳(アドレス帳)などに登録しているユーザ、グループメンバとする態様でもよいし、ユーザが公開するユーザを選択する態様でもよい。
【0083】
ユーザは各クライアント機器の表示装置に表示された他のクライアント画像を見て、電話をかける前に相手のステータスを知ることができ、不在時の電話防止につながる。
【0084】
また、不在や食事中など電話着信ができない場合や、受話側の理由で電話着信を拒否したい場合などには、受信側の機器で着信拒否の設定ができる。着信拒否が設定されたクライアント機器では画像の代わりに着信拒否を示す画像やメッセージをステータス情報としてネットワーク20に接続される他のクライアント機器に送出される。なお、画像情報だけでなく音声情報を提供してもよい。
【0085】
図3は、クライアント機器の表示装置に表示された各クライアント機器のステータス情報の一例を示している。図3では、クライアント機器にはテレビ付き電話14を用いて説明を行う。
【0086】
表示部44にはグループ1に所属するユーザとして管理されるユーザA、ユーザB、ユーザC、ユーザD、ユーザEおよびユーザFのステータス情報200、202、204、206、208、210が表示されている。図3においてユーザCが図1におけるテレビ付き電話16のユーザ62になる。
【0087】
センターサーバ10が有するユーザデータベースでは、グループ管理が可能であり、グループごとに共有データを分けて管理することができる。
【0088】
表示部44に表示された各ステータス情報は、各クライアント機器から更新されたステータス情報が送られてくるごとに更新される。なお、ステータス情報は、定期的に自動更新されてもよいし、操作部56の操作によってなされる更新操作に応じて更新されてもよい。
【0089】
ユーザA、ユーザBおよびユーザCのステータス情報は、各クライアント機器から送出される画像であり、ユーザA、ユーザBおよびユーザCは電話をかけてもよいことが分かる。
【0090】
ユーザDのステータス情報206は着信拒否を示す任意の静止画(花の画像)と着信拒否理由を示したメッセージ(外出中)が表示されている。このように、着信を拒否するクライアント機器からは予め設定された画像とメッセージが公開される。着信拒否を示す画像にはJPEG形式を適用してもよいし、GIF 形式や他の圧縮形式を適用してもよい。もちろん、着信拒否を示す画像に動画を適用してもよい。また、何も表示しない態様でもよい。
【0091】
ユーザEのステータス情報208はステータス情報非公開を示すメッセージ(公開されていません)が表示されている。送信側のクライアント機器にてステータス情報を非公開とする設定がなされると、上述のように受信側のクライアント機器の表示装置には非公開設定である旨のメッセージが表示される。非公開設定時にも何も表示しない態様を適用してもよい。
【0092】
また、ユーザFのステータス情報は表示されていない。このように、ネットワーク20に接続されていないユーザのステータス情報は表示されない。
【0093】
本実施形態では、表示部44に複数のステータス情報を表示する態様を例示したが、ステータス情報を表示する態様はこれに限定されず、一定時間間隔で切り替えながら表示する態様や、表示するステータス情報を選択する選択手段を備え、前記選択手段によって選択されたステータス情報を表示する態様など様々な表示態様があり、何れの表示態様を適用してもよい。また、ステータス情報とメッセージとを表示する態様でもよい。
【0094】
撮像手段を備えず、他のクライアント機器へはステータス情報を送出しない、受信専用機の態様でもよい。
【0095】
図4は、上述したテレビ付き電話システムの制御の流れを示したフローチャートである。ここでは、テレビ付き電話14とテレビ付き電話16との通話を一例に説明する。
【0096】
テレビ付き電話システムの制御が開始されると(ステップS10、ステップS12、ステップS14)、センターサーバ10は、テレビ付き電話14からネットワーク20への接続要求(ステップS16)に応じて、テレビ付き電話14へIPアドレスが発行(割り振り)され(ステップS18)、テレビ付き電話14のネットワーク20への接続が確立される(ステップS20)。
【0097】
また、センターサーバ10は、テレビ付き電話16からのネットワーク20へ接続要求(ステップS24)に応じて、テレビ付き電話16に対してIPアドレスが発行され(ステップS26)、テレビ付き電話16のネットワーク20への接続が確立される(ステップS28)。
【0098】
センターサーバ10は、ネットワーク20に接続されたクライアント機器(ここではテレビ付き電話14とテレビ付き電話16)にネットワーク20に接続されているIPアドレスの情報(IP情報)を提供する(ステップS30)。
【0099】
テレビ付き電話16はテレビ付き電話14のIP情報を取得し(ステップS32)、テレビ付き電話14はテレビ付き電話16のIP情報を取得する(ステップS34)。
【0100】
テレビ付き電話14とテレビ付き電話16とは、ステップS32およびステップS34においてそれぞれ取得したIP情報に基づいてP2P 接続を確立する(ステップS36、ステップS38)。
【0101】
テレビ付き電話16はテレビ付き電話14とのP2P 接続が確立されると、CCDカメラ50によって撮影されたユーザ62の画像をテレビ付き電話16のステータス情報としてテレビ付き電話14に送出する(ステップS40)。
【0102】
テレビ付き電話14ではテレビ付き電話16から送出されるステータス情報(画像)を取得すると(ステップS42)、テレビ付き電話16から送出されたステータス情報が表示部44に表示される(ステップS44)。
【0103】
テレビ付き電話14のユーザ60は、表示部44に表示されたテレビ付き電話16のステータス情報を見て、テレビ付き電話16のユーザ62へ電話をかける前に、ユーザ62の様子を知ることができる。すなわち、電話待機中にはネットワークをハイブリッド接続することによって、相手に自分のステータスを知らせることができる。
【0104】
ユーザ60がユーザ62へ電話をかけると、テレビ付き電話14からテレビ付き電話16へ通話要求である呼出信号が送出され(ステップS46)、同時に、テレビ付き電話14からセンターサーバ10へネットワーク20への切断処理が要求される(ステップS48)。
【0105】
センターサーバ10は該切断要求に応じてテレビ付き電話14とネットワーク20との切断処理を実行し(ステップS50)、テレビ付き電話14に対して割り振られたIPアドレスをネットワーク20のIP情報から削除する処理を行う(ステップS52)。
【0106】
一方、テレビ付き電話16がテレビ付き電話14から送出された呼出信号を受信すると(ステップS54)、センターサーバ10へネットワーク20への切断処理を要求し(ステップS56)、センターサーバ10は該切断要求に応じてテレビ付き電話16とネットワーク20との切断処理を実行し(ステップS58)、テレビ付き電話16に対して割り振られたIPアドレスをネットワーク20のIP情報から削除する処理を行う(ステップS60)。
【0107】
テレビ付き電話14およびテレビ付き電話16とネットワーク20との切断処理が正常終了し、テレビ付き電話16がテレビ付き電話14から送出された呼出信号に応答すると(ステップS62)、固定電話回線接続が確立され、テレビ付き電話14とテレビ付き電話16との間で通話が可能になる(ステップS64、ステップS66)。
【0108】
テレビ付き電話14とテレビ付き電話16との間で通話が行われ、通話が終了し、テレビ電話16において通話終了処理がなされると(ステップS68)、固定電話回線との接続を切断する(ステップS70)。
【0109】
固定電話回線との接続が切断された後、ネットワーク20への再接続の処理が行われ(ステップS72)ステップS14に戻る(ステップS74)。
【0110】
一方、テレビ付き電話14において、通話終了処理がなされると(ステップS76)、固定電話回線網との接続が切断され(ステップS78)、ネットワーク20への再接続の処理が行われ(ステップS80)ステップS14に戻る(ステップS82)。
【0111】
また、センターサーバ10では、テレビ付き電話14およびテレビ付き電話16のネットワーク20との切断処理が正常終了すると、ステップS10に戻る(ステップS84)。
【0112】
図5は、テレビ付き電話12、14、16の制御の流れを示すフローチャートである。電話待機中において(ステップS100)、カメラ部の動作開始処理に応じてカメラ部の動作が開始される(ステップS102)。
【0113】
また、センターサーバ10へネットワーク20への接続を要求すると、センターサーバ10から該テレビ付き電話へIPアドレスが発行され、該テレビ付き電話はネットワーク20への接続が確立される(ステップS104)。
【0114】
該テレビ付き電話のネットワーク20への接続が確立されると、ネットワーク20に接続されるクライアント機器のうち、同一グループに属するクライアント機器(グループメンバ)のIPアドレスを取得し(ステップS106)、これに基づいてグループメンバからのP2P 接続要求に応じて、P2P 接続を確立する。
【0115】
他のクライアント機器とのP2P 接続が確立されると、ステータス情報を公開するか否かを設定し(ステップS108)、ステータス情報を公開しない設定を行った場合には(NO判定)、非公開設定を示す画像およびメッセージを公開し、ステップS116に進む。ステータス情報を公開しない態様には、非公開設定の他に電話着信を拒否する設定を行うことができる。さらに、伝言を送りたい相手(例えば、電話をかけて欲しい相手)だけに別の伝言画像を送出するように構成してもよい。
【0116】
ステップS116では、電話着信待ちを行い、電話着信がない場合には(NO判定)、ステップS106に進み定期的にグループメンバのIP情報の確認を行う。
【0117】
ステップS116において電話着信があると(YES判定)、ネットワーク20との接続切断をセンターサーバ10に要求し、センターサーバ10によってネットワーク20との切断処理が行われる(ステップS118)。
【0118】
さらに、通話相手との電話回線接続を確立されると(ステップS120)、通話が可能になり(ステップS122)、通話が終わると所定の通話終了処理が行われる(ステップS124)。通話終了後はネットワーク20に再接続するためにステップS104に進む。ネットワーク20に再接続する際に割り振られるIPアドレスは、当初割り振られたIPアドレスと異なるIPアドレスとなることもある。
【0119】
一方、ステップS108において、ステータス情報を公開する設定を行った場合には(YES判定)、カメラ部によって撮影されたユーザの画像が同一グループに属するクライアント機器に公開される(ステップS112)。該カメラ部では、5秒ごとに画像記録が行われ、最新画像が記録されると、これまでに記録された画像がメモリ内から削除され、最新画像をP2P 接続されるグループメンバに送出する制御が行われる(ステップS114)。
【0120】
上述したテレビ付き電話システムに固定電話回線網の代わりにインターネット網を利用して通話を行うIP電話(インターネット電話)を適用することも可能である。
【0121】
IP電話はTCP/IPプロトコルを用いて通話を行う電話システムであり、ネットワークの一部または全部においてIPネットワーク技術を利用して提供される音声電話システムであり、WWW(World Wide Web) 等のアプリケーションに利用されているもと同じIPネットワーク(インターネット)を利用するインターネット電話を含んでいてもよい。
【0122】
IP電話では、ネットワーク20との接続を切断せずに、電話接続を確立することができ、電話接続を確立する際にネットワーク20との接続を切断する処理を省略することができる。
【0123】
すなわち、図5のステップS118を省略することができ、通話終了処理後はステップS116へ進み、電話着信待ちを行うように構成することができる。
【0124】
上記の如く構成されたテレビ付き電話システムでは、各クライアント機器に備えられた表示装置に他のクライアント機器のステータス情報が表示され、通話を所望するクライアント機器のステータス情報を確認してから電話をかけることができる。したがって、不在者に電話をかけたり、電話にでることが難しい相手に電話をかけたりすることを防止できる。また、電話をかけて欲しい相手にメッセージを含めて伝言を送ることが可能である。
【0125】
本実施形態ではテレビ付き電話を例示したが、図1に示したノートパソコン18や、ディスクトップパソコンにCCDカメラユニット26などの撮像手段を備え、さらに、電話機能を実現できるマイクロホン、スピーカや制御アプリケーションソフトを備えた機器においても実現可能である。
【0126】
【発明の効果】
本発明によれば、ネットワークへ接続された端末機器の位置情報をサーバで管理し、サーバから取得した位置情報によって所望の相手の端末機器(第1の端末機器)とピア・ツー・ピア接続を確立し、相手の端末機器に備えられた撮像手段を用いて撮像された画像を含むステータス情報を自身の端末機器(第2の端末機器)によって取得し、その情報を自身の端末機器に備えられた表示装置に表示されるように構成したので、相手の様子を知ることができる。また、ピア・ツー・ピア接続によって相手の端末機器からステータス情報を取得するので、サーバに負担をかけない。
【0127】
また、ネットワークによるデータ通信と電話回線網による通話とを同時に行うことのできないハイブリッド回線では通話の際にはデータ通信を一時停止し、通話を確立させ、通話が終了すると自動的にデータ通信を再開できるようにネットワークへの接続処理を行うよう制御する態様が好ましい。
【図面の簡単な説明】
【図1】本発明の実施形態に係るデータ通信システムの構成を示すブロック図
【図2】本発明の実施形態に係るテレビ付き電話の構成を示すブロック図
【図3】ステータス情報を表示したテレビ付き電話の表示装置を示す図
【図4】テレビ付き電話システムの制御の流れを示すフローチャート
【図5】テレビ付き電話の制御の流れを示すフローチャート
【符号の説明】
10…センターサーバ、12,14,16…テレビ付き電話、20…ネットワーク、22…ストレージ、28,32,44,46,134…表示装置、100…カメラ部、102…電話部、104…制御部、110…通信部、120…撮影レンズ、122…CCD、126…A/D変換器

Claims (20)

  1. ネットワークに接続されたサーバと、前記ネットワークを介して前記サーバと接続される第1の端末機器および第2の端末機器を含む複数の端末機器と、から成る通信システムであって、
    前記サーバは、前記ネットワークに接続されている端末機器の前記ネットワーク上の位置を示す位置情報を管理するとともに、前記ネットワークへ接続を要求している端末機器に対して個別の位置情報を付与する位置情報管理手段と、
    前記ネットワークへの接続を確立した端末機器に対して、前記位置情報管理手段によって管理されている前記ネットワークへの接続を確立している他の端末機器の位置情報を提供する位置情報提供手段と、
    を備え、
    前記第1の端末機器は、当該第1の端末機器のステータス情報に含まれる画像を撮像する撮像手段と、
    前記サーバに対して前記ネットワークへの接続を要求し、前記ネットワークへの接続を確立させる制御を行う第1の接続制御手段と、
    前記サーバの位置情報提供手段によって提供される前記ネットワークへの接続を確立している他の端末機器の位置情報を取得する第1の位置情報取得手段と、
    前記位置情報取得手段により前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記第2の端末機器に対して前記サーバを介在せずにデータ通信を行うためのピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行う第1のピア・ツー・ピア接続制御手段と、
    前記撮像手段によって撮像された画像を含む前記第1の端末機器の前記ステータス情報を、前記サーバを介在せずに前記ネットワークを介して前記ピア・ツー・ピア接続によって前記第2の端末機器へ送出するステータス情報送出手段と、
    を備え、
    前記第2の端末機器は、前記サーバに対して前記ネットワークへの接続を要求し、前記ネットワークへの接続を確立させる制御を行う第2の接続制御手段と、
    前記サーバの前記位置情報提供手段によって提供される前記ネットワークへの接続を確立している他の端末機器の位置情報を取得する第2の位置情報取得手段と、
    前記位置情報取得手段によって前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記第1の端末機器に対して前記サーバを介在せずにデータ通信を行うためのピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行う第2のピア・ツー・ピア接続制御手段と、
    前記第1の端末機器のステータス情報送出手段によって送出された前記ステータス情報を取得するステータス情報取得手段と、
    前記ステータス情報取得手段によって取得したステータス情報を表示する表示手段と、
    を備え
    前記端末機器は、他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始することを特徴とする通信システム。
  2. ネットワークに接続されたサーバと、前記ネットワークを介して前記サーバと接続される第1の端末機器および第2の端末機器を含む複数の端末機器と、から成る通信システムであって、
    前記サーバは、前記ネットワークに接続されている端末機器の前記ネットワーク上の位置を示す位置情報を管理するとともに、前記ネットワークへ接続を要求している端末機器に対して個別の位置情報を付与する位置情報管理手段と、
    前記ネットワークへの接続を確立した端末機器に対して、前記位置情報管理手段によって管理されている前記ネットワークへの接続を確立している他の端末機器の位置情報を提供する位置情報提供手段と、
    を備え、
    前記第1の端末機器は、当該第1の端末機器のステータス情報に含まれる画像を撮像する撮像手段と、
    前記サーバに対して前記ネットワークへの接続を要求し、前記ネットワークへの接続を確立させる制御を行う第1の接続制御手段と、
    前記サーバの位置情報提供手段によって提供される前記ネットワークへの接続を確立している他の端末機器の位置情報を取得する第1の位置情報取得手段と、
    前記位置情報取得手段により前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記第2の端末機器に対して前記サーバを介在せずにデータ通信を行うためのピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行う第1のピア・ツー・ピア接続制御手段と、
    前記撮像手段によって撮像された画像を含む前記第1の端末機器の前記ステータス情報を、前記サーバを介在せずに前記ネットワークを介して前記ピア・ツー・ピア接続によって前記第2の端末機器へ送出するステータス情報送出手段と、
    を備え、
    前記第2の端末機器は、前記サーバに対して前記ネットワークへの接続を要求し、前記ネットワークへの接続を確立させる制御を行う第2の接続制御手段と、
    前記サーバの前記位置情報提供手段によって提供される前記ネットワークへの接続を確立している他の端末機器の位置情報を取得する第2の位置情報取得手段と、
    前記位置情報取得手段によって前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記第1の端末機器に対して前記サーバを介在せずにデータ通信を行うためのピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行う第2のピア・ツー・ピア接続制御手段と、
    前記第1の端末機器のステータス情報送出手段によって送出された前記ステータス情報を取得するステータス情報取得手段と、
    前記ステータス情報取得手段によって取得したステータス情報を表示する表示手段と、
    を備え
    前記端末機器は、他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始し、前記他の端末機器との音声による通話を終了すると、自動的に前記ネットワークとの再接続を行うことを特徴とする通信システム。
  3. 前記ネットワークは、電話回線網あるいは電話回線網と兼用可能なハイブリッド回線網を含み、
    前記端末機器は、所望の相手を呼び出す呼出信号を送出し、呼出相手が前記呼出信号に応答すると電話通話接続を行い、音声による通話をすることができる電話通話手段を備えたことを特徴とする請求項1又は2記載の通信システム。
  4. 前記通信システムは、テレビ電話システムを含むことを特徴とする請求項1乃至のうち何れか1項に記載の通信システム。
  5. ネットワークに接続可能な端末機器であって、
    当該端末機器のステータス情報に含まれる画像を撮像する撮像手段と、
    前記ネットワーク上のサーバに対して前記ネットワークへの接続を要求し、前記サーバから付与される当該端末機器の個別の位置情報を取得して前記ネットワークへの接続を確立させる制御を行う接続制御手段と、
    前記ネットワークへの接続を確立している他の端末機器の位置情報を前記ネットワーク上のサーバから取得する位置情報取得手段と、
    前記位置情報取得手段によって前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記ネットワークへの接続を確立している他の端末機器に対して前記サーバを介在せずにピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行うピア・ツー・ピア接続制御手段と、
    前記撮像手段によって撮像された画像を含んだ自己の端末機器のステータス情報を前記ピア・ツー・ピア接続された他の端末機器へ送出するステータス情報送出手段と、
    前記ピア・ツー・ピア接続制御手段によってピア・ツー・ピア接続される他の端末機器から送出される他の端末機器のステータス情報を取得するステータス情報取得手段と、
    前記ステータス情報取得手段によって取得されたステータス情報を表示する表示手段と、
    を備え
    他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始することを特徴とする端末機器。
  6. ネットワークに接続可能な端末機器であって、
    当該端末機器のステータス情報に含まれる画像を撮像する撮像手段と、
    前記ネットワーク上のサーバに対して前記ネットワークへの接続を要求し、前記サーバから付与される当該端末機器の個別の位置情報を取得して前記ネットワークへの接続を確立させる制御を行う接続制御手段と、
    前記ネットワークへの接続を確立している他の端末機器の位置情報を前記ネットワーク上のサーバから取得する位置情報取得手段と、
    前記位置情報取得手段によって前記ネットワークへの接続を確立している他の端末機器の位置情報を取得した後に、前記位置情報取得手段によって取得された位置情報に基づいて、前記ネットワークへの接続を確立している他の端末機器に対して前記サーバを介在せずにピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させる制御を行うピア・ツー・ピア接続制御手段と、
    前記撮像手段によって撮像された画像を含んだ自己の端末機器のステータス情報を前記ピア・ツー・ピア接続された他の端末機器へ送出するステータス情報送出手段と、
    前記ピア・ツー・ピア接続制御手段によってピア・ツー・ピア接続される他の端末機器から送出される他の端末機器のステータス情報を取得するステータス情報取得手段と、
    前記ステータス情報取得手段によって取得されたステータス情報を表示する表示手段と、
    を備え
    前記端末機器は、他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始し、前記他の端末機器との音声による通話を終了すると、自動的に前記ネットワークとの再接続を行うことを特徴とする端末機器。
  7. 前記ステータス情報送出手段は、前記撮像手段によって撮像された画像を送出しない場合には、前記画像に代わるステータス情報をピア・ツー・ピア接続された端末機器へ送出することを特徴とする請求項5又は6記載の端末機器。
  8. 所望の相手を呼び出す呼出信号を送出し、呼出相手が前記呼出信号に応答すると電話通話接続を行い、音声による通話をすることができる電話通話手段を備えたことを特徴とする請求項5乃至7のいずれかに記載の端末機器。
  9. 前記ネットワークは電話回線網を含み、前記表示手段に表示された通話相手のステータス情報を前記電話通話接続を行う前に確認できることを特徴とする請求項8記載の端末機器。
  10. 前記表示手段に前記ステータス情報を表示中に所望の相手を呼び出す呼出信号の送出が可能であることを特徴とする請求項乃至9のいずかに記載の端末機器。
  11. 前記表示手段は、同一グループに属する他の端末機器のステータス情報を同時表示するか、または一定時間間隔で切換表示することを特徴とする請求項乃至10のいずかに記載の端末機器。
  12. 前記表示手段は、ネットワークに接続されていない他の端末機器のステータス情報を表示しないことを特徴とする請求項乃至11のいずかに記載の端末機器。
  13. 前記ステータス情報は動画映像を含むことを特徴とする請求項乃至12のいずかに記載の端末機器。
  14. 前記ステータス情報は、通信拒否を示すメッセージを含むことを特徴とする請求項乃至13のいずかに記載の端末機器。
  15. 前記ステータス情報は、ステータス情報非公開を示すメッセージを含むことを特徴とする請求項乃至14のいずかに記載の端末機器。
  16. 前記端末機器は、他の端末機器の個別の位置情報を記憶するアドレス帳を備えることを特徴とする請求項乃至15のいずかに記載の端末機器。
  17. 請求項乃至16のいずかに記載の端末機器は、前記第1の端末機器および第2の端末機器を含む複数の端末機器に適用されることを特徴とする請求項1乃至いずかに記載の通信システム。
  18. ネットワークに接続されるサーバと、前記ネットワークを介して前記サーバと接続可能な複数の端末機器と、から成る通信システムにおける通信方法であって、
    前記端末機器に備えられた撮像手段によって当該端末機器のステータス情報に含まれる画像を撮像する撮像工程と、
    前記ネットワークに接続可能な端末機器から前記サーバに対して前記ネットワークへの接続が要求されると、前記ネットワーク上の当該端末機器の位置を示す固有の位置情報が前記サーバから付与され、当該端末機器の前記ネットワークへの接続を確立させる接続工程と、
    前記接続工程によって前記ネットワークに接続された端末機器に対して、前記サーバから前記ネットワークへの接続を確立している他の端末機器の位置情報が提供される位置情報提供工程と、
    前記位置情報提供工程によって、前記サーバから提供された前記他の端末機器の位置情報を、当該端末機器が取得する位置情報取得工程と、
    前記位置情報取得工程によって、前記他の端末機器の位置情報を当該端末機器が取得すると、前記他の端末機器の位置情報に基づいて当該端末機器が前記他の端末機器に対して前記サーバを介在せずにピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させるピア・ツー・ピア接続工程と、
    前記ピア・ツー・ピア接続工程において当該端末機器と前記他の端末機器との間のピア・ツー・ピア接続が確立されると、前記撮像工程によって撮像された当画像を含む該端末機器のステータス情報を、前記サーバを介在せずに前記ネットワークを介して前記他の端末機器へ送出するステータス情報送出工程と、
    前記ステータス情報送出工程において送出された当該端末機器のステータス情報を前記他の端末機器が取得するステータス情報取得工程と、
    前記ステータス情報取得工程によって前記他の端末機器が取得した当該端末機器のステータス情報を前記他の端末機器に備えられた表示装置に表示するステータス情報表示工程と、
    他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始する工程と、
    を含むことを特徴とするデータ通信方法。
  19. ネットワークに接続されるサーバと、前記ネットワークを介して前記サーバと接続可能な複数の端末機器と、から成る通信システムにおける通信方法であって、
    前記端末機器に備えられた撮像手段によって当該端末機器のステータス情報に含まれる画像を撮像する撮像工程と、
    前記ネットワークに接続可能な端末機器から前記サーバに対して前記ネットワークへの接続が要求されると、前記ネットワーク上の当該端末機器の位置を示す固有の位置情報が前記サーバから付与され、当該端末機器の前記ネットワークへの接続を確立させる接続工程と、
    前記接続工程によって前記ネットワークに接続された端末機器に対して、前記サーバから前記ネットワークへの接続を確立している他の端末機器の位置情報が提供される位置情報提供工程と、
    前記位置情報提供工程によって、前記サーバから提供された前記他の端末機器の位置情報を、当該端末機器が取得する位置情報取得工程と、
    前記位置情報取得工程によって、前記他の端末機器の位置情報を当該端末機器が取得すると、前記他の端末機器の位置情報に基づいて当該端末機器が前記他の端末機器に対して前記サーバを介在せずにピア・ツー・ピア接続を要求しピア・ツー・ピア接続を確立させるピア・ツー・ピア接続工程と、
    前記ピア・ツー・ピア接続工程において当該端末機器と前記他の端末機器との間のピア・ツー・ピア接続が確立されると、前記撮像工程によって撮像された当画像を含む該端末機器のステータス情報を、前記サーバを介在せずに前記ネットワークを介して前記他の端末機器へ送出するステータス情報送出工程と、
    前記ステータス情報送出工程において送出された当該端末機器のステータス情報を前記他の端末機器が取得するステータス情報取得工程と、
    前記ステータス情報取得工程によって前記他の端末機器が取得した当該端末機器のステータス情報を前記他の端末機器に備えられた表示装置に表示するステータス情報表示工程と、
    他の端末機器からの通話要求を受けると、ネットワークへの接続を遮断するとともに前記他の端末機器との音声による通話を開始する工程と、
    前記他の端末機器との音声による通話を終了すると、自動的に前記ネットワークとの再接続を行う工程と、
    を含むことを特徴とするデータ通信方法。
  20. 前記複数の端末機器は、請求項乃至16のいずかに記載の端末機器を含むことを特徴とする請求項18又は19記載のデータ通信方法。
JP2003140377A 2003-05-19 2003-05-19 通信システムおよび端末機器並びに通信方法 Expired - Fee Related JP4370808B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003140377A JP4370808B2 (ja) 2003-05-19 2003-05-19 通信システムおよび端末機器並びに通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003140377A JP4370808B2 (ja) 2003-05-19 2003-05-19 通信システムおよび端末機器並びに通信方法

Publications (2)

Publication Number Publication Date
JP2004343619A JP2004343619A (ja) 2004-12-02
JP4370808B2 true JP4370808B2 (ja) 2009-11-25

Family

ID=33529117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003140377A Expired - Fee Related JP4370808B2 (ja) 2003-05-19 2003-05-19 通信システムおよび端末機器並びに通信方法

Country Status (1)

Country Link
JP (1) JP4370808B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2430582B (en) 2005-09-26 2008-04-09 Nec Technologies Method of managing connectivity status for a mobile radio communications device, and such a device
JP5967473B2 (ja) 2011-06-03 2016-08-10 パナソニックIpマネジメント株式会社 撮像装置及び撮像システム
JP2013013063A (ja) 2011-06-03 2013-01-17 Panasonic Corp 撮像装置及び撮像システム

Also Published As

Publication number Publication date
JP2004343619A (ja) 2004-12-02

Similar Documents

Publication Publication Date Title
JP4584047B2 (ja) 撮像機能付きドアホンシステムおよび当該システムを構成する音声端末、映像端末、ホームゲートウェイ装置、ドアホンアダプタ
US6538686B2 (en) Method for transmitting image data and communication terminal
US7995712B2 (en) Call holding for a video call in a mobile communication device
KR100677440B1 (ko) 휴대단말기에서의 사진슬라이드의 동영상 변환방법
AU2006200909A1 (en) Visual communication server, visual communication program and visual communication method
JP3758808B2 (ja) 通信端末および通信方法
JP2005117141A (ja) 半二重無線通信装置、システムおよび方法
JPH10210080A (ja) インターネット通信システム
JP4370808B2 (ja) 通信システムおよび端末機器並びに通信方法
JP6033014B2 (ja) 情報処理装置、その制御方法、プログラム
JP4247666B2 (ja) 画像処理方法及び画像処理システム
JP2002314683A (ja) VoIP電話制御方法、VoIP電話交換制御ネットワークシステム及びそのプログラム
JP5032294B2 (ja) インターホンシステムの通話路確立方法およびインターホンシステムならびに転送装置
JP2006245655A (ja) 通信端末及び通信システム
JP2004186757A (ja) 通信ネットワークを用いた電話システムの使用方法
US20180227336A1 (en) Information transmission apparatus, communication system, and information transmission method
JP5423099B2 (ja) 電話システムおよびドアホンリモートアクセス制御方法
JP2002281180A (ja) テレビドアホン装置
JP4103760B2 (ja) 通信システム、通信制御装置、および端末装置
JP2007043227A (ja) 通信装置および通信システム
JP2004326423A (ja) 画像処理方法、システムおよび画像処理サーバ並びに端末機器
JP3905740B2 (ja) インターネットカメラシステム
KR100793344B1 (ko) 인터넷폰을 이용한 데이터 전송 시스템 및 그 방법
JP2005012579A (ja) 通信端末装置
JP4880296B2 (ja) ビデオサービスシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060301

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090811

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees