JP2004040272A - Network camera, remote monitor / control system, and control method employing the same - Google Patents

Network camera, remote monitor / control system, and control method employing the same Download PDF

Info

Publication number
JP2004040272A
JP2004040272A JP2002191556A JP2002191556A JP2004040272A JP 2004040272 A JP2004040272 A JP 2004040272A JP 2002191556 A JP2002191556 A JP 2002191556A JP 2002191556 A JP2002191556 A JP 2002191556A JP 2004040272 A JP2004040272 A JP 2004040272A
Authority
JP
Japan
Prior art keywords
network
address
user
network camera
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002191556A
Other languages
Japanese (ja)
Inventor
Nagahiro Ri
李 永浩
Seon Chan Kim
金 善燦
Seong Hun Choi
崔 聖勳
Kotetsu Lee
李 鎬徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRYPTOTELECOM CO Ltd
Cosmo Co Ltd
Original Assignee
CRYPTOTELECOM CO Ltd
Cosmo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRYPTOTELECOM CO Ltd, Cosmo Co Ltd filed Critical CRYPTOTELECOM CO Ltd
Priority to JP2002191556A priority Critical patent/JP2004040272A/en
Publication of JP2004040272A publication Critical patent/JP2004040272A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Selective Calling Equipment (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide diversified services such as image monitoring, detection of intrusion, and home automation or the like. <P>SOLUTION: A user is registered to a network camera via a fixed IP address or a fluid IP address, and the network camera is network-connected to a user making an access request via the fixed IP address or the fluid IP address and transmits a monitoring image to the user. The network camera receives a panning / tilt adjusting signal from the network-connected user and adjusts the monitoring position of the camera by the signal. Further, the camera receives the power control signal of an external device from the network-connected user and controls the power supply of the external device by a power line control signal by using a power line control protocol. Further, the camera transmits an abnormal state monitor signal caused by an abnormal motion to a network-connected fault state reception server and the fault state reception server transmits a warning message by the fault state monitor signal to the network-connected user. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、ネットワーク(インターネット)に直接接続可能で、いろいろな外部装置等を連結することができるネットワークカメラと、該カメラを用いて遠隔監視/制御網を構成した後、画像モニターリング、侵入探知、ホームオートメーション等、いろいろなサービスを提供することができる遠隔監視/制御方法及びシステムに関する。
【0002】
【従来の技術】
従来の無人警備システムは、監視しようとする場所を撮影して画像を伝送するための無人カメラや産業用TV、または、閉鎖回路TV(Closed Circuit Television ; 以下CCTVという)を備えて当該地域の監視に使用された。例えば、従来の無人警備システムは、物流倉庫に設けられて、物品の入出庫場面の監視に使用されるとか、建物の火災や工場の作業工程を遠隔地からの監視に使用される。その際、無人カメラ、産業用TV、または、CCTVのカメラは遠隔監視機能を行うことができるように監視地域に設けられ、当該地域を撮影した監視領域をアナログやディジタル信号に変換して同軸ケーブルを介して中央の管理室に設けられたモニタに伝送する。
【0003】
このように、無人カメラ、産業用TV、または、CCTV等を用いた従来の監視システムはカメラが設けられた監視センターを設けて監視するので、近距離に管理者がいなければならないし、リアルタイムで監視状況を把握することができない場合には、監視画面を録画した後、録画フィルム等を分析し、その当時の状況が把握できるようになっている。
【0004】
従って、従来の監視システムは、監視場所に対する突出状況、または、異常状況を管理者にリアルタイムで伝達することができなくて、管理者が突出状況、または、異常状況に対し、適切に対処することができない問題があり、従来の監視カメラは設置の際、固定された位置のみを監視するようになっているので、カメラの監視位置が間違いで設定された場合、または、監視位置を変更しようとする場合に遠隔地に設けられたカメラを管理者が直接調節しなければならない問題もある。
【0005】
また、従来の監視システムは、監視カメラとモニタを同軸ケーブルを用いて連結するので限定された地域内でモニタを通じなければ監視することができなく、管理者が移動中であるか、距離が遠い遠隔地に位置する管理者は監視することができない問題がある。
【0006】
一方、近来には専用線やケーブルモデム、または、ADSL(Asymmetry Digital Subscriber’s Line)等の高速インターネット連結手段が一般に使用されながら、アパート等のような共同住宅を建築する場合、全てのアパート入居者を対象に高速インターネット網を設置してやるサイバーアパートが建設されている。このようなサイバーアパートは、ホームオートメーションのための制御ボックスがビデオホーンボックスに含まれて構成され、電話ラインを介してホームオートメーションのための遠隔制御がなされる。
【0007】
従って、従来のサイバーアパートのホームオートメーションは、電話ラインによりなされるので、使用者が視認することができないので、ホームオートメーションに対する使用者の信頼性を高めることができない問題もある。
【0008】
【発明が解決しようとする課題】
本発明の目的は、前記のような従来技術の諸般問題の解決のために、案出したもので、ネットワークに接続可能で、有、無線ネットワークを介して接続された使用者により動作が制御され、監視画像をネットワークを介して伝送することができるネットワークカメラを提供することにある。
【0009】
本発明の別の目的は、いろいろな制御方式の制御対象を連結した後、有、無線ネットワークを介して接続された使用者が制御対象の動作を遠隔地から制御することができるネットワークカメラを提供することにある。
【0010】
本発明のさらなる別の目的は、前記のようなネットワークカメラと使用者を登録させておいて、使用者が要求すると前記ネットワークカメラから監視画像データを受信して使用者に伝達してやり、使用者の制御データを前記ネットワークカメラに伝達してやるネットワークカメラを用いた遠隔監視/制御システム及び方法を提供することにある。
【0011】
本発明のさらなる別の目的は、前記ネットワークカメラから監視地域の侵入や監視対象の異常状態が伝達されると、予め設定された使用者に侵入事実や異常状態を通知してやるネットワークカメラを用いた遠隔監視/制御システム及び方法を提供することにある。
【0012】
本発明のさらなる別の目的は、前記ネットワークカメラに家庭用電気製品等を連結した後、有、無線ネットワークを介して接続された使用者が外部から当該電気製品の動作を制御することができる遠隔監視/制御システム及び方法を提供することにある。
【0013】
本発明の又別の目的は、ネットワークカメラとサーバとクライアントとの間にネットワークを介して画像データを伝送する場合、これを圧縮して伝送することができる画像データ圧縮伝送方法及びシステムを提供することにある。
【0014】
【課題を解決するための手段】
前述の目的の達成のために、本発明は、遠隔地の少なくとも1つのネットワークカメラを用いた画像モニターリング方法において、ネットワークを介して接続された使用者からネットワークカメラのネットワーク固有住所を受信するステップと(ネットワーク固有住所はMAC住所、または、IP住所である)、ネットワーク固有住所によるネットワークカメラを登録するステップと、使用者からネットワークカメラ接続要求を受信するステップと、ネットワークカメラ接続要求に応じて使用者に応ずるネットワークカメラの固有住所を伝送するステップとを含み、かつ、使用者はネットワーク固有住所を用いて接続されたネットワークカメラから監視画像を受信する画像モニターリング方法を提供することにその特徴がある。
【0015】
ここで、ネットワーク接続された使用者からネットワークカメラのネットワーク固有住所を受信するステップは、使用者からネットワークカメラのネットワーク固有住所体系情報を受信するステップと(ネットワーク固有住所体系は、少なくとも固定IP住所体系、または、流動IP住所体系中いずれかである)、ネットワークカメラが固定IP住所体系の場合、使用者から前記ネットワークカメラの固定IP住所を受信し、ネットワークカメラが流動IP住所体系の場合、使用者から監視カメラの流動IP情報を受信するステップとを含み、かつ、流動IP情報は、少なくともネットワークカメラのMAC住所、流動IP通報周期を含む。
【0016】
また、本発明は、ネットワーク固有住所によるネットワークカメラの登録を遂行するステップは、ネットワークカメラが固定IP住所体系の場合、使用者に対する固定IP住所を格納し、ネットワークカメラが流動IP住所体系の場合、使用者に対する流動IP住所を格納することにより、カメラの登録を遂行する。
【0017】
また、本発明は、ネットワークカメラ接続要求に応じて使用者に応ずるネットワークカメラのネットワーク固有住所を伝送するステップは、ネットワークカメラが固定IP住所体系の場合、使用者に応ずる前記ネットワークカメラの固定IP住所を伝送する。
【0018】
また、本発明は、ネットワークカメラ接続要求に応じて使用者に応ずるネットワークカメラのネットワーク固有住所を伝送するステップは、ネットワークカメラが流動IP住所体系の場合、使用者に応ずるネットワークカメラのMAC住所を伝送するステップと、MAC住所を通じた使用者のカメラ接続要求を受信するステップと、MAC住所に応ずるネットワークカメラの流動IP住所を使用者に伝送するステップとを含む 。
【0019】
また、本発明は、通報周期毎にネットワークカメラから流動IP接続要求信号を受信するステップと(流動IP受付け要求信号は、ネットワークカメラのMAC住所及び流動IP住所を含む)、MAC住所によりネットワークカメラの登録の可否を判断するステップと、ネットワークカメラが登録された場合、MAC住所に対する流動IP住所をアップデートするステップとを更に含む。
【0020】
また、本発明は、ネットワークカメラから異常状態監視信号を受信するステップと、受信された異常状態監視信号により警告メッセージを生成するステップと、生成された警告メッセージをネットワークカメラに応ずる使用者に伝送するステップと、ネットワークカメラから異常状態監視領域を受信して格納するステップとを更に含む。
【0021】
本発明の別の特徴は、ネットワークを介して一定の使用者と接続されたネットワークカメラ制御方法(ネットワークカメラは、複数の外部電子機器と接続される)において、使用者から監視画像要求を受信するステップと、要求された監視画像を使用者に適合しているフォーマットに変形して伝送するステップと、監視画像による監視位置調節信号を使用者から受信するステップと、受信された監視位置調節信号に応じてネットワークカメラのパン/チルトの調節を行うステップとを含み、かつ、使用者は前記ネットワークカメラのネットワーク固有住所を 介してネットワーク接続されることを特徴とするネットワークカメラ制御方法を提供することにある。
【0022】
ここで、使用者から異常状態監視要求を受信するステップと、異常状態監視要求により一定の監視地域の異常動きを監視するステップと、異常動きの監視により使用者に異常状態監視信号を伝送するステップとを更に含む。
【0023】
また、本発明の又別の特徴は、使用者から電力線調節信号(電力線調節信号は電子機器分類コード及び電力線制御情報を含む)を受信するステップと、電子機器分類コードに応ずる電子機器に電力線制御情報による電力線制御信号を伝送するステップとを更に含み、かつ、電力線制御信号は前記電子機器の電源オン/オフ動作を制御するための信号であることを特徴とする。
【0024】
【発明の実施の形態】
以下、本発明の実施の形態について添付の図面を参照しながら詳細に説明する。
図1は、本発明にかかるネットワークカメラを用いた遠隔監視/制御網の構成図である。
【0025】
図1を参照すると、本発明にかかるネットワークカメラを用いた遠隔監視/制御網は、PC端末機100、インターネット102、無線通信網104、無線インターネット端末機110、無線インターネットサーバ120、基地局130、遠隔監視/制御サービスサイト140及びハブ152を介してインターネット102に接続される第1ないし第Nのネットワークカメラ150−1〜150−Nを含む。そして、ネットワークカメラ150−1には、侵入探知や火災感知等のためのセンサー154が連結されることができ、制御対象を直接制御するためのリレー156が連結されることができ、いろいろな制御網160が連結されることができる。本発明の実施の形態において、制御網160は電力線通信プロトコルにより家庭用家電製品等の電源を制御するためのX.10網であり、X.10網は、制御情報を提供するX.10トランスミッタ162と、制御対象が連結されるX.10レシーバ164−1〜164−3、そして、これらの間に通信経路を提供するための電力線168からなる。本発明の実施の形態において、X.10トランスミッタ162にはネットワークカメラ150−1が連結されており、X.10レシーバ164−1〜164−3にはエアコン166−1、電灯166−2、ボイラー166−3等が各々連結されている。
【0026】
PC端末機100は、通常のウェブブラウザーが搭載されており、インターネット102を介して遠隔監視/制御サービスサイト140に接続される。無線インターネット端末機110は、セルラホンやPDA等として、WAP端末機、I−MODE端末機、または、J−SKY端末機等を含んだ。無線インターネットサーバ120は、無線インターネット端末機110に無線インターネットプロトコルを提供し、無線インターネットを一般のインターネットと連結するためのサーバである。 無線インターネット端末機110は、基地極130と無線通信網104とを介して 無線インターネットサーバ120に接続され、 無線インターネットサーバ120から一般のインターネットプロトコルに変換され、インターネット102を介して遠隔監視/制御サービスサイト140に接続される。無線インターネットサーバ120は、遠隔監視/制御サービスサイト140に含まれて構成されることもできる。
【0027】
遠隔監視/制御サービスサイト140は、図2に示すように、固有機能を遂行するインタフェースサーバ220とデータベース250からなり、使用者認証やネットワークカメラの登録を処理し、無線インターネットや有線インターネットを介して接続した使用者とネットワークカメラとの間の接続を中継する。即ち、PC端末機100、または、無線インターネット端末機110は、第1ないし第Nのネットワークカメラ150−1〜150−Nのネットワーク固有住所を遠隔監視/制御サービスサイト140に伝送し、遠隔監視/制御サービスサイト140は、PC端末機100、または、無線インターネット端末機110に対する第1ないし第Nのネットワークカメラ150−1〜150−Nのネットワーク固有住所を登録する。ここで、ネットワーク固有住所は、固定IP住所、または、MAC住所を含む。そして、遠隔監視/制御サービスサイト140は、 PC端末機100、または、無線インターネット端末機110からMAC住所による第1ないし第Nのネットワークカメラ150−1〜150−Nの接続要求信号が入力されると、入力されたMAC住所に応ずる第1ないし第Nのネットワークカメラ150−1〜150−Nの流動IP住所をPC端末機100、または、無線インターネット端末機110に伝送する。
【0028】
第1ないし第Nのネットワークカメラ150−1〜150−Nは、図26に示すように構成され、IP住所、または、MAC住所によりPC端末機100、または、無線インターネット端末機110と接続され、それにより監視画像伝送、遠隔制御、ホームオートメーション及び電力線制御機能を遂行する。即ち、ネットワークカメラ150−1〜150−Nには監視対象を感知するためのセンサー154と監視対象の動作を直接制御するためのリレー156、家庭用家電製品等を制御するためのX.10トランスミッタ162が連結されて、センサー154から感知された信号と自体カメラで撮影した監視画像を遠隔監視/制御サービスサイト140や使用者側に伝送し、インターネット102を介して受信された使用者制御コマンドによりカメラの姿勢を制御すると共に、家電製品の動作を制御する。その際、ハブ152はケーブルモデム(図示していない)やラウター(図示していない)等、ネットワーク装備を介してインターネット102に接続される。
【0029】
図2は、図1に示した遠隔監視/制御サービスサイトの構成ブロック図であって、インターネットを介して連結されるクライアント205とインタフェースサーバ220とデータベース250とネットワークカメラ230とが図示されている。
図2を参照すると、遠隔監視/制御サービスサイト140は、クライアント205とネットワークカメラ230とを連結するための機能を遂行するインタフェースサーバ220と各種データを格納するためのデータベース250からなるが、インタフェースサーバ220は使用者認証サーバ221、カメラ登録サーバ222、IP受け付けサーバ223、IP検索サーバ224、中継サーバ、異常状態受け付けサーバ226からなり、データベース250は使用者情報データベース251と固定IP住所データベース252、MAC住所データベース253、住所連動データベース254、異常状態データベース256からなる。ここで、各々のサーバは、遂行する機能上、分離されたもので、ハードウェア的では、1つのサーバコンピュータで具現されることができる。
【0030】
使用者システムであるクライアント205は、通常のインターネットサービスを用いることができるPC端末機200と無線インターネット可能なPDAやセルラホンからなる無線インターネット端末機210からなり、ネットワークカメラ230は各監視地域に設けられる多数のネットワークカメラ230−1〜230−Nと各カメラ230−1〜230−Nに連結されることができる動き感知センサー240−1〜240−N等からなる。
【0031】
PC端末機200には、本発明にかかるサービスの利用を容易にするクライアントモジュール202が搭載されており、クライアントモジュール202は一定の地域の画像をモニターリングし、ホームオートメーションを具現するためのカメラ230をインターフェースサーバ220に登録することができる。即ち、クライアントモジュール202は、ネットワークカメラ230のネットワーク固有住所である固定IP(Internet Protocol)住所、または、MAC(Media Access Control)住所を遠隔監視/制御サービスサイト140に登録する機能を含んだ。また、クライアントモジュール202は、インターネットに接続されたネットワークカメラ230から受信された監視画像をディスプレーするための画面ビューア(viwer)及び監視位置を制御するための位置制御プログラムを含む。カメラの監視位置は、カメラのPANを介して水平方向に調節することができ、カメラのチルト(Tilt)を介して垂直方向に調節することができる。
【0032】
使用者認証サーバ221はインターネットに接続されたPC端末機200及び無線インターネット端末機210の使用者を登録及び認証するためのサーバで、カメラ登録サーバ222はネットワークカメラ230のネットワーク登録を行うためのサーバである。ここで、ネットワークカメラ230のネットワーク登録は、各ネットワークカメラ230−1〜230−Nが有するネットワーク固有住所である固定IP住所、または、MAC住所を当該住所データベースに格納するのである。
【0033】
通常、インターネットに接続された多数の通信端末機を区分するため、各通信端末機は各々のネットワーク固有住所を有するが、これは、ソフトウェア住所及びハードウェア住所からなる。ここで、ソフトウェア住所はIP住所(Internet Protocol Address)といい、ハードウェア住所はMAC (Media Access Control)住所という。ハードウェア住所であるMAC住所は物理的住所であって、変わらない固定住所であるが、IP住所は1回割り当てられたIP住所が変わらない固定IP住所と、接続時毎にIP住所が変わる流動IP住所とに分けられる。ここで、流動IP住所体系は、その数字が固定されているIP住所を多数の使用者が使用するようにするための体系であって、1つのIP住所を多数の使用者が共有するのである。
【0034】
IP受け付けサーバ223は、流動IP住所体系を有する第1ないし第Nのネットワークカメラ230−1〜230−Nから通報される流動IP住所を格納するように構成され、IP検索サーバ224はPC端末機200、または、無線インターネット端末機210からMAC住所を用いて接続が要求されるとMAC住所に応ずる第1ないし第Nのネットワークカメラ230−1〜230−Nの流動IP住所を検索する。中継サーバ225は、PC端末機200、または、無線インターネット端末機210から要求された 第1ないし第Nのネットワークカメラ230−1〜230−Nの流動IP住所をPC端末機200、または、無線インターネット端末機210に伝送し、異常状態受け付けサーバ226は第1ないし第Nのネットワークカメラ230−1〜230−Nからの異常状態監視信号が受信されると、監視された異常状態による当該情報をPC端末機200、または、無線インターネット端末機210に伝送される。
【0035】
使用者情報データベース251は図3に示すように、少なくとも使用者IDフィールド、名前フィールド及び認証コードフィールドを含んでおり、固定IP住所データベース252は、図4に示すように、少なくとも使用者IDフィールド、IP住所フィールド及びカメラ名/番号フィールドを含んでいる。MAC住所データベース253は図5に示すように、少なくとも識別子フィールド、使用者IDフィールド、MAC住所フィールド、カメラ名/番号フィールド、受け付けサーバ住所フィールド及びIP通報周期フィールドを含む。住所連動データベース254は図6に示すように、少なくともMAC住所フィールド及びIP住所フィールドを含み、異常状態データベース256は図7に示すように、少なくとも異常状態分類コード及び伝送メッセージ内容フィールドを含む。
【0036】
このように構成される本発明によるネットワークカメラを用いた遠隔監視/制御網の動作を説明すると次の通りである。
1.使用者認証(登録)及びカメラ登録過程
先ず、PC端末機200、または、無線インターネット端末機210のようなクライアント205がネットワークカメラ230を用いて遠隔監視/制御、侵入者探知、訪問客確認、ホームオートメーション等を遂行するためにはサービス提供サイト140に接続して使用者登録及び認証し、ネットワークカメラ230をネットワーク登録する過程が先行されなければならない。
使用者認証(登録)は図8に示すように、クライアント205と使用者認証サーバ231により遂行される。
【0037】
図8を参照すると、クライアント205がインターフェースサーバ220に接続して個人身上情報、例えば使用者の名前、使用者ID、パスワード、職業、趣味等を伝送した後、サービス要求を行うと(S400)、インターフェースサーバ220の使用者認証サーバ221はクライアント205に応ずる認証コードを発生する(S402)。その際、使用者認証サーバ221はクライアント205のID、名前等の身上情報及び認証コードを使用者情報データベース251に格納する(S404)。
【0038】
次に、使用者認証サーバ221は発生された認証コードをクライアント205に伝送し(S406)、クライアント205は認証コードを受信した後、受信された認証コードを更に使用者認証サーバ221に伝送する(S408)。
使用者認証サーバ221は、クライアント205から回信された認証コードによりクライアント205の認証を行った後(S410)、認証完了メッセージをクライアント205に伝送することにより、使用者認証を完了する(S412)。
例えば、図3でのように、‘イ ヨン エ’というクライアントが‘Iee’というIDを介してインターフェースサーバ220に接続すると、使用者認証サーバ221は、‘イ ヨン エ’というクライアント205に‘Iee004’という認証コードを発生した後、クライアント205に伝送する。クライアント205は‘Iee004’という認証コードを受信した後、更に使用者認証サーバ221にこれを伝送し、 使用者認証サーバ221がこれを確認することにより、‘イ ヨン エ’というクライアントに対する認証が完了される。その際、使用者認証サーバ221は‘イ ヨン エ’というクライアントに対する‘Iee004’という認証コードを使用者情報データベース251に格納する。
【0039】
ネットワークカメラ230をネットワーク登録する過程は、ネットワークカメラ230のIPが固定IPであるか、流動IPであるかによって異になり、接続するクライアント205にクライアントモジュール202が搭載されているかどうかによって異になる。
図9は、本発明により固定IP住所を有するカメラ登録過程の順序図であり、図10は、PC端末機に構成されているクライアントモジュールのカメラ登録画面の一例である。
【0040】
先ず、図9に示すように、図8の動作を介して使用者認証されたクライアント205がネットワークカメラ230を登録するためにクライアントモジュール202のカメラ登録プログラムを実行する(S500)。その際、ネットワークカメラ230は固有住所、即ち、IP住所が変わらない固定IP住所体系を有する。そして、各ネットワークカメラ230−1〜230−Nの識別のための固有住所は、ラウターやハブ等のノードに割り当てられた固定IPと各カメラ230−1〜230−Nを識別するためのカメラ名/番号からなる。
クライアント205がクライアントモジュール202のカメラ登録プログラムを実行させると、図10のようにカメラを登録するために、情報を入力するための‘カメラ登録情報入力画面’(以下、簡単に‘カメラ登録画面’という)が出力される。図10のカメラ登録画面を介してクライアント205がネットワークカメラ230の登録情報を入力する。
【0041】
図10を参照すると、カメラ登録画面は、IP状態選択窓600、MAC住所入力窓602、IP住所入力窓604、IP受け付けサーバのIP住所入力窓606、IP住所通報周期入力窓608、カメラ名/番号入力窓610及び伝送アイコン612等を含む。
クライアント205が固定IP住所を有するネットワークカメラ230を登録するために、IP状態選択窓600から“固定IP”を選択し、IP住所入力窓604にネットワークカメラ230のIP住所、カメラ名/番号入力窓610にカメラ名、または、番号を入力する(S502)。その際、クライアント205がIP状態選択窓600から“固定IP”を選択すると、MAC住所入力窓602、IP受け付けサーバのIP住所入力窓606及びIP住所通報周期入力窓608は入力不可能な状態に設定される。
クライアント205が図10の画面を介してネットワークカメラ230の固定IP住所情報を入力した後、伝送アイコン612をクリックしてカメラ登録サーバ222に固定IP住所情報を伝送する(S504)。ここで、固定IP住所情報は、ネットワークカメラ230の固定IP住所と各ネットワークカメラ230−1〜230−Nのカメラ名/番号を含む。
【0042】
カメラ登録サーバ222は、ネットワークカメラ230の工程IP住所情報を受信してクライアント情報に応ずる形態で固定IP住所データベース252に格納する。即ち、図4でのように、カメラ登録サーバ222は、使用者IDに対応する第1ないし第Nのネットワークカメラ230−1〜230−Nの固定IP住所及びカメラ名/番号形態で格納する。その際、カメラ名/番号は固定IPが与えられたラウター、または、ハブ等のネットワーク装置に複数のカメラが接続されている場合、カメラを分類するためのものである。例えば、クライアント205のIDが‘Iee’で、ネットワークカメラ230のIP住所が‘S‐100’で、第1のネットワークカメラ230−1のカメラ名/番号が‘001’である場合、図4のように固定IP住所データベース252に格納される。
このようにカメラ登録サーバ222は、クライアント205から伝送されたネットワークカメラ230のの固定IP住所情報を固定IP住所データベースに格納してカメラの登録を完了する。
【0043】
一方、ネットワークカメラ230が流動IP住所体系を有する場合のカメラ登録動作を図11を参照しながら説明する。
図11を参照すると、クライアント205がクライアントモジュール202のカメラ登録プログラムを実行すると(S700)、図10のようなカメラ登録画面がクライアント205の端末機上に出力される。
クライアント205が図10のIP状態選択窓600に“流動IP”を選択し、MAC住所入力窓602にネットワークカメラ230のMAC住所を入力する。次に、クライアント205は、IP受け付けサーバのIP住所入力窓606にIP住所を入力するが、IP受け付けサーバ223のIP住所はクライアント205の流動IPの選択によって自動に設定されることができる。クライアント205は、IP住所通報周期入力窓608に通報周期を入力する。その際、IP通報周期はクライアント205の流動IP選択により自動に設定されることもできる。また、クライアント205はカメラ名/番号入力窓610にカメラ名、または、番号を入力する。
【0044】
クライアント205は、図10のような画面を介してネットワークカメラ230のMAC住所、IP受け付けサーバ223のIP住所、IP通報周期及び各ネットワークカメラ230−1〜230−Nのカメラ名/番号を含む流動IP住所情報を入力した後、伝送アイコン612をクリックして入力情報をカメラ登録サーバに伝送する(S702)。
カメラ登録サーバ222は、クライアント205から受信された第1ないし第Nのネットワークカメラ230−1〜230−Nの流動IP情報をMAC住所データベース253に格納する(S704)。
例えば、‘Kim’というIDを有するクライアント205が‘M100’というネットワークカメラ230のMAC住所と第1のネットワークカメラ230−1の‘001’という カメラ名/番号、‘R100’というIP受け付けサーバのIP住所及び‘00:00:00’のIP通報周期を含む流動IP情報を伝送すると、カメラ登録サーバ222は図5のようにMAC住所データベース253に格納する。
【0045】
カメラ登録サーバ222は、クライアント205から受信された流動IP情報中、MAC住所をIP受け付けサーバ223に伝送し(S706)、IP受け付けサーバ223はMAC住所を格納(S708)することにより流動IPを有する第1ないし第Nのネットワークカメラ230−1〜230−Nの登録を完了する。
一方、クライアント205端末機にクライアントモジュール202が設けられていない場合の固定IPを有する第1ないし第Nのネットワークカメラの登録過程を図12を参照しながら説明する。
図12を参照するとクライアント205がインターネットを介してカメラ登録サーバ222に接続した後、カメラの登録を要求する(S800)。
カメラ登録サーバ222はカメラ登録情報を入力されるための画面を構成し(S802)、構成されたカメラ登録情報入力画面をクライアント205に伝送する(S804)。ここで、カメラ登録情報を入力されるための画面は図10のような画面構成を有することができる。
【0046】
クライアント205は受信されたカメラ登録情報入力画面を介して、第1ないし第Nのネットワークカメラ230−1〜230−Nの固定IP住所及びカメラ名/番号を含む固定IP情報を入力し(S806)、固定IP情報をカメラ登録サーバ22に伝送する。
カメラ登録サーバ222は、クライアント205から第1ないし第Nのネットワークカメラ230−1〜230−Nの固定IP情報を固定IP住所データベース252に格納して第1ないし第Nのネットワークカメラ230−1〜230−Nの登録を完了する(S810)。
一方、クライアント205端末機にクライアントモジュール202が設けられていない場合、流動IPを有する第1ないし第Nのネットワークカメラの登録過程を図13を参照しながら説明する。
図13を参照すると、クライアント205はインターネットに接続されたカメラ登録サーバ222にカメラの登録を要求し(S900)、カメラ登録サーバ222はカメラ登録情報を入力されるための図10のようなカメラ登録画面を構成する(S902)。
カメラ登録サーバ222は、構成されたカメラ登録画面をクライアント205に伝送し、クライアント205はカメラ登録画面を介して第1ないし第Nのネットワークカメラ230−1〜230−NのMAC住所、IP受け付けサーバのIP住所及びIP通報周期を含む流動情報を入力する(S904、S906)。
【0047】
クライアント205は流動IP情報をカメラ登録サーバ222に伝送し(S908)、カメラ登録サーバ222はクライアント205に対する流動IP情報をMAC住所データベース253に格納する(S910)。
以後、カメラ登録サーバ222は、第1ないし第Nのネットワークカメラ230−1〜230−Nの流動IP住所情報中、MAC住所をIP受け付けサーバ223に伝送し(S912)、IP受け付けサーバ223はMAC住所を格納する(S914)。
【0048】
本発明のネットワークカメラ230に与えられる流動IP住所のアップデート動作を図14を参照しながら説明する。
図14を参照すると、ネットワークカメラ230は、MAC住所に対するIP住所をインターネットサービス業体(ISP)から与えられ(S100)、カメラ登録の際に設定されたIP通報周期を計数する(S1002)。
計数時間がIP通報周期に達するとネットワークカメラ230は、MAC住所によりIP受け付け要求をIP受け付けサーバ223に伝送する(S1004)。その際、ネットワークカメラ230は、インターネットサービス業体(ISP)から与えられた流動IP住所も共に伝送する。ここで、ネットワークカメラ230は、電源がオン(ON)になった状態でIP通報周期を計数するように設定されることもできる。
IP受け付けサーバ223は、IP受け付けを要求したネットワークカメラ230のMAC住所が格納されているかどうかを判断する(S1006)。即ち、ネットワークカメラ230がMAC住所を介してカメラ登録されているかを判断する。IP受け付けサーバ223は、MAC住所が格納されている場合、IP受け付け要求の際、入力されたIP住所を住所連動データベース254に格納する(S1008)。このような流動IPアップデート過程は、ネットワークカメラ230に設定されたIP通報周期に達する場合、繰返し遂行される。
【0049】
このように、使用者認証とカメラのネットワーク登録を完了した後、ネットワークカメラを用いて画像モニターリング、異常状態監視(侵入探知)、ホームオートメーション等、いろいろなサービスを遂行する過程は次の通りである。
2. 画像モニターリングサービス
図15は、本発明により固定IP住所を有するカメラの姿勢制御のための順序図で図16は、ネットワークカメラに接続し、カメラの姿勢を制御するためのプログラムの画面の例である。
図15を参照すると、クライアント205は、ネットワークカメラ230の固定IP住所と、カメラ名/番号を介して、第1ないし第Nのネットワークカメラ230−1〜230−Nは接続要求信号を伝送し、第1ないし第Nのネットワークカメラ230−1〜230−Nは、接続要求信号によってクライアント205とインターネットを介して接続される(S1100)。その際、第1ないし第Nのカメラ230−1〜230−Nに接続するためには、クライアント205が先に遠隔制御/監視サービスサイト140に接続した後、アイディ(ID)と秘密番号等を入力して使用者認証過程を経るようにすることが望ましい。
【0050】
クライアント205は、インターネットに接続された第1ないし第Nのカメラ230−1〜230−Nに監視画像を要求し(S1102)、第1ないし第Nのカメラ230−1〜230−Nは要求された監視画像をクライアント205に伝送する(S1104)。その際、第1ないし第Nのネットワークカメラ230−1〜230−Nは監視画像をクライアント205に適切な画像フォーマットに変更した後、伝送することもでき、遠隔制御/監視サービスサイト140を経て伝送することもできる。
クライアント205は、受信された監視画像情報により第1ないし第Nのネットワークカメラ230−1〜230−Nの監視位置を制御するために、クライアントモジュール202内のカメラ監視位置制御プログラムを実行する(S1106)。カメラ監視位置制御プログラムが実行されると、図16のようにカメラの監視位置を制御するための入力画面(以下、‘カメラ制御画面’という)がクライアントに提供される。
図16を参照すると、カメラ制御画面は第1ないし第Nのネットワークカメラ230−1〜230−Nから受信された監視画像がディスプレイされる監視画像ディスプレイ部1200、第1ないし第Nの動きセンサー240−1〜240−Nの動作を制御するためのセンサー制御部1202及び第1ないし第Nのネットワークカメラ230−1〜230−Nに設けられているランプ(図示していない)の動作を制御するためのランプ制御部1204を含む。また、カメラ制御画面は第1ないし第Nのネットワークカメラ230−1〜230−Nの上、下、左、右の動作(PAN、TILT)を制御するための位置制御部1210、第1ないし第Nのネットワークカメラ230−1〜230−Nとの接続のための接続アイコン1222、接続終了のための非接続アイコン1224、監視画像ディスプレイ部1200でディスプレイされる画像をキャップチャー(capture)するためのキャッチャーアイコン1226、監視画像を格納するための格納アイコン1228及び格納された画像をディスプレイするための再生アイコン1230等を含む。
【0051】
クライアント205は、図16のようなカメラ制御画面のセンサー制御部1202を介してオン/オフ制御信号を入力すると、中継サーバ225は、センサーのオン/オフ制御信号を第1ないし第Nのネットワークカメラ230−1〜230−Nに伝送し、第1ないし第Nのネットワークカメラ230−1〜230−Nはセンサーのオン/オフ制御信号によって第1ないし第Nの動き監視センサー240−1〜240−Nのオン/オフ動作を制御する。また、クライアント205は位置制御部1210の上、下ボタンや左、右ボタンを操作し、第1ないし第Nのネットワークカメラ230−1〜230−Nの撮影位置を制御するための信号を第1ないし第Nのネットワークカメラ230−1〜230−Nに伝送する(S1108、S1110)。
第1ないし第Nのネットワークカメラ230−1〜230−Nは、位置制御信号によりカメラの撮影位置、即ち、カメラのパン(PAN)及びチルト(TILT)を調節する(S112)。その際、パン(PAN)の調節範囲は180度で、チルト(TILT)の調節範囲は45度である。
図16のランプ制御部1204、接続アイコン1222、非接続アイコン1224、キャップチャーアイコン1226、格納アイコン1228及び再生アイコン1230による動作過程も前述と同様であるので詳細な説明を省略する。
【0052】
図17は、本発明により流動IP住所を有する第1ないし第Nのネットワークカメラの位置制御のための順序図である。
図17を参照すると、クライアント205はインターフェースサーバの中継サーバ225に接続した後、ID及びパスワード入力によるログインを行った後、遠隔監視/制御サービスを要求する(S1300)。
中継サーバ225は、入力されるクライアント205のID及びパスワード等により使用者情報データベース251を検索してクライアント205が正当なサービス使用者であるかどうかを判断して使用者認証を行う(S1302)。
第1ないし第Nのネットワークカメラ230−1〜230−Nが流動IP住所を有する場合、中継サーバ225は、MAC住所データベース253を検索し(S1304)、クライアント205のIDに応ずる第1ないし第Nのネットワークカメラ230−1〜230−NのMAC住所をクライアント205に伝送する(S1306)。
クライアント205は、MAC住所を介して中継サーバ225に第1ないし第Nのネットワークカメラ230−1〜230−Nの接続要求を行ない(S1308)、中継サーバ225は、クライアント205からのMAC住所をIP検索サーバ224に伝送する(S1310)。
IP検索サーバ224は、住所連動データベース254を検索して受信されたMAC住所に応ずる流動IP住所を検索し(S1312)、検索されたIP住所を中継サーバ225に伝送する(S1314)。
中継サーバ225は、流動IP住所をクライアント205に伝送し(S1316)、クライアント205は、受信された流動IP住所とカメラ名/番号を介して第1ないし第Nのネットワークカメラ230−1〜230−Nの接続を要求する(S1318)。その際、第1ないし第Nのネットワークカメラ230−1〜230−Nは、流動IP住所とカメラ名/番号により接続を要求したクライアント205とインターネットにより接続される。
次に、クライアント205は、インターネット接続された第1ないし第Nのネットワークカメラ230−1〜230−Nに監視画像を要求し(S1320)、第1ないし第Nのネットワークカメラ230−1〜230−Nは、要求された監視画像をクライアント205に伝送する(S1322)。その際、第1ないし第Nのネットワークカメラ230−1〜230−Nは、要求された監視画像をクライアントに適切なフォーマットに変更して伝送する。
以後の動作、即ち、ステップ1324ないしステップ1330は、図15のステップ1106ないしステップ1112と同様であるので、詳細な説明を省略する。
【0053】
一方、本発明による遠隔監視/制御システムは、1つのクライアント205により複数個のネットワークカメラを登録することができ、登録された複数個のネットワークカメラによる監視画像を1つの画面で同時に確認することができる。即ち、図18は、本発明の監視画像の画面構成の一例であって、クライアント205は4つのネットワークカメラからの第1ないし第Nの監視画面を同時に確認することができる。その際、監視画面の解像度も選択アイコン1400を介して希望のものを選択することができる。
3.常状態監視(侵入探知)サービス
本発明による遠隔監視/制御網を介して異常状態を監視するサービスの動作を説明すると次の通りである。
図19は、本発明によりネットワークカメラを用いて監視地域の異常状態(例え、侵入探知)を監視するための順序図である。
図19を参照すると、第1ないし第Nのネットワークカメラ230−1〜230−Nは、第1ないし第Nの動き監視センサー240−1〜240−Nにより異常動きを感知(侵入を探知)する(S1500)。即ち、クライアント205は、空いている家、又は、博物館、美術館等に侵入する盗人等の侵入を監視するために、図16のようなカメラ制御画面でセンサー制御部1202により第1ないし第Nの動き監視センサー240−1〜240−Nの作動をオン(ON)させる。これによって、第1ないし第Nのネットワークカメラ230−1〜230−Nは、第1ないし第Nの動き監視センサー240−1〜240−Nの作動をオンさせて監視地域の動きを検出する。
【0054】
次に、第1ないし第Nのネットワークカメラ230−1〜230−Nは感知された異常状態により異常状態分類コード情報及びMAC住所をインターフェースサーバ220の異常状態受け付けサーバ226に伝送する。異常状態受け付けサーバ226は、第1ないし第Nのネットワークカメラ230−1〜230−NのMAC住所により固定IPデータベース252、または、MAC住所データベース253を検索し、当該クライアント205を検索する(S1504)。また、異常状態受け付けサーバ226は、異常状態データ‐ベース256を検索し、第1ないし第Nのネットワークカメラ230−1〜230−Nからの異常状態分類コードに応ずるメッセージ内容を検索した後、それによる警告メッセージを生成する(S1506)。
【0055】
次に、異常状態受け付けサーバ226は、検索されたクライアント205で生成された警告メッセージを伝送する(S1508)。クライアントは、警告メッセージによりクライアントモジュール202のカメラ制御プログラムを実行する(S1510)。その際、異常状態受け付けサーバ226は、第1ないし第Nのネットワークカメラ230−1〜230−Nに監視画像を要求し、第1ないし第Nのネットワークカメラ230−1〜230−Nは要求された監視画像を異常状態受け付けサーバ226に伝送する(S1514)。
異常状態受け付けサーバ226は、第1ないし第Nのネットワークカメラ230−1〜230−Nから監視画像を受信し、受信された監視画像情報を格納する(S1516)。
【0056】
前記過程を介して、クライアント205は継続的に監視地域の画像モニターリングを行わなくても異常状態受け付けサーバ226から警告メッセージを受信して監視地域の異常状態(侵入探知)を把握する。また、クライアント205は異常状態受け付けサーバ226により格納された監視画像情報を異常状態を解決するための資料として使用することができる。
4.ホームオートメーションサービス
本発明による遠隔監視/制御網を用いてホームオートメーションサービスを行う過程を説明する。
図20は、本発明のホームオートメーションを行うための順序図である。
【0057】
先ず、クライアント205は、クライアントモジュール202内のホームオートメーションプログラムを遂行する(S1600)。
クライアント205は、ホームオートメーションプログラムを介してネットワークカメラ230に接続された外部装置、例えば、電気炊飯器、エアコン、また、ボイラー等を選択し、選択された外部装置を制御するための制御信号、即ち、ホームオートメーション制御信号を入力する(S1602)。ここで、外部装置は、RS 232Cインターフェースを介してネットワークカメラ230に接続される。また、ホームオートメーション制御信号は、複数の外部装置を区分するための固有コード及び機能信号を含む。
【0058】
次に、クライアント205は、図15、または、図17のような過程を介してネットワークカメラ230に接続された後、ホームオートメーション制御信号をネットワークカメラ230に伝送する(S1604)。
ネットワークカメラ230は、クライアント205から受信されたホームオートメーション制御信号の固有コードにより当該外部装置を選択し、X.10プロトコルにより選択された外部装置の電力線制御信号を生成する(S1606)。その際、X.10プロトコルは、電力線制御プロトコルであって、他の電力線制御プロトコルを用いることもできる。
次に、ネットワークカメラ230は、生成された電力線制御信号を当該外部装置に伝送し(S1608)、外部装置は、電力線制御信号によって電源がオン/オフされる。
5.無線インターネット端末機を用いるサービスの例
このような本発明のいろいろなサービスを無線インターネット端末機210を介して提供する例を添付図面を参照しながら詳細に説明する。
図21は、本発明による画像モニターリング(動画像見る)サービスのための無線インターネット端末機の画面例である。
図21を参照すると、無線インターネット端末機210の使用者は、インターフェースサーバ220に接続し、ID及びパスワードを入力し、サービスサイトにログインする。
インターフェースサーバ220は、使用者認証された無線インターネット端末機210に動画像見る、ホームオートメーション及び侵入探知等のサービスを選択することができるメニュー画面を提供する。
【0059】
次に、無線インターネット端末機210の使用者がサービス選択メニュー画面で‘動画像見る’を選択すると、インターネットサーバ225は、無線インターネット端末機210の使用者により登録された第1ないし第Nのネットワークカメラ230−1〜230−Nの中、いずれかを選択するための画面を出力する。即ち、インターフェースサーバ220は、居間、玄関、奥の間等に複数の場所に設けられた第1ないし第Nのネットワークカメラ230−1〜230−Nの中、いずれかを選択するための選択画面を出力する。
無線インターネット端末機210の使用者が‘居間’を選択すると、インターフェースサーバ220は、選択された場所に対する確認のために、‘居間画面を選択しました。’というメッセージを無線インターネット端末機210に伝送する。
【0060】
次に、インターフェースサーバ220は、選択されたネットワークカメラが撮影した‘居間’の画像を無線インターネット端末機210に伝送する。その際、無線インターネット端末機210の使用者が‘居間’を撮影するネットワークカメラの位置制御を選択すると、インターフェースサーバ220は、当該ネットワークカメラの上、下、左、右、即ち、パン(PAN)とチルト(TILT)を調節するためのメニュー画面を無線インターネット端末機210に伝送する。
無線インターネット端末機210の使用者がパン/チルトの調節メニュー画面を参照して‘2’、‘8’、‘4’、‘6’等のテン鍵を用いて第1ないし第Nのネットワークカメラ230−1〜230−Nのパン/チルト調節信号を入力すると、これによって、当該ネットワークカメラの監視位置が変更され、インターフェースサーバ220は、ネットワークカメラから変更された監視画像を伝達されて無線インターネット端末機210の使用者に伝送する。その際、インターフェースサーバ220は、第1ないし第Nのカメラ230−1〜230−Nから監視画像を受信した後、無線インターネット端末機210を介してディスプレイすることができるように画像フォーマットを変更して伝送する。
【0061】
図22〜図24は、本発明により、異常状態監視サービスを行う無線インターネット端末機の画面例である。
図22を参照すると、無線インターネット端末機210の使用者が、インターフェースサーバ220に接続されると、インターフェースサーバ220は、使用者の認証のためのログイン画面を無線インターネット端末機210に出力する。無線インターネット端末機210の使用者が、ログイン画面を介してID及びパスワードを入力してログインすると、インターフェースサーバ220はID及びパスワードにより無線インターネット端末機210を認証する。
インターフェースサーバ220は、使用者認証された無線インターネット端末機210に動画像見る、ホームオートメーション及び侵入探知サービスの中、いずれかを選択するためのメニュー画面を出力する。
無線インターネット端末機210の使用者がサービス選択メニュー画面を介して ‘侵入探知’サービスを選択すると、インターネットサーバ225は、侵入探知の設定、または、確認選択のためのメニュー画面を無線インターネット端末機210に伝送する。無線インターネット端末機210に使用者が‘侵入探知設定’を選択すると、インターフェースサーバ220は侵入探知設定のための細部選択メニュー画面を無線インターネット端末機210に伝送する。即ち、インターフェースサーバ220は、侵入探知の‘設定’、‘解除’、または、‘連絡所設定’のための選択メニューを出力し、無線インターネット端末機210使用者が連絡所設定を選択すると、インターフェースサーバ220は、連絡受ける電話番号を入力せよとの画面を無線インターネット端末機210に伝送する。これによって、無線インターネット端末機210の使用者は連絡番号入力画面を介して連絡所情報を入力する。
【0062】
次に、インターフェースサーバ220は、図23でのような侵入探知場所の設定のために、侵入探知設定画面を無線インターネット端末機210に出力する。侵入探知設定画面を介して無線インターネット端末機210の使用者が侵入探知‘設定’を選択すると、インターフェースサーバ220侵入探知場所選択画面を無線インターネット端末機210に出力し、無線インターネット端末機210の使用者は、‘居間’や‘玄関’等のように侵入探知する場所を選択する。
次に、異常状態受け付けサーバ226は、侵入探知が設定された居間のネットワークカメラから侵入情報が受信されると、図24のように侵入警報メッセージを無線インターネット端末機210に伝送する。
無線インターネット端末機210の使用者が侵入感知された地域の確認を要求すると、インターフェースサーバ220は‘居間’を監視するネットワークカメラに監視画像を要求し、ネットワークカメラは要求された監視画像を無線インターネット端末機210に伝送する。これと共に、異常状態受け付けサーバ226は予め登録された電話番号(例えば、警備室や警察署、警備業体等)等に自動連結して異常状態感知事実を通知することができる。
【0063】
図25は、本発明によりホームオートメーションサービスを遂行するための無線インターネット端末機の画面例である。
図25を参照すると、無線インターネット端末機210の使用者が、サービス選択メニュー画面から‘ホームオートメーション’を選択すると、インターフェースサーバ220は、第1ないし第Nのネットワークカメラ230−1〜230−Nによりホームオートメーションが遂行される複数の外部装置選択のための画面を無線インターネット端末機210に出力する。その際、複数の外部装置は、TV、居間、ボイラー等を含む。
無線インターネット端末機210の使用者が、外部装置中で、‘ボイラー’を選択すると、インターフェースサーバ220は‘ホームオートメーションボイラーを制御します。’というメッセージを無線インターネット端末機210の画面上に出力し、可動、または、静止を選択するためのメニュー画面を無線インターネット端末機210に出力する。無線インターネット端末機210の使用者がボイラーの‘可動’を選択すると、インターフェースサーバ220は、ボイラー選択のための分類コード及びボイラー可動のための制御信号を第1ないし第Nのネットワークカメラ230−1〜230−Nに伝送する。前述の動作により第1ないし第Nのネットワークカメラ230−1〜230−Nはボイラーを可動させ、インターフェースサーバ220は、‘ボイラーを可動します’というメッセージを無線インターネット端末機210の使用者に出力する。
【0064】
6.ネットワークカメラ
本発明による画像モニターリング及びホームオートメーションの遂行のためのネットワークカメラを添付の図面を参照しながらより詳細に説明する。
図26は、本発明によるネットワークカメラの内部構成ブロック図である。
図26を参照すると、ネットワークカメラはイメージ入力部2000、イメージ圧縮部2010、動き監視信号入力部2020、位置駆動モータ2030、電力線通信部2040、状態表示部2050、データ格納部2060、インターネット通信部2070及びカメラ制御部2080を含む。
【0065】
イメージ入力部2000は、光学レンズ2002及び光学レンズ2002を介して撮影された光学イメージを電気的な信号に変換するCMOSイメージセンサー2004を含む。その際、CMOSイメージセンサー2004はCCDモジュールからなることができる。イメージ圧縮部2010は、イメージ入力部2000のCMOSイメージセンサー2004から電気的信号イメージを画像データに変形し、画像データを圧縮する。その際、データを圧縮する技術はMPEG(Moving Picture Experts Group)が用いられる。また、イメージ圧縮部2010はカメラ制御部2080からの制御信号をCMOSイメージセンサー2004に出力する。
【0066】
動き感知部2020は、カメラと一体に構成されるか、または、別個に構成される動き感知センサーからの動き感知信号を入力されてカメラ制御部2080に出力する。位置駆動モータ2030は、カメラ制御部2080の制御信号によりカメラのパン/チルトを調節し、電力線通信部2040は、カメラ制御部2080の制御信号によりカメラに接続されている外部装置にオン/オフ動作信号を出力する。状態表示部2050はカメラ制御部2080の制御信号によってカメラの動作状態を表示する。
【0067】
データ格納部2060は、インターネット通信部2070からの監視画像要求信号をカメラ制御部2080に出力し、カメラ制御部2080を介して入力される監視画像をインターネット通信部2070に出力する。インターネット通信部2070は、第1ないし第Nのネットワークカメラ230−1〜230−NとPC端末機200、または、無線インターネット端末機210との間のデータ通信のためのプロトコルを格納するプロトコルスタック格納部2072、インターネット通信のためのTCP/IPプロトコルを格納しているTCP/IPプロトコル格納部2074を含む。また、インターネット通信部2070はプロトコルスタック格納部2072及びTCP/IPプロトコル格納部2074のプロトコルによるインターネット通信のためのイーサネット(登録商標)インターフェース部2076と、カメラのMAC住所を格納するためのMAC住所格納部2078とを含む。
【0068】
カメラ制御部2080は、データ格納部2060を介して入力される監視画像要求信号による制御信号をイメージ圧縮部2010に出力し、制御信号によるイメージ圧縮部2010からの監視画像をデータ格納部2060に出力する。また、カメラ制御部2080は動き監視部2020、位置駆動モータ2030、電力線通信部2040及び状態表示部2050を制御するための制御信号を出力する。
【0069】
電力線通信部2040は、カメラ制御部2080からの電力線制御信号を外部装置に伝送するための電力線送信部2042及び電力線制御信号を受信し、外部装置の電源をオン/オフするための電力線受信部2044からなる。ここで、電力線2044は複数の外部装置の各々に別個に構成されて接続される。
このように構成された本発明にかかるネットワークカメラの動作を説明すると次の通りである。
【0070】
先ず、本発明のネットワークカメラはインターネット接続されたクライアント205からの監視画像要求信号をイーサネット(登録商標)インターフェース2076を介して受信する。
イーサネット(登録商標)インターフェース2076は、監視画像要求信号をデータ格納部2060を介してカメラ制御部2080に出力し、カメラ制御部2080は監視画像要求信号による画像要求制御信号をイメージ圧縮部2010を介してCMOSイメージセンサー2004に出力する。
CMOSイメージセンサー2004はカメラ制御部2080からの画像要求制御信号により光学レンズ2002からの光学画像を電気的な信号に変換し、イメージ圧縮部2010に出力する。イメージ圧縮部2010は、電気的信号の画像をインターネット通信可能な画像データ形態に変化し、圧縮した後、カメラ制御部2080に出力する。
カメラ制御部2080はイメージ圧縮部2010から入力された画像データをデータ格納部2060に出力し、データ格納部2060は入力された画像データを一時格納してからイーサネット(登録商標)インターフェース2076を介してデータ伝送することにより、インターネット接続されたクライアント205に伝送する。その際、イーサネットインターフェース2076を通じた画像データ伝送の際、通信プロトコルスタック2072及びTCP/IPプロトコル2074により通信規約が設定される。
【0071】
一方、インターネット接続されたクライアント205からの第1ないし第Nのネットワークカメラ230−1〜230−Nのパン/チルト制御動作を説明する。
クライアントがクライアントモジュール202を介してネットワークカメラのパン/チルト調節信号を入力すると第1ないし第Nのネットワークカメラ230−1〜230−Nはイーサネット(登録商標)インターフェース2076を介してパン/チルト調節信号を受信し、イーサネット(登録商標)インターフェース2076は受信されたパン/チルト調節信号をデータ格納部2060を介してカメラ制御部2080に出力する。
カメラ制御部2080は、入力されたパン/チルト調節信号にかかる制御信号を位置駆動モータ2030に出力することにより、ネットワークカメラのパン/チルトを調節する。ここで、パンの調節範囲は180度で、チルトの調節範囲は45度である。また、カメラ制御部2080は、イーサネット(登録商標)インターフェース2076から入力される異常状態監視要求信号をデータ格納部2060を介して入力されて、異常状態監視要求信号により動き監視部2020に動作制御信号を出力する。次に、カメラ制御部2080は動き監視部2020からの異常状態監視信号を入力され、入力された異常状態監視信号をデータ格納部2060を介してイーサネット(登録商標)インタフェース2076に出力する。イーサネット(登録商標)インタフェース2076は、異常状態監視信号とMAC住所とを中継サーバ225に伝送し、中継サーバ225は、異常状態監視信号による異常状態通報メッセージを当該クライアント205に伝送する。
【0072】
一方、カメラ制御部2080は、中継サーバ225を介してインターネット接続されたクライアント205からの外部装置調節信号をデータ格納部2060を介して入力され、入力された外部装置調節信号による電力線制御信号を電力線送信部2042に出力する。電力線送信部2042は、複数の外部装置中、当該外部装置に接続されている電力線受信部2044に出力し、電力線受信部2044は、電力線制御信号により外部装置のオン/オフ動作を制御する。
ここで、カメラ制御部2080は、電力線制御プロトコルを介して電力線送信部2042及び電力線受信部2044に電力線制御信号を伝送することによる外部装置の電力線制御を行う。その際、電力線制御プロトコルはネットワーク通信を介して遠隔地に位置した電気装置の電力状態を制御するためのプロトコルであって、本発明はX.10プロトコルを用いる。
【0073】
前述の外部装置のオン/オフ動作の制御動作、即ち、ホームオートメーション動作を添付図面を参照してより詳細に説明すると次の通りである。
図27は、本発明にかかるホームオートメーション構成の細部ブロック図である。
図27を参照すると、ホームオートメーション装置はPC端末機200、無線インターネット端末機210、インターフェースサーバ220、ネットワークカメラ230、第1ないし第Nの外部装置240−1〜240−N、第1ないし第Nの電力線受信部250−1〜250−N及び電源供給部260を含む。ここで、第1ないし第Nの外部装置240−1〜240−Nはネットワークカメラ230に接続されて電力線制御が行われる電気炊飯器240−1、エアコン240−2及びボイラー240−N等を含む。その際、図2と同一な構成は同一符号を付し、説明は省略する。
電気炊飯器240−1、エアコン240−2、または、ボイラー240−N等の第1ないし第Nの外部装置は、個別的な電力線受信部、即ち、第1ないし第Nの電力線受信部250−1〜250−Nを有するように構成される。
第1ないし第Nの電力線受信部250−1〜250−Nは、ネットワークカメラの電力線送信部2042からの電力線制御信号を受信し、受信された電力線制御信号により電源供給部260の電源供給を制御し、第1ないし第Nの外部装置240−1〜240−Nのオン/オフ動作を制御する。その際、電力線送信部2042の電力線制御信号は、第1ないし第Nの外部装置240−1〜240−Nを区分するための固有コードを含むので、第1ないし第Nの電力線受信部250−1〜250−Nは電力線制御信号内の固有コードに当該される場合のみに動作される。
【0074】
7.画像データ圧縮
通常的に、通信網を介して画像データを伝送する場合に発生される画像データの量が多いので、圧縮して伝送する。その際、前述のような本発明の遠隔監視/制御網の場合、クライアントによって伝送速度が異なり、インターネットの特性上、遅延が生じるので、従来の圧縮方式に比べて改善された圧縮方式を適用する必要がある。
図28は、本発明の望ましい実施の形態にかかる画像データ伝送システムの構成を示すブロック図であって、本発明にかかるネットワークを通じた画像データ伝送システムは、画像データ処理部2210、画像サービス部2220、制御部2240及びクライアント部2230からなる。画像データ処理部2210は、入力されるアナログ画像信号をディジタル画像信号に変換し、変換された画像信号を順次に圧縮処理して画像サービス部2220の要求により出力することになる。ここで、画像データ処理部2210は、画像入力部2211、デコーディング部2212、圧縮部2213、選択出力部2214、及び第1及び第2のフレームメモリ2215、2216からなる。画像入力部2211は、外部の画像信号を撮影してデコーディング部2212に入力し、デコーディング部2212は、画像入力部2211から入力される外部画像信号をディジタル画像信号に変換した後、変換されたディジタル画像を順次に圧縮部2213に出力する。ここで、画像入力部2211はカメラであることができる。
圧縮部2213は、デコーディング部2212から最初入力される原画像を符号化し、Iフレーム画像を生成し、以後に入力されるディジタル画像信号に対しては、前記符号化された原画像、即ち、Iフレームに対して動き予測及び補償し、動き予測及び補償に伴う動きベクトル値により符号化して複数のP(n)フレームを生成することになるのである。即ち、圧縮部2213における圧縮方法を簡単に考察すると、1つのグループ(例えば、30フレーム)の画像内で、I、P(1)、P(2)、P(3)、...P(29)の順に圧縮を行う場合、全てのPフレーム、即ち、P(1)‐P(29)のフレームは常に符号化されたIフレームを基準に、動きベクトルを計算し、圧縮を行うようになるのである。
【0075】
このような動作を遂行する圧縮部2213に対する詳細構成を添付の図29を参照しながら考察する。
図29に示すような圧縮部2213は、減算機2331、DCT部2332、量子化部2333、可変長符号化部2334、ビット率制御部2335、スイッチング部2336、逆量子化部2336、逆DCT部2332−1、フレームメモリ2337、動き推定部2338及び制御部2339からなる。その際、図28に示す従来の構成と重なる同一な構成要素に対する具体的な説明を省略する。制御部2339は、入力される外部入力画像信号に対するフレームタイプを決定し、入力される入力画像のフレームタイプがIフレームである場合、スイッチング部2336にスイッチング制御信号を提供するのである。また、制御部2339は、現在入力されるフレームデータがIフレームタイプのデータの場合、フレームメモリ2337に格納されている以前のIフレームデータを除去した後、新たに入力されるIフレームデータがスイッチング部2236を介してフレームメモリ2337に格納されるようにするのである。
フレームメモリ2337は、Iフレーム画像データのみを格納し、動き推定部2338は、フレームメモリ2337に格納されたIフレームデータと現在入力される入力画像とを比較し、フレーム間の動きを推定した後、動きベクトル値を可変長符号化部2334に提供するのである。
スイッチ2336は、制御部2339のスイッチング制御信号により量子化部2333を介して量子化されたIフレームデータのみを逆量子化部2333−1及び逆DCT部2333−1を介してフレームメモリ2337に格納されるようにするのである。減算機2331は、フレームメモリ2337に格納されたIフレームデータと現在入力される入力画像、即ち、Pフレームデータとの差異値をDCT部2332に出力するのである。
【0076】
一方、画像データ処理部2210の選択出力部2240は、制御部2240から提供される制御信号により圧縮部2213で圧縮されたフレーム画像データを順次に出力し、第1、第2のフレームメモリ2215、2216に交互に格納させる。即ち、圧縮部2213から最初符号化されたIフレームデータは、第1のフレームメモリ2215に格納させ、
以後に符号化されたP(1)フレームデータは、第2のフレームメモリ2216に格納させる。その際、符号化されたIフレームデータは、第1のフレームメモリ2215に格納されてから画像サービス部2220の要求により出力されることになる。従って、符号化されたP(2)フレームデータは、第1のフレームメモリに格納され、符号化されたP(3)フレームデータは、第2のフレームメモリ2216に格納されることになる。ここで、P(3)フレームデータが格納される前に、既に符号化されて格納されたP(1)フレームデータは、画像サービス部2220の要求により出力されるか、出力の要求がない場合には前記符号化されたP(3)フレームデータの格納により削除される。即ち、P(1)フレームデータにP(3)フレームデータがオーバレイされることにより、P(1)フレームデータは削除される。
【0077】
一方、図28に示している画像サービス部2220は、クライアント部2230から画像伝送要求がある場合、画像伝送機能を行うタスク(Task)を発生させてから画像データ処理部2210の各フレームメモリ2215、2216に格納された、最近符号化された画像フレームデータを読込んで画像伝送を要求した当該クライアントにネットワークを介して伝送することになる。ここで、ネットワークは、有、無線ネットワーク、例えば、ISDN、PSTN等のネットワークであることができる。
一方、クライアント部2230は、クライアント使用者側のコンピュータであって、画像サービス部2220から伝送された符号化された画像データを復号化し、ディスプレイ手段に再生させる。即ち、符号化された画像データを復号化して使用者側コンピュータのディスプレイ画面(モニタ)にディスプレイする。そして、制御部2240は、画像データ処理部2210と画像サービス部2220内の各フレームメモリの選択及びデータ処理時間制御等の制御信号を綜合的に発生する。
【0078】
このような構成を有する本発明の望ましい実施の形態によるネットワークを通じた画像データ伝送装置の動作について説明する。
先ず、図28に示すように、画像データ処理部2210内の画像入力部2211、即ち、カメラから入力される外部の画像信号は、デコーディング部2212に出力される。デコーディング部2212は、画像入力部2211から入力される外部画像信号を順次にディジタル画像信号に変換した後、変換されたディジタル画像信号を順次に圧縮部2213に出力する。圧縮部2213は、デコーディング部2212から最初入力される原画像を符号化し、Iフレーム画像を生成し,以後に入力されるディジタル画像信号に対しては前記符号化された原画像、即ち、Iフレームに対して動き予測及び補償し、動き予測及び補償による動きベクトル値により符号化し、複数のP(n)フレームを生成することになる。
ここで、圧縮部2213の動作について、図29を参照しながらより詳細に説明する。先ず、外部から画像信号が入力されると、制御部2339は入力される画像信号に対するフレームタイプを検出する。即ち、入力される画像タイプがIフレームデータであるか、Pフレームデータであるかを判断することになる。その結果、入力画像がIフレームデータの場合、制御部2339はスイッチング部2336にスイッチング制御信号を提供し、スイッチをオンさせる。
一方、入力されるIフレームデータ(原画像データ)は、DCT部2332に入力されてDCT変換され,DCT変換されたIフレームデータは量子化部2333を介して可変長符号下部2334及びスイッチング部2336に出力される。可変長符号化部2334は、量子化部2333で量子化されたIフレームデータを可変長符号化させてビット列で出力し、ビット率制御部2335は可変長符号化部2334から出力されるビット列の長さにより量子化部2333の動作を制御するのである。
【0079】
一方、スイッチング部2336に入力されたIフレームデータは、逆量子化部2333−1及び逆DCT部2332−1を介してフレームメモリ2337に格納される。このように、Iフレームデータがフレームメモリ2337に格納された状態で、外部から前記フレームメモリ2337に格納されたIフレームデータの同一グループ内のPフレームデータが入力される場合、制御部2339は、スイッチング部2336にスイッチング制御信号を提供し、スイッチをオフさせることになる。そして、減算機2331は入力されるPフレームデータとフレームメモリ2337に格納されたIフレームデータとの差異信号を計算して、DCT部2332、量子化部2333及び可変長符号化部2334を介して圧縮されてビット率で出力される。
その際、動き推定部2338は、現在入力されるPフレーム画像を常に同一グループ内のフレームメモリ2337に格納されたIフレーム画像データと比較して動きを推定した後、動きベクトル値を可変長符号化部2334に提供することになる。従って、可変長符号化部2334は、動き推定部2338から提供される動きベクトル値によりフレームメモリ2337に格納されたIフレーム画像と同一グループ内のPフレーム画像を符号化することになる。このように1つのグループに対する画像の圧縮が完了された後、新たな画像、即ち、他のグループのIフレーム画像が入力される場合、制御部2339は、フレームメモリ2337に格納された以前のグループのIフレーム画像を除去した後、スイッチング部2326を制御して新たなグループ内のIフレーム画像をフレームメモリ2337に格納させるのである。即ち、圧縮部2213での圧縮方法を図30を参照しながら考察する。
【0080】
図30は、図28、または、図29に示している圧縮部213で行われる本発明の望ましい実施の形態による画像フレーム圧縮符号化方法を示す例示図である。
デコーディング部2212から変換されて入力される最初のディジタル画像信号に対する空間的リダンダンシーを除去した、圧縮された画像データ、即ち、Iフレームデータを生成することになる。このように生成されたIフレームデータは選択出力部2214を介して第1のフレームメモリ2215に格納される。そして、圧縮部2213は既に符号化されたIフレームデータから予測される未来の予測インコーディング画像、即ち、Pフレームデータを生成し、選択出力部2214を介して第2のフレームメモリ2216に格納する。その際、第1のフレームメモリ2215に格納されたIフレームデータは、フレームデータ伝送制御部2221の制御により画像サービス部2220内の各フレームメモリ2222‐1、2222‐1、2222‐3、...2222‐nに各々格納される。次に、圧縮部2213は既に符号化されたIフレームデータから予測される又別のPフレームデータを生成し、選択出力部2214を介して第1及び第2のフレームメモリ2215、2216に交互に格納される。即ち、圧縮部2214では最初Iフレームに対して符号化した後、第1のフレームメモリ2215に格納されてから画像サービス部2220内の複数のフレームメモリに格納されることになり,以後の全ての画像信号(Pフレームデータ)に対しては、既に符号化されたIフレームデータを基準にして、動き予測及び補償を通じた動きベクトルを算出し、1つのグループ内の全てのPフレーム、即ち、P(1)、P(2)、P(3)、...P(29)(1つのグループが30フレームからなる場合)を順次に符号化し、選択出力部2214を介して第1及び第2のフレームメモリ2215、2216に格納されるものである。その際、第1、第2のフレームメモリ2215、2216に既にPフレームデータが符号化されて格納されている状態で、又別のPフレームが符号化された場合には既に格納されたPフレームデータを削除した後、新しく符号化されたPフレームデータを格納するのである。
【0081】
結局、圧縮部2213は図29に示すようにデコーディング部2212から入力される1つのグループ(例えば、30フレーム)の画像内で、I、P(1)、P(2)、P(3)、...P(29)の順に圧縮を行う場合、全ての予測フレーム、即ち、P(1)―P(29)フレームは常に符号化されたIフレームを基準にして動きベクトルを計算して符号化を行うことになる。言い換えると、カメラから撮影された130秒の画像は、デコーディング部120を介してディジタル画像信号に変換された後、圧縮部2213内のフレームメモリ2237に格納した後、格納された画像データからデータ圧縮を実行する。即ち、Iフレームは、1つの画面全体を圧縮するのであり、従って、画像内の空間的相関関係を用いたDCT変換を適用する。
1つの画面には、直流成分を含む低い周波数で交流成分の高い周波数成分を有する画素ブロックが存在するが、DCT変換を実行することになると、高周波成分が除去され、低周波成分に偏重される。
【0082】
従って、このようなDCT方式を用いて空間領域のリダンダンシーを除去することにより、画像圧縮を行うのである。前記、既に圧縮されて格納部に格納されたIフレームデータを読込み、読込んだIフレームデータから予測を行い、以後の全てのPフレームデータを生成することになる。即ち、全画面画像であるIフレームデータを基にして動きが予測される部分の移動量を(X、Y)座標で表示して動きベクトルを生成し、動きが予測される部分の画像のみを持って来る動き補償過程を介してPフレームデータを生成することになる。ここで、前記Iフレームデータが空間的リダンダンシーを除去することにより、圧縮を行ったデータであれば、Pフレームデータは、前記Iフレームデータに対する時間的相関関係による圧縮、即ち、時間的リダンダンシーを除去したデータである。そして、圧縮部2213は、次のPフレームデータに対する予測のために、符号化されたIフレームデータをデコーディングし、デコーディングされたIフレームデータを圧縮部2213内の動き予測処理部(図示していない)に提供するのである。
【0083】
選択出力部2214は、制御部2240で提供される制御信号により、圧縮部2213で圧縮されたI及びPフレーム画像データを順次出力し、第1、第2のフレームメモリ2215、2216に交互に格納させる。即ち、圧縮部2213で最初符号化されたIフレームデータは、第1のフレームメモリ2215に格納させ、以後に符号化されたP(1)フレームデータは、第2のフレームメモリ2216に格納させる。その際、符号化されたIフレームデータは、第1のフレームメモリ2215に格納されてから画像サービス部2220の要求により出力されることになる。従って、符号化されたP(2)フレームデータは、第1のフレームメモリに格納されることになり、符号化されたP(3)フレームデータは、第2のフレームメモリ2216に格納されることになる。ここで、P(3)フレームデータが格納される前に、既に符号化されて格納されたP(1)フレームデータは、画像サービス部2220の要求により出力されるか、出力の要求がない場合には前記符号化されたP(3)フレームデータの格納により削除されるのである。即ち、P(1)フレームデータにP(3)フレームデータをオーバレイされることにより、P(1)フレームデータは削除されるのである。
【0084】
前記のように入力される画像に対して、圧縮過程を行う途中で、クライアント部2230から画像伝送信号の要求がある場合、画像サービス部2220は、画像伝送機能を遂行するタスク(Task)を発生させた後、画像データ処理部2210の各フレームメモリ2215、2216に格納された、最近符号化された画像フレームデータを読込んで画像伝送を要求した当該クライアントにネットワークを介して伝送することになる。ここで、ネットワークは有、無線ネットワーク、例えば、ISDN、PSTN等のネットワークであることができる。クライアント部2230の中、画像データの伝送を要求した当該クライアントは画像サービス部2220から伝送された符号化された画像データを復号化してディスプレイ手段に再生させる。即ち、符号化された画像データを復号化して使用者側コンピュータのディスプレイ画面(モニタ)にディスプレイするのである。
【0085】
以下、画像サービス部2220の動作について、より詳細に考察する。
先ず、複数のクライアント2231‐1、2231‐2、2231‐3、...2231‐nからなるクライアント部2230の1つのクライアントがネットワークに接続して画像データの伝送を要求した場合、データ送受信部2223は当該要求信号を受信することになる。
【0086】
画像データ伝送要求信号を受信した場合、データ送受信部2223は、当該クライアントに画像伝送機能を遂行することができるタスクを発生させ、発生されたタスクを用いて当該クライアントに応ずる画像サービス部2220内のフレームメモリに格納されたIフレーム画像データをネットワークを介して当該クライアントに伝送すると共に、フレームデータ伝送制御部2221にデータ読込み制御信号(Data Read Signal)を提供することになる。
従って、フレームデータ伝送制御部2221は、データ送受信部2223から提供される画像フレームデータの要求信号により、第1、第2のフレームメモリ2215、2216に格納されたPフレームデータを読込んで当該クライアントに応ずる画像サービス部2220内のフレームメモリに格納させる。
【0087】
画像サービス部2220内のフレームメモリに格納された当該Pフレームデータは、データ送受信部2223に出力する。従って、データ送受信部2223は、当該フレームメモリから出力されるPフレームデータをネットワークを介して当該クライアントに伝送することになる。即ち、本発明にかかる画像データ伝送システムは、例えば高速ネットワーク網に連結されたクライアントから画像データ伝送要求を受ける場合、符号化される順に全てのフレームデータ、即ち、I、P(1)、P(2)、...P(n‐1)、P(n)を全て提供し、中速ネットワーク網に連結されたクライアントの場合、I、P(2)、P(4)、...P(n)のみを伝送し、低速ネットワーク網に連結されたクライアントにはIフレームのみを伝送する。その際、ネットワーク伝送速度によって互いに異なるPフレームデータを伝送することになり、Iフレームデータは共通に伝送することになる。
従って、当該フレームデータを受信したクライアントでは、符号化されたIフレームデータを基準にして全てのPフレームデータを復号化するため、切れない画面を再生することができる。結局、本発明によるネットワークを通じた画像データ伝送装置及びその方法は、クライアントからデータ伝送の要求がある場合、正しくその瞬間に該当する画像圧縮フレームデータを伝送しても、常に復元可能になる。即ち、クライアント側での画像出力をクライアントデータ処理速度に合わせて伝送するため、実際の画像を復元してディスプレイする場合にネットワークの遅延速度の問題により発生可能な不意の画面の切れ等がなくて、柔らかく、不自然でない画面の再生がなされるのである。
【0088】
このような効果を来すための本発明にかかる画像データ圧縮方法は、1つのグループ(例えば、30フレーム)の画像内で、I、P(1)、P(2)、P(3)、...P(i)(ここで、Iは、1、2、3、4、...29)順に圧縮する時、P(i)フレームは常にIフレームを基準にして動きベクトルを計算する。例え、既存のH.261、MPEG標準案の圧縮過程では、P(i+1)フレームは、直前のP(i)フレームを基準で動きベクトルを計算するため、クライアント側での復号化は、P(i+1)の再生はP(i)フレームが予め伝送されなければ可能でないのである。もし、P(i)フレームがネットワーク網の伝送遅延時間によりサーバ側、即ち、図28に示している画像サービス部2220側からクライアント部2230側に伝送することができなかったら、クライアント側ではP(i+1)フレームが受信されても再生することができないのである。しかし、本発明における圧縮方法は、サーバ側でP(i)フレームはP(i)フレームが属する画像グループ内のIフレームを基にして動きベクトルを計算して符号化した後、クライアント側に伝送するので、各クライアント側では、Iフレームに対する同じ画像グループ内のどのようなPフレームの画像も再生可能である。但し、1つのグループ内のIフレームは常に伝送されることを仮定しなければならない。
【0089】
【発明の効果】
以上、説明したように、本発明にかかるネットワークカメラは、ネットワーク固有住所によりカメラ登録され、PC端末機、または、無線インターネット端末機の使用者の接続要求の際、流動IP住所体系を有するネットワークカメラの流動IP住所を使用者に伝送することにより、ネットワークカメラとPC端末機、または、無線インターネット端末機の使用者は、インターネット接続される。また、ネットワークカメラが固定IP住所体系を有する場合、PC端末機、または、無線インターネット端末機の使用者は固定IP住所を介してネットワークカメラに接続される。
【0090】
だから、本発明は遠隔地にネットワークカメラと使用者とネットワークカメラのネットワーク固有住所を介してネットワーク接続され、使用者はネットワーク接続されたネットワークカメラから遠隔地の監視画像を提供受けることができ、より効率の良い画像モニターリングを提供することができるので、使用者により効率的な画像モニターリングを提供することができる効果がある。
また、本発明は、ネットワーク固有住所を介してネットワーク接続されたカメラの監視位置を調節することができるので、使用者が一定の地域のモニターリングに対する信頼性を向上させることができる効果もある。
【0091】
また、本発明は、ネットワークカメラの異常動き監視により不法侵入等の異常状態を監視し、監視された異常状態をインターフェースサーバを介して使用者に警告メッセージを伝送することができるので、より効率の良い画像モニターリングを提供することができる効果もある。
また、本発明は、ネットワークカメラに接続されている電気炊飯器、エアコン、または、ボイラー等の外部装置のオン/オフ動作を遠隔から制御することができるので、使用者の便宜性を向上することができる効果もある。
【図面の簡単な説明】
【図1】本発明にかかるネットワークカメラを用いる遠隔監視/制御網の構成図である。
【図2】図1に示す遠隔監視/制御サービスサイトの細部構成ブロック図である。
【図3】図2に示す使用者情報データベースの例示図である。
【図4】図2に示す固定IP住所データベースの例示図である。
【図5】図2に示すMAC住所データベースの例示図である。
【図6】図2に示す住所連動データベースの例示図である。
【図7】図2に示す異常状態情報データベースの例示図である。
【図8】本発明の使用者認証過程を示す順序図である。
【図9】本発明のIP住所を有するカメラ登録過程を示す順序図である。
【図10】本発明にかかるカメラ登録画面の例示図である。
【図11】本発明の流動IP住所を有するカメラ登録過程を示す順序図である。
【図12】クライアントモジュールが設けられていない場合、本発明により固定IPを有するネットワークカメラを登録するための順序図である。
【図13】クライアントモジュールが設けられていない場合、本発明により流動IPを有するネットワークカメラを登録するための順序図である。
【図14】本発明により流動IP住所のアップデート過程を示す順序図である。
【図15】本発明により固定IP住所を有するネットワークカメラの監視位置を制御するための順序図である。
【図16】本発明によるカメラ接続及び制御画面の例示図である。
【図17】本発明により流動IP住所を有するネットワークカメラの監視位置を制御するための順序図である。
【図18】本発明による画像画面の例示図である。
【図19】本発明による異常状態監視手続きを示す順序図である。
【図20】本発明によるホームオートメーションサービスを行うための順序図である。
【図21】本発明により動画像見る動作を行う無線インターネット端末機の画面例である。
【図22】本発明により侵入探知サービスを遂行するための無線インターネット端末機の画面例である。
【図23】本発明により侵入探知サービスを遂行するための無線インターネット端末機の画面例である。
【図24】本発明により侵入探知サービスを遂行するための無線インターネット端末機の画面例である。
【図25】本発明によりホームオートメーションを遂行するための無線インターネット端末機の画面例である。
【図26】本発明によるネットワークカメラの内部構成ブロック図である。
【図27】本発明によるホームオートメーションのためのネットワーク構成例である。
【図28】本発明による画像圧縮伝送システムを示す概略図である。
【図29】本発明による図28に示す圧縮部の細部構成ブロック図である。
【図30】本発明による圧縮符号化を説明するために示すピクチュアの例示図である。
【符号の説明】
100    PC端末機
110  無線インターネット端末機
120  無線インターネットサーバ
130  基地局
140  インターフェースサーバ
150−1、...150−N  第1ないし第Nのネットワークカメラ
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention provides a network camera that can be directly connected to a network (Internet) and can connect various external devices and the like, and a remote monitoring / control network using the camera, image monitoring, and intrusion detection. And a remote monitoring / control method and system capable of providing various services such as home automation.
[0002]
[Prior art]
2. Description of the Related Art A conventional unmanned security system includes an unmanned camera, an industrial TV, or a closed circuit television (CCTV) for photographing a place to be monitored and transmitting an image, and monitoring the area. Used for For example, a conventional unmanned security system is provided in a distribution warehouse and is used for monitoring a scene of entry and exit of goods, and is used for monitoring a building fire and a factory work process from a remote place. At this time, an unmanned camera, an industrial TV, or a CCTV camera is provided in a surveillance area so that a remote monitoring function can be performed. To the monitor provided in the central control room.
[0003]
As described above, the conventional surveillance system using an unmanned camera, an industrial TV, a CCTV, or the like establishes a surveillance center provided with a camera and performs surveillance. If the monitoring situation cannot be grasped, after recording the surveillance screen, the recorded film or the like is analyzed so that the situation at that time can be grasped.
[0004]
Therefore, the conventional surveillance system cannot communicate the overhang or abnormal situation to the monitoring place to the administrator in real time, and the administrator must appropriately deal with the overhang or abnormal situation. The conventional surveillance camera is designed to monitor only a fixed position during installation, so if the surveillance position of the camera is set incorrectly or if you try to change the surveillance position In such a case, there is also a problem that the administrator has to directly adjust the camera provided in the remote place.
[0005]
In addition, since the conventional monitoring system connects the monitoring camera and the monitor using a coaxial cable, the monitoring cannot be performed unless the monitor is provided in a limited area through the monitor. There is a problem that a manager located in a remote place cannot be monitored.
[0006]
On the other hand, in recent years, when a high-speed Internet connection means such as a dedicated line, a cable modem, or an ADSL (Asymmetry Digital Subscriber's Line) is generally used, when building a condominium such as an apartment, all apartments are occupied. A cyber apartment has been built to install a high-speed internet network for the elderly. In such a cyber apartment, a control box for home automation is included in a video horn box, and remote control for home automation is performed via a telephone line.
[0007]
Therefore, since conventional home automation of a cyber apartment is performed by a telephone line, the user cannot view the home automation. Therefore, there is a problem that the reliability of the home automation cannot be enhanced by the user.
[0008]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned various problems of the related art, and is devised to be connectable to a network, and to control the operation by a user connected via a wireless network. Another object of the present invention is to provide a network camera capable of transmitting a monitoring image via a network.
[0009]
Another object of the present invention is to provide a network camera that allows a user connected via a wireless network to control the operation of a control target from a remote location after connecting control targets of various control methods. Is to do.
[0010]
Still another object of the present invention is to register a network camera and a user as described above and, when requested by the user, receive surveillance image data from the network camera and transmit it to the user, and transmit the monitoring image data to the user. An object of the present invention is to provide a remote monitoring / control system and method using a network camera for transmitting control data to the network camera.
[0011]
Still another object of the present invention is to provide a remote control using a network camera that notifies a preset user of an intrusion fact or an abnormal state to a preset user when an intrusion in a monitored area or an abnormal state of a monitored object is transmitted from the network camera. It is to provide a monitoring / control system and method.
[0012]
Still another object of the present invention is to provide a remote control that allows a user connected via a wireless network to externally control the operation of the electric appliance after connecting a household electric appliance or the like to the network camera. It is to provide a monitoring / control system and method.
[0013]
Still another object of the present invention is to provide an image data compression transmission method and system capable of compressing and transmitting image data when transmitting the image data between a network camera, a server, and a client via a network. It is in.
[0014]
[Means for Solving the Problems]
To achieve the above object, the present invention provides a method for monitoring an image using at least one network camera at a remote location, wherein a network-specific address of the network camera is received from a user connected via a network. Registering the network camera with the network unique address, receiving the network camera connection request from the user, and using the network camera connection request (the network unique address is a MAC address or an IP address). Transmitting a unique address of the network camera responding to the user, and wherein the user is provided with an image monitoring method for receiving a monitoring image from a connected network camera using the network unique address. is there.
[0015]
Here, the step of receiving the network unique address of the network camera from the user connected to the network includes the step of receiving the network unique address system information of the network camera from the user (the network unique address system is at least a fixed IP address system). Or if the network camera has a fixed IP address system, a fixed IP address of the network camera is received from the user if the network camera has a fixed IP address system. Receiving the flow IP information of the monitoring camera from the network camera, and the flow IP information includes at least the MAC address of the network camera and the flow IP notification period.
[0016]
According to the present invention, the step of registering the network camera based on the network unique address includes storing a fixed IP address for a user when the network camera has a fixed IP address system, and The registration of the camera is performed by storing the streaming IP address for the user.
[0017]
According to the present invention, the step of transmitting the network-specific address of the network camera responding to the user in response to the network camera connection request includes, if the network camera has a fixed IP address system, the fixed IP address of the network camera responding to the user. Is transmitted.
[0018]
The transmitting the network-specific address of the network camera responding to the user in response to the network camera connection request may include transmitting the MAC address of the network camera responding to the user when the network camera has a floating IP address system. Receiving the user's camera connection request through the MAC address, and transmitting the mobile IP address of the network camera corresponding to the MAC address to the user.
[0019]
The present invention also includes a step of receiving a flow IP connection request signal from the network camera every reporting cycle (the flow IP acceptance request signal includes a MAC address and a flow IP address of the network camera), and The method further includes a step of determining whether registration is possible and a step of updating a streaming IP address with respect to the MAC address when the network camera is registered.
[0020]
The present invention also includes receiving an abnormal state monitoring signal from the network camera, generating a warning message based on the received abnormal state monitoring signal, and transmitting the generated warning message to a user corresponding to the network camera. And a step of receiving and storing the abnormal state monitoring area from the network camera.
[0021]
Another feature of the present invention is that in a method of controlling a network camera connected to a certain user via a network (the network camera is connected to a plurality of external electronic devices), a monitoring image request is received from the user. Transforming the requested surveillance image into a format suitable for the user and transmitting the received surveillance position adjustment signal according to the surveillance image from the user; Adjusting the pan / tilt of the network camera accordingly, and wherein the user is connected to the network via the network-specific address of the network camera. is there.
[0022]
Here, a step of receiving an abnormal state monitoring request from the user, a step of monitoring abnormal movement in a certain monitoring area by the abnormal state monitoring request, and a step of transmitting an abnormal state monitoring signal to the user by monitoring the abnormal movement. And further comprising:
[0023]
Another feature of the present invention is a step of receiving a power line adjustment signal (a power line adjustment signal includes an electronic device classification code and power line control information) from a user, and providing a power line control signal to an electronic device corresponding to the electronic device classification code. Transmitting a power line control signal based on information, and the power line control signal is a signal for controlling a power on / off operation of the electronic device.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a configuration diagram of a remote monitoring / control network using a network camera according to the present invention.
[0025]
Referring to FIG. 1, a remote monitoring / control network using a network camera according to the present invention includes a PC terminal 100, the Internet 102, a wireless communication network 104, a wireless Internet terminal 110, a wireless Internet server 120, a base station 130, It includes first to N-th network cameras 150-1 to 150-N connected to the Internet 102 via the remote monitoring / control service site 140 and the hub 152. The network camera 150-1 may be connected to a sensor 154 for intrusion detection, fire detection, and the like, and may be connected to a relay 156 for directly controlling an object to be controlled. A network 160 can be connected. In the embodiment of the present invention, the control network 160 controls the power supply of home electric appliances and the like according to the power line communication protocol. X.10 networks. X.10 provides control information. X.10 where the X.10 transmitter 162 and the control target are connected. 10 receivers 164-1 to 164-3, and a power line 168 for providing a communication path therebetween. In an embodiment of the present invention, The network camera 150-1 is connected to the X.10 transmitter 162. An air conditioner 166-1, a light 166-2, a boiler 166-3, and the like are connected to the ten receivers 164-1 to 164-3, respectively.
[0026]
The PC terminal 100 is equipped with a normal web browser, and is connected to a remote monitoring / control service site 140 via the Internet 102. The wireless Internet terminal 110 includes a WAP terminal, an I-MODE terminal, a J-SKY terminal, or the like as a cellular phone or a PDA. The wireless Internet server 120 provides a wireless Internet protocol to the wireless Internet terminal 110 and connects the wireless Internet to the general Internet. The wireless Internet terminal 110 is connected to the wireless Internet server 120 via the base pole 130 and the wireless communication network 104, converted into a general Internet protocol from the wireless Internet server 120, and provided with a remote monitoring / control service via the Internet 102. Connected to site 140. The wireless Internet server 120 may be included in the remote monitoring / control service site 140.
[0027]
As shown in FIG. 2, the remote monitoring / control service site 140 includes an interface server 220 for performing a unique function and a database 250, processes user authentication and registration of a network camera, and connects via a wireless Internet or a wired Internet. Relay the connection between the connected user and the network camera. That is, the PC terminal 100 or the wireless Internet terminal 110 transmits the network-specific addresses of the first to N-th network cameras 150-1 to 150-N to the remote monitoring / control service site 140, and performs remote monitoring / control. The control service site 140 registers the network-specific addresses of the first to N-th network cameras 150-1 to 150-N for the PC terminal 100 or the wireless Internet terminal 110. Here, the network-specific address includes a fixed IP address or a MAC address. The remote monitoring / control service site 140 receives connection request signals for the first to Nth network cameras 150-1 to 150-N based on MAC addresses from the PC terminal 100 or the wireless Internet terminal 110. Then, the mobile IP address of the first to Nth network cameras 150-1 to 150-N corresponding to the input MAC address is transmitted to the PC terminal 100 or the wireless Internet terminal 110.
[0028]
The first to N-th network cameras 150-1 to 150-N are configured as shown in FIG. 26, and are connected to the PC terminal 100 or the wireless Internet terminal 110 by an IP address or a MAC address, Accordingly, it performs monitoring image transmission, remote control, home automation, and power line control functions. That is, the network cameras 150-1 to 150-N include a sensor 154 for sensing the monitoring target, a relay 156 for directly controlling the operation of the monitoring target, and an X.509 for controlling home electric appliances and the like. 10 is connected to the transmitter 162 and transmits a signal detected by the sensor 154 and a monitoring image captured by the camera to the remote monitoring / control service site 140 and the user side, and receives the user control received via the Internet 102. The camera controls the attitude of the camera and controls the operation of the home appliance by the command. At this time, the hub 152 is connected to the Internet 102 via a network device such as a cable modem (not shown) or a router (not shown).
[0029]
FIG. 2 is a block diagram showing the configuration of the remote monitoring / control service site shown in FIG. 1, which illustrates a client 205, an interface server 220, a database 250, and a network camera 230 connected via the Internet.
Referring to FIG. 2, the remote monitoring / control service site 140 includes an interface server 220 for performing a function for connecting the client 205 and the network camera 230 and a database 250 for storing various data. Reference numeral 220 denotes a user authentication server 221, a camera registration server 222, an IP reception server 223, an IP search server 224, a relay server, and an abnormal state reception server 226. The database 250 includes a user information database 251 and a fixed IP address database 252, and a MAC. It comprises an address database 253, an address link database 254, and an abnormal state database 256. Here, each server is separated in terms of a function to be performed, and can be realized by one server computer in terms of hardware.
[0030]
The client 205, which is a user system, includes a PC terminal 200 capable of using a normal Internet service and a wireless Internet terminal 210 such as a PDA or a cellular phone capable of wireless Internet, and a network camera 230 is provided in each monitoring area. It comprises a plurality of network cameras 230-1 to 230-N and motion sensing sensors 240-1 to 240-N which can be connected to each of the cameras 230-1 to 230-N.
[0031]
The PC terminal 200 has a client module 202 for facilitating the use of the service according to the present invention. The client module 202 monitors an image of a certain area, and a camera 230 for implementing home automation. Can be registered in the interface server 220. That is, the client module 202 includes a function of registering a fixed IP (Internet Protocol) address or a MAC (Media Access Control) address, which is a network-specific address of the network camera 230, in the remote monitoring / control service site 140. Further, the client module 202 includes a screen viewer for displaying a monitoring image received from the network camera 230 connected to the Internet, and a position control program for controlling a monitoring position. The monitoring position of the camera can be adjusted horizontally via the camera PAN and vertically via the camera tilt.
[0032]
The user authentication server 221 is a server for registering and authenticating users of the PC terminal 200 and the wireless Internet terminal 210 connected to the Internet, and the camera registration server 222 is a server for performing network registration of the network camera 230. It is. Here, the network registration of the network camera 230 stores a fixed IP address or a MAC address, which is a network-specific address of each of the network cameras 230-1 to 230-N, in the address database.
[0033]
Usually, in order to distinguish a plurality of communication terminals connected to the Internet, each communication terminal has its own network-specific address, which consists of a software address and a hardware address. Here, the software address is called an IP address (Internet Protocol Address), and the hardware address is called a MAC (Media Access Control) address. The MAC address, which is a hardware address, is a physical address and is a fixed address that does not change. However, the IP address is a fixed IP address that does not change an IP address that has been assigned once, and the IP address that changes every time a connection is made. It is divided into an IP address. Here, the floating IP address system is a system for allowing a large number of users to use an IP address whose number is fixed, and one IP address is shared by many users. .
[0034]
The IP receiving server 223 is configured to store the moving IP address notified from the first to Nth network cameras 230-1 to 230-N having the moving IP address system, and the IP search server 224 is a PC terminal. When a connection is requested using the MAC address from the wireless Internet terminal 200 or the wireless Internet terminal 210, the mobile IP terminal searches for the moving IP address of the first to Nth network cameras 230-1 to 230-N corresponding to the MAC address. The relay server 225 stores the moving IP address of the first to Nth network cameras 230-1 to 230-N requested from the PC terminal 200 or the wireless Internet terminal 210 into the PC terminal 200 or the wireless Internet terminal. Upon receiving the abnormal state monitoring signal from the first to Nth network cameras 230-1 to 230-N, the abnormal state receiving server 226 transmits the information based on the monitored abnormal state to the PC. The data is transmitted to the terminal 200 or the wireless Internet terminal 210.
[0035]
As shown in FIG. 3, the user information database 251 includes at least a user ID field, a name field, and an authentication code field, and the fixed IP address database 252 includes at least a user ID field, as shown in FIG. It includes an IP address field and a camera name / number field. As shown in FIG. 5, the MAC address database 253 includes at least an identifier field, a user ID field, a MAC address field, a camera name / number field, a receiving server address field, and an IP notification cycle field. The address link database 254 includes at least a MAC address field and an IP address field as shown in FIG. 6, and the abnormal state database 256 includes at least an abnormal state classification code and a transmission message content field as shown in FIG.
[0036]
The operation of the remote monitoring / control network using the network camera according to the present invention will now be described.
1. User authentication (registration) and camera registration process
First, a service is provided for a client 205 such as the PC terminal 200 or the wireless Internet terminal 210 to perform remote monitoring / control, intruder detection, visitor confirmation, home automation, etc. using the network camera 230. The process of connecting to the site 140, registering and authenticating the user, and registering the network camera 230 on the network must be performed first.
User authentication (registration) is performed by the client 205 and the user authentication server 231 as shown in FIG.
[0037]
Referring to FIG. 8, when the client 205 connects to the interface server 220 and transmits personal identification information, for example, a user's name, user ID, password, occupation, hobby, etc., and then makes a service request (S400), The user authentication server 221 of the interface server 220 generates an authentication code corresponding to the client 205 (S402). At this time, the user authentication server 221 stores the personal information such as the ID and the name of the client 205 and the authentication code in the user information database 251 (S404).
[0038]
Next, the user authentication server 221 transmits the generated authentication code to the client 205 (S406), and after receiving the authentication code, the client 205 further transmits the received authentication code to the user authentication server 221 (S406). S408).
After authenticating the client 205 with the authentication code transmitted from the client 205 (S410), the user authentication server 221 completes the user authentication by transmitting an authentication completion message to the client 205 (S412).
For example, as shown in FIG. 3, when the client “I Young A” connects to the interface server 220 via the ID “Iee”, the user authentication server 221 sends the client “I Young E” to the client 205 “Ie Young”. After generating the authentication code “′”, it is transmitted to the client 205. After receiving the authentication code “Iee004”, the client 205 further transmits the authentication code to the user authentication server 221, and the user authentication server 221 confirms this, so that the authentication for the client “Yeung-ye” is completed. Is done. At this time, the user authentication server 221 stores an authentication code of “Iee004” for the client of “Ion Young” in the user information database 251.
[0039]
The process of registering the network camera 230 on the network differs depending on whether the IP of the network camera 230 is a fixed IP or a floating IP, and differs depending on whether the client 205 to be connected has the client module 202 mounted thereon. .
FIG. 9 is a flowchart illustrating a process of registering a camera having a fixed IP address according to the present invention, and FIG. 10 is an example of a camera registration screen of a client module configured in a PC terminal.
[0040]
First, as shown in FIG. 9, the client 205 authenticated through the operation of FIG. 8 executes the camera registration program of the client module 202 to register the network camera 230 (S500). At this time, the network camera 230 has a unique address, that is, a fixed IP address system in which the IP address does not change. The unique address for identifying each of the network cameras 230-1 to 230-N is a fixed IP assigned to a node such as a router or a hub and a camera name for identifying each of the cameras 230-1 to 230-N. / Number.
When the client 205 executes the camera registration program of the client module 202, a “camera registration information input screen” (hereinafter simply referred to as a “camera registration screen”) for inputting information to register a camera as shown in FIG. Is output. The client 205 inputs registration information of the network camera 230 via the camera registration screen of FIG.
[0041]
Referring to FIG. 10, the camera registration screen includes an IP status selection window 600, a MAC address input window 602, an IP address input window 604, an IP address input window 606 of an IP reception server, an IP address notification cycle input window 608, a camera name / A number input window 610 and a transmission icon 612 are included.
In order for the client 205 to register the network camera 230 having the fixed IP address, “fixed IP” is selected from the IP status selection window 600, and the IP address of the network camera 230 and the camera name / number input window are input to the IP address input window 604. A camera name or number is input to 610 (S502). At this time, when the client 205 selects “fixed IP” from the IP status selection window 600, the MAC address input window 602, the IP address input window 606 of the IP reception server, and the IP address notification cycle input window 608 are set in a state where input is disabled. Is set.
After the client 205 inputs the fixed IP address information of the network camera 230 via the screen of FIG. 10, the client 205 clicks the transmission icon 612 to transmit the fixed IP address information to the camera registration server 222 (S504). Here, the fixed IP address information includes the fixed IP address of the network camera 230 and the camera name / number of each of the network cameras 230-1 to 230-N.
[0042]
The camera registration server 222 receives the process IP address information of the network camera 230 and stores it in the fixed IP address database 252 in a form corresponding to the client information. That is, as shown in FIG. 4, the camera registration server 222 stores the first to Nth network cameras 230-1 to 230-N in the form of fixed IP addresses and camera names / numbers corresponding to the user IDs. At this time, the camera name / number is used to classify cameras when a plurality of cameras are connected to a network device such as a router or a hub provided with a fixed IP. For example, when the ID of the client 205 is “Iee”, the IP address of the network camera 230 is “S-100”, and the camera name / number of the first network camera 230-1 is “001”, FIG. Is stored in the fixed IP address database 252.
As described above, the camera registration server 222 stores the fixed IP address information of the network camera 230 transmitted from the client 205 in the fixed IP address database, and completes the camera registration.
[0043]
On the other hand, a camera registration operation when the network camera 230 has a flowing IP address system will be described with reference to FIG.
Referring to FIG. 11, when the client 205 executes the camera registration program of the client module 202 (S700), a camera registration screen as shown in FIG. 10 is output on the terminal of the client 205.
The client 205 selects “flow IP” in the IP status selection window 600 of FIG. 10 and inputs the MAC address of the network camera 230 in the MAC address input window 602. Next, the client 205 inputs the IP address in the IP address input window 606 of the IP reception server. The IP address of the IP reception server 223 can be automatically set by selecting the mobile IP of the client 205. The client 205 inputs the report cycle into the IP address report cycle input window 608. At this time, the IP notification cycle can be automatically set by the client 205 selecting the flow IP. Further, the client 205 inputs a camera name or a number into the camera name / number input window 610.
[0044]
The client 205 sends a flow including the MAC address of the network camera 230, the IP address of the IP reception server 223, the IP notification cycle, and the camera name / number of each of the network cameras 230-1 to 230-N via the screen shown in FIG. After inputting the IP address information, the transmission icon 612 is clicked to transmit the input information to the camera registration server (S702).
The camera registration server 222 stores the flow IP information of the first to Nth network cameras 230-1 to 230-N received from the client 205 in the MAC address database 253 (S704).
For example, the client 205 having an ID of “Kim” is configured such that the MAC address of the network camera 230 of “M100”, the camera name / number of “001” of the first network camera 230-1, and the IP of the IP reception server of “R100” When transmitting the moving IP information including the address and the IP reporting cycle of '00: 00: 00 ', the camera registration server 222 stores it in the MAC address database 253 as shown in FIG.
[0045]
The camera registration server 222 transmits the MAC address to the IP reception server 223 in the flow IP information received from the client 205 (S706), and the IP reception server 223 stores the MAC address (S708) to have the flow IP. The registration of the first to N-th network cameras 230-1 to 230-N is completed.
Meanwhile, a registration process of the first to Nth network cameras having a fixed IP when the client module 202 is not provided in the client 205 terminal will be described with reference to FIG.
Referring to FIG. 12, after the client 205 connects to the camera registration server 222 via the Internet, it requests camera registration (S800).
The camera registration server 222 configures a screen for inputting camera registration information (S802), and transmits the configured camera registration information input screen to the client 205 (S804). Here, the screen for inputting the camera registration information can have a screen configuration as shown in FIG.
[0046]
The client 205 inputs the fixed IP information including the fixed IP address and the camera name / number of the first to N-th network cameras 230-1 to 230-N via the received camera registration information input screen (S806). , And transmits the fixed IP information to the camera registration server 22.
The camera registration server 222 stores the fixed IP information of the first to N-th network cameras 230-1 to 230-N in the fixed IP address database 252 from the client 205, and stores the first to N-th network cameras 230-1 to 230-N. The registration of 230-N is completed (S810).
On the other hand, when the client module 202 is not provided in the terminal of the client 205, a registration process of the first to Nth network cameras having the flow IP will be described with reference to FIG.
Referring to FIG. 13, the client 205 requests a camera registration from the camera registration server 222 connected to the Internet (S900), and the camera registration server 222 receives the camera registration information as shown in FIG. A screen is configured (S902).
The camera registration server 222 transmits the configured camera registration screen to the client 205. The client 205 transmits the MAC address and the IP reception server of the first to Nth network cameras 230-1 to 230-N via the camera registration screen. The flow information including the IP address and the IP notification cycle is input (S904, S906).
[0047]
The client 205 transmits the streaming IP information to the camera registration server 222 (S908), and the camera registration server 222 stores the streaming IP information for the client 205 in the MAC address database 253 (S910).
Thereafter, the camera registration server 222 transmits the MAC address in the flowing IP address information of the first to Nth network cameras 230-1 to 230-N to the IP reception server 223 (S912), and the IP reception server 223 transmits the MAC address. The address is stored (S914).
[0048]
The update operation of the streaming IP address provided to the network camera 230 of the present invention will be described with reference to FIG.
Referring to FIG. 14, the network camera 230 receives an IP address corresponding to the MAC address from the Internet service provider (ISP) (S100), and counts an IP notification cycle set at the time of camera registration (S1002).
When the counting time reaches the IP notification cycle, the network camera 230 transmits an IP reception request to the IP reception server 223 using the MAC address (S1004). At this time, the network camera 230 also transmits the streaming IP address given by the Internet service provider (ISP). Here, the network camera 230 may be set to count the IP notification cycle while the power is on.
The IP reception server 223 determines whether the MAC address of the network camera 230 that has requested IP reception is stored (S1006). That is, it is determined whether the network camera 230 is registered as a camera via the MAC address. When the MAC address is stored, the IP reception server 223 stores the input IP address in the address link database 254 at the time of the IP reception request (S1008). Such a flow IP update process is repeatedly performed when the IP notification cycle set in the network camera 230 is reached.
[0049]
After the user authentication and the registration of the camera network are completed, a process of performing various services such as image monitoring, abnormal condition monitoring (intrusion detection), and home automation using the network camera is as follows. is there.
2. Image monitoring service
FIG. 15 is a flowchart for controlling the attitude of a camera having a fixed IP address according to the present invention. FIG. 16 is an example of a screen of a program for controlling the attitude of a camera connected to a network camera.
Referring to FIG. 15, the client 205 transmits the connection request signal to the first to N-th network cameras 230-1 to 230-N through the fixed IP address of the network camera 230 and the camera name / number, The first to N-th network cameras 230-1 to 230-N are connected to the client 205 via the Internet by a connection request signal (S1100). At this time, in order to connect to the first to Nth cameras 230-1 to 230-N, the client 205 first connects to the remote control / monitoring service site 140, and then transmits an ID (ID) and a secret number. It is desirable to enter the information and go through the user authentication process.
[0050]
The client 205 requests a monitoring image from the first to Nth cameras 230-1 to 230-N connected to the Internet (S1102), and the first to Nth cameras 230-1 to 230-N are requested. The monitored image is transmitted to the client 205 (S1104). At this time, the first to N-th network cameras 230-1 to 230-N can transmit the surveillance image after changing the surveillance image to an image format suitable for the client 205, and transmit the surveillance image via the remote control / surveillance service site 140. You can also.
The client 205 executes the camera monitoring position control program in the client module 202 to control the monitoring positions of the first to Nth network cameras 230-1 to 230-N based on the received monitoring image information (S1106). ). When the camera monitoring position control program is executed, an input screen (hereinafter, referred to as a “camera control screen”) for controlling the monitoring position of the camera is provided to the client as shown in FIG.
Referring to FIG. 16, a camera control screen includes a monitoring image display unit 1200 on which monitoring images received from the first to Nth network cameras 230-1 to 230-N are displayed, and a first to Nth motion sensor 240. Sensor control unit 1202 for controlling the operation of -1 to 240-N and the operation of lamps (not shown) provided in the first to N-th network cameras 230-1 to 230-N. And a lamp control unit 1204 for the control. In addition, the camera control screen includes a position control unit 1210 for controlling up, down, left, and right operations (PAN, TILT) of the first to N-th network cameras 230-1 to 230-N; N, a connection icon 1222 for connection with the network cameras 230-1 to 230-N, a non-connection icon 1224 for termination of connection, and capture of an image displayed on the monitoring image display unit 1200. It includes a catcher icon 1226, a storage icon 1228 for storing a monitoring image, a playback icon 1230 for displaying the stored image, and the like.
[0051]
When the client 205 inputs an on / off control signal via the sensor control unit 1202 of the camera control screen as shown in FIG. 16, the relay server 225 transmits the on / off control signal of the sensor to the first to Nth network cameras. The first to N-th network cameras 230-1 to 230-N transmit the first to N-th motion monitoring sensors 240-1 to 240-N according to on / off control signals of the sensors. N on / off operation is controlled. In addition, the client 205 operates the up, down, left, and right buttons of the position control unit 1210 to send a signal for controlling the shooting positions of the first to Nth network cameras 230-1 to 230-N. Then, the data is transmitted to the N-th network cameras 230-1 to 230-N (S1108, S1110).
The first to N-th network cameras 230-1 to 230-N adjust the shooting position of the camera, that is, the pan (PAN) and the tilt (TILT) of the camera according to the position control signal (S112). At this time, the adjustment range of the pan (PAN) is 180 degrees, and the adjustment range of the tilt (TILT) is 45 degrees.
The operation process of the lamp control unit 1204, the connection icon 1222, the non-connection icon 1224, the capture icon 1226, the storage icon 1228, and the reproduction icon 1230 in FIG.
[0052]
FIG. 17 is a flow chart for controlling the position of the first to Nth network cameras having the moving IP address according to the present invention.
Referring to FIG. 17, after connecting to the relay server 225 of the interface server, the client 205 performs login by inputting an ID and a password, and then requests a remote monitoring / control service (S1300).
The relay server 225 searches the user information database 251 based on the input ID and password of the client 205, determines whether the client 205 is a valid service user, and performs user authentication (S1302).
If the first to N-th network cameras 230-1 to 230-N have a moving IP address, the relay server 225 searches the MAC address database 253 (S1304), and the first to N-th corresponding to the ID of the client 205. The MAC address of the network camera 230-1 to 230-N is transmitted to the client 205 (S1306).
The client 205 requests the relay server 225 to connect the first to Nth network cameras 230-1 to 230-N via the MAC address (S1308), and the relay server 225 sends the MAC address from the client 205 to the IP address. The data is transmitted to the search server 224 (S1310).
The IP search server 224 searches the address link database 254 to search for a flowing IP address corresponding to the received MAC address (S1312), and transmits the searched IP address to the relay server 225 (S1314).
The relay server 225 transmits the moving IP address to the client 205 (S1316), and the client 205 receives the first to Nth network cameras 230-1 to 230- based on the received moving IP address and the received camera name / number. A request for N connection is made (S1318). At this time, the first to Nth network cameras 230-1 to 230-N are connected via the Internet to the client 205 that has requested connection based on the moving IP address and the camera name / number.
Next, the client 205 requests a monitoring image from the first to N-th network cameras 230-1 to 230-N connected to the Internet (S1320), and the first to N-th network cameras 230-1 to 230-N. N transmits the requested monitoring image to the client 205 (S1322). At this time, the first to N-th network cameras 230-1 to 230-N change the requested monitoring image into an appropriate format and transmit it to the client.
Subsequent operations, that is, Steps 1324 to 1330 are the same as Steps 1106 to 1112 in FIG. 15, and thus detailed description will be omitted.
[0053]
On the other hand, in the remote monitoring / control system according to the present invention, a plurality of network cameras can be registered by one client 205, and the monitoring images by the plurality of registered network cameras can be simultaneously checked on one screen. it can. That is, FIG. 18 is an example of the screen configuration of the monitoring image of the present invention, and the client 205 can check the first to N-th monitoring screens from four network cameras at the same time. At this time, a desired resolution of the monitoring screen can be selected via the selection icon 1400.
3. Normal condition monitoring (intrusion detection) service
The operation of the service for monitoring an abnormal state through the remote monitoring / control network according to the present invention will be described as follows.
FIG. 19 is a flowchart for monitoring an abnormal state (for example, intrusion detection) in a monitored area using a network camera according to the present invention.
Referring to FIG. 19, the first to N-th network cameras 230-1 to 230-N detect abnormal movement (detect intrusion) by the first to N-th movement monitoring sensors 240-1 to 240-N. (S1500). That is, the client 205 uses the sensor control unit 1202 on the camera control screen as shown in FIG. 16 to monitor the first to N-th in order to monitor the intrusion of a burglar or the like entering a vacant house or a museum or a museum. The operation of the motion monitoring sensors 240-1 to 240-N is turned on. Accordingly, the first to N-th network cameras 230-1 to 230-N turn on the first to N-th motion monitoring sensors 240-1 to 240-N to detect the motion of the monitored area.
[0054]
Next, the first to N-th network cameras 230-1 to 230-N transmit the abnormal state classification code information and the MAC address to the abnormal state receiving server 226 of the interface server 220 according to the detected abnormal state. The abnormal state receiving server 226 searches the fixed IP database 252 or the MAC address database 253 based on the MAC addresses of the first to Nth network cameras 230-1 to 230-N, and searches for the client 205 (S1504). . Further, the abnormal state receiving server 226 searches the abnormal state database 256 and searches for the message content corresponding to the abnormal state classification code from the first to Nth network cameras 230-1 to 230-N. Is generated (S1506).
[0055]
Next, the abnormal state receiving server 226 transmits the warning message generated by the searched client 205 (S1508). The client executes the camera control program of the client module 202 according to the warning message (S1510). At this time, the abnormal state receiving server 226 requests a monitoring image from the first to Nth network cameras 230-1 to 230-N, and the first to Nth network cameras 230-1 to 230-N are requested. The monitored image is transmitted to the abnormal state receiving server 226 (S1514).
The abnormal state receiving server 226 receives the monitoring images from the first to Nth network cameras 230-1 to 230-N, and stores the received monitoring image information (S1516).
[0056]
Through the above process, the client 205 receives the warning message from the abnormal state receiving server 226 without continuously performing image monitoring of the monitored area, and grasps the abnormal state (intrusion detection) of the monitored area. Further, the client 205 can use the monitoring image information stored by the abnormal state receiving server 226 as data for solving the abnormal state.
4. Home automation services
A process of performing a home automation service using a remote monitoring / control network according to the present invention will be described.
FIG. 20 is a flow chart for performing the home automation of the present invention.
[0057]
First, the client 205 executes a home automation program in the client module 202 (S1600).
The client 205 selects an external device connected to the network camera 230 via the home automation program, for example, an electric rice cooker, an air conditioner, a boiler, and the like, and a control signal for controlling the selected external device, that is, Then, a home automation control signal is input (S1602). Here, the external device is connected to the network camera 230 via the RS232C interface. Further, the home automation control signal includes a unique code and a function signal for distinguishing a plurality of external devices.
[0058]
Next, the client 205 transmits a home automation control signal to the network camera 230 after being connected to the network camera 230 through the process shown in FIG. 15 or FIG. 17 (S1604).
The network camera 230 selects the external device based on the unique code of the home automation control signal received from the client 205, and A power line control signal of the external device selected by the ten protocols is generated (S1606). At that time, X. The ten protocols are power line control protocols, and other power line control protocols can be used.
Next, the network camera 230 transmits the generated power line control signal to the external device (S1608), and the power of the external device is turned on / off by the power line control signal.
5. Examples of services using wireless Internet terminals
An example in which various services of the present invention are provided through the wireless Internet terminal 210 will be described in detail with reference to the accompanying drawings.
FIG. 21 is a screen example of a wireless Internet terminal for an image monitoring (moving image viewing) service according to the present invention.
Referring to FIG. 21, a user of the wireless Internet terminal 210 connects to the interface server 220, inputs an ID and a password, and logs in to a service site.
The interface server 220 provides a menu screen on the user-authenticated wireless Internet terminal 210 for selecting services such as watching moving images, home automation, and intrusion detection.
[0059]
Next, when the user of the wireless Internet terminal 210 selects “view moving image” on the service selection menu screen, the Internet server 225 establishes the first to Nth networks registered by the user of the wireless Internet terminal 210. A screen for selecting one of the cameras 230-1 to 230-N is output. That is, the interface server 220 displays a selection screen for selecting any one of the first to N-th network cameras 230-1 to 230-N provided in a plurality of places such as a living room, an entrance, and a back room. Is output.
When the user of the wireless Internet terminal 210 selects 'living room', the interface server 220 selects 'living room screen' to confirm the selected location. Is transmitted to the wireless Internet terminal 210.
[0060]
Next, the interface server 220 transmits the image of the 'living room' taken by the selected network camera to the wireless Internet terminal 210. At this time, when the user of the wireless Internet terminal 210 selects the position control of the network camera that captures the image of the 'living room', the interface server 220 moves the network camera up, down, left, and right, that is, pans (PAN). And a menu screen for adjusting the tilt (TILT) to the wireless Internet terminal 210.
The user of the wireless Internet terminal 210 refers to the pan / tilt adjustment menu screen and uses the ten keys such as “2”, “8”, “4”, “6”, etc. to make the first to Nth network cameras. When the pan / tilt control signals 230-1 to 230-N are input, the monitoring position of the network camera is changed, and the interface server 220 receives the changed monitoring image from the network camera and transmits the changed monitoring image to the wireless Internet terminal. To the user of the machine 210. At this time, after receiving the monitoring images from the first to Nth cameras 230-1 to 230-N, the interface server 220 changes the image format so that it can be displayed via the wireless Internet terminal 210. To transmit.
[0061]
22 to 24 are screen examples of a wireless Internet terminal that provides an abnormal state monitoring service according to the present invention.
Referring to FIG. 22, when the user of the wireless Internet terminal 210 is connected to the interface server 220, the interface server 220 outputs a login screen for user authentication to the wireless Internet terminal 210. When the user of the wireless Internet terminal 210 inputs an ID and a password through the login screen and logs in, the interface server 220 authenticates the wireless Internet terminal 210 based on the ID and the password.
The interface server 220 outputs a menu screen for selecting one of the home automation and intrusion detection services for viewing a moving image on the user-authenticated wireless Internet terminal 210.
When the user of the wireless Internet terminal 210 selects the “intrusion detection” service through the service selection menu screen, the Internet server 225 displays a menu screen for intrusion detection setting or confirmation selection on the wireless Internet terminal 210. To be transmitted. When the user selects 'intrusion detection setting' for the wireless Internet terminal 210, the interface server 220 transmits a detailed selection menu screen for intrusion detection setting to the wireless Internet terminal 210. That is, the interface server 220 outputs a selection menu for 'setting', 'cancellation', or 'contact point setting' of intrusion detection, and when the user of the wireless Internet terminal 210 selects the contact point setting, the interface is set. Server 220 transmits a screen for inputting a telephone number to be contacted to wireless Internet terminal 210. Accordingly, the user of the wireless Internet terminal 210 inputs contact information via the contact number input screen.
[0062]
Next, the interface server 220 outputs an intrusion detection setting screen to the wireless Internet terminal 210 for setting the intrusion detection location as shown in FIG. When the user of the wireless Internet terminal 210 selects the intrusion detection 'setting' via the intrusion detection setting screen, the interface server 220 outputs an intrusion detection place selection screen to the wireless Internet terminal 210 and uses the wireless Internet terminal 210. The user selects a place to detect intrusion, such as a 'living room' or 'entrance'.
Next, when receiving the intrusion information from the network camera in the living room where the intrusion detection is set, the abnormal state receiving server 226 transmits an intrusion alarm message to the wireless Internet terminal 210 as shown in FIG.
When the user of the wireless Internet terminal 210 requests confirmation of an area where intrusion is detected, the interface server 220 requests a monitoring image from a network camera monitoring the 'living room', and the network camera transmits the requested monitoring image to the wireless Internet. It is transmitted to the terminal 210. At the same time, the abnormal state receiving server 226 can automatically connect to a pre-registered telephone number (for example, a security room, a police station, a security business, etc.) and notify the abnormal state detection fact.
[0063]
FIG. 25 is a screen example of a wireless Internet terminal for performing a home automation service according to the present invention.
Referring to FIG. 25, when the user of the wireless Internet terminal 210 selects 'Home Automation' from the service selection menu screen, the interface server 220 is controlled by the first to Nth network cameras 230-1 to 230-N. A screen for selecting a plurality of external devices for performing home automation is output to the wireless Internet terminal 210. At this time, the plurality of external devices include a TV, a living room, a boiler, and the like.
When the user of the wireless Internet terminal 210 selects 'boiler' in the external device, the interface server 220 controls the 'home automation boiler'. Is output on the screen of the wireless Internet terminal 210, and a menu screen for selecting movable or stationary is output to the wireless Internet terminal 210. When the user of the wireless Internet terminal 210 selects “movable” of the boiler, the interface server 220 transmits a classification code for selecting the boiler and a control signal for moving the boiler to the first to Nth network cameras 230-1. To 230-N. According to the above operation, the first to Nth network cameras 230-1 to 230-N operate the boiler, and the interface server 220 outputs a message "moving the boiler" to the user of the wireless Internet terminal 210. I do.
[0064]
6. Network camera
A network camera for performing image monitoring and home automation according to the present invention will be described in more detail with reference to the accompanying drawings.
FIG. 26 is a block diagram showing the internal configuration of the network camera according to the present invention.
Referring to FIG. 26, the network camera includes an image input unit 2000, an image compression unit 2010, a motion monitoring signal input unit 2020, a position drive motor 2030, a power line communication unit 2040, a status display unit 2050, a data storage unit 2060, and an Internet communication unit 2070. And a camera control unit 2080.
[0065]
The image input unit 2000 includes an optical lens 2002 and a CMOS image sensor 2004 that converts an optical image captured through the optical lens 2002 into an electric signal. At this time, the CMOS image sensor 2004 may include a CCD module. The image compression unit 2010 transforms the electrical signal image from the CMOS image sensor 2004 of the image input unit 2000 into image data, and compresses the image data. At this time, MPEG (Moving Picture Experts Group) is used as a technique for compressing data. Further, the image compression unit 2010 outputs a control signal from the camera control unit 2080 to the CMOS image sensor 2004.
[0066]
The motion sensing unit 2020 receives a motion sensing signal from a motion sensing sensor that is integrated with the camera or that is separately provided, and outputs the signal to the camera control unit 2080. The position drive motor 2030 adjusts the pan / tilt of the camera according to the control signal of the camera control unit 2080, and the power line communication unit 2040 performs on / off operation of an external device connected to the camera according to the control signal of the camera control unit 2080. Output a signal. The status display unit 2050 displays the operation status of the camera according to the control signal of the camera control unit 2080.
[0067]
Data storage unit 2060 outputs a surveillance image request signal from Internet communication unit 2070 to camera control unit 2080, and outputs a surveillance image input via camera control unit 2080 to Internet communication unit 2070. The Internet communication unit 2070 stores a protocol stack for storing a protocol for data communication between the first to Nth network cameras 230-1 to 230-N and the PC terminal 200 or the wireless Internet terminal 210. The unit 2072 includes a TCP / IP protocol storage unit 2074 that stores a TCP / IP protocol for Internet communication. An Internet communication unit 2070 includes an Ethernet (registered trademark) interface unit 2076 for Internet communication according to the protocols of the protocol stack storage unit 2072 and the TCP / IP protocol storage unit 2074, and a MAC address storage for storing the MAC address of the camera. 2078.
[0068]
The camera control unit 2080 outputs a control signal based on the monitoring image request signal input via the data storage unit 2060 to the image compression unit 2010, and outputs a monitoring image from the image compression unit 2010 based on the control signal to the data storage unit 2060. I do. Further, the camera control unit 2080 outputs a control signal for controlling the motion monitoring unit 2020, the position drive motor 2030, the power line communication unit 2040, and the status display unit 2050.
[0069]
A power line communication unit 2040 receives a power line control unit 2042 for transmitting a power line control signal from the camera control unit 2080 to an external device and a power line reception unit 2044 for receiving the power line control signal and turning on / off the power of the external device. Consists of Here, the power line 2044 is separately configured and connected to each of the plurality of external devices.
The operation of the network camera thus configured according to the present invention will be described below.
[0070]
First, the network camera of the present invention receives a monitoring image request signal from the client 205 connected to the Internet via the Ethernet (registered trademark) interface 2076.
The Ethernet (registered trademark) interface 2076 outputs a monitoring image request signal to the camera control unit 2080 via the data storage unit 2060, and the camera control unit 2080 transmits an image request control signal based on the monitoring image request signal via the image compression unit 2010. And outputs it to the CMOS image sensor 2004.
The CMOS image sensor 2004 converts an optical image from the optical lens 2002 into an electric signal according to an image request control signal from the camera control unit 2080, and outputs the signal to the image compression unit 2010. The image compression unit 2010 changes the image of the electric signal into an image data form capable of Internet communication, compresses the image, and outputs the image to the camera control unit 2080.
The camera control unit 2080 outputs the image data input from the image compression unit 2010 to the data storage unit 2060, and the data storage unit 2060 temporarily stores the input image data and then stores the image data via the Ethernet (registered trademark) interface 2076. The data is transmitted to the client 205 connected to the Internet. At this time, when image data is transmitted via the Ethernet interface 2076, a communication protocol is set by the communication protocol stack 2072 and the TCP / IP protocol 2074.
[0071]
Meanwhile, a pan / tilt control operation of the first to N-th network cameras 230-1 to 230-N from the client 205 connected to the Internet will be described.
When the client inputs a pan / tilt adjustment signal of the network camera via the client module 202, the first to Nth network cameras 230-1 to 230-N send the pan / tilt adjustment signal via the Ethernet (registered trademark) interface 2076. And the Ethernet (registered trademark) interface 2076 outputs the received pan / tilt adjustment signal to the camera control unit 2080 via the data storage unit 2060.
The camera control unit 2080 adjusts the pan / tilt of the network camera by outputting a control signal according to the input pan / tilt adjustment signal to the position drive motor 2030. Here, the pan adjustment range is 180 degrees, and the tilt adjustment range is 45 degrees. Further, the camera control unit 2080 receives an abnormal state monitoring request signal input from the Ethernet (registered trademark) interface 2076 via the data storage unit 2060, and sends an operation control signal to the motion monitoring unit 2020 according to the abnormal state monitoring request signal. Is output. Next, the camera control unit 2080 receives the abnormal state monitoring signal from the motion monitoring unit 2020 and outputs the input abnormal state monitoring signal to the Ethernet (registered trademark) interface 2076 via the data storage unit 2060. The Ethernet (registered trademark) interface 2076 transmits the abnormal state monitoring signal and the MAC address to the relay server 225, and the relay server 225 transmits an abnormal state notification message based on the abnormal state monitoring signal to the client 205.
[0072]
On the other hand, the camera control unit 2080 receives an external device adjustment signal from the client 205 connected to the Internet via the relay server 225 via the data storage unit 2060, and converts a power line control signal based on the input external device adjustment signal into a power line signal. Output to transmitting section 2042. The power line transmitting unit 2042 outputs to the power line receiving unit 2044 connected to the external device among the plurality of external devices, and the power line receiving unit 2044 controls on / off operation of the external device based on the power line control signal.
Here, the camera control unit 2080 performs power line control of an external device by transmitting a power line control signal to the power line transmission unit 2042 and the power line reception unit 2044 via the power line control protocol. At this time, the power line control protocol is a protocol for controlling a power state of an electric device located at a remote place through network communication. 10 protocols are used.
[0073]
The operation of controlling the on / off operation of the external device, that is, the home automation operation, will be described in more detail with reference to the accompanying drawings.
FIG. 27 is a detailed block diagram of a home automation system according to the present invention.
Referring to FIG. 27, the home automation device includes a PC terminal 200, a wireless Internet terminal 210, an interface server 220, a network camera 230, first to Nth external devices 240-1 to 240-N, and first to Nth external devices. Power line receiving units 250-1 to 250-N and a power supply unit 260. Here, the first to Nth external devices 240-1 to 240-N include an electric rice cooker 240-1, an air conditioner 240-2, a boiler 240-N, and the like, which are connected to the network camera 230 to perform power line control. . At this time, the same components as those in FIG.
The first to N-th external devices such as the electric rice cooker 240-1, the air conditioner 240-2, and the boiler 240-N are individual power line receiving units, that is, the first to N-th power line receiving units 250-. It is configured to have 1 to 250-N.
The first to N-th power line receiving units 250-1 to 250-N receive the power line control signal from the power line transmitting unit 2042 of the network camera, and control the power supply of the power supply unit 260 based on the received power line control signal. Then, on / off operations of the first to Nth external devices 240-1 to 240-N are controlled. At this time, since the power line control signal of the power line transmitting unit 2042 includes a unique code for distinguishing the first to Nth external devices 240-1 to 240-N, the first to Nth power line receiving units 250-N 1 to 250-N are operated only when they correspond to the unique codes in the power line control signal.
[0074]
7. Image data compression
Normally, when image data is transmitted via a communication network, the amount of image data generated is large. At this time, in the case of the above-described remote monitoring / control network of the present invention, since the transmission speed differs depending on the client and a delay occurs due to the characteristics of the Internet, a compression method which is improved as compared with the conventional compression method is applied. There is a need.
FIG. 28 is a block diagram illustrating a configuration of an image data transmission system according to a preferred embodiment of the present invention. The image data transmission system via a network according to the present invention includes an image data processing unit 2210 and an image service unit 2220. , A control unit 2240 and a client unit 2230. The image data processing unit 2210 converts the input analog image signal into a digital image signal, sequentially compresses the converted image signal, and outputs the image signal at the request of the image service unit 2220. Here, the image data processing unit 2210 includes an image input unit 2211, a decoding unit 2212, a compression unit 2213, a selection output unit 2214, and first and second frame memories 2215 and 2216. The image input unit 2211 captures an external image signal and inputs the image signal to the decoding unit 2212. The decoding unit 2212 converts the external image signal input from the image input unit 2211 into a digital image signal, and then converts the digital image signal. The output digital images are sequentially output to the compression unit 2213. Here, the image input unit 2211 can be a camera.
The compression unit 2213 encodes the original image input first from the decoding unit 2212 to generate an I frame image. For a digital image signal input thereafter, the encoded original image, that is, Motion prediction and compensation are performed on the I frame, and encoding is performed using a motion vector value accompanying the motion prediction and compensation to generate a plurality of P (n) frames. That is, when the compression method in the compression unit 2213 is briefly considered, within one group (for example, 30 frames) of images, I, P (1), P (2), P (3),. . . In the case of performing compression in the order of P (29), all P frames, that is, P (1) -P (29) frames are always calculated with a motion vector based on an encoded I frame, and compressed. It becomes like that.
[0075]
A detailed configuration of the compression unit 2213 performing the above operation will be described with reference to FIG.
29 includes a subtractor 2331, a DCT unit 2332, a quantization unit 2333, a variable length encoding unit 2334, a bit rate control unit 2335, a switching unit 2336, an inverse quantization unit 2336, and an inverse DCT unit. 2332-1, a frame memory 2337, a motion estimator 2338, and a controller 2339. At this time, a specific description of the same components overlapping with the conventional configuration shown in FIG. 28 will be omitted. The control unit 2339 determines a frame type for the input external input image signal, and provides a switching control signal to the switching unit 2336 when the input input image frame type is an I frame. When the currently input frame data is I-frame type data, the control unit 2339 removes the previous I-frame data stored in the frame memory 2337, and then switches the newly input I-frame data. This is stored in the frame memory 2337 via the section 2236.
The frame memory 2337 stores only the I-frame image data, and the motion estimator 2338 compares the I-frame data stored in the frame memory 2337 with the currently input image to estimate the motion between frames. , The motion vector value is provided to the variable length coding unit 2334.
The switch 2336 stores only the I frame data quantized via the quantization unit 2333 by the switching control signal of the control unit 2339 in the frame memory 2337 via the inverse quantization unit 2333-1 and the inverse DCT unit 2333-1. It is to be done. The subtractor 2331 outputs a difference value between the I frame data stored in the frame memory 2337 and the currently input image, that is, the P frame data, to the DCT unit 2332.
[0076]
On the other hand, the selection output unit 2240 of the image data processing unit 2210 sequentially outputs the frame image data compressed by the compression unit 2213 according to the control signal provided from the control unit 2240, and outputs the first and second frame memories 2215, 2215. 2216 is stored alternately. In other words, the first encoded I frame data from the compression unit 2213 is stored in the first frame memory 2215,
The P (1) frame data encoded thereafter is stored in the second frame memory 2216. At this time, the encoded I frame data is stored in the first frame memory 2215 and then output according to a request from the image service unit 2220. Therefore, the encoded P (2) frame data is stored in the first frame memory, and the encoded P (3) frame data is stored in the second frame memory 2216. Here, before the P (3) frame data is stored, the already encoded and stored P (1) frame data is output by a request of the image service unit 2220 or when there is no output request. Are deleted by storing the encoded P (3) frame data. That is, P (1) frame data is deleted by overlaying P (3) frame data on P (1) frame data.
[0077]
On the other hand, when receiving an image transmission request from the client unit 2230, the image service unit 2220 illustrated in FIG. 28 generates a task (Task) for performing the image transmission function, and then generates the task (Task) for each frame memory 2215 of the image data processing unit 2210. The newly encoded image frame data stored in 2216 is read and transmitted via the network to the client that has requested image transmission. Here, the network may be a wired or wireless network, for example, a network such as ISDN or PSTN.
On the other hand, the client unit 2230 is a computer of the client user side, and decodes the encoded image data transmitted from the image service unit 2220 and reproduces the decoded image data on the display unit. That is, the encoded image data is decoded and displayed on the display screen (monitor) of the user's computer. The control unit 2240 collectively generates control signals such as selection of each frame memory in the image data processing unit 2210 and the image service unit 2220 and data processing time control.
[0078]
The operation of the apparatus for transmitting image data over a network according to the preferred embodiment of the present invention will now be described.
First, as shown in FIG. 28, an image input unit 2211 in the image data processing unit 2210, that is, an external image signal input from the camera is output to the decoding unit 2212. The decoding unit 2212 sequentially converts the external image signal input from the image input unit 2211 into a digital image signal, and sequentially outputs the converted digital image signal to the compression unit 2213. The compression unit 2213 encodes the original image input first from the decoding unit 2212, generates an I frame image, and applies the encoded original image, i.e., I, to the digital image signal input thereafter. A frame is motion-predicted and compensated, and encoded using a motion vector value obtained by the motion prediction and compensation, to generate a plurality of P (n) frames.
Here, the operation of the compression unit 2213 will be described in more detail with reference to FIG. First, when an image signal is input from the outside, the control unit 2339 detects a frame type for the input image signal. That is, it is determined whether the input image type is I-frame data or P-frame data. As a result, when the input image is I-frame data, the control unit 2339 provides a switching control signal to the switching unit 2336 to turn on the switch.
On the other hand, the input I-frame data (original image data) is input to the DCT unit 2332 and DCT-transformed, and the DCT-converted I-frame data is passed through the quantization unit 2333 to the variable length code lower part 2334 and the switching unit 2336. Is output to The variable-length coding unit 2334 performs variable-length coding on the I-frame data quantized by the quantization unit 2333 and outputs a bit string, and the bit rate control unit 2335 outputs the bit stream output from the variable-length coding unit 2334. The operation of the quantization unit 2333 is controlled by the length.
[0079]
On the other hand, the I frame data input to the switching unit 2336 is stored in the frame memory 2337 via the inverse quantization unit 2333-1 and the inverse DCT unit 2332-1. As described above, when the P frame data in the same group of the I frame data stored in the frame memory 2337 is input from the outside in a state where the I frame data is stored in the frame memory 2337, the control unit 2339 sets: A switching control signal is provided to the switching unit 2336 to turn off the switch. Then, the subtractor 2331 calculates a difference signal between the input P frame data and the I frame data stored in the frame memory 2337, and calculates the difference signal via the DCT unit 2332, the quantization unit 2333, and the variable length coding unit 2334. Compressed and output at bit rate.
At this time, the motion estimating unit 2338 always compares the currently input P-frame image with the I-frame image data stored in the frame memory 2337 in the same group to estimate the motion, and then converts the motion vector value into a variable-length code. To the conversion unit 2334. Therefore, the variable length encoding unit 2334 encodes the P frame image in the same group as the I frame image stored in the frame memory 2337 by using the motion vector value provided from the motion estimating unit 2338. After the compression of the image for one group is completed, when a new image, that is, an I-frame image of another group is input, the control unit 2339 controls the previous group stored in the frame memory 2337. After removing the I frame image, the switching unit 2326 is controlled to store the I frame image in the new group in the frame memory 2337. That is, the compression method in the compression unit 2213 will be considered with reference to FIG.
[0080]
FIG. 30 is an exemplary view showing an image frame compression encoding method performed by the compression unit 213 shown in FIG. 28 or FIG. 29 according to a preferred embodiment of the present invention.
Compressed image data, that is, I-frame data, in which spatial redundancy has been removed from the first digital image signal converted and input from the decoding unit 2212 is generated. The I frame data generated in this way is stored in the first frame memory 2215 via the selection output unit 2214. Then, the compression unit 2213 generates a future prediction-encoded image predicted from the already encoded I-frame data, that is, P-frame data, and stores the P-frame data in the second frame memory 2216 via the selection output unit 2214. . At this time, the I frame data stored in the first frame memory 2215 is transferred to each of the frame memories 2222-1, 2222-1, 2222-2,... In the image service unit 2220 under the control of the frame data transmission control unit 2221. . . 2222-n. Next, the compression unit 2213 generates another P frame data predicted from the already encoded I frame data, and alternately sends the data to the first and second frame memories 2215 and 2216 via the selection output unit 2214. Is stored. That is, the compression unit 2214 first encodes the I frame, stores it in the first frame memory 2215, and then stores it in a plurality of frame memories in the image service unit 2220. For an image signal (P frame data), a motion vector through motion prediction and compensation is calculated based on the already encoded I frame data, and all P frames in one group, that is, P (1), P (2), P (3),. . . P (29) (when one group consists of 30 frames) is sequentially encoded and stored in the first and second frame memories 2215 and 2216 via the selection output unit 2214. At this time, in a state where the P frame data is already encoded and stored in the first and second frame memories 2215 and 2216, when another P frame is encoded, the already stored P frame is stored. After deleting the data, the newly encoded P frame data is stored.
[0081]
As a result, as shown in FIG. 29, the compression unit 2213 outputs I, P (1), P (2), and P (3) in the image of one group (for example, 30 frames) input from the decoding unit 2212. ,. . . When compression is performed in the order of P (29), all predicted frames, that is, P (1) -P (29) frames are always encoded by calculating a motion vector based on the encoded I frame. Will be. In other words, the 130-second image captured by the camera is converted into a digital image signal via the decoding unit 120, stored in the frame memory 2237 in the compression unit 2213, and then converted from the stored image data. Perform compression. That is, an I-frame compresses an entire screen, thus applying a DCT transform using spatial correlation within the image.
In one screen, there is a pixel block having a low frequency including a DC component and a high frequency component of an AC component. However, when the DCT transform is performed, the high frequency component is removed and the image is weighted to the low frequency component. .
[0082]
Therefore, image compression is performed by removing the redundancy in the spatial region using such a DCT method. The I-frame data already compressed and stored in the storage unit is read, prediction is performed from the read I-frame data, and all subsequent P-frame data is generated. That is, a movement vector is generated by displaying the movement amount of a portion where motion is predicted based on I-frame data which is a full screen image in (X, Y) coordinates, and only the image of the portion where motion is predicted is displayed. The P frame data is generated through a motion compensation process. Here, if the I-frame data is data that has been compressed by removing spatial redundancy, the P-frame data is compressed by a temporal correlation with the I-frame data, that is, the temporal redundancy is removed. Data. Then, the compression unit 2213 decodes the encoded I-frame data for prediction of the next P-frame data, and converts the decoded I-frame data into a motion prediction processing unit (shown in the drawing) in the compression unit 2213. Not).
[0083]
The selection output unit 2214 sequentially outputs the I and P frame image data compressed by the compression unit 2213 according to a control signal provided by the control unit 2240, and stores the I and P frame image data in the first and second frame memories 2215 and 2216 alternately. Let it. That is, the I-frame data encoded first by the compression unit 2213 is stored in the first frame memory 2215, and the P (1) frame data encoded thereafter is stored in the second frame memory 2216. At this time, the encoded I frame data is stored in the first frame memory 2215 and then output according to a request from the image service unit 2220. Therefore, the encoded P (2) frame data is stored in the first frame memory, and the encoded P (3) frame data is stored in the second frame memory 2216. become. Here, before the P (3) frame data is stored, the already encoded and stored P (1) frame data is output by a request of the image service unit 2220 or when there is no output request. Is deleted by storing the encoded P (3) frame data. That is, the P (1) frame data is deleted by overlaying the P (1) frame data on the P (1) frame data.
[0084]
If a request for an image transmission signal is received from the client unit 2230 during the compression process on the input image as described above, the image service unit 2220 generates a task for performing the image transmission function. After that, the recently encoded image frame data stored in the frame memories 2215 and 2216 of the image data processing unit 2210 is read and transmitted via the network to the client that has requested image transmission. Here, the network may be a wireless network, for example, a network such as ISDN and PSTN. The client requesting the transmission of the image data among the client units 2230 decodes the encoded image data transmitted from the image service unit 2220 and reproduces the decoded image data on the display unit. That is, the encoded image data is decoded and displayed on the display screen (monitor) of the user's computer.
[0085]
Hereinafter, the operation of the image service unit 2220 will be considered in more detail.
First, a plurality of clients 2231-1, 2231-2, 2231-3,. . . If one client of the client unit 2230 composed of 2231-n connects to the network and requests transmission of image data, the data transmission / reception unit 2223 receives the request signal.
[0086]
When receiving the image data transmission request signal, the data transmission / reception unit 2223 generates a task capable of performing the image transmission function in the client, and uses the generated task in the image service unit 2220 corresponding to the client. The I-frame image data stored in the frame memory is transmitted to the client via the network, and a data read control signal (Data Read Signal) is provided to the frame data transmission control unit 2221.
Therefore, the frame data transmission control unit 2221 reads the P frame data stored in the first and second frame memories 2215 and 2216 according to the image frame data request signal provided from the data transmission / reception unit 2223, and sends the read frame data to the client. The image is stored in the frame memory in the corresponding image service unit 2220.
[0087]
The P frame data stored in the frame memory in the image service unit 2220 is output to the data transmission / reception unit 2223. Therefore, the data transmission / reception unit 2223 transmits the P frame data output from the frame memory to the client via the network. That is, when the image data transmission system according to the present invention receives an image data transmission request from a client connected to a high-speed network, for example, all the frame data, that is, I, P (1), P (2),. . . P (n-1) and P (n) are provided, and in the case of a client connected to a medium-speed network, I, P (2), P (4),. . . Only P (n) is transmitted, and only I frames are transmitted to clients connected to the low-speed network. At this time, different P frame data are transmitted depending on the network transmission speed, and I frame data is transmitted in common.
Therefore, the client that has received the frame data decodes all the P frame data with reference to the encoded I frame data, and thus can reproduce a continuous screen. As a result, the apparatus and method for transmitting image data over a network according to the present invention can always be restored even if the corresponding image compressed frame data is correctly transmitted at the moment when there is a data transmission request from the client. That is, since the image output on the client side is transmitted according to the client data processing speed, there is no unexpected screen disconnection that can occur due to the problem of the network delay speed when the actual image is restored and displayed. The reproduction of the screen is soft and not unnatural.
[0088]
The image data compression method according to the present invention for achieving such an effect includes, within an image of one group (for example, 30 frames), I, P (1), P (2), P (3), . . . When compressing in order of P (i) (where I is 1, 2, 3, 4, ... 29), the P (i) frame always calculates a motion vector based on the I frame. For example, the existing H. 261, in the compression process of the MPEG standard, since the P (i + 1) frame calculates a motion vector based on the immediately preceding P (i) frame, decoding on the client side requires P (i + 1) reproduction for P (i + 1). (I) It is not possible if the frame is not transmitted beforehand. If the P (i) frame cannot be transmitted from the server side, that is, the image service unit 2220 shown in FIG. 28 to the client unit 2230 due to the transmission delay time of the network, the client side receives P (i). Even if the (i + 1) frame is received, it cannot be reproduced. However, according to the compression method of the present invention, a P (i) frame is calculated and encoded on the server side based on an I frame in an image group to which the P (i) frame belongs, and then transmitted to the client side. Therefore, each client can reproduce an image of any P frame in the same image group for an I frame. However, it must be assumed that I frames in one group are always transmitted.
[0089]
【The invention's effect】
As described above, the network camera according to the present invention is registered as a camera with a network-specific address, and has a flowing IP address system when a user of a PC terminal or a wireless Internet terminal requests a connection. Is transmitted to the user, the user of the network camera and the PC terminal or the user of the wireless Internet terminal is connected to the Internet. When the network camera has a fixed IP address system, a user of the PC terminal or the wireless Internet terminal is connected to the network camera via the fixed IP address.
[0090]
Therefore, the present invention is networked to a remote location via a network camera, a user and a network unique address of the network camera, and the user can receive and provide a remote monitoring image from the networked network camera. Since efficient image monitoring can be provided, there is an effect that the user can be provided with more efficient image monitoring.
In addition, the present invention can adjust the monitoring position of the camera connected to the network through the network unique address, so that the user can improve the reliability of monitoring a certain area.
[0091]
In addition, the present invention can monitor an abnormal state such as an illegal intrusion by monitoring an abnormal movement of the network camera, and can transmit a warning message to the user via the interface server, thereby more efficiently. There is also an effect that good image monitoring can be provided.
Further, according to the present invention, the on / off operation of an external device such as an electric rice cooker, an air conditioner, or a boiler connected to a network camera can be remotely controlled, thereby improving convenience for the user. There is also an effect that can be done.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a remote monitoring / control network using a network camera according to the present invention.
FIG. 2 is a detailed block diagram of a remote monitoring / control service site shown in FIG. 1;
FIG. 3 is a view showing an example of a user information database shown in FIG. 2;
FIG. 4 is a view showing an example of a fixed IP address database shown in FIG. 2;
FIG. 5 is a view showing an example of a MAC address database shown in FIG. 2;
FIG. 6 is an exemplary diagram of an address link database shown in FIG. 2;
FIG. 7 is an exemplary diagram of an abnormal state information database shown in FIG. 2;
FIG. 8 is a flowchart illustrating a user authentication process according to the present invention.
FIG. 9 is a flowchart illustrating a process of registering a camera having an IP address according to the present invention;
FIG. 10 is an exemplary view of a camera registration screen according to the present invention.
FIG. 11 is a flowchart illustrating a process of registering a camera having a moving IP address according to the present invention;
FIG. 12 is a sequence diagram for registering a network camera having a fixed IP according to the present invention when a client module is not provided.
FIG. 13 is a flowchart for registering a network camera having a streaming IP according to the present invention when a client module is not provided.
FIG. 14 is a flowchart illustrating a process of updating a floating IP address according to the present invention.
FIG. 15 is a flowchart for controlling a monitoring position of a network camera having a fixed IP address according to the present invention.
FIG. 16 is an exemplary view of a camera connection and control screen according to the present invention.
FIG. 17 is a flowchart for controlling a monitoring position of a network camera having a moving IP address according to the present invention;
FIG. 18 is an illustration of an image screen according to the present invention.
FIG. 19 is a flowchart showing an abnormal state monitoring procedure according to the present invention.
FIG. 20 is a flowchart illustrating a home automation service according to the present invention;
FIG. 21 is a screen example of a wireless Internet terminal performing a moving image viewing operation according to the present invention.
FIG. 22 is a screen example of a wireless Internet terminal for performing an intrusion detection service according to the present invention;
FIG. 23 is a screen example of a wireless Internet terminal for performing an intrusion detection service according to the present invention;
FIG. 24 is a screen example of a wireless Internet terminal for performing an intrusion detection service according to the present invention;
FIG. 25 is a screen example of a wireless Internet terminal for performing home automation according to the present invention.
FIG. 26 is a block diagram showing the internal configuration of a network camera according to the present invention.
FIG. 27 is an example of a network configuration for home automation according to the present invention.
FIG. 28 is a schematic diagram showing an image compression transmission system according to the present invention.
FIG. 29 is a detailed block diagram of the compression unit shown in FIG. 28 according to the present invention;
FIG. 30 is an exemplary diagram of a picture shown to explain compression encoding according to the present invention.
[Explanation of symbols]
100 PC terminal
110 Wireless Internet Terminal
120 Wireless Internet Server
130 base stations
140 Interface Server
150-1,. . . 150-N 1st to Nth network cameras

Claims (24)

ネットワークを介して連結され、遠隔地に位置する少なくとも1つのネットワークカメラを用いた遠隔監視/制御方法において、
ネットワークを介して接続された使用者から前記ネットワークカメラのネットワーク固有住所を受信するステップと、
前記ネットワーク固有住所により前記ネットワークカメラを登録するステップと、
前記使用者から前記ネットワークカメラ接続要求を受信するステップと、
前記ネットワークカメラ接続要求に応じて前記使用者に応ずる前記ネットワークカメラのネットワーク固有住所を前記使用者に伝送するステップとを含み、かつ、
前記使用者は、前記ネットワーク固有住所を用いて接続された前記ネットワークカメラから監視画像を受信することを特徴とする遠隔監視/制御方法。
A remote monitoring / control method using at least one network camera connected via a network and located at a remote location,
Receiving a network-specific address of the network camera from a user connected via a network;
Registering the network camera with the network-specific address;
Receiving the network camera connection request from the user;
Transmitting a network-specific address of the network camera responding to the user to the user in response to the network camera connection request, and
The remote monitoring / control method, wherein the user receives a monitoring image from the network camera connected using the network unique address.
前記ネットワーク接続された使用者から前記ネットワークカメラのネットワーク固有住所を受信するステップは、
前記使用者から前記ネットワークカメラのネットワーク固有住所体系情報を受信するステップと、
前記ネットワークカメラが固定IP住所体系の場合、前記使用者から前記ネットワークカメラの固定IP住所を受信し、前記ネットワークカメラが流動IP住所体系の場合、前記使用者から前記ネットワークカメラの流動IP情報を受信するステップとを含み、かつ、
前記ネットワーク固有住所はMAC住所、または、IP住所の中で、いずれかで、前記流動IP情報は少なくとも前記ネットワークカメラのMAC住所、流動IP通報周期を含むことを特徴とする請求項1記載の遠隔監視/制御方法。
Receiving the network-specific address of the network camera from the network-connected user,
Receiving network-specific address system information of the network camera from the user;
If the network camera has a fixed IP address system, it receives the fixed IP address of the network camera from the user, and if the network camera has a flowing IP address system, it receives the flowing IP information of the network camera from the user. And the step of
The remote network according to claim 1, wherein the network-specific address is one of a MAC address and an IP address, and the streaming IP information includes at least a MAC address of the network camera and a streaming IP notification cycle. Monitoring / control method.
前記ネットワーク固有住所による前記ネットワークカメラ登録を遂行するステップは、
前記ネットワークカメラが固定IP住所体系の場合、前記使用者に対する固定IP住所を格納し、前記ネットワークカメラが流動IP住所体系の場合、前記使用者に対する流動IP住所を格納することにより、カメラを登録することを特徴とする請求項1、または、2記載の遠隔監視/制御方法。
Performing the network camera registration with the network unique address,
When the network camera has a fixed IP address system, a fixed IP address for the user is stored, and when the network camera is a floating IP address system, a moving IP address for the user is stored to register the camera. The remote monitoring / control method according to claim 1 or 2, wherein:
前記ネットワークカメラ接続要求に応じて前記使用者に応ずる前記ネットワークカメラのネットワーク固有住所を伝送するステップは、
前記ネットワークカメラ接続要求により前記使用者に応ずる前記 ネットワークカメラのMAC住所を伝送するステップと、
前記MAC住所を介する前記使用者のカメラ接続要求を受信するステップと、前記MAC住所に応ずる前記ネットワークカメラの流動IP住所を前記使用者に伝送するステップとを含むことを特徴とする請求項1、または、2記載の遠隔監視/制御方法。
Transmitting a network-specific address of the network camera responding to the user in response to the network camera connection request,
Transmitting a MAC address of the network camera responding to the user according to the network camera connection request;
2. The method according to claim 1, further comprising: receiving a camera connection request of the user via the MAC address; and transmitting a flowing IP address of the network camera corresponding to the MAC address to the user. Or the remote monitoring / control method according to 2.
前記通報周期毎に前記ネットワークカメラから流動IP接続要求信号を受信するステップと、
前記MAC住所により前記ネットワークカメラの登録の可否を判断するステップと、
前記ネットワークカメラが登録された場合、前記MAC住所に対する流動IP住所をアップデートするステップとを更に含むことを特徴とする請求項1、または、2記載の遠隔監視/制御方法。
Receiving a flowing IP connection request signal from the network camera for each of the notification cycles;
Determining whether the network camera can be registered based on the MAC address;
3. The remote monitoring / control method according to claim 1, further comprising: updating a streaming IP address for the MAC address when the network camera is registered.
前記ネットワークカメラから異常状態監視信号及び前記ネットワークカメラのMAC住所を受信するステップと、
前記受信された異常状態監視信号により警告メッセージを生成するステップと、
前記生成された警告メッセージを前記MAC住所に応ずる使用者に伝送するステップと、
前記ネットワークカメラから異常状態監視画像を受信して格納するステップとを更に含むことを特徴とする請求項1記載の遠隔監視/制御方法。
Receiving an abnormal state monitoring signal and a MAC address of the network camera from the network camera;
Generating a warning message based on the received abnormal state monitoring signal;
Transmitting the generated warning message to a user corresponding to the MAC address;
Receiving the abnormal condition monitoring image from the network camera and storing the abnormal condition monitoring image from the network camera.
前記使用者はPC端末機、または、無線インターネット端末機の中で、いずれかを介して前記ネットワークカメラにネットワーク接続されることを特徴とする請求項1記載の遠隔監視/制御方法。2. The remote monitoring / control method according to claim 1, wherein the user is connected to the network camera via one of a PC terminal and a wireless Internet terminal. ネットワークを介して一定の使用者と接続されたネットワークカメラ制御方法において、
前記使用者から監視画像要求を受信するステップと、
前記監視画像要求に応ずる監視画像を前記使用者に適合しているフォーマットに変形するステップと、
前記フォーマットが変形された監視画像を前記使用者に伝送するステップと、前記監視画像による監視位置調節信号を前記使用者から受信するステップと、前記受信された監視位置調節信号に応じて前記ネットワークカメラの監視位置を調節するステップとを含み、かつ、
前記使用者は前記ネットワークカメラのネットワーク固有住所を用いてネットワークを介して前記ネットワークカメラに接続され、
前記ネットワーク固有住所は固定IP住所、または、流動IP住所であることを特徴とする遠隔監視/制御方法。
In a network camera control method connected to a certain user via a network,
Receiving a monitoring image request from the user;
Transforming the surveillance image in response to the surveillance image request into a format suitable for the user;
Transmitting the surveillance image whose format has been modified to the user, receiving a surveillance position adjustment signal based on the surveillance image from the user, and the network camera according to the received surveillance position adjustment signal Adjusting the monitoring position of the computer; and
The user is connected to the network camera via a network using a network unique address of the network camera,
The remote monitoring / control method, wherein the network-specific address is a fixed IP address or a floating IP address.
前記ネットワークカメラは、前記監視位置調節信号に応じてパン/チルトを調節して監視位置を調節することを特徴とする請求項8記載の遠隔監視/制御方法。The remote monitoring / control method according to claim 8, wherein the network camera adjusts a monitoring position by adjusting a pan / tilt according to the monitoring position adjustment signal. 前記使用者から異常状態監視要求を受信するステップと、
前記異常状態監視要求により監視地域の異常動きを感知するステップと、
異常動きの監視により前記使用者に異常状態監視信号及び前記ネットワークカメラのMAC住所を伝送するステップとを更に含むことを特徴とする請求項8記載の遠隔監視/制御方法。
Receiving an abnormal state monitoring request from the user,
Sensing an abnormal movement in the monitored area by the abnormal state monitoring request;
9. The remote monitoring / control method according to claim 8, further comprising transmitting an abnormal state monitoring signal and a MAC address of the network camera to the user by monitoring the abnormal movement.
前記使用者から電力線調節信号を受信するステップと、
前記電子機器分類コードに応ずる電子機器に前記電力線制御情報による電力線制御信号を伝送するステップとを更に含み、かつ、
前記電力線制御信号は、前記電子機器の電源オン/オフ動作を制御するための信号であることを特徴とする請求項8記載の遠隔監視/制御方法。
Receiving a power line adjustment signal from the user;
Transmitting a power line control signal based on the power line control information to an electronic device corresponding to the electronic device classification code, and
The remote monitoring / control method according to claim 8, wherein the power line control signal is a signal for controlling a power on / off operation of the electronic device.
プログラムが格納されているメモリと、
前記メモリに結合されて前記プログラムを実行するプロセッサを含み、かつ、前記プロセッサは前記プログラムにより、
ネットワークを介して接続された使用者からネットワークカメラのネットワーク固有住所を受信するステップと、
前記ネットワーク固有住所による前記ネットワークカメラを登録するステップと、
前記使用者から前記ネットワークカメラ接続要求を受信するステップと、
前記ネットワークカメラ接続要求に応じて前記使用者に応ずる前記ネットワークカメラのネットワーク固有住所を伝送するステップとを実行し、かつ、
前記使用者は前記ネットワーク固有住所を用いて接続された前記ネットワークカメラから監視画像を受信することを特徴とする遠隔監視/制御装置。
A memory where the program is stored,
A processor coupled to the memory to execute the program, and wherein the processor is
Receiving a network-specific address of the network camera from a user connected via the network;
Registering the network camera with the network-specific address;
Receiving the network camera connection request from the user;
Transmitting a network-specific address of the network camera responding to the user in response to the network camera connection request; and
The remote monitoring / control device according to claim 1, wherein the user receives a monitoring image from the network camera connected using the network unique address.
前記プロセッサは、前記プログラムにより前記使用者から前記ネットワークカメラのネットワーク固有住所体系情報を受信するステップと、
前記ネットワークカメラが固定IP住所体系の場合、前記使用者から前記ネットワークカメラの固定IP住所を受信し、前記ネットワークカメラが流動IP住所体系の場合、前記使用者から前記ネットワークカメラの流動IP情報を受信するステップとを実行し、かつ、
前記ネットワーク固有住所は、MAC住所、または、IP住所の中で、いずれかで、
前記流動IP情報は少なくとも前記ネットワークカメラのMAC住所、流動IP通報周期を含むことを特徴とする請求項12記載の遠隔監視/制御装置。
The processor receives the network-specific address system information of the network camera from the user by the program,
If the network camera has a fixed IP address system, it receives the fixed IP address of the network camera from the user, and if the network camera has a flowing IP address system, it receives the flowing IP information of the network camera from the user. And performing the steps
The network-specific address is a MAC address or an IP address,
13. The remote monitoring / control device according to claim 12, wherein the flow IP information includes at least a MAC address of the network camera and a flow IP notification period.
前記プロセッサは、前記プログラムにより、
前記ネットワークカメラが固定IP住所体系の場合、前記使用者に対する固定IP住所を格納し、前記ネットワークカメラが流動IP住所体系の場合、前記使用者に対する流動IP住所を格納することにより、カメラの登録を遂行することを特徴とする請求項12又は請求項13記載の遠隔監視/制御装置。
The processor, according to the program,
When the network camera has a fixed IP address system, a fixed IP address for the user is stored. When the network camera has a moving IP address system, a moving IP address for the user is stored, thereby registering the camera. 14. The remote monitoring / control device according to claim 12, wherein the remote monitoring / control device is performed.
前記プロセッサは、前記プログラムにより、前記ネットワークカメラ接続要求に応じて前記使用者に応ずる前記ネットワークカメラのネットワーク固有住所を伝送するステップは、
前記ネットワークカメラが流動IP住所体系の場合、前記使用者に応ずる前記ネットワークカメラMAC住所を伝送するステップと、
前記MAC住所を通じた前記使用者のカメラ接続要求を受信するステップと、前記MAC住所に応ずる前記ネットワークカメラの流動IP住所を前記使用者に伝送するステップとを実行するようになることを特徴とする請求項12又は請求項13記載の遠隔監視/制御装置。
The processor, according to the program, transmitting a network-specific address of the network camera corresponding to the user in response to the network camera connection request,
Transmitting the MAC address of the network camera corresponding to the user when the network camera has a floating IP address system;
Receiving a camera connection request of the user through the MAC address, and transmitting a flowing IP address of the network camera corresponding to the MAC address to the user. The remote monitoring / control device according to claim 12 or 13.
前記プロセッサは、前記プログラムにより、
前記通報周期毎に前記ネットワークカメラから流動IP接続要求信号を受信するステップと、
前記MAC住所により前記ネットワークカメラの登録の可否を判断するステップと、
前記ネットワークカメラが登録された場合、前記MAC住所に対する流動IP住所をアップデートするステップとを更に行うことを特徴とする請求項12又は請求項13記載の遠隔監視/制御装置。
The processor, according to the program,
Receiving a flowing IP connection request signal from the network camera for each of the notification cycles;
Determining whether the network camera can be registered based on the MAC address;
14. The remote monitoring / controlling apparatus according to claim 12, further comprising: updating the streaming IP address corresponding to the MAC address when the network camera is registered.
前記プロセッサは、前記プログラムにより、前記ネットワークカメラから異常状態監視信号及び前記ネットワークカメラのMAC住所を受信するステップと、
前記受信された異常状態監視信号により警告メッセージを生成するステップと、
前記生成された警告メッセージを前記MAC住所に応ずる使用者に伝送するステップと、
前記ネットワークカメラから異常状態監視領域を受信して格納するステップとを更に行うようになることを特徴とする請求項12記載の遠隔監視/制御装置。
The processor receives an abnormal state monitoring signal and the MAC address of the network camera from the network camera by the program,
Generating a warning message based on the received abnormal state monitoring signal;
Transmitting the generated warning message to a user corresponding to the MAC address;
13. The remote monitoring / control device according to claim 12, further comprising: receiving and storing an abnormal state monitoring area from the network camera.
前記使用者は、PC端末機、または、無線インターネット端末機のなかで、いずれかを介して前記ネットワークカメラとネットワーク接続されることを特徴とする請求項12載の遠隔監視/制御装置。13. The remote monitoring / control device according to claim 12, wherein the user is connected to the network camera via one of a PC terminal and a wireless Internet terminal. 複数の外部装置が接続されるカメラにおいて、
一定の地域の監視領域を撮影するイメージ入力部と、
前記撮影された画像をイメージ圧縮するイメージ圧縮部と、
前記ネットワークカメラのパン/チルトの調節のための位置駆動モータと、
ネットワーク接続された使用者とのネットワーク通信のためのネットワーク通信部と、
前記ネットワーク通信部から受信される前記使用者の要求により監視画像制御信号、動き監視制御信号、位置駆動モータ制御信号、前記外部装置電源動作制御信号を各々出力するカメラ制御部とを含み、かつ、
固定IP住所、または、流動IP住所を介して前記使用者とネットワーク接続されることを特徴とするネットワークカメラ。
In a camera to which a plurality of external devices are connected,
An image input unit for shooting a monitoring area in a certain area,
An image compression unit for compressing the photographed image;
A position drive motor for pan / tilt adjustment of the network camera;
A network communication unit for network communication with a user connected to the network,
A monitoring image control signal, a motion monitoring control signal, a position drive motor control signal, a camera control unit that outputs the external device power supply operation control signal, respectively, according to the user's request received from the network communication unit, and
A network camera connected to the user via a fixed IP address or a floating IP address.
前記ネットワークカメラは、前記地域に対する異常動きを監視する異常動き監視信号を出力する動き監視部を更に備えて、感知された信号をインターネットに伝送することを特徴とするネットワークカメラ。The network camera further includes a motion monitoring unit that outputs an abnormal motion monitoring signal for monitoring an abnormal motion with respect to the area, and transmits the detected signal to the Internet. 前記ネットワークカメラは、前記外部装置の電源オン/オフ動作調節信号を出力する電力線通信部を更に含むことを特徴とする請求項19記載のネットワークカメラ。20. The network camera according to claim 19, wherein the network camera further includes a power line communication unit that outputs a power on / off operation adjustment signal of the external device. 複数のクライアントにネットワークを介して画像データを伝送するための方法において、
外部から入力されるディジタル原画像データを符号化し、前記符号化された原画像フレームデータを基準に同一グループ内の全ての予測フレームデータを順次符号化するステップと、
前記クライアントから画像伝送信号の要求がある場合、前記符号化された原画像フレームデータ及び最も近来に符号化された予測フレームデータを当該クライアントにネットワークを介して伝送するステップとを含むことを特徴とするネットワークを通じた画像データ圧縮伝送方法。
A method for transmitting image data over a network to a plurality of clients, comprising:
Encoding digital original image data input from the outside, and sequentially encoding all predicted frame data in the same group based on the encoded original image frame data,
And transmitting the encoded original image frame data and the most recently encoded predicted frame data to the client via a network when a request for an image transmission signal is received from the client. Image data compression transmission method through a network.
前記伝送するステップは、
前記符号化された原画像フレームデータを各クライアントに応ずる各々のクライアントフレームメモリに格納するステップと、
前記クライアントからネットワークを介して画像データ伝送要求がある場合、画像フレームデータ伝送機能を遂行するタスクを発生するステップと、
a)前記発生されたデスクを用いてデータの伝送を要求した当該クライアントフレームメモリに格納された原画像フレームデータをネットワークを介して当該クライアントに伝送し、
b)前記複数のフレームメモリ中、最も近来に符号化されて格納された予測フレームデータを当該クライアントフレームメモリに格納した後、前記発生されたタスクを用いて前記格納された予測フレームデータをネットワークを介して当該クライアントに伝送するステップと、
を含むことを特徴とする請求項22記載のネットワークを通じた画像データ圧縮伝送方法。
The transmitting step includes:
Storing the encoded original image frame data in each client frame memory corresponding to each client;
Generating an image frame data transmission function when an image data transmission request is received from the client via a network;
a) transmitting the original image frame data stored in the client frame memory, which has requested data transmission using the generated desk, to the client via a network;
b) storing the most recently encoded and stored predicted frame data in the plurality of frame memories in the client frame memory, and then using the generated task to transfer the stored predicted frame data to a network. Transmitting to the client via
23. The method of compressing and transmitting image data through a network according to claim 22, comprising:
互いに異なる伝送速度を有するネットワークに接続された複数のクライアントに画像データを伝送するシステムの画像データ圧縮方法において、入力されるディジタル画像信号の原画像データを符号化し、原画像フレームデータを生成した後、フレームメモリに格納するステップと、
前記フレームメモリに格納された原画像フレームデータの動きを予測して動きベクトル値を算出するステップと、
前記算出された動きベクトル値により前記符号化された原画像フレームデータの動きを補償して同一のグループ内の全ての予測フレームデータを順次符号化するステップとを含むことを特徴とする画像データ圧縮方法。
In an image data compression method of a system for transmitting image data to a plurality of clients connected to a network having different transmission speeds, after encoding original image data of an input digital image signal and generating original image frame data Storing in a frame memory;
Calculating a motion vector value by predicting the motion of the original image frame data stored in the frame memory;
Compensating the motion of the encoded original image frame data with the calculated motion vector value and sequentially encoding all the predicted frame data in the same group. Method.
JP2002191556A 2002-07-01 2002-07-01 Network camera, remote monitor / control system, and control method employing the same Pending JP2004040272A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002191556A JP2004040272A (en) 2002-07-01 2002-07-01 Network camera, remote monitor / control system, and control method employing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002191556A JP2004040272A (en) 2002-07-01 2002-07-01 Network camera, remote monitor / control system, and control method employing the same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003405455A Division JP2004173290A (en) 2003-12-04 2003-12-04 Image data compression transmission system and image data compression apparatus

Publications (1)

Publication Number Publication Date
JP2004040272A true JP2004040272A (en) 2004-02-05

Family

ID=31701088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002191556A Pending JP2004040272A (en) 2002-07-01 2002-07-01 Network camera, remote monitor / control system, and control method employing the same

Country Status (1)

Country Link
JP (1) JP2004040272A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295392A (en) * 2004-04-02 2005-10-20 Zennikkei Co Ltd Image monitoring system
JP2009147900A (en) * 2007-11-20 2009-07-02 Panasonic Corp Server apparatus and distributed server system
KR101172072B1 (en) 2005-12-13 2012-08-10 엘지이노텍 주식회사 Method and apparatus for monitoring of using the camera module
KR101272653B1 (en) 2011-12-19 2013-06-12 윤영제 System for controlling and monitoring household appliances
KR101303546B1 (en) * 2013-03-21 2013-09-03 엣파크코리아 유한회사 Smart image sharing system and method for controlling thereof
KR101391450B1 (en) 2012-01-05 2014-06-02 주식회사 스테이지원몰 Eyecam, Eyecam service system using tunnelling protocol and a method thereof
KR101454014B1 (en) * 2014-04-03 2014-10-30 서순이 Real time system and method for monitoring error of network camera and network video recorder
CN104867266A (en) * 2015-06-06 2015-08-26 王爱玲 Method for detecting fire condition of coal mine based on power line network
KR102029334B1 (en) * 2019-07-16 2019-11-08 (주)해양정보기술 GPS data management for increasing precision
CN111294618A (en) * 2020-03-12 2020-06-16 周光普 System and method for monitoring data security of broadcast television
CN112399235A (en) * 2019-08-18 2021-02-23 海信视像科技股份有限公司 Method for enhancing photographing effect of camera of smart television and display device
CN115242857A (en) * 2022-07-14 2022-10-25 杭州萤石软件有限公司 Network camera access method, network video recorder, electronic equipment and storage medium
CN116528042A (en) * 2023-06-29 2023-08-01 深圳市巨龙创视科技有限公司 Control method and system for remote camera

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295392A (en) * 2004-04-02 2005-10-20 Zennikkei Co Ltd Image monitoring system
KR101172072B1 (en) 2005-12-13 2012-08-10 엘지이노텍 주식회사 Method and apparatus for monitoring of using the camera module
US9712568B2 (en) 2007-11-20 2017-07-18 Panasonic Intellectual Property Management Co., Ltd. Server apparatus and method of operating a network
JP2009147900A (en) * 2007-11-20 2009-07-02 Panasonic Corp Server apparatus and distributed server system
US8645549B2 (en) 2007-11-20 2014-02-04 Panasonic Corporation Signal relay method and relay server performing a relay operation between a plurality of first terminals and a second terminal via a network
KR101272653B1 (en) 2011-12-19 2013-06-12 윤영제 System for controlling and monitoring household appliances
KR101391450B1 (en) 2012-01-05 2014-06-02 주식회사 스테이지원몰 Eyecam, Eyecam service system using tunnelling protocol and a method thereof
KR101303546B1 (en) * 2013-03-21 2013-09-03 엣파크코리아 유한회사 Smart image sharing system and method for controlling thereof
KR101454014B1 (en) * 2014-04-03 2014-10-30 서순이 Real time system and method for monitoring error of network camera and network video recorder
CN104867266A (en) * 2015-06-06 2015-08-26 王爱玲 Method for detecting fire condition of coal mine based on power line network
CN104867266B (en) * 2015-06-06 2016-06-15 国网山东省电力公司无棣县供电公司 A kind of colliery condition of a fire detection method of electrically-based gauze network
KR102029334B1 (en) * 2019-07-16 2019-11-08 (주)해양정보기술 GPS data management for increasing precision
CN112399235A (en) * 2019-08-18 2021-02-23 海信视像科技股份有限公司 Method for enhancing photographing effect of camera of smart television and display device
CN112399235B (en) * 2019-08-18 2023-05-09 海信视像科技股份有限公司 Camera shooting effect enhancement method and display device of intelligent television
CN111294618A (en) * 2020-03-12 2020-06-16 周光普 System and method for monitoring data security of broadcast television
CN115242857A (en) * 2022-07-14 2022-10-25 杭州萤石软件有限公司 Network camera access method, network video recorder, electronic equipment and storage medium
CN115242857B (en) * 2022-07-14 2024-05-24 杭州萤石软件有限公司 Network camera access method, network video recorder, electronic device and storage medium
CN116528042A (en) * 2023-06-29 2023-08-01 深圳市巨龙创视科技有限公司 Control method and system for remote camera
CN116528042B (en) * 2023-06-29 2023-10-27 深圳市巨龙创视科技有限公司 Control method and system for remote camera

Similar Documents

Publication Publication Date Title
KR101583658B1 (en) Door Monitoring System Using Door-Phone
US7450638B2 (en) Power-line communication based surveillance system
US8923919B2 (en) Method and system for interactive home monitoring
US20050280704A1 (en) Method of video monitoring, corresponding device, system and computer programs
JP2005045550A (en) Imaging device, its imaging system and method
JP2004040272A (en) Network camera, remote monitor / control system, and control method employing the same
KR100482537B1 (en) Apparatus and method for image monitoring and home automation based on the network
US8336066B2 (en) Communication apparatus and event processing method of the same
KR20080014191A (en) Method and system for monitoring using watch camera
KR100545901B1 (en) A wireless system for transmitting and receiving multimedia data free of charge and a method therefor
KR100647819B1 (en) System and method for monitoring home using the IP phone
JP2004173290A (en) Image data compression transmission system and image data compression apparatus
US6208378B1 (en) Video arrangement with remote activation of appliances and remote playback of locally captured video data
KR100757054B1 (en) Mobile server apparatus for mobile communication terminal, remote monitoring system using the same and remote monitoring method thereof
JP2002354133A (en) Communication system for multiple dwelling house
KR100377315B1 (en) Remote Supervising method through network and apparatus therefor
KR100637559B1 (en) Method for notify service of home network monitoring
JP3975909B2 (en) Imaging apparatus, recording apparatus, and reproducing apparatus
KR20000017817A (en) Realtime based Image Medium Transmitting System and Making Method thereof
JP2004289657A (en) Video intercom system
JP2003102076A (en) Supervisory system
KR100738556B1 (en) Home network system for control of video device
KR101178889B1 (en) A system for initialization of monitoring device equipped with wireless LAN communication capabilities and method thereof
JP2003023678A (en) Supervisory control system, and supervisory method
JP2001076273A (en) Home security system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040407

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040428