JP2001103458A - 通信装置及び通信装置の制御方法及び記憶媒体 - Google Patents
通信装置及び通信装置の制御方法及び記憶媒体Info
- Publication number
- JP2001103458A JP2001103458A JP2000192777A JP2000192777A JP2001103458A JP 2001103458 A JP2001103458 A JP 2001103458A JP 2000192777 A JP2000192777 A JP 2000192777A JP 2000192777 A JP2000192777 A JP 2000192777A JP 2001103458 A JP2001103458 A JP 2001103458A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- video
- control information
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
ことができなかった。 【解決手段】 上記課題を解決するために、ネットワー
クを介して接続された撮像装置(本実施例では、図1、
10に相当)において撮像された画像データを受信する
通信装置(同、60に相当)であって、前記撮像装置を
制御するための制御情報を記憶する記憶手段(同、12
5、126)前記記憶手段に記憶された制御情報に応じ
て前記撮像装置の状態を示すシンボルを、前記撮像装置
の設置位置を示す画像情報に合成した合成画像(同、図
4)を表示装置に出力する出力手段(同、136に相
当)とを有することを特徴とする。
Description
トワークを介して接続された遠隔地の通信装置から、画
像データ等を受信して表示する通信装置及び通信装置に
おける制御方法及び記憶媒体に関する。
オカメラ及びコンピュータを配置し、それらを通信回線
を介して接続することによってネットワーク化し、所望
する複数の地点間で映像の伝送や、映像及び音声による
対話を実現する映像伝送システムが提案されている。
点のコンピュータのユーザが、所望する地点のビデオカ
メラを遠隔操作することや、そのカメラが撮像した映像
を自分のコンピュータの画面上に表示することができ
る。
伝送システムにおいては、特に、操作対象となるビデオ
カメラの数が多くなる程、各ビデオカメラがどこに設置
されているかをユーザが容易に把握できることが必要で
ある。そこで、地図(マップ)を表示する画像上に各ビ
デオカメラの設置場所を示すカメラ・シンボルを重畳し
て表示する技術や、更にそのカメラ・シンボルの向きを
表示することにより、実際のカメラの向きを表現する技
術も提案されている。
セット(制御)情報として保持し、カメラに転送するこ
とによりカメラ制御を行う方法も提案されている。
において、ユーザはプリセット(制御)情報を使うこと
により所望の被写体に迅速かつ正確にカメラを制御する
ことができ、必要とする映像を取得することが可能であ
る。
は、プリセット(制御)情報は通し番号、若しくは表示
する物体や風景の名称(たとえば「受付」や「エレベー
タ前」)としてユーザーインターフェース上で管理され
ており、それぞれのプリセットの関係(通し番号1と通
し番号2の撮像方向変化)を直観的に知ることはできな
い問題があった。
も、ユーザーインターフェース上の通し番号や名称をマ
ウスやキーボードを使って選択することで行われてお
り、地図を主体として操作者がカメラ制御を行いたい場
合、マウスカーソルの移動などが多く操作が複雑であっ
た。
制御情報を適用した撮像装置の状態変化を、操作者が地
図上で容易に把握できるようにする。
撮像装置に適用する手段を設け、地図を主体に撮像装置
を操作できるようにする。
に本発明は、ネットワークを介して接続された撮像装置
において撮像された画像データを受信する通信装置であ
って、前記撮像装置を制御するための制御情報を記憶す
る記憶手段、(プリセットを記憶) 前記記憶手段に記憶された制御情報に応じて前記撮像装
置の状態を表すシンボルを、前記撮像装置の設置位置を
示す画像情報に合成した合成画像を表示装置に出力する
出力手段、(カメラアイコンの表示) 前記記憶手段に記憶された制御情報に対応するシンボル
を、前記画像情報に合成した合成画像を表示装置に出力
する出力手段、(プリセットシンボルの表示)を有する
ことを特徴とする。
を、前記画像情報に合成する際の合成位置を決定する手
段(プリセットシンボルの移動) 前記制御情報に対応するシンボルへの操作によって、前
記撮像装置を制御するための制御情報が、撮像装置に適
用される制御手段(プリセットシンボルのクリックでカ
メラ制御)とを有することを特徴とする。
る目的とする。
び図面から明らかになるであろう。
テムの実施形態を、図面を参照して詳細に説明する。
通信システムを含む通信システムの全体概要を示すブロ
ック図である。
像信号を発生する装置としてのビデオカメラである。2
0は、ビデオカメラ10からの画像信号を監視装置60
に送信したり、そのビデオカメラ10を制御する制御信
号を監視装置60から受信するワークステーション(W
S)やパーソナルコンピュータ等の映像送信装置であ
る。60は、映像送信装置20からの画像信号の受信
や、ビデオカメラ10を制御する制御信号を映像送信装
置20に送信するワークステーション(WS)やパーソ
ナルコンピュータ等の監視装置である。
は、ネットワーク100を介して相互に通信可能であ
り、好ましくは、映像送信装置20は、ビデオカメラ1
0からの画像信号をアナログ/デジタル(A/D)変換
し、得られたデジタル画像データを圧縮してネットワー
ク100を介して監視装置60に送信する。
ト、ズーム、焦点調節、絞り等の動作の制御を、映像送
信装置20からの制御信号(制御コード)に従って制御
するカメラ制御回路である。この制御信号は、映像送信
装置20の入出力インターフェース32から、例えばR
S−232CUSB.(ユニバーサルシリアルバス)、
IEEE.1394等の規格に基づいてカメラ制御回路
12に入力される。
動作を行わない場合はカメラ制御回路12は必ずしも必
要でないが、好ましくは、ビデオカメラ10の電源のオ
ン・オフの制御を行えるようにすると良い。
20の装置構成について説明する。24は主記憶、26
はハードディスク等の記憶装置である。28は、ポイン
ティングデバイスとしてのマウスであるが、マウスに限
らず、例えばディスプレイ35上のタッチパネル等の他
のデバイスであってもよい。30は入力手段としてのキ
ーボードである。25は、フロッピー(登録商標)ディ
スク、CD−ROM、MO等の記憶媒体の取外し可能な
外部記憶装置である。32は、カメラ制御回路12を接
続し、ビデオカメラ10の制御信号を送受信する入出力
(I/O)インターフェースである。34は、ビデオカ
メラ10のビデオ出力信号VDを取り込むビデオキャプ
チャーボードである。ビデオ出力信号は、一般なNTS
Cのようなアナログ信号であっても、デジタル信号であ
ってもよいが、アナログ信号の場合はA/D変換を行う
機能を有している必要がある。36は、キャプチャーボ
ード34がキャプチャーした映像をバス39を介して入
手し、ビットマップディスプレイ35の任意の位置に表
示するビデオボードである。38は、ネットワーク10
0を介して監視装置60との通信を行うネットワークイ
ンターフェースである。これらの各デバイスは、システ
ムバス39により相互に接続されており、CPU22
は、記憶媒体や記憶装置26に格納されているソフトウ
ェア、或はネットワーク100を介して入手したソフト
ウェアに従って、映像送信装置20全体及びビットマッ
プディスプレイ35の表示を制御する。
タ圧縮機能を有しない場合は、更にその機能を実現する
ソフトウェアを用意し、CPU22によってデータ圧縮
処理を行えば良い。
り、ビデオカメラ10により撮像した画像データを、ネ
ットワーク100を介して遠隔地の監視装置60に伝送
する。また、監視装置60から受信する制御コードに従
って、ビデオカメラ10を制御する。尚、映像送信装置
20、監視装置60は複数あり、いずれの監視装置60
からでも所望映像送信装置の映像を受信することができ
る。
置構成について説明する。監視装置60の構成において
映像送信装置20と同様なデバイスについての説明は省
略するが、ネットワークインターフェース138は、圧
縮された画像データを映像送信装置20から受信する。
そして、CPU122は、その受信したデータ(符号化
されたデータ)をビデオ圧縮デコーダ33により復調
し、その復調された画像データに基づいてビデオボード
136を制御することにより、ビットマップディスプレ
イ135にビデオカメラ10の撮像した画像やビデオカ
メラ10の状態を表示する。また、CPU122は、監
視装置60のユーザがキーボード130またはマウス1
28を用いて入力したデータに応じてビデオカメラ10
を制御する制御コードを映像送信装置20に送信する。
0及び監視装置60のソフトウェアについて説明する。
尚、以下に説明するソフトウェアは、図1を参照して説
明した映像送信装置20または監視装置60のハードウ
エアにて実行されることは言うまでもない。
送信装置20及び監視装置60の主なソフトウェアの構
成を説明する図である。
ウェアについて説明する。411は、映像送信装置20
に接続されたビデオカメラ10を遠隔制御するカメラ制
御クライアントソフトウェアである。412は、映像送
信装置20からパケットの形で送られてきた圧縮画像デ
ータを復調して表示する映像受信ソフトウェアである。
この映像受信ソフトウェア412は、ネットワーク10
0に接続された全ての映像送信装置20(ビデオカメラ
10)から受信する画像データの管理を行うソフトウェ
アであり、各々のカメラのカメラID、そのカメラが接
続されている映像送信装置20のホストID、パン/チ
ルト、ズーム等のカメラの動作状態や、制御可能である
か否か等のカメラに関する情報、そして、現在どのカメ
ラを制御中なのか、どのカメラの映像を表示中なのかと
いった現在の状態を表わす情報を当該監視装置60に保
有する機能を有する。尚、カメラ制御クライアントソフ
トウェア411及びマップ管理ソフトウェア413で
も、これらの情報は共有され、カメラシンボルの表示変
更等に利用される。413は、マップとカメラシンボル
及び後述する図6のスコープ表示により、ビデオカメラ
10の位置、パン及びズームの状態をグラフィカルに表
示し、且つビデオカメラ10の動作制御を行うGUI
(グラフィカルユーザインターフェース)機能を有する
マップ管理ソフトウェアである。監視装置60には、こ
れらのソフトウェアが記憶装置126に予めインストー
ルされる。
フトウェアについて説明する。421は、当該映像送信
装置20に接続されているビデオカメラ10のパン/チ
ルト、ズーム、ホワイトバランス422等の動作状態を
制御すると共に、当該ビデオカメラから出力される画像
データを当該映像送信装置20に取り込むためのカメラ
制御サーバソフトウェアである。422は、カメラ制御
サーバソフトウェアと連動して動作し、現在ビデオカメ
ラ10を制御中の監視装置60への映像の送信を行う映
像送信ソフトウェアである。映像送信装置20には、こ
れらのソフトウェアが記憶装置26に予めインストール
される。
ワーク100を介した双方向の通信や記憶装置26,1
26や外部記憶装置25,125等を制御するソフトウ
ェアを有することは言うまでもない。
形態におけるユーザインターフェース、即ち、ビットマ
ップディスプレイ135に表示される画面について説明
する。ここでは説明を簡略化するために映像送信装置2
0にネットワーク接続される監視装置60が一台の場合
を前提に説明する。
ての監視装置の表示例を示す図であり、監視装置60の
ビットマップディスプレイ135上に表示される画面の
一例である。図3において、500は、地図が表示され
るマップウインドウであり、本実施形態においてはオフ
ィスや店舗、倉庫のレイアウトを示す複数枚の地図52
0,530,540…の管理が行われる。各々の地図に
はタグが付けられており、このタグをマウス128でク
リックすることにより、当該タグのついた地図が最前列
に表示される(地図表示領域502)。その際、当該地
図には、カメラシンボルも表示される。
図520を地図表示領域502に表示させた様子を表し
たものであり、地図520上に配置されたアイコンとし
てのカメラシンボル521,522,523…が表示さ
れている。このとき、地図530のタグをクリックすれ
ば、図4が表示される。
は地図530が表示され、その地図530には、カメラ
シンボル531,532が表示される。
とき、そのカメラシンボルに対するプリセット情報が監
視装置60の記憶装置に記録されていれば、同時にプリ
セットシンボルが表示される。
31−2はカメラシンボル531のプリセットシンボル
である。本実施例ではプリセットシンボルは図11,1
101のように通し番号のついた円形のビットマップで
示されている。
な例でなくとも、プリセット情報と対応できればキャラ
クターなどの好みのもので問題はない。
あり、AOBで扇形を形作っている。
半径OAはカメラシンボル531の左制御可能端方向、
半径OBは右制御可能端方向を示している。
ト情報を設定するときに指定された任意の位置に合成表
示される。
「出入口」を示す画像の側に、531−2は「ステー
ジ」を示す画像の側に配置されている。
プリセット情報を撮像装置に適用すると、それぞれ出入
口付近の映像、ステージの映像が表示されるように設定
されている。
意なので、操作者の好みの位置に配置して使うことがで
きる。
オカメラからの映像を表示するウインドウの表示例を示
す図である。ビデオカメラ10の画像を表示するウイン
ドウ600には、同図に示すように、複数の映像表示領
域610〜620には、複数のビデオカメラ10がそれ
ぞれ撮像した画像が表示される。本実施形態においては
一例として6個の領域を示しているがこれに限られるも
のではない。また、図3や図4に示したウインドウと同
一画面に表示しても良い。632は、表示されている画
像を映像表示領域から削除するためのゴミ箱アイコンで
ある。
り、ビデオカメラ10の種々のカメラ制御用のボタン類
を具備し、選択されたカメラのパン・チルト、ズームの
制御、プリセット情報の記録、削除、カメラへの送信を
行うことが出来る。
デオカメラのプリセット情報に対して操作を行うための
プリセット情報ボタンである。それぞれのボタンが1つ
のプリセット情報とプリセットシンボルに対応してい
る。
て使うボタンで、644はプリセット情報の記憶、64
5はプリセット情報の削除を指示するためのボタンであ
る。
つのプリセット情報を記憶できるものとしているが、ボ
タンの数を増やすなどプリセット情報を特定する手段を
用意すればこれに限るものではない。又、タグをクリッ
クする毎に地図を変化させるとともに、クリックされた
地図に対応して、登録してあるプリセットを641〜6
43により指示可能とする構成にしてもよい。この構成
により、ボタンの数は変えることなく、コントロールす
るプリセットの数を増やすことができる。
るグラフィカルユーザインターフェースGUIについて
図6から図10参照して説明する。本実施形態において
は、地図520,530…上のカメラアイコンを映像表
示ウインドウ内にある任意の映像表示領域にドラッグ・
アンド・ドロップ操作(以下、D&Dと称する)する
と、ドラッグ・アンド・ドロップされたアイコンに対応
したビデオカメラからの動画像が、ドロップされた映像
表示領域に表示される。
D操作による表示を行ったときの様子を示す図であり、
ビデオカメラ523を映像表示領域614にD&Dした
時の様子である。また、図7は、本発明の一実施形態と
してのD&D操作中のビデオカメラのマウスカーソルを
示す図である。図8は、本発明の一実施形態としてのD
&D操作による表示領域を変化させたときの様子を示す
図である。図9は、本発明の一実施形態としての撮像し
た映像を表示中であることを示すアイコンを示す図であ
る。そして、図10は、本発明の一実施形態としてのD
&D操作による表示中止のための操作の様子を示す図で
ある。
ウスカーソルの形状が図7に示すカメラの形状になり、
ユーザはドラッグアンドドロップの動作中であることが
確認できる。このとき、マップ管理ソフトウェア413
がドラッグされたカメラの位置情報から、該カメラのI
D番号を検索し、映像受信ソフトウェア412に対して
D&DされたカメラのIDを通知し、映像受信ソフトウ
ェアはこのIDからカメラのパン/チルトやカメラ名、
カメラが接続されているホスト名を検索し、これらの情
報をカメラ制御クライアントソフトウェア411、マッ
プ管理ソフトウェア413に通知する。
1は、通知された情報を従って、当該ビデオカメラ10
の接続されている映像送信装置20のカメラ制御サーバ
ソフトウェア421とネットワーク100を介して通信
による接続を行う。以後、監視装置60のカメラ制御ク
ライアントソフトウェア411と、映像送信装置20の
カメラ制御サーバソフトウェア421との間でその映像
送信装置20に接続されているビデオカメラ10の動作
制御が行われるが、当該カメラのパン/チルト等の情報
は、カメラ制御クライアントソフトウェア411から映
像受信ソフトウェア412に所定時間毎に通知される。
ラの情報(パン/チルト、撮像中であるか等)をマップ
管理ソフトウェア413に所定時間毎に通知する。マッ
プ管理ソフトウェア431はこの情報を元に、地図上の
当該カメラに対応するカメラアイコンの表示状態(パン
/チルト)を変更したり、プリセットシンボルの表示、
非表示を行う。
1はまた、プリセット情報の管理をも行う。
ルの位置の記憶、プリセット情報のカメラへの送信、削
除について図12〜15を使って説明する。
うことができる。
て記憶させたいパン、チルト、ズーム値になるように操
作した後(S1202)、プリセット情報記憶ボタン6
44をマウスクリックする。(S1204)次にプリセ
ットシンボルを表示させたい地図上の位置をマウスクリ
ックして指定する。(S1205)、最後に641〜6
43の任意のプリセット情報ボタンをマウスクリックす
る。(S1206)以上で、プリセット情報ボタンに関
連付けられてプリセット情報およびプリセットシンボル
の位置が記憶される。(S1208)
1はプリセット情報が記憶されると、マップ管理ソフト
ウェア413へ通知を行う。マップ管理ソフトウェアは
この指示に基づき、地図上に当該プリセット情報ボタン
に対応するプリセットシンボルを記憶させた地図上の位
置に合成表示する。
うにして行うことができる。
撮像装置に対応するカメラアイコンが、マウスクリック
により選択されている状態で、プリセットボタン641
〜643をマウスクリックすると(S1302)、対応
して記憶されているプリセット情報が、カメラ制御クラ
イアントソフト411からカメラ制御サーバ421に伝
えられる。(S1304)
〜643ではなく、直接プリセットシンボルをマウスク
リックすることでも同じ効果が得られる。以下にこの場
合の処理シーケンスを図15により説明する。
2)、マップ管理ソフトウェア413はクリックされた
位置にプリセットシンボルがないか調べ(S150
4)、もしあった場合、そのプリセットシンボルと関連
している撮像装置が撮像中であるかを調べる。(S15
06)撮像中であった場合、そのプリセットシンボルに
対応するプリセット情報を送信するように、カメラ制御
クライアントソフトウェアに伝える。そしてカメラ制御
クライアントソフトウェア412はカメラ制御サーバソ
フトウェアプリセット情報を伝える。(S1508)
の番号は、カメラ操作パネルのプリセット情報ボタンの
通し番号と一致するようにしている。
削除ボタン645をマウスクリックして(S140
2)、プリセット情報を削除したいプリセット情報ボタ
ンをマウスクリックすることで(S1404)、クリッ
クしたプリセット情報ボタンに関連付けられているプリ
セット情報を削除することができる。(S1406)
1はプリセット情報が削除されると、マップ管理ソフト
ウェア413へ通知を行う。マップ管理ソフトウェアは
この指示に基づき地図上から削除したプリセット情報に
対応するプリセットシンボルを削除する。
デオカメラ10による撮像可能な全エリア(図4、OA
〜OB)の撮像画像をビットマップディスプレー135
に表示させ、操作者はこの映像を見ながら、マウス12
8を用いてプリセット情報を設定する。
作者が所望の位置を指示することで、該位置の情報が、
ネットワーク100、映像送信装置を介してビデオカメ
ラ10に伝送される。
パンチルトを行い、指示した位置を含む映像を撮像し
て、監視装置60に返送する。
プディスプレー135を確認しながら、図5のビデオカ
メラ制御用のパネルからカメラの向き(パン、チル
ト)、ズームを指示する。この指示に応じて変化する撮
像された画像を確認して、操作者が所望の状態にビデオ
カメラがなっている時に、前述したプリセット情報記憶
ボタンをマウスで操作者が指示することによりプリセッ
ト情報(その時のパン、チルト、ズーム、絞り値)が設
定される。
の任意の位置に表示させることで、操作者はプリセット
された撮像対象の位置関係を直観的に把握できる。
クすることで、対応するプリセット情報に基づいて撮像
装置を制御できるため、地図だけを使って容易に撮像装
置の制御を行うことが可能となるばかりでなく、より速
く被写体方向に撮像装置を向けることが可能になる。
に対応して操作者はキーボード130から名前をつける
ことが出来る。この名前は、監視装置60の記憶装置1
26もしくは、外部記憶125にプリセット情報と対応
して記憶される。
リセットシンボル上にマウス128の指示画像(矢印)
が移動した場合に表示される。また、図4の531上に
マウス128の指示画像(矢印)が移動した時、531
のビデオカメラに対して設定済みのプリセット表示ボタ
ンを表示するようにしてもよい。またマップが複雑でな
い場合には、この名前を常に表示してもよい。尚、上述
した処理も、図12、1206の後カメラ制御クライア
ントソフトウエア411の制御下で行われる。このよう
にプリセット位置に対応して名前をつけることにより、
後日操作者がどういう意図でプリセットを設定したか理
解できる。
操作者は、プリセットされた撮像対象の位置関係が把握
できる。
ボード136内に格納されているマップの更新を行うこ
とにより、実際のビデオカメラ10の向きに対応するよ
うに、カメラアイコンの向きを変更したり、図9のよう
に当該ビデオカメラ10が撮像した画像を表示中である
ことを示すスコープ910を描画したり、スコープ91
0の中に、そのカメラのパン/チルト、ズームを制御す
るためのコントロールポインタ920や、プリセットシ
ンボル−例えば531−1、531−2など−を描画す
る。
カメラのパン/チルト等の情報を、映像受信ソフトウェ
ア413から所定時間毎に通知されており、カメラ制御
パネル640でカメラのパン/チルト、ズーム等の状態
やプリセット情報の有無が変更されると、その変更はカ
メラアイコン521,522,523…531,53
2,533…、プリセットシンボル、例えば531−
1,531−2…などの表示状態に反映される。
の送信は、監視装置60の映像受信ソフトウェア412
からの要求によって行われる。映像受信ソフトウェア4
12は、当該カメラ10の接続されている映像送信装置
20の映像送信ソフトウェア422にネットワーク10
0を介して、1フレーム分のデータを送信を要求するた
めのコマンドを送信する。映像送信ソフトウェア422
は、この要求コマンドを受け、キャプチャされた最新の
フレームデータをパケットに分割して、映像受信ソフト
ウェア412に送信する。映像受信ソフトウェア412
は、パケットから画像のフレームを再構築し、当該映像
表示領域に表示し、再び映像送信要求コマンドを送信す
る。この繰返しを高速に行うことによって遠隔地の映像
をネットワーク100を介して伝送及び表示を行う。こ
れにより、遠隔地に設置されたビデオカメラ10による
撮像画像を、監視装置60のビットマップディスプレイ
135上に表示させる。
表示する場合は、各々のビデオカメラが接続されている
映像送信装置20の映像送信ソフトウェアに対して、映
像送信要求コマンドの発行、キャプチャした映像を圧
縮、パケット分割、ネットワーク送信、パケット受信、
フレーム再構築、圧縮解凍、表示のプロセスを、順番に
繰返し行うことで実現される。
8に示すように表示されている映像を、移動したい映像
表示領域にD&D操作をすることで実現できる。図8に
は、映像表示領域614に表示されていたビデオカメラ
523の映像を、612に移動した時の様子を示してい
る。このとき、映像受信ソフトウェア412は、当該映
像表示領域をクリアし、D&Dの操作先を当該ビデオカ
メラ10の映像を表示する領域として内部パラメータの
変更を行う。以後、D&Dの操作先に当該ビデオカメラ
10の映像の表示が行われるようになる。尚、この操作
によって、論理的なネットワーク接続は切断されること
はない。即ち、一旦接続された通信ネットワークは、後
述するように、画像が表示されている映像表示領域を、
ごみ箱アイコン632にD&D操作するまでは切断され
ることはない。
は、図10に示すように表示中止したいビデオカメラ1
0の映像が表示されている映像表示領域を、映像表示ウ
インドウ内にあるごみ箱アイコン632にD&D操作を
することで、当該映像の表示を中止することができる。
図10は、映像表示領域614に表示されていたビデオ
カメラ523の映像を表示中止を行った後の様子であ
る。このとき、映像受信ソフトウエア412は、当該映
像表示領域をクリアし、それまで接続されていた映像送
信装置20の映像送信ソフトウェア412への映像送信
要求コマンドの発行を中止する。また、映像受信ソフト
ウェア412は、カメラ制御クライアントソフトウェア
411やマップ管理ソフトウェア413に表示を中止し
た旨を通知する。
示中止の通知を受け、当該映像送信装置20とのネット
ワーク接続を切断し、当該映像表示領域をクリアする。
またマップ管理ソフトウェア413は、当該カメラのカ
メラアイコン523からスコープ表示を除去し、マップ
を更新する。
器(例えばホストコンピュータ,インタフェイス機器,
リーダ,プリンタ等)から構成されるシステムに適用し
ても、一つの機器からなる装置(例えば、複写機,ファ
クシミリ装置等)に適用してもよい。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROM等
を用いることができる。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)等が実際の処理の一部または全部
を行い、その処理によって前述した実施形態の機能が実
現される場合も含まれることは言うまでもない。
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
CPU等が実際の処理の一部または全部を行い、その処
理によって前述した実施形態の機能が実現される場合も
含まれることは言うまでもない。
応じた撮像装置の向き等の状態を容易に把握可能とな
る。また、複数の制御情報の関係を容易に把握可能に出
来る。
る画像データを前記表示装置に表示させ、指示装置によ
り指示された際の前記撮像装置の状態を前記記憶手段は
前記制御情報として記憶することにより、撮像装置でど
のように撮像されるかを確認したうえで、制御情報の記
憶が可能となる。
かを容易に推測可能とするとともに、視覚的に混乱しな
い状態で提供できる。更に制御情報は容易に削除可能に
なる。
がそれほど正確でない場合、カメラシンボルの向きに被
写体が存在しないことがある。本発明ではプリセットシ
ンボルを地図上の任意の位置に配置可能であるため、地
図を正確に作り直さなくともプリセットシンボルと被写
体画像の位置合わせを行うことができる。
操作手段を設けることで、冗長性がなく直観的に容易に
撮像装置を制御することが可能になる。
を含む通信システムの全体概要を示すブロック図であ
る。
及び監視装置60の主なソフトウェアの構成を説明する
図である。
を示す図である。
を示す図である。
の映像を表示するウインドウの表示例を示す図である。
表示を行ったときの様子を示す図である。
デオカメラのマウスカーソルを示す図である。
表示領域を変化させたときの様子を示す図である。
示中であることを示すカメラアイコンを示す図である。
る表示中止のための操作の様子を示す図である。
のビットマップを示す図である。
おいて、プリセット情報を記憶させるときのユーザの操
作を示すフローチャートである。
おいて、プリセット情報をカメラに送信するときのユー
ザの操作を示すフローチャートである。
おいて、プリセット情報を削除させるときのユーザの操
作を示すフローチャートである。
おいて、プリセット情報をカメラへ送信するときのユー
ザの操作を示すフローチャートである。
Claims (16)
- 【請求項1】 ネットワークを介して接続された撮像装
置において撮像された画像データを受信する通信装置で
あって、 前記撮像装置を制御するための制御情報を記憶する記憶
手段前記記憶手段に記憶された制御情報に応じて前記撮
像装置の状態を示すシンボルを、前記撮像装置の設置位
置を示す画像情報に合成した合成画像を表示装置に出力
する出力手段とを有することを特徴とする通信装置。 - 【請求項2】 前記制御情報は複数あり、前記画像情報
には該複数の制御情報に応じた撮像装置の状態を示す複
数のシンボルが合成されることを特徴とする請求項1記
載の通信装置。 - 【請求項3】 前記画像情報には、前記撮像装置に応じ
たシンボルが表示され、該撮像装置に応じたシンボルを
指示装置により指示することにより前記撮像装置を制御
するための制御信号が出力されることを特徴とする請求
項1記載の通信装置。 - 【請求項4】 前記シンボルに応じた情報を指示装置に
より指示することにより、前記記憶手段に記憶された制
御情報を前記撮像装置に送信することを特徴とする請求
項1記載の通信装置。 - 【請求項5】 前記撮像装置を制御することにより変化
する画像データを前記表示装置に表示させ、指示装置に
より指示された際の前記撮像装置の状態を前記記憶手段
は前記制御情報として記憶することを特徴とする請求項
1記載の通信装置。 - 【請求項6】 前記制御情報は、前記撮像装置のパン、
チルト、ズーム、絞りの少なくとも1つを含むことを特
徴とする請求項1記載の通信装置。 - 【請求項7】 前記記憶手段は、前記制御情報に応じた
名前を記憶していることを特徴とする請求項1記載の通
信装置。 - 【請求項8】 前記出力手段は、前記名前も表示装置に
出力することを特徴とする請求項7記載の通信装置。 - 【請求項9】 前記名前は、前記シンボル上に指示装置
の指示画像が移動することに応じて出力することを特徴
とする請求項8項記載の通信装置。 - 【請求項10】 前記制御情報は指示装置からの削除指
示に応じて削除されることを特徴とする請求項1記載の
通信装置。 - 【請求項11】 前記撮像装置は複数あり、該複数の撮
像装置それぞれに対して、前記制御情報は指示できるこ
とを特徴とする請求項5項記載の通信装置。 - 【請求項12】 前記撮像装置の状態とは、前記撮像装
置の向きであることを特徴とする請求項1、2、5記載
の通信装置。 - 【請求項13】 前記シンボルを前記画像情報に合成す
る際、その合成位置を任意に指定できることを特徴とす
る請求項1の通信装置。 - 【請求項14】 前記記憶手段は、前記制御情報に応じ
た合成位置を記憶していることを特徴とする請求項1の
通信装置。 - 【請求項15】 ネットワークを介して接続された撮像
装置において撮像された画像データを受信する通信装置
における制御方法であって、 前記撮像装置を制御するための制御情報を記憶し、 前記記憶された制御情報に応じて前記撮像装置が撮像す
る状態を示すシンボルを、前記撮像装置の設置位置を示
す画像情報に合成した合成画像を表示装置に出力するこ
とを有することを特徴とする通信装置における制御方
法。 - 【請求項16】 ネットワークを介して接続された撮像
装置において撮像された画像データを受信する通信装置
におけるを制御するコードが格納された記憶媒体であっ
て、 前記撮像装置を制御するための制御情報を記憶するコー
ドと、 前記記憶された制御情報に応じて前記撮像装置が撮像す
る状態を示すシンボルを、前記撮像装置の設置位置を示
す画像情報に合成した合成画像を表示装置に出力するコ
ードとを有することを特徴とする記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000192777A JP4763881B2 (ja) | 1999-07-23 | 2000-06-27 | 通信装置及び通信装置の制御方法及び記憶媒体 |
US09/619,876 US6983419B1 (en) | 1999-07-23 | 2000-07-20 | Communication apparatus, its control method, and storage medium |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20901399 | 1999-07-23 | ||
JP1999209013 | 1999-07-23 | ||
JP11-209013 | 1999-07-23 | ||
JP2000192777A JP4763881B2 (ja) | 1999-07-23 | 2000-06-27 | 通信装置及び通信装置の制御方法及び記憶媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001103458A true JP2001103458A (ja) | 2001-04-13 |
JP2001103458A5 JP2001103458A5 (ja) | 2007-08-02 |
JP4763881B2 JP4763881B2 (ja) | 2011-08-31 |
Family
ID=26517177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000192777A Expired - Fee Related JP4763881B2 (ja) | 1999-07-23 | 2000-06-27 | 通信装置及び通信装置の制御方法及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6983419B1 (ja) |
JP (1) | JP4763881B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9084435B2 (en) | 2008-03-31 | 2015-07-21 | Kohjin Co., Ltd. | Yeast mutant and yeast extract |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1307867B1 (en) * | 2000-07-26 | 2010-06-23 | Smiths Detection Inc. | Methods and systems for networked camera control |
JP4976654B2 (ja) * | 2005-01-31 | 2012-07-18 | キヤノン株式会社 | 通信装置及びコンピュータプログラム |
JP4677352B2 (ja) * | 2006-02-17 | 2011-04-27 | キヤノン株式会社 | 記録再生装置及び記録再生方法 |
US7777783B1 (en) | 2007-03-23 | 2010-08-17 | Proximex Corporation | Multi-video navigation |
CN101778264B (zh) * | 2010-02-11 | 2012-12-26 | 北京众和汇智科技有限公司 | 视频监控方法和*** |
JP2012050012A (ja) * | 2010-08-30 | 2012-03-08 | Canon Inc | 画像撮影システム、画像撮影システムの制御方法、撮影装置、撮影装置の制御方法、およびプログラム |
US20130021433A1 (en) * | 2011-07-21 | 2013-01-24 | Robert Bosch Gmbh | Overview configuration and control method for ptz cameras |
JP2013051519A (ja) | 2011-08-30 | 2013-03-14 | Sony Corp | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
US20140223348A1 (en) * | 2013-01-10 | 2014-08-07 | Tyco Safety Products Canada, Ltd. | Security system and method with information display in flip window |
US11113887B2 (en) * | 2018-01-08 | 2021-09-07 | Verizon Patent And Licensing Inc | Generating three-dimensional content from two-dimensional images |
CN113938632B (zh) * | 2021-12-08 | 2023-09-22 | 深圳小湃科技有限公司 | 网络视频录像机级联方法、录像机及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08279951A (ja) * | 1995-04-07 | 1996-10-22 | Canon Inc | カメラ制御装置 |
JPH10154053A (ja) * | 1996-09-30 | 1998-06-09 | Sony Corp | 3次元仮想現実空間表示処理装置、3次元仮想現実空間表示処理方法、および情報提供媒体 |
JPH10178581A (ja) * | 1996-12-19 | 1998-06-30 | Canon Inc | カメラ制御装置及び方法及び記憶媒体 |
JPH10341428A (ja) * | 1997-06-10 | 1998-12-22 | Canon Inc | カメラ制御システムおよびその制御方法およびその制御を実行するプログラムを記憶した記憶媒体 |
JPH1125378A (ja) * | 1997-06-27 | 1999-01-29 | Hochiki Corp | 防災表示装置 |
JPH11191858A (ja) * | 1997-12-25 | 1999-07-13 | Canon Inc | カメラ制御システムおよびカメラサーバとその制御方法、記憶媒体 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4745479A (en) * | 1985-10-04 | 1988-05-17 | American Dynamics Corporation | Multiple image video display system |
US4970666A (en) * | 1988-03-30 | 1990-11-13 | Land Development Laboratory, Inc. | Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment |
CA2057961C (en) * | 1991-05-06 | 2000-06-13 | Robert Paff | Graphical workstation for integrated security system |
GB2267625B (en) * | 1992-05-20 | 1996-08-21 | Northern Telecom Ltd | Video services |
US5625410A (en) * | 1993-04-21 | 1997-04-29 | Kinywa Washino | Video monitoring and conferencing system |
DE69411849T2 (de) * | 1993-10-20 | 1999-03-04 | Philips Electronics N.V., Eindhoven | Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens |
US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
US5657096A (en) * | 1995-05-03 | 1997-08-12 | Lukacs; Michael Edward | Real time video conferencing system and method with multilayer keying of multiple video images |
US5706457A (en) * | 1995-06-07 | 1998-01-06 | Hughes Electronics | Image display and archiving system and method |
JP3787404B2 (ja) * | 1997-02-24 | 2006-06-21 | キヤノン株式会社 | カメラ制御システム及びその制御方法 |
US6069655A (en) * | 1997-08-01 | 2000-05-30 | Wells Fargo Alarm Services, Inc. | Advanced video security system |
US6229522B1 (en) * | 1998-03-04 | 2001-05-08 | Don G. Reid | Apparatus and method for producing a representation of a rasterized image and detecting a rasterized image |
US6452612B1 (en) * | 1998-12-18 | 2002-09-17 | Parkervision, Inc. | Real time video production system and method |
US6317141B1 (en) * | 1998-12-31 | 2001-11-13 | Flashpoint Technology, Inc. | Method and apparatus for editing heterogeneous media objects in a digital imaging device |
-
2000
- 2000-06-27 JP JP2000192777A patent/JP4763881B2/ja not_active Expired - Fee Related
- 2000-07-20 US US09/619,876 patent/US6983419B1/en not_active Expired - Lifetime
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08279951A (ja) * | 1995-04-07 | 1996-10-22 | Canon Inc | カメラ制御装置 |
JPH10154053A (ja) * | 1996-09-30 | 1998-06-09 | Sony Corp | 3次元仮想現実空間表示処理装置、3次元仮想現実空間表示処理方法、および情報提供媒体 |
JPH10178581A (ja) * | 1996-12-19 | 1998-06-30 | Canon Inc | カメラ制御装置及び方法及び記憶媒体 |
JPH10341428A (ja) * | 1997-06-10 | 1998-12-22 | Canon Inc | カメラ制御システムおよびその制御方法およびその制御を実行するプログラムを記憶した記憶媒体 |
JPH1125378A (ja) * | 1997-06-27 | 1999-01-29 | Hochiki Corp | 防災表示装置 |
JPH11191858A (ja) * | 1997-12-25 | 1999-07-13 | Canon Inc | カメラ制御システムおよびカメラサーバとその制御方法、記憶媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9084435B2 (en) | 2008-03-31 | 2015-07-21 | Kohjin Co., Ltd. | Yeast mutant and yeast extract |
Also Published As
Publication number | Publication date |
---|---|
JP4763881B2 (ja) | 2011-08-31 |
US6983419B1 (en) | 2006-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3667032B2 (ja) | カメラ制御システムおよびその制御方法およびその制御を実行するプログラムを記憶した記憶媒体 | |
US6542191B1 (en) | Image display apparatus, camera control apparatus and method | |
JP3774539B2 (ja) | 通信装置システム及び通信装置システム制御方法 | |
US6266082B1 (en) | Communication apparatus image processing apparatus communication method and image processing method | |
US7222356B1 (en) | Communication apparatus, storage medium, camera and processing method | |
JP3679487B2 (ja) | 通信装置及び通信方法 | |
US6973200B1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP3787404B2 (ja) | カメラ制御システム及びその制御方法 | |
US6208376B1 (en) | Communication system and method and storage medium for storing programs in communication system | |
JP3809309B2 (ja) | カメラ制御システム及びカメラ制御方法及び記憶媒体 | |
JP2000101994A (ja) | 通信装置及び通信方法及び記憶媒体 | |
JP4763881B2 (ja) | 通信装置及び通信装置の制御方法及び記憶媒体 | |
JP3450619B2 (ja) | 通信装置、画像処理装置、通信方法及び画像処理方法 | |
JP4533315B2 (ja) | 背景画像を設定する情報処理装置、情報表示方法、およびプログラム | |
JPH0918849A (ja) | 撮影装置 | |
JP2001136515A (ja) | 撮像装置、画像通信システム、撮像方法、画像通信方法及び記憶媒体 | |
JP2003259340A (ja) | 映像通信システム、映像通信方法、映像通信プログラム、画面情報生成方法及び画面情報生成プログラム | |
JPH1188869A (ja) | 映像通信システム及び情報表示装置 | |
JP2000050243A (ja) | カメラ制御システムおよびその制御方法およびその処理を実行させるプログラムを記憶した記憶媒体および映像受信端末 | |
JP4124868B2 (ja) | 映像送信端末、映像送信端末の通信方法、及び記憶媒体 | |
JP2001045467A (ja) | 画像処理装置及び画像処理方法及び記憶媒体 | |
JP2003244690A (ja) | 映像処理装置、映像処理システム、映像処理方法、プログラム及び記憶媒体 | |
JPH09233463A (ja) | カメラ制御システム及び方法並びに記憶媒体 | |
JP5264274B2 (ja) | 通信装置、カメラシステム、制御方法およびプログラム | |
JPH1185445A (ja) | 画像表示装置及び画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070619 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070619 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100430 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4763881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |