JP4341405B2 - カメラサーバ及び画像配信方法 - Google Patents
カメラサーバ及び画像配信方法 Download PDFInfo
- Publication number
- JP4341405B2 JP4341405B2 JP2003572304A JP2003572304A JP4341405B2 JP 4341405 B2 JP4341405 B2 JP 4341405B2 JP 2003572304 A JP2003572304 A JP 2003572304A JP 2003572304 A JP2003572304 A JP 2003572304A JP 4341405 B2 JP4341405 B2 JP 4341405B2
- Authority
- JP
- Japan
- Prior art keywords
- client
- time
- image data
- image
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000002716 delivery method Methods 0.000 title claims 3
- 230000005540 biological transmission Effects 0.000 claims description 100
- 238000012545 processing Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 31
- 238000007906 compression Methods 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000006835 compression Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 238000003672 processing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/303—Terminal profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/62—Establishing a time schedule for servicing the requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/14—Multichannel or multilink protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/24—Negotiation of communication capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/329—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【発明の属する技術分野】
本発明は、インターネット等のネットワークを介してクライアントに向けて画像データを配信するためのカメラサーバ及び画像配信処理方法に関する。
【0002】
本出願は、日本国において2002年2月28日に出願された日本特許出願番号2002−054509を基礎として優先権を主張するものであり、この出願は参照することにより、本出願に援用される。
【0003】
【従来の技術】
近年、インターネット等のネットワークを介してクライアントに向けて画像データを配信する画像配信システムが普及し始めている。この種の画像配信システムは、予め蓄積された画像ファイルから画像データを読み出しながら伝送するビデオオンデマンド型のシステムと、ビデオカメラなどからの画像をその場で圧縮符号化して伝送するリアルタイム放送型のシステムに分けられる。
【0004】
リアルタイム放送型の画像配信システムは、画像を入力するビデオカメラ、ビデオカメラから与えられた画像をインターネット等のネットワークを介して配信する画像サーバ、画像サーバから配信された画像を受信する複数の受信クライアントからなるクライアント・サーバシステムとして構成される。ネットワークへの接続機能を備えるネットワークカメラをカメラサーバとして用いて、インターネット等のネットワークに接続される複数の受信クライアントにカメラサーバから画像を配信することもできる。
【0005】
ところで、インターネットなどを介してサービスを受けるユーザは、それぞれの接続環境などの違いにより、許容される通信帯域などが異なっている。
【0006】
従来は、カメラサーバの送信性能、通信回線の帯域、クライアントの画像描画性能の中で、一番条件の悪い物が、ボトルネックとなり、動画像データのフレームレートが決定していたので、以下のような問題点があった。
必要以上に通信回線の帯域を使用する場合がある。
【0007】
複数のクライアントに対して、送信される画像データ量が同じにできず、公平なサービスができない。
【0008】
クライアントマシンの性能によっては、画像描画の負荷が大きくなって、同時に他の処理を行うことができない場合がある。
【0009】
【発明が解決しようとする課題】
そこで、本発明の目的は、インターネット等のネットワークを介してクライアントに向けて画像データを配信するに当たり、各クライアントに対して、公平なサービスを行うことが可能なカメラサーバ及び画像配信処理方法を提供することにある。
【0010】
本発明の他の目的は、各クライアントが所属するネットワークに適した帯域で、データ転送を行うことが可能なカメラサーバ及び画像配信処理方法を提供することにある。
【0011】
また、本発明の他の目的は、各クライアントマシンのCPU負荷を制御できるようにしたカメラサーバ及び画像配信処理方法を提供することにある。
【0012】
さらに、フレームレートを低く設定した場合でも、自然な感じで動画像を表示することができるカメラサーバ及び画像配信処理方法を提供することにある。
【0013】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。
【0014】
【課題を解決するための手段】
本発明は、上述の実情に鑑みて提案されるものであって、ネットワークに接続されたクライアントへ、画像データを配信するカメラサーバであって、撮像手段と、上記撮像手段により得られた画像データを圧縮画像データに変換する圧縮処理手段と、上記ネットワークを介して各クライアントと通信するためのネットワークインタフェース手段と、上記ネットワークインタフェース手段を介して受信されるクライアントからの画像データの送信要求に付加された各クライアントに対応した画像送信情報が、上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録される記憶手段と、上記記憶手段に登録されているクライアント情報及び上記画像送信情報の送信間隔でクライアントに対して上記圧縮処理手段により得られる圧縮画像データを上記ネットワークインタフェース手段を介して配信する制御を行う制御手段とを備え、上記制御手段は、同じクライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されているクライアントによって設定されたインターバル設定時間と上記経過時間とを比較し、上記インターバル設定時間を経過時間が越えると最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットし、1カウントアップした送信枚数と上記クライアントによって要求された設定枚数を比較する処理を上記送信枚数が上記設定枚数を超えるまで繰り返し行うことを特徴とする。
【0015】
また、本発明は、ネットワークに接続されたクライアントへ、画像データを配信する画像配信方法において、撮像手段により得られた画像データを圧縮画像データに圧縮処理し、クライアントからの画像データの送信要求に付加された各クライアントに対応した画像送信情報と、上記画像データの送信要求のあったクライアントを示すクライアント情報とを登録し、同じクライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されているクライアントによって設定されたインターバル設定時間と上記経過時間とを比較し、上記インターバル設定時間を経過時間が越えると最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットし、1カウントアップした送信枚数と上記クライアントによって要求された設定枚数を比較する処理を上記送信枚数が上記設定枚数を超えるまで繰り返し行い、上記登録されたクライアント情報及び上記画像送信情報の送信間隔でクライアントに対して上記圧縮処理された圧縮画像データを配信することを特徴とする。
【0016】
また、本発明は、ネットワークに接続された複数台のクライアントへ、画像データをリアルタイムで配信するカメラサーバであって、撮像手段と、上記撮像手段により得られた画像データを圧縮画像データに変換する圧縮処理手段と、上記ネットワークを介して各クライアントと通信するためのネットワークインタフェース手段と、上記ネットワークインタフェース手段を介して受信される各クライアントからの画像データの送信要求に付加された各クライアントに対応したフレームレート情報が、上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録される記憶手段と、上記クライアント情報及びフレームレート情報を上記記憶手段に登録する制御を行うととともに、上記記憶手段に登録されているクライアント情報及びフレームレート情報に基づいて、要求されたフレームレートで各クライアントに対して上記圧縮処理手段により得られる圧縮画像データを上記ネットワークインタフェース手段を介して配信する制御を行う制御手段とを備え、上記制御手段は、上記記憶手段に登録されている各クライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されている各フレームレート情報に基づいて計算されるフレーム間の時間と上記経過時間を比較し、上記フレーム間の時間を経過時間が越えたクライアントに対して最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットする処理を繰り返すことで、上記各クライアントからの要求フレームレートで最新画像の圧縮画像データを上記ネットワークインタフェース手段を介して配信することを特徴とする。
【0017】
さらに、本発明は、ネットワークに接続されたクライアントへ、撮像手段により得られた画像データを圧縮画像データに変換してカメラサーバから配信する画像配信方法であって、カメラサーバ側でネットワークインタフェースを介して受信される各クライアントからの画像データの送信要求に付加された各クライアントに対応したフレームレート情報を上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録し、上記登録されている各クライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記登録されている各フレームレート情報に基づいて計算されるフレーム間の時間と上記経過時間を比較し、上記フレーム間の時間を経過時間が越えたクライアントに対して最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットする処理を繰り返すことで、上記各クライアントからの要求フレームレートで最新画像の圧縮画像データを上記ネットワークインタフェースを介して配信することを特徴とする。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【0019】
本発明は、例えば図1に示すような構成のクライアント・サーバシステム7に適用される。
【0020】
このクライアント・サーバシステム7は、例えば監視システムやアトラクション用途のサーバシステムであって、インターネットやローカルネットワークなどのネットワーク2にカメラサーバ1と複数台の例えばPCクライアントA、B、C、Dが接続され、インターネットやローカルネットワークなどのネットワーク2に接続されたカメラサーバ1の撮像出力を、上記ネットワーク2を介して複数台のPCクライアントA、B、C、Dにリアルタイムで配信する。
【0021】
上記カメラサーバ1は、図2に示すように、撮像用のカメラブロック10、カメラブロック10による撮像出力が供給される信号処理部20、外部のネットワークに接続して通信を行うための通信インタフェース部30、これらを制御するためのシステム制御部40などからなる。
【0022】
カメラブロック10は、インタライン型CCDイメージセンサ11、このインタライン型CCDイメージセンサ11を動作させるためのタイミングジェネレータ12、上記インタライン型CCDイメージセンサ11による撮像出力が供給されるフロントエンド部13、このフロントエンド部13の出力が供給されるデジタル信号処理部14、このデジタル信号処理部14の動作を制御したり、上記デジタル信号処理部14からの情報をもとにホワイトバランス、フォーカス等のカメラ制御を行うためのカメラ制御用CPU15等により構成されている。
【0023】
このカメラブロック10において、上記インタライン型CCDイメージセンサ11は、フィールド周期で光電変換を行い、インタレース出力すなわち1フレームを構成する奇数フィールドの撮像出力と偶数フィールドの撮像出力を交互に出力するもので、各フィールドの撮像出力としてアナログ撮像信号を順次出力する。 また、上記フロントエンド部13は、上記インタライン型CCDイメージセンサ11からのアナログ撮像信号をサンプルホールドし、アナログ/デジタル変換を行うA/D変換器等で構成される。そして、上記デジタル信号処理部14は、上記フロントエンド部13からのデジタル撮像信号にデジタル信号処理を施し、インタレースYUV(4:1:1)デジタル画像信号を出力する。
【0024】
信号処理部20は、上記カメラブロック10のデジタル信号処理部14からインタレースYUV(4:1:1)デジタル画像信号が供給されるフォーマット変換部17、このフォーマット変換部17の出力が供給されるライトFIFOメモリ18、このライトFIFOメモリ18の出力が供給されるフレームメモリライトコントローラ19、このフレームメモリライトコントローラ19の出力が供給されるフレームメモリインタフェース部21、このフレームメモリインタフェース部21に接続されたフレームメモリ31、上記フレームメモリインタフェース部21の出力が供給されるフレーム画像用フレームメモリリードコントローラ22及びフィールド画像用フレームメモリリードコントローラ23、上記フレーム画像用フレームメモリリードコントローラ22又はフィールド画像用フレームメモリリードコントローラ23の出力が画像選択器24を介して選択的に供給されるリードFIFOメモリ25、このリードFIFOメモリ25の出力が供給されるJPEG・I/F部26、このJPEG・I/F部26に接続されたJPEG圧縮処理部27及びラインバッファメモリ32、上記JPEG圧縮処理部27の出力が供給されるCPU・I/F部28、このCPU・I/F部28に接続された画像選択ビットレジスタ29等により構成されている。
【0025】
この信号処理部20において、上記フォーマット変換部17は、上記デジタル信号処理部14からのインタレースYUV(4:1:1)デジタル画像信号をJPEG圧縮するためにYCbCr(4:2:2)信号に変換する。
【0026】
また、上記ライトFIFOメモリ18は、上記カメラブロック10からの信号の速度とフレームメモリ31に書き込む速度の差を吸収する。そして、上記フレームメモリライトコントローラ19は、上記フォーマット変換部17から上記ライトFIFOメモリ18を介して供給されるYCbCr(4:2:2)信号をインタレース信号からノンインタレース信号に変換するために、上記フレームメモリインタフェース部21を介して上記フレームメモリ31に書き込む制御を行う。
上記フレームメモリインタフェース部21は、上記フレームメモリ31に対してライト、リード、リフレッシュを時分割に制御する。
【0027】
上記フレーム画像用フレームメモリリードコントローラ22は、上記フレームメモリ31から上記フレームメモリインタフェース部21を介して第1フィールド画像及び第2フィールド画像を1枚のフレーム画像として読み出す制御を行う。
【0028】
また、上記フィールド画像用フレームメモリリードコントローラ23は、上記フレームメモリ31から上記フレームメモリインタフェース部21を介して第1フィールド画像若しくは第2フィールド画像のみを読み出す制御を行う。
【0029】
そして、上記画像選択器24は、システム制御部40のシステム制御用CPU41から上記CPU・I/F部28を介して画像選択ビットレジスタ29に供給される画像選択ビットに基づくSel信号により、上記フレーム画像用フレームメモリリードコントローラ22により上記フレームメモリ31から読み出されるフレーム画像のYCbCr(4:2:2)信号、又は、上記フィールド画像用フレームメモリリードコントローラ23により上記フレームメモリ31から読み出されるフィールド画像のYCbCr(4:2:2)信号を選択する。
【0030】
上記リードFIFOメモリ25は、上記フレームメモリ31から読み出されるフレーム画像又はフィールド画像のYCbCr(4:2:2)信号の速度とJPEG圧縮速度の差を吸収する。上記JPEGI/F部26は、上記画像選択器24を介して供給されるフレーム画像又はフィールド画像のYCbCr(4:2:2)信号をラインバッファメモリ32に一時蓄積し、ラスタ・ブロック変換を行ってJPEG圧縮処理部27に入力するとともに、上記JPEG圧縮処理部27の動作を制御する。そして、上記JPEG圧縮処理部27は、ラスタ・ブロック変換されたYCbCr(4:2:2)信号について、JPEGに準拠した圧縮処理を行う。このJPEG圧縮処理部27の出力すなわちJPEG圧縮画像データは、CPU・I/F部28を経由してシステム制御部40のシステムRAM42に書き込まれる。
【0031】
上記JPEG圧縮画像データは、例えばシステム制御用CPUのDMA機能を使用したり、システム制御用CPU41経由でシステムRAM42に書き込まれる。
【0032】
上記通信インタフェース部30は、ネットワークインタフェース用のEthernetコントローラ(MAC)35、物理層チップ36、インピーダンスマッチングを取るためのパルストランス37、RJ−45コネクタ38などより構成されている。
【0033】
上記システム制御部40は、バスを介して接続されたシステム制御用CPU41、バッファ及びワーキングエリア用システムRAM42、プログラム用のシステムROM43からなり、上記システム制御用CPU41によりシステムの制御やカメラ制御用CPU15と通信を行う。
【0034】
そして、このカメラサーバ1は、ソフトウエアとして、TCP/IP、HTTP等のプロトコルスタックを搭載し、インターネットエクスプローラ(IE)等のビューワで遠隔から画像を見たり、カメラのコントロールができるようになっている。カメラコントロールメニューには画像サイズを選ぶ事が可能で、例えば640×480(フレーム画像)、640×240(フィールド画像)の画像をユーザが選べられるようになっている。
【0035】
このクライアント・サーバシステム7において、上記カメラサーバ1は、上記ネットワーク2を介して複数台のPCクライアントA、B、C、Dに撮像出力をJPEG圧縮画像データとしてリアルタイムで配信する。
【0036】
ここで、このクライアント・サーバシステム7におけるカメラサーバ1は、上記通信インタフェース部30を介して各クライアントA、B、C、Dからの要求を上記システム制御部40により受け付け、画像データの送信要求のあったクライアントを登録する画像登録先テーブルTBをシステムRAM42上に形成しておき、この画像登録先テーブルTBに従って、各クライアントA、B、C、Dからの要求に応じた画像データを上記通信インタフェース部30を介して配信する。
このクライアント・サーバシステム7における要求処理の手順を図3に示す。
【0037】
すなわち、図3に示すように、このクライアント・サーバシステム7において、画像を表示したいクライアントは、カメラサーバ1へ画像データの送信要求を最初に1回だけ送信する(ステップS1)。カメラサーバ1は、上記通信インタフェース部30を介して上記送信要求を受信すると、上記システム制御部40のシステムRAM42上に形成される画像送信先テーブルTBにクライアントを追加し(ステップS2)、上記通信インタフェース部30を介して画像データの送信を開始する(ステップS3)。また、画像表示を終了したいクライアントは、カメラサーバ1へ画像データの停止要求を送信する(ステップS4)。この送信停止要求を受信したカメラサーバ1は、画像送信先テーブルTBからクライアントを削除し(ステップS5)、画像データの送信を停止する(ステップS6)。
【0038】
このカメラサーバ1では、クライアントから画像データの送信要求を1回受け付けると、次にそのクライアントから画像データの停止要求を受けるまで、連続的に画像データの送信を続ける。
【0039】
次に、このクライアント・サーバシステム7における画像データの送信処理手順を図4に示す。
【0040】
すなわち、図4に示すように、カメラサーバ1は、上記要求処理により書き換えられる画像送信先テーブルTBを参照して、送信要求のあった各PCクライアントA、B、C、Dに順次画像データを送信する。
【0041】
そして、このクライアント・サーバシステム7におけるカメラサーバ1は、各クライアントA、B、C、Dからの画像データの送信要求に付加されるフレームレート情報に基づいて、フレームレートを次のように制御する。
【0042】
すなわち、カメラサーバ1は、クライアントからの画像データの送信要求に付加されたフレームレート情報を受け取ると、画像送信先テーブルTBのクライアント情報の中にフレームレート情報を入れて保持する。このように各クライアントA、B、C、Dに関連付けてフレームレート情報を保持することで、それぞれのクライアントの要求に応じたサービスを行うことが可能になる。
【0043】
カメラサーバ1は、リアルタイム画像(NTSC:30frame/sec,PAL:25frame/sec)を順次メモリに格納するが、格納する際に画像情報テーブルTBに画像圧縮時刻を入れておく。カメラサーバ1は、クライアントに画像データを送信するが、その時に送信した画像の圧縮時刻を記憶しておく。
【0044】
そして、カメラサーバ1は、図5に示す手順に従ってフレームレートを次のように制御する。
【0045】
すなわち、フレームレートの制御では、先ず、前回送信時刻に0を入力することにより初期化を行う(ステップS11)。
【0046】
次に同じクライアントへ画像データを送信する場合、前回送信した画像時刻と現在画像の時刻から経過時間TAを計算する(ステップS12)。
【0047】
さらに、クライアントからの送信要求に付加されていたフレームレート情報に基づいて画像間隔すなわちフレーム間の時間TBを計算する(ステップS13)。
【0048】
次に、経過時間TAとフレーム間の時間TBと比較を行う(ステップS14)。
【0049】
そして、時間TA≧時間TBでなければ上記ステップS12の処理に戻って、ステップS12〜ステップS14の処理を繰り返し行い、時間TA≧時間TBであれば画像データの送信を行う(ステップS15)。
【0050】
さらに前回送信時刻に送信した画像データの時刻をセットして(ステップS16)上記ステップS12の処理に戻って、ステップS12〜ステップS16の処理を繰り返し行う。
【0051】
カメラサーバ1は、このような動作を連続的に行うことで、クライアントからの要求フレームレートでの画像データの転送を行う。
【0052】
上記のようなフレーム間の時刻を制御して、目標とするフレームレートを実現する方式の場合、画像間隔がほぼ一定となるので、フレームレートが低い場合でも、動画像を表示した場合に自然感じで画像を再現することが可能となる。
【0053】
また、ネットワーク遅延やカメラサーバ1の過負荷などで転送フレームレートがクライアントの要求フレームレートより低下した場合でも、前回送信した画像時刻とのみ、比較を行うことで、フレームレートの低下を即座に検出することが可能となり、必要以上にフレームレートの低下を招くことなく画像データの転送を行うことが実現できる。クライアントの要求フレームレートを実現できない場合はその条件下で最速のフレームレートで送信する、いわゆるベストエフォート型のコントロールを実現することが可能となる。
【0054】
また、カメラサーバ1は、図6に示す手順に従って画像をクライアントに対して次のように制御してもよい。ここで、カメラサーバは、固有のカメラ用時計を有している。
【0055】
先ず、カメラ用時計の前回送信時刻を0にセットし、送信枚数を0にセットすることにより初期化を行う(ステップS21)。
【0056】
次に同じクライアントへ画像データを送信する場合、前回送信したカメラ用時計の画像送信時刻と現在のカメラ用時計の時刻から経過時間TCを計算する(ステップS12)。
【0057】
さらに、クライアントによって設定されたインターバル設定時間TBと上記経過時間TCとを比較する(ステップS23)。
【0058】
そして、時間TC≧時間TDでなければ上記ステップS22の処理に戻って、ステップS22〜ステップS23の処理を繰り返し行い、時間TA≧時間TBであれば画像データの送信を行う(ステップS24)。
【0059】
さらに前回送信時刻に送信した画像データの時刻をセットし、送信枚数を1カウントアップする繰り返し行う。
【0060】
送信枚数Eとクライアントによって要求された設定枚数Fを比較し、送信枚数E>設定枚数FであればS22の処理に戻り、S22〜S25の処理を繰り返し行う(ステップ26)。
【0061】
カメラサーバ1は、このような動作を連続的に行うことで、クライアントから要求された画像送信間隔と画像送信枚数に基づいて画像データの転送を行う。
上記のように送信間隔と送信枚数を制御することにより、所望の画像送信を可能とし、フレームレートに関係なく、所望の画像送信間隔で画像送信を一定間隔で正確に送信することができ、クライアントの要求する画像の精度で動画像を表示することが可能となる。また、クライアントが要求する画像枚数分だけ、正確にクライアントに対して送信することができる。上記時刻は、カメラサーバが有している固有のカメラ用時計の時間を基準にしたが、一般に使用されている、日本標準時間などの時間を基準にしてもよい。上記方法は、画像枚数で制御する方法を記載したが、画像枚数を管理するだけでなく、画像送信時間を管理するようにすれば、正確な画像送信時間のみ画像送信をするということもできる。また、画像送信間隔と画像送信時間を管理することにより、画像送信枚数を管理することもできる。
【0062】
なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく、添付の請求の範囲及びその主旨を逸脱することなく、様々な変更、置換又はその同等のものを行うことができることは当業者にとって明らかである。
【0063】
【発明の効果】
本発明によれば、それぞれのクライアントごとにネットワーク上の都合や、クライアントのPC等の端末などの都合、クライアントの要求などに対して、適当な画像送信をすることができる。
【0064】
また、本発明によれば、画像データは情報量が多いので、ネットワークの使用帯域が大きくなる傾向がある。各クライアントで転送フレームレートを制御できれば、各クライアントが所属するネットワークに適した帯域で、データ転送を行うことが可能になる。
【0065】
また、本発明によれば、フレームレートを制御することで、各クライアントマシンのCPU負荷を制御できるようになる。フレームレートを低く設定すれば、CPUの負荷は低減されるので、画像を表示しながら、他の処理を行うことが可能になる。
【0066】
また、本発明によれば、フレームレートを低く設定した場合でも、カメラサーバから、ほぼ等間隔の時間経過した画像を送信するので、自然な感じで動画像を表示することが可能になる。
【0067】
さらに、本発明によれば、画像送信間隔と画像送信枚数を制御することで、所望の画像送信を可能とし、所望の画像送信間隔で画像送信を一定間隔で正確に送信することもできる。クライアントの要求する画像の精度で動画像を表示することが可能となる。また、クライアントが要求する画像枚数分だけ、正確にクライアントに対して送信することができる。
【図面の簡単な説明】
【図1】 本発明が適用されるクライアント・サーバシステムの構成例を示すブロック図である。
【図2】 上記クライアント・サーバシステムにおけるカメラサーバの構成例を示すブロック図である。
【図3】 上記クライアント・サーバシステムにおける要求処理の手順を示すフローチャートである。
【図4】 上記クライアント・サーバシステムにおける画像データの送信処理手順を示すフローチャートである。
【図5】 上記カメラサーバによるフレームレートの制御手順を示すフローチャートである。
【図6】 上記カメラサーバによる画像送信間隔、画像送信枚数の制御手順を示すフローチャートである。
Claims (4)
- ネットワークに接続されたクライアントへ、画像データを配信するカメラサーバであって、
撮像手段と、
上記撮像手段により得られた画像データを圧縮画像データに変換する圧縮処理手段と、
上記ネットワークを介して各クライアントと通信するためのネットワークインタフェース手段と、
上記ネットワークインタフェース手段を介して受信されるクライアントからの画像データの送信要求に付加された各クライアントに対応した画像送信情報が、上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録される記憶手段と、
上記記憶手段に登録されているクライアント情報及び上記画像送信情報の送信間隔でクライアントに対して上記圧縮処理手段により得られる圧縮画像データを上記ネットワークインタフェース手段を介して配信する制御を行う制御手段とを備え、
上記制御手段は、同じクライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されているクライアントによって設定されたインターバル設定時間と上記経過時間とを比較し、上記インターバル設定時間を経過時間が越えると最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットし、1カウントアップした送信枚数と上記クライアントによって要求された設定枚数を比較する処理を上記送信枚数が上記設定枚数を超えるまで繰り返し行うカメラサーバ。 - ネットワークに接続されたクライアントへ、画像データを配信する画像配信方法において、
撮像手段により得られた画像データを圧縮画像データに圧縮処理し、
クライアントからの画像データの送信要求に付加された各クライアントに対応した画像送信情報と、上記画像データの送信要求のあったクライアントを示すクライアント情報とを登録し、
同じクライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されているクライアントによって設定されたインターバル設定時間と上記経過時間とを比較し、上記インターバル設定時間を経過時間が越えると最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットし、1カウントアップした送信枚数と上記クライアントによって要求された設定枚数を比較する処理を上記送信枚数が上記設定枚数を超えるまで繰り返し行い、
上記登録されたクライアント情報及び上記画像送信情報の送信間隔でクライアントに対して上記圧縮処理された圧縮画像データを配信する画像配信方法。 - ネットワークに接続された複数台のクライアントへ、画像データをリアルタイムで配信するカメラサーバであって、
撮像手段と、
上記撮像手段により得られた画像データを圧縮画像データに変換する圧縮処理手段と、
上記ネットワークを介して各クライアントと通信するためのネットワークインタフェース手段と、
上記ネットワークインタフェース手段を介して受信される各クライアントからの画像データの送信要求に付加された各クライアントに対応したフレームレート情報が、上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録される記憶手段と、
上記クライアント情報及びフレームレート情報を上記記憶手段に登録する制御を行うととともに、上記記憶手段に登録されているクライアント情報及びフレームレート情報に基づいて、要求されたフレームレートで各クライアントに対して上記圧縮処理手段により得られる圧縮画像データを上記ネットワークインタフェース手段を介して配信する制御を行う制御手段とを備え、
上記制御手段は、上記記憶手段に登録されている各クライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記記憶手段に登録されている各フレームレート情報に基づいて計算されるフレーム間の時間と上記経過時間を比較し、上記フレーム間の時間を経過時間が越えたクライアントに対して最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットする処理を繰り返すことで、上記各クライアントからの要求フレームレートで最新画像の圧縮画像データを上記ネットワークインタフェース手段を介して配信するカメラサーバ。 - ネットワークに接続されたクライアントへ、撮像手段により得られた画像データを圧縮画像データに変換してカメラサーバから配信する画像配信方法であって、 カメラサーバ側でネットワークインタフェースを介して受信される各クライアントからの画像データの送信要求に付加された各クライアントに対応したフレームレート情報を上記画像データの送信要求のあったクライアントを示すクライアント情報とともに登録し、
上記登録されている各クライアントに対して、前回画像を送信した前回送信時刻からの経過時間を現在時刻と上記前回送信時刻から計算し、上記登録されている各フレームレート情報に基づいて計算されるフレーム間の時間と上記経過時間を比較し、上記フレーム間の時間を経過時間が越えたクライアントに対して最新画像の圧縮画像データを送信して、前回送信時刻に送信した最新画像の時刻をセットする処理を繰り返すことで、上記各クライアントからの要求フレームレートで最新画像の圧縮画像データを上記ネットワークインタフェースを介して配信する画像配信方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002054509 | 2002-02-28 | ||
JP2002054509 | 2002-02-28 | ||
PCT/JP2003/002263 WO2003073763A1 (fr) | 2002-02-28 | 2003-02-27 | Serveur de camera et procede de distribution d'image |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2003073763A1 JPWO2003073763A1 (ja) | 2005-06-23 |
JP4341405B2 true JP4341405B2 (ja) | 2009-10-07 |
Family
ID=27764400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003572304A Expired - Fee Related JP4341405B2 (ja) | 2002-02-28 | 2003-02-27 | カメラサーバ及び画像配信方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20050015808A1 (ja) |
EP (1) | EP1480460A4 (ja) |
JP (1) | JP4341405B2 (ja) |
WO (1) | WO2003073763A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040205824A1 (en) * | 2003-04-10 | 2004-10-14 | Chic Technology Corp. | Web home security system |
US20060029127A1 (en) * | 2004-08-05 | 2006-02-09 | Vicon Industries Inc. | Controlling the distribution of different frames per second of a video stream to various recipients |
JP4549769B2 (ja) * | 2004-08-05 | 2010-09-22 | 株式会社メガチップス | 画像閲覧方法 |
JP4654463B2 (ja) * | 2004-09-10 | 2011-03-23 | 株式会社メガチップス | 画像再生方法およびシステム |
JP4577118B2 (ja) * | 2005-06-24 | 2010-11-10 | ブラザー工業株式会社 | サービス提供システム、クライアント、サーバおよびプログラム |
US8155207B2 (en) | 2008-01-09 | 2012-04-10 | Cisco Technology, Inc. | Processing and managing pictures at the concatenation of two video streams |
US8875199B2 (en) | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
US8416859B2 (en) | 2006-11-13 | 2013-04-09 | Cisco Technology, Inc. | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
US8958486B2 (en) | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
US8804845B2 (en) | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
JP2009076172A (ja) * | 2007-09-25 | 2009-04-09 | Hitachi Ltd | データ伝送方法、光ディスク記録方法及び光ディスク記録装置 |
US8718388B2 (en) | 2007-12-11 | 2014-05-06 | Cisco Technology, Inc. | Video processing with tiered interdependencies of pictures |
US8416858B2 (en) | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
WO2009152450A1 (en) | 2008-06-12 | 2009-12-17 | Cisco Technology, Inc. | Picture interdependencies signals in context of mmco to assist stream manipulation |
US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
US8705631B2 (en) | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
US8259814B2 (en) | 2008-11-12 | 2012-09-04 | Cisco Technology, Inc. | Processing of a video program having plural processed representations of a single video signal for reconstruction and output |
US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
JP2015164240A (ja) * | 2014-02-28 | 2015-09-10 | オリンパス株式会社 | 通信機器、撮像装置、サーバ、通信システム、通信方法、及び通信プログラム |
CA3114747A1 (en) | 2018-10-01 | 2020-04-09 | JBT AeroTech Corporation | Event recognition system |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5822524A (en) * | 1995-07-21 | 1998-10-13 | Infovalue Computing, Inc. | System for just-in-time retrieval of multimedia files over computer networks by transmitting data packets at transmission rate determined by frame size |
US6233017B1 (en) * | 1996-09-16 | 2001-05-15 | Microsoft Corporation | Multimedia compression system with adaptive block sizes |
JPH10164553A (ja) * | 1996-11-29 | 1998-06-19 | Canon Inc | 映像サーバ及びクライアント及び制御方法及び記憶媒体 |
JP4035211B2 (ja) * | 1997-09-30 | 2008-01-16 | キヤノン株式会社 | 映像制御装置及び制御方法及び記憶媒体 |
JPH10304334A (ja) * | 1997-04-25 | 1998-11-13 | Canon Inc | 通信方法、通信装置、送信装置、受信装置、通信システム、及び記憶媒体 |
JPH10336627A (ja) * | 1997-06-05 | 1998-12-18 | Canon Inc | 画像処理装置及び方法及び記憶媒体 |
JPH11308555A (ja) * | 1998-04-17 | 1999-11-05 | Minolta Co Ltd | 動画像記録システム |
JPH11308267A (ja) * | 1998-04-21 | 1999-11-05 | Canon Inc | 情報配信サーバ及びその制御方法及び記憶媒体 |
JP2000338944A (ja) * | 1999-05-26 | 2000-12-08 | Mitsubishi Electric Corp | マルチディスプレイビデオ表示装置 |
JP2001069472A (ja) * | 1999-08-26 | 2001-03-16 | Toshiba Corp | 映像通信端末 |
US7143432B1 (en) * | 1999-10-01 | 2006-11-28 | Vidiator Enterprises Inc. | System for transforming streaming video data |
JP2001136502A (ja) * | 1999-11-02 | 2001-05-18 | Canon Inc | 分散システム、その表示方法、通信装置および記憶媒体 |
JP3927346B2 (ja) * | 2000-02-10 | 2007-06-06 | 株式会社メガチップス | 画像送信装置、画像受信装置、および、画像伝送システム |
JP2002125226A (ja) * | 2000-10-17 | 2002-04-26 | Matsushita Electric Ind Co Ltd | フレームレート制御方法及び画像伝送装置 |
-
2003
- 2003-02-27 EP EP03707147A patent/EP1480460A4/en active Pending
- 2003-02-27 US US10/476,118 patent/US20050015808A1/en not_active Abandoned
- 2003-02-27 WO PCT/JP2003/002263 patent/WO2003073763A1/ja active Application Filing
- 2003-02-27 JP JP2003572304A patent/JP4341405B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2003073763A1 (ja) | 2005-06-23 |
EP1480460A4 (en) | 2007-02-14 |
WO2003073763A1 (fr) | 2003-09-04 |
US20050015808A1 (en) | 2005-01-20 |
EP1480460A1 (en) | 2004-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4341405B2 (ja) | カメラサーバ及び画像配信方法 | |
US6697097B1 (en) | Synchronizing voice and video transmitted over separate channels | |
JP4712238B2 (ja) | 映像信号符号化装置、映像信号送信装置、および映像信号符号化方法 | |
KR101796179B1 (ko) | 피어-투-피어 네트워크에서 대역폭을 협상하기 위한 방법 및 디바이스 | |
WO2013132828A1 (ja) | 通信システムおよび中継装置 | |
EP1696396A2 (en) | Image pickup apparatus and image distributing method | |
JP3908789B2 (ja) | ビデオ伝送システム | |
JP2001094625A (ja) | データ通信装置、データ通信方法及び記憶媒体 | |
JP2009071580A (ja) | 通信装置 | |
CA2311211C (en) | Frame switcher and method of switching, digital camera, and monitoring system | |
JP3715332B2 (ja) | 通信システム、受信装置及び方法 | |
US7804516B2 (en) | Network capturing apparatus, displaying method, computer-readable recording medium, and network system | |
EP0939545A2 (en) | Video service system | |
WO2008050621A1 (fr) | Système de serveur de caméra, procédé de traitement de données et serveur de caméra | |
JP2007281552A (ja) | 通信装置 | |
JP2000050235A (ja) | 監視装置 | |
US6947447B1 (en) | Image communication apparatus, image communication method and recording medium which stores the sound and image | |
US7298397B2 (en) | Digital transmission system | |
JP4371859B2 (ja) | 動画情報伝送方法および装置 | |
JP4277365B2 (ja) | 動画配信システム | |
JP2007281973A (ja) | 映像データ送信装置、映像データ送信方法及びプログラム | |
KR20140111324A (ko) | 비디오 감시 방법, 관련 시스템, 관련 감시 서버, 및 관련 감시 카메라 | |
JP2003209828A (ja) | 動画像リアルタイム配信システム | |
JPS62188579A (ja) | 動画像情報予約提供方式 | |
JP2003219397A (ja) | 映像配信サーバ及び映像配信システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090616 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090629 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |