JP4384607B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4384607B2
JP4384607B2 JP2005016739A JP2005016739A JP4384607B2 JP 4384607 B2 JP4384607 B2 JP 4384607B2 JP 2005016739 A JP2005016739 A JP 2005016739A JP 2005016739 A JP2005016739 A JP 2005016739A JP 4384607 B2 JP4384607 B2 JP 4384607B2
Authority
JP
Japan
Prior art keywords
image
area
video
client
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005016739A
Other languages
English (en)
Other versions
JP2006211006A (ja
Inventor
慎吾 石山
晴洋 古藤
渡 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2005016739A priority Critical patent/JP4384607B2/ja
Priority to US11/337,531 priority patent/US7697768B2/en
Publication of JP2006211006A publication Critical patent/JP2006211006A/ja
Application granted granted Critical
Publication of JP4384607B2 publication Critical patent/JP4384607B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/226Characteristics of the server or Internal components of the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405Monitoring of the internal components or processes of the server, e.g. server load
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17336Handling of requests in head-ends

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、撮像装置により得られた画像を圧縮符号化して配信する画像処理装置に関し、特に、圧縮符号化処理などを効果的に行う画像処理装置に関する。
近年、カメラのメガピクセル化が進んでいる。例えば、監視カメラで撮影した映像を伝送回線(ネットワーク)により送信装置から受信装置(クライアント側)に伝送して遠隔監視するネットワーク型の監視システムにおいても、高精細化、高画質化のニーズがある。従って、今後、監視システムはメガピクセル化へ移行していくことが想定される。ここで、例えば、メガピクセル画像として代表的なものにSXGA(Super eXtended Graphics Array)と呼ばれるメガピクセル画像がある。このSXGAの画素数は1280×1024であり、監視システムで一般的に用いられているVGA(Video Graphics Array)の画素数640×480の約4倍の高精細さを持つ。しかし、(1)クライアント側において監視映像を表示するディスプレイはXGA(eXtended Graphics Array)と呼ばれる画素数1024×768のディスプレイが主流である、及び、(2)監視システムにおいてはクライアント側からカメラ側に対して行う制御(例えば、雲台の制御など)が必要になるため、ディスプレイ表示画面には常に監視映像と制御画面(メニュー欄など)を同時に表示することが要求される、以上のこと等から、ディスプレイに本来の高精細さを保ったままメガピクセル画像の全画面を表示することは困難である。
そこで、本来の高精細さを保ったメガピクセル画像の一部分の映像を切り出し、ディスプレイに拡大表示する機能、いわゆる電子パンチルトズーム(PTZ)機能は監視システムにおいて重要となる。
なお、従来、画像上の必要な部分のみのデータを切り出して圧縮し、伝送/記録を効率化する画像伝送装置が検討されている(例えば、特許文献1参照)。
特開平8−106536号公報
しかしながら、従来の画像の一部分を切り出して遠隔地の複数のクライアントに対して伝送するようなシステムにおいては、送信側の処理負荷の低減等を考慮したシステムが存在しないという問題があった。
本発明は、このような従来の事情に鑑み為されたもので、撮像装置により得られた画像を圧縮符号化して配信するに際して、圧縮符号化処理などを効果的に行う画像処理装置を提供することを目的とする。
上記目的を達成するため、本発明に係る画像処理装置は、画像を複数のエリアに分割する画像分割手段と、該画像分割手段により分割されたエリア毎に前記画像を圧縮符号化する画像圧縮符号化手段と、ネットワークを介してクライアントからの画像送信要求を受信する画像送信要求受信手段と、前記クライアントからの画像送信要求に基づいて前記クライアントに送信する画像のエリアを選択する送信画像エリア選択手段と、該送信画像エリア選択手段により選択されたエリアに対応する圧縮符号化画像を前記クライアントに対して送信する選択エリア画像送信手段とを備えた。
ここで、画像としては、例えば、動画像や、静止画像や、準動画像など、種々なものが用いられても良い。また、画像を複数のエリアに分割する態様としては、種々なものが用いられても良い。
また、上記目的を達成するため、本発明に係る画像処理装置において、前記画像分割手段は、各エリアが他のエリアと重なりを持つように画像を分割する。
また、上記目的を達成するため、本発明に係る画像処理装置において、前記選択エリア画像送信手段は、より多くのクライアントからの画像送信要求の対象となっているエリアに対応する圧縮符号化画像を優先的に送信する。
また、上記目的を達成するため、本発明に係る画像処理装置において、前記選択エリア画像送信手段は、優先度の高いクライアントへ送信する圧縮符号化画像を優先度の低いクライアントへ送信する圧縮符号化画像より先に送信する。
また、上記目的を達成するため、本発明に係る画像処理装置において、前記画像圧縮符号化手段は、各エリアの画像を圧縮符号化するための複数のプロセッサから構成されており、同じエリアの画像の圧縮符号化を毎回同じプロセッサが行うようにはしないことにより、各プロセッサの処理負荷を平均化する。
以上説明したように、本発明に係る画像処理装置によると、画像分割手段により分割されたエリア毎に画像を圧縮符号化するようにしたため、撮像装置により得られた画像を圧縮符号化して配信するに際して、圧縮符号化処理などを効果的に行うことができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1には、本発明の一実施例に係るWebエンコーダ(画像処理装置)1の構成例を示してある。
本実施例のWebエンコーダ1は、A/D変換部10と、メモリ書き込み制御部11と、メモリ12と、画像分割制御部13と、圧縮処理部14−1と、圧縮処理部14−16(圧縮処理部を総称する場合は14で代表するものとする)と、圧縮データメモリ15−1と、圧縮データメモリ15−16(圧縮データメモリを総称する場合は15で代表するものとする)と、要求エリア映像圧縮データ読み出し部16と、ネットワーク配信部17とを備えて構成されており、Webエンコーダ1はネットワーク網18と接続されている。
次に、図1に示される本実施例のWebエンコーダ1により行われる処理の一例を示す。
A/D変換部10は、カメラ(不図示)から入力されるアナログ映像信号100をA/D変換して得られたデジタル映像信号101、Hsync信号(水平同期信号)102、及び、Vsync(垂直同期信号)信号103と、デジタル映像信号101に同期したクロック信号104をメモリ書き込み制御部11に出力する。
メモリ書き込み制御部11は、デジタル映像信号101と、Hsync信号102と、Vsync信号103と、クロック信号104を受信し、デジタル映像信号101内のアクティブ映像信号111を抽出する。ここで、NTSC信号の場合、1フレームに525ライン分の映像信号が存在し、アクティブ映像信号とは、1フレーム分の映像信号の525ラインに存在するブランキング領域等を除いた480ライン分の信号のことを言う。また、メモリ書き込み制御部11は、アクティブ映像信号111の位置を示す信号を生成し、アクティブ映像信号111とアクティブ映像信号111の書き込み信号112とクロック信号113をメモリ12へ出力する。また、メモリ書き込み制御部11は、メモリ12に1フレームのアクティブ映像信号111の書き込みが終了したことを示す書き込み終了信号114を画像分割制御部13へ出力する。
画像分割制御部13は、書き込み終了信号114を受信すると、メモリ12に格納された1フレームのアクティブ映像の読み出し信号131を生成してメモリ12へ出力し、メモリ12から1フレームのアクティブ映像データ121を読み出し、読み出した映像データ121を均等に分割して複数のエリア映像データとする。そして、画像分割制御部13は、分割した各エリア映像データと、映像情報をそれぞれ圧縮処理部14へ出力する。なお、映像情報とは、圧縮処理部14へ出力するエリア映像の画像サイズなどの圧縮に必要な情報のことを言う。ここで、本実施例では、画像分割制御部13は、アクティブ映像を均等に16分割し、分割したそれぞれのエリア映像データを各圧縮処理部14へ出力する。この場合、圧縮処理部14は分割数である16個必要になる(圧縮処理部14−1〜14−16)。なお、以下では、説明の簡単化のため、1つ目のエリア映像データと、16つ目のエリア映像データについてを代表して説明し、他のエリア映像データについては説明を省略する。
即ち、画像分割制御部13は、1つ目のエリア映像データ133−1と、映像情報134−1を圧縮処理部14−1へ出力し、16つ目のエリア映像データ133−16と、映像情報134−16を圧縮処理部14−16へ出力する。
圧縮処理部14−1は、画像分割制御部13からエリア映像データ133−1と、映像情報134−1を受信し、受信したエリア映像データ133−1の圧縮符号化処理を行い、圧縮データ141−1と、書き込み信号142−1を圧縮データメモリ15−1へ出力する。また、圧縮処理部14−1は、圧縮データメモリ15−1に1エリア分の圧縮データの書き込みが終了したことを示す書き込み終了信号143−1を要求エリア映像圧縮データ読み出し部16へ出力する。
同様に、圧縮処理部14−16は、画像分割制御部13からエリア映像データ133−16と、映像情報134−16を受信し、受信したエリア映像データ133−16の圧縮符号化処理を行い、圧縮データ141−16と、書き込み信号142−16を圧縮データメモリ15−16へ出力する。また、圧縮処理部14−16は、圧縮データメモリ15−16に1エリア分の圧縮データの書き込みが終了したことを示す書き込み終了信号143−16を要求エリア映像圧縮データ読み出し部16へ出力する。
圧縮データメモリ15は、圧縮処理部14から得たエリア映像の圧縮データを格納する。この場合、圧縮データメモリ15は分割数である16個必要になる。
ネットワーク配信部17は、ネットワーク網18を介してクライアントから要求映像情報181を受信し、要求エリア映像圧縮データ読み出し部16に要求映像情報171を出力する。なお、要求映像情報とは、映像の1画面のうち、クライアントが配信を要求する映像のエリアに関する情報のことを言い、例えば、クライアントは配信を要求する映像のエリアに変更がある度に新たな要求映像情報をネットワーク網を介してWebエンコーダ1に送信する。
要求エリア映像圧縮データ読み出し部16は、ネットワーク配信部17から受信したクライアントの要求映像情報171に基づいて、クライアントの要求した映像を構成するために、上記の通り16分割した映像のエリア圧縮データを圧縮データメモリ15−1〜15−16から選択的に読み出し、エリア圧縮データ163をネットワーク配信部17へ出力する。例えば、要求エリア映像圧縮データ読み出し部16は、読み出し信号161と読み出し信号162をそれぞれ圧縮データメモリ15−1と圧縮データメモリ15−16に出力し、圧縮データメモリ15−1と圧縮データメモリ15−16から圧縮データ151と圧縮データ152を読み出し、エリア圧縮データ163をネットワーク配信部17へ出力する。
ネットワーク配信部17は、要求エリア映像圧縮データ読み出し部16から受信したエリア圧縮データ163にネットワークプロトコルを付加してネットワーク配信データ172を生成し、ネットワーク網18へ配信する。
このように、本実施例のWebエンコーダ1では、複数のクライアントが要求したエリア映像において、重複した映像のエリアが存在しても、映像を均等に16分割して圧縮符号化処理を行い、エリア映像の圧縮データを圧縮データメモリ15に格納し、要求映像を構成する16分割したエリア映像の圧縮データを選択してクライアントに配信するのみであり、重複したエリア映像の圧縮処理は一度で済むため、Webエンコーダ1の圧縮符号化処理の負荷が軽減する。
なお、本実施例における圧縮符号化方式は、MPEG−4やJPEG、また、可逆符号化、不可逆符号化など種類を問わない。また、本実施例では、Webエンコーダ1からクライアントへエリア圧縮データの配信を行う構成を示したが、他の構成例として、映像蓄積配信サーバを介してクライアントにエリア圧縮データを配信するような構成が用いられても良い。また、映像の分割数の16は一例であり、分割数は実際のシステムの設定状況に応じて任意に設定すれば良い。
次に、アクティブ映像とクライアントの要求した映像の関係を図2を用いて説明する。
図2に示すように、本実施例の映像配信システムは、Webエンコーダ1と、クライアントA2−1、クライアントB2−2、及び、クライアントC2−3とをネットワーク網18により接続して構成されており、ここでは、アクティブ映像2−4のうち、クライアントAの要求した映像のエリアを映像2−5、クライアントBの要求した映像のエリアを映像2−6、クライアントCの要求した映像のエリアを映像2−7とする。
図2に示す映像配信システムにおいて、Webエンコーダ1は、例えば、1フレームのアクティブ映像を均等に16分割し、分割したエリア映像をそれぞれ圧縮する。そして、各クライアントが要求する映像を構成する16分割したエリア映像の圧縮データを選択し、各クライアントに送信する。
具体的には、図2に示すように、クライアントA2−1の要求した映像2−5を構成するエリアは、エリア2、3、4、6、7、8、10、11、12である。また、クライアントB2−2の要求した映像2−6を構成するエリアは、エリア6、7、8、10、11、12、14、15、16である。また、クライアントC2−3の要求した映像2−7を構成するエリアは、エリア9、10、11、13、14、15である。このように、クライアントA、B、Cからの要求では重複した映像が存在するが、重複した映像を構成するエリア映像の圧縮符号化処理は一度で済み、以後の処理は16分割した映像の圧縮データを選択してクライアントに送信するだけであり、重複したエリア映像に対して圧縮符号化処理を重複して行うような必要はない。
従って、本実施例のWebエンコーダ1では、1フレームのアクティブ映像を複数のエリアに均等に分割し、各エリアの映像を各圧縮処理部14で圧縮し、各エリアの圧縮データを対応したメモリに書き込み、クライアントが要求した映像を構成するエリア圧縮データを選択し、メモリから読み出し、エリア圧縮データをクライアントに送信し、クライアント側において、受信したエリア圧縮データを伸張し、伸張したエリアの映像を組み合せ、クライアントが要求した映像を再生することにより、特に複数のクライアントが要求した映像において、重複した映像が存在した場合でも、映像の圧縮処理は重複せず、効率の良い圧縮処理が可能になる。
なお、クライアントに各エリアの圧縮データを送信する順序は、どのエリアの圧縮データからでも構わない。例えば、クライアント毎に優先順位を付け、優先順位が高いクライアントへ送信するエリア圧縮データを先に送り、優先順位が低いクライアントへ送信するエリア圧縮データを後から送信することも可能である。この優先順位の付け方はシステムが要求する内容により種々なものを用いることが可能である。例えば、リアルタイム性を重視するクライアントであれば、優先順位を高くすることで、Webエンコーダ1で映像を取り込んでから、クライアントで表示するまでの遅延時間が短くなる。また、選択したエリアの個数が少ないクライアントほど優先順位を高くすれば、1台目のクライアントへの送信した後、2台目のクライアントへ送信を開始するまでの時間が短くて済む。
更に、他の構成例として、エリア毎に何クライアントからそのエリアが選択されているかの統計をとり、もっとも多くのクライアントから選択されているエリアを優先的に送信するような構成を用いることも可能である。この場合、クライアント全体のエリア圧縮データの受信開始が早くなり、システム全体のパフォーマンス向上に繋がる。例えば、図2に示すクライアントA2−1、B2−2、C2−3から映像要求があった場合、各エリアの選択数は、エリア10、11が3つのクライアントから選択され、もっとも選択数が多い。そこで、エリア10、11の優先順位をもっとも高くする。次に優先順位が高くなるのは2つのクライアントから選択されているエリア6、7、8、12、14、15であり、その次は1つのクライアントから選択されているエリア2、3、4、9、13、16となる。
次に、本実施例のWebエンコーダ1における圧縮符号化処理の負荷について具体例を挙げて説明する。例えば、入力画像の画像サイズを1024×960、接続クライアント数をn台、VGA(画像サイズ:640×480)の圧縮処理能力を1と仮定する。なお、入力画像の画像サイズは、VGAの画像サイズの4倍である。ここで、入力画像は、均等に16分割する。1分割の画像サイズは320×240となる。従って、分割した1つのエリアに対する圧縮処理部14の圧縮処理能力は1/4で済む。圧縮処理部14が16個あるため、Webエンコーダ1の圧縮処理能力は1/4の16倍、即ち4となる。ここで、接続クライアント数が50台になっても、Webエンコーダ1の圧縮処理能力は4のままとなり、クライアント数に依存しない。
なお、本実施例では、アクティブ映像を均等に16分割する構成を示したが、本発明は、複数のクライアントで重複した映像を必要とする場合でも、圧縮処理は各エリアに付き一度で済むという効果を実現するものであるため、他の構成例として、均等な分割以外にも均等でない分割や、各エリア同士の重なりを許容する分割を行うような構成が用いられても良い。
例えば、均等でない分割を行う場合、一例として、入力画像の画像サイズ1024×960を右から320、480、320、160画素で分割し(均等に分割する例では、右から320、320、320、320画素で分割している)、上から240、360、120、240画素で分割する(均等に分割する例では、上から240、240、240、240画素で分割している)こともできる。更に、他の例として、アクティブ映像に映る道路や建物などの構成要素毎のエリアに分割して、それぞれ圧縮するようなことも可能である。この場合、分割した領域が、入力画像の構成要素を表しており、クライアント上で構成要素に対して所定の画像処理(先鋭化処理や平滑化処理、コントラスト強調など)を施すことができる。これにより、アクティブ映像中で特定の着目する構成要素の部分映像を強調表示することが可能となる。
また、各エリア同士の重なりを許容する分割を行う場合、均等に分割する例では、横320、縦240画素に均等分割していたところを、例えば、図5に示すように、各エリアを上下左右8画素ずつ拡大したエリア501〜516とすることもできる。この場合、クライアントで必要なエリアを受信し、復号化処理を実行すると、各エリアに重なり部分が生じるため、重なった部分は平均化する等して、エリアの画像を繋ぎ合わせる。上述した均等に分割する例では、重なりがないように分割して、各エリアを独立に圧縮処理しているため、各エリアを繋ぎ合わせると、表示映像に継ぎ目が見える可能性がある。しかし、このように各エリア同士の重なりを許容してエリアを分割することで、表示映像に継ぎ目が見えることはなく、より自然な映像を表示することが可能となる。
また、本実施例では、Webエンコーダ1は、アクティブ映像を均等に16分割し、クライアントからの要求映像情報に基づいて少なくとも1つのエリア圧縮データを選択して、画像全体のうちの一部のエリアの圧縮データをクライアントに配信する構成を示したが、例えば、クライアントにおいてオペレータが配信を要求する映像のエリアを設定する際の参照のために、Webエンコーダ1はアクティブ映像全体を定期的にクライアントに配信するような構成が用いられても良い。なお、この場合、クライアントにおいては、配信を要求する映像のエリアを設定するためにアクティブ映像全体のおおまかな情報が確認できれば十分であるので、ネットワーク網18の伝送帯域の節約のために、一例として、Webエンコーダ1は、アクティブ映像全体を間引いた縮小画像を圧縮符号化した圧縮データをクライアントに配信する構成、或いは、分割されたエリア映像データを圧縮符号化処理する際よりも高く設定された圧縮率によりアクティブ映像全体を圧縮符号化した圧縮データをクライアントに配信する構成を用いる。
ここで、本実施例のWebエンコーダ1の圧縮処理部14−1〜圧縮処理部14−16をそれぞれDSP(Digital Signal Processor)等の独立したプロセッサで構成した場合について説明する。この場合、各エリアの映像データの複雑さに応じて各圧縮処理部14の処理負荷が異なる。例えば、エリア1の映像データの圧縮符号化処理を圧縮処理部14−1で行い、エリア2の映像データの圧縮符号化処理を圧縮処理部14−2で行うとする。そして、例えば、エリア1の映像データがホワイトノイズを含む複雑な画像であり、エリア2の映像データが比較的簡易な映像である場合、エリア1の映像データの圧縮符号化処理を行う圧縮処理部14−1の処理負荷(処理時間)は大きくなり、エリア2の映像データの圧縮符号化処理を行う圧縮処理部14−2の処理付加は小さくなる。つまり、負荷が大きいエリア1の処理時間は長く、エリア2の処理時間は短い。従って、例えば、各圧縮処理部14は毎回同じエリアの映像データの圧縮符号化処理を行うのではなく、例えば、エリア1の映像データの圧縮符号化処理が終了しない間にエリア2の圧縮符号化処理が完了した場合、次のフレームのエリア1の映像データの圧縮符号化処理を圧縮処理部14−2で行うようにする。つまり、例えば、圧縮符号化処理が終了してないエリアの次のフレームの映像データの圧縮符号化処理を既に圧縮符号化処理が完了した圧縮処理部14に担わせる。
即ち、各圧縮処理部14が毎回同じエリアの映像データの圧縮符号化処理を行い、圧縮符号化処理が終わったエリア映像データから次々にクライアントに配信するような構成とすると、例えば、一部のエリアだけ複雑な映像データが続き処理負荷が大きくなって、その一部のエリアの圧縮データの配信が遅れると、クライアント側で全体の映像を再生した場合、一部のエリアだけフレームレートが落ちた再生となる。従って、上述した通り、処理負荷の大きい圧縮符号化処理を特定の圧縮処理部14が連続して行わないようにして各圧縮処理部14の処理負荷を平均化することで、クライアント側においてフレームレートの落ちない映像を再生することができる。なお、圧縮処理部14を複数のプロセッサにより構成する場合は、エリア1に対しては圧縮処理部14−1を設けて、エリア2に対しては圧縮処理部14−2を設けるといったように、映像の分割数と同数のプロセッサを設けるように構成しても良いし、例えば、エリア1と2に対しては圧縮処理部14−1を設けて、エリア3と4に対しては圧縮処理部14―2を設けるといったように、映像の分割数とは異なる個数のプロセッサを設けるような構成としても良い。
次に、本発明に関する比較例を示す。なお、ここで記載する事項は、必ずしも全てが従来技術であるとは限らない。
図3には、本発明の比較例に係るWebエンコーダ3の構成例を示してある。
本比較例のWebエンコーダ3は、A/D変換部10と、メモリ書き込み制御部11と、メモリ12と、要求エリア映像読み出し制御部33と、圧縮処理部34−1と、圧縮処理部34−n(圧縮処理部を総称する場合は34で代表するものとする)と、圧縮データメモリ35−1と、圧縮データメモリ35−n(圧縮データメモリを総称する場合は35で代表するものとする)と、ネットワーク配信部36とを備えて構成されており、Webエンコーダ3はネットワーク網18と接続されている。
次に、図3に示される本比較例のWebエンコーダ3により行われる処理の一例を示す。ここで、A/D変換部10と、メモリ書き込み制御部11と、メモリ12の動作は、図1に示したWebエンコーダ1と同様であるため、以下では図1に示したWebエンコーダ1とは異なる処理についてを中心に説明する。
ネットワーク配信部36は、ネットワーク網18を介してクライアントから要求映像情報381を受信し、要求エリア画像読み出し制御部33に要求映像情報361を出力する。
要求エリア画像読み出し制御部33は、ネットワーク配信部36から受信したクライアントの要求映像情報361に基づいて、メモリ12に格納された1フレームのアクティブ映像の中で、要求映像情報361に対応した要求エリア映像データが格納されているメモリ12のアドレス331と、読み出し信号332を生成し、メモリ12から当該クライアントが要求した映像の要求エリア映像データ321を読み出し、要求エリア映像データ333と、映像情報334を圧縮処理部34−1へ出力する。
圧縮処理部34−1は、要求エリア映像読み出し制御部33から要求エリア映像データ333と、映像情報334を受信して圧縮符号化処理を行い、圧縮データ341と書き込み信号342を圧縮データメモリ35−1へ出力する。
同様に、要求エリア画像読み出し制御部33は、ネットワーク配信部36から先程とは別の他のクライアントからの要求映像情報361を受信し、メモリ12に格納された1フレームのアクティブ映像の中で、当該要求映像情報361に対応した要求エリア映像データが格納されているメモリ12のアドレス331と読み出し信号332を生成し、メモリ12から当該他のクライアントが要求した映像の要求エリア映像データ321を読み出し、要求エリア映像データ335と、映像情報336を圧縮処理部34−nへ出力する。
圧縮処理部34−nは、要求エリア映像読み出し制御部33から要求エリア映像データ335と、映像情報336を受信して圧縮符号化処理を行い、圧縮データ343と書き込み信号344を圧縮データ格納メモリ35−nへ出力する。
なお、圧縮処理部34及び圧縮データ格納メモリ35は接続するクライアント数と同数必要になる。
ネットワーク配信部36は、読み出し信号362と読み出し信号363をそれぞれ圧縮データ格納メモリ35−1と圧縮データ格納メモリ35−nに出力し、圧縮データ351と圧縮データ352を読み出し、ネットワークプロトコルを付加してネットワーク配信データ364を生成し、ネットワーク網18へ配信する。
次に、本比較例に係るアクティブ映像とクライアントの要求した映像の関係を図4を用いて説明する。
図4に示すように、本比較例の映像配信システムは、Webエンコーダ3と、クライアントA4−1、クライアントB4−2、及び、クライアントC4−3とをネットワーク網18により接続して構成されており、ここでは、アクティブ映像4−4のうち、クライアントAの要求した映像のエリアを映像4−5、クライアントBの要求した映像のエリアを映像4−6、クライアントCの要求した映像のエリアを映像4−7とする。
この場合、本比較例のWebエンコーダ3は、クライアントAが要求した映像4−5を圧縮し、クライアントBが要求した映像4−6を圧縮し、クライアントCが要求した映像4−7を圧縮する。つまり、各クライアントが要求した映像に対して圧縮処理部34はクライアント数と同数必要になり、また、それぞれ独立した圧縮符号化処理となる。
ここで、クライアントA、B、Cが要求した映像において、重複した映像が存在する場合がある。例えば、図4に示す重複映像4−8である。上述した通り、圧縮処理はそれぞれ独立しているため、重複した映像の圧縮は各クライアントA、B、Cに対応した圧縮処理部34で行われる。
次に、本比較例のWebエンコーダ3の圧縮符号化処理の負荷について具体例を挙げて説明する。
例えば、入力画像の画像サイズを1024×960、接続クライアント数をn台、VGA(画像サイズ:640×480)の圧縮処理能力を1と仮定する。なお、入力画像サイズはVGA画像サイズの4倍である。まず、クライアントが要求する映像サイズの最大が1024×960となるため、圧縮処理部34の処理能力は4となる。また、圧縮処理部34がクライント数と等しいため、Webエンコーダ3の圧縮処理能力は上記圧縮処理能力4のn倍となる。例えば、接続クライアント数が50台であれば、Webエンコーダ3の圧縮処理能力は4×50=200ということになる。従って、本比較例におけるWebエンコーダ3の処理能力4×nに対し、本発明におけるWebエンコーダ1の処理能力は4となる。従って、Webエンコーダ1はWebエンコーダ3に比べて1/nの処理能力軽減が可能になる。
このように、本比較例におけるWebエンコーダ3は、各クライアントに対応した圧縮処理部34が必要で、また互いに独立した圧縮処理を行う。例えば、接続クライアント数が無限であれば、圧縮処理部34も無限に必要になる。従って、エンコーダの規模は大きくなる。また、クライアントが要求する映像において、重複した映像が存在する場合、互いに独立した圧縮処理となるため、例えば、50台のクライアントが要求した映像において、全て重複映像が存在する場合、重複映像の圧縮処理はクライアント数と同数の50回行うことになる。従って、圧縮処理が過負荷となる。
一方、本発明におけるWebエンコーダ1では、1フレームのアクティブ映像を複数のエリアに分割し、分割したエリアの映像をそれぞれ圧縮するようにしたため、圧縮処理部14がクライアント数に依存せず、また圧縮処理部14の圧縮処理負荷を軽減した電子PTZ機能の実現が可能になる。
なお、本実施例のWebエンコーダ1では、圧縮処理部14の機能により画像圧縮符号化手段が構成されており、ネットワーク配信部17の機能により画像送信要求受信手段が構成されており、要求エリア映像圧縮データ読み出し部16の機能により送信画像エリア選択手段が構成されており、要求エリア映像圧縮データ読み出し部16やネットワーク配信部17の機能により選択エリア画像送信手段が構成されている。
ここで、本発明に係る画像処理装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。例えば、Webエンコーダの機能と、カメラの機能を一体化したような構成の装置が用いられても良い。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る画像処理装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disc)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
本発明の一実施例に係る画像処理装置の構成例を示す図である。 本発明の一実施例に係るアクティブ映像とクライアントが要求した映像の関係を説明するための図である。 画像処理装置の構成例を示す図である。 アクティブ映像とクライアントが要求した映像の関係を説明するための図である。 本発明の一実施例に係る画像の分割単位を示す図である。
符号の説明
1:Webエンコーダ、10:A/D変換部、11:メモリ書き込み制御部、12:メモリ、13:画像分割制御部、14:圧縮処理部、15:圧縮データメモリ、16:要求エリア映像圧縮データ読み出し部、17:ネットワーク配信部、18:ネットワーク網。

Claims (4)

  1. 各エリアが他のエリアと重なりを持つように画像を均等に分割して複数のエリアに分割する画像分割手段と、
    複数のプロセッサから構成され、
    前記プロセッサは、前記画像分割手段により前記均等に分割されたエリア毎に前記画像を圧縮符号化した圧縮符号化画像を出力する画像圧縮符号化手段であって、圧縮符号化処理の処理時間が長いエリアの次の圧縮符号化処理を圧縮符号化処理の処理時間が短いエリアの圧縮符号化処理を行ったプロセッサが行う画像圧縮符号化手段と、
    ネットワークを介してクライアントからの画像送信要求を受信する画像送信要求受信手段と、
    前記クライアントからの画像送信要求に基づいて前記クライアントに送信する画像のエリアを選択する送信画像エリア選択手段と、
    該送信画像エリア選択手段により選択されたエリアに対応する前記圧縮符号化画像を前記クライアントに対して送信する選択エリア画像送信手段と、
    前記プロセッサのそれぞれと対応する同数のメモリを備え、前記メモリは、前記プロセッサが出力する前記圧縮符号化画像をそれぞれ書き込み、
    前記送信画像エリア選択手段は、前記クライアントからの画像送信要求に基づいて前記クライアントに送信する画像のエリアを選択し選択された画像のエリアに関する圧縮符号化画像を前記メモリから読み出すことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記画像圧縮符号化手段は、前記圧縮符号化処理の処理時間が長いエリアの次の圧縮符号化処理をすでに圧縮符号化処理が完了したプロセッサが行うことを特徴とする画像処理装置。
  3. 請求項1乃至請求項2のいずれか1つに記載の画像処理装置において、
    前記画像送信要求受信手段と前記選択エリア画像送信手段が、ネットワークを介して前記クライアントと送信又は受信を行うネットワーク配信手段を構成することを特徴とする画像処理装置。
  4. 請求項1乃至請求項3のいずれか1つに記載の画像処理装置において、
    前記画像圧縮符号化手段を構成するプロセッサの数は、前記画像分割手段が分割するエリアの数と同数であることを特徴とする画像処理装置。
JP2005016739A 2005-01-25 2005-01-25 画像処理装置 Expired - Fee Related JP4384607B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005016739A JP4384607B2 (ja) 2005-01-25 2005-01-25 画像処理装置
US11/337,531 US7697768B2 (en) 2005-01-25 2006-01-24 Method and apparatus for encoding an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005016739A JP4384607B2 (ja) 2005-01-25 2005-01-25 画像処理装置

Publications (2)

Publication Number Publication Date
JP2006211006A JP2006211006A (ja) 2006-08-10
JP4384607B2 true JP4384607B2 (ja) 2009-12-16

Family

ID=36698393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005016739A Expired - Fee Related JP4384607B2 (ja) 2005-01-25 2005-01-25 画像処理装置

Country Status (2)

Country Link
US (1) US7697768B2 (ja)
JP (1) JP4384607B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7675549B1 (en) * 2006-12-08 2010-03-09 Itt Manufacturing Enterprises, Inc. Imaging architecture for region and time of interest collection and dissemination
US8456380B2 (en) * 2008-05-15 2013-06-04 International Business Machines Corporation Processing computer graphics generated by a remote computer for streaming to a client computer
US8705879B2 (en) * 2009-04-01 2014-04-22 Microsoft Corporation Image compression acceleration using multiple processors
JP5301481B2 (ja) * 2010-02-15 2013-09-25 日本電信電話株式会社 再生時間継続再生方法、映像配信方法、映像再生方法、映像配信システムおよびプログラム
WO2011125051A1 (en) * 2010-04-09 2011-10-13 Canon Kabushiki Kaisha Method for accessing a spatio-temporal part of a compressed video sequence
US8842974B2 (en) * 2010-10-01 2014-09-23 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content delivery system
JP2013051522A (ja) * 2011-08-30 2013-03-14 Honda Elesys Co Ltd 画像圧縮装置、画像圧縮方法および画像圧縮プログラム
JP5854127B2 (ja) * 2012-03-27 2016-02-09 富士通株式会社 符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体
JP6354195B2 (ja) * 2013-03-15 2018-07-11 株式会社リコー 配信システム、配信方法、及びプログラム
JP6326855B2 (ja) * 2013-03-15 2018-05-23 株式会社リコー 配信制御システム、配信システム、配信制御方法、及びプログラム
CN111818295B (zh) * 2019-04-10 2022-02-01 杭州海康威视数字技术股份有限公司 一种图像获取方法及装置
CN113518249B (zh) * 2020-04-10 2023-03-10 华为技术有限公司 一种远端图像处理方法及装置
CN115134629B (zh) * 2022-05-23 2023-10-31 阿里巴巴(中国)有限公司 视频传输方法、***、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02226984A (ja) 1989-02-28 1990-09-10 Toshiba Corp 画像データ処理装置
CA2016348C (en) 1989-05-10 2002-02-05 Kenichi Asano Multiprocessor type time varying image encoding system and image processor
US5237686A (en) 1989-05-10 1993-08-17 Mitsubishi Denki Kabushiki Kaisha Multiprocessor type time varying image encoding system and image processor with memory bus control table for arbitration priority
JP2836902B2 (ja) 1989-05-10 1998-12-14 三菱電機株式会社 マルチプロセッサ型動画像符号化装置及びバス制御方法
JPH07336676A (ja) 1994-06-08 1995-12-22 Oki Electric Ind Co Ltd 画像送信装置、画像受信装置、分散型画像通信システム及び集中型画像通信システム
JPH08106536A (ja) 1994-10-07 1996-04-23 Kokusai Electric Co Ltd 画像の抽出・圧縮方法、画像伝送装置、画像記録装置
US6072830A (en) * 1996-08-09 2000-06-06 U.S. Robotics Access Corp. Method for generating a compressed video signal
US7581027B2 (en) * 2001-06-27 2009-08-25 Ricoh Co., Ltd. JPEG 2000 for efficent imaging in a client/server environment
US7200272B2 (en) * 2002-01-31 2007-04-03 Canon Kabushiki Kaisha Image processing method storing input encoded data into a memory
JP4064196B2 (ja) * 2002-10-03 2008-03-19 株式会社リコー クライアントコンピュータ、サーバコンピュータ、プログラム、記憶媒体、画像データ処理システム及び画像データ処理方法
JP2005057738A (ja) * 2003-07-18 2005-03-03 Canon Inc 信号処理装置、信号処理方法及びプログラム
US7305139B2 (en) * 2004-12-17 2007-12-04 Microsoft Corporation Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform

Also Published As

Publication number Publication date
US7697768B2 (en) 2010-04-13
JP2006211006A (ja) 2006-08-10
US20060168350A1 (en) 2006-07-27

Similar Documents

Publication Publication Date Title
JP4384607B2 (ja) 画像処理装置
US10666863B2 (en) Adaptive panoramic video streaming using overlapping partitioned sections
EP3804349B1 (en) Adaptive panoramic video streaming using composite pictures
JP4345829B2 (ja) 画像表示システム、画像表示装置、画像表示方法およびプログラム
JP4926601B2 (ja) 映像配信システム、クライアント端末及びその制御方法
JP5326234B2 (ja) 画像送信装置、画像送信方法および画像送信システム
JP2007025073A (ja) データ伝送方法、データ送信装置及びデータ受信装置、並びにプログラム
US8358363B2 (en) Video-processing apparatus, method and system
JP4205634B2 (ja) 画像送信装置で使用される方法、およびプログラム
JP5915604B2 (ja) 情報処理装置、プログラム及び情報処理方法
CN111405347A (zh) 画面显示方法、装置、电子设备及可读存储介质
JP4595132B2 (ja) 画像配信方法、画像表示記録方法、およびそれらのプログラム
US11284094B2 (en) Image capturing device, distribution system, distribution method, and recording medium
KR100579012B1 (ko) 다중 비트율을 지원하는 실시간 동영상 스트림 전송시스템
JP2008131264A (ja) 監視カメラ、画像記録表示装置及び監視カメラシステム
JP4798594B2 (ja) 画像信号処理装置および画像配信システム
JPH11187383A (ja) 映像監視システム及び映像監視方法
JP2000092486A (ja) 動画像送信装置および動画像再生装置ならびに動画像送信方法および動画像再生方法
JP2001128194A (ja) 立体映像処理装置、立体映像処理方法及び記憶媒体
CN111699672B (zh) 视频控制装置和视频控制方法
JPH09116898A (ja) 映像信号伝送システム
JP2016065958A (ja) 表示制御システム、表示制御装置、及びプログラム
JP2006270346A (ja) 映像配信システムおよびネットワークカメラ
JP6272124B2 (ja) マルチディスプレイシステム
JP2022094671A (ja) 撮像システム、配信装置、撮像装置、制御方法、及び、プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071026

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090925

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4384607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees