JP3976942B2 - 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 - Google Patents
画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 Download PDFInfo
- Publication number
- JP3976942B2 JP3976942B2 JP10929399A JP10929399A JP3976942B2 JP 3976942 B2 JP3976942 B2 JP 3976942B2 JP 10929399 A JP10929399 A JP 10929399A JP 10929399 A JP10929399 A JP 10929399A JP 3976942 B2 JP3976942 B2 JP 3976942B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- image data
- frame
- security
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000008569 process Effects 0.000 claims description 40
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 74
- 238000010586 diagram Methods 0.000 description 35
- 238000013139 quantization Methods 0.000 description 32
- 239000000872 buffer Substances 0.000 description 30
- 230000008859 change Effects 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
- H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2541—Rights Management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体に関し、特に画像の著作権保護を行うための画像処理に関するものである。
【０００２】
【従来の技術】
近年、動画像符号化技術の標準化が急速に進んでいる。MPEG-1, 2やH.261, H.263 （これらの符号化方式はＩＳＯ(International Organization for Standardization：国際標準化機構)やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている）といった符号化の標準が制定されおり、さらにコンピュータ・放送・通信など多くの領域で利用できる、汎用的な次世代マルチメディア符号化規格としてMPEG-4の国際標準化作業が進められている。上記符号化技術によって画像のディジタル化が進み、動画像データの蓄積、通信を急速に発展させた。
【０００３】
例えばMPEG-4においては、例えばある瞬間の動画シーンを、その構成要素である「人」「自動車」「背景」「音楽」「ビデオ」などのオブジェクト毎の集合体と考え、各オブジェクト毎に適応的な符号化処理を行って動画像データを高能率に符号化する。
【０００４】
MPEG-4のようなマルチオブジェクト符号化技術においては、圧縮符号化された各オブジェクトの組み合わせ方で１つのシーンが表現される。従って、あるMPEG-4データに他のMPEG-4データからのオブジェクトデータを再利用して別のシーンを容易に表現することが可能である。
【０００５】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。即ち、著作権が保護されることが十分に保証されていない規格に対しては、安心して優良なコンテンツを提供することができない、という問題が生じている。
【０００６】
MPEG-4ではこの問題は深刻である。何故ならば上述したようにMPEG-4ではオブジェクト別に符号化され、操作／加工することが可能であるからである。従って、MPEG-4のようなマルチオブジェクト符号化では、オブジェクト単位の知的所有権保護は円滑な各オブジェクト再利用の観点から当然の要求となり、また、その対象が人等であった場合、肖像権の保護も必要となってきている。
【０００７】
そこで、動画像の一部の著作権を保護するために、動画像の一部を再生させないために動画像の復号を一時的に停止させる方法が考えられる。動画像での肖像権や著作権を考えた時、それらが関係する部分の復号を停止させ、関係する部分が終了した後、復号を再開する方式である。
【０００８】
【発明が解決しようとする課題】
しかしながら、以下のような問題が発生する。
【０００９】
動画像の符号化方式ではフレーム間相関を利用した符号化が一般的に用いられる。前述のH.261, H.263やMPEG-1, 2さらにはMPEG-4といった符号化方式が有名である。これらの符号化方式では基本的に時間的に前のフレーム或いは前後のフレームを参照し、動き補償を行って符号化を行っている。
【００１０】
図２５にH.261, H.263等の再生の様子を示す。I*はフレーム内符号化（イントラ(intra)符号化）を行うフレームを、P*はフレーム間符号化（インター(inter)符号化）するフレームを表している。図２５中で時刻は時間の流れる方向、Securityは復号化処理を止める期間を黒帯で示し、符号は符号化処理順の画面の並びを示し、表示は表示順の画面の並びを示す。
【００１１】
今、P4からP9の期間に対して著作権の保護（Security）する目的で復号が停止されたとする。動画像の復号がP3で停止し、以後復号が再開されるまで画像が表示されない状態となる。復号の停止と同時に、バッファへの符号化データの書き込みも停止するため、P4からP9の符号化データは廃棄される。そのため、P10からの復号を開始すると本来P10が参照すべきP9は廃棄されているので、P10以降の復号処理が正常に行われず、フレーム内符号化が行われているI1が復号されるまでのP10からP13のフレームの画像が乱れたり、或いは復号動作が中断してしまう。
【００１２】
図２６にMPEG-1, 2, 4等の再生の様子を示す。B*は両方向（双方向）フレーム間符号化するフレームを表している。図２６中で時刻は時間の流れる方向、Securityは復号化処理を止める期間を黒帯で示し、符号は符号化処理順の画面の並びを示し、表示は表示順の画面の並びを示す。Bフレームによって画面の符号化処理順序と原画面の順序とは異なっている。
【００１３】
今、B10からP3の符号化データに対して著作権の保護によって復号が停止されたとする。動画像の復号がB10で停止し、以後復号が再開されるまで画像が表示されない状態となる。復号の停止と同時に、バッファへの符号化データの書き込みも停止するため、B11からP3の符号化データは廃棄される。そのため、復号が禁止された時、P1は復号されているが、B11が復号されず、1フレーム抜けたり、P1を表示できなかったりする。
【００１４】
また、復号を再開した時、B30からの復号を開始すると本来B30が参照すべきP3は廃棄されているので、B30以降の復号処理が正常に行われず、フレーム内符号化が行われているI1が復号されるまで画像に乱れが生じる。B30やB31、B40やB41のフレーム画像の復号処理が正常に行われず、画像が乱れたり、復号動作が中断してしまう。
【００１５】
従って、本発明は前記課題を考慮して、復号側で画像の著作権保護によって復号許可及び不許可の切り替えがなされた際に、復号側で特別な処理を施すことなく、正常な画像を再生可能とする画像処理装置及び方法並びに画像処理プログラムが記録されたコンピュータ可読記録媒体を提供することを目的としている。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、画像データを入力する入力手段と、前記画像データの少なくとも著作権保護を終了する時刻情報を含むセキュリティデータを生成する生成手段と、少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定手段と、前記設定手段で設定された符号化モードで、前記画像データを符号化する符号化手段と、前記符号化手段で符号化された画像データと前記セキュリティデータを多重化する多重化手段を有し、前記設定手段は、前記時刻情報より著作権保護を終了する直後に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする。
また、本発明の画像処理装置は、画像データを入力する入力手段と、前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成手段と、少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定手段と、前記設定手段で設定された符号化モードで、前記画像データを符号化する符号化手段と、前記符号化手段で符号化された画像データと前記セキュリティデータを多重化する多重化手段を有し、前記設定手段は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする。
また、本発明の画像処理装置は、画像データを入力する入力手段と、前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成手段と、少なくともイントラ符号化モードと前方向予測符号化モードと双方向予測符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定手段と、前記設定手段で設定された符号化モードで、前記画像データを符号化する符号化手段と、前記符号化手段で符号化された画像データと前記セキュリティデータを多重化する多重化手段を有し、前記設定手段は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化、もしくは、前方向予測符号化するように符号化モードを設定することを特徴とする。
【００１７】
本発明の画像処理方法は、画像データを入力する入力工程と、前記画像データの少なくとも著作権保護を終了する時刻情報を含むセキュリティデータを生成する生成工程と、少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定工程と、前記設定工程で設定された符号化モードで、前記画像データを符号化する符号化工程と、前記符号化工程で符号化された画像データと前記セキュリティデータを多重化する多重化工程を有し、前記設定工程は、前記時刻情報より著作権保護を終了する直後に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする。
また、本発明の画像処理方法は、画像データを入力する入力工程と、前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成工程と、少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定工程と、前記設定工程で設定された符号化モードで、前記画像データを符号化する符号化工程と、前記符号化工程で符号化された画像データと前記セキュリティデータを多重化する多重化工程を有し、前記設定工程は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする。
また、本発明の画像処理方法は、画像データを入力する入力工程と、前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成工程と、少なくともイントラ符号化モードと前方向予測符号化モードと双方向予測符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定工程と、前記設定工程で設定された符号化モードで、前記画像データを符号化する符号化工程と、前記符号化工程で符号化された画像データと前記セキュリティデータを多重化する多重化工程を有し、前記設定工程は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化、もしくは、前方向予測符号化するように符号化モードを設定する。
【００１９】
【発明の実施の形態】
＜第１の実施例＞
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。
【００２０】
図１は、本発明の第１の実施例としての画像処理装置の構成を示すブロック図である。
【００２１】
図１において、１０００は動画像の一部または全てに再生を許可したり、禁止したりするセキュリティ情報を符号化するセキュリティ符号化器である。１００１は動画像データを符号化するビデオ符号化部である。
【００２２】
本実施例では、動画像符号化データがMPEG-1符号化方式で符号化する場合について説明する。MPEG-1符号化方式についてはISO/IEC11172-2に詳細が記載されているので説明を省略する。更に、説明を容易にするためにフレーム単位での符号化されているものとし、フレーム内符号化を行うIフレームモードとフレーム間相関を用いるPフレームモードとからなっているものとする。
【００２３】
１００２はセキュリティ符号化データと動画像符号化データを多重化し、動画像データを生成する多重化器、１００３は多重化された動画像データを蓄積している記憶装置である。
【００２４】
１００５は通信回路であり、LANや公衆回線、無線回線、放送電波等で構成されている。１００４，１００６は通信インターフェースであり、通信回路１００５から動画像データを送受信する。
【００２５】
１００７は動画像データをセキュリティ符号化データと動画像符号化データに分離する分離器、１００８はセキュリティ符号化データを復号し、認証データと比較して動画像の再生の停止と再生の再開を指示するセキュリティ復号部、１００９は動画像符号化データを復号し、動画像を再生するビデオ復号部、１０１０は再生された動画像を表示するモニタである。
【００２６】
上記のように構成された装置における動画像データの処理動作を以下で説明する。
【００２７】
不図示の操作者は、ビデオ符号化部１００１に動画像データを入力し、著作権の保護を開始する時刻、著作権の保護を終了する時刻、セキュリティを解除する解除キーを示すセキュリティ情報をセキュリティ符号化部１０００に入力する。
【００２８】
ここでセキュリティ符号化部１０００について詳細に説明する。
【００２９】
図２は、セキュリティ符号化部１０００の詳細なブロック図である。
【００３０】
図２において、１０１はセキュリティ情報を入力する入力端子、１０２はセキュリティ情報に基づき、復号を禁止するフレームを決定するセキュリティ設定指示器、１０３はセキュリティ情報を符号化するセキュリティ符号化器、１０４は符号化されたセキュリティ符号化データを出力する出力端子、１０５はセキュリティ設定指示器１０２の出力に基づき、ビデオ符号化部１００１を制御する制御信号を発生させる制御信号発生器、１０６はシステム全体の時間の同期を図るためのタイマー、１０７は制御信号を出力する出力端子である。
【００３１】
上記のように構成されたセキュリティ符号化部１０００の符号化動作を以下で説明する。
【００３２】
セキュリティ設定指示器１０２は入力されたセキュリティ情報を禁止が発生する時刻順に並び替え、これを保持しておく。セキュリティ符号化器１０３はこれらのセキュリティ情報を符号化し、出力端子１０４から多重化器１００２へ出力する。
【００３３】
セキュリティ符号化データについて詳細に説明する。
【００３４】
図３は、セキュリティ符号化データの構成を示す。
【００３５】
２００１は符号長を表すCodeLength符号、２００２は著作権の認証に必要な情報を表すIPcode符号、２００３は著作権等の保護を開始する時間を示すSecurityStartTime符号、２００４は著作権等の保護を解除する時間を示すSecurityEndTime符号である。尚、２００２〜２００４の符号はセキュリティをかけたい動画像部分が分割されて複数あればその組み合わせが複数連続する。
【００３６】
尚、本実施例ではセキュリティ符号化データは、多重化器１００２により動画像データの先頭に多重化するものとする。しかし、この方式に限定されるものではなく、セキュリティ符号化データは、動画像データに時分割多重されて伝送されてもよい。
【００３７】
図２の説明に戻り、セキュリティ設定指示器１０２はセキュリティの著作権等の保護を開始する時間と著作権等の保護を終了する時間を制御信号発生器１０５に順に入力する。制御信号発生器１０５はタイマ１０６の時刻とこれらの時刻を比較し、著作権保護のための制御信号を発生させ、出力端子１０７からビデオ符号化部１００１に出力する。
【００３８】
次に、ビデオ符号化部１００１を詳細に説明する。
【００３９】
図４は、ビデオ符号化部１００１の詳細なブロック図である。
【００４０】
図４において、１２１は画像データを入力する入力端子、１２２はフレーム単位の画像を格納するフレームメモリ、１２３はマクロブロック毎に画素単位の差分を求める減算器、１２４はDCT変換と変換係数を量子化するDCT・量子化器、１２５は得られた量子化結果をエントロピー符号化するテクスチャ符号化器である。
【００４１】
１２６は量子化された変換係数を入力し、逆量子化、逆DCT変換を行う逆量子化・IDCT器、１２７はマクロブロック毎に画素単位の加算を行う加算器、１２８は動き補償を行うためのフレーム画像を格納する参照フレームメモリ、１２９はフレームメモリ１２２と参照フレームメモリ１２８から動きベクトルを求め、動き補償を行う動き補償器である。１３０は動き補償器１２９の出力結果であるマクロブロックの符号化モード、動きベクトル等の動き補償に関する符号を生成する動き補償符号化器である。
【００４２】
１３１は図２の制御信号発生器１０５から制御信号を入力する入力端子、１３２は符号化のフレームモードを設定するフレームモード設定器、１３３はフレームモードを含むヘッダを符号化するヘッダ符号化器、１３４はテクスチャ符号化器１２５，動き補償符号化器１３０，ヘッダ符号化器１３３の出力データを多重化する多重化器、１３５は多重化器より発生された符号化データを一時蓄積するバッファである。
【００４３】
１３６は符号量の制御を行うレート制御器であり、DCT・量子化器１２４の量子化係数を制御する。１３７は多重化器１３４の出力を外部に出力する出力端子である。
【００４４】
上記のように構成されたビデオ符号化部１００１における符号化処理を以下で説明する。
【００４５】
入力端子１２１から動画像の画像データが順次入力され、フレームメモリ１２２に格納される。入力端子１３１から符号化するフレームのセキュリティ情報が禁止／許可を示す制御信号が入力される。
【００４６】
最初に、セキュリティがかからず、フレームモード設定器１３２に「許可」が入力されている状態について説明する。
【００４７】
フレームモード設定器１３２は、一定の周期でフレーム内符号化を行い、その他のフレームではフレーム間符号化を行う。尚、本実施例では１５フレームおきにIフレームモードで符号化したIフレームが存在し、その他の１４フレームがPフレームモードで符号化したPフレームがあるものとする。
【００４８】
フレームモード設定器１３２は、動き補償器１２９、フレームメモリ１２２、参照フレームメモリ１２８に制御信号を送り、Pフレームモードの時には動き補償を行い、Iフレームモードの時には動き補償を行わないように制御する。また、決定したフレームモードをヘッダ符号化器１３３へ出力する。ヘッダ符号化器１３３はMPEG-1の仕様に則してヘッダの符号化データを生成する。
【００４９】
動き補償器１２９は、マクロブロック（例えば、１６×１６画素で構成されたブロック）毎に、Iフレームモードの時は０を出力し、Pフレームモードの時はフレームメモリ１２２と参照フレームメモリ１２８とを参照し、動きベクトルを求め、動き補償による予測マクロブロックを出力する。
【００５０】
フレームメモリ１２２に格納されたフレーム画像データはマクロブロック毎に減算器１２３に入力される。減算器１２３は、動き補償器１２９から出力されるマクロブロックの値と画素毎の減算を行う。減算器１２３の減算結果はDCT・量子化器１２４へ出力され、DCT変換後、量子化係数によって量子化される。
【００５１】
ＤＣＴ・量子化器１２４の量子化結果は、テクスチャ符号化器１２５へ出力され、マクロブロックの符号化モード，量子化係数，量子化結果等をMPEG-1の符号化仕様に基づいて符号化（ハフマン符号に基くエントロピー符号化（可変長符号化））し、多重化器１３４へ出力する。
【００５２】
また、DCT・量子化器１２４の出力データは、逆量子化・IDCT器１２６に入力され、逆量子化、逆DCT変換を行い、画素データまたは動き補償による誤差データを獲得する。前記誤差データは、加算器１２７で動き補償器１２９の結果と加算される。
【００５３】
加算器１２７で求められた画素値は、参照フレームメモリ１２８に格納される。動き補償器１２９で得られた動きベクトルは、動き補償符号化器１３０へ出力し、動き補償符号化器１３０は前記動きベクトルを符号化して多重化器１３４へ出力する。
【００５４】
多重化器１３４は、テクスチャ符号化器１２５、動き補償符号化器１３０、ヘッダ符号化器１３３からの出力をMPEG-1の形式に従って多重化し、バッファ１３５へ出力する。バッファ１３５に蓄積された符号化データは、出力端子１３７から出力される。また、バッファ内に蓄積されている符号量をレート制御器１３７が監視し、DCT・量子化器１２４の量子化係数を変化させて符号の発生量を制御する。
【００５５】
次に、セキュリティがかかり、セキュリティ情報が許可から禁止になる場合について説明する。
【００５６】
この時、フレームモード設定器１３２は特別な動作はせず、通常と変らずそれまでのIフレームモードとPフレームモードの周期にしたがってモードの設定を行う。このため、他の部分に関してもセキュリティが許可の状態と変らず動作する。
【００５７】
次に、セキュリティが解除され、セキュリティ情報が禁止から許可になる場合について説明する。
【００５８】
この時、フレームモード設定器１３２は解除された最初のフレームのフレームモードをIフレームモードとする。従って、ヘッダ符号化器１３３は符号化されるフレームはIフレームモードであること示す符号化データを出力し、動き補償器１２９は動作せず、動き補償を行わない。そのIフレームに続くフレーム以降は予め設定してあったIフレームとPフレームの周期に従ってモードの設定を行う。
【００５９】
出力端子１３７から出力された動画像の符号化データは、セキュリティ符号化データと多重化器１００２で多重化される。
【００６０】
多重化された動画像データは記憶装置１００３に蓄積されたり、通信インターフェース１００４を介して通信回路１００５へ送出される。
【００６１】
次に、上述のように得られた動画像データの復号動作について詳細に説明する。
【００６２】
記憶装置１００３や通信インターフェース１００６から上述のように生成された動画像データを入力する。入力された動画像データの動画像符号化データとセキュリティ符号化データとは分離器１００７で分離され、動画像符号化データはビデオ復号部１００５に、セキュリティ符号化データはセキュリティ復号部１００４に出力される。
【００６３】
ここでセイキュリティ復号部１００８について詳細に説明する。
【００６４】
図５は、セキュリティ復号部１００８の詳細なブロック図を説明する。
【００６５】
図５において、１５１はセキュリティ符号化データを入力する入力端子、１５２はセキュリティ符号化データを復号し、認証情報、著作権保護を行う時間に関する情報を獲得するセキュリティ復号器、１５３は認証情報を解析し、復号を行うか禁止するかを決定するセキュリティ認証器、１５４は動画像の再生を正しく行うために時刻を発生させるのタイマ、１５５はセキュリティ認証器１５３の決定に従ってビデオ復号部１００９の制御を行う信号を発生させる制御信号発生器、１５６は制御信号発生器１５５で発生した制御信号をビデオ復号部１００５に送出する出力端子である。
【００６６】
上記のように構成されたセキュリティ復号部１００８の復号動作を以下で説明する。
【００６７】
入力端子１５１から入力されたセキュリティ符号化データは、セキュリティ復号器１５２で復号され、図３に示す符号から、CodeLength符号２００１を復号し、符号化データの全体量を把握し、セキュリティをかける各部分について、IPcode符号２００２、SecurityStartTime符号２００３、SecurityEndTime符号２００４を復号し、それぞれの情報を獲得する。
【００６８】
認証に必要な情報は、セキュリティ認証器１５３に入力される。また、制御信号発生器１５５は、セキュリティ認証器１５３からの指示が無い場合はビデオ復号部１００９が前記動画像符号化データの復号処理を行うように出力端子１５６からビデオ復号部１００９へ制御信号を出力する。
【００６９】
セキュリティ認証器１５３は、不図示の操作部により操作者が入力した認証情報とセキュリティ復号器１５２から復号された認証情報とを比較し、復号を許可するか否かを判定する。
【００７０】
その判定の結果、復号を許可する場合には制御信号発生器１５５には復号許可を知らせる。この時、すでにビデオ復号部１００９が動画像データの復号を行うように制御信号を発生させている場合は、その制御信号は変化させない。
【００７１】
一方、判定の結果、復号が禁止されている場合、セキュリティ認証器１５３は復号処理を禁止する信号を制御信号発生器１５５へ出力する。制御信号発生器１５５はセキュリティ復号器１５２から出力された該当する著作権保護を行う時間に関する情報とタイマ１５４から出力される時刻とを比較し、著作権保護を開始する時間と前記時刻が等しくなった時、動画像の復号を停止させる信号を出力端子１５６から出力する。また、該当する著作権保護を行う時間に関する情報とタイマ１５４から入力される時刻とを比較し、著作権保護を終了する時間と前記時刻が等しくなった時、動画像の復号を再開させる信号を出力端子１５６から出力する。
【００７２】
ビデオ復号部１００９は、動画像符号化データとセキュリティ復号部１００８から制御信号に基づいて復号処理を行う。
【００７３】
ここでビデオ復号部１００９について詳細に説明する。
【００７４】
図６は、ビデオ復号部１００９の詳細なブロック図である。
【００７５】
図６において、２０１は動画像符号化データを入力する画像データ入力端子、２０２はセキュリティ復号部１００８から制御信号を入力する制御信号入力端子、２０３は入力された動画像符号化データを格納するバッファである。
【００７６】
２０４はバッファ２０３からMPEG-1符号化データを読み出し、符号の内容を表すヘッダ情報と、動き補償を行うための動き補償符号、DCT変換係数を符号化したデータとをそれぞれ分離する分離器である。
【００７７】
２０５は分離器２０４によって分離されたヘッダ情報を復号するヘッダ復号器であり、各種スタートコード、画像のサイズ、各フレームの符号化モードを復号して情報を獲得する。
【００７８】
２０６は動き補償符号を復号し、各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得する動き補償復号器、２０７はテクスチャ復号器であり、符号を復号し、量子化係数、DCT変換係数の量子化結果等を獲得する。
【００７９】
２０８は逆量子化・IDCT器であり、量子化係数、DCT変換係数の量子化結果等を入力し、逆量子化、逆DCT変換を行い、画素データまたは動き補償による誤差データを獲得する。
【００８０】
２０９は動き補償結果と前記誤差データを加算する加算器、２１０は動き補償に必要な参照フレームを格納する参照フレームメモリ、２１１は参照フレームメモリ２１０の内容を動きベクトル復号器２０６の結果にしたがって動き補償を行う動き補償器である。
【００８１】
２１２は復号されたフレームの画像を出力するために一時格納する表示フレームメモリ、２１３はモニタ１０１０に動画像データを出力する出力端子である。
【００８２】
上記のように構成されたビデオ復号部１００９における復号化処理を以下で説明する。
【００８３】
まず、制御信号入力端子２０２からの制御信号が復号可能を指示している場合、動画像符号化データを画像データ入力端子２０１から入力し、その情報をバッファ２０３に蓄積する。一方、制御信号入力端子２０２からの制御信号が復号禁止を指示している場合、前記動画像符号化データのバッファ２０３への蓄積は行わず、データを読み捨てる。
【００８４】
まず、制御信号が復号可能を指示している場合の復号動作について説明する。
【００８５】
分離器２０４は、バッファ２０３から符号化データを入力し、符号の内容を表すヘッダ情報と、動き補償を行うための動き補償符号、DCT変換係数を符号化したデータをそれぞれ分離する。ヘッダ復号器２０５は、各種スタートコード、画像のサイズ、各フレームの符号化モードを復号して情報を獲得する。
【００８６】
動き補償復号器２０６は、分離器２０４によって分離された動き補償符号を復号し、各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得し、Pフレームであればこれらの情報を動き補償器２１１に入力し、動き補償を行う。
【００８７】
テクスチャ復号器２０７は、分離器２０４によって分離された符号化データを復号して量子化係数、DCT変換係数の量子化結果等を獲得する。その復号された量子化データは、逆量子化・IDCT器２０８に入力され、画素データまたは動き補償による誤差データを求める。
【００８８】
前記誤差データは、加算器２０９において動き補償器２１１からの出力データと加算される。動き補償器２１１は、動き補償復号器２０６からフレーム内符号を行うマクロブロックであれば値０を、そうでなければ得られた動きベクトルにしたがって、参照フレームメモリ２１０から動き補償を行い、参照マクロブロックデータを加算器２０９へ出力する。
【００８９】
加算器２０９で求められた画素値は参照フレームメモリ２１０及び表示フレームメモリ２１２に格納される。表示フレームメモリ２１３に格納された画像データは、出力端子２１３を介してモニタ１０１０へ出力され表示される。
【００９０】
次に、制御信号が復号許可から復号禁止を指示した場合の復号動作について説明する。
【００９１】
バッファ２０３は、符号の入力を停止させ、ヘッダ復号器２０５、動き補償復号器２０６、動き補償器２１１、テクスチャ復号器２０７の動作も停止させる。さらに、参照フレームメモリ２１０、表示フレームメモリ２１２の更新を禁止する。この結果、出力端子２１２からは最後に復号されたフレームの画像データが出力される。このため、モニタ１０１０では復号が許可されていた最終フレームが表示され続ける。
【００９２】
次に、制御信号が復号禁止から復号許可を指示し復号の再開を指示した場合の復号動作について説明する。
【００９３】
バッファ２０３は、符号の入力を再開させ、ヘッダ復号器２０５を動作させる。先頭のフレームはIフレームであるから、テクスチャ復号器２０７の動作を再開させ、参照フレームメモリ２１０、表示フレームメモリ２１２の更新を再開する。以後、制御信号が復号禁止になるまで、各部の動作を継続させ、Iフレーム、Pフレームの復号を継続する。これにより、モニタ１０１０の表示も更新され、動画像の表示が再開される。
【００９４】
上述したような一連の選択動作により復号が再開される最初のフレームに対して、フレーム内符号化処理を行うことでフレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【００９５】
例えば、図７に示すようにP4〜P9までの符号化フレーム期間が著作権の保護（Security）がかかり、認証できなくても、Securityがかかった時点から、そのSecurityがかかる直前のフレームのP3のフレームの表示が続くようになり、Securityが解除された次のフレームがIフレームに必ずなっているので、Securityが解除された次のフレームから正しく復号でき、画像の途切れや画像の乱れがなくなり、しかもSecurityの解除後の画像復帰までに遅延（画面飛び）が全くなくなり、正常な画像をユーザーに提示することができる。
【００９６】
尚、上記実施例では復号が禁止されている期間、禁止直前に復号された画像が出力されることになるが、所定の画像を予めメモリ等に記憶しておき、その所定画像を出力するようにしてもよい。
【００９７】
また、本実施例においてメモリ構成等は適宜変更可能である。動画像の符号化はMPEG-1符号化方式に限定されず、フレームをフィールドとすることでMPEG-2符号化方式でも可能であり、H.261, H.263等の符号化方式でも可能なことは言うまでもない。
【００９８】
また、セキュリティ符号化データのフォーマット、認証方式、著作権等を保護する部分の指定法式等は上記実施例に限定されず、他のフォーマット、認証方式等を用いてももちろん構わない。例えば、図８に示すように図３の各符号に加え、音声に対する著作権保護か、動画像に対する著作権かを識別する為のA/Vフラグ２００５が追加してももちろん構わない。
【００９９】
また、MPEG-4のマルチオブジェクトについては図９に示すようにオブジェクトを識別するためのObjectcode符号２００６を追加し、オブジェクト毎にセキュリティを設定、符号化し、ビデオ符号化部を複数持ち、各ビデオ符号化部で各オブジェクトのセキュリティが解除された先頭のVOPをI-VOPで符号化することによって復号の安全性の確保し、画質の劣化を防ぐことができる。
【０１００】
更に、セキュリティが解除された先頭にMPEG-1,2であればGroup of Pictureヘッダを、MPEG-4であればGroup of VOPのヘッダを設けてももちろん構わない。
【０１０１】
＜第２の実施例＞
第２の実施例の画像処理装置の構成は図１の構成と同様であり，ビデオ符号化部１００１の内部構成及び処理が異なり、他は第１の実施例と同様である。従って、ここでは第２の実施例におけるビデオ符号化部１００１の構成及び動作のみを説明する。
【０１０２】
本実施例では、動画像符号化データがMPEG-1符号化方式で符号化する場合について説明する。MPEG-1符号化方式についてはISO/IEC11172-2に詳細が記載されているので説明を省略する。更に、説明を容易にするためにフレーム単位での符号化されているものとし、フレーム内符号化を行うIフレームモード、フレーム間相関を用いて時間的に前のフレームから予測するPフレームモード及び時間的に前後のフレームから予測するBフレームモードとからなっているものとする。
【０１０３】
次に、本実施例でのビデオ符号化部１００１を詳細に説明する。
【０１０４】
図１０は、第２の実施例におけるビデオ符号化部１００１の詳細なブロック図である。
【０１０５】
図１０において、３０１は画像データを入力する入力端子、３０２，３０３，３０４はフレーム単位の画像を格納するフレームメモリ、３０５はマクロブロック毎に画素単位の差分を求める減算器、３０６はDCT変換と変換係数を量子化するDCT・量子化器、３０７は得られた量子化結果をエントロピー符号化するテクスチャ符号化器である。
【０１０６】
３０８は量子化された変換係数を入力し、逆量子化、逆DCT変換を行う逆量子化・IDCT器、３０９はマクロブロック毎に画素単位の加算を行う加算器、３１０，３１１は動き補償を行うためのフレーム画像を格納する参照フレームメモリ、３１２はフレームメモリ３０２，３０３，３０４のいずれかと参照フレームメモリ３１０または３１１から動きベクトルを求め、動き補償を行う動き補償器である。
【０１０７】
３１３は動き補償器３１２の出力結果であるマクロブロックの符号化モード、動きベクトル等の動き補償に関する符号を生成する動き補償符号化器である。
【０１０８】
３１４は図２の制御信号発生器１０５から制御信号を入力する入力端子、３１５は符号化のフレームモードを設定するフレームモード設定器、３１６はフレームモードを含むヘッダを符号化するヘッダ符号化器、３１７はテクスチャ符号化器３０７，動き補償符号化器３１３，ヘッダ符号化器３１６の出力データを多重化する多重化器、３１８は多重化器より発生された符号化データを一時蓄積するバッファである。
【０１０９】
３１９は符号量の制御を行うレート制御器であり、DCT・量子化器３０６の量子化係数を制御する。３２０はバッファ３１８の出力を外部に出力する出力端子である。
【０１１０】
上記のように構成されたビデオ符号化部１００１における符号化処理を以下で説明する。
【０１１１】
入力端子３０１から動画像の画像データが順次入力され、フレームメモリ３０２に格納される。入力端子３１４から符号化するフレームのセキュリティ情報が禁止／許可を示す制御信号が入力される。
【０１１２】
最初に、セキュリティがかからず、フレームモード設定器３１５に「許可」が入力されている状態について説明する。
【０１１３】
フレームモード設定器３１５は、一定の周期でフレーム内符号化を行い、その他のフレームではフレーム間符号化を行う。尚、本実施例では１５フレームおきにIフレームモードで符号化したIフレームが存在し、その他の４フレームがPフレームモードで符号化したPフレームがあるものとし、残りをBフレームモードで符号化したBフレームがあるものする。PフレームとIフレームまたはPフレームの間に2フレームのBフレームが挟まった並びで１つの周期を形成する。すなわち、
I B B P B B P B B P B B P B B I B B P…
となり、Iフレームから次のIフレームまでが15フレームである。
【０１１４】
フレームメモリ３０２，３０３，３０４には順にフレーム画像が入力される。最初のフレームはフレームメモリ３０２に、次のフレーム画像はフレームメモリ３０３に、その次のフレーム画像はフレームメモリ３０４に格納される。その次はフレームメモリ３０２に格納される。以後、順番に格納を行う。
【０１１５】
フレームモード設定器３１５は、フレームモードを上記の周期に従って決定する。決定したフレームモードをヘッダ符号化器３１６へ出力する。ヘッダ符号化器３１６はMPEG-1の仕様に則してヘッダの符号化データを生成する。
【０１１６】
フレームモード設定器３１５がIフレームモードを設定した時には動き補償を行わないため、動き補償器３１２に制御信号を送り、動き補償は行わず、０を出力するように制御する。フレームメモリ３０２，３０３，３０４のうち、Iフレームモードで符号化するフレームが格納されたフレームメモリから画像データを読み出すように制御する。
【０１１７】
フレームモード設定器３１５がPフレームモードを設定した時には動き補償を行うように制御する。フレームメモリ３０２，３０３，３０４のうち、Pフレームモードで符号化するフレームが格納されたフレームメモリから画像データを読み出すように制御する。参照フレームメモリ３１０，３１１から最後に符号化されたフレーム画像が格納されている参照フレームメモリから画像データを読み出すように制御する。これらを動き補償器３１２に入力して動き補償を行う。
【０１１８】
フレームモード設定器３１５がBフレームモードを設定した時には動き補償を行うように制御する。フレームメモリ３０２，３０３，３０４のうち、Bフレームモードで符号化するフレームが格納されたフレームメモリから画像データを読み出すように制御する。参照フレームメモリ３１０，３１１の両方から画像データを読み出すように制御する。これらを動き補償器３１２に入力して動き補償を行う。また、この時、Bフレームモードで符号化された画像データの参照フレーム３１０，３１１への書き込みは行わない。
【０１１９】
動き補償器３１２は、マクロブロック（例えば、１６×１６画素で構成されたブロック）毎に、Iフレームモードの時は０を出力する。
【０１２０】
Pフレームモードの時は、フレームメモリ３０２，３０３，３０４のうち符号化対象のフレームが格納されているフレームメモリと、参照フレームメモリ３１０，３１１のうち直前に符号化されたフレーム画像が格納されている参照フレームメモリとを参照し、動きベクトルを求め、動き補償による予測マクロブロックを出力する。
【０１２１】
Bフレームモードの時はフレームメモリ３０２，３０３，３０４のうち符号化対象のフレームが格納されているフレームメモリと参照フレームメモリ３１０，３１１の両方とを参照し、動きベクトルを求め、動き補償による予測マクロブロックを出力する。
【０１２２】
フレームメモリから読み出されたフレーム画像データはマクロブロック毎に減算器３０５に入力される。減算器３０５は、動き補償器３１２から出力されるマクロブロックの値と画素毎の減算を行う。減算器３０５の減算結果はDCT・量子化器３０６へ出力され、DCT変換後、量子化係数によって量子化される。
【０１２３】
ＤＣＴ・量子化器３０６の量子化結果は、テクスチャ符号化器３０７へ出力され、マクロブロックの符号化モード，量子化係数，量子化結果等をMPEG-1の符号化仕様に基づいて符号化（ハフマン符号に基くエントロピー符号化（可変長符号化））し、多重化器３１７へ出力する。
【０１２４】
また、DCT・量子化器３０６の出力データは、逆量子化・IDCT器３０８に入力され、逆量子化、逆DCT変換を行い、画素データまたは動き補償による誤差データを獲得する。前記誤差データは、加算器３０９で動き補償器３１２の結果と加算される。
【０１２５】
加算器３０９で求められた画素値は、IフレームモードおよびPフレームモードの場合のみ、参照フレームメモリ３１０、または参照フレームメモリのうちより過去に符号化された画像データが格納されていた参照フレームメモリに格納される。
【０１２６】
動き補償器３１２で得られた動きベクトルは、動き補償符号化器３１３へ出力し、動き補償符号化器３１３は前記動きベクトルを符号化して多重化器３１７へ出力する。
【０１２７】
多重化器３１７は、テクスチャ符号化器３０７、動き補償符号化器３１３、ヘッダ符号化器３１６からの出力をMPEG-1の形式に従って多重化し、バッファ３１８へ出力する。
【０１２８】
バッファ３１８に蓄積された符号化データは、出力端子３２０から出力される。また、バッファ内に蓄積されている符号量をレート制御器３１９が監視し、DCT・量子化器３０６の量子化係数を変化させて符号の発生量を制御する。
【０１２９】
次に、セキュリティがかかり、セキュリティ情報が許可から禁止になる場合について説明する。
【０１３０】
この時、フレームモード設定器３１５はセキュリティ情報が許可から禁止になる直前のフレームモードによってフレームモードの変更を行う。図１１にその様子を示す。
【０１３１】
図１１は、セキュリティ情報が許可から禁止になる場合の符号化モードの変更の様子を説明する図である。
【０１３２】
図１１において、I*はIフレームモードで符号化されたフレームを示し、P*はPフレームモードで符号化されたフレームを示し、B*はBフレームモードで符号化されたフレームを示す。また矢印はセキュリティによって禁止になる位置を表している。
【０１３３】
図１１（ａ）は、動画像データの先頭である場合、またはgroup of Pictureの先頭でclosed_gop符号（MPEG符号データに含まれるデータのひとつでGOP内の画像が他のGOPから独立再生可能なことを示すフラグ）が１であった場合で、I0の次のB1から復号が禁止になる場合を示している。この時、符号化の順番においてもI0で復号を終了しても、復号ができなかったり、復号画像が乱れるフレームが無いので、フレームモードの変更は行われない。
【０１３４】
図１１（ｂ）は、I0、B1に続いて次のB2から復号が禁止になる場合を示している。この時、P3は表示の順番でB1の後に表示されるが、符号ではP3はB1の前にあるため、P3を復号すると復号側で表示される可能性がある。従って、本来BフレームであるB1のフレームをPフレームモードで符号化することに変更する。すると図１１（ｂ）に示す変更後符号順に示すようになり、Ｐ3は参照されなくなる。このとき、P3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１３５】
図１１（ｃ）は、I0、B1、B2に続いて次のP3から復号が禁止になる場合を示している。この時、図１１（ｂ）に示した場合と同様に符号ではP3はB2の前にあるため、P3を復号すると復号側で表示される可能性がある。従って、本来BフレームであるB1、B2のフレームをPフレームモードで符号化することに変更する。すると図１１（ｃ）に示す変更後符号順に示すようになり、P3は参照されなくなる。このとき、P3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１３６】
図１１（ｄ）は、P3の次から復号が禁止になる場合を示している。この時、符号ではP3はB1、B2の前にあるため、B1、B2が復号されない可能性がある。従って、本来BフレームであるB1、B2のフレームをPフレームモードで符号化することに変更する。すると図１１（ｄ）に示す変更後符号順に示すようになり、復号側で特別な構成をとらずともかならず、P1、P2が復号される。この時、図１１（ｅ）のようにP3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１３７】
次に、セキュリティが解除され、セキュリティ情報が禁止から許可になる場合について説明する。
【０１３８】
この時、フレームモード設定器３１５はセキュリティ情報が禁止から許可になる前後のフレームモードによってフレームモードの変更を行う。図１２にその様子を示す。
【０１３９】
図１２は、セキュリティ情報が禁止から許可になる場合の符号化モードの変更の様子を説明する図である。
【０１４０】
図１２において、矢印はセキュリティが解除され復号可能になる位置を表している。
【０１４１】
図１２（ａ）は、動画像データの先頭である場合、またはgroup of Pictureの先頭でclosed_gop符号が１であった場合で、I0の次のB1から復号が許可となる場合を示している。この時、I0に続くB1、B2、P3おいて、I0を参照しているために復号が正しく行えないという問題が生じる。このため、B1のフレームをIフレームモードで符号化することに変更する。すると図１２（ａ）に示す変更後符号順に示すようになり、復号側で特別な構成をとらずともかならず、B2、P3も正しく表示される。I3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１４２】
図１２（ｂ）は、I0、B1に続いて次のB2から復号が許可になる場合を示している。この時、B2、P3において、I0を参照しているために復号が正しく行えないという問題が生じる。このため、B2のフレームをIフレームモードで符号化し、B2のフレームをPフレームモードで符号化することに変更する。すると図１２（ｂ）に示す変更後符号順に示すようになり、復号側で特別な構成をとらずともかならず、I2、P3も正しく表示される。P3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１４３】
図１２（ｃ）は、I0、B1、B2に続いて次のP3から復号が許可になる場合を示している。この時、P3はI0を参照しているために復号が正しく行えないという問題が生じる。またP3の後にB1、B2があり、これらの復号や表示の処理をどうするかという問題が生じる。このため、符号の順を正しくするためにB1、B2のフレームをPフレームモードで符号化し、B2のフレームをPフレームモードで符号化することに変更する。すると図１２（ｃ）に示す変更後符号順に示すようになり、復号側で特別な構成をとらずともかならず、P3が正しく表示される。P3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１４４】
図１２（ｄ）は、P3の次から復号が許可になる場合を示している。この時、符号ではP3はB1、B2の前にあるため、B1、B2を復号してしまう可能性がある。このため、B1、B2の符号化データがP3の前にある必要が生じる。従って、B1、B2のフレームをPフレームモードで符号化することに変更する。すると図１２（ｄ）に示す変更後符号順に示すようになり、復号側で特別な構成をとらずともかならず、P3が正しく表示される。P3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。尚、図示されていないがP3の後の画面はIフレームモードで符号化されるようにフレームモードの変更を行う。
【０１４５】
または、図１２（ｅ）に示すようにB1をI0とP2を参照して符号化するようにし、B2のフレームをPフレームモードで符号化しても構わない。
【０１４６】
これらの符号化モードにしたがって符号化し、セキュリティに関する符号化モードの変更がない場合は通常の周期で符号化する。
【０１４７】
出力端子３２０から出力された動画像の符号化データは第１の実施例と同様にセキュリティ符号化データと多重化器１００２で多重化される。
【０１４８】
復号処理に関しては第１の実施例と同様なので説明は省略する。
【０１４９】
上述したような一連の選択動作によりセキュリティによって復号が停止させられたり、再開させられたりするフレーム及びその前後のフレームに対して、フレームモードを変更し、セキュリティによるの復号の停止／許可を跨いで動き補償を行わないことで復号側に特別な仕組みを設けなくても、フレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【０１５０】
例えば、図１３に示すようにP1〜B30までの符号化フレーム期間が著作権の保護（Security）がかかり、認証できなくても、Securityがかかった時点から、そのSecurityがかかる直前のフレームのP11フレームの表示が続くようになり、Securityが解除された次のフレームがIフレームに必ずなっているので、Securityが解除された次のフレームから正しく復号でき、画像の途切れや画像の乱れがなくなり、しかもSecurityの解除後の画像復帰までに遅延（画面飛び）が全くなくなり、正常な画像をユーザーに提示することができる。
【０１５１】
尚、上記実施例では復号が禁止されている期間、禁止直前に復号された画像が出力されることになるが、所定の画像を予めメモリ等に記憶しておき、その所定画像を出力するようにしてもよい。
【０１５２】
また、本実施例においてメモリ構成等は適宜変更可能である。動画像の符号化はMPEG-1符号化方式に限定されず、フレームをフィールドとすることでMPEG-2符号化方式でも可能であり、H.261, H.263等の符号化方式でも可能なことは言うまでもない。
【０１５３】
また、
I B B B P B B B P B B B P B B B I B B B P B B B P…
とGOP内の構成が変わっても、復号が停止時には、図１４や図１５に示すように、再開時には、図１６に示すようにフレーム及びその前後のフレームに対して、フレームモードを変更し、セキュリティによるの復号の停止／許可を跨いで動き補償を行わないことによって、復号側に特別な仕組みを設けなくても、フレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。このように任意の周期において実施がかのうであることは言うでもない。
【０１５４】
ＢフレームモードをＰフレームモードに変更するだけではなく、Ｉフレームモードに変更することも可能である。
【０１５５】
＜第３の実施例＞
図１７は、本発明の第３の実施例としての画像処理装置の構成を示すブロック図である。
【０１５６】
図１７において、４００は動画像符号化データを記憶する記憶装置である。尚、本実施例では説明を簡単にするために動画像の符号化方式として双方向予測符号化を用いていないH.261, H263方式を使用したとする。尚、本実施例は双方向予測符号化モード（Ｂフレームモード）を使用しないMPEG-1,2方式にも適用可能である。
【０１５７】
４０１は動画像の一部または全てに再生を許可したり、禁止したりするセキュリティ情報を設定するセキュリティ設定部、４０２は動画像符号化データをセキュリティ設定部の指示に従って変換する符号変換部、４０３はセキュリティ情報を符号化するセキュリティ符号化部、４０４はセキュリティ符号データと動画像符号データを多重化し動画像データを生成する多重化器、４０５は動画像データを記憶する記憶装置である。
【０１５８】
上記のように構成された装置における動画像データの処理動作を以下で説明する。
【０１５９】
不図示の操作者は、記憶装置４００に記憶されている動画像符号化データを選択する。また、動画像符号化データに対して、著作権の保護を開始する時刻、著作権の保護を終了する時刻、セキュリティを解除する解除キーを示すセキュリティ情報をセキュリティ設定部４０１に入力する。
【０１６０】
セキュリティ設定部４０１は、入力されたセキュリティ情報を禁止が発生する時刻順に並び替え、これを動画像の対応するフレームを認識するために保持しておく。セキュリティ符号化部４０３はこれらのセキュリティ情報を符号化し、多重化器４０４に出力する。
【０１６１】
符号変換部４０２は対応するフレーム、及びその周囲のフレームに関して符号を変換する。
【０１６２】
ここで、符号変換部４０２を詳細に説明する。
【０１６３】
図１８は、第３の実施例における符号変換部４０２の詳細なブロック図を示す。
【０１６４】
図１８において、４５１は動画像符号化データを入力する入力端子、４５２はH.261或いはH.263符号化方式で符号化された符号化データをヘッダ符号と画像符号化データに分離する分離器である。
【０１６５】
尚、前記ヘッダ符号とは、符号の特性を示す情報、例えば各種スタートコード、画像のサイズ、ビットレート、フレームモード等を符号化した符号である。前記画像符号化データとは量子化結果の符号、動きベクトルの符号、マクロブロックの符号化モード等、動画像の画像を表す符号である。
【０１６６】
４５３,４５４は分離器４５２によって分離されたそれぞれの符号を一時格納するバッファ、４５５はセキュリティ設定部４０１からフレーム単位のセキュリティを入力する入力端子、４５６はフレーム毎に設定されたセキュリティを判定して各部に指示を出すセキュリティ設定指示器、４５７，４６２はヘッダ符号を復号するヘッダ復号器である。
【０１６７】
４５８，４５９，４６０，４６１はセキュリティ設定指示器４５６の指示に従って入出力を選択するセレクタ、４６３はヘッダ情報を符号化するヘッダ符号化器、４６４は画像符号化データを復号して動画像の画像を得る復号器、４６５は動画像の画像を符号化して画像符号化データを得る符号化器である。
【０１６８】
４６６は発生した符号を多重化しH.261或いはH.263符号化データを獲得する多重化器、４６７は多重化器４６６から得られた動画像符号化データを出力する出力端子である。
【０１６９】
上記のように構成された符号変換部４０２における符号化処理を以下で説明する。
【０１７０】
入力端子４５１から動画像データが順次入力され、分離器４５２でヘッダ符号と画像符号化データに分離される。前記ヘッダ符号はバッファ４５３に、前記画像符号化データはバッファ４５４に格納される。
【０１７１】
バッファ４５３に格納されたヘッダ符号は、ヘッダ復号器４５７で復号され、フレームの符号化モードを獲得し、セキュリティ設定指示器４５６へ出力する。
【０１７２】
セキュリティ設定指示器４５６は、各フレームに対してセキュリティがかかっているか否かを判定し、セキュリティが開始されたフレームとセキュリティが解除されたフレームの時間的に周囲のフレームのフレームモードを解析する。
【０１７３】
その解析の結果、フレームモードの変更が必要なフレームに対してはセレクタ４５８，４５９，４６０，４６１を操作してヘッダ復号器４６２、ヘッダ符号化器４６３、復号器４６４、符号化器４６５を介するように設定し、ヘッダ符号化器４６３に変更したフレームモードを入力する。変更が必要の無い場合はそれぞれを通過する入出力を選択する。
【０１７４】
最初に、セキュリティがかからず、セキュリティ設定指示器４５６で変更が必要でない場合について説明する。
【０１７５】
セキュリティ設定指示器４５６は、セレクタ４５８，４５９，４６０，４６１にヘッダ復号器４６２、ヘッダ符号化器４６３、復号器４６４、符号化器４６５を通過させるように指示を出す。バッファ４５３，４５４に格納されたそれぞれの符号化データをフレーム単位で読み出し、多重化器４６６に出力する。多重化器４６６は分離器４５２とは逆の動作を行い、入力と同じ符号を生成し、出力端子４６７から出力する。
【０１７６】
次に、セキュリティがかかり、セキュリティ情報が許可から禁止になる場合について説明する。
【０１７７】
この時、第１の実施例と同様にフレームモードは変更しない。即ち、セキュリティがかからない場合と同じ処理を行う。
【０１７８】
最後に、セキュリティが解除され、セキュリティ情報が禁止から許可になる場合について説明する。
【０１７９】
この時、フレームモード設定器３０４は、解除された最初のフレームのフレームモードを強制的にIフレームモードとする。第１の実施例と同様に次のIフレームまでPフレームモードで符号化を行う。
【０１８０】
即ち、セキュリティ設定指示器４５６はセレクタ４５８，４５９，４６０，４６１にヘッダ復号器４６２、ヘッダ符号化器４６３、復号器４６４、符号化器４６５を経由するように指示を出す。
【０１８１】
つまり、以下のような動作が行われる。
【０１８２】
バッファ４５３、４５４に格納されたそれぞれの符号化データをフレーム単位で読み出し、ヘッダ復号器４６２はヘッダ符号を復号し、ヘッダ符号化器４６３でフレームモードに関する情報を置換して符号化する。ヘッダ符号化器４６３で得られた符号化データはセレクタ４５９を介して多重化器４６６に出力する。
【０１８３】
また、復号器４６４は画像データを復号し、フレームの画像データを再生し、符号化器４６５はセキュリティ設定指示器４５６が指示するフレームモードで符号化する。符号化器４６５で得られた符号化データはセレクタ４６１を介して多重化器４６６に出力する。
【０１８４】
多重化器４６６は、分離器４５２とは逆の動作を行い、符号化データを多重化して出力端子４６７から出力する。それ以降はセキュリティが許可の状態と変らない動作を行う。
【０１８５】
このような一連の選択動作により符号化データをセキュリティの状態にしたがって変換することによって、セキュリティを追加しても復号側でフレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【０１８６】
尚、本実施例においてメモリ構成等は適宜変更可能である。また、動画像の符号化はH.261, 263符号化方式に限定されず、MPEG-1, 2符号化方式でも可能であり、各オブジェクトに対して同様な操作を行うことでMPEG-4でも可能である。
【０１８７】
＜第４の実施例＞
第４の実施例の画像処理装置の構成は図１７の構成と同様であり，符号化変換部４０２の内部構成及び処理が異なり、他は第３の実施例と同様である。従って、ここでは第２の実施例におけるビデオ符号化部４０２の構成及び動作のみを説明する。尚、本実施例では説明を簡単にするために動画像の符号化方式として双方向予測符号化を用いるMPEG-1方式を使用したとする。本実施例ではMPEG-1,2,4およびH.261,H.263方式にも適用可能である。
【０１８８】
次に、本実施例での符号変換部４０２を詳細に説明する。
【０１８９】
図１９は、第４の実施例における符号変換部４０２の詳細なブロック図を示す。
【０１９０】
図１９において、４７１は動画像符号化データを入力する入力端子、４７２はMPEG−1符号化方式で符号化された符号化データをヘッダ符号と画像符号化データに分離する分離器である。
【０１９１】
尚、前記ヘッダ符号とは、符号の特性を示す情報、例えば各種スタートコード、画像のサイズ、ビットレート、フレームモード等を符号化した符号である。前記画像符号化データとは量子化結果の符号、動きベクトルの符号、マクロブロックの符号化モード等、動画像の画像を表す符号である。
【０１９２】
４７３,４７４は分離器４７２によって分離されたそれぞれの符号を一時格納するバッファ、４７５はセキュリティ設定部４０１からフレーム単位のセキュリティを入力する入力端子、４７６はフレーム毎に設定されたセキュリティを判定して各部に指示を出すセキュリティ設定指示器、４７７，４８２はヘッダ符号を復号するヘッダ復号器である。
【０１９３】
４７８，４７９，４８０，４８１はセキュリティ設定指示器４７６の指示に従って入出力を選択するセレクタ、４８３はヘッダ情報を符号化するヘッダ符号化器、４８４は画像符号化データを復号して動画像の画像を得る復号器、４８５は動画像の画像を符号化して画像符号化データを得る符号化器である。
【０１９４】
４８６は発生した符号を多重化しMPEG−1符号化データを獲得する多重化器、４８７は多重化器４８６から得られた動画像符号化データを出力する出力端子である。
【０１９５】
４８８は各フレームのフレームモードとセキュリティ設定指示器４７６から出力されるセキュリティ情報からフレームモードを設定するフレームモード設定器である。
【０１９６】
上記のように構成された第４の実施例の符号変換部４０２における符号化処理を以下で説明する。
【０１９７】
入力端子４７１から動画像データが順次入力され、分離器４７２でヘッダ符号と画像符号化データに分離される。前記ヘッダ符号はバッファ４７３に、前記画像符号化データはバッファ４７４に格納される。
【０１９８】
バッファ４７３に格納されたヘッダ符号は、ヘッダ復号器４７７で復号され、フレームの符号化モードを獲得し、セキュリティ設定指示器４７６へ出力する。
【０１９９】
セキュリティ設定指示器４７６は、各フレームに対してセキュリティがかかっているか否かを判定し、セキュリティが開始されたフレームとセキュリティが解除されたフレームの時間的に周囲のフレームのフレームモードを解析する。
【０２００】
その解析の結果、フレームモードの変更が必要なフレームに対してはセレクタ４７８，４７９，４８０，４８１を操作してヘッダ復号器４８２、ヘッダ符号化器４８３、復号器４８４、符号化器４８５を介するように設定し、ヘッダ符号化器４８３に変更したフレームモードを入力する。変更が必要の無い場合はそれぞれを通過する入出力を選択する。
【０２０１】
最初に、セキュリティがかからず、セキュリティ設定指示器４７６で変更が必要でない場合について説明する。
【０２０２】
セキュリティ設定指示器４７６は、セレクタ４７８，４７９，４８０，４８１にヘッダ復号器４８２、ヘッダ符号化器４８３、復号器４８４、符号化器４８５を通過させるように指示を出す。また、フレームモード設定器４８８も動作させない。
【０２０３】
バッファ４７３，４７４に格納されたそれぞれの符号化データをフレーム単位で読み出し、多重化器４８６に出力する。多重化器４８６は、分離器４７２とは逆の動作を行い、入力と同じ符号を生成し、出力端子４８７から出力する。
【０２０４】
次に、セキュリティがかかり、セキュリティ情報が許可から禁止になる場合について説明する。
【０２０５】
この時、第２の実施例と同様にフレームモードを変更する。フレームモード設定器４８８を動作させる。フレームモード設定器４８８はセキュリティがかかるタイミングが図１１（ａ）から図１１（ｄ）のいずれかを判定し、その前後のフレームの符号化モードを決定する。
【０２０６】
セキュリティ設定指示器４７６はセレクタ４７８，４７９，４８０，４８１にヘッダ復号器４８２、ヘッダ符号化器４８３、復号器４８４、符号化器４８５を経由するように指示を出す。
【０２０７】
つまり、以下のような動作が行われる。
【０２０８】
バッファ４７３,４７４に格納されたそれぞれの符号化データをフレーム単位で読み出し、ヘッダ復号器４８２はヘッダ符号を復号し、ヘッダ符号化器４８３でフレームモードに関する情報を置換して符号化する。ヘッダ符号化器４８３で得られた符号化データはセレクタ４７９を介して多重化器４８６に出力する。
【０２０９】
また、復号器４８４は画像データを復号し、フレームの画像データを再生し、符号化器４８５はセキュリティ設定指示器４７６が指示するフレームモードで符号化する。符号化器４８５で得られた符号化データはセレクタ４８１を介して多重化器４８６に出力する。次のIフレームまで周期的に定められたフレームモードで復号・符号化を行う。
【０２１０】
多重化器４８６は、分離器４７２とは逆の動作を行い、符号化データを多重化して出力端子４８７から出力する。それ以降はセキュリティが許可の状態と変らない動作を行う。
【０２１１】
最後に、セキュリティが解除され、セキュリティ情報が禁止から許可になる場合について説明する。
【０２１２】
この時、フレームモード設定器４８８は、第２の実施例と同様にフレームモードを変更する。フレームモード設定器４８８はセキュリティがかかるタイミングが図１２（ａ）から図１２（ｄ）のいずれかを判定し、その前後のフレームの符号化モードを決定する。セキュリティがかけられた時と同様に復号・符号化を行い、符号化データを多重化して出力端子４６７から出力する。それ以降はセキュリティが許可の状態と変らない動作を行う。
【０２１３】
このような一連の選択動作により符号化データをセキュリティの状態にしたがって変換することによって、セキュリティを追加しても復号側でフレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【０２１４】
尚、本実施例においてメモリ構成等は適宜変更可能である。また、動画像の符号化はMPEG-１符号化方式に限定されず、MPEG- 2符号化方式でも可能であり、各オブジェクトに対して同様な操作を行うことでMPEG-4でも可能である。
【０２１５】
＜第５の実施例＞
図２０は、本発明の第５の実施例としての画像処理装置の構成を示すブロック図である。
【０２１６】
図２０において、５００は装置全体の制御、及び種々の処理を行う中央演算装置（CPU）、５０１は本装置の制御に必要なオペレーティングシステム（OS）、ソフトウェア、演算に必要な必要な記憶領域を提供するメモリである。
【０２１７】
５０２は種々の装置をつなぎ、データ、制御信号をやり取りするバス、５０３は動画像データを蓄積する記憶装置、５０４は通信回路であり、LAN、公衆回線、無線回線、放送電波等で構成されている。
【０２１８】
５０５は通信回路５０４から動画像データを受信する通信インターフェース、５０６は表示する動画像のフレームデータを格納する表示フレームメモリ、５０７は再生された動画像を表示するモニタである。
【０２１９】
メモリ５０１のメモリの使用、格納状況を図２１に示す。
【０２２０】
メモリ５０１には装置全体を制御し、各種ソフトウェアを動作させるためのOS、音声や動画像の同期制御のための情報を符号化した符号化データを符号化するSystemsエンコーダソフト、著作権等の保護を行うための符号化データを符号化するセキュリティエンコーダソフト、動画像の符号化を行う動画像エンコーダソフト、音声等の符号化を行うオーエンコーダコーダソフトが格納されている。
【０２２１】
また、符号化する画像を動き補償時に参照するために格納する画像エリア、各種演算のパラメータ等を格納しておくワーキングエリアが存在する。
【０２２２】
このような構成において、処理に先立ち、Systemsデコーダを動作させ、動画像と音声の同期等を別途監視させる。記憶装置５０３または通信インターフェース５０５からセキュリティ符号化データ、動画像符号化データ、音声符号化データで構成される動画像データが入力し、メモリ５０１のワークエリアに格納する。尚、動画像符号化データはH.263で符号化されたものとして説明を続けるが、動き補償を行う符号化方式であれば構わない。
【０２２３】
次に、記憶装置５０３に格納されている動画像データのCPU５００による符号化動作を図２２に示すフローチャートに従って説明する。
【０２２４】
まず、動画像エンコーダソフトを動作させて先頭フレームをIフレームモードで符号化する。動画像データが記憶装置５０３から入力されているか否かをステップS02で判断し、動画像データが入力されている場合はステップS03へ進み、動画像データが入力されていない時はフローを終了する。
【０２２５】
ステップS03では、セキュリティエンコーダソフトを動作させ、当該動画像フレームについてセキュリティ情報を決定する。セキュリティ情報が禁止から許可となった(Restart)場合はステップS05へ進み、それ以外はステップS04へ進む。
【０２２６】
ステップS04では、動画像エンコーダソフトを動作させて動画像をH.263の符号化方式に従ってPフレームで符号化する。Pフレームの符号化に関しては同一位置のマクロブロックが連続する１３２フレームに１度はフレーム内符号化するように設定されている。この動画像符号化データにセキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS02に戻る。
【０２２７】
ステップS05では、動画像エンコーダソフトを動作させて動画像をH.263の符号化方式に従ってIフレームで符号化する。この動画像符号化データにセキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS02に戻る。
【０２２８】
このようにして生成され、ワークエリアに格納された符号化データは符号化終了とともに読み出され、記憶装置３０３に蓄積されたり、通信インターフェース３０５を介して通信回路５０４に送出されたりする。
【０２２９】
このような一連の選択動作によりセキュリティが解除され、復号可能になった時に、画面の途切れや乱れがない、正しく復号が可能になる符号化を行う装置の一部、または全てをソフトウェアで実現することが可能になる。
【０２３０】
＜第６の実施例＞
第６の実施例の画像処理装置の構成は図２０の構成と同様である。第６の実施例と第５の実施例とでは、記憶装置５０３に格納されている動画像データのCPU５００による符号化動作が異なる。従って、ここでは符号化動作についてのみ説明する。
【０２３１】
記憶装置５０３に格納されている動画像データのCPU５００による符号化動作を図２３、図２４に示すフローチャートに従って説明する。
【０２３２】
まず、動画像データが記憶装置５０３から入力されているか否かをステップS11で判断し、動画像データが入力されている場合はステップS１２へ進み、動画像データが入力されていない時はフローを終了する。
【０２３３】
ステップS12では、セキュリティエンコーダソフトを動作させ、当該動画像フレームについてセキュリティ情報を決定し、セキュリティ情報が禁止（Ｓｔｏｐ）でなければステップS13へ進み、禁止であればステップS14へ進む。
【０２３４】
ステップS13では、動画像エンコーダソフトを動作させ、先頭フレームをIフレームモードで符号化する。以降、予め定めた周期にしたがって、Iフレームモードで符号化するフレーム、Pフレームモードで符号化するフレーム、Bフレームモードで符号化するフレーム決定して符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS11に戻る。
【０２３５】
ステップS14では、許可状態の最終フレーム（図１１中の太枠で囲まれたフレーム）のフレームモードがIフレームモードか否かを判定する。最終フレームがIフレームであればステップS15へ進み、それ以外であればステップS17へ進む。
【０２３６】
ステップS15では、最終フレームより前のフレームが前記Iフレームを参照して符号化しているか否かを判定する。参照していなければステップS20へ進み、それ以外はステップS16へ進む。
【０２３７】
ステップS16では、最終フレーム前のIフレームより前のBフレームモードで符号化する予定であったフレームでそれより前のPフレームまたはIフレームまでのフレームをPフレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS20へ進む。
【０２３８】
ステップS17では、許可状態の最終フレームのフレームモードがBフレームモードか否かを判定する。最終フレームがBフレームであればステップS18へ進み、それ以外であればステップS19へ進む。
【０２３９】
ステップS18では、最終フレーム前のBフレームを含めてそれより前のBフレームモードで符号化する予定であったフレームで最終フレームより前のPフレームまたはIフレームまでのフレームをPフレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS20へ進む。
【０２４０】
ステップS19では、最終フレーム前のPフレームより前のBフレームモードで符号化する予定であったフレームで最終フレームより前のPフレームまたはIフレームまでのフレームをPフレームモードで符号化しステップS20へ進む。
【０２４１】
ステップS20では、セキュリティエンコーダソフトを動作させ、当該動画像フレームについてセキュリティ情報を決定する。セキュリティ情報が禁止から許可となった(Restart)場合はステップS22へ進み、それ以外はステップS21へ進む。
【０２４２】
ステップS21では、動画像エンコーダソフトを動作させて動画像をMPEG-2符号化方式に従って予め定められた周期によって各フレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納する。
【０２４３】
ステップS22では、セキュリティ情報が禁止から許可に変る直前、すなわちセキュリティがかけられた最終フレームがフレームモードBで符号化する予定であれば、ステップS23へ進み、それ以外はステップS24へ進む。
【０２４４】
ステップS23では、最終フレームおよび最終フレームより前のPフレームまたはIフレームまでのフレームをPフレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納してステップS26へ進む。
【０２４５】
ステップS24では、セキュリティがかけられた最終フレームの１つ前のフレームがフレームモードBで符号化する予定か否かを判定する。フレームモードBで符号化する予定であればステップS25に進み、それ以外であればステップS26へ進む。
【０２４６】
ステップS25では、最終フレームより前のPフレームまたはIフレームまでのフレームをPフレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納してステップS26へ進む。
【０２４７】
ステップS26では、セキュリティ情報が禁止から許可に変った先頭のフレームをIフレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS11に戻る。
【０２４８】
このようにして生成され、ワークエリアに格納された符号化データは符号化終了とともに読み出され、記憶装置３０３に蓄積されたり、通信インターフェース３０５を介して通信回路５０４に送出されたりする。
【０２４９】
セキュリティによって復号が停止させられたり、再開させられたりするフレーム及びその前後のフレームに対して、フレームモードを変更し、セキュリティによるの復号の停止／許可を跨いで動き補償を行わないことで復号側に特別な仕組みを設けなくても、フレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【０２５０】
＜その他の実施例＞
本発明は複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえばコーデック、デジタルカメラ）からなる装置に適用してもよい。
【０２５１】
また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（CPUあるいはMPU）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明の範疇に含まれる。
【０２５２】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０２５３】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM,、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【０２５４】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０２５５】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本願発明に含まれることは言うまでもない。
【０２５６】
また、セキュリティ符号化データのフォーマット、認証方式、著作権等を保護する部分の指定法式等は上記実施例に限定されず、他のフォーマット、認証方式等を用いてももちろん構わない。
【０２５７】
【発明の効果】
以上説明したように本発明によれば、本発明では、復号側で画像の著作権保護によって復号許可及び不許可の切り替えがなされた際に、復号側で特別な処理を施すことなく、正常な画像を再生可能とする。
【図面の簡単な説明】
【図１】本発明の第１の実施例における画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施例におけるセキュリティ符号化部１０００の構成を示すブロック図である。
【図３】本発明の第１の実施例におけるセキュリティ符号化データを説明するための図である。
【図４】本発明の第１の実施例におけるビデオ符号化部１００１の構成を示すブロック図である。
【図５】本発明の第１の実施例におけるセキュリティ復号部１００６の構成を示すブロック図である。
【図６】本発明の第１の実施例におけるビデオ復号部１００７の構成を示すブロック図である。
【図７】本発明の第１の実施例における復号動作の様子を説明するための図である。
【図８】本発明の実施例における音声と動画像に対応したセキュリティ符号化データを説明するための図である。
【図９】本発明の実施例におけるMPEG-4マルチオブジェクトに対応したセキュリティ符号化データを説明するための図である。
【図１０】本発明の第２の実施例におけるビデオ符号化部１００１の構成を示すブロック図である。
【図１１】本発明の第２の実施例におけるセキュリティ情報が許可から禁止になる場合の符号化モードの変更の様子を説明する図である。
【図１２】本発明の第２の実施例におけるセキュリティ情報が禁止から許可になる場合の符号化モードの変更の様子を説明する図である。
【図１３】本発明に第２の実施例における復号動作の様子を説明するための図である。
【図１４】本発明の第２の実施例におけるセキュリティ情報が許可から禁止になる場合の符号化モードの変更の様子を説明する図である。
【図１５】本発明の第２の実施例におけるセキュリティ情報が許可から禁止になる場合の符号化モードの変更の様子を説明する図である。
【図１６】本発明に第２の実施例におけるセキュリティ情報が禁止から許可になる場合の符号化モードの変更の様子を説明するための図である。
【図１７】本発明の第３の実施例における画像処理装置の構成を示すブロック図である。
【図１８】本発明の第３の実施例における符号変換部４０２の構成を示すブロック図である。
【図１９】本発明の第４の実施例における符号化変換部４０２の構成を示すブロック図である。
【図２０】本発明の第５の実施例における画像処理装置の構成を示すブロック図である。
【図２１】メモリ５０１のメモリの使用、格納状況を表す図である。
【図２２】本発明の第５の実施例における動作を示すフローチャートである。
【図２３】本発明の第６の実施例における動作を示すフローチャートである。
【図２４】本発明の第６の実施例における動作を示すフローチャートである。
【図２５】従来例の復号の様子を説明するための図である。
【図２６】従来例の復号の様子を説明するための図である。
【発明の属する技術分野】
本発明は、画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体に関し、特に画像の著作権保護を行うための画像処理に関するものである。
【０００２】
【従来の技術】
近年、動画像符号化技術の標準化が急速に進んでいる。MPEG-1, 2やH.261, H.263 （これらの符号化方式はＩＳＯ(International Organization for Standardization：国際標準化機構)やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている）といった符号化の標準が制定されおり、さらにコンピュータ・放送・通信など多くの領域で利用できる、汎用的な次世代マルチメディア符号化規格としてMPEG-4の国際標準化作業が進められている。上記符号化技術によって画像のディジタル化が進み、動画像データの蓄積、通信を急速に発展させた。
【０００３】
例えばMPEG-4においては、例えばある瞬間の動画シーンを、その構成要素である「人」「自動車」「背景」「音楽」「ビデオ」などのオブジェクト毎の集合体と考え、各オブジェクト毎に適応的な符号化処理を行って動画像データを高能率に符号化する。
【０００４】
MPEG-4のようなマルチオブジェクト符号化技術においては、圧縮符号化された各オブジェクトの組み合わせ方で１つのシーンが表現される。従って、あるMPEG-4データに他のMPEG-4データからのオブジェクトデータを再利用して別のシーンを容易に表現することが可能である。
【０００５】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。即ち、著作権が保護されることが十分に保証されていない規格に対しては、安心して優良なコンテンツを提供することができない、という問題が生じている。
【０００６】
MPEG-4ではこの問題は深刻である。何故ならば上述したようにMPEG-4ではオブジェクト別に符号化され、操作／加工することが可能であるからである。従って、MPEG-4のようなマルチオブジェクト符号化では、オブジェクト単位の知的所有権保護は円滑な各オブジェクト再利用の観点から当然の要求となり、また、その対象が人等であった場合、肖像権の保護も必要となってきている。
【０００７】
そこで、動画像の一部の著作権を保護するために、動画像の一部を再生させないために動画像の復号を一時的に停止させる方法が考えられる。動画像での肖像権や著作権を考えた時、それらが関係する部分の復号を停止させ、関係する部分が終了した後、復号を再開する方式である。
【０００８】
【発明が解決しようとする課題】
しかしながら、以下のような問題が発生する。
【０００９】
動画像の符号化方式ではフレーム間相関を利用した符号化が一般的に用いられる。前述のH.261, H.263やMPEG-1, 2さらにはMPEG-4といった符号化方式が有名である。これらの符号化方式では基本的に時間的に前のフレーム或いは前後のフレームを参照し、動き補償を行って符号化を行っている。
【００１０】
図２５にH.261, H.263等の再生の様子を示す。I*はフレーム内符号化（イントラ(intra)符号化）を行うフレームを、P*はフレーム間符号化（インター(inter)符号化）するフレームを表している。図２５中で時刻は時間の流れる方向、Securityは復号化処理を止める期間を黒帯で示し、符号は符号化処理順の画面の並びを示し、表示は表示順の画面の並びを示す。
【００１１】
今、P4からP9の期間に対して著作権の保護（Security）する目的で復号が停止されたとする。動画像の復号がP3で停止し、以後復号が再開されるまで画像が表示されない状態となる。復号の停止と同時に、バッファへの符号化データの書き込みも停止するため、P4からP9の符号化データは廃棄される。そのため、P10からの復号を開始すると本来P10が参照すべきP9は廃棄されているので、P10以降の復号処理が正常に行われず、フレーム内符号化が行われているI1が復号されるまでのP10からP13のフレームの画像が乱れたり、或いは復号動作が中断してしまう。
【００１２】
図２６にMPEG-1, 2, 4等の再生の様子を示す。B*は両方向（双方向）フレーム間符号化するフレームを表している。図２６中で時刻は時間の流れる方向、Securityは復号化処理を止める期間を黒帯で示し、符号は符号化処理順の画面の並びを示し、表示は表示順の画面の並びを示す。Bフレームによって画面の符号化処理順序と原画面の順序とは異なっている。
【００１３】
今、B10からP3の符号化データに対して著作権の保護によって復号が停止されたとする。動画像の復号がB10で停止し、以後復号が再開されるまで画像が表示されない状態となる。復号の停止と同時に、バッファへの符号化データの書き込みも停止するため、B11からP3の符号化データは廃棄される。そのため、復号が禁止された時、P1は復号されているが、B11が復号されず、1フレーム抜けたり、P1を表示できなかったりする。
【００１４】
また、復号を再開した時、B30からの復号を開始すると本来B30が参照すべきP3は廃棄されているので、B30以降の復号処理が正常に行われず、フレーム内符号化が行われているI1が復号されるまで画像に乱れが生じる。B30やB31、B40やB41のフレーム画像の復号処理が正常に行われず、画像が乱れたり、復号動作が中断してしまう。
【００１５】
従って、本発明は前記課題を考慮して、復号側で画像の著作権保護によって復号許可及び不許可の切り替えがなされた際に、復号側で特別な処理を施すことなく、正常な画像を再生可能とする画像処理装置及び方法並びに画像処理プログラムが記録されたコンピュータ可読記録媒体を提供することを目的としている。
【００１６】
【課題を解決するための手段】
本発明の画像処理装置は、画像データを入力する入力手段と、前記画像データの少なくとも著作権保護を終了する時刻情報を含むセキュリティデータを生成する生成手段と、少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定手段と、前記設定手段で設定された符号化モードで、前記画像データを符号化する符号化手段と、前記符号化手段で符号化された画像データと前記セキュリティデータを多重化する多重化手段を有し、前記設定手段は、前記時刻情報より著作権保護を終了する直後に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする。
また、本発明の画像処理装置は、画像データを入力する入力手段と、前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成手段と、少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定手段と、前記設定手段で設定された符号化モードで、前記画像データを符号化する符号化手段と、前記符号化手段で符号化された画像データと前記セキュリティデータを多重化する多重化手段を有し、前記設定手段は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする。
また、本発明の画像処理装置は、画像データを入力する入力手段と、前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成手段と、少なくともイントラ符号化モードと前方向予測符号化モードと双方向予測符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定手段と、前記設定手段で設定された符号化モードで、前記画像データを符号化する符号化手段と、前記符号化手段で符号化された画像データと前記セキュリティデータを多重化する多重化手段を有し、前記設定手段は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化、もしくは、前方向予測符号化するように符号化モードを設定することを特徴とする。
【００１７】
本発明の画像処理方法は、画像データを入力する入力工程と、前記画像データの少なくとも著作権保護を終了する時刻情報を含むセキュリティデータを生成する生成工程と、少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定工程と、前記設定工程で設定された符号化モードで、前記画像データを符号化する符号化工程と、前記符号化工程で符号化された画像データと前記セキュリティデータを多重化する多重化工程を有し、前記設定工程は、前記時刻情報より著作権保護を終了する直後に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする。
また、本発明の画像処理方法は、画像データを入力する入力工程と、前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成工程と、少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定工程と、前記設定工程で設定された符号化モードで、前記画像データを符号化する符号化工程と、前記符号化工程で符号化された画像データと前記セキュリティデータを多重化する多重化工程を有し、前記設定工程は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする。
また、本発明の画像処理方法は、画像データを入力する入力工程と、前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成工程と、少なくともイントラ符号化モードと前方向予測符号化モードと双方向予測符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定工程と、前記設定工程で設定された符号化モードで、前記画像データを符号化する符号化工程と、前記符号化工程で符号化された画像データと前記セキュリティデータを多重化する多重化工程を有し、前記設定工程は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化、もしくは、前方向予測符号化するように符号化モードを設定する。
【００１９】
【発明の実施の形態】
＜第１の実施例＞
以下、本発明の第１の実施例を、図面を用いて詳細に説明する。
【００２０】
図１は、本発明の第１の実施例としての画像処理装置の構成を示すブロック図である。
【００２１】
図１において、１０００は動画像の一部または全てに再生を許可したり、禁止したりするセキュリティ情報を符号化するセキュリティ符号化器である。１００１は動画像データを符号化するビデオ符号化部である。
【００２２】
本実施例では、動画像符号化データがMPEG-1符号化方式で符号化する場合について説明する。MPEG-1符号化方式についてはISO/IEC11172-2に詳細が記載されているので説明を省略する。更に、説明を容易にするためにフレーム単位での符号化されているものとし、フレーム内符号化を行うIフレームモードとフレーム間相関を用いるPフレームモードとからなっているものとする。
【００２３】
１００２はセキュリティ符号化データと動画像符号化データを多重化し、動画像データを生成する多重化器、１００３は多重化された動画像データを蓄積している記憶装置である。
【００２４】
１００５は通信回路であり、LANや公衆回線、無線回線、放送電波等で構成されている。１００４，１００６は通信インターフェースであり、通信回路１００５から動画像データを送受信する。
【００２５】
１００７は動画像データをセキュリティ符号化データと動画像符号化データに分離する分離器、１００８はセキュリティ符号化データを復号し、認証データと比較して動画像の再生の停止と再生の再開を指示するセキュリティ復号部、１００９は動画像符号化データを復号し、動画像を再生するビデオ復号部、１０１０は再生された動画像を表示するモニタである。
【００２６】
上記のように構成された装置における動画像データの処理動作を以下で説明する。
【００２７】
不図示の操作者は、ビデオ符号化部１００１に動画像データを入力し、著作権の保護を開始する時刻、著作権の保護を終了する時刻、セキュリティを解除する解除キーを示すセキュリティ情報をセキュリティ符号化部１０００に入力する。
【００２８】
ここでセキュリティ符号化部１０００について詳細に説明する。
【００２９】
図２は、セキュリティ符号化部１０００の詳細なブロック図である。
【００３０】
図２において、１０１はセキュリティ情報を入力する入力端子、１０２はセキュリティ情報に基づき、復号を禁止するフレームを決定するセキュリティ設定指示器、１０３はセキュリティ情報を符号化するセキュリティ符号化器、１０４は符号化されたセキュリティ符号化データを出力する出力端子、１０５はセキュリティ設定指示器１０２の出力に基づき、ビデオ符号化部１００１を制御する制御信号を発生させる制御信号発生器、１０６はシステム全体の時間の同期を図るためのタイマー、１０７は制御信号を出力する出力端子である。
【００３１】
上記のように構成されたセキュリティ符号化部１０００の符号化動作を以下で説明する。
【００３２】
セキュリティ設定指示器１０２は入力されたセキュリティ情報を禁止が発生する時刻順に並び替え、これを保持しておく。セキュリティ符号化器１０３はこれらのセキュリティ情報を符号化し、出力端子１０４から多重化器１００２へ出力する。
【００３３】
セキュリティ符号化データについて詳細に説明する。
【００３４】
図３は、セキュリティ符号化データの構成を示す。
【００３５】
２００１は符号長を表すCodeLength符号、２００２は著作権の認証に必要な情報を表すIPcode符号、２００３は著作権等の保護を開始する時間を示すSecurityStartTime符号、２００４は著作権等の保護を解除する時間を示すSecurityEndTime符号である。尚、２００２〜２００４の符号はセキュリティをかけたい動画像部分が分割されて複数あればその組み合わせが複数連続する。
【００３６】
尚、本実施例ではセキュリティ符号化データは、多重化器１００２により動画像データの先頭に多重化するものとする。しかし、この方式に限定されるものではなく、セキュリティ符号化データは、動画像データに時分割多重されて伝送されてもよい。
【００３７】
図２の説明に戻り、セキュリティ設定指示器１０２はセキュリティの著作権等の保護を開始する時間と著作権等の保護を終了する時間を制御信号発生器１０５に順に入力する。制御信号発生器１０５はタイマ１０６の時刻とこれらの時刻を比較し、著作権保護のための制御信号を発生させ、出力端子１０７からビデオ符号化部１００１に出力する。
【００３８】
次に、ビデオ符号化部１００１を詳細に説明する。
【００３９】
図４は、ビデオ符号化部１００１の詳細なブロック図である。
【００４０】
図４において、１２１は画像データを入力する入力端子、１２２はフレーム単位の画像を格納するフレームメモリ、１２３はマクロブロック毎に画素単位の差分を求める減算器、１２４はDCT変換と変換係数を量子化するDCT・量子化器、１２５は得られた量子化結果をエントロピー符号化するテクスチャ符号化器である。
【００４１】
１２６は量子化された変換係数を入力し、逆量子化、逆DCT変換を行う逆量子化・IDCT器、１２７はマクロブロック毎に画素単位の加算を行う加算器、１２８は動き補償を行うためのフレーム画像を格納する参照フレームメモリ、１２９はフレームメモリ１２２と参照フレームメモリ１２８から動きベクトルを求め、動き補償を行う動き補償器である。１３０は動き補償器１２９の出力結果であるマクロブロックの符号化モード、動きベクトル等の動き補償に関する符号を生成する動き補償符号化器である。
【００４２】
１３１は図２の制御信号発生器１０５から制御信号を入力する入力端子、１３２は符号化のフレームモードを設定するフレームモード設定器、１３３はフレームモードを含むヘッダを符号化するヘッダ符号化器、１３４はテクスチャ符号化器１２５，動き補償符号化器１３０，ヘッダ符号化器１３３の出力データを多重化する多重化器、１３５は多重化器より発生された符号化データを一時蓄積するバッファである。
【００４３】
１３６は符号量の制御を行うレート制御器であり、DCT・量子化器１２４の量子化係数を制御する。１３７は多重化器１３４の出力を外部に出力する出力端子である。
【００４４】
上記のように構成されたビデオ符号化部１００１における符号化処理を以下で説明する。
【００４５】
入力端子１２１から動画像の画像データが順次入力され、フレームメモリ１２２に格納される。入力端子１３１から符号化するフレームのセキュリティ情報が禁止／許可を示す制御信号が入力される。
【００４６】
最初に、セキュリティがかからず、フレームモード設定器１３２に「許可」が入力されている状態について説明する。
【００４７】
フレームモード設定器１３２は、一定の周期でフレーム内符号化を行い、その他のフレームではフレーム間符号化を行う。尚、本実施例では１５フレームおきにIフレームモードで符号化したIフレームが存在し、その他の１４フレームがPフレームモードで符号化したPフレームがあるものとする。
【００４８】
フレームモード設定器１３２は、動き補償器１２９、フレームメモリ１２２、参照フレームメモリ１２８に制御信号を送り、Pフレームモードの時には動き補償を行い、Iフレームモードの時には動き補償を行わないように制御する。また、決定したフレームモードをヘッダ符号化器１３３へ出力する。ヘッダ符号化器１３３はMPEG-1の仕様に則してヘッダの符号化データを生成する。
【００４９】
動き補償器１２９は、マクロブロック（例えば、１６×１６画素で構成されたブロック）毎に、Iフレームモードの時は０を出力し、Pフレームモードの時はフレームメモリ１２２と参照フレームメモリ１２８とを参照し、動きベクトルを求め、動き補償による予測マクロブロックを出力する。
【００５０】
フレームメモリ１２２に格納されたフレーム画像データはマクロブロック毎に減算器１２３に入力される。減算器１２３は、動き補償器１２９から出力されるマクロブロックの値と画素毎の減算を行う。減算器１２３の減算結果はDCT・量子化器１２４へ出力され、DCT変換後、量子化係数によって量子化される。
【００５１】
ＤＣＴ・量子化器１２４の量子化結果は、テクスチャ符号化器１２５へ出力され、マクロブロックの符号化モード，量子化係数，量子化結果等をMPEG-1の符号化仕様に基づいて符号化（ハフマン符号に基くエントロピー符号化（可変長符号化））し、多重化器１３４へ出力する。
【００５２】
また、DCT・量子化器１２４の出力データは、逆量子化・IDCT器１２６に入力され、逆量子化、逆DCT変換を行い、画素データまたは動き補償による誤差データを獲得する。前記誤差データは、加算器１２７で動き補償器１２９の結果と加算される。
【００５３】
加算器１２７で求められた画素値は、参照フレームメモリ１２８に格納される。動き補償器１２９で得られた動きベクトルは、動き補償符号化器１３０へ出力し、動き補償符号化器１３０は前記動きベクトルを符号化して多重化器１３４へ出力する。
【００５４】
多重化器１３４は、テクスチャ符号化器１２５、動き補償符号化器１３０、ヘッダ符号化器１３３からの出力をMPEG-1の形式に従って多重化し、バッファ１３５へ出力する。バッファ１３５に蓄積された符号化データは、出力端子１３７から出力される。また、バッファ内に蓄積されている符号量をレート制御器１３７が監視し、DCT・量子化器１２４の量子化係数を変化させて符号の発生量を制御する。
【００５５】
次に、セキュリティがかかり、セキュリティ情報が許可から禁止になる場合について説明する。
【００５６】
この時、フレームモード設定器１３２は特別な動作はせず、通常と変らずそれまでのIフレームモードとPフレームモードの周期にしたがってモードの設定を行う。このため、他の部分に関してもセキュリティが許可の状態と変らず動作する。
【００５７】
次に、セキュリティが解除され、セキュリティ情報が禁止から許可になる場合について説明する。
【００５８】
この時、フレームモード設定器１３２は解除された最初のフレームのフレームモードをIフレームモードとする。従って、ヘッダ符号化器１３３は符号化されるフレームはIフレームモードであること示す符号化データを出力し、動き補償器１２９は動作せず、動き補償を行わない。そのIフレームに続くフレーム以降は予め設定してあったIフレームとPフレームの周期に従ってモードの設定を行う。
【００５９】
出力端子１３７から出力された動画像の符号化データは、セキュリティ符号化データと多重化器１００２で多重化される。
【００６０】
多重化された動画像データは記憶装置１００３に蓄積されたり、通信インターフェース１００４を介して通信回路１００５へ送出される。
【００６１】
次に、上述のように得られた動画像データの復号動作について詳細に説明する。
【００６２】
記憶装置１００３や通信インターフェース１００６から上述のように生成された動画像データを入力する。入力された動画像データの動画像符号化データとセキュリティ符号化データとは分離器１００７で分離され、動画像符号化データはビデオ復号部１００５に、セキュリティ符号化データはセキュリティ復号部１００４に出力される。
【００６３】
ここでセイキュリティ復号部１００８について詳細に説明する。
【００６４】
図５は、セキュリティ復号部１００８の詳細なブロック図を説明する。
【００６５】
図５において、１５１はセキュリティ符号化データを入力する入力端子、１５２はセキュリティ符号化データを復号し、認証情報、著作権保護を行う時間に関する情報を獲得するセキュリティ復号器、１５３は認証情報を解析し、復号を行うか禁止するかを決定するセキュリティ認証器、１５４は動画像の再生を正しく行うために時刻を発生させるのタイマ、１５５はセキュリティ認証器１５３の決定に従ってビデオ復号部１００９の制御を行う信号を発生させる制御信号発生器、１５６は制御信号発生器１５５で発生した制御信号をビデオ復号部１００５に送出する出力端子である。
【００６６】
上記のように構成されたセキュリティ復号部１００８の復号動作を以下で説明する。
【００６７】
入力端子１５１から入力されたセキュリティ符号化データは、セキュリティ復号器１５２で復号され、図３に示す符号から、CodeLength符号２００１を復号し、符号化データの全体量を把握し、セキュリティをかける各部分について、IPcode符号２００２、SecurityStartTime符号２００３、SecurityEndTime符号２００４を復号し、それぞれの情報を獲得する。
【００６８】
認証に必要な情報は、セキュリティ認証器１５３に入力される。また、制御信号発生器１５５は、セキュリティ認証器１５３からの指示が無い場合はビデオ復号部１００９が前記動画像符号化データの復号処理を行うように出力端子１５６からビデオ復号部１００９へ制御信号を出力する。
【００６９】
セキュリティ認証器１５３は、不図示の操作部により操作者が入力した認証情報とセキュリティ復号器１５２から復号された認証情報とを比較し、復号を許可するか否かを判定する。
【００７０】
その判定の結果、復号を許可する場合には制御信号発生器１５５には復号許可を知らせる。この時、すでにビデオ復号部１００９が動画像データの復号を行うように制御信号を発生させている場合は、その制御信号は変化させない。
【００７１】
一方、判定の結果、復号が禁止されている場合、セキュリティ認証器１５３は復号処理を禁止する信号を制御信号発生器１５５へ出力する。制御信号発生器１５５はセキュリティ復号器１５２から出力された該当する著作権保護を行う時間に関する情報とタイマ１５４から出力される時刻とを比較し、著作権保護を開始する時間と前記時刻が等しくなった時、動画像の復号を停止させる信号を出力端子１５６から出力する。また、該当する著作権保護を行う時間に関する情報とタイマ１５４から入力される時刻とを比較し、著作権保護を終了する時間と前記時刻が等しくなった時、動画像の復号を再開させる信号を出力端子１５６から出力する。
【００７２】
ビデオ復号部１００９は、動画像符号化データとセキュリティ復号部１００８から制御信号に基づいて復号処理を行う。
【００７３】
ここでビデオ復号部１００９について詳細に説明する。
【００７４】
図６は、ビデオ復号部１００９の詳細なブロック図である。
【００７５】
図６において、２０１は動画像符号化データを入力する画像データ入力端子、２０２はセキュリティ復号部１００８から制御信号を入力する制御信号入力端子、２０３は入力された動画像符号化データを格納するバッファである。
【００７６】
２０４はバッファ２０３からMPEG-1符号化データを読み出し、符号の内容を表すヘッダ情報と、動き補償を行うための動き補償符号、DCT変換係数を符号化したデータとをそれぞれ分離する分離器である。
【００７７】
２０５は分離器２０４によって分離されたヘッダ情報を復号するヘッダ復号器であり、各種スタートコード、画像のサイズ、各フレームの符号化モードを復号して情報を獲得する。
【００７８】
２０６は動き補償符号を復号し、各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得する動き補償復号器、２０７はテクスチャ復号器であり、符号を復号し、量子化係数、DCT変換係数の量子化結果等を獲得する。
【００７９】
２０８は逆量子化・IDCT器であり、量子化係数、DCT変換係数の量子化結果等を入力し、逆量子化、逆DCT変換を行い、画素データまたは動き補償による誤差データを獲得する。
【００８０】
２０９は動き補償結果と前記誤差データを加算する加算器、２１０は動き補償に必要な参照フレームを格納する参照フレームメモリ、２１１は参照フレームメモリ２１０の内容を動きベクトル復号器２０６の結果にしたがって動き補償を行う動き補償器である。
【００８１】
２１２は復号されたフレームの画像を出力するために一時格納する表示フレームメモリ、２１３はモニタ１０１０に動画像データを出力する出力端子である。
【００８２】
上記のように構成されたビデオ復号部１００９における復号化処理を以下で説明する。
【００８３】
まず、制御信号入力端子２０２からの制御信号が復号可能を指示している場合、動画像符号化データを画像データ入力端子２０１から入力し、その情報をバッファ２０３に蓄積する。一方、制御信号入力端子２０２からの制御信号が復号禁止を指示している場合、前記動画像符号化データのバッファ２０３への蓄積は行わず、データを読み捨てる。
【００８４】
まず、制御信号が復号可能を指示している場合の復号動作について説明する。
【００８５】
分離器２０４は、バッファ２０３から符号化データを入力し、符号の内容を表すヘッダ情報と、動き補償を行うための動き補償符号、DCT変換係数を符号化したデータをそれぞれ分離する。ヘッダ復号器２０５は、各種スタートコード、画像のサイズ、各フレームの符号化モードを復号して情報を獲得する。
【００８６】
動き補償復号器２０６は、分離器２０４によって分離された動き補償符号を復号し、各マクロブロックの符号化モード、動きベクトル等を復号し、動き補償に必要な情報を獲得し、Pフレームであればこれらの情報を動き補償器２１１に入力し、動き補償を行う。
【００８７】
テクスチャ復号器２０７は、分離器２０４によって分離された符号化データを復号して量子化係数、DCT変換係数の量子化結果等を獲得する。その復号された量子化データは、逆量子化・IDCT器２０８に入力され、画素データまたは動き補償による誤差データを求める。
【００８８】
前記誤差データは、加算器２０９において動き補償器２１１からの出力データと加算される。動き補償器２１１は、動き補償復号器２０６からフレーム内符号を行うマクロブロックであれば値０を、そうでなければ得られた動きベクトルにしたがって、参照フレームメモリ２１０から動き補償を行い、参照マクロブロックデータを加算器２０９へ出力する。
【００８９】
加算器２０９で求められた画素値は参照フレームメモリ２１０及び表示フレームメモリ２１２に格納される。表示フレームメモリ２１３に格納された画像データは、出力端子２１３を介してモニタ１０１０へ出力され表示される。
【００９０】
次に、制御信号が復号許可から復号禁止を指示した場合の復号動作について説明する。
【００９１】
バッファ２０３は、符号の入力を停止させ、ヘッダ復号器２０５、動き補償復号器２０６、動き補償器２１１、テクスチャ復号器２０７の動作も停止させる。さらに、参照フレームメモリ２１０、表示フレームメモリ２１２の更新を禁止する。この結果、出力端子２１２からは最後に復号されたフレームの画像データが出力される。このため、モニタ１０１０では復号が許可されていた最終フレームが表示され続ける。
【００９２】
次に、制御信号が復号禁止から復号許可を指示し復号の再開を指示した場合の復号動作について説明する。
【００９３】
バッファ２０３は、符号の入力を再開させ、ヘッダ復号器２０５を動作させる。先頭のフレームはIフレームであるから、テクスチャ復号器２０７の動作を再開させ、参照フレームメモリ２１０、表示フレームメモリ２１２の更新を再開する。以後、制御信号が復号禁止になるまで、各部の動作を継続させ、Iフレーム、Pフレームの復号を継続する。これにより、モニタ１０１０の表示も更新され、動画像の表示が再開される。
【００９４】
上述したような一連の選択動作により復号が再開される最初のフレームに対して、フレーム内符号化処理を行うことでフレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【００９５】
例えば、図７に示すようにP4〜P9までの符号化フレーム期間が著作権の保護（Security）がかかり、認証できなくても、Securityがかかった時点から、そのSecurityがかかる直前のフレームのP3のフレームの表示が続くようになり、Securityが解除された次のフレームがIフレームに必ずなっているので、Securityが解除された次のフレームから正しく復号でき、画像の途切れや画像の乱れがなくなり、しかもSecurityの解除後の画像復帰までに遅延（画面飛び）が全くなくなり、正常な画像をユーザーに提示することができる。
【００９６】
尚、上記実施例では復号が禁止されている期間、禁止直前に復号された画像が出力されることになるが、所定の画像を予めメモリ等に記憶しておき、その所定画像を出力するようにしてもよい。
【００９７】
また、本実施例においてメモリ構成等は適宜変更可能である。動画像の符号化はMPEG-1符号化方式に限定されず、フレームをフィールドとすることでMPEG-2符号化方式でも可能であり、H.261, H.263等の符号化方式でも可能なことは言うまでもない。
【００９８】
また、セキュリティ符号化データのフォーマット、認証方式、著作権等を保護する部分の指定法式等は上記実施例に限定されず、他のフォーマット、認証方式等を用いてももちろん構わない。例えば、図８に示すように図３の各符号に加え、音声に対する著作権保護か、動画像に対する著作権かを識別する為のA/Vフラグ２００５が追加してももちろん構わない。
【００９９】
また、MPEG-4のマルチオブジェクトについては図９に示すようにオブジェクトを識別するためのObjectcode符号２００６を追加し、オブジェクト毎にセキュリティを設定、符号化し、ビデオ符号化部を複数持ち、各ビデオ符号化部で各オブジェクトのセキュリティが解除された先頭のVOPをI-VOPで符号化することによって復号の安全性の確保し、画質の劣化を防ぐことができる。
【０１００】
更に、セキュリティが解除された先頭にMPEG-1,2であればGroup of Pictureヘッダを、MPEG-4であればGroup of VOPのヘッダを設けてももちろん構わない。
【０１０１】
＜第２の実施例＞
第２の実施例の画像処理装置の構成は図１の構成と同様であり，ビデオ符号化部１００１の内部構成及び処理が異なり、他は第１の実施例と同様である。従って、ここでは第２の実施例におけるビデオ符号化部１００１の構成及び動作のみを説明する。
【０１０２】
本実施例では、動画像符号化データがMPEG-1符号化方式で符号化する場合について説明する。MPEG-1符号化方式についてはISO/IEC11172-2に詳細が記載されているので説明を省略する。更に、説明を容易にするためにフレーム単位での符号化されているものとし、フレーム内符号化を行うIフレームモード、フレーム間相関を用いて時間的に前のフレームから予測するPフレームモード及び時間的に前後のフレームから予測するBフレームモードとからなっているものとする。
【０１０３】
次に、本実施例でのビデオ符号化部１００１を詳細に説明する。
【０１０４】
図１０は、第２の実施例におけるビデオ符号化部１００１の詳細なブロック図である。
【０１０５】
図１０において、３０１は画像データを入力する入力端子、３０２，３０３，３０４はフレーム単位の画像を格納するフレームメモリ、３０５はマクロブロック毎に画素単位の差分を求める減算器、３０６はDCT変換と変換係数を量子化するDCT・量子化器、３０７は得られた量子化結果をエントロピー符号化するテクスチャ符号化器である。
【０１０６】
３０８は量子化された変換係数を入力し、逆量子化、逆DCT変換を行う逆量子化・IDCT器、３０９はマクロブロック毎に画素単位の加算を行う加算器、３１０，３１１は動き補償を行うためのフレーム画像を格納する参照フレームメモリ、３１２はフレームメモリ３０２，３０３，３０４のいずれかと参照フレームメモリ３１０または３１１から動きベクトルを求め、動き補償を行う動き補償器である。
【０１０７】
３１３は動き補償器３１２の出力結果であるマクロブロックの符号化モード、動きベクトル等の動き補償に関する符号を生成する動き補償符号化器である。
【０１０８】
３１４は図２の制御信号発生器１０５から制御信号を入力する入力端子、３１５は符号化のフレームモードを設定するフレームモード設定器、３１６はフレームモードを含むヘッダを符号化するヘッダ符号化器、３１７はテクスチャ符号化器３０７，動き補償符号化器３１３，ヘッダ符号化器３１６の出力データを多重化する多重化器、３１８は多重化器より発生された符号化データを一時蓄積するバッファである。
【０１０９】
３１９は符号量の制御を行うレート制御器であり、DCT・量子化器３０６の量子化係数を制御する。３２０はバッファ３１８の出力を外部に出力する出力端子である。
【０１１０】
上記のように構成されたビデオ符号化部１００１における符号化処理を以下で説明する。
【０１１１】
入力端子３０１から動画像の画像データが順次入力され、フレームメモリ３０２に格納される。入力端子３１４から符号化するフレームのセキュリティ情報が禁止／許可を示す制御信号が入力される。
【０１１２】
最初に、セキュリティがかからず、フレームモード設定器３１５に「許可」が入力されている状態について説明する。
【０１１３】
フレームモード設定器３１５は、一定の周期でフレーム内符号化を行い、その他のフレームではフレーム間符号化を行う。尚、本実施例では１５フレームおきにIフレームモードで符号化したIフレームが存在し、その他の４フレームがPフレームモードで符号化したPフレームがあるものとし、残りをBフレームモードで符号化したBフレームがあるものする。PフレームとIフレームまたはPフレームの間に2フレームのBフレームが挟まった並びで１つの周期を形成する。すなわち、
I B B P B B P B B P B B P B B I B B P…
となり、Iフレームから次のIフレームまでが15フレームである。
【０１１４】
フレームメモリ３０２，３０３，３０４には順にフレーム画像が入力される。最初のフレームはフレームメモリ３０２に、次のフレーム画像はフレームメモリ３０３に、その次のフレーム画像はフレームメモリ３０４に格納される。その次はフレームメモリ３０２に格納される。以後、順番に格納を行う。
【０１１５】
フレームモード設定器３１５は、フレームモードを上記の周期に従って決定する。決定したフレームモードをヘッダ符号化器３１６へ出力する。ヘッダ符号化器３１６はMPEG-1の仕様に則してヘッダの符号化データを生成する。
【０１１６】
フレームモード設定器３１５がIフレームモードを設定した時には動き補償を行わないため、動き補償器３１２に制御信号を送り、動き補償は行わず、０を出力するように制御する。フレームメモリ３０２，３０３，３０４のうち、Iフレームモードで符号化するフレームが格納されたフレームメモリから画像データを読み出すように制御する。
【０１１７】
フレームモード設定器３１５がPフレームモードを設定した時には動き補償を行うように制御する。フレームメモリ３０２，３０３，３０４のうち、Pフレームモードで符号化するフレームが格納されたフレームメモリから画像データを読み出すように制御する。参照フレームメモリ３１０，３１１から最後に符号化されたフレーム画像が格納されている参照フレームメモリから画像データを読み出すように制御する。これらを動き補償器３１２に入力して動き補償を行う。
【０１１８】
フレームモード設定器３１５がBフレームモードを設定した時には動き補償を行うように制御する。フレームメモリ３０２，３０３，３０４のうち、Bフレームモードで符号化するフレームが格納されたフレームメモリから画像データを読み出すように制御する。参照フレームメモリ３１０，３１１の両方から画像データを読み出すように制御する。これらを動き補償器３１２に入力して動き補償を行う。また、この時、Bフレームモードで符号化された画像データの参照フレーム３１０，３１１への書き込みは行わない。
【０１１９】
動き補償器３１２は、マクロブロック（例えば、１６×１６画素で構成されたブロック）毎に、Iフレームモードの時は０を出力する。
【０１２０】
Pフレームモードの時は、フレームメモリ３０２，３０３，３０４のうち符号化対象のフレームが格納されているフレームメモリと、参照フレームメモリ３１０，３１１のうち直前に符号化されたフレーム画像が格納されている参照フレームメモリとを参照し、動きベクトルを求め、動き補償による予測マクロブロックを出力する。
【０１２１】
Bフレームモードの時はフレームメモリ３０２，３０３，３０４のうち符号化対象のフレームが格納されているフレームメモリと参照フレームメモリ３１０，３１１の両方とを参照し、動きベクトルを求め、動き補償による予測マクロブロックを出力する。
【０１２２】
フレームメモリから読み出されたフレーム画像データはマクロブロック毎に減算器３０５に入力される。減算器３０５は、動き補償器３１２から出力されるマクロブロックの値と画素毎の減算を行う。減算器３０５の減算結果はDCT・量子化器３０６へ出力され、DCT変換後、量子化係数によって量子化される。
【０１２３】
ＤＣＴ・量子化器３０６の量子化結果は、テクスチャ符号化器３０７へ出力され、マクロブロックの符号化モード，量子化係数，量子化結果等をMPEG-1の符号化仕様に基づいて符号化（ハフマン符号に基くエントロピー符号化（可変長符号化））し、多重化器３１７へ出力する。
【０１２４】
また、DCT・量子化器３０６の出力データは、逆量子化・IDCT器３０８に入力され、逆量子化、逆DCT変換を行い、画素データまたは動き補償による誤差データを獲得する。前記誤差データは、加算器３０９で動き補償器３１２の結果と加算される。
【０１２５】
加算器３０９で求められた画素値は、IフレームモードおよびPフレームモードの場合のみ、参照フレームメモリ３１０、または参照フレームメモリのうちより過去に符号化された画像データが格納されていた参照フレームメモリに格納される。
【０１２６】
動き補償器３１２で得られた動きベクトルは、動き補償符号化器３１３へ出力し、動き補償符号化器３１３は前記動きベクトルを符号化して多重化器３１７へ出力する。
【０１２７】
多重化器３１７は、テクスチャ符号化器３０７、動き補償符号化器３１３、ヘッダ符号化器３１６からの出力をMPEG-1の形式に従って多重化し、バッファ３１８へ出力する。
【０１２８】
バッファ３１８に蓄積された符号化データは、出力端子３２０から出力される。また、バッファ内に蓄積されている符号量をレート制御器３１９が監視し、DCT・量子化器３０６の量子化係数を変化させて符号の発生量を制御する。
【０１２９】
次に、セキュリティがかかり、セキュリティ情報が許可から禁止になる場合について説明する。
【０１３０】
この時、フレームモード設定器３１５はセキュリティ情報が許可から禁止になる直前のフレームモードによってフレームモードの変更を行う。図１１にその様子を示す。
【０１３１】
図１１は、セキュリティ情報が許可から禁止になる場合の符号化モードの変更の様子を説明する図である。
【０１３２】
図１１において、I*はIフレームモードで符号化されたフレームを示し、P*はPフレームモードで符号化されたフレームを示し、B*はBフレームモードで符号化されたフレームを示す。また矢印はセキュリティによって禁止になる位置を表している。
【０１３３】
図１１（ａ）は、動画像データの先頭である場合、またはgroup of Pictureの先頭でclosed_gop符号（MPEG符号データに含まれるデータのひとつでGOP内の画像が他のGOPから独立再生可能なことを示すフラグ）が１であった場合で、I0の次のB1から復号が禁止になる場合を示している。この時、符号化の順番においてもI0で復号を終了しても、復号ができなかったり、復号画像が乱れるフレームが無いので、フレームモードの変更は行われない。
【０１３４】
図１１（ｂ）は、I0、B1に続いて次のB2から復号が禁止になる場合を示している。この時、P3は表示の順番でB1の後に表示されるが、符号ではP3はB1の前にあるため、P3を復号すると復号側で表示される可能性がある。従って、本来BフレームであるB1のフレームをPフレームモードで符号化することに変更する。すると図１１（ｂ）に示す変更後符号順に示すようになり、Ｐ3は参照されなくなる。このとき、P3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１３５】
図１１（ｃ）は、I0、B1、B2に続いて次のP3から復号が禁止になる場合を示している。この時、図１１（ｂ）に示した場合と同様に符号ではP3はB2の前にあるため、P3を復号すると復号側で表示される可能性がある。従って、本来BフレームであるB1、B2のフレームをPフレームモードで符号化することに変更する。すると図１１（ｃ）に示す変更後符号順に示すようになり、P3は参照されなくなる。このとき、P3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１３６】
図１１（ｄ）は、P3の次から復号が禁止になる場合を示している。この時、符号ではP3はB1、B2の前にあるため、B1、B2が復号されない可能性がある。従って、本来BフレームであるB1、B2のフレームをPフレームモードで符号化することに変更する。すると図１１（ｄ）に示す変更後符号順に示すようになり、復号側で特別な構成をとらずともかならず、P1、P2が復号される。この時、図１１（ｅ）のようにP3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１３７】
次に、セキュリティが解除され、セキュリティ情報が禁止から許可になる場合について説明する。
【０１３８】
この時、フレームモード設定器３１５はセキュリティ情報が禁止から許可になる前後のフレームモードによってフレームモードの変更を行う。図１２にその様子を示す。
【０１３９】
図１２は、セキュリティ情報が禁止から許可になる場合の符号化モードの変更の様子を説明する図である。
【０１４０】
図１２において、矢印はセキュリティが解除され復号可能になる位置を表している。
【０１４１】
図１２（ａ）は、動画像データの先頭である場合、またはgroup of Pictureの先頭でclosed_gop符号が１であった場合で、I0の次のB1から復号が許可となる場合を示している。この時、I0に続くB1、B2、P3おいて、I0を参照しているために復号が正しく行えないという問題が生じる。このため、B1のフレームをIフレームモードで符号化することに変更する。すると図１２（ａ）に示す変更後符号順に示すようになり、復号側で特別な構成をとらずともかならず、B2、P3も正しく表示される。I3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１４２】
図１２（ｂ）は、I0、B1に続いて次のB2から復号が許可になる場合を示している。この時、B2、P3において、I0を参照しているために復号が正しく行えないという問題が生じる。このため、B2のフレームをIフレームモードで符号化し、B2のフレームをPフレームモードで符号化することに変更する。すると図１２（ｂ）に示す変更後符号順に示すようになり、復号側で特別な構成をとらずともかならず、I2、P3も正しく表示される。P3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１４３】
図１２（ｃ）は、I0、B1、B2に続いて次のP3から復号が許可になる場合を示している。この時、P3はI0を参照しているために復号が正しく行えないという問題が生じる。またP3の後にB1、B2があり、これらの復号や表示の処理をどうするかという問題が生じる。このため、符号の順を正しくするためにB1、B2のフレームをPフレームモードで符号化し、B2のフレームをPフレームモードで符号化することに変更する。すると図１２（ｃ）に示す変更後符号順に示すようになり、復号側で特別な構成をとらずともかならず、P3が正しく表示される。P3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。
【０１４４】
図１２（ｄ）は、P3の次から復号が許可になる場合を示している。この時、符号ではP3はB1、B2の前にあるため、B1、B2を復号してしまう可能性がある。このため、B1、B2の符号化データがP3の前にある必要が生じる。従って、B1、B2のフレームをPフレームモードで符号化することに変更する。すると図１２（ｄ）に示す変更後符号順に示すようになり、復号側で特別な構成をとらずともかならず、P3が正しく表示される。P3のフレームがIフレームモードで符号化されていても同様にフレームモードの変更を行う。尚、図示されていないがP3の後の画面はIフレームモードで符号化されるようにフレームモードの変更を行う。
【０１４５】
または、図１２（ｅ）に示すようにB1をI0とP2を参照して符号化するようにし、B2のフレームをPフレームモードで符号化しても構わない。
【０１４６】
これらの符号化モードにしたがって符号化し、セキュリティに関する符号化モードの変更がない場合は通常の周期で符号化する。
【０１４７】
出力端子３２０から出力された動画像の符号化データは第１の実施例と同様にセキュリティ符号化データと多重化器１００２で多重化される。
【０１４８】
復号処理に関しては第１の実施例と同様なので説明は省略する。
【０１４９】
上述したような一連の選択動作によりセキュリティによって復号が停止させられたり、再開させられたりするフレーム及びその前後のフレームに対して、フレームモードを変更し、セキュリティによるの復号の停止／許可を跨いで動き補償を行わないことで復号側に特別な仕組みを設けなくても、フレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【０１５０】
例えば、図１３に示すようにP1〜B30までの符号化フレーム期間が著作権の保護（Security）がかかり、認証できなくても、Securityがかかった時点から、そのSecurityがかかる直前のフレームのP11フレームの表示が続くようになり、Securityが解除された次のフレームがIフレームに必ずなっているので、Securityが解除された次のフレームから正しく復号でき、画像の途切れや画像の乱れがなくなり、しかもSecurityの解除後の画像復帰までに遅延（画面飛び）が全くなくなり、正常な画像をユーザーに提示することができる。
【０１５１】
尚、上記実施例では復号が禁止されている期間、禁止直前に復号された画像が出力されることになるが、所定の画像を予めメモリ等に記憶しておき、その所定画像を出力するようにしてもよい。
【０１５２】
また、本実施例においてメモリ構成等は適宜変更可能である。動画像の符号化はMPEG-1符号化方式に限定されず、フレームをフィールドとすることでMPEG-2符号化方式でも可能であり、H.261, H.263等の符号化方式でも可能なことは言うまでもない。
【０１５３】
また、
I B B B P B B B P B B B P B B B I B B B P B B B P…
とGOP内の構成が変わっても、復号が停止時には、図１４や図１５に示すように、再開時には、図１６に示すようにフレーム及びその前後のフレームに対して、フレームモードを変更し、セキュリティによるの復号の停止／許可を跨いで動き補償を行わないことによって、復号側に特別な仕組みを設けなくても、フレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。このように任意の周期において実施がかのうであることは言うでもない。
【０１５４】
ＢフレームモードをＰフレームモードに変更するだけではなく、Ｉフレームモードに変更することも可能である。
【０１５５】
＜第３の実施例＞
図１７は、本発明の第３の実施例としての画像処理装置の構成を示すブロック図である。
【０１５６】
図１７において、４００は動画像符号化データを記憶する記憶装置である。尚、本実施例では説明を簡単にするために動画像の符号化方式として双方向予測符号化を用いていないH.261, H263方式を使用したとする。尚、本実施例は双方向予測符号化モード（Ｂフレームモード）を使用しないMPEG-1,2方式にも適用可能である。
【０１５７】
４０１は動画像の一部または全てに再生を許可したり、禁止したりするセキュリティ情報を設定するセキュリティ設定部、４０２は動画像符号化データをセキュリティ設定部の指示に従って変換する符号変換部、４０３はセキュリティ情報を符号化するセキュリティ符号化部、４０４はセキュリティ符号データと動画像符号データを多重化し動画像データを生成する多重化器、４０５は動画像データを記憶する記憶装置である。
【０１５８】
上記のように構成された装置における動画像データの処理動作を以下で説明する。
【０１５９】
不図示の操作者は、記憶装置４００に記憶されている動画像符号化データを選択する。また、動画像符号化データに対して、著作権の保護を開始する時刻、著作権の保護を終了する時刻、セキュリティを解除する解除キーを示すセキュリティ情報をセキュリティ設定部４０１に入力する。
【０１６０】
セキュリティ設定部４０１は、入力されたセキュリティ情報を禁止が発生する時刻順に並び替え、これを動画像の対応するフレームを認識するために保持しておく。セキュリティ符号化部４０３はこれらのセキュリティ情報を符号化し、多重化器４０４に出力する。
【０１６１】
符号変換部４０２は対応するフレーム、及びその周囲のフレームに関して符号を変換する。
【０１６２】
ここで、符号変換部４０２を詳細に説明する。
【０１６３】
図１８は、第３の実施例における符号変換部４０２の詳細なブロック図を示す。
【０１６４】
図１８において、４５１は動画像符号化データを入力する入力端子、４５２はH.261或いはH.263符号化方式で符号化された符号化データをヘッダ符号と画像符号化データに分離する分離器である。
【０１６５】
尚、前記ヘッダ符号とは、符号の特性を示す情報、例えば各種スタートコード、画像のサイズ、ビットレート、フレームモード等を符号化した符号である。前記画像符号化データとは量子化結果の符号、動きベクトルの符号、マクロブロックの符号化モード等、動画像の画像を表す符号である。
【０１６６】
４５３,４５４は分離器４５２によって分離されたそれぞれの符号を一時格納するバッファ、４５５はセキュリティ設定部４０１からフレーム単位のセキュリティを入力する入力端子、４５６はフレーム毎に設定されたセキュリティを判定して各部に指示を出すセキュリティ設定指示器、４５７，４６２はヘッダ符号を復号するヘッダ復号器である。
【０１６７】
４５８，４５９，４６０，４６１はセキュリティ設定指示器４５６の指示に従って入出力を選択するセレクタ、４６３はヘッダ情報を符号化するヘッダ符号化器、４６４は画像符号化データを復号して動画像の画像を得る復号器、４６５は動画像の画像を符号化して画像符号化データを得る符号化器である。
【０１６８】
４６６は発生した符号を多重化しH.261或いはH.263符号化データを獲得する多重化器、４６７は多重化器４６６から得られた動画像符号化データを出力する出力端子である。
【０１６９】
上記のように構成された符号変換部４０２における符号化処理を以下で説明する。
【０１７０】
入力端子４５１から動画像データが順次入力され、分離器４５２でヘッダ符号と画像符号化データに分離される。前記ヘッダ符号はバッファ４５３に、前記画像符号化データはバッファ４５４に格納される。
【０１７１】
バッファ４５３に格納されたヘッダ符号は、ヘッダ復号器４５７で復号され、フレームの符号化モードを獲得し、セキュリティ設定指示器４５６へ出力する。
【０１７２】
セキュリティ設定指示器４５６は、各フレームに対してセキュリティがかかっているか否かを判定し、セキュリティが開始されたフレームとセキュリティが解除されたフレームの時間的に周囲のフレームのフレームモードを解析する。
【０１７３】
その解析の結果、フレームモードの変更が必要なフレームに対してはセレクタ４５８，４５９，４６０，４６１を操作してヘッダ復号器４６２、ヘッダ符号化器４６３、復号器４６４、符号化器４６５を介するように設定し、ヘッダ符号化器４６３に変更したフレームモードを入力する。変更が必要の無い場合はそれぞれを通過する入出力を選択する。
【０１７４】
最初に、セキュリティがかからず、セキュリティ設定指示器４５６で変更が必要でない場合について説明する。
【０１７５】
セキュリティ設定指示器４５６は、セレクタ４５８，４５９，４６０，４６１にヘッダ復号器４６２、ヘッダ符号化器４６３、復号器４６４、符号化器４６５を通過させるように指示を出す。バッファ４５３，４５４に格納されたそれぞれの符号化データをフレーム単位で読み出し、多重化器４６６に出力する。多重化器４６６は分離器４５２とは逆の動作を行い、入力と同じ符号を生成し、出力端子４６７から出力する。
【０１７６】
次に、セキュリティがかかり、セキュリティ情報が許可から禁止になる場合について説明する。
【０１７７】
この時、第１の実施例と同様にフレームモードは変更しない。即ち、セキュリティがかからない場合と同じ処理を行う。
【０１７８】
最後に、セキュリティが解除され、セキュリティ情報が禁止から許可になる場合について説明する。
【０１７９】
この時、フレームモード設定器３０４は、解除された最初のフレームのフレームモードを強制的にIフレームモードとする。第１の実施例と同様に次のIフレームまでPフレームモードで符号化を行う。
【０１８０】
即ち、セキュリティ設定指示器４５６はセレクタ４５８，４５９，４６０，４６１にヘッダ復号器４６２、ヘッダ符号化器４６３、復号器４６４、符号化器４６５を経由するように指示を出す。
【０１８１】
つまり、以下のような動作が行われる。
【０１８２】
バッファ４５３、４５４に格納されたそれぞれの符号化データをフレーム単位で読み出し、ヘッダ復号器４６２はヘッダ符号を復号し、ヘッダ符号化器４６３でフレームモードに関する情報を置換して符号化する。ヘッダ符号化器４６３で得られた符号化データはセレクタ４５９を介して多重化器４６６に出力する。
【０１８３】
また、復号器４６４は画像データを復号し、フレームの画像データを再生し、符号化器４６５はセキュリティ設定指示器４５６が指示するフレームモードで符号化する。符号化器４６５で得られた符号化データはセレクタ４６１を介して多重化器４６６に出力する。
【０１８４】
多重化器４６６は、分離器４５２とは逆の動作を行い、符号化データを多重化して出力端子４６７から出力する。それ以降はセキュリティが許可の状態と変らない動作を行う。
【０１８５】
このような一連の選択動作により符号化データをセキュリティの状態にしたがって変換することによって、セキュリティを追加しても復号側でフレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【０１８６】
尚、本実施例においてメモリ構成等は適宜変更可能である。また、動画像の符号化はH.261, 263符号化方式に限定されず、MPEG-1, 2符号化方式でも可能であり、各オブジェクトに対して同様な操作を行うことでMPEG-4でも可能である。
【０１８７】
＜第４の実施例＞
第４の実施例の画像処理装置の構成は図１７の構成と同様であり，符号化変換部４０２の内部構成及び処理が異なり、他は第３の実施例と同様である。従って、ここでは第２の実施例におけるビデオ符号化部４０２の構成及び動作のみを説明する。尚、本実施例では説明を簡単にするために動画像の符号化方式として双方向予測符号化を用いるMPEG-1方式を使用したとする。本実施例ではMPEG-1,2,4およびH.261,H.263方式にも適用可能である。
【０１８８】
次に、本実施例での符号変換部４０２を詳細に説明する。
【０１８９】
図１９は、第４の実施例における符号変換部４０２の詳細なブロック図を示す。
【０１９０】
図１９において、４７１は動画像符号化データを入力する入力端子、４７２はMPEG−1符号化方式で符号化された符号化データをヘッダ符号と画像符号化データに分離する分離器である。
【０１９１】
尚、前記ヘッダ符号とは、符号の特性を示す情報、例えば各種スタートコード、画像のサイズ、ビットレート、フレームモード等を符号化した符号である。前記画像符号化データとは量子化結果の符号、動きベクトルの符号、マクロブロックの符号化モード等、動画像の画像を表す符号である。
【０１９２】
４７３,４７４は分離器４７２によって分離されたそれぞれの符号を一時格納するバッファ、４７５はセキュリティ設定部４０１からフレーム単位のセキュリティを入力する入力端子、４７６はフレーム毎に設定されたセキュリティを判定して各部に指示を出すセキュリティ設定指示器、４７７，４８２はヘッダ符号を復号するヘッダ復号器である。
【０１９３】
４７８，４７９，４８０，４８１はセキュリティ設定指示器４７６の指示に従って入出力を選択するセレクタ、４８３はヘッダ情報を符号化するヘッダ符号化器、４８４は画像符号化データを復号して動画像の画像を得る復号器、４８５は動画像の画像を符号化して画像符号化データを得る符号化器である。
【０１９４】
４８６は発生した符号を多重化しMPEG−1符号化データを獲得する多重化器、４８７は多重化器４８６から得られた動画像符号化データを出力する出力端子である。
【０１９５】
４８８は各フレームのフレームモードとセキュリティ設定指示器４７６から出力されるセキュリティ情報からフレームモードを設定するフレームモード設定器である。
【０１９６】
上記のように構成された第４の実施例の符号変換部４０２における符号化処理を以下で説明する。
【０１９７】
入力端子４７１から動画像データが順次入力され、分離器４７２でヘッダ符号と画像符号化データに分離される。前記ヘッダ符号はバッファ４７３に、前記画像符号化データはバッファ４７４に格納される。
【０１９８】
バッファ４７３に格納されたヘッダ符号は、ヘッダ復号器４７７で復号され、フレームの符号化モードを獲得し、セキュリティ設定指示器４７６へ出力する。
【０１９９】
セキュリティ設定指示器４７６は、各フレームに対してセキュリティがかかっているか否かを判定し、セキュリティが開始されたフレームとセキュリティが解除されたフレームの時間的に周囲のフレームのフレームモードを解析する。
【０２００】
その解析の結果、フレームモードの変更が必要なフレームに対してはセレクタ４７８，４７９，４８０，４８１を操作してヘッダ復号器４８２、ヘッダ符号化器４８３、復号器４８４、符号化器４８５を介するように設定し、ヘッダ符号化器４８３に変更したフレームモードを入力する。変更が必要の無い場合はそれぞれを通過する入出力を選択する。
【０２０１】
最初に、セキュリティがかからず、セキュリティ設定指示器４７６で変更が必要でない場合について説明する。
【０２０２】
セキュリティ設定指示器４７６は、セレクタ４７８，４７９，４８０，４８１にヘッダ復号器４８２、ヘッダ符号化器４８３、復号器４８４、符号化器４８５を通過させるように指示を出す。また、フレームモード設定器４８８も動作させない。
【０２０３】
バッファ４７３，４７４に格納されたそれぞれの符号化データをフレーム単位で読み出し、多重化器４８６に出力する。多重化器４８６は、分離器４７２とは逆の動作を行い、入力と同じ符号を生成し、出力端子４８７から出力する。
【０２０４】
次に、セキュリティがかかり、セキュリティ情報が許可から禁止になる場合について説明する。
【０２０５】
この時、第２の実施例と同様にフレームモードを変更する。フレームモード設定器４８８を動作させる。フレームモード設定器４８８はセキュリティがかかるタイミングが図１１（ａ）から図１１（ｄ）のいずれかを判定し、その前後のフレームの符号化モードを決定する。
【０２０６】
セキュリティ設定指示器４７６はセレクタ４７８，４７９，４８０，４８１にヘッダ復号器４８２、ヘッダ符号化器４８３、復号器４８４、符号化器４８５を経由するように指示を出す。
【０２０７】
つまり、以下のような動作が行われる。
【０２０８】
バッファ４７３,４７４に格納されたそれぞれの符号化データをフレーム単位で読み出し、ヘッダ復号器４８２はヘッダ符号を復号し、ヘッダ符号化器４８３でフレームモードに関する情報を置換して符号化する。ヘッダ符号化器４８３で得られた符号化データはセレクタ４７９を介して多重化器４８６に出力する。
【０２０９】
また、復号器４８４は画像データを復号し、フレームの画像データを再生し、符号化器４８５はセキュリティ設定指示器４７６が指示するフレームモードで符号化する。符号化器４８５で得られた符号化データはセレクタ４８１を介して多重化器４８６に出力する。次のIフレームまで周期的に定められたフレームモードで復号・符号化を行う。
【０２１０】
多重化器４８６は、分離器４７２とは逆の動作を行い、符号化データを多重化して出力端子４８７から出力する。それ以降はセキュリティが許可の状態と変らない動作を行う。
【０２１１】
最後に、セキュリティが解除され、セキュリティ情報が禁止から許可になる場合について説明する。
【０２１２】
この時、フレームモード設定器４８８は、第２の実施例と同様にフレームモードを変更する。フレームモード設定器４８８はセキュリティがかかるタイミングが図１２（ａ）から図１２（ｄ）のいずれかを判定し、その前後のフレームの符号化モードを決定する。セキュリティがかけられた時と同様に復号・符号化を行い、符号化データを多重化して出力端子４６７から出力する。それ以降はセキュリティが許可の状態と変らない動作を行う。
【０２１３】
このような一連の選択動作により符号化データをセキュリティの状態にしたがって変換することによって、セキュリティを追加しても復号側でフレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【０２１４】
尚、本実施例においてメモリ構成等は適宜変更可能である。また、動画像の符号化はMPEG-１符号化方式に限定されず、MPEG- 2符号化方式でも可能であり、各オブジェクトに対して同様な操作を行うことでMPEG-4でも可能である。
【０２１５】
＜第５の実施例＞
図２０は、本発明の第５の実施例としての画像処理装置の構成を示すブロック図である。
【０２１６】
図２０において、５００は装置全体の制御、及び種々の処理を行う中央演算装置（CPU）、５０１は本装置の制御に必要なオペレーティングシステム（OS）、ソフトウェア、演算に必要な必要な記憶領域を提供するメモリである。
【０２１７】
５０２は種々の装置をつなぎ、データ、制御信号をやり取りするバス、５０３は動画像データを蓄積する記憶装置、５０４は通信回路であり、LAN、公衆回線、無線回線、放送電波等で構成されている。
【０２１８】
５０５は通信回路５０４から動画像データを受信する通信インターフェース、５０６は表示する動画像のフレームデータを格納する表示フレームメモリ、５０７は再生された動画像を表示するモニタである。
【０２１９】
メモリ５０１のメモリの使用、格納状況を図２１に示す。
【０２２０】
メモリ５０１には装置全体を制御し、各種ソフトウェアを動作させるためのOS、音声や動画像の同期制御のための情報を符号化した符号化データを符号化するSystemsエンコーダソフト、著作権等の保護を行うための符号化データを符号化するセキュリティエンコーダソフト、動画像の符号化を行う動画像エンコーダソフト、音声等の符号化を行うオーエンコーダコーダソフトが格納されている。
【０２２１】
また、符号化する画像を動き補償時に参照するために格納する画像エリア、各種演算のパラメータ等を格納しておくワーキングエリアが存在する。
【０２２２】
このような構成において、処理に先立ち、Systemsデコーダを動作させ、動画像と音声の同期等を別途監視させる。記憶装置５０３または通信インターフェース５０５からセキュリティ符号化データ、動画像符号化データ、音声符号化データで構成される動画像データが入力し、メモリ５０１のワークエリアに格納する。尚、動画像符号化データはH.263で符号化されたものとして説明を続けるが、動き補償を行う符号化方式であれば構わない。
【０２２３】
次に、記憶装置５０３に格納されている動画像データのCPU５００による符号化動作を図２２に示すフローチャートに従って説明する。
【０２２４】
まず、動画像エンコーダソフトを動作させて先頭フレームをIフレームモードで符号化する。動画像データが記憶装置５０３から入力されているか否かをステップS02で判断し、動画像データが入力されている場合はステップS03へ進み、動画像データが入力されていない時はフローを終了する。
【０２２５】
ステップS03では、セキュリティエンコーダソフトを動作させ、当該動画像フレームについてセキュリティ情報を決定する。セキュリティ情報が禁止から許可となった(Restart)場合はステップS05へ進み、それ以外はステップS04へ進む。
【０２２６】
ステップS04では、動画像エンコーダソフトを動作させて動画像をH.263の符号化方式に従ってPフレームで符号化する。Pフレームの符号化に関しては同一位置のマクロブロックが連続する１３２フレームに１度はフレーム内符号化するように設定されている。この動画像符号化データにセキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS02に戻る。
【０２２７】
ステップS05では、動画像エンコーダソフトを動作させて動画像をH.263の符号化方式に従ってIフレームで符号化する。この動画像符号化データにセキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS02に戻る。
【０２２８】
このようにして生成され、ワークエリアに格納された符号化データは符号化終了とともに読み出され、記憶装置３０３に蓄積されたり、通信インターフェース３０５を介して通信回路５０４に送出されたりする。
【０２２９】
このような一連の選択動作によりセキュリティが解除され、復号可能になった時に、画面の途切れや乱れがない、正しく復号が可能になる符号化を行う装置の一部、または全てをソフトウェアで実現することが可能になる。
【０２３０】
＜第６の実施例＞
第６の実施例の画像処理装置の構成は図２０の構成と同様である。第６の実施例と第５の実施例とでは、記憶装置５０３に格納されている動画像データのCPU５００による符号化動作が異なる。従って、ここでは符号化動作についてのみ説明する。
【０２３１】
記憶装置５０３に格納されている動画像データのCPU５００による符号化動作を図２３、図２４に示すフローチャートに従って説明する。
【０２３２】
まず、動画像データが記憶装置５０３から入力されているか否かをステップS11で判断し、動画像データが入力されている場合はステップS１２へ進み、動画像データが入力されていない時はフローを終了する。
【０２３３】
ステップS12では、セキュリティエンコーダソフトを動作させ、当該動画像フレームについてセキュリティ情報を決定し、セキュリティ情報が禁止（Ｓｔｏｐ）でなければステップS13へ進み、禁止であればステップS14へ進む。
【０２３４】
ステップS13では、動画像エンコーダソフトを動作させ、先頭フレームをIフレームモードで符号化する。以降、予め定めた周期にしたがって、Iフレームモードで符号化するフレーム、Pフレームモードで符号化するフレーム、Bフレームモードで符号化するフレーム決定して符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS11に戻る。
【０２３５】
ステップS14では、許可状態の最終フレーム（図１１中の太枠で囲まれたフレーム）のフレームモードがIフレームモードか否かを判定する。最終フレームがIフレームであればステップS15へ進み、それ以外であればステップS17へ進む。
【０２３６】
ステップS15では、最終フレームより前のフレームが前記Iフレームを参照して符号化しているか否かを判定する。参照していなければステップS20へ進み、それ以外はステップS16へ進む。
【０２３７】
ステップS16では、最終フレーム前のIフレームより前のBフレームモードで符号化する予定であったフレームでそれより前のPフレームまたはIフレームまでのフレームをPフレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS20へ進む。
【０２３８】
ステップS17では、許可状態の最終フレームのフレームモードがBフレームモードか否かを判定する。最終フレームがBフレームであればステップS18へ進み、それ以外であればステップS19へ進む。
【０２３９】
ステップS18では、最終フレーム前のBフレームを含めてそれより前のBフレームモードで符号化する予定であったフレームで最終フレームより前のPフレームまたはIフレームまでのフレームをPフレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS20へ進む。
【０２４０】
ステップS19では、最終フレーム前のPフレームより前のBフレームモードで符号化する予定であったフレームで最終フレームより前のPフレームまたはIフレームまでのフレームをPフレームモードで符号化しステップS20へ進む。
【０２４１】
ステップS20では、セキュリティエンコーダソフトを動作させ、当該動画像フレームについてセキュリティ情報を決定する。セキュリティ情報が禁止から許可となった(Restart)場合はステップS22へ進み、それ以外はステップS21へ進む。
【０２４２】
ステップS21では、動画像エンコーダソフトを動作させて動画像をMPEG-2符号化方式に従って予め定められた周期によって各フレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納する。
【０２４３】
ステップS22では、セキュリティ情報が禁止から許可に変る直前、すなわちセキュリティがかけられた最終フレームがフレームモードBで符号化する予定であれば、ステップS23へ進み、それ以外はステップS24へ進む。
【０２４４】
ステップS23では、最終フレームおよび最終フレームより前のPフレームまたはIフレームまでのフレームをPフレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納してステップS26へ進む。
【０２４５】
ステップS24では、セキュリティがかけられた最終フレームの１つ前のフレームがフレームモードBで符号化する予定か否かを判定する。フレームモードBで符号化する予定であればステップS25に進み、それ以外であればステップS26へ進む。
【０２４６】
ステップS25では、最終フレームより前のPフレームまたはIフレームまでのフレームをPフレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納してステップS26へ進む。
【０２４７】
ステップS26では、セキュリティ情報が禁止から許可に変った先頭のフレームをIフレームモードで符号化し、セキュリティ情報を多重化してメモリ５０１のワークエリアに格納し、ステップS11に戻る。
【０２４８】
このようにして生成され、ワークエリアに格納された符号化データは符号化終了とともに読み出され、記憶装置３０３に蓄積されたり、通信インターフェース３０５を介して通信回路５０４に送出されたりする。
【０２４９】
セキュリティによって復号が停止させられたり、再開させられたりするフレーム及びその前後のフレームに対して、フレームモードを変更し、セキュリティによるの復号の停止／許可を跨いで動き補償を行わないことで復号側に特別な仕組みを設けなくても、フレームの画像が乱れたり、復号動作が中断したりすることを容易に防止することができる。
【０２５０】
＜その他の実施例＞
本発明は複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえばコーデック、デジタルカメラ）からなる装置に適用してもよい。
【０２５１】
また前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（CPUあるいはMPU）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明の範疇に含まれる。
【０２５２】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【０２５３】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM,、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【０２５４】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【０２５５】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本願発明に含まれることは言うまでもない。
【０２５６】
また、セキュリティ符号化データのフォーマット、認証方式、著作権等を保護する部分の指定法式等は上記実施例に限定されず、他のフォーマット、認証方式等を用いてももちろん構わない。
【０２５７】
【発明の効果】
以上説明したように本発明によれば、本発明では、復号側で画像の著作権保護によって復号許可及び不許可の切り替えがなされた際に、復号側で特別な処理を施すことなく、正常な画像を再生可能とする。
【図面の簡単な説明】
【図１】本発明の第１の実施例における画像処理装置の構成を示すブロック図である。
【図２】本発明の第１の実施例におけるセキュリティ符号化部１０００の構成を示すブロック図である。
【図３】本発明の第１の実施例におけるセキュリティ符号化データを説明するための図である。
【図４】本発明の第１の実施例におけるビデオ符号化部１００１の構成を示すブロック図である。
【図５】本発明の第１の実施例におけるセキュリティ復号部１００６の構成を示すブロック図である。
【図６】本発明の第１の実施例におけるビデオ復号部１００７の構成を示すブロック図である。
【図７】本発明の第１の実施例における復号動作の様子を説明するための図である。
【図８】本発明の実施例における音声と動画像に対応したセキュリティ符号化データを説明するための図である。
【図９】本発明の実施例におけるMPEG-4マルチオブジェクトに対応したセキュリティ符号化データを説明するための図である。
【図１０】本発明の第２の実施例におけるビデオ符号化部１００１の構成を示すブロック図である。
【図１１】本発明の第２の実施例におけるセキュリティ情報が許可から禁止になる場合の符号化モードの変更の様子を説明する図である。
【図１２】本発明の第２の実施例におけるセキュリティ情報が禁止から許可になる場合の符号化モードの変更の様子を説明する図である。
【図１３】本発明に第２の実施例における復号動作の様子を説明するための図である。
【図１４】本発明の第２の実施例におけるセキュリティ情報が許可から禁止になる場合の符号化モードの変更の様子を説明する図である。
【図１５】本発明の第２の実施例におけるセキュリティ情報が許可から禁止になる場合の符号化モードの変更の様子を説明する図である。
【図１６】本発明に第２の実施例におけるセキュリティ情報が禁止から許可になる場合の符号化モードの変更の様子を説明するための図である。
【図１７】本発明の第３の実施例における画像処理装置の構成を示すブロック図である。
【図１８】本発明の第３の実施例における符号変換部４０２の構成を示すブロック図である。
【図１９】本発明の第４の実施例における符号化変換部４０２の構成を示すブロック図である。
【図２０】本発明の第５の実施例における画像処理装置の構成を示すブロック図である。
【図２１】メモリ５０１のメモリの使用、格納状況を表す図である。
【図２２】本発明の第５の実施例における動作を示すフローチャートである。
【図２３】本発明の第６の実施例における動作を示すフローチャートである。
【図２４】本発明の第６の実施例における動作を示すフローチャートである。
【図２５】従来例の復号の様子を説明するための図である。
【図２６】従来例の復号の様子を説明するための図である。
Claims (8)
- 画像データを入力する入力手段と、
前記画像データの少なくとも著作権保護を終了する時刻情報を含むセキュリティデータを生成する生成手段と、
少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定手段と、
前記設定手段で設定された符号化モードで、前記画像データを符号化する符号化手段と、
前記符号化手段で符号化された画像データと前記セキュリティデータを多重化する多重化手段を有し、
前記設定手段は、前記時刻情報より著作権保護を終了する直後に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする画像処理装置。 - 画像データを入力する入力手段と、
前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成手段と、
少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定手段と、
前記設定手段で設定された符号化モードで、前記画像データを符号化する符号化手段と、
前記符号化手段で符号化された画像データと前記セキュリティデータを多重化する多重化手段を有し、
前記設定手段は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする画像処理装置。 - 画像データを入力する入力手段と、
前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成手段と、
少なくともイントラ符号化モードと前方向予測符号化モードと双方向予測符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定手段と、
前記設定手段で設定された符号化モードで、前記画像データを符号化する符号化手段と、
前記符号化手段で符号化された画像データと前記セキュリティデータを多重化する多重化手段を有し、
前記設定手段は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化、もしくは、前方向予測符号化するように符号化モードを設定することを特徴とする画像処理装置。 - 前記入力手段によって入力される画像データは、複数種の符号化モードを用いて符号化された画像データであり、前記符号化手段は、前記符号化された画像データを再符号化処理することを特徴とする請求項１乃至３に記載の画像処理装置。
- 画像データを入力する入力工程と、
前記画像データの少なくとも著作権保護を終了する時刻情報を含むセキュリティデータを生成する生成工程と、
少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定工程と、
前記設定工程で設定された符号化モードで、前記画像データを符号化する符号化工程と、
前記符号化工程で符号化された画像データと前記セキュリティデータを多重化する多重化工程を有し、
前記設定工程は、前記時刻情報より著作権保護を終了する直後に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする画像処理方法。 - 画像データを入力する入力工程と、
前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成工程と、
少なくともイントラ符号化モードとインター符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定工程と、
前記設定工程で設定された符号化モードで、前記画像データを符号化する符号化工程と、
前記符号化工程で符号化された画像データと前記セキュリティデータを多重化する多重化工程を有し、
前記設定工程は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化するように符号化モードを設定することを特徴とする画像処理方法。 - 画像データを入力する入力工程と、
前記画像データの少なくとも著作権保護を開始する時刻情報を含むセキュリティデータを生成する生成工程と、
少なくともイントラ符号化モードと前方向予測符号化モードと双方向予測符号化モードとを含む複数種の符号化モードから、前記時刻情報に応じて符号化モードを設定する設定工程と、
前記設定工程で設定された符号化モードで、前記画像データを符号化する符号化工程と、
前記符号化工程で符号化された画像データと前記セキュリティデータを多重化する多重化工程を有し、
前記設定工程は、前記時刻情報より著作権保護を開始する直前に表示される画像データをイントラ符号化、もしくは、前方向予測符号化するように符号化モードを設定することを特徴とする画像処理方法。 - コンピュータを、請求項１乃至４に記載の画像処理装置として機能させるためのプログラムが記録されたコンピュータ可読記録媒体。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10929399A JP3976942B2 (ja) | 1998-12-18 | 1999-04-16 | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 |
| US09/459,859 US6965643B1 (en) | 1998-12-18 | 1999-12-14 | Image processing apparatus and method, and storage medium storing image processing program |
| AT99310134T ATE387809T1 (de) | 1998-12-18 | 1999-12-16 | Vorrichtung und verfahren zur bildverarbeitung, und bildverarbeitungsprogramm speicherndes speichermedium |
| DE1999638220 DE69938220T2 (de) | 1998-12-18 | 1999-12-16 | Vorrichtung und Verfahren zur Bildverarbeitung, und Bildverarbeitungsprogramm speicherndes Speichermedium |
| EP19990310134 EP1014724B1 (en) | 1998-12-18 | 1999-12-16 | Image processing apparatus and method, and storage medium storing image processing program |
| CNB991229959A CN1231062C (zh) | 1998-12-18 | 1999-12-17 | 图像处理装置和方法 |
| KR10-1999-0059126A KR100386104B1 (ko) | 1998-12-18 | 1999-12-18 | 화상처리 장치 및 방법 및 화상처리 프로그램을 기록하는기록매체 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36077298 | 1998-12-18 | ||
| JP10-360772 | 1998-12-18 | ||
| JP10929399A JP3976942B2 (ja) | 1998-12-18 | 1999-04-16 | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000236553A JP2000236553A (ja) | 2000-08-29 |
| JP3976942B2 true JP3976942B2 (ja) | 2007-09-19 |
Family
ID=26449073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10929399A Expired - Fee Related JP3976942B2 (ja) | 1998-12-18 | 1999-04-16 | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US6965643B1 (ja) |
| EP (1) | EP1014724B1 (ja) |
| JP (1) | JP3976942B2 (ja) |
| KR (1) | KR100386104B1 (ja) |
| CN (1) | CN1231062C (ja) |
| AT (1) | ATE387809T1 (ja) |
| DE (1) | DE69938220T2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7177857B2 (en) * | 2000-11-24 | 2007-02-13 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for creating distribution content |
| US20020077984A1 (en) * | 2000-12-19 | 2002-06-20 | Mark Ireton | Enabling protected digital media to be shared between playback devices |
| CN1223200C (zh) | 2001-08-31 | 2005-10-12 | 松下电器产业株式会社 | 图像编码方法、图像解码方法以及其装置 |
| GB0130041D0 (en) | 2001-12-14 | 2002-02-06 | Ibm | Preparing multimedia content in a distributed data processing system |
| FR2835386B1 (fr) * | 2002-01-31 | 2004-05-28 | Daniel Lecomte | Dispositif pour la diffusion securisee, l'acces conditionnel, la visualisation controlee, la copie privee et la gestion des droits de contenus audiovisuels de type mpeg-4 |
| WO2004030369A1 (en) * | 2002-09-27 | 2004-04-08 | Videosoft, Inc. | Real-time video coding/decoding |
| JP2006035631A (ja) * | 2004-07-27 | 2006-02-09 | Konica Minolta Business Technologies Inc | 画像形成装置および画像形成システム |
| US8073049B2 (en) * | 2007-02-01 | 2011-12-06 | Google Inc. | Method of coding a video signal |
| US8023562B2 (en) * | 2007-09-07 | 2011-09-20 | Vanguard Software Solutions, Inc. | Real-time video coding/decoding |
| US8526488B2 (en) | 2010-02-09 | 2013-09-03 | Vanguard Software Solutions, Inc. | Video sequence encoding system and algorithms |
| US8693551B2 (en) | 2011-11-16 | 2014-04-08 | Vanguard Software Solutions, Inc. | Optimal angular intra prediction for block-based video coding |
| US9106922B2 (en) | 2012-12-19 | 2015-08-11 | Vanguard Software Solutions, Inc. | Motion estimation engine for video encoding |
| US11265599B2 (en) | 2019-06-11 | 2022-03-01 | Nvidia Corporation | Re-encoding predicted picture frames in live video stream applications |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5353062A (en) | 1991-04-25 | 1994-10-04 | Canon Kabushiki Kaisha | Method and apparatus for decoding moving images encoded by inter-frame prediction and displaying it |
| KR950013093A (ko) | 1993-10-19 | 1995-05-17 | 모리시타 요이찌 | 스크램블전송장치 및 난수발생장치 |
| JPH0888618A (ja) | 1994-07-21 | 1996-04-02 | Matsushita Electric Ind Co Ltd | 誤り訂正装置 |
| US5761223A (en) | 1994-07-21 | 1998-06-02 | Matsushita Electric Industrial Co., Ltd. | Error correcting device |
| JPH08149462A (ja) | 1994-11-24 | 1996-06-07 | Nec Corp | 画像パケット符号化装置および復号化装置 |
| JP2842796B2 (ja) | 1994-12-06 | 1999-01-06 | 富士通株式会社 | 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置 |
| US5926209A (en) * | 1995-07-14 | 1999-07-20 | Sensormatic Electronics Corporation | Video camera apparatus with compression system responsive to video camera adjustment |
| KR0166923B1 (ko) | 1995-09-18 | 1999-03-20 | 구자홍 | 디지탈 방송 시스템의 불법 시청 및 복사 방지방법 및 장치 |
| JPH09116596A (ja) | 1995-10-24 | 1997-05-02 | Matsushita Electric Ind Co Ltd | 移動通信用動画像データ伝送装置 |
| DE69729495T2 (de) | 1996-03-08 | 2004-10-28 | Matsushita Electric Industrial Co., Ltd., Kadoma | Bildinformationsverarbeitungssystem und Mikroprozessor für die geschützte Reproduktion von audiovisuellen Daten |
| JPH1174868A (ja) | 1996-09-02 | 1999-03-16 | Toshiba Corp | 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置 |
| US5805700A (en) | 1996-10-15 | 1998-09-08 | Intel Corporation | Policy based selective encryption of compressed video data |
| JP3817312B2 (ja) * | 1996-11-29 | 2006-09-06 | キヤノン株式会社 | 制御方法及び装置と撮像システム及び表示操作装置とのその方法 |
| JP3684525B2 (ja) * | 1998-02-19 | 2005-08-17 | 富士通株式会社 | 多画面合成方法及び多画面合成装置 |
| ATE296519T1 (de) | 1998-03-16 | 2005-06-15 | Intertrust Tech Corp | Streaming-media-abspielgerät mit fortdauernde kontrolle und schutz von medieninhalt |
| US6385772B1 (en) * | 1998-04-30 | 2002-05-07 | Texas Instruments Incorporated | Monitoring system having wireless remote viewing and control |
| US6535919B1 (en) | 1998-06-29 | 2003-03-18 | Canon Kabushiki Kaisha | Verification of image data |
-
1999
- 1999-04-16 JP JP10929399A patent/JP3976942B2/ja not_active Expired - Fee Related
- 1999-12-14 US US09/459,859 patent/US6965643B1/en not_active Expired - Fee Related
- 1999-12-16 EP EP19990310134 patent/EP1014724B1/en not_active Expired - Lifetime
- 1999-12-16 AT AT99310134T patent/ATE387809T1/de not_active IP Right Cessation
- 1999-12-16 DE DE1999638220 patent/DE69938220T2/de not_active Expired - Lifetime
- 1999-12-17 CN CNB991229959A patent/CN1231062C/zh not_active Expired - Fee Related
- 1999-12-18 KR KR10-1999-0059126A patent/KR100386104B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR100386104B1 (ko) | 2003-06-02 |
| DE69938220T2 (de) | 2009-02-19 |
| KR20000048237A (ko) | 2000-07-25 |
| DE69938220D1 (de) | 2008-04-10 |
| CN1231062C (zh) | 2005-12-07 |
| CN1264251A (zh) | 2000-08-23 |
| ATE387809T1 (de) | 2008-03-15 |
| US6965643B1 (en) | 2005-11-15 |
| JP2000236553A (ja) | 2000-08-29 |
| EP1014724A2 (en) | 2000-06-28 |
| EP1014724B1 (en) | 2008-02-27 |
| EP1014724A3 (en) | 2001-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2842796B2 (ja) | 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置 | |
| US8218949B2 (en) | Video information recording device, video information recording method, and recording medium containing the video information recording program | |
| KR100416032B1 (ko) | 화상처리장치 및 화상처리방법, 그리고화상처리프로그램기억용의 기록매체 | |
| JP3976942B2 (ja) | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 | |
| KR100772343B1 (ko) | 데이터 재생 전송 장치 및 데이터 재생 전송 방법 | |
| JP4018335B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP4853647B2 (ja) | 動画像変換方法、動画像変換装置、動画像変換システムおよびサーバ装置並びにプログラム | |
| JP3852366B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| WO2003092293A1 (en) | Encoding device and method, decoding device and method, edition device and method, recording medium, and program | |
| JP4010617B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP2002199392A (ja) | 映像符号化方法および装置 | |
| JPH08251582A (ja) | 符号化データ編集装置 | |
| JP4217316B2 (ja) | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 | |
| KR100626419B1 (ko) | 비디오 전송에서 비트 스트림들간의 교환 | |
| JPH08140047A (ja) | 画像データ記録装置 | |
| JP4193224B2 (ja) | 動画像符号化装置及び方法並びに動画像復号装置及び方法 | |
| JP4018305B2 (ja) | 画像処理方法及びその装置と記憶媒体 | |
| JP2005051818A (ja) | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 | |
| JP2914368B1 (ja) | 時報に合わせた動画像信号符号化方法及び装置 | |
| JP2000156868A (ja) | 画像復号化方法及び装置 | |
| JP2000197062A (ja) | 暗号化機能付き画像符号化装置と暗号解読機能付き画像復号化装置 | |
| JP2001157211A (ja) | 画像復号化方法及び装置並びに記憶媒体 | |
| JP2000312359A (ja) | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 | |
| JP2000270333A (ja) | 画像信号符号化装置 | |
| JPH07170522A (ja) | 動画像圧縮データ切り換え装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070619 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |