JP3796756B2 - 静止画動画記録装置及び静止画動画記録方法 - Google Patents

静止画動画記録装置及び静止画動画記録方法 Download PDF

Info

Publication number
JP3796756B2
JP3796756B2 JP51145798A JP51145798A JP3796756B2 JP 3796756 B2 JP3796756 B2 JP 3796756B2 JP 51145798 A JP51145798 A JP 51145798A JP 51145798 A JP51145798 A JP 51145798A JP 3796756 B2 JP3796756 B2 JP 3796756B2
Authority
JP
Japan
Prior art keywords
image
recording
still image
compression
still
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP51145798A
Other languages
English (en)
Inventor
三樹 阿部
英一郎 森永
孝安 今
隆史 細井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP8231061A external-priority patent/JPH1075420A/ja
Priority claimed from JP8231060A external-priority patent/JPH1075419A/ja
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of JP3796756B2 publication Critical patent/JP3796756B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/215—Recording a sequence of still pictures, e.g. burst mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H04N5/9264—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

技術分野
この発明は、例えばＭＰＥＧ２等の汎用動画像符号化標準規格を用いて動画と静止画とを記録できるようにした静止画動画記録装置及び静止画動画記録方法に関するものである。
背景技術
特開平３−３４６８６号公報には、動画信号を記録しつつビデオカメラ出力信号中から任意の静止画信号を選択してＲＡＭ等のデジタルメモリに記録した後、デジタルメモリから順次読み出された信号を複数のトラックに分割してデジタル音声信号記録領域に記録するようにしたデジタル静止画信号記録／再生装置が記載されている。このデジタル静止画信号記録／再生装置では、デジタル記録された静止画信号とデジタル音声信号とを区別するために、デジタル化された静止画信号を音声以外の信号であることを示す識別信号と共に、デジタル音声信号記録領域に記録するようにしている。
特開平５−３６２０５号公報には、タイマを用いた静止画撮影時のタイマ動作中においても動画撮影を可能した磁気記録装置が記載されている。
特開平５−１１５０５３号公報には、連続したアナログ動画の中の特定のものをデジタル静止画信号として静止画記録エリアに記録するとともに、動画記録エリアにもその静止画を連続して記録することにより、動画再生時に記録されている静止画の内容を理解できるようにした磁気記録装置が記載されている。
特開平７−１９３７７７号公報には、動画と静止画とを同時記録できるビデオカメラにおいて、静止画像信号の記録途中に録画解除モードが選択された場合は完全に静止画像信号を記録した後に記録画解除モードを実行することで、不完全な静止画を残さないようにしたビデオカメラが記載されている。
ところで、動画と静止画とを記録できるようにした従来の装置は、動画をアナログ信号で磁気テープへ記録し、静止画はＰＣＭ化されたデジタル信号としてデジタル音声信号記録領域に記録するようにしている。このため、動画記録用にアナログ信号処理回路と静止画記録用にデジタル信号処理回路との２系統の信号処理回路が必要であり、装置構成が複雑となる。記録された動画並びに静止画を再生するには、各記録方式に対応した２系統の再生回路が必要である。
また、動画録画中に静止画撮影を行った場合は、同一のシーンをアナログ信号とデジタル信号の双方で重複記録している。静止画のみの録画を行った場合は、動画用のアナログ信号記録領域は使用されない。このため、磁気テープ等の記録媒体の記憶容量を有効に利用できないことがある。
さらに、動画撮影中に静止画撮影を行うと、撮影した静止画のデジタル信号をデジタル音声信号記録領域に記録するために、静止画のデジタル信号を記録している間は、音声の記録が途切れるという問題がある。
そこで、ＭＰＥＧ２等の画像圧縮符号化標準規格を用いて、動画は動画用の圧縮方式で、静止画は静止画用の圧縮方式で圧縮して得た画像データを記録媒体に記録する構成にすることで、記録装置の構成を動画録画と静止画録画とで共通にすると共に、記録媒体の記憶容量を有効に利用できるようにし、さらに、音声記録が途切れないようにすることが考えられる。
しかしながら、動画の圧縮データ並びに静止画の圧縮データを単に記録する構成では、静止画だけを選択して再生するのが困難である。
この発明は、このような問題点を解決するためなされたもので、動画記録と静止画記録の回路のハード構成を共通にするとともに、動画と静止画の混在録画を行った場合でも記録媒体の記録容量を有効に利用できる静止画動画記録装置及び静止画動画記録方法を提供することを目的とする。
また、この発明は、静止画データだけを選択して再生することを可能にする静止画動画記録装置及び静止画動画記録方法を提供することを目的とする。
発明の開示
本発明に係る静止画動画記録装置は、入力画像信号から、動画録画モードでは動画録画用の圧縮パラメータに基づいて圧縮された画像データを生成し、静止画録画モードでは静止画録画用の圧縮パラメータに基づいて圧縮された画像データを生成する画像圧縮手段と、上記画像圧縮手段で生成した画像データを交換可能な記録媒体に記録する記録手段と、上記画像圧縮手段の画像圧縮パラメータを動画録画時と静止画録画時とで切り換えることで画像圧縮方式を切り換える画像圧縮方式切換手段とを備え、上記静止画用の圧縮パラメータは、符号化標準規格であるＭＰＥＧで圧縮符号化する際に、イントラ符号化を原則とし、静止画録画が所定時間内に連続して要求された場合に順方向予測符号化フレームによる画像符号化を行い、画像データの最初の１マクロブロックの量子化係数を予め設定した特定値に固定するよう規定しており、この画像データの最初の１マクロブロックの量子化係数が特定値に固定された情報を静止画録画モード情報として利用し、上記静止画録画モードでは静止画であることを示す静止画録画モード情報を含めた画像データを上記記録媒体に記録することを特徴とする。
また、本発明は、動画録画時と静止画録画時とで画像圧縮パラメータを切り換えることで画像圧縮方式を切り換えて、動画録画時と静止画録画時とで異なる画像圧縮方式で入力画像信号を圧縮画像データへ変換し、動画録画モードでは動画録画用の圧縮パラメータに基づいて圧縮された画像データを生成して記録媒体に記録し、静止画録画モードでは静止画録画用の圧縮パラメータに基づいて圧縮された画像データを生成して静止画であることを示す静止画録画モード情報とともに記録媒体に記録に記録する静止画動画記録方法であって、上記静止画用の圧縮パラメータは、符号化標準規格であるＭＰＥＧで圧縮符号化する際に、イントラ符号化を原則とし、静止画録画が所定時間内に連続して要求された場合に順方向予測符号化フレームによる画像符号化を行い、画像データの最初の１マクロブロックの量子化係数を予め設定した特定値に固定するよう規定しており、この画像データの最初の１マクロブロックの量子化係数が特定値に固定された情報を静止画録画モード情報として利用し、上記静止画録画モードでは静止画であることを示す静止画録画モード情報を含めた画像データを上記記録媒体に記録することを特徴とする。
【図面の簡単な説明】
図１は、この発明に係る静止画動画記録装置の構成例を示すブロック図である。
図２は、この発明に係る静止画動画記録装置の他の構成例を示すブロック図である。
図３は、この発明を適用した静止画動画記録／再生装置の具体的な構成例を示すブロック図である。
図４は、上記静止画動画記録／再生装置における制御部が画像圧縮／伸張処理部に供給する量子化パラメータを決定する手順を示すフローチャートである。
発明を実施するための最良の形態
以下、本発明を実施するための最良の形態を図面を参照しながら詳細に説明する。
この発明に係る静止画動画記録装置は、例えば図１のブロック図に示すように構成される。
この図１に示す静止画動画記録装置１は、音声入力装置２と、音声入力装置２から出力される入力音声信号を音声データへ変換する音声処理装置としての音声圧縮装置３と、画像入力装置４と、画像入力装置４から出力される入力画像信号を圧縮して画像データへ変換する画像圧縮装置５と、音声圧縮装置３から出力された音声データ並びに画像圧縮装置５から出力された画像データを一時記憶するとともに、一時記憶した音声データ並びに画像データをパケット化してパケットデータを生成して出力する記録データ生成装置６と、記録データ生成装置６から出力されるパケットデータを交換可能な記録媒体８に記録する記録装置７と、画像圧縮装置５の画像圧縮動作条件を規定する画像圧縮パラメータを動画録画時と静止画録画時とで切り換えることで画像圧縮方式を切り換える画像圧縮方式切換装置１０とからなる。
音声入力装置２は、マイクロホンとマイクロホンで集音した音声信号を所定のレベルに増幅する音声信号処理回路等を備える。音声圧縮装置３は、入力音声信号をデジタル信号へ変換した後にデータ圧縮を行って音声データを出力する音声用エンコーダ回路等を備える。画像入力装置４は、撮像光学系とＣＣＤ等撮像素子と撮像した画像信号に各種のアナログ信号処理を施す画像信号処理回路等を備える。
画像圧縮装置５は、例えばＭＰＥＧ２用のエンコード回路等を備える。この画像圧縮装置５は、画像圧縮方式切換装置１０から供給される圧縮パラメータによって指定された画像圧縮条件で画像を圧縮動作を行う構成としている。
記録データ生成装置６は、音声データ並びに画像データを一時記憶するためのメモリと、一時記憶した各データをパケット化するためのデータ処理回路等を備える。
記録装置７は、テープ、ディスク、メモリカード等の交換可能な記録媒体を装着するための記録媒体装着部と、装着された記録媒体にパケットデータを記録する記録回路等を備え、記録データ生成装置６から供給されるパケットデータを交換可能な記録媒体８に記録する。
画像圧縮方式切換装置１０は、動画録画用の圧縮パラメータを格納した動画用圧縮パラメータ記憶部１１と、静止画録画用の圧縮パラメータを格納した静止画用圧縮パラメータ記憶部１２と、画像圧縮装置５へ供給するパラメータを選択するパラメータ選択回路１３と、動画録画ボタン１４並びに静止画録画ボタン１５の操作状態を監視して録画モードを決定するとともに、決定した録画モードに基づいて動画録画時には動画録画用の圧縮パラメータが画像圧縮装置５へ供給されるように、また、静止画録画時には静止画録画用の圧縮パラメータが画像圧縮装置５へ供給されるようにパラメータ選択回路１３の選択切り換え動作を制御するＣＰＵ１６とを備える。
動画用の圧縮パラメータは、静止画録画よりも大きな圧縮率を規定している。また、動画用の圧縮パラメータは、イントラ符号化フレーム（Ｉピクチャ），順方向予測符号化フレーム（Ｐピクチャ），双方向予測符号化フレーム（Ｂピクチャ）の３種類の符号化をすべて許可している。動画用の圧縮パラメータは、動画用の画像圧縮データを生成する際に、最初のマクロブロックの量子化係数が１以外になるよう設定している。
静止画用の圧縮パラメータは、動画録画よりも小さな圧縮率を規定している。また、静止画用の圧縮パラメータは、イントラ符号化フレーム（Ｉピクチャ）を原則とし、静止画録画が所定時間内に連続して要求された場合は順方向予測符号化フレーム（Ｐピクチャ）による画像符号化を行ってもよいようにしている。静止画用の圧縮パラメータは、静止画用の画像圧縮データを生成する際に、最初のマクロブロックの量子化係数を１に固定するようにしている。
ＣＰＵ１６は、動画録画ボタン１４が押下された場合は動画録画モードと判断し、パラメータ選択回路１３を制御して動画録画用の圧縮パラメータ画像圧縮装置５へ供給する。ＣＰＵ１６は、動画録画ボタン１４の押下が継続されている間、動画録画を継続させる。
ＣＰＵ１６は、静止画録画ボタン１５が押下された場合は静止画録画モードと判断し、パラメータ選択回路１３を介して静止画録画用の圧縮パラメータを画像圧縮装置５へ供給する。ＣＰＵ１６は、静止画録画ボタン１５の押下を検出した時点から１フレーム分の静止画像を録画した時点で静止画録画モードを終了させるようにしている。なお、静止画録画ボタン１５が押下されている間は、静止画録画モードを動画録画と同じ単位時間当たりのフレーム数又は動画録画時よりも少ない単位時間当たりのフレーム数で静止画録画を継続する構成としてもよい。すなわち、静止画録画ボタン１５が押下され続けている間は、毎秒１〜３０フレームの静止画が連続的に撮像され記録される。
動画録画ボタン１４が押下され動画録画モードで動作している状態で、静止画録画ボタン１５が押下された場合、ＣＰＵ１６は、画像圧縮パラメータを１フレーム分の間だけ動画用から静止画用へ切り換える。なお、ＣＰＵ１６は、静止画録画ボタン１５が押下されている間は、静止画録画モードを継続させるようにしてもよい。
画像圧縮装置５は、画像圧縮方式切換装置１０から供給される画像圧縮パラメータに基づいて入力画像信号を圧縮して画像データへ変換する。ここで、画像圧縮装置５は、静止画録画用の圧縮パラメータに基づいて静止画用の画像圧縮データを生成する際には、最初のマクロブロックの量子化係数を１に固定するようにしている。また、画像圧縮装置５は、動画録画用の圧縮パラメータに基づいて動画用の画像圧縮データを生成する際には、最初のマクロブロックの量子化係数が１にならないように設定している。
このように最初のマクロブロックの量子化係数を１に固定するか否かによって、静止画記録モードで記録されたか動画記録モードで記録されたかを記録媒体に記録することで、再生時に静止画データだけを自動的に選択して再生することが可能となる。
次に、この発明に係る静止画動画記録装置１の動作を説明する。画像圧縮方式切換装置１０内のＣＰＵ１６は、動画録画ボタン１４が押下されると動画録画モードと判断し、動画録画用の圧縮パラメータを画像圧縮装置５へ供給する。画像圧縮装置５は、動画録画用の圧縮パラメータに基づいて入力画像を圧縮し、圧縮した画像データを出力する。記録データ生成装置６は、音声圧縮装置３から出力される音声データと画像圧縮装置５から出力される画像データとをパケット化してパケットデータを記録装置７へ供給する。記録装置７は、パケットデータを交換可能な記録媒体（テープ、ディスク、メモリカード等）８に記録する。これにより、動画の録画がなされる。
画像圧縮方式切換装置１０内のＣＰＵ１６は、静止画録画ボタン１５が押下されると静止画録画モードと判断し、静止画録画用の圧縮パラメータを画像圧縮装置５へ供給する。画像圧縮装置５は、静止画録画用の圧縮パラメータに基づいて１フレーム分の入力画像を圧縮し、圧縮した画像データを出力する。圧縮された１フレーム分の画像データは記録データ生成装置６でパケット化されて記録装置７へ供給され、交換可能な記録媒体８に記録される。
動画録画中に静止画録画ボタン１５が押下された場合、画像圧縮方式切換装置１０内のＣＰＵ１６は、画像圧縮装置５へ供給する画像圧縮パラメータを１フレーム分の間だけ動画用から静止画用へ切り換える。したがって、画像圧縮装置５は、動画用の圧縮状態から１フレーム分の間だけ静止画録画用の圧縮パラメータに基づいて入力画像を圧縮した後、動画用の圧縮状態に戻る。画像圧縮装置５から順次出力される画像データは記録データ生成装置６でパケット化されて記録装置７へ供給され、交換可能な記録媒体８に記録される。
このように動画録画中に静止画録画を行っても静止画録画する１フレーム分の間だけ圧縮パラメータが変更されるだけで一連の動画録画動作は中断されないので、動画録画を中断させることなく静止画を録画できる。したがって、動画録画時に音声録音が途切れることもない。また、動画と静止画の同時録画を行った場合、動画と静止画を別の領域等に分けて記録するのではなく、静止画としての録画が要求された１フレーム分の画像の圧縮方式を変更して記録する構成であるから、記録媒体の記録容量を無駄にすることなく有効に利用できる。また、静止画録画モードでは、１フレーム分の入力画像をイントラ符号化フレーム（Ｉピクチャ）等のそのフレームだけで再生可能な符号化フレームで、かつ、画像圧縮率を低くし記録しているので、高画質な静止画の記録ができる。
さらに、この静止画動画記録装置１は、画像データの最初のマクロブロックの量子化係数を１に固定するか否かによって、静止画記録モードで記録されたか動画記録モードで記録されたかを記録媒体に記録しているので、再生時に静止画データだけを自動的に選択して再生することが可能となる。すなわち、このような構成の静止画動画記録装置１により静止画と動画が混在録画された記録媒体８は、動画録画用の圧縮パラメータに基づいて圧縮された画像データ記録された動画録画領域と、静止画録画用の圧縮パラメータに基づいて圧縮された画像データが静止画であることを示す静止画録画モード情報とともに記録された静止画録画領域を有する静止画動画記録媒体となっている。
なお、図１では、画像圧縮方式切換装置１０側に動画録画用並びに静止画録画用の圧縮パラメータを備え、画像圧縮方式切換装置１０側から録画モードに応じた圧縮パラメータを画像圧縮装置５へ供給する構成を示したが、画像圧縮装置５側に動画録画用並びに静止画録画用の圧縮パラメータを備え、画像圧縮方式切換装置１０側から動画録画モードか静止画録画モードかを指示する録画モード指令を画像圧縮装置５へ供給し、画像圧縮装置５は供給された録画モード指令に基づいて画像圧縮方式を切り換えるようにしてもよい。
また、この発明に係る静止画動画記録装置は、例えば図２に示すように構成される。
この図２に示す静止画動画記録装置２１は、音声入力装置２２と、音声入力装置２２から出力される入力音声信号を音声データへ変換する音声圧縮装置２３と、画像入力装置２４と、画像入力装置２４から出力される入力画像信号を圧縮して画像データへ変換する画像圧縮装置２５と、音声圧縮装置２３から出力された音声データ並びに画像圧縮装置２５から出力された画像データを一時記憶すると共に、一時記憶した音声データ並びに画像データをパケット化してパケットデータを生成して出力する記録データ生成装置２６と、記録データ生成装置２６から供給されるパケットデータを交換可能な記録媒体に記録する記録装置２７と、画像圧縮装置２５の画像圧縮動作条件を規定する画像圧縮パラメータを動画録画時と静止画録画時とで切り換えることで画像圧縮方式を切り換える画像圧縮方式切換装置３０とからなる。
音声入力装置２２は、マイクロホンとマイクロホンで集音した音声信号を所定のレベルに増幅する音声信号処理回路等を備える。音声圧縮装置２３は、入力音声信号をデジタル信号へ変換した後にデータ圧縮を行って音声データを出力する音声用エンコード回路等を備える。画像入力装置２４は、撮像光学系とＣＣＤ等撮像素子と撮像した画像信号に各種のアナログ信号処理を施す画像信号処理回路等を備える。
画像圧縮装置２５は、例えばＭＰＥＧ２用のエンコード回路等を備える。この画像圧縮装置２５は、画像圧縮方式切換装置３０から供給される圧縮パラメータによって指定された画像圧縮条件で画像を圧縮動作を行う構成としている。
記録データ生成装置２６は、音声データ並びに画像データを一時記憶するためのメモリと、一時記憶した音声データ並びに画像データをパケット化するためのデータ処理回路等を備える。
記録装置２７は、テープ、ディスク、メモリカード等の交換可能な記録媒体を装着するための記録媒体装着部と、装着された記録媒体にパケットデータを記録する記録回路等を備え、記録データ生成装置２６から供給されるパケットデータを交換可能な記録媒体２８に記録する。
画像圧縮方式切換装置３０は、動画録画用の圧縮パラメータを決定する動画用圧縮パラメータ決定部３１と、静止画録画用の圧縮パラメータを決定する静止画用圧縮パラメータ決定部３２と、動画用圧縮パラメータ決定部３１の出力が供給される動画フラグ書き込み部３３と、静止画用圧縮パラメータ決定部３２の出力が供給される静止画フラグ書き込み部３４と、画像圧縮装置２５へ供給するパラメータを選択するパラメータ選択回路３５と、動画録画ボタン３６並びに静止画録画ボタン３７の操作状態を監視して録画モードを決定すると共に、決定した録画モードに基づいて動画録画時には動画録画用の圧縮パラメータが画像圧縮装置２５へ供給されるように、また、静止画録画時には静止画録画用の圧縮パラメータが画像圧縮装置２５へ供給されるようにパラメータ選択回路３５の選択切り換え動作を制御するＣＰＵ３８とを備える。
動画用圧縮パラメータ決定部３１は、画像圧縮装置２５から送られてくる発生符号化データ量、画像のアクティビティに基づいて、動画録画用の圧縮パラメータを決定する。動画用の圧縮パラメータは、静止画録画よりも大きな圧縮率を規定している。また、動画用の圧縮パラメータは、イントラ符号化フレーム（Ｉピクチャ），順方向予測符号化フレーム（Ｐピクチャ），双方向予測符号化フレーム（Ｂピクチャ）の３種類の符号化をすべて許可している。そして、この動画用圧縮パラメータ決定部３１の出力が供給される動画フラグ書き込み部３３では、再生時に動画であることを識別可能にするために、画像の先頭マクロブロックの量子化係数が「１」以外になるように、動画用の圧縮パラメータを強制的に「２」に変更する。
また、静止画用圧縮パラメータ決定部３２は、画像圧縮装置２５から送られてくるデータ量、画像のアクティビティに基づいて、動画録画用の圧縮パラメータを決定する。静止画用の圧縮パラメータは、動画録画よりも小さな圧縮率を規定している。また、静止画用の圧縮パラメータは、イントラ符号化フレーム（Ｉピクチャ）を原則とし、静止画録画が所定時間内に連続して要求された場合は順方向予測符号化フレーム（Ｐピクチャ）による画像符号化を行ってもよいようにしている。そして、この静止画用圧縮パラメータ決定部３２の出力が供給される静止画フラグ書き込み部３４では、再生時に静止画であることを識別可能にするために、画像の先頭マクロブロックの量子化係数が「１」になるように、静止画用の圧縮パラメータを強制的に「１」に変更する。
ＣＰＵ３８は、動画録画ボタン３６が押下された場合は動画録画モードと判断し、パラメータ選択回路３５を制御して動画録画用の圧縮パラメータを画像圧縮装置２５へ供給する。ＣＰＵ３８は、動画録画ボタン３６の押下が継続されている間、動画録画を継続させる。
また、ＣＰＵ３８は、静止画録画ボタン３７が押下された場合は静止画録画モードと判断し、パラメータ選択回路３５を介して静止画録画用の圧縮パラメータを画像圧縮装置２５へ供給する。ＣＰＵ３８は、静止画録画ボタン３７の押下を検出した時点から１フレーム分の静止画像を録画した時点で静止画録画モードを終了させるようにしている。なお、静止画録画ボタン３７が押下されている間は、静止画録画モードを動画録画と同じ単位時間当たりのフレーム数又は動画録画時よりも少ない単位時間当たりのフレーム数で静止画録画を継続する構成としてもよい。
動画録画ボタン３６が押下され動画録画モードで動作している状態で、静止画録画ボタン３７が押下された場合、ＣＰＵ３８は、画像圧縮パラメータを１フレーム分の間だけ動画用から静止画用へ切り換える。なお、ＣＰＵ３８は、静止画録画ボタン３７が押下されている間は、静止画録画モードを継続させるようにしてもよい。
画像圧縮装置２５は、画像圧縮方式切換装置３０から供給される画像圧縮パラメータに基づいて入力画像信号を圧縮して画像データへ変換する。ここで、画像圧縮装置２５は、静止画録画用の圧縮パラメータに基づいて静止画用の画像圧縮データを生成する際には、最初のマクロブロックの量子化係数を「１」に固定するようにしている。また、画像圧縮装置２５は、動画録画用の圧縮パラメータに基づいて動画用の画像圧縮データを生成する際には、最初のマクロブロックの量子化係数が「１」にならないように設定している。
このように最初のマクロブロックの量子化係数を「１」に固定するか否かによって、静止画記録モードで記録されたか動画記録モードで記録されたかを記録媒体に記録することで、再生時に静止画データだけを自動的に選択して再生することが可能となる。
次に、この発明に係る静止画動画記録装置２１の動作を説明する。画像圧縮方式切換装置３０内のＣＰＵ３８は、動画録画ボタン３６が押下されると動画録画モードと判断し、動画録画用の圧縮パラメータを画像圧縮装置２５へ供給する。画像圧縮装置２５は、動画録画用の圧縮パラメータに基づいて入力画像を圧縮し、圧縮した画像データを出力する。記録データ生成装置２６は、音声圧縮装置２３から出力される音声データと画像圧縮装置２５から出力される画像データとをパケット化してパケットデータを記録装置２７へ供給する。記録装置２７は、パケットデータを交換可能な記録媒体（テープ、ディスク、メモリカード等）２８に記録する。これにより、動画の録画がなされる。
画像圧縮方式切換装置３０内のＣＰＵ３８は、静止画録画ボタン３７が押下されると静止画録画モードと判断し、静止画録画用の圧縮パラメータを画像圧縮装置２５へ供給する。画像圧縮装置２５は、静止画録画用の圧縮パラメータに基づいて１フレーム分の入力画像を圧縮し、圧縮した画像データを出力する。圧縮された１フレーム分の画像データは記録データ生成装置２６でパケット化されて記録装置７へ供給され、記録媒体２８に記録される。
動画録画中に静止画録画ボタン３７が押下された場合、画像圧縮方式切換装置３０内のＣＰＵ３８は、画像圧縮装置５へ供給する画像圧縮パラメータを１フレーム分の間だけ動画用から静止画用へ切り換える。したがって、画像圧縮装置２５は、動画用の圧縮状態から１フレーム分の間だけ静止画録画用の圧縮パラメータに基づいて入力画像を圧縮した後、動画用の圧縮状態に戻る。画像圧縮装置５から順次出力される画像データは記録データ生成装置２６でパケット化されて記録装置２７へ供給され、記録媒体２８に記録される。
このように動画録画中に静止画録画を行っても静止画録画する１フレーム分の間だけ圧縮パラメータが変更されるだけで一連の動画録画動作は中断されないので、動画録画を中断させることなく静止画を録画できる。したがって、動画録画時に音声録音が途切れることもない。また、動画と静止画の同時録画を行った場合、動画と静止画を別の領域等に分けて記録するのではなく、静止画としての録画が要求された１フレーム分の画像の圧縮方式を変更して記録する構成であるから、記録媒体の記録容量を無駄にすることなく有効に利用できる。また、静止画録画モードでは、１フレーム分の入力画像をイントラ符号化フレーム（Ｉピクチャ）等のそのフレームだけで再生可能な符号化フレームで、かつ、画像圧縮率を低くして記録しているので、高画質な静止画の記録ができる。
さらに、この発明に係る静止画動画記録装置は、画像データの最初のマクロブロックの量子化係数を１に固定するか否かによって、静止画記録モードで記録されたか動画記録モードで記録されたかを記録媒体に記録しているので、再生時に静止画データだけを自動的に選択して再生することが可能となる。
なお、図２では、画像圧縮方式切換装置３０側に動画録画用並びに静止画録画用の圧縮パラメータを備え、画像圧縮方式切換装置３０側から録画モードに応じた圧縮パラメータを画像圧縮装置２５へ供給する構成を示したが、画像圧縮装置２５側に動画録画用並びに静止画録画用の圧縮パラメータを備え、画像圧縮方式切換装置３０側から動画録画モードか静止画録画モードかを指示する録画モード指令を画像圧縮装置２５へ供給し、画像圧縮装置２５は供給された録画モード指令に基づいて画像圧縮方式を切り換えるようにしてもよい。
次に、本発明を適用した静止画動画記録／再生装置の具体例について、図３を参照して説明する。
この図３に示す静止画動画記録／再生装置１００は、音声信号と画像信号を記録／再生する機能を有するもので、音声信号を入力／出力するための音声入出力部１１１と、この音声入出力部１１１に接続された音声圧縮／伸張処理部１１２と、画像信号を入力／出力するための画像入出力部１１３と、この画像入出力部１１３に接続された画像圧縮／伸張処理部１１４と、上記音声圧縮／伸張処理部１１２及び画像圧縮／伸張処理部１１４に接続されたバッファメモリ部１１５と、このバッファメモリ部１１５に接続された記録／再生部１１６と、これら各部を制御するための制御部１１７とからなる。
音声入出力部１１１は、図示しないマイクロホンで集音した音声信号を所定のレベルに増幅する入力増幅回路や出力する音声信号を所定のレベルに増幅する出力増幅回路等を備える。
音声圧縮／伸張処理部１１２は、制御部１１７により動作モードが切り換えられて、記録モード時には入力音声信号をデジタル化してから高能率符号化圧縮（データ圧縮）するデータ圧縮装置として機能し、再生モード時には圧縮音声データを伸張してからアナログ化するデータ伸張装置として機能するもので、ＡＤ／ＤＡ変換回路１２１、圧縮／伸張処理用のエンコード／デコード回路１２２及びインターフェース回路１２３からなり、その動作モードが上記制御部１１７により入力モードと出力モードとに切り換え設定され、入力モード時には圧縮モードに設定され、出力モード時には伸張モードに設定されるようになっている。
ここで、この音声圧縮／伸張処理部１１２における高能率符号化圧縮方式としては、例えば、人間の聴覚特性（聴覚マスキング効果と最小可聴限性）を利用したサブバンド符号化あるいは直交変換によるＡＴＲＡＣ（Adaptive Transform Acoustic Cording）２方式が採用される。
この音声圧縮／伸張処理部１１２において、ＡＤ／ＤＡ変換回路１２１は、圧縮モード時に、上記音声入出力部１１１を介して入力されるアナログ音声信号をデジタル化して、デジタル音声信号を圧縮／伸張処理用のエンコード／デコード回路１２２に供給する。また、このＡＤ／ＤＡ変換回路１２１は、伸張モード時に、上記圧縮／伸張処理用のエンコード／デコード回路１２２から供給されるデジタル音声信号をアナログ化して、上記音声入出力部１１１信号を介してアナログ音声信号を出力する。圧縮／伸張処理用のエンコード／デコード回路１２２は、圧縮モード時に、上記音声入出力部１１１からＡＤ／ＤＡ変換回路１２１を介して供給されるデジタル音声信号にＡＴＲＡＣ２方式のエンコード処理を施してデータ圧縮を行い、インターフェース回路１２３を介して圧縮音声データをバッファメモリ部１１５に供給する。また、この圧縮／伸張処理用のエンコード／デコード回路１２２は、伸張モード時に、上記バッファメモリ部１１５から、インターフェース回路１２３を介して供給される圧縮音声データに上記エンコード処理とは逆のデコード処理を施し、デジタル音声信号をＡＤ／ＤＡ変換回路１２１に供給する。
また、画像入出力部１１３は、撮像部１２４、撮像信号処理部１２５及び画像信号出力処理部１２６からなり、その動作モードが上記制御部１１７により入力モードと出力モードとに切り換え設定されるようになっている。
この画像入出力部１１３における撮像部１２４は、撮像光が入射される撮像レンズ１２７、この撮像レンズ１２７を介して被写体像を撮像するＣＣＤイメージセンサ１２８、このＣＣＤイメージセンサ１２８から撮像信号を取り出して所定のレベルに増幅するアナログ信号処理回路１２９、上記ＣＣＤイメージセンサ１２８及びアナログ信号処理回路１２９にクロック信号を供給するタイミングジェネレータ１３０などからなる。上記ＣＣＤイメージセンサ１２８は、例えば水平７６８画素×垂直４９４画素の２次元カラーイメージセンサであって、原色（Ｒ，Ｇ，Ｂ）あるいは補色（Ｙｅ，Ｃｙ，Ｍｇ）の色コーディングフィルタにより色コーディングされた撮像信号を出力する。そして、アナログ信号処理回路１２９は、このＣＣＤイメージセンサ１２８から相関二重サンプリング処理によりリセット雑音等を除去した撮像信号を取り出し、この撮像信号をＡＧＣにより所定のレベルに増幅して撮像信号処理部１２５に供給する。
なお、この撮像部１２４におけるタイミングジェネレータ１３０は、１４．３１８ＭＨｚ（４ｆｓｃ）を原発振として、上記ＣＣＤイメージセンサ１２８の駆動やアナログ信号処理回路１２９における相関二重サンプリング処理及び後述する撮像信号処理部１２５の駆動に必要な各種クロックを生成するようになっている。
また、この画像入出力部１１３における撮像信号処理部１２５は、上記撮像部１２４から撮像信号が供給されるＡ／Ｄ変換回路１３１、このＡ／Ｄ変換回路１３１からデジタル撮像信号が供給されるデジタル信号処理部１３２、このデジタル信号処理部１３２に接続された遅延回路１３３及びレート変換回路１３４などからなる。
上記Ａ／Ｄ変換回路１３１は、撮像部１２４により得られた撮像信号をデジタル化して、デジタル撮像信号をデジタル信号処理部１３２に供給する。デジタル信号処理部１３２は、上記撮像部１２４からＡ／Ｄ変換回路１３１を介して供給されるデジタル撮像信号に対して、遅延回路１３３を用いて上記ＣＣＤイメージセンサ１２８の色コーディングフィルタによる色コーディングに対応したデコード処理を行い、ＮＴＳＣ方式に準拠した輝度信号Ｙと色差信号Ｃｒ／Ｃｂを生成する。そして、レート変換回路１３４は、デジタル信号処理部１３２により生成された輝度信号Ｙと色差信号Ｃｒ／Ｃｂのサンプリング周波数を１４．３１８ＭＨｚから１３．５ＭＨｚに乗り換えるレート変換を行うことにより、ＣＣＩＲ６０１に準拠した輝度信号Ｙと色差信号Ｃｒ／Ｃｂを生成する。
この画像入出力部１１３において、上記撮像部１２４及び撮像信号処理部１２５は、入力モード時に動作する。そして、上記撮像部１２４により得られる撮像信号から撮像信号処理部１２５によりＣＣＩＲ６０１に準拠したデジタル画像信号Ｙ／Ｃｒ／Ｃｂを生成して画像信号出力処理部１２６に供給するとともに画像圧縮／伸張処理部１１４に供給するようになっている。
さらに、この画像入出力部１１３における画像信号出力処理部１２６は、上記撮像信号処理部１２５により生成されるＣＣＩＲ６０１に準拠したデジタル画像信号Ｙ／Ｃｒ／Ｃｂと後述する画像圧縮／伸張処理部１１４により生成されるＣＣＩＲ６０１に準拠したデジタル画像信号Ｙ／Ｃｒ／Ｃｂと管面表示信号発生回路１３５により発生される管面表示信号が供給されるミキサ回路１３６、上記管面表示信号発生回路１３５に接続されたパレットＲＡＭ１３７、上記ミキサ回路１３６に接続されたＮＴＳＣエンコード回路１３８、このＮＴＳＣエンコード回路１３８に接続されたＤ／Ａ変換回路１３９等からなる。
この画像入出力部１１３におけるミキサ回路１３６は、撮像信号処理部１２５又は画像圧縮／伸張処理部１１４により生成されるＣＣＩＲ６０１に準拠したデジタル画像信号Ｙ／Ｃｒ／Ｃｂに管面表示信号発生回路１３５により発生される管面表示信号をスーパーインポーズするためのものである。ＮＴＳＣエンコード回路１３８は、撮像信号処理部１２５又は画像圧縮／伸張処理部１１４からミキサ回路１３６を介して供給されるＣＣＩＲ６０１に準拠したデジタル画像信号Ｙ／Ｃｒ／ＣｂをＮＴＳＣに準拠したデジタル画像信号にエンコードしてＤ／Ａ変換回路１３９に供給する。そして、Ｄ／Ａ変換回路１３９は、ＮＴＳＣエンコード回路１３８から供給されるデジタル画像信号をアナログ化して、アナログ画像信号を図示しないモニター装置等に出力する。
また、画像圧縮／伸張処理部１１４は、制御部１１７により動作モードが切り換えられて、記録モード時には入力デジタル画像信号を高能率符号化圧縮（データ圧縮）するデータ圧縮装置として機能し、再生モード時には圧縮画像データを伸張するデータ伸張装置として機能するもので、動き検出回路１４１及び圧縮／伸張処理用のエンコード／デコード回路１４２からなり、その動作モードが上記制御部１１７により入力モードと出力モードとに切り換え設定され、入力モード時には圧縮モードに設定され、出力モード時には伸張モードに設定されるようになっている。
ここで、この画像圧縮／伸張処理部１１４における高能率符号化圧縮方式としては、例えば、画像信号の相関を利用したＭＰＥＧ（Moving Picture Expert Group）２方式が採用されている。ＭＰＥＧ２方式では、まず画像信号のフレーム間の差分を取ることにより時間軸方向の冗長度を落とし、その後、離散コサイン変換（ＤＣＴ）等の直交変換手法を用いて空間軸方向の冗長度を落としてビデオ信号を能率良く符号化する。そして、ＭＰＥＧ方式では、ある単位の動画像すなわち何枚かの画像をグループ・オブ・ピクチャ（GOP:Group of Pictures）と呼び、ＧＯＰ単位での独立再生ができるようにしている。ＧＯＰ内の画像（Ｐｉｃｔｕｒｅ）は大別してＩピクチャ，Ｐピクチャ又はＢピクチャの３種類のタイプを持ち、各フレームの画像信号は、いずれかのタイプのピクチャとして符号化される。
この画像圧縮／伸張処理部１１４において、圧縮／伸張処理用のエンコード／デコード回路１４２は、圧縮モード時に、上記画像入出力部１１３から動き検出回路１４１を介して供給されるＣＣＩＲ６０１に準拠したデジタル画像信号Ｙ／Ｃｒ／ＣｂにＭＰＥＧ２方式のエンコード処理を施すことによりデータ圧縮を行い、圧縮画像データを生成してバッファメモリ部１１５に供給する。なお、エンコード／デコード回路１４２から動き検出回路１４１に発生ビット量がフィードバックされることにより、レート制御がなされるようになっている。そして、この画像圧縮／伸張処理部１１４は、制御部１１７から供給される圧縮パラメータによって指定された画像圧縮条件で画像データの圧縮を行うようになっている。また、この圧縮／伸張処理用のエンコード／デコード回路１４２は、伸張モード時に、上記バッファメモリ部１１５から供給される圧縮画像データに上記エンコード処理とは逆のデコード処理を施すことにより、ＣＣＩＲ６０１に準拠したデジタル画像信号Ｙ／Ｃｒ／Ｃｂを生成して上記画像入出力部１１３のミキサ回路１３６に供給する。なお、エンコード／デコード回路１４２から動き検出回路１４１に発生ビット量がフィードバックされることにより、レート制御がなされるようになっている。
また、バッファメモリ部１１５は、記録／再生部１１６で記録／再生する圧縮音声データ及び圧縮画像データを一時記憶しておくためのものであって、バッファコントローラ１５１及びキャッシュメモリ１５２からなり、制御部１１７によって入力モードと出力モードとに切り換え設定されるようになっている。
このバッファメモリ部１１５において、バッファコントローラ１５１は、制御部１１７によって入力モードが設定されると、音声圧縮／伸張処理部１１２から供給される圧縮音声データと画像圧縮／伸張処理部１１４から供給される圧縮画像データをキャッシュメモリ１５２に一時記憶し、圧縮音声データ並びに圧縮画像データをパケット化してパケットデータを生成して記録／再生部１１６に供給する。また、このバッファメモリ部１１５は、制御部１１７によって出力モードが設定されると、記録／再生部１１６から供給されるパケットデータをキャッシュメモリ１５２に一時記憶し、圧縮音声データと圧縮画像データを音声圧縮／伸張処理部１１２と画像圧縮／伸張処理部１１４に分配供給する。
ここで、記録／再生部１１６は、本件出願人が特願平８−６７８８０や特願平９−１４２６６４号において提案しているダブルスパイラルトラックを採用した光磁気ディスク１６０を記録媒体として、画像データ及び音声データの記録／再生を行うものであって、上記バッファメモリ部１１５にインターフェース回路１６１を介して接続された記録部１６２及び再生部１６３を備え、制御部１１７により動作モードが切り換え設定されるようになっている。
この記録／再生部１１６において、記録部１６２は、上記バッファメモリ部１１５からパケットデータがインターフェース回路１６１を介して供給される記録用エンコーダ１６４、この記録用エンコーダ１６４の出力により駆動される記録ドライバ１６５、この記録ドライバ１６５により励磁される磁気ヘッド１６６を備える。また、再生部１６３は、光磁気ディスク１６０を挟んで上記磁気ヘッド１６６と対向するように配置された光学ヘッド１６７、この光学ヘッド１６７に接続された再生増幅器１６８、この再生増幅器１６８を介して光学ヘッド１６７による再生信号が供給されるＡ／Ｄ変換回路１７０及びＡＤＩＰデコーダ１６９、Ａ／Ｄ変換回路１７０の出力が供給されるビタビ復号回路１７１、ＡＤＩＰ（Address in pregroove）デコーダ１６９及びビタビ復号回路１７１の出力が供給される再生用エンコーダ１７２などからなる。
この記録／再生部１１６における記録部１６２は、制御部１１７によって入力モード時に記録モードが設定されることにより、上記バッファメモリ部１１５からパケットデータがインターフェース回路１６１を介して記録用エンコーダ１６４に供給される。そして、記録用エンコーダ１６４は、パケットデータを変調し、その変調出力で記録ドライバ１６５を駆動することにより、パケットデータに応じて磁気ヘッド１６６を励磁する。この記録／再生部１１６では、記録モード時に、光磁気ディスク１６０を挟んで磁気ヘッド１６６と対向するように配置された再生部１６３の光学ヘッド１６７から光磁気ディスク１６０に照射されるレーザ光が記録用の光量に切り換えられ、レーザ光の照射により光磁気ディスク１６０の光磁気記録層がキュリー温度まで上昇された状態で、磁気ヘッド１６６が励磁されることにより、光磁気ディスク１６０の光磁気記録層にパケットデータが磁界変調記録される。
また、記録／再生部１１６における再生部１６３は、制御部１１７によって出力モード時に再生モードが設定されることにより、光学ヘッド１６７から光磁気ディスク１６０に照射されるレーザ光が再生用の光量に切り換えられる。そして、光学ヘッド１６７は、再生用の光量のレーザ光を光磁気ディスク１６０の光磁気記録層に照射して、その反射光を検出することにより再生信号を生成する。この光学ヘッド１６７により生成された再生信号は、再生増幅器１６８を介してＡ／Ｄ変換回路１７０及びＡＤＩＰデコーダ１６９に供給される。Ａ／Ｄ変換回路１７０に供給された再生信号は、デジタル化されてビタビ復号回路１７１でビタビ復号されることにより再生データとされる。ビタビ復号回路１７１は、ビタビ復号した再生データを再生用エンコーダ１７２に供給する。また、ＡＤＩＰデコーダ１６９は、光磁気ディスク１６０のグルーブのウオブリングを例えばバイフェーズ変調することによりＡＤＩＰ（Address in pregroove）信号として記録されているアドレス情報を再生信号からデコードして再生用エンコーダ１７２に供給する。そして、再生用エンコーダ１７２は、記録／再生部１１６の記録用エンコーダ１６４に対応する復調処理を再生データに施すことにより、パケットデータを再生してインターフェース回路１６１を介してバッファメモリ部１１５に供給する。
さらに、制御部１１７は、マイクロプロセッサ１８０からなり、上述の音声圧縮／伸張処理部１１２、画像入出力部１１３、画像圧縮／伸張処理部１１４、バッファメモリ部１１５や記録／再生部１１６の動作切り換えを行うシステムコントローラとして機能する。
また、この制御部１１７におけるマイクロプロセッサ１８０は、静止画録画ボタン１８１又は動画録画ボタン１８２の操作入力を受け付けて、静止画モードと動画モードの切り換えを行うとともに、画像圧縮／伸張処理部１１４に供給する画像圧縮パラメータすなわち量子化パラメータを図４のフローチャートに示す手順に従って決定するようになっている。
すなわち、この制御部１１７におけるマイクロプロセッサ１８０は、はじめのステップＳ１で１フレームに割り当てるデータ量を次のようにして決定する。すなわち、ＧＯＰ単位でレートコントロールをする場合、ビットレートからデータのＧＯＰ単位の総データ数を求め、それまでに使用したデータ量を引き残りのデータ量を求める。次に残りのＩピクチャ、Ｐピクチャ、Ｂピクチャの枚数を求め、データの割り振りを決める。最後に、このフレームの圧縮方法（Ｉ，Ｂ，Ｐ）に従ってデータ量を決定する。
次のステップＳ２では、動作モードが静止画モードであるか動画画モードであるかの判定を行う。静止画モードの場合には、ステップＳ３で指定された量だけデータ量を増加してからステップＳ４に移り、動画モードの場合にはそのままステップＳ４に移る。
ステップＳ４では、量子化係数の初期値を次のようにセットする。
すなわち、求めたデータ量を総マクロブロック数で割り、データレートを決めて量子化係数の初期値とする。
次のステップＳ５では、発生データ量の現在値が目標値よりも小さいか否かの判定を行う。現在のデータレートが目標値を下回っていた場合には、ステップＳ６に移って量子化係数を小さくし、また、現在のデータレートが目標値を上回っていた場合には、ステップＳ７に移って量子化係数を大きくする。
さらに、次のステップＳ８では、動作モードが静止画モードであるか動画画モードであるかの判定を行う。そして、静止画モードの場合にはステップＳ９に移り、動画モードの場合にはステップＳ５に戻って、発生データ量の現在値が目標値よりも小さいか否かの判定を再度行う。
ステップＳ９では、動きベクトルが閾値よりも大きいか否かの判定を行う。動きベクトルが閾値よりも小さい場合には、ステップＳ１０に移って量子化係数を小さくし、また、動きベクトルが閾値よりも大きい場合には、ステップＳ１１に移って量子化係数を大きくする。
さらに、次のステップＳ１２では、画面上の中央部分の所定領域内にあるかそれ以外の周辺部分にあるかの判定を行う。そして、画面の中央部分にあるブロックの場合には、ステップＳ１３に移って量子化係数を小さくし、また、画面の周辺部分にあるブロックの場合には、ステップＳ１４に移って量子化係数を大きくする。その後、ステップＳ５に戻って、発生データ量の現在値が目標値よりも小さいか否かの判定を再度行う。
この静止画動画記録／再生装置１００は、このようにして動画録画用並びに静止画録画用の圧縮パラメータを適応的に決定して、録画モードに応じた圧縮パラメータを制御部１１７から画像圧縮／伸張処理部１１４に供給することにより、撮影者が写したいものに対して情報量を優先的に割り振ることができ、静止画の画質を向上させることができる。

Claims (12)

  1. 入力画像信号から、動画録画モードでは動画録画用の圧縮パラメータに基づいて圧縮された画像データを生成し、静止画録画モードでは静止画録画用の圧縮パラメータに基づいて圧縮された画像データを生成する画像圧縮手段と、
    上記画像圧縮手段で生成した画像データを交換可能な記録媒体に記録する記録手段と、
    上記画像圧縮手段の画像圧縮パラメータを動画録画時と静止画録画時とで切り換えることで画像圧縮方式を切り換える画像圧縮方式切換手段とを備え、
    上記画像圧縮手段は、イントラ符号化を原則とし、静止画録画が所定時間内に連続して要求された場合に順方向予測符号化フレームによる画像符号化を行い、
    上記静止画用の圧縮パラメータは、符号化標準規格であるＭＰＥＧで圧縮符号化する際に、画像データの最初の１マクロブロックの量子化係数を予め設定した特定値に固定するよう規定しており、この画像データの最初の１マクロブロックの量子化係数が特定値に固定された情報を静止画録画モード情報として利用し、上記静止画録画モードでは静止画であることを示す静止画録画モード情報を含めた画像データを上記記録媒体に記録することを特徴とする静止画動画記録装置。
  2. 上記画像圧縮方式切換手段は、静止画録画時に圧縮方式を動画録画時よりも低い圧縮率に切り換えることを特徴とする請求項１記載の静止画動画記録装置。
  3. 上記画像圧縮方式切換手段は、静止画録画時に圧縮方式をイントラ符号化フレーム又は順方向予測符号化フレームに切り換えることを特徴とする請求項１記載の静止画動画記録装置。
  4. 上記静止画用の圧縮パラメータは、動きベクトルの大きさに応じて決定されることを特徴とする請求項１記載の静止画動画記録装置。
  5. 上記静止画用の圧縮パラメータは、入力画像の位置に応じて決定されることを特徴とする請求項１記載の静止画動画記録装置。
  6. 静止画録画モードを動画録画と同じ単位時間当たりのフレーム数又は動画録画時よりの少ない単位時間当たりのフレーム数で静止画録画を継続することを特徴とする請求項１記載の静止画動画記録装置。
  7. 動画録画時と静止画録画時とで画像圧縮パラメータを切り換えることで画像圧縮方式を切り換えて、動画録画時と静止画録画時とで異なる画像圧縮方式で入力画像信号を圧縮画像データへ変換し、動画録画モードでは動画録画用の圧縮パラメータに基づいて圧縮された画像データを生成して記録媒体に記録し、静止画録画モードでは静止画録画用の圧縮パラメータに基づいて圧縮された画像データを生成して静止画であることを示す静止画録画モード情報とともに記録媒体に記録に記録する静止画動画記録方法であって、
    イントラ符号化を原則とし、静止画録画が所定時間内に連続して要求された場合に順方向予測符号化フレームによる画像符号化を行い、
    上記静止画用の圧縮パラメータは、符号化標準規格であるＭＰＥＧで圧縮符号化する際に、画像データの最初の１マクロブロックの量子化係数を予め設定した特定値に固定するよう規定しており、この画像データの最初の１マクロブロックの量子化係数が特定値に固定された情報を静止画録画モード情報として利用し、上記静止画録画モードでは静止画であることを示す静止画録画モード情報を含めた画像データを上記記録媒体に記録することを特徴とする静止画動画記録方法。
  8. 静止画録画時に画像圧縮方式を動画録画時よりも低い圧縮率に切り換えて、入力画像信号を圧縮画像データへ変換して記録媒体に記録することを特徴とする請求項７記載の静止画動画記録方法。
  9. 静止画録画時に画像圧縮方式をイントラ符号化フレーム又は順方向予測符号化フレームに切り換えて、入力画像信号を圧縮画像データへ変換して記録媒体に記録することを特徴とする請求項７記載の静止画動画記録方法。
  10. 上記静止画用の圧縮パラメータを動きベクトルの大きさに応じて決定することを特徴とする請求項７記載の静止画動画記録方法。
  11. 上記静止画用の圧縮パラメータを入力画像の位置に応じて決定することを特徴とする請求項７記載の静止画動画記録方法。
  12. 静止画録画モードを動画録画と同じ単位時間当たりのフレーム数又は動画録画時よりの少ない単位時間当たりのフレーム数で静止画録画を継続することを特徴とする請求項７記載の静止画動画記録方法。
JP51145798A 1996-08-30 1997-08-21 静止画動画記録装置及び静止画動画記録方法 Expired - Fee Related JP3796756B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8231061A JPH1075420A (ja) 1996-08-30 1996-08-30 静止画動画記録装置
JP8231060A JPH1075419A (ja) 1996-08-30 1996-08-30 静止画動画記録装置
PCT/JP1997/002911 WO1998009436A1 (en) 1996-08-30 1997-08-21 Device, method, and medium for recording still picture and animation

Publications (1)

Publication Number Publication Date
JP3796756B2 true JP3796756B2 (ja) 2006-07-12

Family

ID=26529678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51145798A Expired - Fee Related JP3796756B2 (ja) 1996-08-30 1997-08-21 静止画動画記録装置及び静止画動画記録方法

Country Status (10)

Country Link
US (1) US6356709B1 (ja)
EP (1) EP0859511B1 (ja)
JP (1) JP3796756B2 (ja)
KR (1) KR100513414B1 (ja)
CN (1) CN1178494C (ja)
DE (1) DE69739006D1 (ja)
ID (1) ID18455A (ja)
MY (1) MY120428A (ja)
TW (1) TW358306B (ja)
WO (1) WO1998009436A1 (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6925250B1 (en) * 1997-08-29 2005-08-02 Matsushita Electric Industrial Co., Ltd. Optical disc for recording high resolution and normal image, optical disc player, optical disc recorder, and playback control information generator
KR100306193B1 (ko) * 1998-08-18 2001-11-30 구자홍 재기록가능기록매체의동영상데이터연결재생정보생성및갱신기록방법
EP0982950A3 (en) * 1998-08-24 2004-09-29 Sony Corporation Electronic video camera comprising an MPEG encoder
JP3172500B2 (ja) 1998-10-19 2001-06-04 三洋電機株式会社 電子カメラ
EP1047075A3 (en) * 1999-04-23 2005-12-28 Sony Corporation Information processing apparatus, information managing method and medium
WO2001003431A1 (fr) * 1999-07-05 2001-01-11 Hitachi, Ltd. Procede et dispositif d'enregistrement video, procede et dispositif de reproduction video, et support d'enregistrement
US6904229B1 (en) * 1999-08-20 2005-06-07 Canon Kabushiki Kaisha Apparatus for recording signals on disk recording medium
JP3246602B2 (ja) * 2000-02-04 2002-01-15 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム格納媒体
JP3684148B2 (ja) * 2000-10-20 2005-08-17 キヤノン株式会社 画像処理方法及びその装置、記憶媒体
JP4048407B2 (ja) * 2001-01-18 2008-02-20 富士フイルム株式会社 デジタルカメラ
JP2003009044A (ja) * 2001-06-26 2003-01-10 Canon Inc 記録装置、再生装置及びその方法
US6961083B2 (en) * 2001-12-21 2005-11-01 Hewlett-Packard Development Company, L.P. Concurrent dual pipeline for acquisition, processing and transmission of digital video and high resolution digital still photographs
US7278043B2 (en) * 2002-03-06 2007-10-02 Qualcomm Incorporated System, method, and apparatus for overload detection in real-time data processing applications
JP2004045748A (ja) * 2002-07-11 2004-02-12 Sharp Corp 表示装置及び表示方法
US20040090533A1 (en) * 2002-11-11 2004-05-13 Dow James C. System and method for video image capture
KR100873437B1 (ko) * 2002-11-28 2008-12-11 삼성전자주식회사 Ｐｉｐ화면을 이용한 듀얼모드 신호처리장치
KR100903792B1 (ko) * 2002-11-28 2009-06-19 삼성전자주식회사 디지털 신호 처리용 메모리 제어 장치와 그 제어 방법
JP2004246947A (ja) * 2003-02-12 2004-09-02 Canon Inc データ記録装置
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US8218624B2 (en) * 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
ES2292924T3 (es) * 2003-12-01 2008-03-16 Sony Ericsson Mobile Communications Ab Camara para registrar una secuencia de imagenes.
JP4311194B2 (ja) * 2003-12-24 2009-08-12 ソニー株式会社 画像再生装置および画像再生方法
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
KR101189980B1 (ko) * 2004-09-08 2012-10-12 소니 주식회사 기록 장치 및 방법, 재생 장치 및 방법, 및 기록매체
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
JP2007142693A (ja) * 2005-11-17 2007-06-07 Sony Corp 撮像装置および撮像方法
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8503536B2 (en) * 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US7974340B2 (en) * 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8238424B2 (en) * 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) * 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) * 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) * 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8189933B2 (en) * 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US20110102616A1 (en) * 2009-08-28 2011-05-05 Nikon Corporation Data structure for still image file, image file generation device, image reproduction device, and electronic camera
US9568985B2 (en) * 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2650186B2 (ja) 1985-06-26 1997-09-03 三菱電機株式会社 静止画映像信号処理装置
GB2211048A (en) 1987-06-26 1989-06-21 Sony Corp Video telephones
KR930008445Y1 (ko) 1989-07-31 1993-12-22 주식회사 금성사 비디오폰용 정지 및 동작 화면 선택 제어회로
US5103306A (en) * 1990-03-28 1992-04-07 Transitions Research Corporation Digital image compression employing a resolution gradient
DE69126377T2 (de) * 1990-07-30 1997-11-06 Sony Corp Videosignalaufzeichnungs- und/oder Wiedergabegerät
US5138459A (en) * 1990-11-20 1992-08-11 Personal Computer Cameras, Inc. Electronic still video camera with direct personal computer (pc) compatible digital format output
JP3012698B2 (ja) * 1991-01-29 2000-02-28 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
JPH06276470A (ja) 1993-03-22 1994-09-30 Canon Inc デジタルビデオカメラの記録方式及び再生方式
US5563661A (en) 1993-04-05 1996-10-08 Canon Kabushiki Kaisha Image processing apparatus
JP3372289B2 (ja) * 1993-04-28 2003-01-27 富士写真フイルム株式会社 ディジタルカメラ
JPH0779449A (ja) * 1993-09-06 1995-03-20 Sony Corp Ｖｔｒ装置
JPH07264530A (ja) 1994-03-17 1995-10-13 Sony Corp 電子スチルカメラ
JP3182289B2 (ja) * 1994-04-06 2001-07-03 三洋電機株式会社 画像記録方法及び画像記録装置
JPH08205086A (ja) 1995-01-31 1996-08-09 Sony Corp 円盤状記録媒体の記録装置及び円盤状記録媒体の再生装置
JP4047943B2 (ja) * 1995-01-31 2008-02-13 富士フイルム株式会社 ディジタル画像データ記録装置および方法ならびにディジタル画像データ再生装置および方法ならびに固体電子撮像装置およびその信号電荷読出し方法
US5579054A (en) * 1995-04-21 1996-11-26 Eastman Kodak Company System and method for creating high-quality stills from interlaced video
US5724475A (en) * 1995-05-18 1998-03-03 Kirsten; Jeff P. Compressed digital video reload and playback system
US5706097A (en) * 1995-11-13 1998-01-06 Eastman Kodak Company Index print with a digital recording medium containing still images, motion sequences, and sound sequences
US5715176A (en) * 1996-01-23 1998-02-03 International Business Machines Corporation Method and system for locating a frame position in an MPEG data stream

Also Published As

Publication number Publication date
CN1206532A (zh) 1999-01-27
KR100513414B1 (ko) 2006-03-22
TW358306B (en) 1999-05-11
KR19990067201A (ko) 1999-08-16
CN1178494C (zh) 2004-12-01
EP0859511A4 (en) 2000-03-01
EP0859511A1 (en) 1998-08-19
MY120428A (en) 2005-10-31
WO1998009436A1 (en) 1998-03-05
EP0859511B1 (en) 2008-09-24
DE69739006D1 (de) 2008-11-06
ID18455A (id) 1998-04-09
US6356709B1 (en) 2002-03-12

Similar Documents

Publication Publication Date Title
JP3796756B2 (ja) 静止画動画記録装置及び静止画動画記録方法
KR100616262B1 (ko) 디지털 카메라 장치 및 기록 방법
US6928112B2 (en) Signal coding method, signal coding apparatus, signal recording medium, and signal transmission method
JP5153674B2 (ja) 動画像符号化装置及び動画像符号化方法
JP3182289B2 (ja) 画像記録方法及び画像記録装置
JP2005109606A (ja) 信号処理方法、信号処理装置、記録装置、再生装置
JPH11164245A (ja) 映像記録装置および映像再生装置ならびに映像記録再生装置
EP0982952A2 (en) Moving picture recording/regenerating system
JP3356004B2 (ja) 可変レート符号化装置及び方法
JPH1075424A (ja) 圧縮画像データ及び圧縮音声データの記録／再生装置、記録媒体及び伝送システム
JP2009033604A (ja) 映像信号符号化装置および方法
JP4320738B2 (ja) オーディオビデオ信号記録装置、オーディオビデオ信号記録方法
US20040101051A1 (en) Image processing apparatus and method for processing motion-picture data and still-image data
JP3645249B2 (ja) 電子スチルカメラ
JP3500147B2 (ja) 電子スチルカメラシステム、画像データ処理方法、及び画像データ記録装置
JP2001211414A (ja) 撮像装置及び記録装置
JPH1075420A (ja) 静止画動画記録装置
JP3645254B2 (ja) 画像データ記録システムおよび画像データ記録方法
JP4573166B2 (ja) 情報記録装置、情報再生装置、情報記録方法、及び情報再生方法
JPH1075419A (ja) 静止画動画記録装置
US20010005451A1 (en) Image intermittent recording device and its method
JPH1169347A (ja) 画像データの符号化／復号装置、及び、画像データの符号化装置
JP2001195840A (ja) データの記録方法、編集方法、編集装置及び記録媒体
JP3381727B2 (ja) データ再生装置
JP4305392B2 (ja) オーディオビデオ信号記録装置、オーディオビデオ信号記録方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060410

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees