JP4720683B2 - JPEG decoder - Google Patents

JPEG decoder Download PDF

Info

Publication number
JP4720683B2
JP4720683B2 JP2006235167A JP2006235167A JP4720683B2 JP 4720683 B2 JP4720683 B2 JP 4720683B2 JP 2006235167 A JP2006235167 A JP 2006235167A JP 2006235167 A JP2006235167 A JP 2006235167A JP 4720683 B2 JP4720683 B2 JP 4720683B2
Authority
JP
Japan
Prior art keywords
data
jpeg
unit
decoding
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006235167A
Other languages
Japanese (ja)
Other versions
JP2008060891A (en
Inventor
忠美 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Priority to JP2006235167A priority Critical patent/JP4720683B2/en
Publication of JP2008060891A publication Critical patent/JP2008060891A/en
Application granted granted Critical
Publication of JP4720683B2 publication Critical patent/JP4720683B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、JPEG(Joint Photographic Experts Group)データに含まれる圧縮画像データの復号処理を行うJPEG復号器に関する.   The present invention relates to a JPEG decoder that performs decoding processing of compressed image data included in JPEG (Joint Photographic Experts Group) data.

図3はJPEGデータの構造を示す図である。JPEGデータは、その先頭を示すSOI(Start Of Image)で始まり、終了を示すEOI(End 0f Image)で終わるというのが基本であり、SOIとEOIの間に、付属情報用のAPP(Application Segment)、量子化テーブルを定義するDQT(Define Quantization Table)、ハフマン・テーブルを定義するDHF(Define Huffman Table)、フレームに関する各種のパラメータを示すSOF(Start Of Frame)、スキャンに関する各種のパラメータを示すSOS(Start Of Scan)のマーカセグメントおよび圧縮画像データが挿入される。なお、DQT、DHF、SOFの記録順は任意である。   FIG. 3 shows the structure of JPEG data. JPEG data basically starts with an SOI (Start Of Image) indicating the beginning and ends with an EOI (End 0f Image) indicating the end. Between the SOI and the EOI, APP (Application Segment) for attached information is used. ), DQT (Define Quantization Table) for defining a quantization table, DHF (Define Huffman Table) for defining a Huffman table, SOF (Start Of Frame) indicating various parameters relating to a frame, and SOS indicating various parameters relating to a scan (Start Of Scan) marker segment and compressed image data are inserted. The recording order of DQT, DHF, and SOF is arbitrary.

図4は従来のJPEG復号器の一例の構成図である。図4中、1はJPEGデータ中のマーカの検出、解釈を行うマーカ解釈部、2はマーカ解釈部1がDQTのデータを解釈した結果を書き込む量子化テーブルRAM(Random Acess Memory)、3はマーカ解釈部1がDHFのデータを解釈した結果を書き込むハフマン・テーブルRAM、4は16×16ドットの画像ブロックであるMCU(Minimal Coding Unit)単位で圧縮画像データの復号処理を行うMCU復号部であり、5はエントロピ復号部、6は逆量子化部、7は逆DCT部である。なお、この例では、JPEGデータにサムネイル画像データは含まれていない。   FIG. 4 is a block diagram showing an example of a conventional JPEG decoder. In FIG. 4, 1 is a marker interpretation unit for detecting and interpreting markers in JPEG data, 2 is a quantization table RAM (Random Acess Memory) for writing the result of interpretation of DQT data by the marker interpretation unit 1, and 3 is a marker. A Huffman table RAM in which the interpretation unit 1 writes the result of interpretation of DHF data, and 4 is an MCU decoding unit that performs decoding processing of compressed image data in units of MCU (Minimal Coding Unit) which is an image block of 16 × 16 dots. Reference numeral 5 denotes an entropy decoding unit, 6 denotes an inverse quantization unit, and 7 denotes an inverse DCT unit. In this example, the JPEG data does not include thumbnail image data.

図5は図4に示す従来のJPEG復号器の動作を示すフローチャートである。図4に示す従来のJPEG復号器では、マーカ解釈部1により、JPEGデータが先頭から逐次検査され、まず、SOIが検出され(ステップP1)、直前までの手続が破棄される。続いて、マーカ解釈部1により、DQT、DHF、SOF、SOSが検出されて解釈され(ステップP2)、DQTおよびDHFについては、解釈した結果がそれぞれ量子化テーブルRAM2およびハフマン・テーブルRAM3に書き込まれる。   FIG. 5 is a flowchart showing the operation of the conventional JPEG decoder shown in FIG. In the conventional JPEG decoder shown in FIG. 4, the marker interpretation unit 1 sequentially inspects JPEG data from the top, first detects SOI (step P1), and discards the procedure up to immediately before. Subsequently, DQT, DHF, SOF, and SOS are detected and interpreted by the marker interpretation unit 1 (step P2), and the interpretation results of DQT and DHF are written in the quantization table RAM 2 and the Huffman table RAM 3, respectively. .

次に、MCU復号部4で圧縮画像データの復号処理がMCU単位で行われる(ステップP3)。なお、MCUの復号中にリスタート・インターバル・マーカが検出された場合には、各成分の直前のブロックのDC成分を0にしなければならない。そして、MCU単位での復号が続けられると、一枚の静止画の復号が完成し、EOIが検出されて(ステップP4)、復号処理が終了する。   Next, the decoding process of the compressed image data is performed in the MCU unit by the MCU decoding unit 4 (step P3). When a restart interval marker is detected during decoding of the MCU, the DC component of the block immediately before each component must be set to zero. Then, when decoding in units of MCU is continued, decoding of one still image is completed, EOI is detected (step P4), and the decoding process ends.

このように、図4に示す従来のJPEG復号器は、各種マーカを検出するたびに、表1に示す所定の手続きを行いながら画像の復号を進めていく。これらマーカのうち、SOI/EOIのような最重要マーカを検出した場合には、復号開始/復号終了という振る舞いをする。なぜなら、JPEGデータは、SOIで始まり、EOIで終わるというのが基本であるからである。ところが、この基本動作のために、図4に示す従来のJPEG復号器では次項で挙げる不具合が発生する。   As described above, the conventional JPEG decoder shown in FIG. 4 advances image decoding while performing the predetermined procedure shown in Table 1 every time various markers are detected. Among these markers, when the most important marker such as SOI / EOI is detected, it behaves as decoding start / decoding end. This is because JPEG data basically starts with SOI and ends with EOI. However, due to this basic operation, the conventional JPEG decoder shown in FIG. 4 has the following problems.

Figure 0004720683
Figure 0004720683
特開2004−72488号公報JP 2004-72488 A 特開2004−153621号公報JP 2004-153621 A

1995年に登場したEXIF規格では、図6に示すように、ひとつのJPEGデータ(JPEGファイル)の中に複数のSOI/EOIが存在しても良いことになった。具体的に言えば、APPセグメントに主画像のサムネイル画像を付加することが許された。   In the EXIF standard that appeared in 1995, a plurality of SOI / EOIs may exist in one JPEG data (JPEG file) as shown in FIG. Specifically, it is allowed to add a thumbnail image of the main image to the APP segment.

ところが、圧縮サムネイル画像データを含む図6に示すEXIF規格のJPEGデータを図4に示す従来のJPEG復号器で復号すると、主画像のSOI(9a)を検出し、引き続くAPPマーカ(9b)を検出し、その後、1thサムネイル・データのSOI(9c)を検出した時点で、復号動作がリセットされ、圧縮サムネイル画像データの復号処理が進み、EOI(9d)を検出した時点で復号終了となり、圧縮サムネイル画像データの復号処理は行われるが、圧縮主画像データの復号処理は行われないという不具合が発生してしまう。   However, when the EXIF standard JPEG data shown in FIG. 6 including the compressed thumbnail image data is decoded by the conventional JPEG decoder shown in FIG. 4, the SOI (9a) of the main image is detected and the subsequent APP marker (9b) is detected. Thereafter, when the SOI (9c) of the 1st thumbnail data is detected, the decoding operation is reset, the decoding process of the compressed thumbnail image data proceeds, and when the EOI (9d) is detected, the decoding ends, and the compressed thumbnail Although the decoding process of the image data is performed, there is a problem that the decoding process of the compressed main image data is not performed.

このため、図4に示す従来のJPEG復号器を用いた画像処理装置では、例えば、JPEGデータをあらかじめソフトウエアで検索し、圧縮サムネイル画像データを含んでいる場合には、図4に示す従来のJPEG復号器で圧縮サムネイル画像データの復号処理を行うほか、ソフトウエアを用いてJPEGデータからAPPデータを削除処理して、その後、図4に示す従来のJPEG復号器で圧縮主画像データを復号するという手法により、主画像データおよびサムネイル画像データの復号を行っていた。   Therefore, in the image processing apparatus using the conventional JPEG decoder shown in FIG. 4, for example, when the JPEG data is searched in advance by software and includes compressed thumbnail image data, the conventional image processing apparatus shown in FIG. In addition to decoding the compressed thumbnail image data with the JPEG decoder, the APP data is deleted from the JPEG data using software, and then the compressed main image data is decoded with the conventional JPEG decoder shown in FIG. The main image data and the thumbnail image data are decrypted by this method.

本発明は、かかる点に鑑み、ソフトウエアを用いることなく、JPEGデータ中の圧縮主画像データおよび圧縮サムネイル画像データの復号処理を行うことができるようにしたJPEG復号器を提供することを目的とする。   In view of the above, the present invention has an object to provide a JPEG decoder capable of performing decoding processing of compressed main image data and compressed thumbnail image data in JPEG data without using software. To do.

本発明のJPEG復号器は、JPEGデータ中の圧縮主画像データの復号処理を行う第1の復号部と、前記JPEGデータ中の圧縮サムネイル画像データの復号処理を行う第2の復号部を備えるものである。   The JPEG decoder of the present invention includes a first decoding unit that performs decoding processing of compressed main image data in JPEG data, and a second decoding unit that performs decoding processing of compressed thumbnail image data in the JPEG data. It is.

更に、本発明のJPEG復号器は、前記JPEGデータがAPPマーカを含む場合は、第1の復号部には前記JPEGデータからAPPデータを削除したデータを転送し、第2の復号部には前記JPEGデータを転送する転送部を備える構成とすることができる。   Furthermore, when the JPEG data includes an APP marker, the JPEG decoder of the present invention transfers data obtained by deleting the APP data from the JPEG data to the first decoding unit, and transmits the data to the second decoding unit. It can be configured to include a transfer unit that transfers JPEG data.

このような転送部を備える構成とする場合には、第1の復号部は、マーカの解釈を行う第1のマーカ解釈部と、MCU単位で復号を行う第1のMCU復号部を備え、第2の復号部は、マーカの解釈を行う第2のマーカ解釈部と、MCU単位で復号を行う第2のMCU復号部を備える構成とすることができる。   In the case of a configuration including such a transfer unit, the first decoding unit includes a first marker interpretation unit that performs marker interpretation, and a first MCU decoding unit that performs decoding in units of MCUs. The second decoding unit may include a second marker interpretation unit that performs marker interpretation and a second MCU decoding unit that performs decoding in units of MCUs.

本発明によれば、第1の復号部によりJPEGデータ中の圧縮主画像データの復号処理を行うことができ、第2の復号部によりJPEGデータ中の圧縮サムネイル画像データの復号処理を行うことができる。即ち、ソフトウエアを用いることなく、JPEGデータ中の圧縮主画像データおよび圧縮サムネイル画像データの復号処理を行うことができる。   According to the present invention, the first decoding unit can decode the compressed main image data in the JPEG data, and the second decoding unit can decode the compressed thumbnail image data in the JPEG data. it can. That is, it is possible to perform the decoding process of the compressed main image data and the compressed thumbnail image data in the JPEG data without using software.

図1は本発明の一実施形態のJPEG復号器を用いた画像処理装置の一部分の構成図である。図1中、100はJPEGデータを格納するためのフレーム・メモリ、200は本発明の一実施形態のJPEG復号器であり、200AはJPEGデータ入力端子、200Bは主画像データ出力端子、200Cはサムネイル画像データ出力端子である。   FIG. 1 is a block diagram of a part of an image processing apparatus using a JPEG decoder according to an embodiment of the present invention. In FIG. 1, 100 is a frame memory for storing JPEG data, 200 is a JPEG decoder according to an embodiment of the present invention, 200A is a JPEG data input terminal, 200B is a main image data output terminal, and 200C is a thumbnail. Image data output terminal.

300は本発明の一実施形態のJPEG復号器200の主画像データ出力端子200Bに出力される主画像データ又は本発明の一実施形態のJPEG復号器200のサムネイル画像データ出力端子200Cに出力されるサムネイル画像データを選択してフレーム・メモリ400に転送するためのセレクタであり、後述するJPEGエンジン・メインが出力する主画像復号完了フラグ信号により選択動作が制御される。   300 is output to the main image data output terminal 200B of the main image data output terminal 200B of the JPEG decoder 200 of one embodiment of the present invention or to the thumbnail image data output terminal 200C of the JPEG decoder 200 of one embodiment of the present invention. This is a selector for selecting thumbnail image data and transferring it to the frame memory 400. The selection operation is controlled by a main image decoding completion flag signal output from a JPEG engine main described later.

本例では、主画像復号完了フラグ信号が“0”の場合、セレクタ300は、本発明の一実施形態のJPEG復号器200の主画像データ出力端子200Bをフレーム・メモリ400のデータ入力端子400Aに電気的に接続し、本発明の一実施形態のJPEG復号器200が主画像データ出力端子200Bに出力する主画像データをフレーム・メモリ400に転送する。   In this example, when the main image decoding completion flag signal is “0”, the selector 300 connects the main image data output terminal 200B of the JPEG decoder 200 of one embodiment of the present invention to the data input terminal 400A of the frame memory 400. Electrical connection is established, and the JPEG decoder 200 according to an embodiment of the present invention transfers the main image data output to the main image data output terminal 200B to the frame memory 400.

これに対して、主画像復号完了フラグ信号が“1”の場合には、セレクタ300は、本発明の一実施形態のJPEG復号器200のサムネイル画像データ出力端子200Cをフレーム・メモリ400のデータ入力端子400Aに電気的に接続し、本発明の一実施形態のJPEG復号器200がサムネイル画像データ出力端子200Cに出力するサムネイル画像データをフレーム・メモリ400に転送する。   On the other hand, when the main image decoding completion flag signal is “1”, the selector 300 inputs the thumbnail image data output terminal 200C of the JPEG decoder 200 according to the embodiment of the present invention to the data input of the frame memory 400. The JPEG decoder 200 according to an embodiment of the present invention is electrically connected to the terminal 400A and transfers the thumbnail image data output to the thumbnail image data output terminal 200C to the frame memory 400.

400は本発明の一実施形態のJPEG復号器200からセレクタ300を介して与えられる復号画像データ(JPEGデータが圧縮サムネイル画像データを含まない場合には復号された主画像データ、JPEGデータが圧縮サムネイル画像データを含む場合には、復号された主画像データおよびサムネイル画像データ)を格納するためのフレーム・メモリである。   Reference numeral 400 denotes decoded image data provided from the JPEG decoder 200 according to the embodiment of the present invention via the selector 300 (if the JPEG data does not include compressed thumbnail image data, the decoded main image data and JPEG data are compressed thumbnails). In the case where image data is included, this is a frame memory for storing the decoded main image data and thumbnail image data).

また、本発明の一実施形態のJPEG復号器200は、マーカ解釈部210と、データ・スキップ部220と、スイッチ部230と、第1のJPEG復号部をなすJPEGエンジン・メイン240と、第2のJPEG復号部をなすJPEGエンジン・サブ250と、テンポラル・メモリ260を備えている。なお、マーカ解釈部210とデータ・スキップ部220とスイッチ部230とで、JPEGデータのJPEGエンジン・メイン240およびJPEGエンジン・サブ250への転送を制御する転送部が構成されている。   The JPEG decoder 200 according to an embodiment of the present invention includes a marker interpretation unit 210, a data skip unit 220, a switch unit 230, a JPEG engine main 240 that forms a first JPEG decoding unit, and a second JPEG engine sub 250 and a temporal memory 260 are included. The marker interpretation unit 210, the data skip unit 220, and the switch unit 230 constitute a transfer unit that controls transfer of JPEG data to the JPEG engine main 240 and JPEG engine sub 250.

マーカ解釈部210は、フレーム・メモリ100から読み出されるJPEGデータを入力し、これをデータ・スキップ部220およびスイッチ部230に転送すると共に、JPEGデータからSOIおよびAPPマーカの検出動作を行い、APPマーカを検出した場合には、APP検出通知をデータ・スキップ部220およびスイッチ部230に対して発行するものである。   The marker interpretation unit 210 inputs JPEG data read from the frame memory 100, transfers it to the data skip unit 220 and the switch unit 230, performs detection operation of the SOI and APP markers from the JPEG data, and performs an APP marker. Is detected, the APP detection notification is issued to the data skip unit 220 and the switch unit 230.

データ・スキップ部220は、マーカ解釈部210のJPEGデータ出力端とJPEGエンジン・メイン240のJPEGデータ入力端との間に接続され、マーカ解釈部210が出力するJPEGデータをJPEGエンジン・メイン240に転送するものであるが、その転送動作は、マーカ解釈部210が出力するAPP検出通知により制御されるように構成される。   The data skip unit 220 is connected between the JPEG data output terminal of the marker interpretation unit 210 and the JPEG data input terminal of the JPEG engine main 240, and the JPEG data output from the marker interpretation unit 210 is sent to the JPEG engine main 240. The transfer operation is configured to be controlled by an APP detection notification output from the marker interpretation unit 210.

本例では、データ・スキップ部220は、マーカ解釈部210からAPP検出通知を受け取った場合、マーカ解釈部210が出力するJPEGデータからAPPレングスが示すバイト数のデータを読み飛ばしたデータ、すなわち、APPデータを削除したデータをJPEGエンジン・メイン240に転送する。これに対して、マーカ解釈部210からAPP検出通知を受け取らない場合には、データ・スキップ部220は、マーカ解釈部210が出力するJPEGデータをそのままJPEGエンジン・メイン240に転送する。   In this example, when the data skip unit 220 receives the APP detection notification from the marker interpretation unit 210, the data skip unit 220 skips the data of the number of bytes indicated by the APP length from the JPEG data output from the marker interpretation unit 210, that is, The data from which the APP data has been deleted is transferred to the JPEG engine main 240. On the other hand, if the APP detection notification is not received from the marker interpretation unit 210, the data skip unit 220 transfers the JPEG data output from the marker interpretation unit 210 to the JPEG engine main 240 as it is.

スイッチ部230は、マーカ解釈部210のJPEGデータ出力端とJPEGエンジン・サブ250のJPEGデータ入力端との間に接続され、そのスイッチ動作をマーカ解釈部210が出力するAPP検出通知により制御されるものである。本例では、スイッチ部230は、マーカ解釈部210からAPP検出通知を受け取った場合にはオン状態となり、マーカ解釈部210が出力するAPPデータ以降のJPEGデータをJPEGエンジン・サブ250に転送する。これに対して、マーカ解釈部210からAPP検出通知を受け取らない場合には、スイッチ部230は、オフ状態を維持する。   The switch unit 230 is connected between the JPEG data output terminal of the marker interpretation unit 210 and the JPEG data input terminal of the JPEG engine sub 250, and the switch operation is controlled by an APP detection notification output by the marker interpretation unit 210. Is. In this example, the switch unit 230 is turned on when an APP detection notification is received from the marker interpretation unit 210, and transfers JPEG data after the APP data output by the marker interpretation unit 210 to the JPEG engine sub 250. On the other hand, when no APP detection notification is received from the marker interpretation unit 210, the switch unit 230 maintains the off state.

JPEGエンジン・メイン240は、JPEGデータに含まれる圧縮主画像データの復号処理を行うものであり、JPEGエンジン・サブ250は、JPEGデータに含まれる圧縮サムネイル画像データの復号処理を行うものである。   The JPEG engine main 240 performs a decoding process on the compressed main image data included in the JPEG data, and the JPEG engine sub 250 performs a decoding process on the compressed thumbnail image data included in the JPEG data.

テンポラル・メモリ260は、JPEGエンジン・メイン240が出力する復号データである主画像データのフレーム・メモリ400への書き込みが完了するまでの間、JPEGエンジン・サブ250が出力する復号データであるサムネイル画像データを一時的に格納しておくためのものである。なお、サムネイル画像のサイズは160×120ドットと決まっているため、テンポラル・メモリ260の容量は57600バイト(=160×120×8×3ビット)あれば良い。   The temporal memory 260 is a thumbnail image that is decoded data output by the JPEG engine sub 250 until writing of main image data that is decoded data output by the JPEG engine main 240 into the frame memory 400 is completed. It is for storing data temporarily. Since the thumbnail image size is determined to be 160 × 120 dots, the capacity of the temporal memory 260 may be 57600 bytes (= 160 × 120 × 8 × 3 bits).

また、JPEGエンジン・メイン240は、マーカ解釈部241と、量子化テーブルRAM242と、ハフマン・テーブルRAM243と、MCU復号部244を備えており、MCU復号部244は、エントロピ復号部245と、逆量子化部246と、逆DCT部247を備えている。   The JPEG engine main 240 includes a marker interpretation unit 241, a quantization table RAM 242, a Huffman table RAM 243, and an MCU decoding unit 244. The MCU decoding unit 244 includes an entropy decoding unit 245, an inverse quantum And a reverse DCT unit 247.

マーカ解釈部241は、データ・スキップ部220が出力するJPEGデータ中のDQT、DHF、SOF、SOS、EOIを検出して解釈するものである。量子化テーブルRAM242は、マーカ解釈部241がDQTのデータを解釈した結果を書き込むものである。ハフマン・テーブルRAM243は、マーカ解釈部241がDHFのデータを解釈した結果を書き込むものである。MCU復号部244は、圧縮主画像データについてMCU単位での復号処理を行うものである。   The marker interpretation unit 241 detects and interprets DQT, DHF, SOF, SOS, and EOI in the JPEG data output from the data skip unit 220. The quantization table RAM 242 is used to write a result obtained by the marker interpretation unit 241 interpreting the DQT data. The Huffman table RAM 243 is used to write the result of the marker interpretation unit 241 interpreting the DHF data. The MCU decoding unit 244 performs a decoding process on the compressed main image data in MCU units.

また、JPEGエンジン・メイン240は、主画像復号完了フラグ信号を生成し、これをセレクタ300に選択制御信号として与えるように構成される。本例では、JPEGエンジン・メイン240は、圧縮主画像データの復号が完了する前(図6に示すEOI(9e)を検出する前)は主画像復号完了フラグ信号を“0”とし、圧縮主画像データの復号が完了したとき(図6に示すEOI(9e)を検出したとき)は“1”とする。   In addition, the JPEG engine main 240 is configured to generate a main image decoding completion flag signal and give it to the selector 300 as a selection control signal. In this example, the JPEG engine main 240 sets the main image decoding completion flag signal to “0” before the decoding of the compressed main image data is completed (before detecting the EOI (9e) shown in FIG. 6). When decoding of the image data is completed (when EOI (9e) shown in FIG. 6 is detected), it is set to “1”.

また、JPEGエンジン・サブ250は、マーカ解釈部251と、量子化テーブルRAM252と、ハフマン・テーブルRAM253と、MCU復号部254を備えており、MCU復号部254は、エントロピ復号部255と、逆量子化部256と、逆DCT部257を備えている。   The JPEG engine sub 250 includes a marker interpreter 251, a quantization table RAM 252, a Huffman table RAM 253, and an MCU decoder 254. The MCU decoder 254 includes an entropy decoder 255 and an inverse quantum decoder. And a reverse DCT unit 257.

マーカ解釈部251は、APPマーカに続くAPPレングス以降のデータを解釈するものである。量子化テーブルRAM252は、マーカ解釈部251がDQTのデータを解釈した結果を書き込むものである。ハフマン・テーブルRAM253は、マーカ解釈部251がDHFのデータを解釈した結果を書き込むものである。MCU復号部254は、圧縮サムネイル画像データについてMCU単位での復号処理を行うものである。   The marker interpretation unit 251 interprets data after the APP length following the APP marker. The quantization table RAM 252 is used to write the result of the marker interpretation unit 251 interpreting the DQT data. The Huffman table RAM 253 is used for writing the result of the marker interpretation unit 251 interpreting the DHF data. The MCU decoding unit 254 performs decoding processing for each compressed thumbnail image data in units of MCU.

図2は図1に示す画像処理装置の動作を示すフローチャートである。即ち、図1に示す画像処理装置においては、まず、フレーム・メモリ100からJPEGデータが読み出されて本発明の一実施形態のJPEG復号器200のマーカ解釈部210に転送される(ステップS1)。マーカ解釈部210は、フレーム・メモリ100から転送されてくるJPEGデータから主画像のSOI(図6に示すSOI(9a))を検出する(ステップS2)。主画像のSOIが検出されると、復号が開始され、直前までの手続が破棄される。   FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG. That is, in the image processing apparatus shown in FIG. 1, first, JPEG data is read from the frame memory 100 and transferred to the marker interpretation unit 210 of the JPEG decoder 200 according to the embodiment of the present invention (step S1). . The marker interpretation unit 210 detects the SOI (SOI (9a) shown in FIG. 6) of the main image from the JPEG data transferred from the frame memory 100 (step S2). When the SOI of the main image is detected, decoding is started and the procedure up to immediately before is discarded.

次に、マーカ解釈部210は、APPマーカ(図6に示すAPPマーカ(9b))の検出の有無を判定し(ステップS3)、APPマーカを検出した場合(ステップS3でYESの場合)、すなわち、JPEGデータが圧縮サムネイル画像データを含む場合には、APP検出通知をデータ・スキップ部220およびスイッチ部230に発行する(ステップS4)。この場合、スイッチ部230は、オン状態になり(ステップS5−1)、マーカ解釈部210が出力するJPEGデータをJPEGエンジン・サブ250のマーカ解釈部251に転送する。   Next, the marker interpretation unit 210 determines whether or not an APP marker (APP marker (9b) shown in FIG. 6) is detected (step S3), and if an APP marker is detected (YES in step S3), that is, If the JPEG data includes compressed thumbnail image data, an APP detection notification is issued to the data skip unit 220 and the switch unit 230 (step S4). In this case, the switch unit 230 is turned on (step S5-1), and transfers the JPEG data output from the marker interpretation unit 210 to the marker interpretation unit 251 of the JPEG engine sub 250.

マーカ解釈部251は、APPマーカに続くAPPレングス以降のデータを解釈し、やがてサムネイル画像のSOI(図6に示すSOI(9c))を検出する(ステップS5−2)。サムネイル画像のSOIが検出されると、サムネイル画像の復号が開始され、直前までの手続が破棄される。更に、マーカ解釈部251は、サムネイル画像のSOIを検出すると、更に、サムネイル画像のDQT、DHF、SOF、SOSを検出して解釈し、DQTおよびDHFについては、解釈した結果をそれぞれ量子化テーブルRAM252およびハフマン・テーブルRAM253に書き込む(ステップS5−3)。   The marker interpretation unit 251 interprets the data after the APP length following the APP marker, and eventually detects the SOI (SOI (9c) shown in FIG. 6) of the thumbnail image (step S5-2). When the SOI of the thumbnail image is detected, decoding of the thumbnail image is started, and the procedure up to immediately before is discarded. Further, when detecting the SOI of the thumbnail image, the marker interpreting unit 251 further detects and interprets the DQT, DHF, SOF, and SOS of the thumbnail image. And it writes in the Huffman table RAM 253 (step S5-3).

次に、MCU復号部254は、エントロピ復号部255、逆量子化部256および逆DCT部257を使用して圧縮サムネイル画像データの復号処理をMCU単位で行い、MCU単位で復号したサムネイル画像データを順にテンポラル・メモリ260に一時的に格納する(ステップS5−4)。なお、MCUの復号中にリスタート・インターバル・マーカが検出された場合には、各成分の直前のブロックのDC成分を0にしなければならない。   Next, the MCU decoding unit 254 uses the entropy decoding unit 255, the inverse quantization unit 256, and the inverse DCT unit 257 to perform the decoding process of the compressed thumbnail image data in units of MCU, and the thumbnail image data decoded in units of MCU The temporary memory 260 is temporarily stored in order (step S5-4). When a restart interval marker is detected during decoding of the MCU, the DC component of the block immediately before each component must be set to zero.

そして、圧縮サムネイル画像データのMCU単位での復号処理が続けられ、サムネイル画像データの復号が完成すると、サムネイル画像のEOI(図6に示すEOI(9d))が検出され(ステップS5−5)、圧縮サムネイル画像データの復号処理が終了する。   Then, the decoding process of the compressed thumbnail image data in MCU units is continued, and when the decoding of the thumbnail image data is completed, the EOI of the thumbnail image (EOI (9d) shown in FIG. 6) is detected (step S5-5). The decoding process of the compressed thumbnail image data ends.

他方、データ・スキップ部220は、マーカ解釈部210からAPP検出通知を受け取ると、APPマーカに続く2バイトのAPPレングスを観測し、その値分のバイト数だけデータを読み飛ばし(ステップS6−1)、APPデータを削除したデータを、逐次JPEGエンジン・メイン240のマーカ解釈部241に転送する。なお、APPデータの削除は、具体的には、1バイト分のレジスタを設け、このレジスタに読み飛ばすデータを次々と上書きすることにより行われる。   On the other hand, when receiving the APP detection notification from the marker interpretation unit 210, the data skip unit 220 observes the 2-byte APP length following the APP marker, and skips data by the number of bytes corresponding to the value (step S6-1). ), The data from which the APP data has been deleted is sequentially transferred to the marker interpretation unit 241 of the JPEG engine main 240. Note that the APP data is specifically deleted by providing a one-byte register and successively overwriting data to be skipped in this register.

マーカ解釈部241は、データ・スキップ部220から転送されてくるAPPデータを削除したJPEGデータから主画像のDQT、DHF、SOF、SOSを検出して解釈し、DQTおよびDHFについては、解釈した結果をそれぞれ量子化テーブルRAM242およびハフマン・テーブルRAM243に書き込む(ステップS6−2)。   The marker interpretation unit 241 detects and interprets the DQT, DHF, SOF, and SOS of the main image from the JPEG data from which the APP data transferred from the data skip unit 220 is deleted, and interprets DQT and DHF. Are written in the quantization table RAM 242 and the Huffman table RAM 243, respectively (step S6-2).

次に、MCU復号部244は、エントロピ復号部245、逆量子化部246および逆DCT部247を使用して圧縮主画像データの復号処理をMCU単位で行う(ステップS6−3)。この場合、主画像復号完了フラグ信号は“0”とされ、主画像データ出力端子200Bはフレーム・メモリ400のデータ入力端子400Aに電気的に接続されているので、MCU復号部244で復号された主画像データは、逐次、セレクタ300を介してフレーム・メモリ400に書き込まれる。なお、MCUの復号中にリスタート・インターバル・マーカが検出された場合には、各成分の直前のブロックのDC成分を0にしければならない。   Next, the MCU decoding unit 244 uses the entropy decoding unit 245, the inverse quantization unit 246, and the inverse DCT unit 247 to perform the decoding process of the compressed main image data in units of MCU (step S6-3). In this case, the main image decoding completion flag signal is set to “0”, and the main image data output terminal 200B is electrically connected to the data input terminal 400A of the frame memory 400, so that it is decoded by the MCU decoding unit 244. The main image data is sequentially written into the frame memory 400 via the selector 300. If a restart interval marker is detected during MCU decoding, the DC component of the block immediately before each component must be set to zero.

そして、圧縮主画像データのMCU単位での復号処理が続けられ、主画像のEOI(図6に示すEOI(9e))が検出されると(ステップS6−4)、主画像復号完了フラグ信号が“1”とされ(ステップS6−5)、セレクタ300の切り換え動作が行われ、サムネイル画像データ出力端子200Cはフレーム・メモリ400のデータ入力端子400Aに電気的に接続される(ステップS7)。   Then, the decoding process of the compressed main image data in units of MCU is continued, and when the EOI of the main image (EOI (9e) shown in FIG. 6) is detected (step S6-4), the main image decoding completion flag signal is displayed. "1" is set (step S6-5), the selector 300 is switched, and the thumbnail image data output terminal 200C is electrically connected to the data input terminal 400A of the frame memory 400 (step S7).

次に、テンポラル・メモリ260からサムネイル画像データが読み出され、セレクタ300を介してフレーム・メモリ400に転送され(ステップS8)、図1に示す画像処理装置における主画像データおよびサムネイル画像の復号動作が終了する。   Next, thumbnail image data is read from the temporal memory 260, transferred to the frame memory 400 via the selector 300 (step S8), and the main image data and thumbnail image decoding operation in the image processing apparatus shown in FIG. Ends.

これに対して、ステップS3において、マーカ解釈部210がAPPマーカを検出しない場合(ステップS3でNOの場合)、すなわち、JPEGデータが圧縮サムネイル画像データを含んでいない場合には、データ・スキップ部220は、マーカ解釈部210が出力するJPEGデータをそのままJPEGエンジン・メイン240のマーカ解釈部241に転送する。   On the other hand, if the marker interpretation unit 210 does not detect an APP marker in step S3 (NO in step S3), that is, if JPEG data does not include compressed thumbnail image data, a data skip unit. 220 transfers the JPEG data output from the marker interpretation unit 210 to the marker interpretation unit 241 of the JPEG engine main 240 as it is.

マーカ解釈部241は、データ・スキップ部220から転送されてくるJPEGデータから主画像のDQT、DHF、SOF、SOSを検出して解釈し(ステップS6−2)、DQTおよびDHFについては、解釈した結果をそれぞれ量子化テーブルRAM242およびハフマン・テーブルRAM243に書き込む。   The marker interpretation unit 241 detects and interprets DQT, DHF, SOF, and SOS of the main image from the JPEG data transferred from the data skip unit 220 (step S6-2), and interprets DQT and DHF. The results are written into the quantization table RAM 242 and the Huffman table RAM 243, respectively.

次に、MCU復号部244は、エントロピ復号部245、逆量子化部246および逆DCT部247を使用して圧縮主画像データの復号処理をMCU単位で行う(ステップS6−3)。この場合、主画像復号完了フラグ信号は“0”とされ、主画像データ出力端子200Bはフレーム・メモリ400のデータ入力端子400Aに電気的に接続されているので、MCU復号部244で復号された主画像データは、逐次、セレクタ300を介してフレーム・メモリ400に書き込まれる。   Next, the MCU decoding unit 244 uses the entropy decoding unit 245, the inverse quantization unit 246, and the inverse DCT unit 247 to perform the decoding process of the compressed main image data in units of MCU (step S6-3). In this case, the main image decoding completion flag signal is set to “0”, and the main image data output terminal 200B is electrically connected to the data input terminal 400A of the frame memory 400, so that it is decoded by the MCU decoding unit 244. The main image data is sequentially written into the frame memory 400 via the selector 300.

そして、圧縮主画像データについてMCU単位の復号処理が続けられると、主画像のEOI(図6に示すEOI(9e))が検出されるが(ステップS6−4)、この場合、JPEGデータに圧縮サムネイル画像データは含まれていないので、主画像データのみが復号され、復号処理は終了する。   Then, when the decoding process in units of MCU is continued for the compressed main image data, the EOI of the main image (EOI (9e) shown in FIG. 6) is detected (step S6-4). In this case, the compressed main image data is compressed into JPEG data. Since thumbnail image data is not included, only main image data is decoded, and the decoding process ends.

以上のように、本発明の一実施形態のJPEG復号器200においては、マーカ解釈部210は、APPマーカを検出した場合、すなわち、JPEGデータが圧縮サムネイル画像データを含んでいる場合、APP検出通知をデータ・スキップ部220およびスイッチ部230に発行し、これを受けて、データ・スキップ部220は、マーカ解釈部210が出力するJPEGデータからAPPデータを削除したデータをJPEGエンジン・メイン240に転送し、スイッチ部230は、マーカ解釈部210が出力するJPEGデータをそのままJPEGエンジン・サブ250に転送する。この結果、JPEGエンジン・メイン240により圧縮主画像データの復号処理が行われ、JPEGエンジン・サブ250により圧縮サムネイル画像データの復号処理が行われる。   As described above, in the JPEG decoder 200 according to the embodiment of the present invention, the marker interpretation unit 210 detects the APP marker when the APP marker is detected, that is, when the JPEG data includes the compressed thumbnail image data. Is transmitted to the data skip unit 220 and the switch unit 230, and in response to this, the data skip unit 220 transfers the data obtained by deleting the APP data from the JPEG data output by the marker interpretation unit 210 to the JPEG engine main 240. Then, the switch unit 230 transfers the JPEG data output from the marker interpretation unit 210 to the JPEG engine sub 250 as it is. As a result, the JPEG engine main 240 decodes the compressed main image data, and the JPEG engine sub 250 decodes the compressed thumbnail image data.

すなわち、本発明の一実施形態のJPEG復号器200によれば、JPEGエンジン・メイン240およびJPEGエンジン・サブ250により圧縮主画像データおよび圧縮サムネイル画像データの復号処理を並行して行うことができるので、ソフトウエアを用いることなく、圧縮主画像データおよび圧縮サムネイル画像データの復号処理を行うことができ、しかも、サムネイル画像データの復号を待つことなく、主画像データの復号を開始することができる。   That is, according to the JPEG decoder 200 of the embodiment of the present invention, the decoding processing of the compressed main image data and the compressed thumbnail image data can be performed in parallel by the JPEG engine main 240 and the JPEG engine sub 250. The decoding of the compressed main image data and the compressed thumbnail image data can be performed without using software, and the decoding of the main image data can be started without waiting for the decoding of the thumbnail image data.

また、本発明の一実施形態のJPEG復号器200によれば、マーカ解釈部210がAPPマーカを検出した場合、データ・スキップ部220は、マーカ解釈部210が出力するJPEGデータからAPPデータを削除したデータをJPEGエンジン・メイン240に転送するので、マーカ解釈部241は、主画像のDQTに素早く到達することができ、復号処理の高速化を図ることができる。   Further, according to the JPEG decoder 200 of the embodiment of the present invention, when the marker interpretation unit 210 detects an APP marker, the data skip unit 220 deletes the APP data from the JPEG data output by the marker interpretation unit 210. Since the transferred data is transferred to the JPEG engine main 240, the marker interpretation unit 241 can quickly reach the DQT of the main image, and can speed up the decoding process.

本発明の一実施形態のJPEG復号器を用いた画像処理装置の一部分の構成図である。It is a block diagram of a part of an image processing apparatus using a JPEG decoder according to an embodiment of the present invention. 図1に示す画像処理装置の動作を示すフローチャートである2 is a flowchart showing an operation of the image processing apparatus shown in FIG. 1. JPEGデータの構造を示す図である。It is a figure which shows the structure of JPEG data. 従来のJPEG復号器の一例の構成図である。It is a block diagram of an example of the conventional JPEG decoder. 図4に示す従来のJPEG復号器の動作を示すフローチャートである。5 is a flowchart showing the operation of the conventional JPEG decoder shown in FIG. EXIF規格のJPEGデータの構造を示す図である。It is a figure which shows the structure of JPEG data of EXIF standard.

符号の説明Explanation of symbols

1…マーカ解釈部
2…量子化テーブルRAM
3…ハフマン・テーブルRAM
4…MCU復号部
5…エントロピ復号部
6…逆量子化部
7…逆DCT部
100…フレーム・メモリ
200…本発明の一実施形態のJPEG復号器
210…マーカ解釈部
220…データ・スキップ部
230…スイッチ部
240…JPEGエンジン・メイン
241…マーカ解釈部
242…量子化テーブルRAM
243…ハフマン・テーブルRAM
244…MCU復号部
245…エントロピ復号部
246…逆量子化部
247…逆DCT部
250…JPEGエンジン・サブ
251…マーカ解釈部
252…量子化テーブルRAM
253…ハフマン・テーブルRAM
254…MCU復号部
255…エントロピ復号部
256…逆量子化部
257…逆DCT部
260…テンポラル・メモリ
300…セレクタ
400…フレーム・メモリ

DESCRIPTION OF SYMBOLS 1 ... Marker interpretation part 2 ... Quantization table RAM
3 ... Huffman table RAM
DESCRIPTION OF SYMBOLS 4 ... MCU decoding part 5 ... Entropy decoding part 6 ... Inverse quantization part 7 ... Inverse DCT part 100 ... Frame memory 200 ... JPEG decoder 210 of one embodiment of this invention 210 ... Marker interpretation part 220 ... Data skip part 230 ... Switch unit 240 ... JPEG engine main 241 ... Marker interpretation unit 242 ... Quantization table RAM
243 ... Huffman table RAM
244 ... MCU decoding unit 245 ... entropy decoding unit 246 ... inverse quantization unit 247 ... inverse DCT unit 250 ... JPEG engine sub 251 ... marker interpretation unit 252 ... quantization table RAM
253 ... Huffman table RAM
254 ... MCU decoding unit 255 ... Entropy decoding unit 256 ... Inverse quantization unit 257 ... Inverse DCT unit 260 ... Temporal memory 300 ... Selector 400 ... Frame memory

Claims (4)

JPEGデータ中の圧縮主画像データの復号処理を行う第1の復号部と、
前記JPEGデータ中の圧縮サムネイル画像データの復号処理を行う第2の復号部と、
前記JPEGデータがAPPマーカを含む場合は、前記第1の復号部に前記JPEGデータからAPPデータを削除したデータを出力すると共に前記第2の復号部に前記JPEGデータを転送し、前記APPマーカを含まない場合は、前記第1の復号部に前記JPEGデータを転送する転送部とを備えること
を特徴とするJPEG復号器。
A first decoding unit that performs decoding processing of compressed main image data in JPEG data;
A second decoding unit for decoding the compressed thumbnail image data in the JPEG data ;
When the JPEG data includes an APP marker, the data obtained by deleting the APP data from the JPEG data is output to the first decoding unit, and the JPEG data is transferred to the second decoding unit. A JPEG decoder, comprising: a transfer unit that transfers the JPEG data to the first decoding unit when not included .
前記転送部は、
入力された前記JPEGデータから前記APPマーカの検出を行い、前記APPマーカを検出した場合にAPP検出信号を出力するAPPマーカ検出部と、
前記APP検出信号を受け取った場合に前記JPEGデータから前記APPデータを削除したデータを前記第1の復号部に出力し、前記APP検出信号を受け取らない場合に前記JPEGデータを前記第1の復号部に転送するデータ・スキップ部と、
前記APPマーカ検出部と前記第2の復号部の間に接続され、前記APP検出信号を受け取った場合にオン状態となり、前記APP検出信号を受け取らない場合にオフ状態となるスイッチ部とを備えること
を特徴とする請求項1に記載のJPEG復号器。
The transfer unit
An APP marker detection unit that detects the APP marker from the input JPEG data and outputs an APP detection signal when the APP marker is detected;
When the APP detection signal is received, data obtained by deleting the APP data from the JPEG data is output to the first decoding unit, and when the APP detection signal is not received, the JPEG data is output to the first decoding unit. A data skip part to be transferred to
A switch unit that is connected between the APP marker detection unit and the second decoding unit and is turned on when the APP detection signal is received and turned off when the APP detection signal is not received; The JPEG decoder according to claim 1.
前記第1の復号部は、マーカの解釈を行う第1のマーカ解釈部と、MCU単位で復号を行う第1のMCU復号部を備え、
前記第2の復号部は、マーカの解釈を行う第2のマーカ解釈部と、MCU単位で復号を行う第2のMCU復号部を備えること
を特徴とする請求項1又は2に記載のJPEG復号器。
The first decoding unit may comprise a first marker interpretation unit interprets the marker, and a first MCU decoding unit for decoding the MCU unit,
The second decoding unit, JPEG according to the second marker interpretation unit interprets the marker to claim 1 or 2, characterized in that it comprises a second MCU decoding unit for decoding the MCU unit Decoder.
前記第2の復号部が出力するサムネイル画像データを一時的に格納する格納手段を備えること
を特徴とする請求項1乃至3のいずれか一項に記載のJPEG復号器。
The JPEG decoder according to any one of claims 1 to 3, further comprising storage means for temporarily storing thumbnail image data output from the second decoding unit.
JP2006235167A 2006-08-31 2006-08-31 JPEG decoder Active JP4720683B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006235167A JP4720683B2 (en) 2006-08-31 2006-08-31 JPEG decoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006235167A JP4720683B2 (en) 2006-08-31 2006-08-31 JPEG decoder

Publications (2)

Publication Number Publication Date
JP2008060891A JP2008060891A (en) 2008-03-13
JP4720683B2 true JP4720683B2 (en) 2011-07-13

Family

ID=39243139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006235167A Active JP4720683B2 (en) 2006-08-31 2006-08-31 JPEG decoder

Country Status (1)

Country Link
JP (1) JP4720683B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6351313B2 (en) * 2013-07-11 2018-07-04 キヤノン株式会社 Image encoding device, image decoding device, image processing device, and control method thereof
CN105900421B (en) * 2014-01-07 2019-04-26 杜比实验室特许公司 Method for being coded and decoded to high dynamic range images
US9712845B2 (en) 2015-07-31 2017-07-18 Ecole Polytechnique Federale De Lausanne (Epfl) Media content processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236178A (en) * 2003-01-31 2004-08-19 Nikon Corp Image expansion device and electronic camera
JP2004253906A (en) * 2003-02-18 2004-09-09 Canon Inc Expanding apparatus
JP2005065080A (en) * 2003-08-19 2005-03-10 Sony Corp Header receiving circuit

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4192407B2 (en) * 2000-06-23 2008-12-10 カシオ計算機株式会社 Watches
JP2002314946A (en) * 2001-04-09 2002-10-25 Sony Corp Image reproducing apparatus and method therefor
JP2003008904A (en) * 2001-06-19 2003-01-10 Sony Corp Image data reader
JP2004072728A (en) * 2002-06-11 2004-03-04 Sanyo Electric Co Ltd Image recording method, image recording apparatus, image recording and reproducing apparatus, image processing apparatus and television receiver

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236178A (en) * 2003-01-31 2004-08-19 Nikon Corp Image expansion device and electronic camera
JP2004253906A (en) * 2003-02-18 2004-09-09 Canon Inc Expanding apparatus
JP2005065080A (en) * 2003-08-19 2005-03-10 Sony Corp Header receiving circuit

Also Published As

Publication number Publication date
JP2008060891A (en) 2008-03-13

Similar Documents

Publication Publication Date Title
US8081252B2 (en) Image displaying apparatus
CN103957416B (en) Partial expansion method of encoded images and image processing apparatus
US7092023B2 (en) Moving image reproducing device equipped with multi-image playback function
CN101207672B (en) Image processing apparatus, and image processing method
JP2000278685A (en) Method for processing variable length encoded binary bit stream
JP4720683B2 (en) JPEG decoder
US20060152595A1 (en) Method for capturing of real-time image
US20060008306A1 (en) Printing apparatus, content outputting apparatus and printing system
US20090244305A1 (en) Video Recording System and Imaging Apparatus
WO2003094503A1 (en) Image processing device and image processing method
CN113923456B (en) Video processing method and device
JP2011139361A (en) Image processor, image processing method and program
JP5077177B2 (en) Information processing apparatus and data transmission method
JP3627659B2 (en) Data encoding apparatus and method, and camera system
JP5000581B2 (en) Image playback device
KR100655054B1 (en) Method for shortening images saving time in a mobile communication terminal having a camera
WO2008047414A1 (en) Image display device and image display method
JP5267047B2 (en) Imaging apparatus, information processing apparatus, and confirmation display image creation method
JP2004221825A (en) Device and method for decoding image data
JP2004236178A (en) Image expansion device and electronic camera
JP2013109417A (en) Drive recorder
JP2008283602A (en) Recording device, recording method, recording medium, reproduction device, reproduction method, edit device, and edit method
JP2000324492A (en) Picture decoder
JPS61227482A (en) Picture information reproducing error processor
JP2007049465A (en) Control method in animation reproduction

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4720683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350