JP4143516B2 - Image processing apparatus, image verification method, program, and storage medium - Google Patents
Image processing apparatus, image verification method, program, and storage medium Download PDFInfo
- Publication number
- JP4143516B2 JP4143516B2 JP2003356455A JP2003356455A JP4143516B2 JP 4143516 B2 JP4143516 B2 JP 4143516B2 JP 2003356455 A JP2003356455 A JP 2003356455A JP 2003356455 A JP2003356455 A JP 2003356455A JP 4143516 B2 JP4143516 B2 JP 4143516B2
- Authority
- JP
- Japan
- Prior art keywords
- verification data
- image
- digital image
- image processing
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、画像処理装置、画像検証方法、プログラムおよび記憶媒体に関し、特に、画像データの改変の有無を確認することが可能な画像処理装置、該画像処理装置に適用される画像検証方法、該画像検証方法をコンピュータに実行させるためのプログラム、及び該プログラムを記憶した記憶媒体に関する。 The present invention relates to an image processing apparatus, an image verification method, a program, and a storage medium, and in particular, an image processing apparatus capable of confirming whether or not image data has been modified, an image verification method applied to the image processing apparatus, The present invention relates to a program for causing a computer to execute an image verification method, and a storage medium storing the program.
近年、急速に普及しつつあるデジタルカメラは、従来の銀塩カメラが被写体像をフィルム面上に結像させ、画像を化学的にアナログ記録するのに対し、CCDセンサなどで撮像した画像をメモリカードなどの記録媒体に電気的にデジタル記録するものである。 In recent years, digital cameras, which are rapidly spreading, use a conventional silver halide camera to form a subject image on a film surface and record the image chemically in analog form, whereas the image captured by a CCD sensor or the like is stored in memory. Electronic recording is performed electrically on a recording medium such as a card.
デジタルカメラには、画像データにデジタル信号処理を施し、データ圧縮を行った後に記録する、いわゆる「JPEG記録」と、画像データにはデジタル信号処理を行わず、そのままの画像データを記録する、いわゆる「RAW記録」とがある。 In digital cameras, digital signal processing is performed on image data and data compression is performed before recording, so-called “JPEG recording”, and image data is not subjected to digital signal processing and is recorded as it is, so-called “JPEG recording”. There is “RAW recording”.
「JPEG記録」時に行われるデジタル信号処理は、あらかじめデジタルカメラに設定されている、画質に関するパラメータに従って行われる。「RAW記録」のときは、画質に関するパラメータは画像データに付加されて記録される。画質に関するパラメータとは、デジタル画像のホワイトバランス、色補間、色補正、γ変換、エッジ強調、記録方式(圧縮方式)、圧縮率等に関するパラメータである。 Digital signal processing performed at the time of “JPEG recording” is performed in accordance with parameters relating to image quality that are set in advance in the digital camera. In the case of “RAW recording”, parameters relating to image quality are added to image data and recorded. The parameters relating to image quality are parameters relating to white balance, color interpolation, color correction, γ conversion, edge enhancement, recording method (compression method), compression rate, etc. of a digital image.
「RAW記録」された画像ファイルに対しては、デジタルカメラで、あるいはパーソナルコンピュータ等で、画質に関するパラメータを変更しながら、デジタル信号処理を何度も繰り返して実行することができ、この結果として、JPEG画像ファイルが生成される。このため、撮影時に設定されていたパラメータでデジタル信号処理されてしまう「JPEG記録」よりも、ユーザの好みにあった「JPEG記録」画像を得ることができる。 With respect to an image file that has been “RAW-recorded”, digital signal processing can be repeatedly executed with a digital camera or a personal computer while changing parameters relating to image quality. As a result, A JPEG image file is generated. Therefore, it is possible to obtain a “JPEG recording” image that suits the user's preference rather than “JPEG recording” in which digital signal processing is performed with parameters set at the time of shooting.
一般に「RAW記録」された画像データは汎用性が低く、また、画像データサイズが大きいため、通常は、ユーザの好みにあったデジタル信号処理を施して「JPEG記録」画像に変換した後に、インターネットに公開したり、流通させたりする。 In general, image data that has been “RAW-recorded” has low versatility and a large image data size. Therefore, after the digital signal processing suitable for the user's preference is performed and converted to a “JPEG-recorded” image, the Internet Open to the public or distribute.
このようにデジタルカメラで撮影された画像データは、銀塩カメラに比べ、容易に加工することできるため、デジタルカメラの必要性は、今後ますます大きくなるものと期待されている。 Thus, since the image data captured by the digital camera can be easily processed as compared with the silver halide camera, the necessity of the digital camera is expected to increase in the future.
その一方で、デジタルデータは、痕跡が残らないように合成などの改ざんを行うことが容易であるため、撮影されたデジタル画像の証拠としての信頼性が問題となる場合がある。このような問題は、一般ユーザによる趣味的な撮影程度であればあまり生じないであろうが、建築現場での記録写真のように業務上あるいは法律上必要な撮影では大きな問題となってくる。 On the other hand, digital data can be easily tampered with such as synthesis so that no traces remain, and thus reliability as evidence of a captured digital image may be a problem. Such a problem is unlikely to occur as long as it is a hobby shooting by a general user, but it becomes a serious problem in shooting required for business or legal purposes such as a recorded photo at a construction site.
また、デジタル画像データは、複製・配布が極めて容易なために、画像の著作権者の権利が充分に保護されないという問題もある。 Also, since digital image data is extremely easy to duplicate and distribute, there is a problem that the rights of the copyright holder of the image are not sufficiently protected.
従って、撮影されたデジタル画像の証拠能力を高め、著作権を保護することの可能なデジタルカメラへの期待は大きい。 Therefore, there is a great expectation for a digital camera that can enhance the evidence ability of a photographed digital image and protect the copyright.
そこで、近年、デジタルカメラで記録されたデジタルデータに、デジタルデータが改変されていないことを検証するための検証データを付加する機能を有するデジタルカメラが提案されている(例えば特許文献1)。検証データは、JPEG記録された画像データに対して、非可逆な演算処理することによって生成されるものであり、データの改変される可能性のある経路の前後において算出された検証データを比較することによってデータの改変の有無が判断できる。 Therefore, in recent years, there has been proposed a digital camera having a function of adding verification data for verifying that the digital data has not been altered to the digital data recorded by the digital camera (for example, Patent Document 1). The verification data is generated by performing irreversible arithmetic processing on the image data recorded in JPEG, and compares the verification data calculated before and after the path where the data may be altered. Thus, it can be determined whether or not the data has been altered.
さらに、近年、RAW記録された画像データに、検証データを付加する機能を有するデジタルカメラも提案されている。
しかしながら、検証データが付加された「RAW記録」ファイルに対して、画質に関するパラメータを用いて画像処理を行い、「JPEG記録」ファイルを生成した場合、このデジタルカメラは、生成された「JPEG記録」ファイルに検証データを付加しておらず、後からユーザが画像の正当性(画像データの改変の有無)を確認したいときに確認できないという問題があった。 However, when the “RAW recording” file to which the verification data is added is subjected to image processing using parameters relating to image quality and a “JPEG recording” file is generated, the digital camera generates the generated “JPEG recording” file. There is a problem that verification data is not added to the file, and cannot be confirmed later when the user wants to confirm the validity of the image (the presence or absence of alteration of the image data).
なお、生成された「JPEG記録」ファイルに対して、「RAW記録」ファイルを基に新たに検証データを生成し、該検証データを付加することは可能であるが、この方法では、大量の「RAW記録」ファイルを基に新たに検証データを生成するのに要する処理時間が問題となってしまう。 Although it is possible to newly generate verification data based on the “RAW recording” file and add the verification data to the generated “JPEG recording” file, in this method, a large amount of “ The processing time required to generate new verification data based on the “RAW record” file becomes a problem.
本発明はこのような問題点に鑑みてなされたものであって、検証データを付加することなく、「JPEG記録」ファイルの画像の正当性を確認することを可能にした画像処理装置、画像検証方法、プログラムおよび記憶媒体を提供することを目的とする。 The present invention has been made in view of such a problem, and an image processing apparatus and image verification that can confirm the validity of an image of a “JPEG recording” file without adding verification data. It is an object to provide a method, a program, and a storage medium.
上記目的を達成するために、請求項1記載の発明は、JPEG圧縮処理が施されていない第1のデジタル画像に対するデジタル画像の改変の有無を検証するための第1の検証データを取得する取得手段と、メモリに格納されていた前記第1のデジタル画像に前記JPEG圧縮処理を施して、第2のデジタル画像を生成する画像処理手段と、前記画像処理手段が前記JPEG圧縮処理を施す対象となる前記第1のデジタル画像を基に、デジタル画像の改変の有無を検証するための第2の検証データを作成する作成手段と、前記取得手段によって取得された第1の検証データと、前記作成手段によって作成された第2の検証データとを比較する比較手段と、前記比較手段による比較結果を利用して、前記第1のデジタル画像に検証データが付加されているか否か、および、前記第1のデジタル画像が改変されているか否かを示す情報である検証データ情報を生成する生成手段と、前記生成手段によって生成された前記検証データ情報を、前記画像処理手段によって前記第1のデジタル画像とは別に前記JPEG圧縮処理が施されることにより新たに生成された第2のデジタル画像に付加する付加手段と、を有することを特徴とする。
In order to achieve the above object, the invention according to
また、上記目的を達成するために、請求項10記載の発明は、JPEG圧縮処理が施されていない第1のデジタル画像に対するデジタル画像の改変の有無を検証するための第1の検証データを取得する取得ステップと、メモリに格納されていた前記第1のデジタル画像に前記JPEG圧縮処理を施して、第2のデジタル画像を生成する画像処理ステップと、前記画像処理ステップが前記JPEG圧縮処理を施す対象となる前記第1のデジタル画像を基に、デジタル画像の改変の有無を検証するための第2の検証データを作成する作成ステップと、前記取得ステップによって取得された第1の検証データと、前記作成ステップによって作成された第2の検証データとを比較する比較ステップと、前記比較ステップによる比較結果を利用して、前記第1のデジタル画像に検証データが付加されているか否か、および、前記第1のデジタル画像が改変されているか否かを示す情報である検証データ情報を生成する生成ステップと、前記生成ステップによって生成された前記検証データ情報を、前記画像処理ステップによって前記第1のデジタル画像とは別に前記JPEG圧縮処理が施されることにより新たに生成された第2のデジタル画像に付加する付加ステップと、を有することを特徴とする。 In order to achieve the above object, the invention according to claim 10 obtains first verification data for verifying whether or not a digital image has been altered with respect to the first digital image not subjected to JPEG compression processing. performing an acquisition step of, the said first digital image that has been stored in the memory is subjected to JPEG compression processing, an image processing step of generating a second digital image, the image processing step is the JPEG compression processing A creation step for creating second verification data for verifying the presence or absence of alteration of the digital image based on the first digital image to be processed; first verification data acquired by the acquisition step; A comparison step for comparing with the second verification data created by the creation step, and a comparison result by the comparison step, Generating step of generating verification data information, which is information indicating whether or not verification data is added to the first digital image and whether or not the first digital image has been altered; and An adding step of adding the generated verification data information to the second digital image newly generated by performing the JPEG compression process separately from the first digital image by the image processing step ; It is characterized by having.
さらに、上記画像検証方法をコンピュータに実行させるためのプログラム、及び上記画像検証方法をプログラムとして記憶した、コンピュータにより読み出し可能な記憶媒体が提供される。 Furthermore, a program for causing a computer to execute the image verification method, and a computer-readable storage medium storing the image verification method as a program are provided.
本発明によれば、検証データが付加された「RAW記録」ファイルを基に「JPEG記録」ファイルを生成する場合に、ユーザが、検証データ情報を生成するモードと、検証データ情報の生成を行わないモードの2つのモードのうちの1つを選択でき、ここで、ユーザが検証データ情報の生成を行うモードを選択している場合には、オリジナルの「RAW記録」ファイルに検証データが付加されているか否かを表し、またオリジナルの「RAW記録」ファイルの改変の有無を表す検証データ情報を生成し、これを「JPEG記録」ファイルに付加するように構成する。 According to the present invention, when the “JPEG recording” file is generated based on the “RAW recording” file to which the verification data is added, the user generates the verification data information and the verification data information is generated. One of the two modes can be selected, and if the user selects a mode for generating verification data information, the verification data is added to the original “RAW recording” file. Verification data information indicating whether or not the original “RAW recording” file has been modified is generated and added to the “JPEG recording” file.
このように、検証データ情報を「JPEG記録」ファイルに付加することにより、検証データ自体を「JPEG記録」ファイルに付加することなく、検証データ情報から「JPEG記録」ファイルの画像の正当性を確認することが可能となる。 Thus, by adding the verification data information to the “JPEG recording” file, the validity of the image of the “JPEG recording” file is confirmed from the verification data information without adding the verification data itself to the “JPEG recording” file. It becomes possible to do.
また、検証データ情報の生成を行うか否かを、ユーザが任意に設定可能である。 Also, the user can arbitrarily set whether to generate verification data information.
また、検証データ情報から、オリジナルの「RAW記録」ファイルに検証データが付加されているか否かを知ることができ、また、オリジナルの「RAW記録」ファイルの改変の有無を知ることができる。 Further, from the verification data information, it is possible to know whether or not verification data is added to the original “RAW recording” file, and it is possible to know whether or not the original “RAW recording” file has been altered.
以下、本発明の実施形態を、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明に係る画像処理装置の一実施形態の構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of an embodiment of an image processing apparatus according to the present invention.
図中、画像生成装置101は、被写体のデジタル画像を生成する機能と、デジタル画像が改変されていないことを検証するための検証データを生成する機能と、検証データ付き画像ファイルを生成する機能とを有する装置である。
In the figure, an
画像生成装置101は、デジタルカメラ、デジタルビデオカメラ、スキャナなどの撮像装置であっても、カメラユニットを有する電子機器であってもよい。さらには、画像読み取りユニットを有するファクシミリ装置、複写機などの電子機器であってもよい。
The
画像再生装置102は、画像生成装置101から送られた検証データ付き画像ファイルを基に、検証データを用いてデジタル画像の完全性を検証してデジタル画像が改変されているか否かを検出する機能と、デジタル画像に画像処理を施す機能とを有する装置である。
The
画像再生装置102は、パーソナルコンピュータであっても、パーソナルコンピュータ以外の電子機器であってもよい。
The
図2は、図1に示す画像生成装置101の主要な構成を示すブロック図である。
FIG. 2 is a block diagram showing the main configuration of the
図中、制御部204は、プログラム記憶部206に予め格納されているプログラムに従って画像生成装置101の動作制御を行う。
In the figure, a
撮像部201は、撮像センサ(例えばCCDエリアセンサなど)、A/D変換器などからなる。ユーザによる撮像操作によって撮像センサ上に被写体像が形成され、その画像信号がA/D変換器でA/D変換されて、撮像部201から画像データとして出力される。
The
撮像部201から出力された画像データは、現像パラメータに従って現像処理部202で現像処理された後、データバス210を介して、一旦メモリ部207に格納される。メモリ部207に格納された画像データは、必要に応じて読み出されて表示部205において画像として表示される。
Image data output from the
なお、上記の現像パラメータとは、デジタル画像の画質に関するパラメータのことであり、デジタル画像のホワイトバランス、色補間、色補正、γ変換、エッジ強調、記録方式または圧縮率に関するパラメータなどである。なお以下の説明では、デジタル画像の画質を1つ以上の現像パラメータを用いて調整(変更)する処理を、現像処理と呼ぶ。 Note that the above development parameters are parameters relating to the image quality of a digital image, such as parameters relating to white balance, color interpolation, color correction, γ conversion, edge enhancement, a recording method, or a compression rate of a digital image. In the following description, processing for adjusting (changing) the image quality of a digital image using one or more development parameters is referred to as development processing.
現像パラメータに関する各種設定は、ユーザが表示部205に表示される画面を見ながら、図示しない設定釦を用いて入力・変更することによって行われる。
Various settings relating to development parameters are performed by the user inputting / changing using a setting button (not shown) while viewing a screen displayed on the
図4は、現像パラメータの各パラメータを設定するための画面401の一例を示す図である。
FIG. 4 is a diagram illustrating an example of a
図4に示す各パラメータにおいて四角枠で囲まれた部分が、そのパラメータで現在選択されている設定内容を表している。この設定例では、「ホワイトバランス」は「オート」が選択されており、「色あい」は「赤く」が、「色の濃さ」は「濃く」が、「コントラスト」は「弱く」が、「シャープネス」は「強く」が選択されている。また、「記録方式」は「JPEG」が選択されており、「圧縮率」は「標準」が選択されている。 In each parameter shown in FIG. 4, a portion surrounded by a square frame represents the setting content currently selected by the parameter. In this setting example, “White” is set to “Auto”, “Color” is “Red”, “Color” is “Dark”, “Contrast” is “Weak”, “ “Strongness” is selected as “Strong”. In addition, “JPEG” is selected as the “recording method”, and “standard” is selected as the “compression rate”.
「記録方式」として「JPEG」が選択されているときの撮影では、図4に例示されるような設定の各現像パラメータを用いて画像データが現像処理され、現像処理後の画像データがメモリ部207へ格納される。なお、こうしたJPEG記録方式の画像データは既に現像処理を施されているので、後から現像パラメータを変更することはできない。 In shooting when “JPEG” is selected as the “recording method”, image data is developed using each development parameter set as illustrated in FIG. 4, and the image data after development processing is stored in the memory unit. 207 is stored. Since image data of such JPEG recording method has already been developed, the development parameters cannot be changed later.
一方、「記録方式」として「RAW」が選択されているときの撮影では、画像データは現像処理されず、予め設定された各現像パラメータが画像データに付加されてメモリ部207へ格納される。
On the other hand, in shooting when “RAW” is selected as the “recording method”, the image data is not developed and each preset development parameter is added to the image data and stored in the
RAW記録方式の画像データは、付加されている現像パラメータを用いて、本画像生成装置101(デジタルカメラ等)または画像再生装置102(パーソナルコンピュータ等)で現像処理することができる。このとき、RAW画像データに付加された現像パラメータは、本画像生成装置101または画像再生装置102において変更することが可能である。
RAW recording image data can be developed by the image generation apparatus 101 (digital camera or the like) or the image reproduction apparatus 102 (personal computer or the like) using the added development parameters. At this time, the development parameter added to the RAW image data can be changed in the
図2に戻って、メモリ部207に格納されたRAW記録方式の画像データに対しては、検証データ生成部203にて検証データが生成される。検証データは、ハッシュ関数Hを用いて、RAW記録方式の画像データのハッシュ値(ダイジェストデータ)を生成し、このダイジェストデータを、画像生成装置101内部で保持している秘密鍵Kで演算処理することによって生成される。ハッシュ関数Hとしては、MD−2MD−5、SHA−1、RIPEMD−128、RIPEMD−160等のいずれかを利用する。また、秘密鍵Kとしては、公開鍵暗号方式(RSA暗号など)における秘密鍵を利用する。一般にハッシュ関数Hは、非可逆な処理を含むため、検証データから元の画像データを再現することはできない。
Returning to FIG. 2, the verification
検証データ生成部203で生成された検証データは、現像パラメータとともにRAW記録方式の画像データに付加され、メモリカード・インタフェース(I/F)209を介して、着脱可能なメモリカード212に書き込まれる。また、こうした画像データは、シリアルI/F208を介してシリアルバス211へも出力でき、ネットワークでの画像データの配布も容易に行うことができる。
The verification data generated by the verification
図3は、図1に示す画像再生装置102の主要な構成を示すブロック図である。
FIG. 3 is a block diagram showing the main configuration of the
図中、制御部303は、プログラム記憶部305に予め格納されているプログラムに従って画像再生装置102の動作制御を行う。
In the figure, a
画像再生装置102では、ユーザによる画像再生操作によってメモリカード312からメモリカード・インタフェース(I/F)309を介して、画像データが読み出され、いったんメモリ部307に格納される。このメモリカード312は、画像生成装置101から取り外されたメモリカード212が画像再生装置102に装着されたものである。また、画像生成装置101から送信された画像データがシリアルバス311より入力される場合は、シリアルI/F308にて受信し、メモリ部307へ格納される。
In the
メモリ307へ格納された画像データは、検証データ判定部306にて、検証データの有無および画像改変の有無がチェックされ、これらのチェック結果とともに表示部304へ送られ再生表示される。
The image data stored in the
この画像データが「RAW記録」された画像データであれば、画像再生装置102はこの画像データに対して現像処理を行うことができる。また、現像パラメータの設定を変更することもできる。
If the image data is “RAW recorded” image data, the
図5は、画像再生装置102において現像パラメータの各パラメータの設定を変更するときに使用される画面501の一例を示す図である。
FIG. 5 is a diagram illustrating an example of a
画面501は、図4に示す画面401とほぼ同じ構成であるが、異なる点は、検証データ情報を生成するか否かを指定するパラメータが新たに追加されている点である。この検証データ情報は、現像処理後に「JPEG記録」される画像データに付加されるものである。
The
検証データ情報とは、現像処理の対象となる画像データに検証データが付加されているか否か、および、画像データが改変されているか否かを示す情報である。前述のように、「JPEG記録」された画像データに対して付加され、ユーザは、検証データ情報から画像データの正当性を確認できる。 The verification data information is information indicating whether verification data has been added to the image data to be developed and whether the image data has been altered. As described above, it is added to the image data that has been “JPEG-recorded”, and the user can confirm the validity of the image data from the verification data information.
図5において、各パラメータにおける四角枠で囲まれた部分がそのパラメータで現在選択されている設定内容を表している。この設定例では、「ホワイトバランス」は「撮影時設定」が選択されており、「色あい」は「赤く」が、「色の濃さ」は「濃く」が、「コントラスト」は「弱く」が、「シャープネス」は「強く」が選択されている。「記録方式」は「JPEG」のみが選択可能であり、「圧縮率」は「標準」が選択されている。また、「検証データ情報の生成」は「入」が選択されている。 In FIG. 5, the portion of each parameter surrounded by a square frame represents the setting content currently selected by the parameter. In this setting example, “White balance” is set to “Shooting settings”, “Color tone” is “Red”, “Color depth” is “Dark”, and “Contrast” is “Weak”. “Strength” is selected as “Strong”. Only “JPEG” can be selected as the “recording method”, and “standard” is selected as the “compression rate”. In addition, “ON” is selected for “generation of verification data information”.
「検証データ情報の生成」が「入」に設定されている時は、図5に例示する設定の各現像パラメータを用いて現像処理部301が現像処理を行い、現像処理された画像データには検証データ情報が付加されて、メモリ部307へ「JPEG記録」される。また、「JPEG記録」された画像は必要に応じて表示部304に表示される。
When “Generate verification data information” is set to “On”, the
検証データ情報が付加された「JPEG記録」画像データは、メモリカード・インタフェース(I/F)309を介して、着脱可能なメモリカード312に書き込まれる。こうした画像データは、シリアルI/F308を介してシリアルバス311へも出力でき、ネットワークでの画像データの配布も容易に行うことができる。
The “JPEG recording” image data to which the verification data information is added is written to the
また、「検証データ情報の生成」が「切」に設定されているときは、図5に例示する設定の各現像パラメータを用いて現像処理部301が現像処理を行い、現像処理された画像データは検証データ情報を付加されることなく、メモリ部307へ「JPEG記録」される。また、「JPEG記録」された画像は必要に応じて表示部304に表示される。
When “Generate verification data information” is set to “Off”, the
この検証データ情報が付加されず「JPEG記録」された画像データは、メモリカード・インタフェース(I/F)309を介して、着脱可能なメモリカード312に書き込まれる。こうした画像データは、シリアルI/F308を介してシリアルバス311へも出力でき、ネットワークでの画像データの配布も容易に行うことができる。
The image data that is “JPEG-recorded” without the verification data information is written to the
図6および図7は、画像再生装置102で実行される画像再生処理の手順を示すフローチャートである。なお、以下においては、メモリカード312(画像生成装置101から取り出されたメモリカード212に相当)から画像データを読み出す場合を例にとって説明する。
6 and 7 are flowcharts showing the procedure of the image reproduction process executed by the
ユーザが図示しない操作ボタンを操作することにより、ステップS601で画像再生処理が開始される。 When the user operates an operation button (not shown), the image reproduction process is started in step S601.
ステップS602では、メモリカードI/F309を介して、メモリカード312から画像データが読み出され、いったんメモリ部307に格納される。
In step S 602, image data is read from the
ステップS603では、メモリ部307に格納された画像データを読み出して、表示部304に再生表示を行う。表示部304には、このとき画像とともに、「記録方式」が「RAW記録」であるか、「JPEG記録」であるかが併せて表示される。「RAW記録」された画像であれば、現像処理が可能である。この表示部304に表示された記録方式を見たユーザが、現像処理を行うべきか否かを、画像再生装置102に指示するものとする。
In step S603, the image data stored in the
ステップS604では、表示されている画像データに対して現像処理を行うようにユーザによって指示されているか否かを判別する。現像処理を行うように指示されている場合は、図7のステップS701へ進み、現像処理を行う。現像処理を行わない指示のときは、ステップS605へ進む。なお、現像処理を行う場合は、必要に応じて現像パラメータ設定画面を表示部304に表示させることができる。
In step S604, it is determined whether or not the user has instructed to perform development processing on the displayed image data. If it is instructed to perform development processing, the process advances to step S701 in FIG. 7 to perform development processing. If it is instructed not to perform development processing, the process proceeds to step S605. When performing development processing, a development parameter setting screen can be displayed on the
ステップS605では、ほかの画像を再生するようにユーザによって指示されているか否かを判別する。ほかの画像を続けて再生するときにはステップS602へ戻り、メモリカード312から画像データを読み出すところから繰り返される。ほかの画像を再生しないときはステップS606へ進み、画像再生処理を終了する。
In step S605, it is determined whether or not the user has instructed to reproduce another image. When other images are continuously reproduced, the process returns to step S602, and the process is repeated from reading image data from the
図7は現像処理の手順を示す。 FIG. 7 shows the procedure of development processing.
ステップS701では、「RAW記録」された画像データに対して現像処理部301にて現像処理を行う。現像処理された画像データはメモリ部307へ「JPEG記録」される。
In step S701, the
ステップS702では、画像再生装置102において設定される現像パラメータの一つである「検証データ情報の生成」の設定が「入」になっているか否かを判別する。「入」になっている場合は、ステップS703へ進む。「検証データ情報の生成」が「切」に設定されている場合は、検証データ情報の生成を行わず、ステップS705へ進み、「JPEG記録」された画像データをメモリカード312へ書き込んで現像処理を終了し、図6のステップS605へ進む。
In step S <b> 702, it is determined whether or not “verification data information generation”, which is one of the development parameters set in the
ステップS703では、「RAW記録」された画像データに付加された検証データを用いて画像データの改変についての検証を行う。すなわち先ず、検証データ生成部302が、画像生成装置101の検証データ生成部203において行われる演算と同じ演算を、メモリカード312から読み出された「RAW記録」された画像データに対して行って、検証データを生成する。次に検証データ判定部306が、この検証データ生成部302で生成された検証データと、「RAW記録」された画像データに付加された画像生成装置101で生成された検証データとを比較する。その結果、双方の検証データが一致すれば、画像データが改変されていないと判断し、ステップS704にて、「画像改変なし」の検証データ情報を生成する。一方、双方の検証データが一致しなければ、画像は改変されていると判断し、ステップS704にて「画像改変あり」の検証データ情報を生成する。なお、画像データに検証データが付加されていなければ、ステップS704にて「検証データなし」の検証データ情報を生成する。
In step S703, the verification of the modification of the image data is performed using the verification data added to the image data “RAW-recorded”. That is, first, the verification
なお、本実施形態では検証データ生成に必要な秘密鍵Kを、画像生成装置101と画像再生装置102の双方であらかじめ保持していることとする。また、これに代わって、セキュリティ機能付きICカードなどを用いて秘密鍵Kを画像生成装置101と画像再生装置102の双方で共有するようにしてもよい。
In this embodiment, it is assumed that the secret key K necessary for generating verification data is held in advance in both the
また、本実施形態の画像再生装置102では、検証データ判定部306による画像改変の検証機能を有しているが、これに代わって、画像に検証データが付加されているか否かの判定だけを行い、検証データ情報として検証データの有無情報だけを付加するようにしてもよいが、この場合には、秘密鍵Kを画像再生装置102において持つ必要はない。
In addition, the
ステップS704では、前述のように、ステップS703での判断結果に従って検証データ情報が生成され、この検証データ情報が現像処理後の「JPEG記録」された画像データに付加される。 In step S704, as described above, verification data information is generated according to the determination result in step S703, and this verification data information is added to the “JPEG-recorded” image data after the development processing.
ステップS705では、検証データ情報が付加され「JPEG記録」された画像データをメモリカード312へ書き込んで現像処理を終了する。
In step S705, the image data added with verification data information and “JPEG-recorded” is written to the
以上のように、本実施形態の画像再生装置102において、検証データが付加された「RAW記録」ファイルを基に「JPEG記録」ファイルを生成する場合に、ユーザが、検証データ情報を生成するモードと、検証データ情報の生成を行わないモードの2つのモードのうちの1つを選択でき(図5の「検証データ情報生成」パラメータ)、ここで、ユーザが検証データ情報の生成を行うモードを選択している場合には、オリジナルの「RAW記録」ファイルに検証データが付加されているか否かを表し、またオリジナルの「RAW記録」ファイルの改変の有無を表す検証データ情報を生成し(図7のステップS704)、これを「JPEG記録」ファイルに付加するように構成した(図7のステップS704,S705)。
As described above, when the “JPEG recording” file is generated based on the “RAW recording” file to which the verification data is added in the
このような検証データ情報を「JPEG記録」ファイルに付加することにより、検証データ自体を「JPEG記録」ファイルに付加することなく、検証データ情報から「JPEG記録」ファイルの画像の正当性を確認することが可能となる。 By adding such verification data information to the “JPEG recording” file, the validity of the image of the “JPEG recording” file is confirmed from the verification data information without adding the verification data itself to the “JPEG recording” file. It becomes possible.
また、検証データ情報の生成を行うか否かを、ユーザが任意に設定可能である。 Also, the user can arbitrarily set whether to generate verification data information.
また、検証データ情報から、オリジナルの「RAW記録」ファイルに検証データが付加されているか否かを知ることができ、また、オリジナルの「RAW記録」ファイルの改変の有無を知ることができる。 Further, from the verification data information, it is possible to know whether or not verification data is added to the original “RAW recording” file, and it is possible to know whether or not the original “RAW recording” file has been altered.
[他の実施形態]
本発明の構成は、上述の実施形態での具体的な記述に限定されるものではなく、画像生成装置101および画像再生装置102の仕様や想定ユーザ層などによって、様々な実施形態が考えられることはいうまでもない。
[Other Embodiments]
The configuration of the present invention is not limited to the specific description in the above-described embodiment, and various embodiments can be considered depending on the specifications of the
なお、本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。 An object of the present invention is to supply a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and a computer (or CPU, MPU, etc.) of the system or apparatus. It is also achieved by reading and executing the program code stored in the storage medium.
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium and program storing the program code constitute the present invention.
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。 The storage medium for supplying the program code is, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW. DVD-R, magnetic tape, nonvolatile memory card, ROM, and the like can be used.
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer based on an instruction of the program code, etc. Includes a case where the function of each embodiment described above is realized by performing part or all of the actual processing.
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。 Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. This includes the case where the CPU or the like provided in the board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
101 画像生成装置
102 画像再生装置
201 撮像部
202 現像処理部
203 検証データ生成部
204 制御部
205 表示部
206 プログラム記憶部
207 メモリ部
208 シリアル・インタフェース
209 メモリカード・インタフェース
210 データバス
211 シリアルバス
212 メモリカード
301 現像処理部(画像処理手段)
302 検証データ生成部(作成手段)
303 制御部(取得手段、付加手段)
304 表示部
305 プログラム記憶部
306 検証データ判定部(比較手段、生成手段)
307 メモリ部(取得手段)
308 シリアル・インタフェース
309 メモリカード・インタフェース
310 データバス
311 シリアルバス
312 メモリカード
DESCRIPTION OF
302 Verification data generation unit (creation means)
303 Control unit (acquisition means, addition means)
307 Memory unit (acquisition means)
308
Claims (16)
メモリに格納されていた前記第1のデジタル画像に前記JPEG圧縮処理を施して、第2のデジタル画像を生成する画像処理手段と、
前記画像処理手段が前記JPEG圧縮処理を施す対象となる前記第1のデジタル画像を基に、デジタル画像の改変の有無を検証するための第2の検証データを作成する作成手段と、
前記取得手段によって取得された第1の検証データと、前記作成手段によって作成された第2の検証データとを比較する比較手段と、
前記比較手段による比較結果を利用して、前記第1のデジタル画像に検証データが付加されているか否か、および、前記第1のデジタル画像が改変されているか否かを示す情報である検証データ情報を生成する生成手段と、
前記生成手段によって生成された前記検証データ情報を、前記画像処理手段によって前記第1のデジタル画像とは別に前記JPEG圧縮処理が施されることにより新たに生成された第2のデジタル画像に付加する付加手段と、
を有することを特徴とする画像処理装置。 Obtaining means for obtaining first verification data for verifying whether or not the digital image is modified with respect to the first digital image not subjected to JPEG compression processing;
Image processing means for applying the JPEG compression process to the first digital image stored in the memory to generate a second digital image;
Creating means for creating second verification data for verifying the presence or absence of alteration of the digital image based on the first digital image to be subjected to the JPEG compression processing by the image processing means;
A comparison unit that compares the first verification data acquired by the acquisition unit with the second verification data generated by the generation unit;
Verification data which is information indicating whether verification data is added to the first digital image and whether the first digital image has been altered by using the comparison result by the comparison means. Generating means for generating information;
The verification data information generated by the generating unit is added to a second digital image newly generated by the JPEG compression processing performed separately from the first digital image by the image processing unit. Additional means ;
An image processing apparatus comprising:
前記生成手段は、前記判別手段によって前記第1の検証データが取得されていないと判別されたとき、前記第1のデジタル画像に検証データが付加されていない旨の検証データ情報を生成することを特徴とする請求項1記載の画像処理装置。 A determination unit for determining whether or not the first verification data has been acquired by the acquisition unit;
The generation unit generates verification data information indicating that no verification data is added to the first digital image when the determination unit determines that the first verification data is not acquired. The image processing apparatus according to claim 1, wherein:
を更に有することを特徴とする請求項1記載の画像処理装置。 A receiving unit that receives a user instruction as to whether or not to generate the verification data information; and when the receiving unit receives a user instruction to generate the verification data information, the creation unit, the comparison unit, and the generation Means, and control means for operating said additional means ;
The image processing apparatus according to claim 1, further comprising:
メモリに格納されていた前記第1のデジタル画像に前記JPEG圧縮処理を施して、第2のデジタル画像を生成する画像処理ステップと、
前記画像処理ステップが前記JPEG圧縮処理を施す対象となる前記第1のデジタル画像を基に、デジタル画像の改変の有無を検証するための第2の検証データを作成する作成ステップと、
前記取得ステップによって取得された第1の検証データと、前記作成ステップによって作成された第2の検証データとを比較する比較ステップと、
前記比較ステップによる比較結果を利用して、前記第1のデジタル画像に検証データが付加されているか否か、および、前記第1のデジタル画像が改変されているか否かを示す情報である検証データ情報を生成する生成ステップと、
前記生成ステップによって生成された前記検証データ情報を、前記画像処理ステップによって前記第1のデジタル画像とは別に前記JPEG圧縮処理が施されることにより新たに生成された第2のデジタル画像に付加する付加ステップと、
を有することを特徴とする画像検証方法。 An acquisition step of acquiring first verification data for verifying whether or not the digital image has been modified with respect to the first digital image that has not been subjected to JPEG compression ;
An image processing step of generating a second digital image by performing the JPEG compression process on the first digital image stored in a memory;
A creation step of creating second verification data for verifying the presence or absence of alteration of the digital image based on the first digital image to be subjected to the JPEG compression process in the image processing step ;
A comparison step of comparing the first verification data acquired by the acquisition step with the second verification data generated by the generation step;
Verification data that is information indicating whether verification data is added to the first digital image and whether the first digital image is altered using the comparison result of the comparison step. A generation step for generating information;
The verification data information generated by the generation step is added to the second digital image newly generated by performing the JPEG compression process separately from the first digital image by the image processing step. Additional steps ;
An image verification method characterized by comprising:
前記生成ステップは、前記判別ステップによって前記第1の検証データが取得されていないと判別されたとき、前記第1のデジタル画像に検証データが付加されていない旨の検証データ情報を生成することを特徴とする請求項10記載の画像検証方法。 A determination step of determining whether or not the first verification data has been acquired by the acquisition step;
The generating step generates verification data information indicating that no verification data is added to the first digital image when the determination step determines that the first verification data is not acquired. image verifying method according to claim 1 0, wherein.
前記受付ステップによって前記検証データ情報を生成する旨のユーザ指示が受け付けられたとき、前記作成ステップ、前記比較ステップ、前記生成ステップ、および前記付加ステップを実行させる制御ステップと、
を更に有することを特徴とする請求項10記載の画像検証方法。 An accepting step of accepting a user instruction as to whether to generate the verification data information;
A control step for executing the creation step, the comparison step, the generation step, and the addition step when a user instruction to generate the verification data information is received by the reception step ;
Image verification method according to claim 1 0, wherein further comprising a.
メモリに格納されていた前記第1のデジタル画像に前記JPEG圧縮処理を施して、第2のデジタル画像を生成する画像処理ステップと、
前記画像処理ステップが前記JPEG圧縮処理を施す対象となる前記第1のデジタル画像を基に、デジタル画像の改変の有無を検証するための第2の検証データを作成する作成ステップと、
前記取得ステップによって取得された第1の検証データと、前記作成ステップによって作成された第2の検証データとを比較する比較ステップと、
前記比較ステップによる比較結果を利用して、前記第1のデジタル画像に検証データが付加されているか否か、および、前記第1のデジタル画像が改変されているか否かを示す情報である検証データ情報を生成する生成ステップと、
前記生成ステップによって生成された前記検証データ情報を、前記画像処理ステップによって前記第1のデジタル画像とは別に前記JPEG圧縮処理が施されることにより新たに生成された第2のデジタル画像に付加する付加ステップと、
を有することを特徴とする、コンピュータに実行させるためのプログラム。 An acquisition step of acquiring first verification data for verifying whether or not the digital image has been modified with respect to the first digital image that has not been subjected to JPEG compression ;
An image processing step of generating a second digital image by performing the JPEG compression process on the first digital image stored in a memory;
A creation step of creating second verification data for verifying the presence or absence of alteration of the digital image based on the first digital image to be subjected to the JPEG compression process in the image processing step ;
A comparison step of comparing the first verification data acquired by the acquisition step with the second verification data generated by the generation step;
Verification data that is information indicating whether verification data is added to the first digital image and whether the first digital image is altered using the comparison result of the comparison step. A generation step for generating information;
The verification data information generated by the generation step is added to the second digital image newly generated by performing the JPEG compression process separately from the first digital image by the image processing step. Additional steps ;
A program for causing a computer to execute the program.
メモリに格納されていた前記第1のデジタル画像に前記JPEG圧縮処理を施して、第2のデジタル画像を生成する画像処理ステップと、
前記画像処理ステップが前記JPEG圧縮処理を施す対象となる前記第1のデジタル画像を基に、デジタル画像の改変の有無を検証するための第2の検証データを作成する作成ステップと、
前記取得ステップによって取得された第1の検証データと、前記作成ステップによって作成された第2の検証データとを比較する比較ステップと、
前記比較ステップによる比較結果を利用して、前記第1のデジタル画像に検証データが付加されているか否か、および、前記第1のデジタル画像が改変されているか否かを示す情報である検証データ情報を生成する生成ステップと、
前記生成ステップによって生成された前記検証データ情報を、前記画像処理ステップによって前記第1のデジタル画像とは別に前記JPEG圧縮処理が施されることにより新たに生成された第2のデジタル画像に付加する付加ステップと、
をプログラムとして記憶したことを特徴する、コンピュータにより読み出し可能な記憶媒体。 An acquisition step of acquiring first verification data for verifying whether or not the digital image has been modified with respect to the first digital image that has not been subjected to JPEG compression;
An image processing step of generating a second digital image by performing the JPEG compression process on the first digital image stored in a memory;
A creation step of creating second verification data for verifying the presence or absence of alteration of the digital image based on the first digital image to be subjected to the JPEG compression process in the image processing step ;
A comparison step of comparing the first verification data acquired by the acquisition step with the second verification data generated by the generation step;
Verification data that is information indicating whether verification data is added to the first digital image and whether the first digital image is altered using the comparison result of the comparison step. A generation step for generating information;
The verification data information generated by the generation step is added to the second digital image newly generated by performing the JPEG compression process separately from the first digital image by the image processing step. Additional steps ;
A computer-readable storage medium characterized by storing the program as a program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003356455A JP4143516B2 (en) | 2003-10-16 | 2003-10-16 | Image processing apparatus, image verification method, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003356455A JP4143516B2 (en) | 2003-10-16 | 2003-10-16 | Image processing apparatus, image verification method, program, and storage medium |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005123876A JP2005123876A (en) | 2005-05-12 |
JP2005123876A5 JP2005123876A5 (en) | 2006-11-16 |
JP4143516B2 true JP4143516B2 (en) | 2008-09-03 |
Family
ID=34613698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003356455A Expired - Fee Related JP4143516B2 (en) | 2003-10-16 | 2003-10-16 | Image processing apparatus, image verification method, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4143516B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007104565A (en) * | 2005-10-07 | 2007-04-19 | Seiko Epson Corp | Image processing apparatus |
WO2007129713A1 (en) | 2006-05-10 | 2007-11-15 | Denki Kagaku Kogyo Kabushiki Kaisha | Sialon phosphor, process for producing the same, and illuminator and luminescent element employing the same |
CA2992458A1 (en) * | 2015-07-14 | 2017-01-19 | Fmr Llc | Computationally efficient transfer processing, auditing, and search apparatuses, methods and systems |
-
2003
- 2003-10-16 JP JP2003356455A patent/JP4143516B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005123876A (en) | 2005-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3997085B2 (en) | Image generation device | |
US7930548B2 (en) | Image verification system, image verification apparatus, and image verification method | |
US7162637B2 (en) | Image verification system | |
JP2000152148A (en) | Electronic camera | |
JPH11308564A (en) | Digital evidence camera system, decoding key acquisition registration system and digital image edit system | |
US20030204736A1 (en) | Apparatus for authenticated recording and method therefor | |
JP4143516B2 (en) | Image processing apparatus, image verification method, program, and storage medium | |
JP3748169B2 (en) | Image processing method and apparatus, and computer-readable recording medium storing a program for causing a computer to execute the image processing method | |
US8451509B2 (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
JP4328610B2 (en) | Imaging device | |
JP2001309159A (en) | Recorder | |
JP3164215B2 (en) | Digital camera and image tampering detection system | |
JP4338190B2 (en) | Image processing apparatus, method, program, and recording medium | |
JP2007080071A (en) | System having alteration detecting function | |
JP3521723B2 (en) | Digital camera and image authentication system using the same | |
JP2007013882A (en) | Storage medium, and apparatus and method for digital data processing | |
JP3246660B2 (en) | Digital camera and image tampering detection system | |
JP2007180873A (en) | Image file generation device, image file generation method, output device, program, and storage medium | |
JP3431130B2 (en) | Digital camera function addition method and recording medium | |
JP2003333519A (en) | Imaging apparatus and image data delivery method | |
JP4112384B2 (en) | Imaging device | |
JP2002287628A (en) | Electronic signature method and apparatus | |
JP2003069942A (en) | Method and device for recording image-attached information and imaging apparatus | |
JP2024076326A (en) | Management system, content generation device, content management method, content generation device control method, and program | |
JP2001078070A (en) | Digital camera and picture alteration detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060417 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060929 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060929 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071211 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080208 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080311 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080616 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4143516 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |