JP5408113B2 - Electronic image data verification program, electronic image data verification method, and electronic image data verification apparatus - Google Patents
Electronic image data verification program, electronic image data verification method, and electronic image data verification apparatus Download PDFInfo
- Publication number
- JP5408113B2 JP5408113B2 JP2010261194A JP2010261194A JP5408113B2 JP 5408113 B2 JP5408113 B2 JP 5408113B2 JP 2010261194 A JP2010261194 A JP 2010261194A JP 2010261194 A JP2010261194 A JP 2010261194A JP 5408113 B2 JP5408113 B2 JP 5408113B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- electronic image
- partial signature
- image information
- electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Storage Device Security (AREA)
Description
本発明は、電子画像フォーマットして汎用的に使われているJPEG（Joint Photographic Experts Group）やGIF（Graphics Interchange Format）、Bitmap（Microsoft Windows Bitmap）等の画像情報に対して、変更有無を検出し、また変更箇所（変更位置）を特定し、これらを第三者に証明可能とするための電子画像データ検証プログラム、電子画像データ検証方法及び電子画像データ検証装置に関するものである。 The present invention detects the presence or absence of changes in image information such as JPEG (Joint Photographic Experts Group), GIF (Graphics Interchange Format), and Bitmap (Microsoft Windows Bitmap), which are widely used as electronic image formats. In addition, the present invention relates to an electronic image data verification program, an electronic image data verification method, and an electronic image data verification device for specifying a changed portion (change position) and enabling these to be proved to a third party.
近年のＩＴの進展に伴い、行政文書や民間企業の帳簿、契約書等の形態は、従来の紙文書での運用、保管から電子（ディジタル）文書へと徐々に移行されつつある。具体的には、スキャナ装置の普及に伴い、従来紙で保存されていた文書を容易に電子データ化することが可能となった。更に、高解像度を内蔵するスキャナ装置の実用化に伴い、一定のセキュリティ要件を満足すれば従来認められなかった紙文書の電子保存が容認されるようになった（e-文書法:2005年4月施行に伴う）。また、従来の銀塩写真等に変わって撮影された情報をディジタル化し、電子データとして記録媒体等に記録するディジタルカメラといった映像入力装置も実用化されている。 With the development of IT in recent years, forms such as administrative documents, private company books, contracts, etc. are gradually shifting from operation and storage of conventional paper documents to electronic (digital) documents. Specifically, with the widespread use of scanner devices, it has become possible to easily convert documents previously stored on paper into electronic data. Furthermore, along with the practical application of high resolution built-in scanner devices, electronic storage of paper documents, which was previously not permitted, is now permitted if certain security requirements are satisfied (e-document law: 2005/4) With the month enforcement). Also, a video input device such as a digital camera that digitizes information photographed in place of a conventional silver salt photograph and records it on a recording medium or the like as electronic data has been put into practical use.
一方でこのような文書や画像等の電子保存要求の増加とともに、電子データを安全に保管、管理する技術の必要性が高まっている。従来、紙として保存されていた文書を、紙と同等の証拠能力を維持した状態で電子的に保存するためには、「改ざん検出・防止」、「作成者の識別」、「アクセス管理・制御」、「履歴管理」等の技術要件を満たす必要があると言われている。このような要件を満たすためには、従来の文書管理システムでは機能不足であり、最近では、このような技術要件を満足する「原本性保証システム」の開発、市場投入が急速に進んでいる。 On the other hand, with an increase in demand for electronic storage of such documents and images, there is an increasing need for technology for safely storing and managing electronic data. In order to electronically store documents that were previously stored as paper while maintaining the same level of evidence as paper, “tamper detection / prevention”, “author identification”, “access management / control” It is said that it is necessary to satisfy technical requirements such as “history management”. In order to satisfy such requirements, functions of conventional document management systems are insufficient, and recently, “originality assurance systems” that satisfy such technical requirements have been rapidly developed and put on the market.
この「原本性保証システム」において、最も一般的に用いられているセキュリティ要素技術が電子署名である。電子署名は、文書の作成者を特定できる（本人性）のと同時に、その文書が作成時点から変更がないこと（非改ざん性）を第三者に証明・確認できる技術である。関連する従来技術３件について以下に列挙する（例えば特許文献１〜３参照）。 In this “originality assurance system”, the most commonly used security element technology is an electronic signature. Electronic signature is a technology that can identify the creator of a document (identity) and at the same time prove or confirm to a third party that the document has not changed from the time of creation (non-tampering). Three related prior arts are listed below (see, for example, Patent Documents 1 to 3).
下記特許文献１、２は、電子文書原本保管技術として、電子文書の原本性を確保する技術を示している。
非特許文献３は、電子文書墨塗り技術として、電子文書の墨塗り問題を解決する技術を示している。 Non-Patent Document 3 shows a technique for solving the problem of sanitizing electronic documents as an electronic document sanitizing technique.
なお、上記文献の他にも、SCIS2004論文「開示条件を制御可能な電子文書墨塗り技術」では、開示部分に対する追加的な墨塗りの可否を制御可能とする電子文書墨塗り技術についても提案されている。更に、本技術の画像ファイルへの適用考察として、SCIS2005論文「電子文書墨塗り技術の画像ファイルへの適用に関する一考察」が提案されている。 In addition to the above documents, the SCIS 2004 paper “Electronic document sanitization technology with controllable disclosure conditions” also proposed an electronic document sanitization technology that makes it possible to control whether or not additional sanitization is possible for the disclosed part. ing. Furthermore, as a consideration of application of the present technology to image files, a SCIS2005 paper “A Study on Application of Electronic Document Sanitization Technology to Image Files” has been proposed.
また、電子透かし技術として、一定の規則性を満たす電子透かしを電子データ自体に埋め込み、一定の規則性が満たされているかを検証することで、電子データの改ざんの有無や改ざん位置を検出できる技術も知られている。 In addition, as a digital watermark technology, a technology that can detect the presence / absence or alteration position of electronic data by embedding a digital watermark satisfying a certain regularity in the electronic data itself and verifying whether the regularity is satisfied Is also known.
特許文献１、２に示すような原本性保証の考え方では、確定された最終形態の文書を原本として安全に管理する、いわゆる、紙文書を鍵付きロッカー等に保管するのと同様、原本の所在が明確である文書を対象としている。このような環境においては、電子署名は本人性や非改ざん性を保証するのに非常に有効な技術となる。しかしながら、申請書や稟議書のように、文書自身に直接、追加や訂正、秘匿等の部分操作、加工がなされ、転々流通する文書の原本性保証を考えた場合、一般的な電子署名方式では、その性質上、一切の加工が許されないため、逆に障害となる。つまり、従来技術、製品では、以上のような点が考慮されておらず、電子署名を使って電子データを完全なまま保存するための技術が中心であった。
In the concept of originality assurance as shown in
以下に上記文献に示される技術の問題点について述べる。 The technical problems described in the above documents will be described below.
特許文献１，２に示される電子文書原本保管技術では、電子データを保存する際に紙の原本が有する性質を電子情報に持たせる技術を提供すると共に、電子データが改ざんされないように保護する技術を提供している。つまり、これらの発明は、確定された最終形態の電子文書を原本として保管、管理する機構、いわゆる原本の所在が明確であり、一組織内に蓄えられる原本をいかに安全に保管するかという点に注目している。このような原本保管環境においては、電子文書に対して訂正が発生した場合、一部でも訂正を行った場合は“改ざん”と認識されてしまう。
The electronic document original storage technology disclosed in
例えば、“紙の契約文書への訂正”を考えた場合、訂正の際は、「訂正箇所の文字を二重線で消し、すぐ上の余白に訂正文字を記入し、訂正者印を押印する」といった処理が行われているが、訂正を加えても契約文書の原本には相違ない。紙文化におけるこのような行為は、正当な手続きを踏んで訂正を行っていると公的に判断され、第三者的に証明を行うことができるものとなっている。これに対して電子文書の場合、証拠性という観点から従来の原本保管技術を適用すると、訂正部分は改ざんされたものなのか、正当な手続きを経て訂正されたものなのか識別できないという問題が生じる。これは、電子データに対するいかなる改変も検知できるように設計されている現状の電子署名の特徴からも言えることである。 For example, when considering “Correction to paper contract document”, when correcting, “Erase the characters in the correction area with a double line, enter the correction characters in the margin immediately above, and stamp the corrector. However, even if corrections are made, there is no difference in the original contract document. Such acts in the paper culture are officially judged to be corrected through proper procedures and can be proved by a third party. On the other hand, in the case of electronic documents, if conventional original storage technology is applied from the viewpoint of evidence, there is a problem that it cannot be identified whether the corrected part has been tampered with or corrected through a legitimate procedure. . This is also true from the characteristics of current electronic signatures designed to detect any alteration to electronic data.
非特許文献３に示す電子文書墨塗り技術では、ある文書に対して施された署名が、文書の一部を秘匿することによって検証できなくなる問題を解決する電子文書の墨塗り技術が提案されている。本論文の電子文書墨塗り技術を適用することにより、署名付き電子文書に対して墨塗りを施した状態でも署名検証が可能、かつ、墨塗り箇所以外は改変がないことを第三者証明することが可能となり、「一部の内容を隠した（墨塗りを施した）状態での第三証明」が可能になる。しかしながら、本論文の電子文書墨塗り技術では、オリジナル文書の作成者を保証しており、誰が墨塗りを行ったかまで明確に識別することができない。更に、利用シーンとして情報公開制度における電子文書墨塗り問題を取り挙げており、一部墨塗りした文書を複数のエンティティ間で流通させ、当該文書を更に利用することまで考慮されていない。 In the electronic document sanitization technique shown in Non-Patent Document 3, there has been proposed an electronic document sanitization technique that solves a problem that a signature given to a document cannot be verified by concealing a part of the document. Yes. By applying the electronic document sanitization technology in this paper, a third party proves that the signature can be verified even if the signed electronic document is sanitized, and that there is no modification other than the sanitized area. It becomes possible to “third proof with some contents hidden (inked)”. However, the electronic document sanitization technique of this paper guarantees the creator of the original document and cannot clearly identify who has sanitized. Further, the electronic document sanitization problem in the information disclosure system is taken up as a usage scene, and it is not considered to distribute a partially sanitized document among a plurality of entities and further use the document.
なお、他の技術として、電子透かし技術では、一定の規則性を満たす電子透かしを電子データ自体に埋め込み、一定の規則性が満たされているか否かを検証することで、電子データの改ざんの有無や改ざん位置を検出できる技術を提供しているが、画像情報の改ざんの有無や改ざん位置を検出するのみで、第三者に証明することまで考慮されていない。 As another technology, digital watermark technology embeds a digital watermark that satisfies a certain regularity in the electronic data itself, and verifies whether or not the regularity is satisfied. Although the technology that can detect the falsification position is provided, the presence / absence of falsification of the image information and the falsification position are only detected, and it is not considered to prove to a third party.
一方でスキャナ装置を使ってスキャニング処理された画像情報や、ディジタルカメラやパーソナルコンピュータ等で生成された画像情報においても上述した電子文書と同様のことが言える。画像情報に対しても一部加工処理を施し、第三者へ提示する場合がある。例えば、情報公開法に基づき個人情報（名前や住所等）を墨塗り等で秘匿して（保護して）提示する場合や、電子カルテ（画像情報）等を複数病院間、医局間で共有する際、各病院、医師等にて電子化されたカルテ上で追記を行う場合がある。この際、「誰が、どの箇所に対して、どんな内容を記載したか」等について墨塗りや追記操作に対する責任範囲を明確にすることが求められる。加えて、これらの追加操作について第三者に証明することが求められる。 On the other hand, the same can be said for image information scanned using a scanner device and image information generated by a digital camera, personal computer, or the like. The image information may be partially processed and presented to a third party. For example, based on the Information Disclosure Act, personal information (name, address, etc.) is presented with confidentiality (protected), etc., or electronic medical records (image information) are shared between multiple hospitals and medical offices In some cases, each hospital, doctor, etc. may add information on an electronic medical record. At this time, it is required to clarify the scope of responsibility for sanitization and additional writing operations, such as “who wrote what for what part”. In addition, it is required to prove these additional operations to a third party.
既述のように、2005年4月に施行されたe-文書法によって、従来の紙帳票等をスキャニング処理により一定のセキュリティ要件を満足しつつ電子署名付電子化データとして保存することが容認されたが、上記で示したような従来技術では、画像情報を含む全ての電子データに対して、「e-文書法＋情報公開法＋個人情報保護法」の3要件を同時に解決することができない。これは、例えば、e-文書法要件によって作成された電子署名付電子化データを情報公開法に基づき個人情報（名前や住所等）を秘匿（墨塗り等）して保護・提示する場合、秘匿箇所以外の原本性・完全性を担保できないことを意味する。 As mentioned above, the e-document law enforced in April 2005 allowed the storage of electronic paper with electronic signatures while satisfying certain security requirements by scanning processing. However, with the prior art as described above, the three requirements of “e-document law + information disclosure law + personal information protection law” cannot be solved simultaneously for all electronic data including image information. . For example, when electronic data with an electronic signature created in accordance with e-document law requirements is protected / presented with personal information (name, address, etc.) concealed (inked) etc. based on the Information Disclosure Act This means that the originality / completeness other than the location cannot be guaranteed.
具体的には、墨塗り処理を施すのと同時に、墨塗り者、もしくは、悪意のある第三者が変更してはならない箇所に対して改ざん行為を行ったことを、個人情報（名前や住所等）を保護しつつ、改ざん行為の検出や改ざん位置の特定を行うことによって証明することができなかった。同時に、それらの部分についての操作事実を第三者に証明することができなかった。 Specifically, at the same time that the sanitization process is performed, personal information (name or address) indicates that the sanitizer or a malicious third party has performed a tampering act on the parts that must not be changed. Etc.), and it was not possible to prove by detecting tampering activities and identifying tampering positions. At the same time, the operating facts about those parts could not be proved to a third party.
つまり、従来技術の単独、もしくは、従来技術による組み合わせでは、以下の（Ａ）〜（Ｅ）の要件を満足することができなかった。
（Ａ）変更箇所とそれ以外の箇所が区別可能で、変更箇所以外は改変されていないことが証明可能である。
（Ｂ）変更者（墨塗り者や訂正者等）を特定・証明可能である。
（Ｃ）一部を秘匿しても、秘匿した箇所以外の部分が改変されていないことが証明可能である。
（Ｄ）一部を秘匿しても、秘匿していない部分の作成者が証明可能である。
（Ｅ）原本（第１版）からの履歴過程（いつ、誰が、どの箇所を、どのように）を証明可能である。
That is, the following requirements (A) to (E) could not be satisfied by the prior art alone or the combination of the prior art.
(A) It is possible to distinguish the changed part and the other part, and it can be proved that the part other than the changed part is not altered.
(B) It is possible to identify and prove a changer (such as a sanitizer or a corrector).
(C) Even if a part is concealed, it can be proved that parts other than the concealed part are not altered.
(D) Even if a part is concealed, the creator of the part that is not concealed can be proved.
(E) The history process (when, who, which part, how) from the original (first edition) can be proved.
次に、電子画像情報に対するデータ圧縮方式のひとつであるJPEGに着目し、圧縮画像情報特有の課題について説明する。JPEG画像情報は不可逆方式の圧縮画像形式で、24ビット（1670万色）まで扱うことが可能である。このため多くの色数を必要とする写真等の表現に向いていると言われている。JPEG画像情報の圧縮では、明るさの変化に比べ、色調の変化には比較的鈍感であるという人間の目の特質を利用して、色調変化の部分のデータを切り捨てることで情報量の低下を図っている。また、JPEG画像情報は、原画像情報を同じ大きさの画素単位（例: 8×8画素）に区分して、これを一纏まりとしたブロックの集まりで構成されている。このようなブロック単位保持の特性から部分訂正や変更等の特定を行うには好都合のフォーマット構造であることが容易に推測できる。 Next, focusing on JPEG, which is one of data compression methods for electronic image information, problems specific to compressed image information will be described. JPEG image information is an irreversible compressed image format and can handle up to 24 bits (16.7 million colors). For this reason, it is said to be suitable for the expression of photographs and the like that require a large number of colors. JPEG image information compression reduces the amount of information by truncating the color change data by using the characteristic of the human eye that the color change is relatively insensitive to the change in brightness. I am trying. The JPEG image information is composed of a group of blocks in which the original image information is divided into pixel units of the same size (for example, 8 × 8 pixels) and these are grouped together. From such characteristics of block unit holding, it can be easily estimated that the format structure is convenient for specifying partial correction or change.
しかしながら、ブロック区分をしてから符号化する過程において圧縮変換対象となるブロックは他のブロックからの影響を受け、あるブロックの変更が他のブロックまで波及するため、意図した結果が得られない状況に陥る。この問題は、「2005年 暗号と情報セキュリティシンポジウム（SCIS2005）」の論文「電子文書墨塗り技術の画像ファイルへの適用に関する一考察」でも指摘されている。本論文では特にJPEG圧縮画像フォーマットへの墨塗りを対象としており、当該ブロック単位で電子文書墨塗り技術（SUMI-4）を適用可能と示している。しかしながら、SUMI-4では、墨塗りブロックに対してハッシュ情報を埋め込むことで実現していることから、データ内容を解析しても、その箇所が画像情報なのか、ハッシュ情報なのか区別できないため、画像フォーマットには適さないという課題が残る。これは、画像情報、および、ハッシュ情報ともにバイナリ情報であることから発生する問題である。よって、SUMI-4をJPEG画像ファイルに適用することは困難であることが推測できる。 However, in the process of coding after block classification, the block subject to compression conversion is affected by other blocks, and the change of a certain block affects other blocks, so the intended result cannot be obtained. Fall into. This problem is also pointed out in the paper “A Study on the Application of Electronic Document Sanitization Technology to Image Files” in the 2005 Symposium on Cryptography and Information Security (SCIS2005). In this paper, it is especially targeted for sanitization of JPEG compressed image format, and it is shown that the electronic document sanitization technology (SUMI-4) can be applied for each block. However, in SUMI-4, since it is realized by embedding hash information in the sanitized block, even if the data content is analyzed, it cannot be distinguished whether the location is image information or hash information. The problem remains that it is not suitable for image formats. This is a problem that occurs because both image information and hash information are binary information. Therefore, it can be estimated that it is difficult to apply SUMI-4 to JPEG image files.
本発明は、上述した問題点を解決するためになされたものであり、登録される電子画像情報とは別に部分署名情報を生成して分割・保持し、電子画像情報（原本情報）と部分署名情報（検証情報）の持つ機能・役割を明確に分離することで、変更有無を検出、かつ、変更箇所（変更位置）を特定し、これらを第三者に証明可能とすることを目的とする。 The present invention has been made in order to solve the above-described problems, and generates and divides and holds partial signature information separately from electronic image information to be registered, and the electronic image information (original information) and the partial signature. By clearly separating the functions and roles of the information (verification information), the purpose is to detect the presence or absence of changes, identify the changed parts (change positions), and prove them to a third party .
電子画像データ検証プログラムは、電子画像情報の検証をコンピュータに実行させる電子画像データ検証プログラムであって、電子画像情報を複数のブロックに分割し、前記電子画像情報を、不可逆圧縮となる他の電子画像フォーマットに変換して変換電子画像情報を生成する電子画像フォーマット変換ステップと、前記電子画像フォーマット変換ステップのフォーマット変換の中間過程で得られる、不可逆圧縮による影響を受けず、且つ、前記複数のブロックの画像情報それぞれが他のブロックの画像情報からの影響を受けることが無い前記複数のブロックの中間情報に対して、ハッシュ関数を用いて前記電子画像情報のブロック毎の部分的な署名情報となる部分署名情報を生成する部分署名情報生成ステップと、前記電子画像フォーマット変換ステップで変換された変換電子画像情報と、前記部分署名情報生成ステップで生成された前記部分署名情報とを登録する登録ステップと、前記登録ステップにより登録された変換電子画像情報に対して復号処理を行い、前記復号処理の中間過程で得られ、且つ、前記部分署名情報を生成した中間情報の生成時点と対応する復号処理時点の中間情報に対して、ハッシュ関数を用いて前記登録された変換電子画像情報のブロック毎の部分署名情報を生成し、前記登録ステップで登録された前記変換電子画像情報に対応する部分署名情報を用いて、前記電子画像情報に対する変更の有無、又は前記電子画像情報に対する変更があった場合にその変更箇所についての検証を行う検証ステップとをコンピュータに実行させる。 The electronic image data verification program is an electronic image data verification program that causes a computer to perform verification of electronic image information, divides the electronic image information into a plurality of blocks, and converts the electronic image information into other electronic data that is irreversibly compressed. An electronic image format conversion step for converting to an image format to generate converted electronic image information, and an intermediate process between the format conversion of the electronic image format conversion step and not affected by irreversible compression, and the plurality of blocks Each piece of image information becomes partial signature information for each block of the electronic image information using a hash function with respect to intermediate information of the plurality of blocks that is not affected by image information of other blocks. A partial signature information generation step for generating partial signature information; and the electronic image format. A registration step for registering the converted electronic image information converted in the conversion step and the partial signature information generated in the partial signature information generation step; and a decoding process for the converted electronic image information registered in the registration step The intermediate conversion information obtained at the intermediate process of the decryption process and the intermediate information at the time of the decryption process corresponding to the generation time of the intermediate information that generated the partial signature information using the hash function Whether or not the electronic image information has been changed using the partial signature information corresponding to the converted electronic image information registered in the registration step, or the electronic image information When there is a change to the above, the computer is caused to execute a verification step for verifying the changed portion.
本発明によれば、登録される電子画像情報に関する変更有無を検出することができると共に、変更箇所（変更位置）を特定することができ、これらを第三者に証明することができるという効果を奏する。 According to the present invention, it is possible to detect whether or not there is a change in electronic image information to be registered, and to specify a changed portion (change position), and to prove these to a third party. Play.
図１は、本発明の電子画像データ検証システムの原理図である。図１の電子画像データ検証システムは、解析部１、登録部２、生成部３、および検証部４を備える。
FIG. 1 is a principle diagram of an electronic image data verification system according to the present invention. The electronic image data verification system of FIG. 1 includes an analysis unit 1, a
解析部１は、入力電子画像情報を解析処理し、部分署名情報の生成制御と検証制御を行い、電子画像情報を原本情報として登録した上で処理結果を出力する機能を提供する。解析部１は、入力電子画像情報と入力処理要求を取得する中枢手段であり、入力電子画像情報の状態（原画像情報／圧縮画像情報）と入力処理要求（符号化処理／復号処理／原画像処理／検証処理）を判別し、各処理要求に応じて符号化処理／復号処理／原画像処理、並びに検証処理を行う機能を提供する。 The analysis unit 1 analyzes input electronic image information, performs generation control and verification control of partial signature information, and provides a function of outputting processing results after registering electronic image information as original information. The analysis unit 1 is a central means for acquiring the input electronic image information and the input processing request, and the state of the input electronic image information (original image information / compressed image information) and the input processing request (encoding process / decoding process / original image). And a function of performing encoding processing / decoding processing / original image processing and verification processing according to each processing request.
また、符号化処理と復号処理においては、対象となるブロックが他のブロックからの影響を受けることのないよう中間情報を用いて、部分署名情報の生成、付与を行うことで、変更箇所（変更位置）を明確に特定可能とする。 In addition, in the encoding process and the decoding process, the part to be changed (changed) is generated by generating and assigning partial signature information using intermediate information so that the target block is not affected by other blocks. Position) can be clearly identified.
登録部２は、解析部１から入力として与えられる画像情報と部分署名情報を関連付けた形で原本情報として登録する機能を提供する。この画像情報と部分署名情報は、それぞれ作成者の電子署名とタイムスタンプが付与され、登録後、故意・過失による改ざんがなされないよう保護した形で管理される。電子署名とタイムスタンプを付与することで、作成者によって作られたその情報は作成時点から改変されていないことを事後証明することが可能となる。
The
また、この画像情報と部分署名情報は事後、裁判沙汰等になった場合、第三者証明が必要な時に証拠として提出することになる。この際、登録部２から必要な情報が取り出される。登録部２に登録されている画像情報の更新を行う際は、前回登録された画像情報（旧版）を残して新版として作成／登録し、当版数に対する部分署名情報の生成、関連付けが行われる。よって、登録部２にはすべての版数の画像情報と部分署名情報のペアが登録され、管理されることになる。
Also, if this image information and partial signature information is later brought into court, etc., it will be submitted as evidence when third-party certification is required. At this time, necessary information is extracted from the
このような機能を有する登録部２を用いれば、必要に応じて適切な版数の状態の証明を第三者に行うことが可能になる。
If the
生成部３は、画像情報を任意固定画素単位に区分されたブロック情報を入力情報として各ブロック単位の部分署名情報を生成する機能を提供する。生成部３が生成する部分署名情報は、画像情報に対する変更有無を検出、かつ、変更箇所（変更位置）を特定し、これらを第三者に証明可能とするために必要となる情報であり、どのブロック情報に対する部分署名情報かが明確に管理される。後に該当する画像情報と共に登録部２に登録され、関連付けられて管理される。
The generation unit 3 provides a function of generating partial signature information for each block by using, as input information, block information obtained by dividing image information into arbitrary fixed pixel units. The partial signature information generated by the generation unit 3 is information necessary for detecting whether or not there is a change to the image information, specifying the change portion (change position), and enabling these to be proved to a third party. The partial signature information for which block information is clearly managed. Later, it is registered in the
検証部４は、各版数の部分署名情報から、変更有無を検出、かつ変更箇所（変更位置）を特定・出力する機能を提供する。
The
このような電子画像データ検証システムによれば、従来技術の単独、もしくは、従来技術の組み合わせの発明と比べても、より明確に、より簡単に画像情報の変更有無を検出、かつ、変更箇所（変更位置）を特定し、これらを第三者に証明することが可能となる。 According to such an electronic image data verification system, the presence / absence of changes in image information can be detected more clearly and more easily and compared with the invention of the prior art alone or in combination with the prior art. It becomes possible to identify the change position) and prove them to a third party.
電子画像データ検証システムの構成の一例を図２に示す。図２に示す電子画像データ検証システム１０は、要求解析部２０、画像解析処理部３０、部分署名情報生成部４０、部分署名情報検証部５０、証明情報生成部６０、画像登録部７０、および、格納部８０を備える。
An example of the configuration of the electronic image data verification system is shown in FIG. The electronic image
要求解析部２０は、利用者９０からの入力情報の受信、並びに利用者９０への出力情報の送信を行うと共に、データ処理のための種々の指令を司る中枢機能を有する。利用者９０からの処理依頼を受け付け、各処理に応じて画像解析処理部３０、部分署名情報検証部５０への処理割り振りを行い、結果を返す。
The
画像解析処理部３０は、要求解析部２０から入力電子画像情報（原画像情報／圧縮画像情報）と入力処理要求（符号化処理／復号処理／原画像処理／検証処理）を受け付け、各要求に応じた処理を実行する手段を提供する。画像解析処理部３０は、符号化処理部３１と、復号処理部３２と、原画像処理部３３の３つのサブ要素から構成される。
The image
符号化処理部３１は、入力電子画像情報が原画像情報であり、かつ符号化処理要求である場合に呼び出される処理部であり、原画像情報の圧縮変換途中のブロック情報を入力として部分署名情報生成部４０を呼び出し、生成された部分署名情報を取得する。
The encoding processing unit 31 is a processing unit that is called when the input electronic image information is original image information and is an encoding processing request, and receives partial block information with block information in the middle of compression conversion of the original image information as an input. The
取得した部分署名情報と変換済み圧縮画像情報は、証明情報生成部６０により電子署名とタイムスタンプが取得されて付与される。
The acquired partial signature information and the converted compressed image information are provided with an electronic signature and a time stamp acquired by the certification
これらの処理が完了後、部分署名情報及び変換済み圧縮画像情報は、画像登録部７０を経由して、格納部８０に一体化した形で管理される。また、格納の際、符号化途中のどの過程において部分署名情報を生成したかについての情報も一緒に管理される。後に出力として登録完了を示す保管証と処理結果が返される。この保管証は次回以降、当画像情報の更新（変更、墨塗り等）を行う際に一緒に渡される情報となり、格納部８０で管理されている画像情報の検索に利用される。
After these processes are completed, the partial signature information and the converted compressed image information are managed in an integrated form in the
復号処理部３２は、入力電子画像情報が圧縮画像情報であり、かつ入力処理要求が復号処理要求である場合に呼び出される処理部であり、圧縮画像情報の逆変換途中にブロック情報を入力として部分署名情報生成部４０を呼び出し、部分署名情報を取得する。取得した部分署名情報と入力された圧縮画像情報は、証明情報生成部６０により電子署名とタイムスタンプが取得されて付与される。
The
これらの処理が完了後、部分署名情報と圧縮画像情報は、画像登録部７０を経由して、格納部８０に一体化した形で管理される。また、格納の際、復号途中のどの過程において部分署名情報を生成したかの情報も一緒に管理される。後に出力として登録完了を示す保管証と処理結果が返される。この保管証は次回以降、当画像情報の更新（変更、墨塗り等）を行う際に一緒に渡される情報となり、格納部８０で管理されている画像情報の検索に利用される。
After these processes are completed, the partial signature information and the compressed image information are managed in an integrated form in the
原画像処理部３３は、入力電子画像情報が原画像情報であり、かつ入力処理要求が原画像処理要求である場合に呼び出される処理部である。現画像処理部３３は、部分署名情報生成部４０を呼び出し、原画像情報のブロック情報を該生成部４０に入力して部分署名情報を生成させ取得する。取得した部分署名情報と入力された原画像情報には、証明情報生成部６０から電子署名とタイムスタンプが取得されて付与される。
The original
これらの処理が完了後、これら原画像情報画像及び部分署名情報は、画像登録部７０を経由して、格納部８０に一体化した形で管理される。また、格納の際、原画像情報から直接、部分署名情報を生成した旨（非圧縮処理）の情報も一緒に管理される。後に出力として登録完了を示す保管証と処理結果が返される。この保管証は次回以降、当画像情報の更新（変更、墨塗り等）を行う際に一緒に渡される情報となり、格納部８０で管理されている画像情報の検索に利用される。
After these processes are completed, the original image information image and the partial signature information are managed in an integrated form in the
部分署名情報生成部４０は、画像解析処理部３０の各処理部より部分署名情報生成依頼を受け付け、画像情報に対する部分署名情報の生成を行う。部分署名情報の生成時には、画像解析処理部３０から与えられたブロック情報を取得し、どのブロックに対する部分署名情報かを示す位置情報も一緒に記録する。同時に、各ブロックに対し乱数を含めた形で部分署名情報を生成する。ここでなぜ乱数を含めて部分署名情報を生成するかについては後述する。
The partial signature
部分署名情報検証部５０は、要求解析部２０より部分署名情報検証依頼を受け付け、画像情報に対する部分署名情報の検証を行う。
The partial signature
証明情報生成部６０は、画像解析処理部３０の各処理部より証明情報生成依頼を受け付け、第三者証明に必要な電子署名、タイムスタンプの情報を生成する。電子署名については、CA（第三者発行機関: Certificate Authority）、タイムスタンプについては、TA（時刻配信局: Time Authority）によりそれぞれ公的機関が発行したものを採用することで、当情報の信憑性、真実性を強化、厳密な第三者証明を行うことを可能とする。
The proof
画像登録部７０は、画像解析処理部３０の各処理部より登録依頼を受け付け、画像情報と部分署名情報を関連付け、格納部８０への登録処理を行う。
The
格納部８０は、画像登録部７０より格納依頼を受け付け、画像情報と部分署名情報を一体化した形で格納処理を行う。
The
以上の構成において、本実施の形態では、部分署名情報生成部４０、画像登録部７０、部分署名情報検証部５０は、それぞれ画像解析処理部３０と協働して本発明の部分署名情報生成部、登録部及び検証部をそれぞれ構成している。また、画像解析処理部３０は、本発明の電子画像フォーマット変換部を構成している。
In the above configuration, in the present embodiment, the partial signature
以上までが本システムにおける各部の構成・役割である。以下より、利用シーンを想定した本システムの適用方法について述べる。本利用シーンでは、本システムが電子画像情報に対するデータ圧縮方式のひとつであるJPEG形式のフォーマットを扱う場面を想定し、説明する。 The above is the configuration and role of each part in this system. In the following, the application method of this system assuming the use scene will be described. This usage scene will be described assuming that the system handles the JPEG format, which is one of the data compression methods for electronic image information.
利用者が本システムを利用する場面として、電子画像を署名付き画像情報として記録・保存する場面が考えられる。また、記録・保存された署名付き電子画像情報は、事後、必要に応じて情報公開法に基づき第三者に提示する場合が考えられる。同時に、個人情報保護法適用の観点から、内容によっては個人情報（名前、住所、電話番号等）を秘匿（墨塗り等）した上で第三者に提示されなければならない。 As a scene where the user uses this system, a scene where an electronic image is recorded / saved as signed image information can be considered. In addition, it is conceivable that the electronic image information with a signature recorded / stored is presented to a third party after the fact based on the information disclosure method as necessary. At the same time, from the viewpoint of applying the Personal Information Protection Law, depending on the contents, personal information (name, address, telephone number, etc.) must be kept confidential (inked) and presented to a third party.
この時、墨塗り箇所とそれ以外の箇所が区別でき、墨塗り箇所以外は改変されていないことの証明、オリジナル画像の作成者、墨塗り画像における墨塗り者の特定等、これら墨塗り操作に対する証拠性、証明性の確保が求められる。よって、利用者は事後、裁判沙汰等になった場合に証拠として提出できるよう記録を残す手段として、また、第三者に対して画像情報に対する証明を行う際に本システムを利用する。 At this time, it is possible to distinguish between the sanitized area and the other areas, such as proof that the area other than the sanitized area has not been modified, the creator of the original image, the identification of the sanitizer in the sanitized image, etc. Ensuring evidence and proof is required. Therefore, the user uses this system as a means of leaving a record so that it can be submitted as evidence in the event of a court case, or when certifying image information to a third party.
本利用シーンの登場人物として、電子画像情報を本システムに登録する「作成担当者」と、作成担当者によって登録・保管された電子画像情報を本システムから取り出し、秘匿箇所に対して墨塗り処理し、再度、本システムに登録する「墨塗り担当者」、本システムに登録・保管されている電子画像情報に対して第三者証明を行うための「検証担当者」の３名が登場する。以上３名は以下のプロセスを行うものとする。 As the characters in this usage scene, the “creator” who registers the electronic image information in this system and the electronic image information registered / stored by the creator in charge are taken out from this system, and the confidential part is painted. Again, there will be three people: the “sanitizer” registered in the system, and the “verifier” for third-party certification for electronic image information registered and stored in the system. . The above three perform the following process.
（作成）
作成担当者は、画像情報を入力として、本システムに登録を行う。この時、入力画像情報としてBMP形式の原画像情報を与え、JPEG形式のフォーマットに符号化処理を行うものとする。その他に作成処理では、JPEG形式の画像情報を与え、復号処理する手段と、BMP形式の画像情報を与え、そのままBMP形式の画像情報を解析する手段が存在するが、これら２つの手段については別途後述する。
(Create)
The person in charge of the registration uses the image information as an input and registers it in this system. At this time, it is assumed that original image information in BMP format is given as input image information, and encoding processing is performed in the JPEG format. In addition, in the creation process, there are means for providing image information in JPEG format and decoding, and means for providing image information in BMP format and analyzing the image information in BMP format as they are. It will be described later.
（墨塗り）
情報公開法に基づき、個人情報の秘匿事由が発生すると、墨塗り担当者は、作成担当者が登録した画像情報中の個人情報箇所を墨塗り処理し、本システムに再度登録を行う。
(Inked)
Based on the Information Disclosure Law, when a reason for confidentiality of personal information occurs, the person in charge of sanitization processes the part of the personal information in the image information registered by the person in charge of creation and registers it again in this system.
（確認）
作成担当者／墨塗り担当者の各人において、自身が登録・保管した電子画像情報に対して内容の正当性確認を行う。この例では、墨塗り担当者が行うものとして説明する。
(Confirmation)
Each person in charge of creation / sanitization checks the validity of the contents of the electronic image information registered and stored by himself / herself. In this example, it is assumed that the person in charge of sanitization performs.
（検証）
墨塗り処理／登録完了後まもなく、検証担当者によって、墨塗り箇所の特定と、墨塗り箇所以外は変更がないことの確認、およびその検証を行う。
(Verification)
Shortly after the completion of the sanitization process / registration, the verification person specifies the sanitized area, confirms that there are no changes other than the sanitized area, and verifies it.
上記利用シーンにおいて、本システムでは作成担当者、墨塗り担当者、検証担当者に対して以下の４機能を提供する。 In the above usage scene, this system provides the following four functions to the creator, sanitizer, and verifier.
（Ａ）登録機能（画像情報の登録時に作成担当者が利用）
（Ｂ）更新機能（画像情報の墨塗り時に墨塗り担当者が利用）
（Ｃ）確認機能（画像情報の内容確認時に墨塗り担当者が利用）
（Ｄ）検証機能（画像情報の検証時に検証担当者が利用）
(A) Registration function (used by creator in registering image information)
(B) Update function (used by the sanitizer in the process of sanitizing image information)
(C) Confirmation function (used by sanitizing staff when confirming the contents of image information)
(D) Verification function (used by verification personnel when verifying image information)
以下より、上記(Ａ)〜(Ｄ)の各事象における作用について説明する。 Hereinafter, the action in each of the above events (A) to (D) will be described.
本利用シーンの事前条件として、利用者９０（作成担当者、墨塗り担当者、検証担当者）は本電子画像データ検証システム１０を利用できるよう利用者認証情報が事前登録されており、厳密なアクセス制御がなされていることを前提とする。本利用シーンでは、作成担当者、墨塗り担当者、検証担当者の各人が本システムにアクセス／ログインするところから始まる。
As a precondition for the use scene, user authentication information is pre-registered so that the user 90 (a person in charge of creation, a person in charge of sanitization, and a person in charge of verification) can use the electronic image
（Ａ）画像情報の登録時
図３は、登録処理のフローチャート図である。
(A) When Registering Image Information FIG. 3 is a flowchart of registration processing.
（１）利用者９０（作成担当者）は、操作画面中の「画像登録（JPEG変換）」メニューを選択。登録するBMP形式の原画像情報を入力として指定し、確定すると、電子画像データ検証システム１０内の要求解析部２０に対して、画像登録依頼を発行する。
(1) The user 90 (person in charge of creation) selects the “image registration (JPEG conversion)” menu on the operation screen. When the BMP format original image information to be registered is designated and confirmed as an input, an image registration request is issued to the
（２）電子画像データ検証システム１０内の要求解析部２０は、画像登録依頼を受信し（ステップST-R1）、画像解析処理部３０に対して登録依頼を発行する（ステップST-R2）。
(2) The
（３）画像解析処理部３０は、符号化処理部３１に対して、符号化処理依頼を発行する（ステップST-R3）。
(3) The image
（４）符号化処理部３１は、符号化処理を実行（開始）する（ステップST-R4）。部分署名情報の生成を考慮した画像登録時の具体的な符号化処理方式については別途後述する。 (4) The encoding processing unit 31 executes (starts) the encoding process (step ST-R4). A specific encoding processing method at the time of image registration in consideration of generation of partial signature information will be separately described later.
（５）符号化処理部３１は、符号化処理実行中に部分署名情報生成部４０に対して、ブロック情報を入力として部分署名情報生成依頼を発行する（ステップST-R5）。
(5) The encoding processing unit 31 issues a partial signature information generation request to the partial signature
（６）部分署名情報生成部４０は、入力として与えられたブロック情報に対応するハッシュ情報を生成し部分署名情報生成処理を実行する（ステップST-R6）。図４は、部分署名情報の内容例を示した図である。例えば、画像情報を任意固定画素単位（例:8×8画素）に区分し、各ブロック情報に任意情報となる乱数を連結し、“ブロック情報+乱数”に対するハッシュ情報を生成する。図４では例えば、301ブロック目の生成結果として、“d8912c”というハッシュ情報が出力されている様子を示している。この時、301ブロック目の情報に対するハッシュ情報であるか確認できるよう格納されている様子がわかる。
(6) The partial signature
以下、他のブロックについても同様の生成処理が行われる。この例では、１ブロック単位にハッシュ情報を生成・記録しているが、Block0300〜Block0304のように範囲指定で生成・記録してもよい。このように範囲指定で記録した場合は、その範囲のブロック内にて変更位置を特定することが可能となる。 Thereafter, similar generation processing is performed for other blocks. In this example, hash information is generated and recorded in units of blocks, but may be generated and recorded by specifying a range such as Block0300 to Block0304. When recording is performed by specifying a range in this way, the change position can be specified within a block in the range.
また、本例では部分署名情報生成時に任意情報（乱数）を付加して生成しているが、必ずしも乱数を入れる必要性はない。ここで乱数を付加するのは、例えば、画像情報中のある２つのブロックに着目した時、それら２つのブロック情報が同一であった場合、部分署名情報も結果として同じになってしまうため、墨塗りをしても元情報が容易に推測され、漏えいする危険性がある。 In this example, arbitrary information (random number) is added when generating partial signature information, but it is not always necessary to enter a random number. The random number is added here because, for example, when attention is paid to two blocks in the image information, if the two block information is the same, the partial signature information will be the same as a result. Even if it is painted, the original information is easily guessed and there is a risk of leakage.
しかしながら、画像情報の場合、1ブロックあたりのデータが十分大きいため、XML文書のように元情報を容易に推測することはできない。更に乱数を付加して部分署名情報を生成するとより安全性が向上する。なお、乱数を付加して生成するか／しないかは運用により選択することができる。部分署名情報生成完了後は、符号化処理部３１へ生成結果が返される（ステップST-R6）。この処理の実行終了後、ステップST-R6における符号化処理も終了する。 However, in the case of image information, since the data per block is sufficiently large, the original information cannot be easily estimated like an XML document. Furthermore, if the partial signature information is generated by adding a random number, the security is further improved. Whether or not to generate a random number can be selected by operation. After the partial signature information generation is completed, a generation result is returned to the encoding processing unit 31 (step ST-R6). After the execution of this process is completed, the encoding process in step ST-R6 is also ended.
（７）符号化処理部３１は、部分署名情報生成部４０からの部分署名情報を取得し、証明情報生成部６０に対して証明情報生成依頼を発行する（ステップST-R7）。
(7) The encoding processing unit 31 acquires the partial signature information from the partial signature
（８）証明情報生成部６０は、第三者証明に必要な電子署名、タイムスタンプの情報を生成する。電子署名については、CA（第三者発行機関: Certificate Authority）、タイムスタンプについては、TA（時刻配信局: Time Authority）から発行したものになる。電子署名、タイムスタンプは取得後、符号化処理部３１へ生成結果として返される（ステップST-R8）。
(8) The certification
（９）符号化処理部３１は、証明情報生成部６０から証明情報（電子署名、タイムスタンプ）を取得し、符号化されたJPEG画像情報と部分署名情報、ならびに、乱数情報に付与する。この時、電子署名については、作成担当者の署名が付与される。付与完了後、画像登録部７０へ登録／保管依頼を発行し、各情報は格納部８０に一体化した形で格納される（ステップST-R9）。
(9) The encoding processing unit 31 obtains certification information (electronic signature, time stamp) from the certification
（１０）以上の処理が完了すれば、利用者９０（作成担当者）に対して、画像登録の完了を示す保管証と正常終了の旨を出力する。その後、利用者９０（作成担当者）は、ログアウトし、登録処理を正常終了する。異常が発生した場合は、その旨、利用者９０（作成担当者）にエラー通知し、異常終了する。 (10) When the above processing is completed, a storage certificate indicating completion of image registration and a normal end message are output to the user 90 (person in charge of creation). Thereafter, the user 90 (the person in charge of creation) logs out and completes the registration process normally. If an abnormality occurs, an error notification is sent to the user 90 (person in charge of creation) to that effect, and the process ends abnormally.
図５は、画像登録時の保管証の内容例を示している。当保管証は、預かり証として利用者９０にて管理され、次回以降、当画像情報の更新（変更、墨塗り等）を行う際に利用される。
FIG. 5 shows an example of the contents of a storage certificate at the time of image registration. The storage certificate is managed by the
図６は、登録時の格納状態のイメージを示しており、画像IDを検索タグとして各情報が関連付けられた形で管理されている様子を示している。部分署名情報生成時に任意情報として用いられた乱数は、部分署名生成情報として管理されている様子がわかる。 FIG. 6 shows an image of the storage state at the time of registration, and shows how each information is managed in association with each other using the image ID as a search tag. It can be seen that the random numbers used as arbitrary information when generating partial signature information are managed as partial signature generation information.
（Ｂ）画像情報の更新時
図７は、更新処理のフローチャート図である。
(B) When updating image information FIG. 7 is a flowchart of the update process.
（１）利用者９０（墨塗り担当者）は、更新処理前に登録時に使用したBMP形式の画像情報を作成担当者から取得し、個人情報箇所に対して本システムとは別に用意された画像編集ツールを用いて秘匿（墨塗り）処理し、再度BMP形式の原画像情報として保存する。この例では本システムとは別に画像編集ツールを使って墨塗り処理を行うが、本システムにそのような仕組みが搭載されていてもよい。 (1) A user 90 (sanitizing person) acquires BMP format image information used at the time of registration from the person in charge of the creation before the update process, and an image prepared separately from this system for the personal information part. Use an editing tool to conceal (sanitize) and save it as BMP format original image information again. In this example, the sanitization process is performed using an image editing tool separately from the present system, but such a system may be installed in the present system.
図８は、墨塗りされた領収書を示しており、本原画像情報を本システムに再登録（更新）することとする。 FIG. 8 shows a receipt written in black, and the original image information is re-registered (updated) in the system.
（２）利用者９０（墨塗り担当者）は、作成担当者から、本システムへの登録完了時に取得した保管証を受け取る。このBMP形式の原画像情報や保管証は、権限のある者だけがアクセス可能なデータベースに格納され、共有されるのが望ましい。 (2) The user 90 (sanitizing person) receives the storage certificate obtained at the completion of registration in the system from the person in charge of creation. This BMP format original image information and storage certificate are preferably stored and shared in a database accessible only to authorized persons.
（３）利用者９０（墨塗り担当者）は、画面中の「画像更新（JPEG変換）」メニューを選択する。更新済みBMP形式の原画像情報と保管証を入力として指定し、確定すると、電子画像データ検証システム１０内の要求解析部２０に対して、画像登録依頼を発行する。
(3) The user 90 (person in charge of sanitization) selects the “image update (JPEG conversion)” menu on the screen. When the updated BMP format original image information and storage certificate are designated as input and confirmed, an image registration request is issued to the
（４）電子画像データ検証システム１０内の要求解析部２０は、画像更新依頼を受信し（ステップST-U1）、画像解析処理部３０に対して更新依頼を発行する（ステップST-U2）。
(4) The
（５）画像解析処理部３０は、符号化処理部３１に対して、符号化処理依頼を発行する（ステップST-U3）。
(5) The image
（６）符号化処理部３１は、符号化処理の実行を開始する（ステップST-U4）、部分署名情報の生成を考慮した画像更新時の具体的な符号化処理方式については別途後述する。 (6) The encoding processing unit 31 starts executing the encoding process (step ST-U4), and a specific encoding processing method at the time of image update considering generation of partial signature information will be separately described later.
（７）符号化処理部３１は、符号化処理実行中に部分署名情報生成部４０に対して、ブロック情報を入力として部分署名情報生成依頼を発行する（ステップST-U5）。
(7) The encoding processing unit 31 issues a partial signature information generation request to the partial signature
（８）部分署名情報生成部４０は、入力として与えられたブロック情報に対応するハッシュ情報を生成する（ステップST-U6）。図９は、画像更新時の部分署名情報の生成例／内容例を示した図である。以下の手順により部分署名情報が生成される。部分署名情報の生成は、１ブロック目から順に行われるものとし、この例では301ブロック目の生成例を示している。
(8) The partial signature
まず、部分署名情報（１版）と乱数情報（１版）を画像登録部７０経由で格納部８０から取得する。乱数情報（１版）から301ブロック目の乱数（=39012）を取得する（ステップST-U6-1）。次に、301ブロック目の情報と乱数（=39012）を連結して、ハッシュ情報（=b18da）を生成する（ステップST-U6-2）。
First, partial signature information (one version) and random number information (one version) are acquired from the
次に、部分署名情報（１版）から301ブロック目のハッシュ情報（=d8912c）を取得し（ステップST-U6-3）、ステップST-U6-2で得たハッシュ情報（=b18da）と比較する（ステップST-U6-4）。ここで、ハッシュ情報が異なることを確認でき、これは１版の状態から変更が加えられたことを示している。よって、301ブロック目の新しい乱数情報（=58297）を生成し、301ブロック目の情報と乱数（=58297）を連結して、新しいハッシュ情報（=df5422）を生成する（ステップST-U6-5）。 Next, the hash information (= d8912c) of the 301st block is acquired from the partial signature information (version 1) (step ST-U6-3) and compared with the hash information (= b18da) obtained in step ST-U6-2. (Step ST-U6-4). Here, it can be confirmed that the hash information is different, which indicates that a change has been made from the state of the first edition. Therefore, new random information (= 58297) for the 301st block is generated, and the information for the 301st block and the random number (= 58297) are concatenated to generate new hash information (= df5422) (step ST-U6-5). ).
最後に、生成結果として、部分署名情報（２版）の301ブロック目のハッシュ情報として“df5422”を記録し、同時に、乱数情報（２版）の301ブロック目の乱数情報として“58297”を記録する。つまり、変更のないブロックについては前版数と同一の乱数を用いる。また、この例の301ブロック目のように変更のあるブロックについては前回と異なる乱数を生成して加え、部分署名情報が生成される。これにより、変更のないブロックに対するハッシュ情報は前版数と同一になり、前版数から改変がないことを第三者に証明することが可能になる。 Finally, “df5422” is recorded as the hash information of the 301st block of the partial signature information (2nd version), and “58297” is recorded as the random information of the 301st block of the random number information (2nd version) as the generation result. To do. In other words, the same random number as the previous version is used for the block without change. In addition, for the changed block such as the 301st block in this example, a random number different from the previous one is generated and added, and partial signature information is generated. As a result, the hash information for the unchanged block is the same as the previous version number, and it is possible to prove to the third party that there is no modification from the previous version number.
また、変更のあったブロックにおいても、そのブロックに対するハッシュ情報が異なるため、変更したことを確認でき、加えて、そのブロックは部分署名情報の全体の電子署名から墨塗り担当者が変更したことを第三者に証明することが可能になる。他のブロックについても同様の生成処理が行われる。生成完了後、符号化処理部３１へ生成結果が返される。ステップST-U6の処理の終了後ステップST-U4で開始された符号化処理も終了する。 In addition, since the hash information for the block in the changed block is also different, it can be confirmed that the block has been changed, and in addition, the block has been changed by the sanitizer from the entire electronic signature of the partial signature information. It becomes possible to prove to a third party. Similar generation processing is performed for other blocks. After the generation is completed, the generation result is returned to the encoding processing unit 31. After the process of step ST-U6 ends, the encoding process started in step ST-U4 also ends.
（９）符号化処理部３１は、部分署名情報生成部４０からの部分署名情報を取得し、証明情報生成部６０に対して証明情報生成依頼を発行する（ステップST-U7）。
(9) The encoding processing unit 31 acquires the partial signature information from the partial signature
（１０）証明情報生成部６０は、第三者証明に必要な電子署名、タイムスタンプの情報を生成する。登録処理同様、電子署名については、CA（第三者発行機関: Certificate Authority）、タイムスタンプについては、TA（時刻配信局: Time Authority）から発行したものになる。取得後、符号化処理部３１へ生成結果が返される（ステップST-U8）。
(10) The certification
（１１）符号化処理部３１は、証明情報生成部６０からの証明情報（電子署名、タイムスタンプ）を取得し、符号化されたJPEG画像情報と部分署名情報、ならびに、乱数情報に対して付与する。この時、電子署名については、墨塗り担当者の署名が付与される。符号化処理部３１は、付与完了後、画像登録部７０へ登録／保管依頼を発行する。
(11) The encoding processing unit 31 acquires the certification information (electronic signature, time stamp) from the certification
（１２）画像登録部７０は、入力として与えられた保管証をもとに格納部８０に対して該当する旧版画像情報の検索を実行する（ステップST-U9）。この時、保管証に格納されている画像IDを検索キーとして行われる。該当する画像情報が見つかれば、各情報は格納部８０に一体化した形で格納される（ステップST-U10）。この時、旧版の画像情報の上書きを行うのではなく、事後、各版数の第三者証明ができるよう全ての版数を残す形で格納される。
(12) The
（１３）処理が正常終了すれば利用者９０（墨塗り担当者）に対して、画像更新の完了を示す保管証と、正常終了の旨を出力する。その後、利用者９０（墨塗り担当者）は、ログアウトし、更新処理を正常終了する。異常が発生した場合は、その旨、利用者９０（墨塗り担当者）にエラー通知し、異常終了する。 (13) If the process ends normally, a storage certificate indicating completion of image update and a message indicating normal end are output to the user 90 (person in charge of sanitization). Thereafter, the user 90 (the person in charge of sanitizing) logs out and ends the update process normally. If an abnormality occurs, an error notification is sent to the user 90 (person in charge of sanitization) and the process ends abnormally.
図１０は、画像更新時の保管証の内容例を示している。当保管証は、預かり証として利用者９０にて管理され、再度、当画像情報の更新（変更、墨塗り等）を行う際に利用される。
FIG. 10 shows an example of the contents of a storage certificate at the time of image update. The storage certificate is managed as a deposit certificate by the
図１１は、更新時の格納状態のイメージを示しており、画像ID、版数を検索タグとして各情報が関連付けられた形で管理されている様子を示している。部分署名情報生成時に任意情報として用いた乱数は版数1.0同様、部分署名生成情報として管理されている様子がわかる。 FIG. 11 shows an image of the storage state at the time of update, and shows a state in which each information is managed in association with each other using the image ID and the version number as a search tag. It can be seen that random numbers used as arbitrary information when generating partial signature information are managed as partial signature generation information, similarly to version 1.0.
（Ｃ）画像情報の確認時
図１２は、確認処理のフローチャート図である。
(C) When Confirming Image Information FIG. 12 is a flowchart of confirmation processing.
（１）利用者９０（墨塗り担当者）は、本システムへの更新完了時に取得した保管証を取得する。この保管証は権限のある者だけがアクセス可能なデータベースに格納され、共有されるのが望ましい。 (1) The user 90 (the person in charge of sanitizing) obtains the storage certificate obtained when the update to the system is completed. This voucher is preferably stored and shared in a database accessible only to authorized persons.
（２）利用者９０（墨塗り担当者）は、画面中の「画像確認」メニューを選択すると、墨塗り担当者が取り扱い可能な（確認可能な）「対象画像一覧」が表示される。 (2) When the user 90 (person in charge of sanitization) selects the “confirm image” menu on the screen, a “target image list” that can be handled (confirmed) by the person in charge of sanitization is displayed.
（３）利用者９０（墨塗り担当者）が画面中の「対象画像一覧」より、検証する画像を選択し確定すると、電子画像データ検証システム１０内の要求解析部２０に対して、画像確認依頼が発行される。この時、該当する保管証も入力情報として渡される。
(3) When the user 90 (person in charge of sanitization) selects and confirms an image to be verified from the “target image list” on the screen, the user confirms the image to the
（４）電子画像データ検証システム１０内の要求解析部２０は、画像確認依頼を受信し、（ステップST-C1）、画像解析処理部３０に対して画像確認依頼を発行する（ステップST-C2）。
(4) The
（５）画像解析処理部３０は、復号処理部３２に対して、復号処理依頼を発行する（ステップST-C3）。
(5) The image
（６）復号処理部３２は、画像登録部７０に対して画像取得依頼を発行する（ステップST-C4）。
(6) The
（７）画像登録部７０は、入力として与えられた保管証に記載された情報をもとに、格納部８０から該当する画像情報と部分署名情報（乱数情報、生成時点情報）を検索・取り出し、画像解析処理部３０に返す（ステップST-C5）。この時、取得情報は、 (A) 墨塗り画像[２版]、(B) 部分署名情報[２版] （乱数情報[２版]、生成時点情報）となる。以上の取得情報を確認情報群と呼ぶ。また、生成時点情報とは符号化処理中、もしくは、復号処理中のどの過程で部分署名情報を生成したかを示す情報であり、詳しくは後述する。
(7) The
（８）復号処理部３２は、画像登録部７０から取得した確認情報群に付与されている証明情報（電子署名、タイムスタンプ）の検証処理を実行し、登録後、確認情報群が改ざんされていない事を確認する（ステップST-C6）。
(8) The
（９）証明情報検証が有効であることが確認できると、次に、復号処理部３２は画像情報の復号処理を実行する（ステップST-C7）。以下の手順を踏んで確認処理を実行する（ステップST-C8）。まず、ステップST-C5で取得した(A) 墨塗り画像[２版]を入力として、JPEG復号処理を行う。この復号処理実行中に部分署名情報生成部４０を呼び出し、部分署名情報を生成／取得する。
(9) If it can be confirmed that the verification of verification information is valid, then the
この時、部分署名情報の生成時に付加していた乱数は画像登録部７０から取得した乱数情報[２版]を用いて生成する。また、後述する符号化処理中のどの過程で部分署名情報を生成したかを示す生成時点情報も画像登録部７０から取得しているので利用し、生成方法に一貫性が保つよう処理される。このような部分署名情報の生成を考慮した画像確認時の具体的な復号処理方式については後述する。
At this time, the random number added when generating the partial signature information is generated using the random number information [version 2] acquired from the
次に、リアルタイムに生成／取得した部分署名情報と、画像登録部７０から取得した(B) 部分署名情報[２版]を用いて、全ブロックの比較を行い、画像全体の部分署名情報が一致することを確認する。つまり、この処理では、画像全体が、また、各ブロック情報が故意・過失により差し換っていないことを確認している。
Next, using the partial signature information generated / acquired in real time and the (B) partial signature information [version 2] obtained from the
図１３はその確認の様子を示した図である。復号処理部３２は、確認結果を要求解析部２０へ返す。要求解析部２０は利用者９０（墨塗り担当者）へ確認結果を出力する（ステップST-C9）。
FIG. 13 is a diagram showing the confirmation. The
以上の処理が正常に完了すればログアウトし、確認処理を正常終了する。異常が発生した場合は、その旨、利用者９０（墨塗り担当者）にエラー通知し異常終了する。 If the above processing is completed normally, the user is logged out and the confirmation processing is terminated normally. If an abnormality occurs, an error notification is sent to the user 90 (person in charge of sanitization) to that effect, and the process ends abnormally.
（Ｄ）画像情報の検証時
図１４は、検証処理のフローチャートである。
(D) At the time of verification of image information FIG. 14 is a flowchart of verification processing.
（１）利用者９０（検証担当者）は、墨塗り担当者から、本システムへの更新完了時に取得した保管証を受け取る。この保管証は権限のある者だけがアクセス可能なデータベースに格納され、共有されるのが望ましい。また、作成担当者から保管証を受け取ってもよい。その選択は、検証担当者がどの版数の検証を行いたいかによって区別すればよい。 (1) The user 90 (the person in charge of verification) receives the storage certificate obtained when the update to the system is completed from the person in charge of sanitization. This voucher is preferably stored and shared in a database accessible only to authorized persons. A storage certificate may be received from the person in charge of creation. The selection may be distinguished depending on which version number the verification person wants to verify.
（２）利用者９０（検証担当者）は、画面中の「画像検証」メニューを選択すると、検証担当者が取り扱い可能な（検証可能な）「対象画像一覧」が表示される。 (2) When the user 90 (the person in charge of verification) selects the “image verification” menu in the screen, a “target image list” that can be handled (verifiable) by the person in charge of verification is displayed.
（３）利用者９０（検証担当者）が画面中の「対象画像一覧」より、検証する画像を選択し確定すると、電子画像データ検証システム１０内の要求解析部２０に対して、画像検証依頼を発行する。この時、該当する保管証も入力情報として渡される。
(3) When the user 90 (the person in charge of verification) selects and confirms an image to be verified from the “target image list” on the screen, an image verification request is sent to the
（４）電子画像データ検証システム１０内の要求解析部２０は、画像検証依頼を受信し、（ステップST-V1）、部分署名情報検証部５０に対して画像検証依頼を発行する（ステップST-V2）。
(4) The
（５）部分署名情報検証部５０は、画像登録部７０に対して画像取得依頼を発行する（ステップST-V3）。
(5) The partial signature
（６）画像登録部７０は、入力として与えられた保管証に記載された情報をもとに、格納部８０から該当する画像情報と部分署名情報（乱数情報、生成時点情報）を検索・取り出し、部分署名情報検証部５０に返す（ステップST-V4）。この時、取得情報は、(A) 墨塗り画像[２版]、(B) 部分署名情報[２版] （乱数情報[２版]、生成時点情報）、(C) 部分署名情報[１版]となる。以上の取得情報を検証情報群と呼ぶ。同様に生成時点情報とは符号化処理中、もしくは、復号処理中のどの過程で部分署名情報を生成したかを示す情報であり、詳しくは後述する。
(6) The
（７）部分署名情報検証部５０は、画像登録部７０から取得した検証情報群に付与されている証明情報（電子署名、タイムスタンプ）の検証処理を実行し、登録後、改ざんされていない事を確認する（ステップST-V5）。
(7) The partial signature
（８）証明情報検証が有効であることが確認できると、次に、部分署名情報検証部５０は検証情報群の検証処理を実行する（ステップST-V6）。この時、以下の手順を踏んで検証処理を実行する。
(8) If it can be confirmed that the verification of verification information is valid, then the partial signature
まず、ステップST-V4で取得した (A) 墨塗り画像[２版]と乱数情報[２版]、生成時点情報を用いて画像全体の部分署名情報が一致することを確認する。この検証処理については、先に説明した確認処理中の復号処理のロジックに従うものとし、ここでは説明を割愛する。 First, using the (A) sanitized image [version 2], random number information [version 2], and generation time information acquired in step ST-V4, it is confirmed that the partial signature information of the entire image matches. This verification process is based on the logic of the decoding process in the confirmation process described above, and the description is omitted here.
次に、ステップST-V4で取得した (B) 部分署名情報[２版]と、(C) 部分署名情報[１版]を用いて、各情報を比較することで、どの箇所が墨塗り処理され、かつ、墨塗り箇所以外は変わっていないことを確認する。 Next, using (B) partial signature information [version 2] obtained in step ST-V4 and (C) partial signature information [version 1], comparing each piece of information, which part is sanitized It is confirmed that there is no change except for the painted area.
図１５は、その検証の様子を示した図である。例えば、１ブロック目に関しては、１版、２版共にハッシュ情報が“a349db”で同一のため、変更がないことを確認できる（ステップST-V6-1）。また、303ブロック目に関しては、１版が“dcba87”で、２版が“6742ac”で異なり、１版から２版への更新時に変更されたことを検証することが可能になる（ステップST-V6-2）。他のブロックについても同様の比較で検証可能である。 FIG. 15 is a diagram showing the state of the verification. For example, for the first block, it can be confirmed that there is no change because the hash information is the same for both the first and second editions as “a349db” (step ST-V6-1). Also, regarding the 303th block, it is possible to verify that the first version is “dcba87” and the second version is “6742ac”, and that it has been changed when updating from the first version to the second version (step ST-). V6-2). Other blocks can be verified by the same comparison.
（９）部分署名情報検証部５０は、検証結果を要求解析部２０へ返す。要求解析部２０は利用者９０（検証担当者）へ検証結果を出力する（ステップST-V7）。
(9) The partial signature
図１６は、この検証結果から得られる検証結果出力画面の一例を示している。例えば、墨塗り箇所に対しては、オリジナル画像から変更が加えられているため、該当ブロックのハッシュ情報の違いからバツ印が付与される。また、墨塗り箇所以外については該当ブロックのハッシュ情報が一致するため、変更がないことを確認、バツ印は付与されない。 FIG. 16 shows an example of a verification result output screen obtained from this verification result. For example, since a change is applied to the sanitized portion from the original image, a cross mark is given due to a difference in hash information of the corresponding block. In addition, since the hash information of the corresponding block is the same except for the sanitized portion, it is confirmed that there is no change, and no cross mark is given.
また、「何ブロック目に変更があり、その他のブロックは変更がない旨」を出力する方法もあるが、図１６で示したような画像表示アプリケーション等を用いて、ビュアー上で変更箇所を特定した方がよりわかりやすく実用的である。また、墨塗り処理に加えて、金額を変更するという不当処理があった場合には、図１７のような検証結果が得られる。この場合、明らかに不当行為があったことを容易に確認／第三者に証明することが可能になる。 In addition, there is a method of outputting “the number of blocks has been changed and the other blocks have not been changed”. However, using the image display application as shown in FIG. It is easier to understand and practical. In addition to the sanitization process, if there is an unfair process of changing the amount of money, a verification result as shown in FIG. 17 is obtained. In this case, it becomes possible to easily confirm / provide to a third party that there is clearly an illegal act.
（１０）以上の処理が正常に完了すればログアウトし、検証処理を正常終了する。異常が発生した場合は、その旨、利用者９０（検証担当者）にエラー通知し、異常終了する。 (10) If the above processing is completed normally, the user is logged out and the verification processing is terminated normally. If an abnormality occurs, an error notification is sent to the user 90 (person in charge of verification) to that effect and the process ends abnormally.
以上までが、JPEG符号化処理における作成担当者による登録機能、墨塗り担当者による更新機能、墨塗り担当者による確認機能、ならびに、検証担当者による検証機能について説明したものである。 The above is a description of the registration function by the creator in charge of JPEG encoding processing, the update function by the sanitizer, the confirmation function by the sanitizer, and the verification function by the verifier.
次に、部分署名情報の生成を考慮した画像登録／更新時の具体的な符号化処理方式について説明する。図１８は、JPEG符号化プログラムの流れを示している。JPEGでは主に、以下のような手続きを踏んで情報量の削減を図っている。 Next, a specific encoding processing method at the time of image registration / update in consideration of generation of partial signature information will be described. FIG. 18 shows the flow of the JPEG encoding program. JPEG mainly reduces the amount of information through the following procedures.
（１）原画像（Bitmap）を任意固定画素（例:８×８画素）のブロックに区分する。
（２）RGB形式からYUV（YCrCb）方式へ変換する。
（３）上記ブロック単位でコサイン変換（CT: Cosine Transform）を用いて空間領域から周波数領域へ変換する。
（４）上記変換されたデータに対して量子化を行う。
（５）ハフマン符号化によるエントロピー圧縮を行う。
(1) The original image (Bitmap) is divided into blocks of arbitrary fixed pixels (for example, 8 × 8 pixels).
(2) Convert from RGB format to YUV (YCrCb) format.
(3) Transform from the spatial domain to the frequency domain using cosine transform (CT) in units of blocks.
(4) Quantize the converted data.
(5) Entropy compression by Huffman coding is performed.
以上のようなJPEG符号化処理過程において、どの段階で部分署名情報を生成するかについて説明する。まず、JPEG画像は、原画像（Bitmap）から変換される過程で不可逆圧縮となるため（情報量が低下するため）、圧縮されたJPEG画像から元の原画像（Bitmap）へ完全に復元することができないという特性を持っている。この特性により、不可逆圧縮による影響を受けるのは、図１８に示すJPG-T1〜JPG-T4の過程であり、この過程のいずれかで部分署名情報を生成することは適さないことが言える。 The stage at which partial signature information is generated in the above JPEG encoding process will be described. First, JPEG images are irreversibly compressed during conversion from the original image (Bitmap) (because the amount of information is reduced), so the JPEG image must be completely restored from the compressed JPEG image to the original original image (Bitmap). It has the characteristic that it cannot. Due to this characteristic, the irreversible compression affects the process of JPG-T1 to JPG-T4 shown in FIG. 18, and it can be said that it is not suitable to generate partial signature information in any of these processes.
つまり、符号化されたJPEG画像から復号処理を行い、JPG-T1〜JPG-T4時点で部分署名情報を生成しても、符号化処理時に得たJPG-T1〜JPG-T4の時点の部分署名情報とは異なるため、検証を正常に行うことができない。 In other words, even if decoding processing is performed from the encoded JPEG image and partial signature information is generated at the time of JPG-T1 to JPG-T4, the partial signature at the time of JPG-T1 to JPG-T4 obtained at the time of encoding processing Since it is different from information, verification cannot be performed normally.
本発明の実施の形態における最終目的は、個人情報等を墨塗り処理しても、墨塗り箇所の特定／墨塗り箇所以外の不変を検証することにあり、墨塗り画像の部分署名情報として再生成しても墨塗り箇所以外の部分署名情報はオリジナル画像の部分署名情報と同一の結果が得られなければならない。同一の結果が得られなければ正当な検証ができないどころか、変更箇所の特定すら実現することができない。 The final purpose of the embodiment of the present invention is to identify personalized areas / verify invariants other than the sanitized area even if personal information is sanitized, and is reproduced as partial signature information of the sanitized image. Even if it is made, the partial signature information other than the sanitized portion must obtain the same result as the partial signature information of the original image. If the same result cannot be obtained, it is not possible to carry out a valid verification, and it is not possible to realize even the changed part.
よって、毎回、同一結果を取得可能な過程において、一貫性を維持した状態で部分署名情報を生成することが望ましい。例えば、JPG-T1〜JPG-T2の段階での部分署名情報を生成しても、最小単位が8×8画素に影響するため、言い換えれば、１ビットでも変更されたら、そのブロック全体は変更されたことになり、不適当であり、実用的でない。先に述べたようにJPG-T1〜JPG-T4の過程では不可逆圧縮となるため、復号時に同様の結果を得ることができない。 Therefore, it is desirable to generate partial signature information while maintaining consistency in the process where the same result can be obtained each time. For example, even if partial signature information at the stage of JPG-T1 to JPG-T2 is generated, the minimum unit affects 8 × 8 pixels. In other words, if even one bit is changed, the entire block is changed. This is inappropriate and impractical. As described above, irreversible compression is performed in the process of JPG-T1 to JPG-T4, so that a similar result cannot be obtained at the time of decoding.
JPG-T6の過程では、ハフマン符号化（エントロピー圧縮）により他のブロックの情報に影響を与えてしまうため、8×8画素単位での同様の結果が期待できない。更に、JPG-T6の段階では検証可能部分が大きくなってしまうため（例えば、画像情報の一列分等に相当）、8×8画素単位での実用的な検証を行うことができない。 In the process of JPG-T6, Huffman coding (entropy compression) affects the information of other blocks, so a similar result in units of 8 × 8 pixels cannot be expected. Furthermore, since the verifiable portion becomes large at the stage of JPG-T6 (e.g., corresponding to one column of image information), practical verification cannot be performed in units of 8 × 8 pixels.
よって、符号化処理に関しては、以上のような影響が受けないJPG-T5の段階で部分署名情報を生成するのが8×8画素単位で最も効率のよい方法であると言える。また、墨塗り画像に対する部分署名情報を生成する際も、オリジナル画像の部分署名情報生成時同様、JPG-T5で生成するよう一貫性を保つ必要がある。 Therefore, with regard to the encoding process, it can be said that generating the partial signature information at the stage of JPG-T5 which is not affected by the above is the most efficient method in units of 8 × 8 pixels. Also, when generating partial signature information for a sanitized image, it is necessary to maintain consistency so that it is generated with JPG-T5, as in the case of generating partial signature information for an original image.
このようにどの過程で部分署名情報を生成したかの情報（生成時点情報）も一緒に管理し、次回以降は、この生成時点情報を用いて生成することが望ましい。図１９は、画像登録時の格納状態のイメージを示している。部分署名生成情報に生成時点情報（JPEG符号化時にJPG-T5の時点で生成した旨）が追加されていることがわかる。 In this way, it is desirable that information (generation point information) indicating in which process partial signature information is generated is also managed together and generated using the generation point information after the next time. FIG. 19 shows an image of the storage state at the time of image registration. It can be seen that generation time information (that is generated at the time of JPG-T5 during JPEG encoding) is added to the partial signature generation information.
次に、部分署名情報の生成を考慮した画像登録／更新時の具体的な復号処理方式について説明する。図２０は、JPEG復号プログラムの流れを示している。 Next, a specific decoding processing method at the time of image registration / update in consideration of generation of partial signature information will be described. FIG. 20 shows the flow of the JPEG decoding program.
以上のようなJPEG復号処理過程において、どの段階で部分署名情報を生成するかについて説明する。まず、JPEG画像の復号処理は、基本的には符号化処理の逆手順によって行われていると考えてよい。JPEG復号処理の場合は、符号化処理とは対象的に情報量が低下することがないので、JPG-iT1〜JPG-iT6の時点で部分署名情報を生成しても毎回同様の結果が得られる。よって、JPG-iT1〜JPG-iT6の全過程のいずれかの時点で部分署名情報を生成することが可能である。 The stage at which partial signature information is generated in the above JPEG decoding process will be described. First, it may be considered that the decoding process of the JPEG image is basically performed by the reverse procedure of the encoding process. In the case of JPEG decoding processing, the amount of information does not decrease in comparison with encoding processing, so the same result can be obtained every time even if partial signature information is generated at the time of JPG-iT1 to JPG-iT6 . Therefore, partial signature information can be generated at any point in the entire process from JPG-iT1 to JPG-iT6.
図２１は、符号化処理／復号処理における部分署名情報を生成可能な時点を示している。符号化処理、復号処理における部分署名情報の生成時点は、phase-1〜phase-4の計４段階あり、どの時点で生成してもよい。ただし、どの時点で部分署名情報を生成したかは、先に述べた生成時点情報で管理することとし、次回以降は、この生成時点情報を用いて生成することが望ましい。 FIG. 21 shows a point in time when partial signature information can be generated in the encoding process / decoding process. There are four generation stages of partial signature information in the encoding process and the decoding process, ie, phase-1 to phase-4, which may be generated at any point. However, it is desirable to manage the generation of partial signature information at the generation time information described above, and it is preferable to generate the signature using the generation time information from the next time onward.
phase-1は、符号化処理、復号処理において部分署名情報が生成できる共通の段階であり、この場合、JPEG符号化時にJPG-T5で部分署名情報を生成した場合は、次回以降、原画像（Bitmap）から符号化する場合、あるいは、JPEG画像を使って復号処理する場合は、phase-1（符号化時は、JPG-T5、復号時はJPG-iT2）で生成するよう制御を行う必要がある。 Phase-1 is a common stage in which partial signature information can be generated in encoding processing and decoding processing. In this case, if partial signature information is generated with JPG-T5 during JPEG encoding, the original image ( When encoding from (Bitmap), or when decoding using JPEG images, it is necessary to control to generate in phase-1 (JPG-T5 for encoding, JPG-iT2 for decoding) is there.
以上の説明では、JPEG符号化処理／復号処理における部分署名情報の生成について説明したが、JPEG以外の画像フォーマットにも同様に適用可能である。例えば、GIF画像についても同様に部分署名情報を生成し、変更箇所を特定、ならびに、変更箇所以外は改変されていないことを確認することが可能である。 In the above description, generation of partial signature information in JPEG encoding / decoding processing has been described. However, the present invention can be similarly applied to image formats other than JPEG. For example, it is possible to generate partial signature information for a GIF image in the same manner, specify a changed part, and confirm that no changes other than the changed part are made.
GIF画像はJPEG画像と異なり、可逆圧縮により生成されるため、符号化処理／復号処理のどの過程で部分署名情報を生成するかといった選択問題は発生しない。よって、GIF画像についてはJPEG画像と比べると比較的容易に適用可能である。JPEG画像が、情報量を低下させることにより圧縮を図っていたのに対し、GIF画像では、主に情報を整理することで圧縮を図っている。 Unlike a JPEG image, a GIF image is generated by lossless compression, so that there is no selection problem as to which partial signature information is generated in the process of encoding / decoding. Therefore, GIF images can be applied relatively easily compared to JPEG images. JPEG images are compressed by reducing the amount of information, whereas GIF images are mainly compressed by organizing information.
例えば、「101010」という情報や「111000」という情報がある場合、文字列の長さは共に6文字であるが、前者は「10が3回」、後者は「1が3回と0が3回」というデータに置き換えることができる。これはランレングスという手法であり、GIF画像では主にこのランレングス法による情報整理によって圧縮が行われている。 For example, if there is information “101010” or information “111000”, the length of the character string is 6 characters, but the former is “3 times” and the latter is “3 times 1” and “0” is 3 It can be replaced with the data “time”. This is a method called run length, and compression is performed mainly on the GIF image by organizing information by this run length method.
図２２は、GIF符号化プログラムの流れを示している。この場合、符号化されたGIF画像を逆順序により復号しても同様の原画像（Bitmap）が得られるため、GIF-T1〜GIF-T3の時点で部分署名情報を生成しても毎回同様の結果が得られる。よって、GIF-T1〜GIF-T3の全過程のいずれかの時点で部分署名情報を生成することが可能である。 FIG. 22 shows the flow of the GIF encoding program. In this case, the same original image (Bitmap) can be obtained even if the encoded GIF image is decoded in the reverse order. Therefore, even if partial signature information is generated at the time of GIF-T1 to GIF-T3, the same is performed every time. Results are obtained. Therefore, partial signature information can be generated at any point in the entire process from GIF-T1 to GIF-T3.
また、無圧縮方式のデータ形式である原画像（Bitmap）についてもGIF画像同様の方法で適用可能である。原画像（Bitmap）の場合は無圧縮であるため、ランレングスは行われず、直接、ブロック区分（例:8×8画素）した情報に対して部分署名情報を生成する。この処理は、電子画像データ検証システム１０内の原画像処理部３３にて行われる。
Also, an original image (Bitmap) that is an uncompressed data format can be applied in the same manner as a GIF image. In the case of an original image (Bitmap), since it is uncompressed, run length is not performed, and partial signature information is directly generated for information that is divided into blocks (eg, 8 × 8 pixels). This process is performed by the original
以上、本発明の実施の形態における各動作を示すフローチャートをコンピュータに実行させる電子画像データ検証プログラムとして、コンピュータにより読取り可能な記録媒体に記憶させることによって、電子画像データ検証システムによる電子画像データ検証をコンピュータに実行させることが可能となる。なお、本発明において、上記コンピュータにより読取り可能な記録媒体は、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。 As described above, the electronic image data verification by the electronic image data verification system is performed by storing the flowchart showing each operation in the embodiment of the present invention in a computer-readable recording medium as an electronic image data verification program for causing the computer to execute the flowchart. It can be executed by a computer. In the present invention, the computer-readable recording medium is a portable storage medium such as a CD-ROM, a flexible disk, a DVD disk, a magneto-optical disk, an IC card, a database holding a computer program, or other Computer and its database, and also a transmission medium on a line.
本発明の実施の形態によれば、従来技術、および、その単純な組み合わせでは不可能であった下記の要件を満足することが可能となる。更に、最も類似する従来技術と比べて、墨塗り（変更）画像の完全性、原本性を容易に実現することが可能となる。 According to the embodiment of the present invention, it is possible to satisfy the following requirements that were impossible with the conventional technology and a simple combination thereof. Furthermore, the completeness and originality of the sanitized (changed) image can be easily realized as compared with the most similar conventional technology.
（１）電子画像情報に対して変更箇所を特定、ならびに、変更箇所以外は改変されていないことを確認することが可能である
（２）変更者（墨塗り者や訂正者等）を特定することが可能である
（３）一部を秘匿しても、秘匿した箇所以外の部分が改変されていないことを確認することが可能である
（４）一部を秘匿しても、秘匿していない部分の作成者を特定することが可能である
（５）原本（第１版）からの最新版まで履歴過程（いつ、誰が、どの箇所を、どのように）を確認することが可能である
（６）本システム内に保存・管理されている全ての版数の電子画像を取り出さなくても、一部墨塗りされた状態や、一部の版のみを用いた第三者証明や流通を行うことが可能である。
(1) It is possible to identify the changed part of the electronic image information and confirm that no changes other than the changed part have been altered. (2) Specify the changer (such as a sanitizer or a corrector). (3) It is possible to confirm that the part other than the concealed part is not altered even if it is partly concealed. (4) Even if part is concealed, it is concealed. (5) It is possible to confirm the history process (when, who, which part, how) from the original (first edition) to the latest edition. (6) Even if all electronic images stored and managed in this system are not taken out, it is possible to obtain third-party certification or distribution using only a part of the edition, even if it is partially inked. Is possible.
１ 解析部、２ 登録部、３ 生成部、４ 検証部、１０ 電子画像データ検証システム、２０ 要求解析部、３０ 画像解析処理部、３１ 符号化処理部、３２ 復号処理部、３３ 原画像処理部、４０ 部分署名情報生成部、５０ 部分署名情報検証部、６０ 証明情報生成部、７０ 画像登録部、８０ 格納部、９０ 利用者。 1 analysis unit, 2 registration unit, 3 generation unit, 4 verification unit, 10 electronic image data verification system, 20 request analysis unit, 30 image analysis processing unit, 31 encoding processing unit, 32 decoding processing unit, 33 original image processing unit , 40 partial signature information generation unit, 50 partial signature information verification unit, 60 certification information generation unit, 70 image registration unit, 80 storage unit, 90 user.
Claims (7)
コンピュータを、
電子画像情報を複数のブロックに分割し、前記電子画像情報を、不可逆圧縮となる他の電子画像フォーマットに変換して変換電子画像情報を生成する電子画像フォーマット変換ステップを実行する電子画像フォーマット変換部と、
前記電子画像フォーマット変換ステップのフォーマット変換の中間過程で得られる、不可逆圧縮による影響を受けず、且つ、前記複数のブロックの画像情報それぞれが他のブロックの画像情報からの影響を受けることが無い前記複数のブロックの中間情報に対して、ハッシュ関数を用いて前記電子画像情報のブロック毎の部分的な署名情報となる部分署名情報を生成する部分署名情報生成ステップを実行する部分署名情報生成部と、
前記電子画像フォーマット変換ステップで変換された変換電子画像情報と、前記部分署名情報生成ステップで生成された前記部分署名情報とを登録する登録ステップを実行する登録部と、
前記登録ステップにより登録された変換電子画像情報に対して復号処理を行い、前記復号処理の中間過程で得られ、且つ、前記部分署名情報を生成した中間情報の生成時点と対応する復号処理時点の中間情報に対して、ハッシュ関数を用いて前記登録された変換電子画像情報のブロック毎の部分署名情報を生成し、前記登録ステップで登録された前記電子画像情報に対応する部分署名情報を用いて、前記電子画像情報に対する変更の有無、又は前記電子画像情報に対する変更があった場合にその変更箇所についての検証を行う検証ステップを実行する検証部と
して機能させ、
前記部分署名情報には、前記フォーマット変換又は前記復号処理に含まれる複数の過程のうち、どの過程で前記部分署名情報を生成したかの情報である生成時点情報が含まれる、電子画像データ検証プログラム。 An electronic image data verification program for causing a computer to execute verification of electronic image information,
Computer
An electronic image format conversion unit that divides the electronic image information into a plurality of blocks, converts the electronic image information into another electronic image format that becomes irreversible compression, and generates converted electronic image information. When,
The electronic image format conversion step is not affected by irreversible compression, which is obtained in an intermediate process of format conversion, and the image information of the plurality of blocks is not affected by the image information of other blocks. A partial signature information generation unit that executes a partial signature information generation step of generating partial signature information that is partial signature information for each block of the electronic image information using a hash function for intermediate information of a plurality of blocks; ,
A registration unit that executes a registration step of registering the converted electronic image information converted in the electronic image format conversion step and the partial signature information generated in the partial signature information generation step;
A decryption process is performed on the converted electronic image information registered in the registration step, and is obtained in an intermediate process of the decryption process. For the intermediate information, a partial signature information for each block of the registered converted electronic image information is generated using a hash function, and the partial signature information corresponding to the electronic image information registered in the registration step is used. , Whether or not there is a change to the electronic image information, or if there is a change to the electronic image information, function as a verification unit that executes a verification step for verifying the changed part,
An electronic image data verification program in which the partial signature information includes generation time information that is information indicating in which process the partial signature information was generated among a plurality of processes included in the format conversion or the decoding process .
前記登録ステップにおいて、前記電子画像情報を変換した変換電子画像情報と前記電子画像情報に対応する前記部分署名情報に対して前記電子画像情報の作成者の電子署名を付与して登録し、前記変更された電子画像情報を変換した変換電子画像情報と前記変更された電子画像情報に対応する前記部分署名情報に対して前記電子画像情報の変更者の電子署名を付与して登録し、
前記検証ステップにおいて、前記変更される前の電子画像情報に対応する部分署名情報と、前記変更された後の電子画像情報に対応する部分署名情報と、前記変更者の電子署名を基に、前記変更が変更者によって行われたことを検証することを特徴とする請求項１記載の電子画像データ検証プログラム。 When the electronic image information is changed, the computer is caused to execute an electronic image format conversion step, a partial signature information generation step, a registration step, and a verification step for the changed electronic image information. ,
In the registration step, the converted electronic image information obtained by converting the electronic image information and the partial signature information corresponding to the electronic image information are registered with an electronic signature of the creator of the electronic image information, and the change The electronic image information converted from the converted electronic image information and the partial signature information corresponding to the changed electronic image information are added and registered with the electronic signature of the changer of the electronic image information,
In the verification step, based on the partial signature information corresponding to the electronic image information before the change, the partial signature information corresponding to the electronic image information after the change, and the electronic signature of the changer, 2. The electronic image data verification program according to claim 1, wherein it is verified that the change is made by a changer.
前記検証ステップにおいて、前記任意情報が付加された部分署名情報を基に、変更が変更者によって行われたことを検証することを特徴とする請求項２記載の電子画像データ検証プログラム。 In the partial signature information generation step, arbitrary information is added to intermediate information of the plurality of blocks, and as the optional information to be added, the same arbitrary information as that before the change is applied to a block that has not been changed Is added, new arbitrary information different from the previous one is added to the changed block,
3. The electronic image data verification program according to claim 2, wherein in the verification step, it is verified that the change is made by a changer based on the partial signature information to which the arbitrary information is added.
前記電子画像フォーマット変換部が、電子画像情報を複数のブロックに分割し、前記電子画像情報を、不可逆圧縮となる他の電子画像フォーマットに変換して変換電子画像情報を生成する電子画像フォーマット変換ステップと、
前記部分署名情報生成部が、前記電子画像フォーマット変換ステップのフォーマット変換の中間過程で得られる、不可逆圧縮による影響を受けず、且つ、前記複数のブロックの画像情報それぞれが他のブロックの画像情報からの影響を受けることが無い前記複数のブロックの中間情報に対して、ハッシュ関数を用いて前記電子画像情報のブロック毎の部分的な署名情報となる部分署名情報を生成する部分署名情報生成ステップと、
前記登録部が、前記電子画像フォーマット変換ステップで変換された変換電子画像情報と、前記部分署名情報生成ステップで生成された前記部分署名情報とを登録する登録ステップと、
前記検証部が、前記登録ステップにより登録された変換電子画像情報に対して復号処理を行い、前記復号処理の中間過程で得られ、且つ、前記部分署名情報を生成した中間情報の生成時点と対応する復号処理時点の中間情報に対して、ハッシュ関数を用いて前記登録された変換電子画像情報のブロック毎の部分署名情報を生成し、前記登録ステップで登録された前記電子画像情報に対応する部分署名情報を用いて、前記電子画像情報に対する変更の有無、又は前記電子画像情報に対する変更があった場合にその変更箇所についての検証を行う検証ステップと
を含み、
前記部分署名情報には、前記フォーマット変換又は前記復号処理に含まれる複数の過程のうち、どの過程で前記部分署名情報を生成したかの情報である生成時点情報が含まれる、電子画像データ検証方法。 An electronic image data verification method in which a computer including an electronic image format conversion unit, a partial signature information generation unit, a registration unit, and a verification unit performs verification of electronic image information,
An electronic image format conversion step in which the electronic image format conversion unit divides the electronic image information into a plurality of blocks, converts the electronic image information into another electronic image format that becomes irreversible compression, and generates converted electronic image information. When,
The partial signature information generation unit is not affected by irreversible compression obtained in an intermediate process of format conversion in the electronic image format conversion step, and each of the image information of the plurality of blocks is derived from image information of other blocks. A partial signature information generation step of generating partial signature information that is partial signature information for each block of the electronic image information using a hash function for intermediate information of the plurality of blocks that is not affected by ,
A registration step in which the registration unit registers the converted electronic image information converted in the electronic image format conversion step and the partial signature information generated in the partial signature information generation step;
The verification unit performs a decoding process on the converted electronic image information registered in the registration step, and corresponds to the generation time of the intermediate information obtained in the intermediate process of the decoding process and the partial signature information. The partial signature information for each block of the registered converted electronic image information is generated by using a hash function for the intermediate information at the time of the decoding process to be performed, and the portion corresponding to the electronic image information registered in the registration step Using the signature information, whether or not there is a change to the electronic image information, or if there is a change to the electronic image information, a verification step for verifying the changed portion, and
The electronic image data verification method, wherein the partial signature information includes generation time information that is information indicating in which process the partial signature information was generated among a plurality of processes included in the format conversion or the decoding process .
前記登録ステップにおいて、前記電子画像情報を変換した変換電子画像情報と前記電子画像情報に対応する前記部分署名情報に対して前記電子画像情報の作成者の電子署名を付与して登録し、前記変更された電子画像情報を変換した変換電子画像情報と前記変更された電子画像情報に対応する前記部分署名情報に対して前記電子画像情報の変更者の電子署名を付与して登録し、
前記検証ステップにおいて、前記変更される前の電子画像情報に対応する部分署名情報と、前記変更された後の電子画像情報に対応する部分署名情報と、前記変更者の電子署名を基に、前記変更が変更者によって行われたことを検証することを特徴とする請求項４記載の電子画像データ検証方法。 When the electronic image information is changed, the computer executes an electronic image format conversion step, a partial signature information generation step, a registration step, and a verification step for the changed electronic image information. ,
In the registration step, the converted electronic image information obtained by converting the electronic image information and the partial signature information corresponding to the electronic image information are registered with an electronic signature of the creator of the electronic image information, and the change The electronic image information converted from the converted electronic image information and the partial signature information corresponding to the changed electronic image information are added and registered with the electronic signature of the changer of the electronic image information,
In the verification step, based on the partial signature information corresponding to the electronic image information before the change, the partial signature information corresponding to the electronic image information after the change, and the electronic signature of the changer, 5. The electronic image data verification method according to claim 4, wherein it is verified that the change is made by a changer.
前記検証ステップにおいて、前記任意情報が付加された部分署名情報を基に、変更が変更者によって行われたことを検証することを特徴とする請求項５記載の電子画像データ検証方法。 In the partial signature information generation step, arbitrary information is added to intermediate information of the plurality of blocks, and as the optional information to be added, the same arbitrary information as that before the change is applied to a block that has not been changed Is added, new arbitrary information different from the previous one is added to the changed block,
6. The electronic image data verification method according to claim 5, wherein in the verification step, it is verified that the change is made by a changer based on the partial signature information to which the arbitrary information is added.
前記電子画像フォーマット変換部によるフォーマット変換の中間過程で得られる、不可逆圧縮による影響を受けず、且つ、前記複数のブロックの画像情報それぞれが他のブロックの画像情報からの影響を受けることが無い前記複数のブロックの中間情報に対して、ハッシュ関数を用いて前記電子画像情報のブロック毎の部分的な署名情報となる部分署名情報を生成する部分署名情報生成部と、
前記電子画像フォーマット変換部によって変換された変換電子画像情報と、前記部分署名情報生成部によって生成された前記部分署名情報とを登録する登録部と、
前記登録部により登録された変換電子画像情報に対して復号処理を行い、前記復号処理の中間過程で得られ、且つ、前記部分署名情報を生成した中間情報の生成時点と対応する復号処理時点の中間情報に対して、ハッシュ関数を用いて前記登録された変換電子画像情報のブロック毎の部分署名情報を生成し、前記登録部により登録された前記電子画像情報に対応する部分署名情報を用いて、前記電子画像情報に対する変更の有無、又は前記電子画像情報に対する変更があった場合にその変更箇所についての検証を行う検証部と
を有し、
前記部分署名情報には、前記フォーマット変換又は前記復号処理に含まれる複数の過程のうち、どの過程で前記部分署名情報を生成したかの情報である生成時点情報が含まれる、電子画像データ検証装置。 An electronic image format conversion unit that divides the electronic image information into a plurality of blocks, converts the electronic image information into another electronic image format that becomes lossy compression, and generates converted electronic image information;
Obtained in an intermediate process of format conversion by the electronic image format conversion unit, not affected by irreversible compression, and the image information of the plurality of blocks is not affected by the image information of other blocks A partial signature information generation unit that generates partial signature information that is partial signature information for each block of the electronic image information using a hash function for intermediate information of a plurality of blocks;
A registration unit for registering the converted electronic image information converted by the electronic image format conversion unit and the partial signature information generated by the partial signature information generation unit;
A decryption process is performed on the converted electronic image information registered by the registration unit, and is obtained in an intermediate process of the decryption process. For the intermediate information, a partial signature information for each block of the registered converted electronic image information is generated using a hash function, and the partial signature information corresponding to the electronic image information registered by the registration unit is used. A verification unit that verifies the presence or absence of a change to the electronic image information or the change location when there is a change to the electronic image information,
Electronic image data verification apparatus, wherein the partial signature information includes generation time information that is information indicating in which process the partial signature information was generated among a plurality of processes included in the format conversion or the decoding process .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010261194A JP5408113B2 (en) | 2010-11-24 | 2010-11-24 | Electronic image data verification program, electronic image data verification method, and electronic image data verification apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010261194A JP5408113B2 (en) | 2010-11-24 | 2010-11-24 | Electronic image data verification program, electronic image data verification method, and electronic image data verification apparatus |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005203869A Division JP4722599B2 (en) | 2005-07-13 | 2005-07-13 | Electronic image data verification program, electronic image data verification system, and electronic image data verification method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011078121A JP2011078121A (en) | 2011-04-14 |
| JP5408113B2 true JP5408113B2 (en) | 2014-02-05 |
Family
ID=44021535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010261194A Expired - Fee Related JP5408113B2 (en) | 2010-11-24 | 2010-11-24 | Electronic image data verification program, electronic image data verification method, and electronic image data verification apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5408113B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018207424A1 (en) * | 2017-05-11 | 2018-11-15 | 三菱電機株式会社 | Message processing device, map management device, map company device, and automobile company device |
| JP6773000B2 (en) * | 2017-10-26 | 2020-10-21 | 京セラドキュメントソリューションズ株式会社 | Information processing device, tampering detection method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2675032B2 (en) * | 1987-12-21 | 1997-11-12 | 株式会社日立製作所 | How to create compressed slips |
| EP1283510A4 (en) * | 2000-04-20 | 2006-08-23 | Yutaka Yasukura | Electronic information inquiring method |
| JP4086103B2 (en) * | 2002-01-25 | 2008-05-14 | 財団法人大阪産業振興機構 | Image data creation method, falsification detection method, image data creation device, falsification detection device, computer program, and recording medium |
| JP4454908B2 (en) * | 2002-04-05 | 2010-04-21 | キヤノン株式会社 | Information processing apparatus, information processing method, program, and recording medium |
| JP4728104B2 (en) * | 2004-11-29 | 2011-07-20 | 株式会社日立製作所 | Electronic image authenticity guarantee method and electronic data disclosure system |
-
2010
- 2010-11-24 JP JP2010261194A patent/JP5408113B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011078121A (en) | 2011-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4722599B2 (en) | Electronic image data verification program, electronic image data verification system, and electronic image data verification method | |
| US11056023B2 (en) | Copyright protection based on hidden copyright information | |
| US11288345B2 (en) | Identifying copyrighted material using embedded timestamped copyright information | |
| JP4313873B2 (en) | Electronic device and data processing method | |
| US7502934B2 (en) | Electronic signatures | |
| US8583931B2 (en) | Electronic signing apparatus and methods | |
| US8223968B2 (en) | Image data verification program recorded on a recording medium, image data verification method, and image data verification system | |
| US20200372139A1 (en) | Copyright protection based on hidden copyright information | |
| US11062000B2 (en) | Identifying copyrighted material using embedded copyright information | |
| JP2008536371A (en) | Digital image watermark method and related apparatus and digital camera capable of adding watermark | |
| US20150019440A1 (en) | Encrypted Correction Code to protect the integrity and originality of electronic documentation and secure online payment and online wallet | |
| KR20200088995A (en) | Document security and integrity verification based on blockchain in image forming device | |
| JP2003510925A (en) | Authentication of digital data products using signatures and watermarks | |
| JP5408113B2 (en) | Electronic image data verification program, electronic image data verification method, and electronic image data verification apparatus | |
| WO2024147208A1 (en) | Information processing device, method, and program | |
| JP2005347867A (en) | Electronic document alteration detection method, electronic document alteration detection apparatus, and computer program | |
| JP2005346192A (en) | Electronic document recording method and device, computer program, electronic document management system and electronic document browsing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121127 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130128 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130611 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130911 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130918 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5408113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |