RU2646341C1 - Method of modification and identification the copy of the document for the installation the unauthorized distribution channel - Google Patents
Method of modification and identification the copy of the document for the installation the unauthorized distribution channel Download PDFInfo
- Publication number
- RU2646341C1 RU2646341C1 RU2016148703A RU2016148703A RU2646341C1 RU 2646341 C1 RU2646341 C1 RU 2646341C1 RU 2016148703 A RU2016148703 A RU 2016148703A RU 2016148703 A RU2016148703 A RU 2016148703A RU 2646341 C1 RU2646341 C1 RU 2646341C1
- Authority
- RU
- Russia
- Prior art keywords
- document
- copy
- image
- original
- calibration
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
- G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
- G06K15/18—Conditioning data for presenting it to the physical printing elements
- G06K15/1867—Post-processing of the composed and rasterized print image
- G06K15/1889—Merging with other data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
- G06K15/40—Details not directly involved in printing, e.g. machine management, management of the arrangement as a whole or of its constitutive parts
- G06K15/4095—Secure printing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/80—Recognising image objects characterised by unique random patterns
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/202—Testing patterns thereon using pattern matching
- G07D7/2033—Matching unique patterns, i.e. patterns that are unique to each individual paper
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/202—Testing patterns thereon using pattern matching
- G07D7/2041—Matching statistical distributions, e.g. of particle sizes orientations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
Изобретение относится к способу модификации копий документов и их идентификации для защиты документов от несанкционированного распространения.The invention relates to a method for modifying copies of documents and their identification to protect documents from unauthorized distribution.
Проблема защиты информации от ее несанкционированного разглашения является одной из важных во многих коммерческих и государственных организациях. Несанкционированное разглашение информации может приводить как к репутационным издержкам (иски, потери клиентов и партнеров), так и к прямым убыткам (потеря рынка за счет более раннего выхода конкурентов). В современных условиях информация в организациях существует в цифровом виде, однако некоторые конфиденциальные документы на бумажных носителях используются во внутреннем или внешнем документообороте. Конфиденциальная информация на любых носителях требует защиты от несанкционированного доступа и разглашения. На фоне роста цифровых технологий по передаче данных развиваются и механизмы защиты информации от несанкционированного доступа и разглашения. При этом каких-либо инноваций в области защиты информации от несанкционированного разглашения по материально-вещественным каналам связи не наблюдается. Использование копий конфиденциальных документов с бумажных оригиналов является основным каналом утечки информации в связи с невозможностью отслеживания злоумышленника.The problem of protecting information from unauthorized disclosure is one of the most important in many commercial and state organizations. Unauthorized disclosure of information can lead to both reputational costs (lawsuits, loss of customers and partners) and direct losses (market loss due to earlier exit of competitors). In modern conditions, information in organizations exists in digital form, but some confidential documents on paper are used in internal or external document flow. Confidential information on any medium requires protection against unauthorized access and disclosure. Against the background of the growth of digital technologies for data transmission, mechanisms are also being developed to protect information from unauthorized access and disclosure. At the same time, there are no innovations in the field of information protection from unauthorized disclosure through material and material communication channels. The use of copies of confidential documents from paper originals is the main channel for information leakage due to the inability to track the attacker.
Известен способ распознавания оригинальных печатных документов и печатных документов, скопированных с них с помощью узоров. В известном способе узоры представляют собой разновидность видимых аутентификационных узоров, которые образуют определенный фон. Узоры формируются с применением ключа псевдослучайным способом. Для распознавания и измерения степени расхождения между ними сравнивают захваченное изображение аналогового узора с исходным цифровым представлением узора. Вследствие искажения изображения при копировании более высока степень расхождения такого захваченного изображения узора, которое не было получено с использованием исходного аналогового узора. Для того чтобы псевдослучайное изображение содержало информацию, его разрезают на блоки, а цвета пикселей каждого блока, представляющего одно из двоичных значений, инвертируют, оставляя неизменными пиксели каждого блока, представляющего другое двоичное значение. Кроме того, может быть использовано другое кодирование двоичного значения блока. На практике блоки должны быть достаточно большими, с тем чтобы указанное двоичное значение надежно считывалось, так что количество информации, которую несет изображение, ограничено. (Описание к патенту РФ №2458395, МПК G06K 9/00, опубл. 10.08.2012, стр. 7, строки 25-45)A known method for recognizing original printed documents and printed documents copied from them using patterns. In the known method, patterns are a type of visible authentication patterns that form a specific background. Patterns are formed using the key in a pseudo-random way. For recognition and measurement of the degree of discrepancy between them, the captured image of the analog pattern is compared with the original digital representation of the pattern. Due to image distortion during copying, a higher degree of divergence of such a captured image of a pattern that was not obtained using the original analogue pattern. In order for the pseudo-random image to contain information, it is cut into blocks, and the pixel colors of each block representing one of the binary values are inverted, leaving the pixels of each block representing the other binary value unchanged. In addition, other encoding of a binary value of a block may be used. In practice, the blocks should be large enough so that the specified binary value is reliably read, so that the amount of information that the image carries is limited. (Description to the patent of the Russian Federation No. 2458395, IPC G06K 9/00, published on 08/10/2012, p. 7, lines 25-45)
Известный способ имеет недостатки. В частности, считывающее устройство должно воспроизводить и сохранять в памяти узор для распознавания копии на этапе сравнения изображений, что одновременно является дорогостоящей и потенциально опасной операцией, поскольку злоумышленник может "считать" память, что позволит ему точно воспроизвести узор для распознавания копии.The known method has disadvantages. In particular, the reader must reproduce and store in memory a pattern for recognizing a copy at the stage of image comparison, which is both an expensive and potentially dangerous operation, since an attacker can “read” the memory, which allows him to accurately reproduce the pattern for copy recognition.
Известен способ для защиты и аутентификации документов, заключающийся в том, что определяют физические характеристики ячеек одной конфигурации в соответствии с указанными условиями печати, в которых доля ячеек, напечатанных с ошибкой печати, возникающей исключительно вследствие непредвиденных переменных, больше, чем заданное первое значение, и меньше, чем заданное второе значение, предоставляют единицу информации путем изменения внешнего вида ячеек, представляющих указанные физические характеристики, печатают указанную конфигурацию с использованием указанных условий печати, причем указанная конфигурация выполнена с обеспечением возможности распознавания копии, модифицирующей внешний вид множества указанных ячеек. (Патент РФ №2458395, МПК G06K 9/00, опубл. 10.08.2012)A known method for the protection and authentication of documents, which consists in determining the physical characteristics of cells of the same configuration in accordance with the specified printing conditions, in which the proportion of cells printed with a printing error that occurs solely due to unforeseen variables is greater than the specified first value, and less than a predetermined second value, provide a unit of information by changing the appearance of the cells representing the specified physical characteristics, print the specified configuration using said printing conditions, wherein said configuration is configured to recognize a copy of modifying the appearance of a plurality of said cells. (RF patent No. 2458395, IPC G06K 9/00, published on 08/10/2012)
Недостатком известного способа является необходимость использования устройства для считывания штрих-кода, а так же возможность замены или сокрытия штрих-кода с документа с сохранением оставшейся информации. Кроме того, недостатком известного способа является отсутствие возможности проведения расследования, направленного на выявление лиц, участвовавших в несанкционированном распространении документа.The disadvantage of this method is the need to use a device for reading a barcode, as well as the ability to replace or hide a barcode from a document while maintaining the remaining information. In addition, the disadvantage of this method is the lack of the possibility of an investigation aimed at identifying persons who participated in the unauthorized distribution of the document.
Известен способ обеспечения безопасности документов, в котором создают изображения, наносят маркировку на множество документов с формированием на каждом документе указанного изображения, содержащего отклонения, уникальные для каждого документа, причем большинство изображений, нанесенных на указанные документы, обладает некоторой физической характеристикой, обеспечивающей защиту от копирования и отвечающей заранее заданному критерию, а указанная характеристика большинства копий этих изображений, которые могут быть изготовлены, не отвечает указанному критерию, получают для каждого указанного документа характеристики указанных отклонений для получения уникального образа нанесенной маркировки и запоминают указанный уникальный образ. (Патент РФ №2477522, МПК G06K 9/00, опубл. 10.03.2013)A known method of ensuring the security of documents in which images are created, marking is applied to many documents with the formation on each document of the specified image containing deviations unique to each document, and most of the images printed on these documents have some physical characteristic that provides copy protection and meeting a predetermined criterion, and the specified characteristic of most copies of these images that can be made is not meets the specified criterion, receive for each specified document the characteristics of these deviations to obtain a unique image of the applied marking and remember the specified unique image. (RF patent No. 2477522, IPC G06K 9/00, publ. 03/10/2013)
Недостатком известного способа является отсутствие возможности проведения расследования, направленного на выявление лиц, участвовавших в несанкционированном распространении документа.The disadvantage of this method is the lack of the possibility of an investigation aimed at identifying persons who participated in the unauthorized distribution of the document.
Наиболее близким по технической сущности к заявляемому способу является способ идентификации печатной формы документа, включающий следующие этапы: этап печати по меньшей мере одного документа упомянутой печатной формой; этап захвата с высоким разрешением по меньшей мере одного изображения по меньшей мере одной части указанного документа; этап извлечения геометрической характеристики по меньшей мере из одного захваченного изображения; этап сохранения извлеченной геометрической характеристики. В процессе идентификации определяют, использовалась ли упомянутая печатная форма для печати документа-кандидата, при этом осуществляют этап захвата с высоким разрешением изображения части упомянутого документа-кандидата, соответствующей части документа, геометрическая характеристика которой была сохранена. Затем осуществляют этап извлечения из изображения упомянутого документа-кандидата геометрической характеристики, соответствующей сохраненной геометрической характеристике, и этап определения того, превосходит ли мера корреляции геометрической характеристики упомянутого документа-кандидата и сохраненной геометрической характеристики заранее заданного предельного значения. (Патент РФ №2511616, МПК G07D 7/20, G06K 9/52, опубл. 10.04.02014 - прототип.Closest to the technical nature of the claimed method is a method for identifying a printed form of a document, comprising the following steps: the step of printing at least one document with said printing form; a high resolution capture step of at least one image of at least one part of said document; a step of extracting a geometric characteristic from at least one captured image; the step of saving the extracted geometric characteristics. In the identification process, it is determined whether said printing form was used to print the candidate document, and the high-resolution image capturing step is carried out of a portion of said candidate document corresponding to a portion of the document whose geometric characteristic has been preserved. Then, the step of extracting from the image of the said candidate document a geometric characteristic corresponding to the stored geometric characteristic is carried out, and the step of determining whether the correlation measure of the geometric characteristic of the candidate document and the stored geometric characteristic exceeds a predetermined limit value. (RF patent No. 2511616, IPC G07D 7/20, G06K 9/52, publ. 10.04.02014 - prototype.
В известном способе для идентификации печатной формы дополнительный узор наносят на изображение, добавляя дополнительную информацию на документ, а не изменяя геометрию составных элементов самого документа. Для осуществления известного способа требуется сложное специальное оборудование и материалы для печати копий. Данный способ является ненадежным способом маркировки, так как нанесенные на изображение специальные знаки могут быть удалены при копировании, и идентификация копии будет невозможна. Кроме того, известный способ не позволяет определить канал несанкционированного распространения документа.In the known method for identifying the printing form, an additional pattern is applied to the image, adding additional information to the document, and not changing the geometry of the constituent elements of the document itself. To implement the known method requires sophisticated special equipment and materials for printing copies. This method is an unreliable marking method, since special characters printed on the image may be deleted during copying and identification of the copy will be impossible. In addition, the known method does not allow to determine the channel of unauthorized distribution of the document.
Техническая задача, на решение которой направлено заявляемое изобретение, состоит в обеспечении защиты документа от несанкционированного распространения и одновременно идентификация лиц, участвующих в распространении документа.The technical problem to which the claimed invention is directed is to protect the document from unauthorized distribution and at the same time to identify the persons involved in the distribution of the document.
Поставленная техническая задача решается тем, что способ модификации и идентификации копии документа путем создания изображения документа, его модификации и идентификации копии документа, согласно заявляемого изобретения, характеризуется тем, что на этапе создания изображения формируют структуру цифровой копии оригинала документа, для этого документ переводят в графическое представление в виде набора растровых изображений для каждой страницы в упорядоченном виде и формируют структуру защищенного документа в виде набора прямоугольных блоков с координатами верхнего левого угла и параметрами ширины и высоты блока, на этапе модификации изображения документа формируют, по меньшей мере, одну персонализированную электронную копию документа с уникальным набором геометрических характеристик графических объектов измененной копии изображения, регистрируют параметры уникального набора геометрических характеристик графических объектов персонализированной электронной копии документа и регистрируют информации о пользователе, запросившем к ней доступ, на этапе идентификации копии документа для установления факта создания и несанкционированного распространения копии документа распознают структуру исследуемой копии документа, из базы данных загружают изображение в виде цифровой копии оригинала документа и его структуру, дополнительно из базы данных загружают все копии оригинального документа со всеми преобразованиями, сгенерированными для данного документа, формируют и сохраняют калибровочную копию документа, сравнивают калибровочную копию документа исследуемую копию документа и все копии оригинального документа со всеми преобразованиями, сгенерированными для данного документа путем наложения изображения образца на изображение калибровочной копии подборки размеров исследуемого образца под размеры калибровочной копии по разнице расстояний между прямоугольными блоками, далее определяют количество совпадающих пикселей калибровочной копии и исследуемого образца путем расчета процента совпадения из соотношения:The stated technical problem is solved in that the method of modifying and identifying a copy of a document by creating an image of a document, modifying it and identifying a copy of a document, according to the claimed invention, is characterized in that at the stage of creating the image, a digital copy structure of the original document is formed, for this the document is translated into a graphic presentation in the form of a set of raster images for each page in an ordered form and form the structure of the protected document in the form of a set of rectangular blocks with the coordinates of the upper left corner and the parameters of the width and height of the block, at the stage of modifying the image of the document form at least one personalized electronic copy of the document with a unique set of geometric characteristics of graphic objects of the modified copy of the image, register the parameters of a unique set of geometric characteristics of graphic objects personalized electronic copy of the document and register information about the user who requested access to it, at the stage of identifying The copies of the document to establish the fact of creating and unauthorized distribution of the document copy recognize the structure of the examined copy of the document, download the image in the form of a digital copy of the original document and its structure from the database, additionally download all copies of the original document from the database with all the transformations generated for this document , form and save the calibration copy of the document, compare the calibration copy of the document, the examined copy of the document and all copies of the original of the original document with all the transformations generated for this document by superimposing the image of the sample on the image of the calibration copy of the sample size of the test sample for the size of the calibration copy according to the distance difference between the rectangular blocks, then determine the number of matching pixels of the calibration copy and the test sample by calculating the percentage of coincidence from the ratio:
где Сробр - количество черных пикселей образца;where Cp mod - the number of black pixels of the sample;
Срориг - количество черных пикселей оригинала;Wed orig - the number of black pixels of the original;
Срсовп - количество совпадающих пикселей,Cf match - the number of matching pixels,
и на основании вычисленного значения Р осуществляют сортировку результатов, по максимальному значению процентов совпадения пикселей созданной ранее персонализированной электронной копии документа и исследуемого образа документа выносят суждение о факте создания и несанкционированного распространения копии документа.and on the basis of the calculated value of P, the results are sorted, according to the maximum value of the percent match of the pixels of the previously created personalized electronic copy of the document and the document image being examined, a judgment is made on the fact of creating and unauthorized distribution of the copy of the document.
Кроме того, формируют базу данных электронных копий документов.In addition, form a database of electronic copies of documents.
Кроме того, цифровую копию оригинала документа используют в качестве эталонного документа.In addition, a digital copy of the original document is used as a reference document.
Кроме того, на этапе создания персонализированной электронной копии документа загружают оригинал изображения документа и структуру защищенного документа, далее формируют последовательность псевдослучайных преобразований для каждого блока структуры страницы документа в виде сдвигов по вертикали и горизонтали заданным образом, на оригинале выделяют блоки изображения, которые были сформированы на этапе защиты документа и к этим блокам применяют сформированную последовательность псевдослучайных преобразований.In addition, at the stage of creating a personalized electronic copy of the document, the original image of the document and the structure of the protected document are loaded, then a sequence of pseudorandom transformations is formed for each block of the page structure of the document in the form of vertical and horizontal shifts in a predetermined manner, image blocks that were formed on the original are selected stage of document protection and the generated sequence of pseudo-random transformations is applied to these blocks.
Кроме того, геометрические характеристики объектов включают координаты прямоугольного блока над объектом относительно всего изображения в виде значений координат двух противоположных углов прямоугольного блока.In addition, the geometric characteristics of the objects include the coordinates of the rectangular block above the object relative to the entire image in the form of coordinate values of two opposite corners of the rectangular block.
Кроме того, геометрические характеристики объектов включают координаты прямоугольного блока над объектом относительно всего изображения в виде значений координат любого угла и значений размеров прямоугольного блока.In addition, the geometric characteristics of the objects include the coordinates of the rectangular block above the object relative to the entire image in the form of coordinate values of any angle and dimensions of the rectangular block.
Технический результат, достижение которого обеспечивается реализацией заявляемой совокупности существенных признаков, заключается в повышении защиты документа от несанкционированного распространения за счет обеспечения возможности идентификации пользователя, допустившего распространение документа.The technical result, the achievement of which is ensured by the implementation of the claimed combination of essential features, is to increase the protection of the document from unauthorized distribution by providing the ability to identify the user who allowed the distribution of the document.
Сущность заявляемого способа поясняется чертежами, гдеThe essence of the proposed method is illustrated by drawings, where
на фиг. 1 представлена схема, поясняющая осуществление заявляемого способа;in FIG. 1 is a diagram explaining the implementation of the proposed method;
на фиг. 2 представлена структура защищенного документа, которая содержит следующие позиции:in FIG. 2 presents the structure of a security document, which contains the following items:
N - количество страниц в документе,N is the number of pages in the document,
М - количество блоков текста на конкретной странице,M - the number of blocks of text on a particular page,
S - количество строк в конкретном блоке текста,S is the number of lines in a particular block of text,
W - количество слов в конкретной строке текста;W is the number of words in a particular line of text;
на фиг. 3 представлена блок-схема алгоритма вычисления структуры документа;in FIG. 3 is a flowchart of an algorithm for calculating a document structure;
на фиг. 4 приведен в виде блок-схемы алгоритма пример расследования и выявления канала несанкционированного распространения копии документа.in FIG. Figure 4 shows an example of an investigation and identification of an unauthorized distribution channel for a copy of a document as a flowchart.
Заявляемый способ включает следующие этапы.The inventive method includes the following steps.
Этап 1 формирования структуры цифровой копии оригинала документаStage 1 of the formation of the structure of a digital copy of the original document
Этап 2 модификации изображения документа при помощи афинных преобразований
Этап включает операции формирования по меньшей мере одной персонализированной электронной копии документа с уникальным набором геометрических характеристик графических объектов, регистрации параметров уникального набора геометрических характеристик графических объектов документа-копии и регистрации информации о пользователе, запросившем доступ к документу (субъекта доступа).The step includes the steps of generating at least one personalized electronic copy of the document with a unique set of geometric characteristics of graphic objects, registering parameters of a unique set of geometric characteristics of graphic objects of a copy document, and registering information about the user requesting access to the document (access subject).
Этап 3 идентификации копии документа для установления факта несанкционированного распространения конфиденциального документа
Для осуществления заявляемого способа используется оригинальное программное обеспечение. Программа для ЭВМ «Модуль маркировки печатных копий конфиденциальных документов», свидетельство о государственной регистрации №2014661621, опубл. 20.12.2014 г. Программа для ЭВМ «Модуль выявления совпадающих печатных копий конфиденциальных документов», свидетельство о государственной регистрации №2014661621, опубл. 20.12.2014 г. Программа для ЭВМ «Программный комплекс для маркировки и выявления совпадающих печатных копий конфиденциальных документов», свидетельство о государственной регистрации №2016661798, опубл. 20.11.2016 г.For the implementation of the proposed method uses the original software. The computer program "The module for marking hard copies of confidential documents", certificate of state registration No. 2014661621, publ. December 20, 2014. The computer program “Module for identifying matching printed copies of confidential documents”, state registration certificate No. 2014661621, publ. December 20, 2014. A computer program “A software package for marking and identifying matching hard copies of confidential documents”, state registration certificate No. 201661798, publ. 11/20/2016
На этапе 1 формирования структуры цифровой копии оригинала документа предварительно формируют цифровую копию оригинала документа и загружают в защищенное хранилище документов и используют его в качестве эталонного документа.At the stage 1 of formation of the structure of a digital copy of the original document, a digital copy of the original document is preliminarily formed and loaded into a secure document repository and used as a reference document.
Формирование структуры цифровой копии документа осуществляют следующим образом.The formation of the structure of a digital copy of the document is as follows.
Предварительно оригинал документа сканируют. При сканировании документа происходит захват (перевод в цифровой вид) маркируемого оригинала документа с разрешением не менее 150 точек на дюйм при помощи сканера документов и загрузка оригинала документа в хранилище. В цифровом виде документ представляет собой последовательность растровых изображений. При этом выполняется приведение документа к стандартному виду, разбиение документа на страницы и обработка каждой страницы документа.Previously, the original document is scanned. When scanning a document, it captures (digitizes) the marked original document with a resolution of at least 150 dpi using a document scanner and loads the original document in the repository. In digital form, a document is a sequence of raster images. In this case, the document is brought to its standard form, the document is divided into pages and each page of the document is processed.
Далее осуществляют формирование структуры документа (фиг. 3), который состоит из следующих шагов.Next, carry out the formation of the structure of the document (Fig. 3), which consists of the following steps.
Шаг 1. Преобразование в бинарное изображениеStep 1. Convert to binary image
Для этого последовательно выполняется приведение формата изображения к градациям серого, т.е. осуществляется удаление информации о цвете конкретного пикселя изображения, и формирование бинарного представления изображения. В этом формате каждый пиксель изображения представлен одним битом.To do this, the image format is converted to grayscale, i.e. the information about the color of a specific pixel in the image is deleted, and the binary representation of the image is formed. In this format, each pixel in the image is represented by one bit.
В изображении бинарного формата каждый пиксель представлен один битом. Для вычисления значения каждого бита (пикселя) вычисляется его значение яркости:In a binary format image, each pixel is represented by one bit. To calculate the value of each bit (pixel), its brightness value is calculated:
где L - итоговая яркость пикселя;where L is the total brightness of the pixel;
R - значение красной компоненты пикселя;R is the value of the red component of the pixel;
G - значение зеленой компоненты пикселя;G is the value of the green component of the pixel;
В - значение синей компоненты пикселя.B is the value of the blue component of the pixel.
Каждому компоненту пикселя присваивается вычисленное значение яркости.Each pixel component is assigned a calculated brightness value.
После приведения изображения к оттенкам серого производится преобразование изображения к бинарному виду.After bringing the image to shades of gray, the image is converted to binary.
Для повышения качества бинарного изображения используется адаптивный алгоритм преобразования, который учитывает значения соседних пикселей.To improve the quality of the binary image, an adaptive conversion algorithm is used that takes into account the values of neighboring pixels.
Для примера рассмотрим изображение в оттенках серого, где для значения каждого пикселя с координатами (х,у) определено его значение l(x,у)∈[0,255). Тогда значение пикселя бинарного изображения определяется по следующей формуле:As an example, consider a grayscale image where for the value of each pixel with coordinates (x, y) its value l (x, y) ∈ [0,255) is defined. Then the pixel value of the binary image is determined by the following formula:
где t - пороговое значение яркости пикселя, которое является константой и задается перед началом процесса бинаризации.where t is the threshold value of the brightness of the pixel, which is a constant and is set before the start of the binarization process.
Адаптивный подход бинаризации изображения, разработанный Дж. Сауволой (J. Sauvola and М. Pietikainen, "Adaptive document image binarization" Pattern Recognition 33(2000) / Дж. Саувола, M. Петикайнен «Адаптивная бинаризация изображений документов» Распознавание образов 33(2000)), предлагает пороговое значение яркости t(x,y) вычислять на основе среднего значения m(x,y) и среднеквадратического отклонения d(x,y), определенного для пикселей в окне w×w, от центрованного относительно пикселя (х,у):Adaptive image binarization approach developed by J. Sauvola (J. Sauvola and M. Pietikainen, "Adaptive document image binarization" Pattern Recognition 33 (2000) / J. Sauvola, M. Petikainen "Adaptive document image binarization" Pattern recognition 33 (2000) ), suggests that the luminance threshold value t (x, y) be calculated based on the average value of m (x, y) and the standard deviation d (x, y) defined for pixels in the w × w window, centered on the pixel (x, y ):
где R - это максимальное среднеквадратичное отклонение, для изображений в формате градаций серого - 128,where R is the maximum standard deviation, for images in the format of grayscale - 128,
k - параметр, определенный в интервале [0.2,0.5]. В текущей реализации используется значение, по умолчанию равное k=0.2.k is a parameter defined in the interval [0.2,0.5]. In the current implementation, the default value is k = 0.2.
Для упрощения расчета среднего значения и среднеквадратичного отклонения используется интегральное изображение (Faisal Shafait, Daniel Keysers, Thomas M. Breuel, "Efficient Implementation of Local Adaptive Thresholding Techniques Using Integral Images", Proc. SPIE 6815, Document Recognition and Retrieval XV, 681510 (January 28, 2008) / Файсал Шафит, Даниэль Кейсерс, Томас М. Бреулэл «Эффективная реализация локальных адаптивных методов пороговой обработки с помощью интегрального изображения», Распознавание и поиск документов XV, 681510 (28 января 2008 г)). В таком изображении значение отдельного пикселя определяется суммой значений пикселей, координаты которых меньше либо равны координатам пикселя, для которого ведется расчет. Значение пикселя в интегральном изображении (I) определяется по следующей формуле:To simplify the calculation of the mean and standard deviation, an integrated image is used (Faisal Shafait, Daniel Keysers, Thomas M. Breuel, "Efficient Implementation of Local Adaptive Thresholding Techniques Using Integral Images", Proc. SPIE 6815, Document Recognition and Retrieval XV, 681510 (January 28, 2008) / Faisal Shafit, Daniel Keyesers, Thomas M. Breulle “Effective Implementation of Local Adaptive Threshold Processing Methods Using Integrated Image”, Document Recognition and Search XV, 681510 (January 28, 2008)). In such an image, the value of a single pixel is determined by the sum of the values of the pixels whose coordinates are less than or equal to the coordinates of the pixel for which the calculation is being performed. The pixel value in the integrated image (I) is determined by the following formula:
Тогда для расчета среднего значения можно использовать следующую формулу:Then, to calculate the average value, you can use the following formula:
Расчет квадрата значения пикселя осуществляется схожим образом: осуществляется расчет среднего значения, но используется интегральное изображение, построенное по квадратам значений пикселей изображения.The calculation of the square of the pixel value is carried out in a similar way: the average value is calculated, but an integral image is used, built on the squares of the pixel values of the image.
Шаг 2. Создание списка связанных компонентов
«Связанный компонент» в контексте анализа изображений - это компонент, определяемый набором пикселей таким образом, что для каждого пикселя из набора по отношению к соседним выполняется правило связности.A “connected component” in the context of image analysis is a component defined by a set of pixels in such a way that for each pixel in the set with respect to neighboring ones, the rule of connectivity is fulfilled.
Для составления списка связанных компонентов используется восьмипиксельная связанность, при которой выполняется правило: связанные пиксели - это пиксели, у которых есть одна общая грань или общий угол (расположены по диагонали относительно друг друга). Математически связанные пиксели определяются следующими условиями: для пикселя с координатами (х,у), связанными являются пиксели, для которых выполняется условие четырех пиксельной связанности и пиксели с координатами: (x±1,у±1) и 
Для составления списка связанных компонентов используется классический двухпроходный алгоритм. В первом проходе осуществляется маркировка каждого черного пикселя. Если у пикселя отсутствуют соседние черные пиксели, то такому пикселю присваивает новый номер (ярлык). Если у пикселя присутствуют соседние пиксели, то все черные пиксели объединяются под одним номером. Во втором проходе создаются связанные компоненты из пикселей с одним и тем же номером. Связанный компонент определяется набором пикселей и двумя крайними точками, которые определяют прямоугольник, который охватывает все пикселиA classic two-pass algorithm is used to compile a list of related components. In the first pass, each black pixel is marked. If a pixel has no adjacent black pixels, then a new number (label) is assigned to that pixel. If a pixel has adjacent pixels, then all black pixels are combined under the same number. In the second pass, related components are created from pixels with the same number. A related component is defined by a set of pixels and two extreme points that define a rectangle that spans all pixels
Шаг 3. Формирование структуры слов и строк из связных компонентов посредством вычисления спектра документа
Спектр документа представляют в виде столбчатой диаграммы, где каждому пикселю высоты или ширины изображения формируется столбец, по высоте соответствующий количеству черных (или белых в инвертированном варианте) пикселей с совпадающей координатой высоты или ширины соответственно.The spectrum of the document is presented in the form of a bar chart, where each pixel of the image height or width is formed by a column corresponding in height to the number of black (or inverted white) pixels with the same height or width coordinate, respectively.
Формирование структуры документа осуществляется из списка связанных компонентов, определенных при создании списка связанных компонентов.The formation of the document structure is carried out from the list of related components defined when creating a list of related components.
Для определения слов и строк в изображении используется алгоритм построения спектра документа (O'Gorman, L. "The document spectrum for page layout analysis" Pattern Analysis and Machine Intelligence, IEEE Transactions on (Volume: 15, Issue: 11), pp. 1162-1173, 1993. / О'Горман, «Спектр документов для анализа макета» Анализ Образов и Машинный Интеллект 1993).To determine the words and lines in the image, the document spectrum algorithm (O'Gorman, L. "The document spectrum for page layout analysis" Pattern Analysis and Machine Intelligence, IEEE Transactions on (Volume: 15, Issue: 11), pp. 1162 -1173, 1993. / O'Gorman, “Range of Documents for Layout Analysis” Image Analysis and Machine Intelligence 1993).
Таким образом, при формировании структуры документа пользователь отправляет команду на защиту документа. Документ переводится в графическое представление (если документ не является скан-образом, а является цифровым документом, например, в форматах MS Office или PDF). Графическим представлением документа является набор растровых изображений для каждой страницы в упорядоченном виде. Формируется структура защищенного документа.Thus, when forming the structure of the document, the user sends a command to protect the document. The document is translated into a graphical representation (if the document is not a scan image, but is a digital document, for example, in MS Office or PDF formats). A graphic representation of a document is a set of raster images for each page in an ordered manner. The structure of the protected document is formed.
Структура защищенного документа показана на фиг. 2. Каждый блок, показанный на фиг. 2, является прямоугольником с координатами верхнего левого угла и параметрами ширины и высоты блока. Формируется база данных электронных копий документов. Далее выполняется автоматический перенос образа документа в защищенную область хранения базы данных, доступ к которой запрещен для всех пользователей корпоративной сети. Структура защищенного документа сохраняется в отдельном виде и связывается с образом документа-оригинала. Результатом является древовидная структура, содержащая список строк и слов в строках.The structure of the security document is shown in FIG. 2. Each block shown in FIG. 2, is a rectangle with the coordinates of the upper left corner and the parameters of the width and height of the block. A database of electronic copies of documents is being formed. Next, the document image is automatically transferred to the secure storage area of the database, access to which is prohibited for all users of the corporate network. The structure of the protected document is saved in a separate form and associated with the image of the original document. The result is a tree structure containing a list of lines and words in lines.
При запросе пользователя доступа к содержимому документа, для которого были выполнены процедуры преобразования в защищенный документ и сохранения его структуры в базе данных, осуществляется этап 2 способа, а именно происходит перехватывание обращения и осуществляется процесс формирования персонализированной электронной копии документа с уникальным набором геометрических характеристик графических объектов измененной копии изображения. В случае многостраничного документа процедура выполняется для каждой страницы параллельно или последовательно.When a user requests access to the contents of a document for which the procedures for converting to a protected document and saving its structure in the database have been performed,
Основное преимущество заявляемого способа на данном этапе состоит в том, что перехватывание обращения и подмена исходного документа на модифицированный позволяет производить встраивание заявляемого решения в готовые системы документооборота прозрачным образом, т.е. пользователь не замечает разницы между процессами работы с участием нашей системы или без него.The main advantage of the proposed method at this stage is that intercepting the appeal and replacing the original document with a modified one allows embedding the claimed solution in the finished document management systems in a transparent manner, i.e. the user does not notice the difference between the processes of work with or without our system.
Процедура создания персонализированной электронной копии конфиденциального документа выполняют следующим образом. В память загружают оригинал изображения и структуру документа, сформированную на этапе защиты документа. Далее формируется последовательность псевдослучайных преобразований для каждого блока структуры страницы документа, в виде сдвигов по вертикали и горизонтали определенным образом. На оригинале выделяются блоки изображения, которые были сформированы на этапе защиты документа. К этим блокам применяется сформированная последовательность псевдослучайных преобразований. Страницы документа сохраняются во временные файлы формата PNG. Из этих файлов формируется PDF-файл с установленной защитой от печати. Сформированный PDF-файл сохраняется в папке хранилища, доступной только тому пользователю, для которого была сформирована копия. Так же на этот документ накладывается маска прав доступа, запрещающая получение содержимого документа всем пользователям, за исключением владельца копии. Временные файлы с изображением страниц удаляются с файловой системы сервера.The procedure for creating a personalized electronic copy of a confidential document is as follows. The original image and the document structure formed at the stage of document protection are loaded into the memory. Next, a sequence of pseudo-random transformations is formed for each block of the page structure of the document, in the form of vertical and horizontal shifts in a certain way. The original blocks of the image that were formed at the stage of protection of the document. The generated sequence of pseudo-random transformations is applied to these blocks. Document pages are saved as temporary PNG files. From these files, a PDF file with installed print protection is formed. The generated PDF file is saved in the storage folder, accessible only to the user for whom the copy was generated. Also, an access mask is imposed on this document, which prohibits the receipt of the contents of the document to all users, except for the owner of the copy. Temporary page files are deleted from the server file system.
В процессе постраничного извлечения и анализа изображения на изображении страницы документа выявляют геометрические характеристики графических объектов (символов и встроенных в страницу изображений), производится группировка объектов до уровня отдельных слов с группировкой по строкам и отдельных изображений в рамках страницы. Полученные геометрические характеристики множества выявленных объектов сохраняются в базе данных. Геометрические характеристики объектов содержат координаты описанного прямоугольника над объектом относительно всего изображения и могут быть представлены в следующих видах:In the process of page-by-page extraction and analysis of the image on the image of the document page, the geometric characteristics of graphic objects (characters and images embedded in the page) are detected, objects are grouped to the level of individual words with grouping by lines and individual images within the page. The obtained geometric characteristics of the set of identified objects are stored in the database. The geometric characteristics of the objects contain the coordinates of the described rectangle above the object relative to the entire image and can be represented in the following forms:
- координаты двух противоположных углов прямоугольника (например: верхний левый и правый нижний угол);- coordinates of two opposite corners of the rectangle (for example: upper left and lower right corner);
- координаты любого угла и размеры прямоугольника (например: верхний левый угол, высота и ширина).- coordinates of any angle and dimensions of the rectangle (for example: upper left corner, height and width).
Геометрические характеристики объектов могут иметь любые единицы измерения, например точки, дюймы, сантиметры и прочее.The geometric characteristics of objects can have any unit of measure, for example, points, inches, centimeters, etc.
При установлении факта обнародования конфиденциального документа сотрудником службы безопасности проводится расследование с целью выяснения канала несанкционированного распространения и личности владельца неправомерно обнародованной копии (фиг. 4). Для этих целей создается специализированная папка расследования. Сотрудник службы безопасности выбирает документ, по которому проводится расследование, диапазон дат, в котором могла быть получена копия, страницу документа, для которой есть образец.When establishing the fact of the publication of a confidential document by a security officer, an investigation is conducted to determine the channel of unauthorized distribution and the identity of the owner of the illegally published copy (Fig. 4). For these purposes, a specialized investigation folder is created. The security officer selects the document under investigation, the date range in which a copy could be obtained, the page of the document for which there is a sample.
Для идентификации копии документа для установления факта несанкционированного обнародования конфиденциального документа загружают изображение страницы копии документа, распознают структуру исследуемой страницы копии документа. Из защищенной базы данных загружается изображение оригинала документа и его структура. Из защищенной базы данных также загружаются все преобразования, сгенерированные для этого документа за определенный период. Формируется и сохраняется калибровочная копия документа. Для калибровки используется интерфейс, который позволяет выбирать соответствующие блоки на образце и на калибровочной копии.To identify a copy of a document to establish the fact of unauthorized publication of a confidential document, the image of the page of the copy of the document is downloaded, the structure of the examined page of the document copy is recognized. An image of the original document and its structure are loaded from a secure database. From the protected database, all transformations generated for this document for a certain period are also downloaded. A calibration copy of the document is generated and saved. For calibration, an interface is used that allows you to select the appropriate blocks on the sample and on the calibration copy.
Далее сравнивают калибровочную копию документа и образца исследуемой копии документа. Для этого осуществляют подборку размеров исследуемого образца под размеры калибровочной копии по разнице расстояний между блоками. Генерируют копии оригинального документа для всех преобразований, полученных за определенный период. Накладывают изображения образца на изображение калибровочной копии. Определяют количество совпадающих пикселей калибровочной копии и исследуемого образца путем расчета процента совпадения из соотношения:Next, a calibration copy of the document and a sample of the test copy of the document are compared. To do this, carry out the selection of the sizes of the test sample for the size of the calibration copy according to the difference in the distances between the blocks. Copies of the original document are generated for all conversions received over a given period. Overlay the image of the sample on the image of the calibration copy. The number of matching pixels of the calibration copy and the test sample is determined by calculating the percentage of coincidence from the ratio:
где Сробр - количество черных пикселей образца;where Cp mod - the number of black pixels of the sample;
Срориг - количество черных пикселей оригинала;Wed orig - the number of black pixels of the original;
Срсовп - количество совпадающих пикселей.Cf match - the number of matching pixels.
На основании вычисленного значения Р осуществляют сортировку результатов и по максимальному значению процентов совпадения пикселей созданной ранее персонализированной электронной копии документа и исследуемого образа документа определяют факт создания и несанкционированного распространения копии документа.Based on the calculated value of P, the results are sorted, and the fact of creation and unauthorized distribution of the copy of the document is determined by the maximum value of the percentage of pixels matching the previously created personalized electronic copy of the document and the document image being examined.
По итогам проведения расследования результаты идентификации позволяют сотруднику службы безопасности получить информацию о пользователе, для которого была создана персонализированная электронная копия документа, о дате создания персонализированной электронной копии документа, проценте совпадения персонализированной электронной копии и образа документа.Based on the results of the investigation, the identification results allow the security officer to obtain information about the user for whom the personalized electronic copy of the document was created, the date the personalized electronic copy of the document was created, the percentage of matching the personalized electronic copy and the image of the document.
Таким образом, использование заявляемого способа позволяет однозначно установить канал несанкционированного распространения, в частности пользователя, допустившего умышленно либо в следствии не соблюдения регламентов или правил обращения с конфиденциальными документами несанкционированное распространение конфиденциального документа.Thus, the use of the proposed method allows you to uniquely establish a channel of unauthorized distribution, in particular of a user who deliberately or as a result of not observing the regulations or rules for handling confidential documents unauthorized distribution of a confidential document.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016148703A RU2646341C1 (en) | 2016-12-12 | 2016-12-12 | Method of modification and identification the copy of the document for the installation the unauthorized distribution channel |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016148703A RU2646341C1 (en) | 2016-12-12 | 2016-12-12 | Method of modification and identification the copy of the document for the installation the unauthorized distribution channel |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2646341C1 true RU2646341C1 (en) | 2018-03-02 |
Family
ID=61568508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016148703A RU2646341C1 (en) | 2016-12-12 | 2016-12-12 | Method of modification and identification the copy of the document for the installation the unauthorized distribution channel |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2646341C1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2699234C1 (en) * | 2018-08-08 | 2019-09-05 | Общество с ограниченной ответственностью "Инновационные технологии" | Method of safe use of an electronic document |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5568550A (en) * | 1994-10-05 | 1996-10-22 | Shmuel Ur | Method and system for identifying documents generated by an unauthorized software copy |
| US7461778B2 (en) * | 2004-05-18 | 2008-12-09 | Silverbrook Research Pty Ltd | Method of identifying a copied security document |
| RU2458395C2 (en) * | 2006-07-19 | 2012-08-10 | Эдванст Трэк Энд Трэйс | Methods and apparatus for ensuring integrity and authenticity of documents |
| RU2477522C2 (en) * | 2006-06-01 | 2013-03-10 | Эдванст Трэк Энд Трэйс | Method and apparatus for protecting documents |
| RU2511616C2 (en) * | 2008-06-02 | 2014-04-10 | Эдванст Трэк Энд Трэйс | Method of identification of printed form of document and device for this purpose |
-
2016
- 2016-12-12 RU RU2016148703A patent/RU2646341C1/en active IP Right Revival
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5568550A (en) * | 1994-10-05 | 1996-10-22 | Shmuel Ur | Method and system for identifying documents generated by an unauthorized software copy |
| US7461778B2 (en) * | 2004-05-18 | 2008-12-09 | Silverbrook Research Pty Ltd | Method of identifying a copied security document |
| RU2477522C2 (en) * | 2006-06-01 | 2013-03-10 | Эдванст Трэк Энд Трэйс | Method and apparatus for protecting documents |
| RU2458395C2 (en) * | 2006-07-19 | 2012-08-10 | Эдванст Трэк Энд Трэйс | Methods and apparatus for ensuring integrity and authenticity of documents |
| RU2511616C2 (en) * | 2008-06-02 | 2014-04-10 | Эдванст Трэк Энд Трэйс | Method of identification of printed form of document and device for this purpose |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2699234C1 (en) * | 2018-08-08 | 2019-09-05 | Общество с ограниченной ответственностью "Инновационные технологии" | Method of safe use of an electronic document |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11062163B2 (en) | Iterative recognition-guided thresholding and data extraction | |
| US10373033B2 (en) | Two dimensional barcode and method of authentication of such barcode | |
| KR101585029B1 (en) | Recognition and classification system of document | |
| US6983056B1 (en) | Method and device for embedding and detecting watermarking information into a black and white binary document image | |
| USRE44982E1 (en) | Mixed code, and method and apparatus for generating the same | |
| Piva | An overview on image forensics | |
| US6011857A (en) | Detecting copy restrictive documents | |
| US20060008113A1 (en) | Image processing system and image processing method | |
| JP4378413B2 (en) | Image processing apparatus, image forming apparatus, image reading apparatus, image processing system, image processing method, image processing program, and recording medium thereof | |
| van Beusekom et al. | Automatic authentication of color laser print-outs using machine identification codes | |
| US20080292189A1 (en) | Image processing apparatus, image forming apparatus, image processing system, and image processing method | |
| EP1400371A1 (en) | ID card, ID card issuing device, and ID card reading device | |
| US5974200A (en) | Method of locating a machine readable two dimensional barcode within an image | |
| CN108830275A (en) | Dot character, the recognition methods of dot matrix digit and device | |
| US7787152B2 (en) | Copy detection system using correlations of copy detection patterns | |
| RU2646341C1 (en) | Method of modification and identification the copy of the document for the installation the unauthorized distribution channel | |
| Van Beusekom et al. | Automatic counterfeit protection system code classification | |
| US7827171B2 (en) | Copy detection using contour analysis | |
| KR101030548B1 (en) | Color laser printer identification system and method by analyzing halftone texture of cyan color image | |
| US11872832B2 (en) | Texture-based authentication of digital identity documents | |
| KR101972857B1 (en) | Method for managing security of output document and document managing server based deep learning | |
| Kumar et al. | Forgery Activity Analyzer | |
| CN115082728A (en) | Picture classification method, device, equipment and medium | |
| Sun et al. | Trinary Image Mosaicing Based Watermark String Detection | |
| JPH10222674A (en) | Method for automatically collating stamp and device therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20191213 |
|
| HE4A | Change of address of a patent owner |
Effective date: 20210406 |
|
| NF4A | Reinstatement of patent |
Effective date: 20210517 |