RU114538U1 - PROBABILITY ANTI-VIRUS ANALYSIS OF OBJECTS - Google Patents

Abstract

1. Система вероятностного антивирусного анализа объектов, содержащая средство хранения коллекции известных объектов, средство подсчета коэффициентов классификаторов, средство хранения коллекции коэффициентов классификаторов для известных объектов, локальное средство обновления коэффициентов классификаторов, локальное средство хранения коэффициентов классификаторов для известных объектов, локальное средство сравнения, локальное средство подсчета коэффициентов классификаторов, локальное средство анализа неизвестных объектов, отличающаяся тем, что она дополнительно содержит средство хранения известных легитимных объектов, генератор N-грамм, локальный генератор N-грамм, средство лечения и удаления вредоносных объектов, фабрику классификаторов, расширяемый набор классификаторов, локальную фабрику классификаторов и обновляемую базу данных известных объектов в виде коллекции коэффициентов классификаторов. ! 2. Система по п.1, отличающаяся тем, что в качестве классифицируемого объекта используется файл, область диска или процесс в памяти. 1. The system of probabilistic anti-virus analysis of objects, containing a storage facility for a collection of known objects, a means for calculating the coefficients of classifiers, a storage facility for a collection of classifier coefficients for known objects, a local facility for updating classifier coefficients, a local storage facility for classifier coefficients for known objects, a local comparison facility, a local facility for calculating the coefficients of classifiers, a local tool for analyzing unknown objects, characterized in that it additionally contains a means for storing known legitimate objects, an N-gram generator, a local N-gram generator, a means for treating and removing malicious objects, a classifier factory, an expandable set of classifiers, a local factory classifiers and an updated database of known objects in the form of a collection of classifier coefficients. ! 2. The system according to claim 1, characterized in that a file, a disk area or a process in memory is used as the classified object.

Description

Полезная модель относится к системам компьютерной безопасности, преимущественно к системам антивирусного анализа объектов, и может быть использована как в составе компьютерной системы безопасности, антивирусного пакета программного обеспечения, так и в качестве самостоятельного программного продукта или компонента.The utility model relates to computer security systems, mainly to systems of anti-virus analysis of objects, and can be used both as part of a computer security system, anti-virus software package, or as an independent software product or component.

Известна система сравнения объектов для определения их тождественности или принадлежности к выбранным классам, состоящая из хранилища известных объектов, средства генерации сигнатур и средства сравнения сигнатур, которая генерирует сигнатуру для известного и неизвестного файла и определяет тождественность файлов путем сравнения их сигнатур. [1] Такая система, в частности, широко применяется для детектирования вредоносных файлов.A known system for comparing objects to determine their identity or belonging to selected classes, consisting of a repository of known objects, a signature generation tool and a signature comparison tool that generates a signature for a known and unknown file and determines the identity of files by comparing their signatures. [1] Such a system, in particular, is widely used to detect malicious files.

Основным существенным недостатком известной системы сравнения объектов для определения их тождественности, применительно к антивирусному анализу, является ее неспособность обнаружить как видоизмененные версии тождественных объектов, так и новые неизвестные ранее объекты, обладающие существенными отличительными признаками уже известных объектов.The main significant drawback of the well-known system for comparing objects to determine their identity, as applied to antivirus analysis, is its inability to detect both modified versions of identical objects and new previously unknown objects that have significant distinguishing features of already known objects.

Наиболее близким к заявленному техническому решению является система для быстрого обнаружения похожих объектов с использованием сверток, содержащая средство хранения коллекции известных объектов, средство подсчета сверток, средство обновления сверток, средство хранения коллекции сверток известных объектов, локальное средство обновления сверток, локальное средство хранения коллекции сверток известных объектов, локальное средство сравнения сверток, локальное средство подсчета сверток, локальное средство анализа неизвестных объектов, которая обеспечивает детектирование объектов, похожих на уже известные, путем сравнения специальным образом подобранных характеристик файла с имеющейся базой данных выбранных характеристик. [2]Closest to the claimed technical solution is a system for quickly detecting similar objects using convolutions, comprising means for storing a collection of known objects, means for counting convolutions, means for updating convolutions, means for storing a collection of convolutions for known objects, a local means for updating convolutions, a local means for storing a collection of known objects, local convolution comparison tool, local convolution calculation tool, local unknown analysis tool s, which provides detection of objects similar to those already known by comparing specially selected file characteristics with an existing database of selected characteristics. [2]

Основными существенными недостатками известного аналога, выбранного автором в качестве прототипа заявляемой полезной модели, являются неспособность системы определять новые неизвестные ранее объекты, кардинально отличающиеся по своему содержимому и по сверткам, но, тем не менее обладающие существенными отличительными признаками уже известных объектов, а применительно к антивирусному анализу - неспособность определять ранее не изученные и не встречавшиеся версии вредоносных программ, существенно отличающиеся от уже известных по своему бинарному содержимому, но, тем не менее, использующие сходные с уже известными структуру, методы заражения, методы осуществления вредоносной деятельности, а также стилистический почерк создателя.The main significant disadvantages of the known analogue, chosen by the author as a prototype of the claimed utility model, are the system’s inability to detect new previously unknown objects that are radically different in content and convolution, but nevertheless possessing significant distinguishing features of already known objects, and with respect to antivirus analysis - the inability to identify previously unexplored and unrecognized versions of malware that differ significantly from those already known it binary content, but, nevertheless, using similar to the known structure infection methods, methods of malicious activity and stylistic writing creator.

Главной задачей, решаемой заявляемой полезной моделью, является: повышение уровня безопасности компьютера за счет более раннего обнаружения новых видов вредоносных программ еще до обновления антивирусных баз и до того, как эти новые виды вредоносных программ попадут в антивирусную лабораторию. Поставленная задача решается в полезной модели за счет того, что она дополнительно содержит средство хранения известных легитимных объектов, генератор N-грамм, который разбивает известные вредоносные и легитимные объекты на N-граммы, а также ранжирует N-граммы по их информационной и статистической значимости для объекта и выделяет верхние К N-грамм, для которых значение информационной и статистической значимости наивысшее, локальный генератор N-грамм, средство лечения и удаления вредоносных объектов.The main task to be solved by the claimed utility model is: increasing the level of computer security due to the earlier detection of new types of malware even before updating the anti-virus databases and before these new types of malware get into the anti-virus laboratory. The problem is solved in a utility model due to the fact that it additionally contains a means of storing known legitimate objects, an N-gram generator that breaks down known malicious and legitimate objects into N-grams, and also ranks N-grams by their informational and statistical significance for object and selects the upper K N-grams, for which the value of information and statistical significance is the highest, a local N-gram generator, a means of treatment and removal of malicious objects.

Система также дополнительно содержит фабрику классификаторов, расширяемый набор классификаторов и локальную фабрику классификаторов, а обновляемая база данных известных объектов (коллекция сверток) имеет вид коллекции коэффициентов классификаторов.The system also additionally contains a classifier factory, an expandable set of classifiers and a local classifier factory, and the updated database of known objects (a collection of convolutions) has the form of a collection of classifier coefficients.

Кроме того, поставленная задача решается в полезной модели за счет того, что в ней в качестве классифицируемого объекта используется файл, область диска или процесс в памяти.In addition, the problem is solved in a utility model due to the fact that it uses a file, disk area, or process in memory as a classified object.

Ни из патентно-технической литературы, ни из практики конструирования систем антивирусного анализа не известно о ее конструкции и, в частности, методе генерации, хранения и сравнения коэффициентов, полученных путем классификации специальным образом подобранных N-грамм, идентичного с заявляемым в полезной модели. Правомерен вывод о соответствии заявленного технического решения критерию «новизна».Neither from the patent technical literature, nor from the practice of designing anti-virus analysis systems, it is known about its design and, in particular, the method of generating, storing and comparing the coefficients obtained by classifying specially selected N-grams that are identical to those claimed in the utility model. The conclusion that the claimed technical solution meets the criterion of "novelty" is valid.

Совокупность новых и общих для прототипа и заявляемого технического решения существенных признаков может быть реализована множество раз. При этом достигается один и тот же эффект и решается главная задача, поставленная полезной моделью, указанная выше. Следует сделать правомерный вывод о соответствии заявленного решения критерию «промышленная применимость».The combination of new and common for the prototype and the claimed technical solution of the essential features can be implemented many times. At the same time, the same effect is achieved and the main task posed by the utility model described above is solved. A legitimate conclusion should be drawn on the conformity of the declared decision with the criterion of “industrial applicability”.

Сущность заявляемого технического решения поясняется схемой компонентов системы вероятностного антивирусного анализа. Система состоит из коллекции известных вредоносных объектов 1, коллекции известных легитимных объектов 2, генератора N-грамм 3, фабрики классификаторов 4, коллекции коэффициентов классификаторов известных объектов 5, локальной коллекции коэффициентов классификаторов известных объектов 7, локального средства анализа неизвестных объектов 8, локального генератора N-грамм 9, локальной фабрики классификаторов 10 и средства лечения и удаления вредоносных объектов 11. Дополнительно на схеме обозначены среда, средства и методы обновления 6, выражающие совокупность средств и методов регулярного обновления данных локальной коллекции коэффициентов классификаторов известных объектов 7 за счет новых данных из коллекции коэффициентов классификаторов известных объектов 5, как входящих в состав системы, так и внешних по отношению к системе. Кроме того, на схеме обозначены примеры классификаторов, используемых фабрикой классификаторов 4: дерево принятия решений 12, нейронная сеть 13, SVM (Support Vector Machine - машина поддерживающих векторов) 14 и другие возможные типы классификаторов 15.The essence of the proposed technical solution is illustrated by the diagram of the components of a probabilistic antivirus analysis system. The system consists of a collection of known malicious objects 1, a collection of known legitimate objects 2, an N-gram generator 3, a classifier factory 4, a collection of classifier coefficients for known objects 5, a local collection of classifier coefficients for known objects 7, a local means for analyzing unknown objects 8, a local generator N -gram 9, local classifiers factory 10 and means of treatment and removal of malicious objects 11. Additionally, the diagram shows the environment, means and methods of updating 6, I express a set of tools and methods for regularly updating the data of the local collection of coefficients of classifiers of known objects 7 due to new data from the collection of coefficients of classifiers of known objects 5, both included in the system and external to the system. In addition, the diagram shows examples of classifiers used by the classifier factory 4: decision tree 12, neural network 13, SVM (Support Vector Machine) 14 and other possible types of classifiers 15.

Система вероятностного антивирусного анализа работает следующим образом. Генератор N-грамм 3 переводит объекты, содержащиеся в коллекции известных вредоносных объектов 1 и коллекции известных легитимных объектов 2 в последовательности N-грамм. После этого генератор N-грамм ставит в соответствие каждому из упомянутых выше объектов К наиболее важных для объекта с информационной и статистической точек зрения N-грамм. Информационная и статистическая значимость N-грамма для объекта определяется разнообразными методами, такими как вычисление прироста информации или усредненной взаимной информации, метрикой TF*IDF и другими. Каждому объекту ставится в соответствие вектор характеристик, состоящий из всех присутствующих во всех объектах обеих коллекций наиболее характерных N-грамм, при этом характеристикой является бинарный факт присутствия или отсутствия заданной N-граммы в заданном объекте.A probabilistic antivirus analysis system works as follows. The N-gram generator 3 translates the objects contained in the collection of known malicious objects 1 and the collection of known legitimate objects 2 in the sequence of N-grams. After that, the N-gram generator assigns to each of the above objects K the most important objects for the object from the information and statistical points of view of N-grams. The informational and statistical significance of the N-gram for an object is determined by various methods, such as calculating the growth of information or averaged mutual information, the metric TF * IDF and others. Each object is associated with a vector of characteristics, consisting of all the most characteristic N-grams present in all objects of both collections, the characteristic being the binary fact of the presence or absence of a given N-gram in a given object.

Фабрика классификаторов 4 производит обучение каждого из подключенных к ней классификаторов 12-15 на образовавшемся массиве векторов характеристик объектов, при этом каждый из классификаторов обучается относить объект к одному из двух классов: С1 (вредоносные объекты) и С2 (легитимные объекты). Затем фабрика классификаторов производит тестирование подобранных в процессе обучения коэффициентов классификаторов путем разделения коллекций известных вредоносных и легитимных объектов на обучающее и проверочное множества с тем, чтобы: 1) Выявить вклад каждого из классификаторов в правильное разделение объектов на классы и присвоить каждому из классификаторов соответствующий коэффициент; 2) Подобрать наилучшие с точки зрения точности классификации величины К и N. Получившиеся в результате этого процесса набор обученных коэффициентов каждого из классификаторов, набор коэффициентов вклада классификаторов, а также величины К и N образуют коллекцию коэффициентов классификаторов известных объектов 5.Classifier Factory 4 trains each of the classifiers 12-15 connected to it on the resulting array of object characteristic vectors, while each of the classifiers is trained to attribute the object to one of two classes: C1 (malicious objects) and C2 (legitimate objects). Then, the classifiers factory tests the classifiers coefficients selected during the training process by dividing the collections of known malicious and legitimate objects into training and verification sets in order to: 1) Identify the contribution of each classifier to the correct division of objects into classes and assign an appropriate coefficient to each classifier; 2) Choose the best values of K and N from the point of view of classification accuracy. The resulting set of trained coefficients of each of the classifiers, the set of contribution coefficients of the classifiers, and the values of K and N form a collection of coefficients of classifiers of known objects 5.

Коллекция коэффициентов классификаторов известных объектов 5 средствами сети Интернет, интранет, переносных хранилищ информации и других методов, а также с привлечением всех необходимых внешних и внутренних средств проверки, генерации, передачи, приемки и обработки обновлений переносится на компьютеры и серверы конечных пользователей. Итогом данного процесса становится обновленная локальная коллекция коэффициентов классификаторов известных объектов 7.The collection of classifier coefficients of known objects 5 by means of the Internet, intranets, portable information storages and other methods, as well as involving all necessary external and internal means of checking, generating, transmitting, receiving and processing updates, is transferred to computers and end-user servers. The result of this process is an updated local collection of coefficients of classifiers of known objects 7.

Локальное средство анализа неизвестных объектов 8 получает очередной неизвестный объект и передает его в локальный генератор N-грамм 9. Локальный генератор N-грамм преобразует проверяемый объект в последовательность N-грамм, выделяет К наиболее характерных для объекта N-грамм и преобразует их в вектор характеристик тем же способом, которым аналогичную операцию с известными объектами ранее выполнял генератор N-грамм 3. Затем локальная фабрика классификаторов 10, используя коэффициенты из локальной коллекции коэффициентов классификаторов известных объектов, а также характеристический вектор неизвестного объекта, относит неизвестный объект к классу вредоносных или легитимных объектов, с помощью операции, обратной операции машинного обучения, которая была произведена фабрикой классификаторов 4. В случае, если неизвестный объект был отнесен к классу вредоносных объектов, он направляется в средство лечения и удаления вредоносных объектов 11.The local tool for analyzing unknown objects 8 receives another unknown object and transfers it to the local generator of N-grams 9. The local generator of N-grams converts the tested object into a sequence of N-grams, selects the N-grams most characteristic of the object and converts them into a vector of characteristics in the same way that the N-gram generator 3 previously performed a similar operation with known objects. Then the local classifier factory 10, using the coefficients from the local collection of classifier coefficients and of unknown objects, as well as the characteristic vector of an unknown object, assigns an unknown object to the class of malicious or legitimate objects using the inverse operation of machine learning, which was performed by the classifier factory 4. In case an unknown object was assigned to the class of malicious objects, it sent to the treatment and removal of malicious objects 11.

Следует отметить, что указанный выше принцип работы может быть применен не только к двум, но и к большему количеству разных классов классифицируемых объектов. Например, возможна реализация системы, в которой фабрика классификаторов определяет принадлежность объекта к классу, выражающему конкретное семейство вредоносных объектов.It should be noted that the above principle of operation can be applied not only to two, but also to a larger number of different classes of classified objects. For example, it is possible to implement a system in which a classifier factory determines whether an object belongs to a class that expresses a specific family of malicious objects.

Кроме того, подобная система может быть применена не только для выявления вредоносных объектов в задачах компьютерной безопасности, но и в широком круге других практических задач, как связанных, так и не связанных с компьютерной безопасностью. Например, подобная система может быть применена для диагностики заболеваний, для классификации изображений по заранее заданным признакам, и т.д.In addition, such a system can be used not only to detect malicious objects in computer security tasks, but also in a wide range of other practical tasks, both related and not related to computer security. For example, a similar system can be used to diagnose diseases, to classify images according to predetermined criteria, etc.

Одним из важных свойств системы является тот факт, что коллекция коэффициентов классификаторов известных объектов, передаваемая от места анализа известных объектов к месту классификации неизвестных объектов во многих случаях может обладать существенно большей информационной плотностью (и как результат - меньшим объемом), чем исходная коллекция известных объектов, или же производная от нее коллекция сверток или сигнатур. Этот факт позволяет использовать подобную систему в задачах компрессирования данных и передачи сжатой информации.One of the important properties of the system is the fact that the collection of coefficients of classifiers of known objects transferred from the place of analysis of known objects to the place of classification of unknown objects in many cases can have a significantly higher information density (and as a result, less volume) than the original collection of known objects , or a collection of convolutions or signatures derived from it. This fact allows us to use a similar system in the tasks of data compression and transmission of compressed information.

Предлагаемое решение более эффективно, чем прототип, так как, во-первых, обладает существенно меньшей зависимостью от частоты обновлений антивирусных баз, а во-вторых, обеспечивает возможность раннего обнаружения и борьбы с неизвестными вредоносными программами еще до того, как они станут доступны вирусным аналитикам. Кроме того, предлагаемая система вероятностного антивирусного анализа позволяет уменьшить объем передаваемой и хранимой информации о вредоносных программах, что в конечном итоге повышает производительность и надежность системы безопасности и работы компьютера в целом.The proposed solution is more effective than the prototype, because, firstly, it has a significantly lower dependence on the frequency of updates of anti-virus databases, and secondly, it provides the possibility of early detection and fight against unknown malicious programs even before they become available to virus analysts . In addition, the proposed probabilistic anti-virus analysis system allows reducing the amount of transmitted and stored information about malicious programs, which ultimately improves the performance and reliability of the security system and the operation of the computer as a whole.

Источники информации:Information sources:

[1] - US Patent 6,738,932 «Method and system for identifying software revisions from memory images», МПК G06F 11/00, публ. 2004 г.[1] - US Patent 6,738,932 "Method and system for identifying software revisions from memory images", IPC G06F 11/00, publ. 2004 year

[2] - Патент РФ №101223, МПК G06F 11/00, G06F 21/00, публ. 2010 г.[2] - RF Patent No. 101223, IPC G06F 11/00, G06F 21/00, publ. 2010 year

Claims (2)

1. Система вероятностного антивирусного анализа объектов, содержащая средство хранения коллекции известных объектов, средство подсчета коэффициентов классификаторов, средство хранения коллекции коэффициентов классификаторов для известных объектов, локальное средство обновления коэффициентов классификаторов, локальное средство хранения коэффициентов классификаторов для известных объектов, локальное средство сравнения, локальное средство подсчета коэффициентов классификаторов, локальное средство анализа неизвестных объектов, отличающаяся тем, что она дополнительно содержит средство хранения известных легитимных объектов, генератор N-грамм, локальный генератор N-грамм, средство лечения и удаления вредоносных объектов, фабрику классификаторов, расширяемый набор классификаторов, локальную фабрику классификаторов и обновляемую базу данных известных объектов в виде коллекции коэффициентов классификаторов.1. A system for probabilistic antivirus analysis of objects, comprising means for storing a collection of known objects, means for calculating classifiers coefficients, means for storing a collection of classifiers coefficients for known objects, local means for updating classifier coefficients, local means for storing classifier coefficients for known objects, local means for comparing the calculation of the coefficients of classifiers, a local means of analysis of unknown objects, about characterized in that it additionally contains a means of storing known legitimate objects, an N-gram generator, a local N-gram generator, a tool for treating and removing malicious objects, a classifier factory, an expandable set of classifiers, a local classifier factory, and an updated database of known objects in the form of a collection classifier coefficients. 2. Система по п.1, отличающаяся тем, что в качестве классифицируемого объекта используется файл, область диска или процесс в памяти.

2. The system according to claim 1, characterized in that a file, a disk region or a process in memory is used as a classified object.