EA006272B1

EA006272B1 - Эвристический способ классификации

Info

Publication number: EA006272B1
Application number: EA200300035A
Authority: EA
Inventors: Бен Хитт
Original assignee: Коррелоджик Системз, Инк.
Priority date: 2000-06-19
Filing date: 2001-06-19
Publication date: 2005-10-27
Also published as: ATE406627T1; CA2411906A1; CN1446344A; DE60135549D1; EP1292912A1; KR20030051435A; US20060112041A1; BR0111742A; EA200300035A1; US7499891B2; JP2003536179A; KR20090019019A; KR101047575B1; NZ522859A; HK1059494A1; US20070185824A1; ZA200209845B; SG143055A1; IL153189A0; MXPA02012167A

Abstract

Настоящее изобретение относится к эвристическим алгоритмам для классификации Объектов. Первый алгоритм обучения включает в себя генетический алгоритм, который используется для абстрагирования потока данных, связанных с каждым Объектом, и алгоритм распознавания образов, который используется для классификации Объектов и измерения степени соответствия хромосом генетическому алгоритму. Алгоритм обучения применяется к множеству данных обучения. Алгоритм обучения генерирует алгоритм классификации, который используется для классификации или категоризации неизвестного Объекта. Настоящее изобретение является пригодным для использования в областях классификации текстов и медицинских образцов, предсказания поведения одного из финансовых рынков на основании изменений цен на других при мониторинге состояния сложного технологического оборудования с целью обнаружения приближающегося отказа.

Description

Область техники

Настоящее изобретение относится к способу анализа и классификации объектов, которые могут быть представлены в виде последовательностей знаков, таких как документы, или последовательностей, или таблиц численных данных, таких как изменения цен на рынке ценных бумаг, уровни экспрессии различных генов в клетках ткани, обнаруживаемые по гибридизации мРНК на генном чипе, или количества различных белков в образце, определяемые с помощью масс-спектроскопии. Более конкретно, настоящее изобретение относится к обобщенному способу, посредством которого генерируется алгоритм классификации, проверяемый на обучающем множестве данных, состоящем из предварительно классифицированных образцов из того класса объектов, которые должны классифицироваться. Предварительно классифицированные образцы классифицируются путем чтения, в случае документов, исторического опыта, в случае рыночных данных, или исследования патологии, в случае биологических данных. Затем алгоритм классификации может быть использован для классификации ранее неклассифицированных образцов. Такие алгоритмы, в целом, называются методами извлечения информации из данных. Все более часто применяемые методы извлечения информации из данных, такие как многомерная линейная регрессия и нелинейные нейронные сети с прогнозированием имеют тот изначальный недостаток, что после разработки они являются статичными и не могут распознавать новые события в потоке данных. В конце концов, происходит то, что новые события часто остаются не классифицированными. Настоящее изобретение относится к устранению этого недостатка путем использования адаптивного механизма, который может распознавать новые события в потоке данных.

Предпосылки изобретения

Настоящее изобретение использует генетические алгоритмы и самоорганизующиеся адаптивные алгоритмы распознавания образов. Генетические алгоритмы впервые были описаны профессором 1обп Н. Но11апб (1.Н. Но11апб, ΛάαρΙαΙίοη ίη №1Шга1 апб ЛпШс1а1 8ук1етк, ΜΙΤ Ргекк 1992, см. также патенты США № 4697242 и № 4881178). Использование генетического алгоритма для распознавания образов описано в патенте США № 5136686, Коха, столбец 87.

Самоорганизующееся распознавание образов было описано Кобопеп (Т. Кобопеп, 8е1Г Огдашхбщ апб Аккоаабуе Метогу, 8 Зепек ш 1пГотта1юп Заепсек, Зргтдет Ует1ад, 1984; Кобопеп, Т., 8е1Г-огдаш/йщ Марк, Зртшдег Ует1ад, Не1бе1Ьегд 1997). Использование самоорганизующихся карт при адаптивном распознавании образов было описано Ότ. Шсбатб Ырртап, Маккасбикейк 1пк1би1е оГ Тесбпо1оду.

Сущность изобретения

Настоящее изобретение состоит из двух взаимосвязанных эвристических алгоритмов, алгоритма классификации и алгоритма обучения, которые используются для осуществления способов классификации и способов обучения. Параметры алгоритма классификации определяются путем применения алгоритма обучения к множеству данных для обучения или тренировки. Множество данных обучения представляет собой множество данных, в которых каждый элемент уже был классифицирован. Хотя следующий далее способ описывается без ссылки на цифровые компьютеры, специалистам в данной области понятно, что настоящее изобретение предназначается для реализации как программное обеспечение для компьютера. Может быть использован любой компьютер общего назначения; вычисления в соответствии с настоящим способом являются не очень громоздкими. Хотя могут быть использованы компьютеры, обладающие способностью параллельной обработки данных на нескольких процессорах, такие способности обработки не являются необходимыми для практического использования алгоритма обучения по настоящему изобретению. Алгоритм классификации требует только минимального количества вычислений.

Способ классификации по настоящему изобретению классифицирует Объекты в соответствии с потоком данных, который ассоциируется с Объектом. Каждый Объект в настоящем изобретении характеризуется потоком данных, который представляет собой большое количество, по меньшей мере, примерно 100 точек данных, и может составлять 10000 или более точек данных. Поток данных генерируется таким способом, который дает возможность индивидуальным элементам данных в потоках данных из различных образцов одного и того же типа Объекта коррелироваться друг с другом.

Примеры Объектов включают в себя тексты, точки во времени, в контексте предсказания направления развития финансовых рынков или поведения сложного технологического оборудования, и биологических образцов, для медицинской диагностики.

Ассоциированные потоки данных этих Объектов представляют собой распределение триграмм в тексте, дневные изменения цен обращающихся на рынке акций или товаров, мгновенные отсчеты величины давления, температуры и потока в технологическом оборудовании, в таком как нефтепереработка, и спектр масс некоторого подмножества белков, обнаруженных в образце, или интенсивность гибридизации мРНК в ряду различных исследуемых полинуклеотидов.

Таким образом, в принципе, настоящее изобретение может быть использовано там, где желательно классифицировать Объекты в одну или несколько категорий, например в две или три категории, и Объекты ассоциируются с избыточными количествами данных, например, как правило, с тысячами точек данных. Термин Объекты пишется здесь с заглавной буквы, чтобы указать, что Объект имеет здесь специальное значение, состоящее в том, что он относится коллективно к реальным объектам, например

- 1 006272 конкретным образцам, и к неконкретным объектам, например, к записям или текстам, и к совершенно абстрактным объектам, например к моменту времени перед непрогнозируемым событием в сложном технологическом оборудовании, или к изменению цены иностранной валюты.

Первая стадия способа классификации представляет собой вычисление вектора Объекта, то есть, упорядоченного множества из небольшого количества точек данных или скаляров (в пределах между 4 и 100, более типично, между 5 и 30), которые получают из потока данных, ассоциирующегося с Объектом, который должен быть классифицирован. Преобразование потока данных в вектор Объекта определяется как абстрагирование. Наиболее простой процесс абстрагирования представляет собой выбор некоторого количества точек из потока данных. Однако, в принципе, процесс абстрагирования может быть осуществлен на любой функции из потока данных. В вариантах осуществления, представленных ниже, абстрагирование осуществляется путем выбора малого количества конкретных интенсивностей из потока данных.

В одном из вариантов осуществления, вторая стадия способа классификации представляет собой определение того, в каком кластере данных находится вектор, если вообще он находится в каком-либо кластере. Кластеры данных представляют собой математические объекты, которые являются многомерными эквивалентами неперекрывающихся гиперсфер фиксированного размера в векторном пространстве. Положение и ассоциирующаяся с ним классификация или статус каждого кластера данных определяется с помощью алгоритма обучения из множества данных обучения. Величина или размер каждого кластера данных и количество размерностей векторного пространства устанавливается посредством рутинного экспериментирования оператора перед работой алгоритма обучения. Если вектор лежит в известном кластере данных, Объект получает классификацию, ассоциированную с этим кластером. В самых простых вариантах осуществления количество размерностей векторного пространства совпадает с количеством точек данных, которые выбраны в процессе абстрагирования. Альтернативно, однако, каждый скаляр вектора Объекта может быть вычислен с использованием множества точек данных из потока данных. Если вектор Объекта находится вне пределов любого известного кластера, может осуществляться классификация нетипичности или нетипичного образца.

В альтернативном варианте осуществления определение каждого кластера данных как гиперсферы отбрасывается и вторая стадия осуществляется путем вычисления параметра согласования ρ=Σ (шбп (1111, 1ИЦ ) /Σ( |И11) , где 1₁ представляют собой скаляры вектора Объекта, а представляют собой скаляры центроида предварительно сформированного вектора классификации. Параметр согласования ρ также определяется как нормализованное нечеткое логическое умножение. Затем Объект классифицируется в соответствии с классификацией предварительно сформированного вектора, к которому он является наиболее близким согласно этой метрике. Параметр согласования составляет 1, когда вектор Объекта и полученный вектор являются идентичными, и меньшим, чем 1, во всех остальных случаях.

Алгоритм обучения определяет как детали процесса абстрагирования, так и идентичность кластеров данных, путем использования сочетания известных математических методов и двух предварительно установленных параметров. Пользователь предварительно устанавливает количество размерностей векторного пространства и размер кластеров данных или, альтернативно, приемлемый минимальный уровень параметра согласования ρ для нечеткого логического умножения. Как он здесь используется, термин кластер данных относится как к гиперсфере, с использованием эвклидовой метрики, так и к полученным классифицированным векторам, с использованием метрики нечеткого логического умножения.

Как правило, векторное пространство, в котором находятся кластеры данных, представляет собой нормированное векторное пространство, так что разброс интенсивностей в каждом измерении является постоянным. Выраженный таким образом размер кластера данных с использованием эвклидовой метрики может быть выражен как минимальный процент сходства между векторами, лежащими в пределах кластера.

В одном из вариантов осуществления алгоритм обучения может быть реализован путем объединения двух различных типов доступного общего программного обеспечения, которые были разработаны другими и являются хорошо известными в данной области: (1) генетического алгоритма (1.Н. Но11апб, Абар1а1юп ίη Ыа1ига1 апб Атййс1а1 8ук1етк, ΜΙΤ Ргекк 1992), который обрабатывает множество логических хромосом¹ (Сноска¹: термин логическая хромосома используется в связи с генетическими обучающими алгоритмами, поскольку логические операции алгоритма являются аналогичными репродукции, селекции, рекомбинации и мутации. Разумеется, биологического воплощения логической хромосомы, в ДНК или иным образом, не существует. Генетические обучающие алгоритмы по настоящему изобретению являются чисто компьютерными устройствами и их не следует путать со схемами обработки информации на биологической основе.) для идентификации оптимальной логической хромосомы, которая контролирует абстрагирование потока данных, и (2) адаптивной самоорганизующейся системы распознавания образов (см., Т. Койопеп, 8е1Г-огдаш/йщ апб Аккоаайуе Метогу, 8 8епек ίη 1пГогтаОоп 8с1епсек, 8рппдег Уег1ад, 1984; Койопеп, Т., 8е1Г-огдаш/йщ Марк, 8рппдег Уег1ад, Не1бе1Ьегд 1997), доступной от Сгоир Опе 8ойтоаге, СгеепЬеЙ, ΜΌ, которая определяет множество кластеров данных на основе любого

- 2 006272 множества векторов, генерируемого логической хромосомой. Конкретно, адаптивное программное обеспечение для распознавания образов максимально увеличивает количество векторов, которые находятся в гомогенных кластерах данных, то есть в кластерах, которые содержат векторы множества данных обучения, имеющие только один тип классификации.

Для использования генетического алгоритма каждой логической хромосоме должна быть присвоена степень соответствия. Степень соответствия каждой логической хромосомы определяется по количеству векторов во множестве данных обучения, которые находятся в гомогенных кластерах оптимального множества кластеров данных для этой хромосомы. Таким образом, алгоритм обучения по настоящему изобретению объединяет генетический алгоритм для идентификации оптимальной логической хромосомы и адаптивный алгоритм распознавания образов для генерации оптимального множества кластеров данных и вычисления степени соответствия на основе количества векторов образцов, находящихся в гомогенных кластерах. В своем наиболее широком воплощении, алгоритм обучения по настоящему изобретению состоит из сочетания генетического алгоритма, алгоритма распознавания образов и использования функции степени соответствия, которая является мерой гомогенности выходного результата алгоритма распознавания образов, для контроля генетического алгоритма.

Чтобы избежать путаницы, необходимо заметить, что количество кластеров данных является гораздо большим, чем количество категорий. Алгоритмы классификации из приведенных ниже примеров сортируют Объекты на две категории, например на документы, представляющие интерес и не представляющие интереса, или клинические образцы, на доброкачественные или злокачественные. Эти алгоритмы классификации, однако, используют множество кластеров данных для осуществления классификации. Когда Объект представляет собой точку во времени, алгоритм классификации может использовать более чем две категории. Например, когда настоящее изобретение используется для предсказания курсов обмена иностранных валют, могла бы использоваться трехкомпонентная схема, соответствующая росту, падению и смешанным перспективам. Опять же, такой трехкомпонентный алгоритм классификации, как ожидается, должен иметь более чем три кластера данных.

Подробное описание изобретения

Для реализации настоящего изобретения рутинный пользователь должен разработать алгоритм классификации путем использования алгоритма обучения. Как и для любого эвристического способа требуется некоторое рутинное экспериментирование. Для использования алгоритма обучения рутинный пользователь использует множество данных обучения и должен экспериментально оптимизировать два параметра, количество измерений и размер кластера данных.

Хотя не существует никакого абсолютного или изначального верхнего предела для количества размерностей вектора, алгоритм обучения сам по себе изначально ограничивает количество размерностей в каждой реализации. Если количество размерностей слишком мало или размер кластера слишком велик, алгоритм обучения не может генерировать никаких логических хромосом, которые корректно классифицируют все образцы с приемлемым уровнем гомогенности. Подобным же образом и количество размерностей может быть слишком большим. При таких обстоятельствах алгоритм обучения генерирует множество логических хромосом, которые имеют максимальную возможную степень соответствия на начальной стадии процесса обучения, и соответственно происходит только отрицательная селекция. Подобным же образом, когда размер кластеров данных слишком мал, количество кластеров будет приближаться к количеству образцов во множестве данных обучения, и, опять же, рутинный пользователь обнаружит, что большое количество логических хромосом будут выдавать множество совершенно гомогенных кластеров данных.

Хотя изложенное выше обеспечивает общую инструкцию для выбора количества размерностей и размера кластеров данных, предназначенных для алгоритма классификации, необходимо понять, что реальное исследование ценности алгоритма классификации состоит в его способности корректно классифицировать потоки данных, которые являются независимыми от потока данных во множестве данных обучения. По этой причине рутинный пользователь должен понять, что часть множества данных обучения должна представлять собой резерв для проверки того, что алгоритм классификации функционирует с такой относительной ошибкой, которая является приемлемой для предполагаемой цели. Конкретные компоненты настоящего изобретения описываются более подробно ниже.

А. Поток данных и типы Объектов

Классификация Объектов и генерация ассоциированного потока данных зависит от природы проблемы, которую необходимо решить. Общие принципы иллюстрируются с помощью следующих далее примеров.

Документы: В одном из вариантов осуществления настоящее изобретение предусматривает способ для компьютеризированной классификации документов. Например, может потребоваться извлечь представляющие интерес документы из базы данных, состоящей из некоторого количества документов, слишком большого для индивидуального просмотра. Для этих обстоятельств настоящее изобретение предусматривает компьютеризированный алгоритм, предназначенный для идентификации подмножества базы данных, с наибольшей вероятностью содержащего представляющие интерес документы. Каждый документ представляет собой Объект, поток данных для каждого документа состоит из гистограммы,

- 3 006272 представляющей частоту каждой из 17576 (26³) комбинаций из трех букв (триграмм), находимых в документе после удаления пробелов между словами и пунктуации. Альтернативно, может быть подготовлена гистограмма 9261 триграммы согласных после дополнительного удаления гласных из документа. Множество данных обучения состоит из образца соответствующих документов, которые должны классифицироваться как представляющие интерес или не представляющие интереса, в соответствии с потребностями пользователя.

Финансовые рынки:

Само собой разумеется, что финансовые рынки реагируют на внешние события и связаны друг с другом взаимно однозначным образом; например, курсы обмена иностранных валют зависят от привлекательности возможностей для инвестиций. Однако направление и степень реакции на индивидуальное событие могут быть трудными для предсказания. В одном из вариантов осуществления, настоящее изобретение предусматривает алгоритм компьютеризированного предсказания цен на одном рынке на основе изменения цен на другом. Каждая точка во времени представляет собой Объект, например часовые интервалы, поток данных в течение часа состоит из гистограммы изменения в ценах государственных ценных бумаг на главных рынках акций в релевантных странах, например на Нью-Йоркской и Лондонской фондовых биржах, где интерес представляет курс обмена фунта и доллара. Множество данных обучения состоит из исторических записей таких изменений цен, которые классифицируются как предшествующие росту или падению курса доллар:фунт.

Технологическое оборудование: В сложном технологическом оборудовании, таком как нефтепереработка, нефтяное месторождение или нефтехимическая установка, давление, температура, поток и состояние множества клапанов и других устройств контроля (все вместе, значения состояний) непрерывно отслеживаются и записываются. Существует необходимость в обнаружении приближающихся неблагоприятных событий до того, как неблагоприятное событие станет катастрофическим отказом. Настоящее изобретение предусматривает компьютеризированный алгоритм для классификации каждой точки во времени либо как точки времени с высоким риском, либо нормальной точки времени. Поток данных состоит из значений состояний для каждой точки во времени. Множество данных обучения состоит из исторических записей значений состояний, классифицируемых либо как предшествующие неблагоприятному событию, либо как предшествующее нормальной работе.

Медицинский диагноз:

Настоящее изобретение может быть использовано при анализе образца ткани для постановки медицинского диагноза, например, для анализа сыворотки или плазмы крови. Поток данных может представлять собой любой воспроизводимый физический анализ образца ткани, который приводит к получению 2000 или более измерений, которые могут быть количественно определены, по меньшей мере, с точностью до 1 тысячной (три значащих цифры). Спектры масс для времен пролета белков являются особенно пригодными для использования при осуществлении настоящего изобретения. Более конкретно, это спектрометрия времени пролета при ионизации с матричной поддержкой лазерной десорбцией (ΜΑΕΌΙ-ΤΟΡ) и спектрометрия времени пролета при ионизации поверхностно усиленной лазерной десорбцией (8ΕΕΌΙΤΟΡ) (см. XV О 00/49410). Поток данных может также включать в себя измерения, которые не являются изначально организованными с помощью единственного упорядоченного параметра, такого как молекулярная масса, но имеют произвольный порядок. Так, микроматричные данные по ДНК, которые одновременно измеряют уровни экспрессии 2000 или более генов, могут быть использованы в качестве потока данных, когда образец ткани представляет собой образец, полученный при биопсии, замечая, что порядок следования индивидуальных генов в потоке данных является произвольным.

Существуют конкретные заболевания, где настоящее изобретение является особенно ценным, когда ранняя диагностика является важной, но технически сложной из-за отсутствия симптомов, и заболевание, как ожидается, дает различия, которые детектируются в сыворотке, благодаря метаболической активности патологической ткани. Ранняя диагностика злокачественных образований является главной целью для применения настоящего изобретения. Рабочий пример иллюстрирует диагностику карциномы простаты, подобные же попытки были предприняты относительно диагностики раковых заболеваний яичников.

Необходимо заметить, что один и тот же поток данных из образца, взятого от пациента, может быть проанализирован для множества диагнозов с использованием способа по настоящему изобретению. Дополнительная стоимость такого многократного анализа может быть очень низкой, поскольку конкретные стадии для каждого диагноза являются чисто компьютерными.

В. Процесс абстрагирования и логическая хромосома

Первая стадия в процессе классификации по настоящему изобретению представляет собой преобразование или абстрагирование потока данных в виде характеристического вектора. Данные могут быть удобно пронормированы перед абстрагированием путем присваивания самому большому значению величины 1,0 и присваивания всем другим точкам дробных значений. Наиболее простое абстрагирование потока данных заключается в выборе небольшого количества точек данных. Специалистам понятно, что могут быть получены и более сложные функции от множества точек, такие как средние значения по некоторым интервалам или более сложные суммы или разности между точками данных, которые находятся

- 4 006272 на заданном расстоянии от выбранного прототипа точки данных. Такие функции значений интенсивностей из потока данных также могут быть использованы и, как ожидается, могут функционировать эквивалентно простому абстрагированию, иллюстрируемому в рабочих примерах.

Специалист также заметит, что при рутинном экспериментировании можно определить, сможет ли абстрагирование путем получения мгновенной крутизны в произвольных точках быть реализовано в настоящем изобретении. В соответствии с этим, такие рутинно доступные вариации иллюстрируемых рабочих примеров входят в объем настоящего изобретения.

Особенностью настоящего изобретения является использование генетического алгоритма для определения точек данных, которые используются для вычисления характеристического вектора. Придерживаясь номенклатуры, принятой в данной области, список конкретных точек, которые необходимо выбрать, определяется как логическая хромосома. Логические хромосомы содержат столько же генов, сколько размерностей существует для характеристического вектора. Любое множество из соответствующего количества точек данных может представлять собой логическую хромосому, при одном только условии, что ни один из генов хромосомы не повторяется. Порядок следования генов не имеет значения для настоящего изобретения.

Специалисты в данной области заметят, что генетический алгоритм может быть использован, когда удовлетворяются два условия. Конкретное решение задачи должно иметь возможность для выражения в виде множества или последовательности заданного размера из дискретных элементов, эти элементы могут представлять собой числа или буквы, и последовательности могут быть рекомбинированы для получения дополнительных решений. Должна также существовать возможность вычисления численного значения относительной ценности каждого решения, его степени соответствия. При этих обстоятельствах детали генетического алгоритма не являются взаимосвязанными с задачей, решение которой рассматривается. В соответствии с этим для настоящего изобретения может быть использовано программное обеспечение для генетического алгоритма общего назначения. Пригодными для использования являются алгоритмы в библиотеках РОАРаек, доступных от Агдоппе Ναΐίοηαΐ ЬаЬога1огу. Вычисление степени соответствия любой конкретной логической хромосомы описывается ниже.

Первый иллюстративный пример относится к совокупности из 100 документов, которые случайным образом разделяются на множество данных обучения из 46 документов и исследуемое множество из 54 документов. Документы состоят из адресов 81а1е о£ 1йе υηίοη, избранных мест из книги ТНе Аг! о£ \¥аг и статей из Ешапе1а1 Т1ше5. Вычисляется распределение триграмм для каждого документа. Выбирается векторное пространство 25 размерностей и размер кластера данных по каждой размерности выбирается в 0,35 от всего диапазона значений по этой размерности. Инициализируются генетические алгоритмы примерно с 1500 логическими хромосомами, выбранными случайным образом. По мере осуществления алгоритма логические хромосомы с большей степенью соответствия дуплицируются, а хромосомы с меньшей степенью соответствия прекращают свое существование. Существует рекомбинация между хромосомами и их мутация, которая осуществляется с помощью случайного замещения одного из элементов хромосомы. Не является существенным для настоящего изобретения, чтобы первоначально выбранная коллекция логических хромосом была случайной. Определенная предварительная фильтрация общего множества потоков данных для выявления точек данных, имеющих самую высокую изменчивость, может быть полезной, хотя такие методы могут также приводить к нежелательному смещению инициализации. Специалисты в данной области заметят, что начальное множество хромосом, скорость мутаций и другие граничные условия для генетического алгоритма не являются критичными для его функционирования.

С. Процесс распознавания образов и генерация оценки степени соответствия

Вычисляется оценка степени соответствия каждой из логических хромосом, которые генерируются с помощью генетического алгоритма. Вычисление оценки степени соответствия требует генерации оптимального множества кластеров данных для каждой логической хромосомы, которая исследуется.

Кластеры данных представляют собой просто объемы в векторном пространстве, в которых находятся векторы Объектов из множества данных обучения. Способ генерации оптимального множества кластеров данных не является критичным для настоящего изобретения и будет рассмотрен ниже. Однако какой бы способ ни использовался для генерации карты кластеров данных, эта карта является ограниченной следующими правилами: каждый кластер данных должен быть расположен в центроиде точек данных, которые лежат внутри кластера данных, никакие два кластера данных не могут перекрываться, и размерность каждого кластера в нормированном векторном пространстве фиксируется перед генерацией карты.

Размер кластера данных устанавливается пользователем во время процесса обучения. Установка слишком большого размера приводит к невозможности найти какие-либо хромосомы, которые могут успешно классифицировать множество данных обучения в целом, подобным же образом, установка слишком малого размера приводит к возникновению множества оптимальных кластеров данных, в котором количество кластеров приближается к количеству точек данных в обучающем множестве. Что более важно, установка слишком малого размера кластера данных приводит к переоценке, как описано ниже.

Способ, используемый для определения размера кластера данных, представляет собой часть на

- 5 006272 стоящего изобретения. Размер кластера может быть определен с помощью максимального значения эквивалента эвклидового расстояния (корня из суммы квадратов) между двумя любыми элементами кластера данных. Размер кластера данных, который соответствует требованию 90% сходства, пригоден для использования по настоящему изобретению, когда поток данных генерируется с помощью данных массспектроскопии 8ΕΕΌΙ-ΤΟΕ. Иногда большие кластеры данных, как обнаружено, пригодны для использования для классификации текстов. Математически 90%-ное сходство определяется требованием, чтобы расстояние между любыми двумя элементами кластера было меньшим, чем 0,1 от максимального расстояния между двумя точками в нормированном векторном пространстве. Для этого вычисления векторное пространство нормируется таким образом, чтобы диапазон каждого скаляра векторов во множестве данных обучения находился в пределах между 0,0 и 1,0. Нормированное таким образом максимальное возможное расстояние между двумя любыми векторами в векторном пространстве составляет тогда корень из Ν, где N представляет собой количество измерений. Тогда эвклидов диаметр каждого кластера составляет 0,1 х корень (Ν).

Конкретная нормировка векторного пространства не является критичной особенностью настоящего способа. Указанный выше способ выбран для простоты вычисления. Альтернативная нормировка может быть получена путем масштабирования каждой размерности не по диапазону, а таким образом, чтобы каждая размерность имела одинаковую дисперсию. Могут быть использованы неэвклидовы метрики, такие как метрики произведений векторов.

Специалистам в данной области также понятно, что поток данных может быть преобразован в логарифмическую форму, если распределение значений в потоке данных является логарифмически нормальным, а не нормально распределенным.

После того как сформировано оптимальное множество кластеров данных для логической хромосомы, вычисляется оценка степени соответствия для этой хромосомы. Для настоящего изобретения оценка степени соответствия хромосомы примерно соответствует количеству векторов множества данных обучения, которые находятся в кластерах, которые являются гомогенными, то есть, в кластерах, которые содержат характеристические векторы от образцов, имеющих одну и ту же классификацию. Более конкретно, оценка степени соответствия вычисляется путем присвоения каждому кластеру оценки гомогенности, которая изменяется от 0,0 для гомогенных кластеров до 0,5 для кластеров, которые содержат одинаковое количество векторов злокачественных и доброкачественных образцов. Оценка степени соответствия хромосомы представляет собой среднюю оценку степени соответствия для кластеров данных.

Так, оценка степени соответствия 0,0 является наибольшим соответствием. Существует некоторый сдвиг в сторону логических хромосом, которые генерируют больше кластеров данных, в связи с тем, что когда рассматриваются две логических хромосомы, которые имеют одинаковое количество ошибок в присваивании данных, хромосома, которая генерирует большее количество кластеров, будет иметь более низкую среднюю оценку гомогенности, и, таким образом, лучшую оценку степени соответствия.

Программное обеспечение общего пользования для генерации используемой самоорганизующейся карты имеет несколько наименований, одно из них - это Ьеаб С1ик!ег Мар, и может быть реализовано с помощью программного обеспечения общего назначения, которое является доступным как Мобе1 1 от Сгоир Опе 8ой^аге (СгеепЬеЙ, ΜΌ).

Альтернативный вариант осуществления настоящего изобретения использует неэвклидову метрику для установления границ кластеров данных. Метрика относится к способу измерения расстояния в векторном пространстве. Альтернативная метрика для настоящего изобретения может быть основана на нормированном нечетком логическом умножении, как определено выше. Программное обеспечение, которое осуществляет адаптивный алгоритм распознавания образов на основе метрики нечеткого логического умножения, доступно от Войоп Ишуегкйу под наименованием Ειιζζν ΑΚΤΜΑΡ.

Ό. Описание и проверка конкретных вариантов осуществления

Специалистам в данной области понятно, что присвоение всему множеству данных обучения состояния гомогенных кластеров данных само по себе не является доказательством того, что алгоритм классификации является эффективно работающим на приемлемом уровне точности. Таким образом, ценность алгоритма классификации, генерируемого с помощью алгоритма обучения, должна быть проверена через его способность к сортировке множества данных, иного, чем множество данных обучения. Когда алгоритм обучения генерирует алгоритм классификации, который успешно присваивает значения множеству данных обучения, но неэффективно присваивает значения исследуемому множеству данных, считается, что обучающие данные переоценены обучающим алгоритмом. Переоценка возникает, когда количество измерений является слишком большим и/или размер кластеров данных является слишком малым.

Кластеризация документов:

Кластеризация документов (текста) представляет интерес в большом множестве профессий. Они включают в себя юридическое, медицинское и информационное сообщества. Способы поиска и извлечения информации на основе булевой алгебры, как доказано, становятся неадекватными, когда встречаются лицом к лицу с высокими требованиями современного объема производства текстового материала. Более того, булев поиск не захватывает концептуальную информацию.

- 6 006272

Предлагаемый подход к проблеме заключается в извлечении некоторым образом концептуальной информации способом, который является доступным численному анализу. Один из таких способов представляет собой кодирование документа в виде коллекции триграмм, и измеряется их частота появления. Триграмма представляет собой коллекцию из любых трех букв, таких как АТУ, КЬР, ОЕ, и тому подобное. По этой причине существуют 26³ триграмм. Пробелы и пунктуация не включаются. Затем документ может быть представлен как сегментированный в виде конкретного множества триграмм, начиная от начала потока текста от этого документа. Полученное в результате множество триграмм из этого документа и их частоты являются характерными. Если документы во множестве имеют схожие множества триграмм и частоты, является вероятным, что они относятся к одной и той же теме. Это является особенно верным, если исследуется и обсчитывается только конкретное подмножество триграмм. Весь вопрос заключается в том, какое множество триграмм описывает любую концепцию. Алгоритм обучения в соответствии с настоящим изобретением может ответить на этот вопрос.

Была компилирована совокупность из 100 документов на английском языке из Ешапс1а1 Тппс5. Т11С Аг! о£ \Уаг и коллекции адресов президентского 81а1е о£ 1йе υηίοη. Совокупность случайным образом была сегментирована на совокупности обучения и исследуемые совокупности. Всем документам было присвоено значение либо 0, либо 1, где 0 указывает нежелательный документ, а 1 указывает желательный документ. Алгоритм обучения осуществлял поиск во множестве триграмм и идентифицировал множество триграмм, которое разделено на два класса документов. Полученная в результате модель имела 25 размерностей, при этом граница принятия решения была установлена как 0,35 от максимального расстояния, возможного в этом пространстве. Классифицирующий алгоритм использует только 25 из возможных 17576 триграмм. При исследовании получены результаты, представленные в таблице.

Реальная классификация О

Таблица: Матрица недоразумений. Реальные значения записаны по вертикали, а результаты алгоритма в соответствии с настоящим изобретением записаны по горизонтали.

Результаты показывают, что алгоритм корректно идентифицирует 24 из 26 документов, которые представляют интерес, и корректно отсеивает или отбрасывает 22 из 26 документов, которые не пред ставляют интереса.

Оценка биологических состояний: Указанный выше алгоритм обучения был использован для разработки классификации для рака простаты с использованием спектров масс (М8) 8ΕΕΌΙ-ΤΘΕ 55 образцов сыворотки пациентов, 30 из них имеют рак простаты, диагностируемый с помощью биопсии, и уровни антигена в сыворотке простаты (Р8А), превышающие 4,0 нг/мл, и 25 нормальных пациентов имеют уровни Р8А, меньшие чем 1 нг/мл. Данные М8 абстрагировались путем выбора 7 значений молекулярных масс.

Была генерирована карта кластеров, которая присваивала каждый вектор во множестве данных обучения гомогенному кластеру данных. Карта кластеров содержала 34 кластера, 17 доброкачественных и 17 злокачественных. Табл. 1 демонстрирует положение каждого кластера данных на карте и количество образцов из множества данных обучения, присвоенное каждому кластеру.

Алгоритм классификации был исследован с использованием 231 образца, которые были исключены из множества данных обучения. Использовались шесть множеств образцов от пациентов с различными клиническими и патологическими диагнозами. Клиническое и патологическое описание и результаты применения алгоритма имели следующий вид: 1) 24 пациента с Р8А>4 нг/мл и биопсией, указывающей на рак, 22 заносятся в карту как кластеры с данными о заболевании, 2 не заносятся ни в какой кластер; 2) 6 нормальных, все заносятся в здоровые кластеры; 3) 39 с доброкачественной гипертрофией простаты (ВРН) или простатитом и с Р8А<4 г/мл, 7 заносятся в кластеры с данными о заболевании, ни одного в кластеры со здоровыми данными и 32 не заносятся ни в один кластер данных; 4) 139 пациентов с ВРН или простатитом и с Р8А>4 и <10 нг/мл, 42 заносятся в кластеры с данными о заболевании, 2 пациента в кластеры со здоровыми данными и 95 пациентов не заносятся ни в один из кластеров; 5) 19 пациентов с ВРН или простатитом, и с Р8А>10 нг/мл, 9 пациентов заносятся в кластеры с данными о заболевании, ни одного в здоровые и 10 пациентов ни в один из кластеров. Шестое множество данных получается путем отбора образцов до и после простатоэктомии, у пациентов, имеющих биопсию, указывающую на карциному, и с Р8А >10 нг/мл. Как и ожидалось, каждый из 7 образцов до операции был занесен во множество данных о заболевании. Однако, ни один из образцов, взятых через 6 недель после операции, в момент времени, когда уровни Р8А падают ниже 1 нг/мл, не был занесен ни в одно множество данных.

При оценке результатов указанного выше исследования необходимо напомнить, что процент скрытой карциномы у пациентов, имеющих Р8А 4-10 нг/мл и доброкачественный диагноз согласно биопсии,

- 7 006272 составляет примерно 30%. Таким образом, обнаружение того факта, что от 18 до 47% пациентов с повышенным уровнем Р8Л, но не имеющих диагноза рак по биопсии ткани, согласуется с корректным предсказанием наличия карциномы.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ

1. Способ формирования алгоритма классификации путем использования множества предварительно классифицированных Объектов, каждый Объект является ассоциированным с потоком данных, где алгоритм характеризуется как имеющий множество кластеров данных заданного размера в векторном пространстве с фиксированным количеством размерностей, включающий этапы

a) обеспечения множества потоков данных, ассоциированных с предварительно классифицированными Объектами;

b) выбора начального множества логических хромосом, которые определяют положение заданного количества точек в потоке данных;

c) вычисления вектора Объекта для каждого элемента из множества потоков данных с использованием каждой хромосомы;

δ) определения степени соответствия каждой хромосомы путем нахождения положений в векторном пространстве множества не перекрывающихся кластеров данных заданного размера, которые максимизируют количество векторов Объектов, которые находятся в кластерах данных, которые содержат только идентично классифицированные векторы Объекта, при этом, чем больше количество таких векторов, тем больше степень соответствия логической хромосомы;

е) оптимизации множества логических хромосом с помощью итерационного процесса, включающего в себя повторную итерацию стадий (с) и (δ), прекращение существования логических хромосом с низкой степенью соответствия, репликацию логических хромосом с высокой степенью соответствия, рекомбинацию и случайную модификацию хромосом;

ί) завершения итерационного процесса и выбора логической хромосомы, которая делает возможным оптимально гомогенное множество не перекрывающихся кластеров данных, где атрибутивный статус каждого кластера из оптимально гомогенного множества представляет собой классификацию векторов Объектов, которые находятся внутри кластера данных; и

д) формирования алгоритма классификации, который классифицирует неизвестный Объект с помощью процесса, включающего в себя вычисление вектора неизвестного Объекта с использованием выбранной логической хромосомы, и классификации неизвестного Объекта в соответствии с атрибутивным статусом кластера данных из оптимально гомогенного множества не перекрывающихся кластеров данных, в которых находится вектор неизвестного Объекта.
2. Способ по п.1, в котором фиксированное количество размерностей составляет от 5 до 25.
3. Способ по п.1, в котором количество предварительно классифицированных Объектов составляет от 20 до 200.
4. Способ по п.1, в котором начальное множество логических хромосом является выбранным случайным образом.
5. Способ по п.1, в котором начальное множество логических хромосом состоит из 100-2000 логических хромосом.
6. Способ по п.1, в котором протяженность каждого кластера данных является одинаковой.
7. Способ по п.1, в котором протяженность каждого кластера данных определяется с помощью эвклидовой метрики.
8. Способ по п.7, в котором протяженность каждого кластера данных по одной размерности является заданной долей от диапазона векторов Объектов по этой размерности.
9. Способ по п.1, в котором метрика, которая определяет протяженность каждого кластера данных, является функцией параметра согласования нечеткого логического умножения с вектором, характерным для кластера данных.
10. Способ по п.1, в котором положение каждого кластера данных из оптимально гомогенного множества представляет собой центроид векторов Объектов для предварительно классифицированных Объектов, которые находятся в кластере данных.
11. Способ по п.1, в котором положение каждого кластера данных из оптимально гомогенного множества представляет собой центроид векторов Объектов для предварительно классифицированных Объектов, которые находятся в кластере данных.
12. Способ по п.1, в котором положение каждого кластера данных из оптимально гомогенного множества представляет собой центроид векторов Объектов для предварительно классифицированных Объектов, которые находятся в кластере данных.
13. Продукт программного обеспечения для цифрового компьютера общего назначения, сопровождаемый инструкциями, что продукт может быть использован для выполнения способа по п.1.
14. Продукт программного обеспечения, который выполняет или обеспечивает выполнение на цифровом компьютере общего назначения способа по п.1.

- 8 006272
15. Цифровой компьютер общего назначения, запрограммированный для выполнения или обеспечения выполнения способа по п.1.
16. Реализуемый компьютером способ построения модели, сконфигурированной для классификации биологических образцов в качестве находящихся в одном из по меньшей мере первого состояния или второго состояния, отличающегося от первого состояния, содержащий этапы, на которых обеспечивают совокупность последовательностей данных, причем каждая последовательность данных получена из биологического образца, в отношении которого известно, что он находится в первом состоянии или во втором состоянии;

используют генетический алгоритм для выбора первого набора переменных, которые идентифицируют данные в каждой последовательности данных из упомянутой совокупности последовательностей данных;

вычисляют вектор образца для каждого члена набора последовательностей данных, используя первый набор переменных;

находят положение каждого из по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием первого набора переменных, в первом векторном пространстве;

определяют изменчивость для по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием первого набора переменных;

определяют, находится ли изменчивость по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием первого набора переменных, в пределах приемлемого допуска;

если определено, что изменчивость по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием первого набора переменных, находится в пределах приемлемого допуска, обеспечивают положения по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием первого набора переменных, в первом векторном пространстве; и если определено, что изменчивость по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием первого набора переменных, не находится в пределах приемлемого допуска;

используют генетический алгоритм для выбора второго набора переменных, отличающегося от первого набора переменных;

вычисляют вектор образца для каждого члена набора последовательностей данных, используя второй набор переменных;

находят положение каждого из по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием второго набора переменных, во втором векторном пространстве;

определяют изменчивость для по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием второго набора переменных;

определяют, находится ли изменчивость по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием второго набора переменных, в пределах приемлемого допуска, и если определено, что изменчивость по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием второго набора переменных, находится в пределах приемлемого допуска, обеспечивают положения по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием второго набора переменных, во втором векторном пространстве.
17. Реализуемый компьютером способ по п.16, в котором изменчивость по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием первого набора переменных, представляет собой дисперсию по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием первого набора переменных.
18. Реализуемый компьютером способ по п.16, в котором если определено, что изменчивость по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием второго набора переменных, не находится в пределах приемлемого допуска, выбирают третий набор переменных, отличающийся от первого набора переменных и от второго набора переменных.
19. Реализуемый компьютером способ по п.16, в котором каждая последовательность данных получена из биологического образца посредством методики биологической пробы.
20. Реализуемый компьютером способ по п.16, в котором приемлемый допуск вводится пользователем.
21. Реализуемый компьютером способ по п.16, в котором нахождение положения каждого из по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием первого набора переменных, в первом векторном пространстве включа

- 9 006272 ет в себя этап, на котором определяют для каждого вектора образца близость этого вектора образца относительно существующего центроида в первом векторном пространстве.
22. Реализуемый компьютером способ по п.21, дополнительно содержащий этапы, на которых определяют, находится ли расстояние до каждого вектора образца от ближайшего существующего центроида в пределах заранее определенного порогового расстояния, если упомянутое расстояние превышает пороговое расстояние, задают новый центроид на основе положения вектора образца в первом векторном пространстве, если упомянутое расстояние меньше порогового расстояния, назначают вектор образца кластеру, ассоциированному с существующим центроидом.
23. Реализуемый компьютером способ по п.22, в котором назначение вектора образца включает в себя этап, на котором корректируют положение существующего центроида так, чтобы он стал ближе к положению вектора образца.
24. Реализуемый компьютером способ по п.16, в котором каждый из по меньшей мере двух кластеров данных, которые наилучшим образом соответствуют векторам образцов, вычисленным с использованием первого набора переменных, включает в себя центроид и гипер-радиус решения.
25. Модель, сконфигурированная для классификации биологических образцов с использованием способа по п.16.