RU2820783C1 - Повышенная эффективность расчета для микроскопии структурированного освещения - Google Patents

Abstract

Изобретение относится к области микроскопии структурированного освещения и касается способа получения изображения улучшенного разрешения из целевых изображений, захваченных при структурированном освещении. При осуществлении способа преобразуют изображения, захваченные датчиком в пространственной области из фазовых смещений структурированного освещения вдоль одного угла, в область Фурье для получения матриц частотной области, каждая из которых включает в себя первые блоки комплексных коэффициентов и избыточные вторые блоки комплексных коэффициентов. К первым блокам применяют обратную матрицу смешивания для получения несмещенных и смещенных полуматриц с разделением фаз в области Фурье. Далее выполняют обработку полуматриц и получают полные матрицы из полуматриц. Производят выравнивание и суммирование перекрывающихся комплексных коэффициентов полных матриц для получения расширенной матрицы покрытия частот. Выполняют обратное преобразование расширенной матрицы покрытия частот из области Фурье для получения изображения улучшенного разрешения в пространственной области. Технический результат заключается в обеспечении возможности получения изображений улучшенного разрешения и уменьшении объема вычислений для обработки фрагментов изображений в режиме реального времени. 2 н. и 27 з.п. ф-лы, 57 ил.

Description

ПРИОРИТЕТНЫЕ ЗАЯВКИ

[0001] Настоящая заявка испрашивает преимущество и включает в себя ссылки на предварительную заявку на патент США № 62/924,130 под заголовком «Системы и способы микроскопии структурированного освещения» (номер патентного реестра ILLM 1012-1), поданную 21 октября 2019 г., и предварительную заявку на патент США № 62/924,138 под заголовком «Повышенная эффективность расчета для микроскопии структурированного освещения» (номер патентного реестра ILLM 1022-1), поданную 21 октября 2019 г. Настоящая заявка также испрашивает преимущество и включает в себя ссылки на обычную заявку на патент США № 17/075,692 под заголовком «Системы и способы микроскопии структурированного освещения» (номер патентного реестра ILLM 1012-2), поданную 21 октября 2020 г., и обычную заявку на патент США №17/075,694 под заголовком «Повышенная эффективность расчета для микроскопии структурированного освещения» (номер патентного реестра ILLM 1022-2), поданную 21 октября 2020 г., обе из которых испрашивают преимущество вышеупомянутых предварительных заявок.

ВКЛЮЧЕНИЯ

[0002] Следующие заявки и материалы включены в настоящий документ путем отсылки во всех отношениях, как если бы они были полностью изложены в настоящем документе: Предварительная заявка на патент США № 62/692,303 под заголовком «Устройство для люминесцентной визуализации», поданная 29 июня 2018 г. (неопубликованная), и обычная заявка на патент США под заголовком «Устройство для люминесцентной визуализации», поданная 29 июня 2019 г. (номер патентного реестра IP-1683-US).

СФЕРА ОПИСЫВАЕМОЙ ТЕХНОЛОГИИ

[0003] Описанная технология относится к микроскопии структурированного освещения (SIM). В частности, описанная технология относится к захвату и обработке в режиме реального времени множества фрагментов изображения на большой плоскости изображения, путем их разделения на субфрагменты, эффективной обработки субфрагментов и генерирования изображения с улучшенным разрешением из субфрагментов. Изображения с улучшенным разрешением можно объединять в улучшенные изображения и использовать в последующих стадиях анализа.

[0004] Описанная технология относится к микроскопии структурированного освещения. В частности, описанная технология относится к уменьшению вычислений для обработки в режиме реального времени множества фрагментов изображения на большой плоскости изображения и получении изображений с улучшенным разрешением из фрагментов/субфрагментов изображения. В ходе некоторых промежуточных преобразований в технологической цепи SIM почти половина умножения и деления, необходимых в других случаях, может быть заменена на операции поиска с использованием конкретных применений эрмитовой симметрии.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0005] Объект изобретения, описанный в настоящем разделе, не следует считать известным техническим решением только на основании его упоминания в настоящем разделе. Аналогичным образом, проблема, упомянутая в настоящем разделе или связанная с объектом изобретения, представленным в настоящем разделе, не должна считаться признанной ранее в известных технических решениях. Объект изобретения в этом разделе лишь представляет различные подходы, которые сами по себе также могут соответствовать вариантам реализациям заявленной технологии.

[0006] Более десяти лет назад первооткрыватели в области микроскопии структурированного освещения получили Нобелевскую премию по физике. Выдающимся открытием стало получение разрешения изображения выше дифракционного предела Аббе.

[0007] Микроскопия SIM 2D и 3D применялась для визуализации биологических образцов, например частей отдельных клеток. Для изучения внутреннего строения клеток было приложено много усилий, результатом которых стало множество альтернативных технических вариаций.

[0008] Разрешение миллионов источников, распределенных по плоскости изображения, представляет совершенно иную проблему, чем изучение внутреннего строения клеток. Например, одним из новых разработанных подходов стало объединение нескольких изображений со спектральным освещением для получения изображения с улучшенным разрешением после обширного вычисления. Обработка большой плоскости изображения в реальном времени при скромных ресурсах требует радикально иного подхода, чем тот, который используется сейчас.

[0009] Соответственно, возникает возможность внедрения новых способов и систем, адаптированных к обработке больших плоскостей изображения при более низких требованиях к вычислительным ресурсам.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0010] Цветные графические материалы в приоритетных заявках, которые соответствуют черно-белым графическим материалам в данной заявке, можно запросить в Ведомстве по патентам и товарным знакам США (USPTO) в PAIR на вкладке Supplemental Content (Дополнительное содержимое). Одинаковые обозначения позиций на различных графических материалах указывают на аналогичные компоненты. Кроме того, масштаб компонентов на графических материалах может отличаться от реального; основное внимание при их составлении обычно уделяется иллюстрированию принципов описываемой технологии. В описании ниже представлены различные варианты реализации описываемой технологии со ссылкой на следующие графические материалы, на которых изображено следующее:

[0011] ФИГ. 1A иллюстрирует формирование муаровой интерференционной полосы путем использования решетки с одномерной (1D) модуляцией.

[0012] ФИГ. 1B представляет графическую иллюстрацию интенсивностей освещения, создаваемого двумерным (2D) рисунком структурированного освещения.

[0013] ФИГ. 1C иллюстрирует пример геометрической структуры для расположения нанолунок.

[0014] ФИГ. 2 иллюстрирует систему визуализации с помощью микроскопии структурированного освещения, которая может использовать пространственно структурированный возбуждающий свет для формирования изображения образца.

[0015] ФИГ. 3 представляет собой схему оптической системы, иллюстрирующую пример оптической конфигурации двухплечевой системы визуализации SIM.

[0016] ФИГ. 4A и 4В представляют собой схемы, иллюстрирующие оптическую конфигурацию системы визуализации SIM с двумя оптическими решетками для слайдов.

[0017] ФИГ. 5A иллюстрирует нежелательные изменения параметра разноса, которые могут происходить в системах визуализации SIM.

[0018] ФИГ. 5B иллюстрирует нежелательные изменения параметра фазы, которые могут происходить в системах визуализации SIM.

[0019] ФИГ. 5C иллюстрирует нежелательные изменения угла ориентации, которые могут происходить в системах визуализации SIM.

[0020]

[0021] ФИГ. 6 иллюстрирует упрощенные рисунки интерференционных полос освещения, которые можно спроецировать на плоскость образца с помощью вертикальных и горизонтальных решеток системы визуализации SIM.

[0022] ФИГ. 7 иллюстрирует упрощенные рисунки интерференционных полос освещения, которые можно спроецировать на плоскость с помощью первой и второй решеток системы визуализации SIM с двумя оптическими решетками для слайдов.

[0023] ФИГ. 8A иллюстрирует упрощенное изображение параллельных линий, изогнутых из-за искажения увеличивающей линзы.

[0024] ФИГ. 8B и 8С иллюстрируют разнос между номинально параллельными линиями.

[0025] ФИГ. 8D иллюстрирует пример субфрагментов или субполей изображения полного поля обзора (FOV).

[0026] ФИГ. 9 иллюстрирует общее изображение поверхности с цветовой кодировкой, которая точно соответствует наблюдаемым точкам данных, показанным красным цветом.

[0027] ФИГ. 10A и 10В в форме перевернутой чаши иллюстрируют измеренный разнос относительно разноса в субполе, расположенном близко к центру.

[0028] На ФИГ. 11A, 11В и 11С приведено сравнение измеренного искажения разноса с аппроксимацией квадратичной и кубической поверхностей.

[0029] ФИГ. 12A иллюстрирует измеренные точки данных без сглаживания путем аппроксимации кривой.

[0030] ФИГ. 12B иллюстрирует фактические данные в сравнении с квадратично аппроксимированной поверхностью.

[0031] ФИГ. 13A-13E иллюстрируют улучшение аппроксимации кривой путем обрезания вдоль границы датчика.

[0032] ФИГ. 14A графически иллюстрирует уменьшение среднеквадратичной погрешности (MSE) при различных коэффициентах усадки.

[0033] ФИГ. 14B-14G иллюстрируют улучшение квадратичной аппроксимации для модели углового искажения путем постепенного увеличения коэффициента усадки, примененного к данным изображения полного FOV.

[0034] ФИГ. 14H представляет собой график, иллюстрирующий незначительное улучшение аппроксимации квадратичной поверхности, когда значение коэффициента усадки составляет шесть.

[0035] ФИГ. 15A и 15В иллюстрируют квадратичную аппроксимацию реакционной поверхности, полученную путем аппроксимации искажения разноса интерференционных полос (A) и искажения разноса углов (B) по данным изображения полного FOV.

[0036] ФИГ. 16А иллюстрирует перенос фазового смещения субфрагмента из системы координат субфрагмента в систему координат изображения полного FOV.

[0037] ФИГ. 16B иллюстрирует положение точки в субфрагменте относительно системы координат субфрагмента и системы координат изображения полного FOV.

[0038] ФИГ. 17 представляет собой пример справочной таблицы фазового смещения для субфрагментов в изображении полного FOV.

[0039] ФИГ. 18 представляет собой обзор этапов процесса в неизбыточном алгоритме восстановления изображения SIM фрагмента.

[0040] ФИГ. 19 иллюстрирует симметрию в пространстве Фурье для матриц с четным и нечетным числом строк и столбцов.

[0041] ФИГ. 20 иллюстрирует неизбыточные и избыточные половины полных матриц в частотной области, представляющей три изображения, полученные с помощью одного угла пика освещения.

[0042] ФИГ. 21 иллюстрирует изменение конфигурации неизбыточных половин трех матриц в частотной области, представляющей три изображения, полученные с помощью одного угла пика освещения.

[0043] ФИГ. 22 иллюстрирует процесс разделения полосы путем умножения матрицы обратного разделения полосы на матрицу с измененной формой из ФИГ. 21

[0044] ФИГ. 23А иллюстрирует пример операции сдвига (1, 1), примененного к матрице.

[0045] ФИГ. 23В и 23С иллюстрируют усреднение первого и среднего столбцов в неизбыточном восстановлении изображения SIM.

[0046] ФИГ. 24 представляет собой упрощенную блок-схему компьютерной системы, которая может использоваться для реализации описанной технологии.

[0047] ФИГ. 25А и 25В представляют уменьшение частоты появления ошибок и показателя процентов полосного фильтра в кластерах (%PF) с обновлениями в алгоритме восстановления изображения SIM.

[0048] ФИГ. 26A-26C графически иллюстрируют уменьшение частоты появления ошибок в течение нескольких циклов при прогонах секвенирования.

[0049] ФИГ. 26D графически иллюстрируют уменьшение частоты появления ошибок путем включения методов фазового обучения и локального устранения проблем в исходный алгоритм SIM.

ПОДРОБНОЕ ОПИСАНИЕ

[0050] Следующее описание представлено для того, чтобы любой специалист в данной области мог изготовить и использовать описываемую технологию. Описание предоставляется в контексте конкретного применения и его требований. Специалистам в данной области будут очевидны различные модификации описанных вариантов реализации, а общие принципы, определенные в настоящем документе, можно применить к другим вариантам реализации и применения без отступления от сущности и объема описываемой технологии. Таким образом, описываемая технология не ограничена представленными вариантами реализации, но должна охватывать все количество возможных вариантов, согласованных с принципами и признаками, описанными в данном документе.

Введение

[0051] Микроскопия структурированного освещения в двух и трех измерениях позволила исследовать внутреннюю структуру живых клеток и даже молекулярную структуру биологических материалов, поскольку она улучшает разрешение систем захвата изображения. См., например, Sydor, Andrew & Czymmek, Kirk & Puchner, Elias & Mennella, Vito. (2015). Super-Resolution Microscopy: From Single Molecules to Supramolecular Assemblies. Trends in Cell Biology. 25. 10.1016/j.tcb.2015.10.004; также Lal et al. 2015, A., Shan, C., & Xi, P. (2015). Алгоритм реконструкции изображения с помощью микроскопии структурированного освещения. IEEE Journal of Selected Topics in Quantum Electronics, 22(4), 50-63. Для читателей, которые хотят освежить в памяти принцип SIM, Lal et al. 2015 представляет собой отличную комбинацию иллюстраций и математического объяснения, не считая вывода используемых уравнений. Данное описание охватывает технологию SIM для обработки изображения проточных кювет с использованием нескольких технологий, которые можно использовать отдельно или в комбинации.

[0052] SIM обеспечивает возможность развертывания плотно упакованных образцов из проточных кювет с флуоресцентными сигналами из миллионов точек образа, тем самым уменьшая количество реагентов, необходимых для обработки, и увеличивая производительность обработки изображений. Прием состоит в том, чтобы развернуть флуоресцентные образцы с плотной компоновкой ближе дифракционного предела Аббе для развертывания соседних источников света SIM. Образцы могут находиться в регулярно разнесенных нанолунках или могут являться кластерами, распределенными случайным образом. Большая часть нижеследующего описания относится к нанолункам с упорядоченной структурой, но технология SIM также применима к кластерам, распределенным случайным образом.

[0053] Технические проблемы, связанные с искажениями линзы и необходимыми вычислительными ресурсами, возникают из-за развертывания источников с плотной компоновкой. Данное описание решает эти технические проблемы.

[0054] Структурированное освещение может создавать изображения, которые имеют в несколько раз больше развернутых источников освещения, чем при нормальном освещении. Информация создается не сама по себе. Напротив, множественные изображения с меняющимися углами и фазовыми смещениями структурированного освещения используют для преобразования близко расположенных, иначе неразворачиваемых, элементов с высокой пространственной частотой в сигналы более низкой частоты, которые могут быть восприняты оптической системой без нарушения дифракционного предела Аббе. Этот предел физически заложен в формирование изображений природой света и оптики и выражается как функция от длины волны света и числовой апертуры (NA) конечной линзы объектива. При применении реконструкции SIM информацию из множества изображений преобразуют из пространственной области в область Фурье, объединяют и обрабатывают, затем реконструируют в улучшенное изображение.

[0055] В SIM используют решетку или формируют интерференционный рисунок между источником освещения и образцом, чтобы сформировать рисунок освещения, такой как рисунок, интенсивность которого меняется в соответствии с синусоидой или косинусоидой. В контексте SIM помимо обозначения поверхности, которая создает рисунок структурированного освещения, термин «дифракционная решетка» иногда означает спроецированный рисунок структурированного освещения. В альтернативном варианте осуществления рисунок структурированного освещения может быть сформирован в виде интерференционного рисунка между частями расщепленного когерентного луча.

[0056] Проекция структурированного освещения на плоскость образца, например, как показано на ФИГ. 1, смешивает рисунок освещения с флуоресцентными (или отражающими) источниками в образце и вызывает новый сигнал, иногда называемый муаровой интерференционной полосой или наложением спектров. Новый сигнал сдвигает информацию высокой пространственной частоты в более низкую пространственную частоту, которая может быть захвачена без нарушения дифракционного предела Аббе. После захвата изображений образца, освещенного с помощью одномерного (1D) рисунка модуляции интенсивности, как показано на ФИГ. 1A, или двумерного (2D) рисунка модуляции интенсивности, как показано на ФИГ. 1B, решают систему линейных уравнений и используют ее для выделения из множества изображений муаровой интерференционной полосы или наложения спектров частей нового сигнала, который содержит информацию, сдвинутую от более высокой к более низкой пространственной частоте. Чтобы решить линейные уравнения, захватывают три изображения или больше с пошаговым сдвигом или смещением рисунка структурированного освещения. Часто могут быть захвачены изображения с меняющимися фазами (3-7 фаз) на каждый угол (1-5 углов) и затем разделены по полосам для сдвига области Фурье и повторного объединения. Увеличение количества изображений может улучшить качество реконструируемых изображений за счет повышения отношения сигнал/шум. Однако это может также увеличить время вычисления. Представление Фурье разделенных полосами изображений сдвигают и суммируют для получения реконструированной суммы. В итоге с помощью обратного быстрого преобразования Фурье (FFT) из реконструированный суммы реконструируют новое изображение с высоким разрешением.

[0057] Применение множества изображений и смещение только улучшает информацию об изображении в конкретном направлении, вдоль которой сдвигается рисунок структурированного освещения 1D, поэтому структурированное освещение или дифракционная решетка поворачивается, а процедура смещения повторяется. Поворот рисунка 1D, например на 45, 60, 90 или 120 градусов, может быть применен для получения шести или девяти изображений в три этапа. Факторы окружающей среды, такие как повреждение молекул на поверхности проточных кювет из-за лазеров синего и зеленого цвета, наклона фрагментов на поверхности проточных кювет и т. п., могут вызывать искажения в оценках смещения фаз для субфрагментов изображения или субокон полного поля обзора (FOV). Они также могут вызывать различия между фрагментами на подложке. Более частые оценки параметров восстановления изображения SIM могут быть выполнены для компенсации этих факторов окружающей среды. Например, фазовые смещения субфрагментов могут быть повторно оценены для каждого фрагмента, чтобы с каждым циклом восстановления сводить к минимуму эти ошибки. Параметры угла и разноса не изменяются так часто, как фазовое смещение, и, следовательно, увеличение частоты их оценки может вносить дополнительные вычисления, которые не являются необходимыми. Однако параметры угла и разноса можно вычислять чаще, если требуется.

Применение SIM к анализу изображения проточной кюветы

[0058] Визуализация проточной кюветы с несколькими миллионами флуоресцентных образцов более похожа на пространство сканирования с телескопом, чем на изучение микроструктур живой клетки. Сканирование проточной кюветы с помощью бюджетной оптики больше похоже на захват изображений инстаматической камерой, чем на использование адаптивной оптики Паломарской обсерватории. Сканирование проточной кюветы или небесного свода включает множество изображений, которые покрывают фрагменты цели, в отличие от визуализации живой клетки в зоне наилучшего восприятия линзы. Количество изображений, необходимых для охвата любой цели, зависит от поля зрения каждого фрагмента изображения и степени перекрытия. Экономичная линза имеет искажения на краях поля зрения, что усложняет создание улучшенных изображений.

[0059] Расчеты, используемые в реконструкции SIM, чувствительны к искажениям линзы, выравниванию рисунка в конкретном наборе изображений и тепловым эффектам для выравнивания эталонов по сравнению с циклами визуализации, которые прогрессируют в течение нескольких часов. Увеличение поля обзора с использованием большей части линзы вместо зоны наилучшего восприятия в центре делает реконструкцию изображений SIM восприимчивой к искажениям, вызываемым аберрациями в линзе. Эти аберрации, такие как несимметрическая аберрация, искажают структурированный рисунок освещения и делают параллельные линии пиков освещения похожими на кривые, как в целом показано на ФИГ. 8A, изменяя расстояние между пиками яркости рисунка и видимых углов рисунка.

[0060] На практике инструменты должны обладать характеристиками, которые позволяют сопоставлять искажения и смещения между частями фрагмента. Из-за продолжительности визуализации проточной кюветы в течение нескольких циклов некоторые инструменты получат преимущество от обновленных характеристик в начале цикла или даже во время цикла. Термическое искажение в течение нескольких часов визуализации проточной кюветы в течение нескольких сотен циклов может сделать возможным временное или регулярное регенерирование угла, разноса и фазы (сдвига) структурированного освещения.

[0061] Угол (вращение) и разнос (шкала) проецированного структурированного рисунка освещения можно определить с помощью пиковой оценки интерференционной полосы при определении характеристик прибора. Расчетная фаза или смещение повторяющегося рисунка в направлении выполнения могут быть выражены в виде пространственного сдвига от 0 до 360 градусов или в радианах. Искажение линзы усложняет оценку параметров, что приводит к предложениям затратных по вычислениям реконструкций из множества изображений. См., например, Ayuk et al. (2013) Structured illumination fluorescence microscopy with distorted excitations using a filtered blind-SIM algorithm. Optics letters. 38. 4723-6. 10.1364/OL.38.004723; и Mudry et al. (2012) Structured illumination microscopy using unknown speckle patterns. Nature Photonics. 6. 312-315. Описанная технология упрощает оценку повторных параметров и снижает количество необходимых вычислений в повторных циклах оценки.

[0062] Оценка параметров в реальном времени для реконструкции SIM является сложной задачей в вычислительном отношении. Вычислительная мощность, необходимая для реконструкции SIM, увеличивается пропорционально кубу числа пикселей в поле или субполе изображения. Например, для изображения с шириной M пикселей и высотой N пикселей преобразование Фурье может иметь следующую вычислительную сложность: k*M*N(log(M*N)). Таким образом, порядок величины ресурсов для реконструкции изображения SIM может увеличиваться пропорционально квадрату O(N²) или кубу O(N³) по мере увеличения числа пикселей на изображениях. Таким образом, двукратное увеличение размеров изображения, например от 512 x 512 до 1024 x 1024, может привести к увеличению вычислительных затрат в восемь раз. Особенно сложным является восстановление улучшенного изображения из шести или девяти изображений с разрешением 20 мегапикселей на ЦП со скоростью одного завершенного восстановления в течение 0,3 секунды во время выполнения сканирования. Обработка в режиме реального времени желательна для снижения требований к хранению и отслеживания качества обработки проточной кюветы в течение нескольких часов, когда происходит сканирование и секвенирование. Описанная технология уменьшает количество ряда ключевых вычислений приблизительно наполовину за счет использования симметрии и приблизительной симметрии в матрицах коэффициентов домена Фурье.

Устранение искажений линзы

[0063] Описанная технология решает проблему не очень серьезных искажений линзы для оптической системы в пределах бюджетных производственных допусков путем деления захваченного фрагмента изображения на субфрагменты и обработки субфрагмента, расположенного вблизи центра, иным способом по сравнению с другими субфрагментами. Изображение, захваченное оптическим датчиком, может называться фрагментом. Цикл формирования изображения для проточной кюветы захватывает множество фрагментов изображения с некоторым перекрытием. Каждый фрагмент изображения разделен на субфрагменты, которые оцениваются независимо. Субфрагменты могут быть реконструированы независимо друг от друга, даже параллельно. Реконструкции из улучшенных субфрагментов могут быть сшиты вместе для создания реконструированного фрагмента с улучшенным пространственным разрешением.

[0064] Технология интерполяции, описанная для отношения параметров реконструкции ближайшего к центру субфрагмента к другим субфрагментам, аппроксимирует нелинейную функцию, например квадратичную кривую, с помощью фрагментарной аппроксимации. Описанная технология разбивает фрагмент изображения на субфрагменты, так что линии пика приблизительно равномерно разнесены в пределах субфрагмента, тем самым достигая более хорошего качества изображения из реконструированных субфрагментов в поле обзора линзы.

[0065] Создание субфрагментов для уменьшения искажения интерференционных полос создает новую проблему: параметры реконструкции должны быть оценены для каждого субфрагмента. Оценка параметров представляет собой наиболее затратный набор заданных значений в реконструкции SIM, а разделение на субфрагменты увеличивает время выполнения оценки параметров по меньшей мере на один порядок величины, например при разделении изображения на 5x5 субфрагментов будет создан алгоритм, который в 25 раз медленнее. При разделении фрагмента на 8x11 субфрагментов требуется 88 наборов параметров реконструкции вместо одного набора.

[0066] Описанная технология изучает функцию, которая сопоставляет искажение и тем самым уменьшает количество вычислений в повторных циклах. Найденная функция действительна для всех циклов и наборов изображений, поскольку она сопоставляет оптические характеристики оптической системы, которые изменяются при изменении оптической системы, например при повторном совмещении. Во время циклов оценки между характеристиками прибора, затратное вычисление параметров фокусируется на одном субфрагменте, ближайшем к центру. Параметры для каждого субфрагмента сопоставляются с измерениями в циклах, удаленных от центрального эталонного субфрагмента и других субфрагментов.

[0067] Для субфрагментов сопоставляют три параметра: угол пика освещения, разнос пика освещения и фазовое смещение. Угол пика освещения также называют углом решетки. Разнос пика освещения также называют разносом решетки. Описанная технология сопоставляет угол и разнос с использованием квадратичных моделей искажения поверхности. Фазовое смещение или просто фаза - это сдвиг структурированного рисунка освещения или решетки при проецировании на плоскость образца.

[0068] Модели искажения разноса и угла, которые можно использовать повторно, вычисляют a priori, используя подход субфрагментов для характеристики полного FOV. При подходе окон или субфрагментов фрагмент разделяют на перекрывающиеся окна или субфрагменты изображений и выполняют оценку параметров SIM на каждом субфрагменте. Результаты оценки параметров субфрагмента затем отправляют в регрессию наименьших квадратов, в которой генерируются квадратичные поверхности искажения. Затем для экстраполяции параметров субфрагментов или в любом местоположении полного поля зрения можно использовать сохраненные коэффициенты уравнений. В альтернативных вариантах реализации коэффициенты можно хранить и использовать, а также переносить в таблицу поиска субфрагментов, которая соотносит ближайший к центру субфрагмент с другими субфрагментами. В качестве эталона используют ближайший к центру субфрагмент, поскольку искажение в центре линзы меньше, чем по краям.

[0069] Для фазового соотношения между субфрагментами таблица поиска подходит лучше, чем аппроксимация кривой, как представлено ниже.

[0070] В ходе выполнения, которое занимает несколько часов, можно применять периодическую реклассификацию для защиты от термической нестабильности и смещения в его результате. После переопределения коэффициентов экстраполяции процесс возобновляет оценки экстраполирования параметров ближайшего к центру субфрагмента с другими субфрагментами путем экстраполяции и без затратных оценок параметров для других субфрагментов.

Использование симметрии для снижения затрат вычислений

[0071] При визуализации одной кюветы реконструкцию SIM из множества изображений часто выполняют на специализированном оборудовании, например на GPU, FPGA или CGRA. За счет избыточных вычислительных ресурсов алгоритмы реконструкции работают с полностью избыточными преобразованиями Фурье, смещенными к центру. Используя вместо этого центральный процессор, авторы описывают реконструкцию SIM с использованием неизбыточных коэффициентов изображений после преобразования Фурье. Вариант реализации описан на основе симметрии данных в пространстве преобразования Фурье, смещенном к углу. Использование определенной симметрии повышает сложность программы, но может уменьшить количество данных для вычисления в ключевом наборе наполовину, а количество необходимых вычислений - наполовину при сохранении почти одинаковой точности. Также уменьшают количество вычислений, необходимых для смещения представлений Фурье в отношении объединенных изображений.

Адаптация к рисункам освещения 2D

[0072] Стандартные алгоритмы для одномерного (1D) модулированного освещения требуют модификации при использовании их с двумерным (2D) рисунком модулированного освещения. Сюда входят оценка разноса пика освещения и угла пика освещения, что требует двумерного (2D) разделения полосы, а не одномерного (1D). Кроме того, модификация включает в себя оценку фазы по Уикеру, в которой требуется использовать две точки (вместо одной), чтобы оценить фазу в двух измерениях. Одномерный (1D) интерференционный рисунок может быть сформирован одномерной дифракционной решеткой, как показано на ФИГ. 1A, или в результате интерференционного рисунка двух лучей.

[0073] На ФИГ. 1B показано распределение интенсивности, которое может быть получено посредством двумерной (2D) дифракционной решетки или посредством интерференции четырех лучей света. Два луча света создают рисунок интенсивности (горизонтальные яркие и темные линии) вдоль оси y и поэтому называются y-парой падающих лучей. Еще два луча света создают рисунок интенсивности (вертикальные яркие и темные линии) вдоль оси x и поэтому называются x-парой падающих лучей. Интерференция y-пары с x-парой лучей света создает двумерный (2D) рисунок освещения. На ФИГ. 1B показано распределение интенсивности такого двумерного (2D) рисунка освещения.

[0074] На ФИГ. 1C показано расположение нанолунок на поверхности проточной кюветы в углах прямоугольника. При использовании одномерного (1D) структурированного освещения угол пика освещенности выбран так, что изображения получают вдоль линии, соединяющей по диагонали противоположные углы прямоугольника. Например, можно получить два набора из трех изображений (всего шесть изображений) под углами +45 градусов и -45 градусов. Поскольку расстояние вдоль диагонали больше расстояния между любыми двумя сторонами прямоугольника, можно получить изображение более высокого разрешения. Нанолунки могут быть расположены в виде других геометрических фигур, таких как шестиугольник. В таком случае можно получить три или более изображения вдоль каждой из трех диагоналей шестиугольника, что в итоге дает, например, девять или пятнадцать изображений.

[0075] Описанные новые и специализированные технологии можно применять по отдельности или в комбинации для улучшения характеристик сканирования при обнаружении флуоресценции нескольких миллионов образцов, распределенных по проточной кювете, за несколько циклов. В последующих разделах авторы вводят терминологию, описывают инструмент визуализации, который можно улучшить с помощью описанной технологии, а также новые технологии улучшения изображения, которые можно использовать по отдельности или в комбинации.

Терминология

[0076] Термин «частота», используемый в настоящем документе в отношении параметра структурированного освещения, означает величину, обратную расстоянию между интерференционными полосами или линиями рисунка структурированного освещения (например, рисунка интерференционных полос или решетки), т. к. частота и период находятся в обратной зависимости. Например, рисунок, имеющий большее расстояние между интерференционными полосами, будет иметь частоту ниже, чем рисунок, имеющий меньшее расстояние между интерференционными полосами.

[0077] Термин «фаза», используемый в настоящем документе в отношении параметра структурированного освещения, означает фазу рисунка структурированного освещения, освещающего образец. Например, фаза может быть изменена перемещением рисунка структурированного освещения относительно освещаемого образца.

[0078] Термин «ориентация», используемый в настоящем документе в отношении параметра структурированного освещения, означает относительную ориентацию между рисунком структурированного освещения (например, рисунком интерференционных полос или решетки) и образцом, освещаемым этим рисунком. Например, ориентация может быть изменена вращением рисунка структурированного освещения относительно освещаемого образца.

[0079] Термины «предсказывать» или «предсказание», используемые в настоящем документе в отношении параметра структурированного освещения, означают либо вычисление значений параметра без непосредственного измерения параметра, либо оценку параметра по захваченному изображению, соответствующему параметру. Например, фаза рисунка структурированного освещения в момент t1 времени может быть предсказана путем интерполяции между значениями фазы, непосредственно измеренными или оцененными (например, по захваченным фазовым изображениям) в моменты времени t2 и t3, причем t2 < t1 < t3. В качестве еще одного примера частота рисунка структурированного освещения в момент t1 времени может быть предсказана путем экстраполяции из значений частоты, непосредственно измеренных или оцененных (например, по захваченным фазовым изображениям) в моменты времени t2 и t3, причем t2 < t3 < t1.

[0080] Термин «порядок» или «порядковый номер», используемый в настоящем документе в отношении света, дифрагированного дифракционной решеткой, означает количество целочисленных длин волн, которые представляют разницу длины пути света из смежных щелей или структур дифракционной решетки для конструктивной интерференции. Взаимодействие падающего луча света с повторяющимся рядом структур решетки или других структур, расщепляющих луч, может перенаправить или дифрагировать части луча света в предсказуемых угловых направлениях относительно первоначального луча. Термин «нулевого порядка» или «максимум нулевого порядка» означает центральную яркую интерференционную полосу, излучаемую дифракционной решеткой, в которой нет дифракции. Термин «первого порядка» означает две яркие интерференционные полосы, дифрагированные в обе стороны от интерференционной полосы нулевого порядка, причем разница длин пути равна ±1 длине волны. Полосы более высокого порядка дифрагируются на более высокие углы от первоначального луча. Свойствами решетки можно манипулировать для управления степенью интенсивности луча, направляемой в полосы различного порядка. Например, фазовая решетка может быть изготовлена так, чтобы максимизировать передачу лучей ±1 порядков и минимизировать передачу луча нулевого порядка.

[0081] Термин «элемент», используемый в настоящем документе в отношении образца, означает точку или область в структуре, которую можно отличить от других точек или областей на основании относительного расположения. Отдельный элемент может включать одну или несколько молекул определенного типа. Например, элемент может включать одну целевую молекулу нуклеиновой кислоты, имеющую конкретную последовательность, или элемент может включать несколько молекул нуклеиновой кислоты, имеющих одинаковую последовательность (и/или комплементарную ей последовательность).

[0082] Используемый в настоящем документе термин «плоскость xy» означает 2-мерную область, определяемую прямыми осями x и y в декартовой системе координат. При использовании в отношении детектора и объекта, наблюдаемого детектором, область может быть дополнительно определена как ортогональная оси луча или направлению наблюдения между детектором и обнаруживаемым объектом.

[0083] Используемый в настоящем документе термин «координата z» предназначен для обозначения информации, которая устанавливает местоположение точки, линии или области вдоль оси, ортогональной плоскости XY. В конкретных вариантах реализации ось z перпендикулярна области объекта, наблюдаемой детектором. Например, направление фокуса оптической системы может быть установлено вдоль оси z.

[0084] Используемый в настоящем документе термин «оптически связанный» означает один элемент, адаптируемый для прямой или косвенной передачи света другому элементу.

Оборудование для SIM

[0085] Этот раздел основан на описании, ранее представленном заявителем в предварительной заявке США № 62/692,303, поданной 29 июня 2018 года (неопубликованной). Микроскопия структурированного освещения (SIM) описывает способ, посредством которого пространственно структурированный (т. е. в форме рисунка) свет может быть использован для визуализации образца и увеличения бокового разрешения микроскопа на два порядка или более. На ФИГ. 1A показана формация муаровой интерференционной полосы (или муарового рисунка) с использованием решетки с модуляцией 1D. Поверхность, содержащая образец, освещается структурированным рисунком интенсивности света, как правило, синусоидальной, для воздействия на формацию муаровой интерференционной полосы. На ФИГ. 1A показаны два синусоидальных рисунка, на которых их частотные векторы, в частотном или обратном пространстве, (a) параллельны и (b) непараллельны. На ФИГ. 1A представлена типичная иллюстрация сдвига высокочастотной пространственной информации в сторону более низкой частоты, которую можно обнаружить оптически. Новый сигнал называют муаровой интерференционной полосой или наложением В некоторых случаях во время формирования изображения образца получают три изображения рисунков интерференционных полос с различными фазами рисунка (например, 0°, 120° и 240°), чтобы каждое местоположение на образце подвергалось воздействию диапазона интенсивностей освещения, причем эту процедуру повторяют, поворачивая ориентацию рисунка вокруг оптической оси на 2 (например, 45°, 135°) или 3 (например, 0°, 60° и 120°) отдельных угла. Полученные изображения (например, шесть или девять изображений) могут быть собраны в одно изображение с расширенной полосой пространственной частоты, которое можно повторно преобразовать в реальное пространство и создать изображение, с более высоким разрешением по сравнению с изображением, полученным с помощью стандартного микроскопа.

[0086] В некоторых вариантах реализации систем SIM линейно поляризованный луч света направляют через оптический расщепитель луча, который расщепляет луч на два или более отдельных порядка, которые могут быть объединены и спроецированы на образец, изображение которого формируют, в виде рисунка интерференционных полос с синусоидальным изменением интенсивности. Примерами расщепителей луча являются дифракционные решетки, которые могут формировать лучи с высокой степенью когерентности и стабильными углами распространения. Когда два таких луча объединяются, интерференция между ними может создавать рисунок из равномерных регулярно повторяющихся интерференционных полос, причем расстояние между ними определяется факторами, включающими угол между интерферирующими лучами.

[0087] На ФИГ. 1B представлен пример двумерного (2D) структурированного освещения. Двумерное (2D) структурированное освещение может быть сформировано двумя ортогональными одномерными (1D) дифракционными решетками, наложенными друг на друга. Как и в случае одномерных (1D) рисунков структурированного освещения, двумерные (2D) рисунки освещения могут быть сформированы либо путем использования двумерных (2D) дифракционных решеток, либо посредством интерференции между четырьмя лучами света, которые создают регулярно повторяющийся рисунок интерференционных полос.

[0088] Во время захвата и/или последующей сборки или реконструкции нескольких изображений в одно с расширенной полосой пространственной частоты необходимо учитывать следующие структурированные параметры освещения: ориентация или угол рисунка интерференционных полос также обозначается как угол освещения относительно освещенного образца, причем разнос между смежными интерференционными полосами обозначается как разнос пика освещения (т. е. частота рисунка интерференционных полос) и фазовое смещение структурированного рисунка освещения. В идеальной системе визуализации, которая не подвергается воздействию таких факторов, как механическая нестабильность и термические вариации, каждый из этих параметров не сбивается или иным образом изменяется с течением времени, поэтому должны быть известны точные параметры частоты, фазы и ориентации SIM, связанные с данным образцом изображения. Однако из-за таких факторов, как механическая нестабильность траектории луча возбуждения и/или теплового расширения/сжатия визуализируемого образца, эти параметры могут сбиться или иным образом измениться с течением времени.

[0089] Таким образом, может потребоваться оценка структурированных параметров освещения системы визуализации SIM для учета их изменения с течением времени. Поскольку многие системы визуализации SIM не выполняют обработку изображения SIM в режиме реального времени (например, они обрабатывают захваченные изображения автономно), такие системы SIM могут тратить значительное количество времени на вычисления для обработки изображения SIM и оценки параметров структурированного освещения для этого изображения.

[0090] На ФИГ. 2-4B представлены три таких примера системы визуализации SIM. Следует отметить, что, хотя эти системы описаны прежде всего в контексте систем визуализации SIM, которые формируют одномерные (1D) рисунки освещения, описанная в настоящем документе технология может быть реализована с помощью систем визуализации SIM, которые формируют рисунки освещения большей размерности (например, двумерные рисунки решетки).

[0091] На ФИГ. 2 показана система 100 визуализации с помощью микроскопии структурированного освещения (SIM), которая может реализовывать предсказание параметра структурированного освещения в соответствии с некоторыми вариантами реализации, описанными в настоящем документе. Например, система 100 может представлять собой систему флуоресцентной микроскопии структурированного освещения, которая использует пространственно структурированный возбуждающий свет для формирования изображения биологического образца.

[0092] В примере на ФИГ. 2 излучатель 150 света выполнен с возможностью испускания луча света, который коллимируют коллиматорной линзой 151. Коллимированный свет структурируют (придают рисунок) посредством оптического узла 155 структурирования света и направляют посредством дихроичного зеркала 160 через линзу 142 объектива на образец в контейнере 110 для образцов, который помещен на подвижный столик 170. В случае флуоресцентного образца образец флуоресцирует в ответ на структурированный возбуждающий свет, и получающийся в результате свет собирается линзой 142 объектива и направляется на датчик изображения системы 140 камеры для обнаружения флуоресценции.

[0093] Оптический узел 155 структурирования света включает одну или более оптических дифракционных решеток или других расщепляющих луч элементов (например, куб или пластину расщепителя луча) для формирования светового рисунка (например, интерференционных полос, обычно синусоидальных), который проецируют на образцы в контейнере 110 для образцов. Дифракционные решетки могут быть одномерными или двумерными передающими или отражающими решетками. Дифракционные решетки могут быть дифракционными решетками с синусоидальной амплитудой или решетками с синусоидальной фазой.

[0094] В некоторых вариантах реализации дифракционные решетки могут не использовать вращающийся столик для изменения ориентации рисунка структурированного освещения. В других вариантах реализации дифракционная (-ые) решетка (-и) может (могут) быть установлена (-ы) на вращающемся столике. В некоторых вариантах реализации дифракционные решетки могут быть неподвижными во время работы системы визуализации (т. е. не требуют вращательного или линейного движения). Например, в конкретном варианте реализации, дополнительно описанном ниже, дифракционные решетки могут включать две фиксированные одномерные передающие дифракционные решетки, ориентированные перпендикулярно друг другу (например, горизонтальная дифракционная решетка и вертикальная дифракционная решетка).

[0095] Как показано в примере на ФИГ. 2, оптический узел 155 структурирования света испускает рассеянные лучи света первого порядка (например, m = ± 1 порядок), при этом блокируя или сводя к минимуму лучи всех других порядков, включая лучи нулевого порядка. Однако в альтернативных вариантах реализации на образец могут быть спроецированы лучи света дополнительных порядков.

[0096] В течение каждого цикла формирования изображения система 100 визуализации использует оптический узел 155 структурирования света для получения множества изображений при различных фазах с боковым смещением рисунка интерференционных полос в направлении модуляции (например, в плоскости x-y и перпендикулярно интерференционным полосам), причем эту процедуру повторяют один или более раз, поворачивая ориентацию рисунка вокруг оптической оси (т. е. относительно плоскости x-y образца). Затем захваченные изображения могут быть реконструированы при помощи вычислений для формирования изображения с более высоким разрешением (например, изображения, имеющего примерно в два раза большее боковое пространственное разрешение по сравнению с отдельными изображениями).

[0097] В системе 100 излучатель 150 света может быть некогерентным излучателем света (например, излучать лучи света, выводимые одним или более возбуждающими диодами) или когерентным излучателем света, таким как излучатель света, испускаемого одним или более лазерами или лазерными диодами. Как показано в примере системы 100, излучатель 150 света включает оптическое волокно 152 для направления оптического луча, подлежащего выпуску. Однако могут быть использованы другие конфигурации излучателя 150 света. В вариантах реализации, использующих структурированное освещение в многоканальной системе визуализации (например, в многоканальном флуоресцентном микроскопе, использующем множество длин волн света), оптическое волокно 152 может быть оптически связано со множеством различных источников света (не показаны), причем каждый источник света излучает свет с другой длиной волны. Хотя показано, что система 100 имеет один излучатель 150 света, некоторые варианты реализации могут включать множество излучателей 150 света. Например, множество излучателей света могут быть включены в случае системы визуализации со структурированным освещением, использующей множество плеч, которая дополнительно рассмотрена ниже.

[0098] В некоторых вариантах реализации система 100 может включать трубчатую линзу 156, которая может включать элемент линзы для шарнирного соединения вдоль оси z для регулировки формы и пути структурированного луча. Например, компонент трубчатой линзы может быть шарнирно перемещен для учета диапазона толщин образцов (например, разной толщины покровного стекла) образца в контейнере 110.

[0099] В примере системы 100 модуль или устройство 190 подачи текучей среды может направлять поток реагентов (например, флуоресцентно-меченных нуклеотидов, буферов, ферментов, расщепляющих реагентов и т. д.) в (и через) контейнер 110 для образцов и сливной клапан 120. Контейнер 110 для образцов может содержать одну или более подложек, на которых представлены образцы. Например, в случае системы для анализа большого количества различных последовательностей нуклеиновых кислот контейнер 110 для образцов может включать одну или более подложек, к которым прикреплены или присоединены нуклеиновые кислоты, подлежащие секвенированию. Подложка может включать любую инертную подложку или матрицу, к которой могут быть прикреплены нуклеиновые кислоты, такую как, например, стеклянные поверхности, пластмассовые поверхности, латекс, декстран, полистироловые поверхности, полипропиленовые поверхности, полиакриламидные гели, золотые поверхности и кремниевые пластины. В некоторых областях применения подложка находится внутри канала или другой области во множестве местоположений, образованных в матрице или массиве по всему контейнеру 110 для образцов. Система 100 может также включать исполнительный механизм 130 блока температуры и нагреватель/охладитель 135, которые могут при необходимости регулировать температурный режим текучих сред в контейнере 110 для образцов.

[00100] В конкретных вариантах реализации контейнер 110 для образцов может быть реализован в виде структурированной проточной кюветы, содержащей прозрачную накладную пластину, подложку и содержащуюся между ними жидкость, а биологический образец может быть помещен на внутренней поверхности прозрачной накладной пластины или внутренней поверхности подложки. Проточная кювета может содержать большое количество (например, тысячи, миллионы или миллиарды) лунок (также называемых нанолунками) или областей, которые структурированы в массив определенной формы (например, шестиугольный массив, прямоугольный массив и т. д.) в подложке. Каждая область может образовывать кластер (например, моноклональный кластер) биологического образца, такого как ДНК, РНК или другой геномный материал, который может быть секвенирован, например, с использованием секвенирования путем синтеза. Проточная кювета может быть дополнительно разделена на ряд разнесенных дорожек (например, восемь дорожек), причем каждая дорожка содержит шестиугольный массив кластеров.

[00101] Контейнер 110 для образцов может быть установлен на столике 170 для образцов, чтобы обеспечивать перемещение и выравнивание контейнера для образцов 110 относительно линзы 142 объектива. Столик для образцов может иметь один или более исполнительных механизмов, позволяющих ему перемещаться в любом из трех измерений. Например, с точки зрения декартовой системы координат могут быть предусмотрены исполнительные механизмы, позволяющие столику перемещаться в направлениях X, Y и Z относительно линзы объектива. Это может позволить расположить одно или несколько мест для образцов на контейнере 110 для образцов так, чтобы оптически совместить их с линзой 142 объектива. Перемещение столика 170 для образцов относительно линзы 142 объектива может быть достигнуто путем перемещения самого столика для образцов, линзы объектива, некоторых других компонентов системы визуализации или любой комбинации вышеперечисленного. Другие варианты реализации могут также включать перемещение всей системы визуализации над неподвижным образцом. В альтернативном варианте реализации контейнер 110 для образцов может быть неподвижен во время формирования изображения.

[00102] В некоторых вариантах реализации для управления позиционированием оптических компонентов относительно контейнера 110 для образцов в направлении фокуса (обычно называемом осью z или направлением z) может быть включен фокусирующий компонент 175 (оси z). Фокусирующий компонент 175 может включать один или более исполнительных механизмов, физически соединенных со столиком для оптики или столиком для образцов, либо и с тем и с другим, для перемещения контейнера 110 для образцов на столике 170 для образцов относительно оптических компонентов (например, линзы 142 объектива), чтобы обеспечивать надлежащую фокусировку для операции формирования изображения. Например, исполнительный механизм может быть физически соединен с соответствующим столиком, например, посредством прямого или опосредованного механического, магнитного, гидравлического или другого присоединения к столику или контакта со столиком. Один или более исполнительных механизмов могут быть выполнены с возможностью перемещения столика в направлении z с сохранением положения столика для образцов в одной и той же плоскости (например, с сохранением уровня или горизонтального положения, перпендикулярного оптической оси). Один или более исполнительных механизмов могут быть также выполнены с возможностью наклона столика. Это может быть сделано, например, для динамического выравнивания контейнера 110 для образцов с учетом любого наклона его поверхностей.

[00103] Структурированный свет, исходящий из тестового образца в местоположении образца, изображение которого формируют, может быть направлен посредством дихроичного зеркала 160 на один или более детекторов системы 140 камеры. Некоторые варианты реализации могут включать узел 165 переключения фильтров с одним или более эмиссионными фильтрами, причем один или более эмиссионных фильтров могут быть использованы для пропускания излучения с конкретными длинами волн и блокировки (или отражения) излучения с другими длинами волн. Например, один или более эмиссионных фильтров могут быть использованы для переключения между различными каналами системы визуализации. В конкретном варианте реализации эмиссионные фильтры могут быть реализованы в виде дихроичных зеркал, которые направляют излучаемый свет разных длин волн на разные датчики изображения системы 140 камеры.

[00104] Система 140 камеры может включать один или более датчиков изображения для контроля и отслеживания формирования изображения (например, секвенирования) контейнера 110 для образцов. Система 140 камеры может быть реализована, например, в виде камеры с датчиком изображения на приборе с зарядовой связью (ПЗС), однако могут быть использованы другие технологии датчика изображения (например, активно-пиксельный датчик).

[00105] Выходные данные (например, изображения) из системы 140 камеры могут быть переданы в компонент 191 формирования изображений SIM в режиме реального времени, который может быть реализован в виде программного приложения, которое, как дополнительно описано ниже, может реконструировать изображения, захваченные во время каждого цикла формирования изображений, чтобы создавать изображение, имеющее более высокое пространственное разрешение. Реконструированные изображения могут учитывать изменения параметров структурированного освещения, которые предсказывают с течением времени. Кроме того, компонент 191 формирования изображений SIM может быть использован для отслеживания предсказываемых параметров SIM и/или для предсказания параметров SIM с учетом предыдущих оцененных и/или предсказанных параметров SIM.

[00106] Для управления работой системы 100 визуализации со структурированным освещением, в том числе синхронизацией различных оптических компонентов системы 100, может быть предусмотрен контроллер 195. Контроллер может быть реализован для управления аспектами работы системы, такими как, например, конфигурирование оптического узла 155 структурирования света (например, выбор и/или линейное перемещение дифракционных решеток), перемещение трубчатой линзы 156, фокусировка, перемещение столика и операции формирования изображения. Контроллер может быть также выполнен с возможностью управления элементами оборудования системы 100 для коррекции изменений параметров структурированного освещения со временем. Например, контроллер может быть выполнен с возможностью передачи сигналов управления двигателям или другим устройствам, управляющим конфигурацией оптического узла 155 структурирования света, движением столика 170 или некоторыми другими элементами системы 100 для коррекции или компенсации изменений фазы, частоты и/или ориентации структурированного освещения со временем. В вариантах реализации эти сигналы могут быть переданы в соответствии с параметрами структурированного освещения, предсказанными с использованием компонента 191 формирования изображения SIM. В некоторых вариантах реализации контроллер 195 может включать запоминающее устройство для хранения предсказанных или оцененных параметров структурированного освещения, соответствующих различным моментам времени и/или положениям образца.

[00107] В различных вариантах реализации контроллер 195 может быть выполнен с возможностью использования оборудования, алгоритмов (например, машиноисполняемых команд) или комбинации вышеперечисленного. Например, в некоторых вариантах реализации контроллер может включать один или более центральных процессоров (ЦП), графических процессоров (ГП) или процессоров со связанным запоминающим устройством. В качестве еще одного примера контроллер может представлять собой оборудование или другую электрическую схему для управления работой, такую как компьютерный процессор и энергонезависимый машиночитаемый носитель с хранящимися на нем машиночитаемыми командами. Например, это схемное решение может включать одно или более из следующего: программируемая пользователем вентильная матрица (FPGA), интегральная схема специального назначения (ASIC), программируемое логическое устройство (PLD), сложное программируемое логическое устройство (CPLD), программируемая логическая матрица (PLA), программируемая матричная логика (PAL) и другие подобные устройства обработки или схемные решения. В качестве еще одного примера контроллер может представлять собой комбинацию этого схемного решения с одним или более процессорами.

[00108] На ФИГ. 3 показана схема оптической системы, иллюстрирующая пример оптической конфигурации двухплечевой системы 200 визуализации SIM, которая может реализовывать предсказание параметра структурированного освещения в соответствии с некоторыми вариантами реализации, описанными в настоящем документе. Первое плечо системы 200 содержит излучатель света 210A, первый оптический коллиматор 220A для коллимирования света от излучателя 210A, дифракционную решетку 230A в первой ориентации относительно оптической оси, поворотное зеркало 240A и второй оптический коллиматор 250A. Второе плечо системы 200 включает излучатель света 210B, первый оптический коллиматор 220B для коллимирования света от излучателя 210B, дифракционную решетку 230B в первой ориентации относительно оптической оси, поворотное зеркало 240B и второй оптический коллиматор 250B. Хотя в данном примере проиллюстрированы дифракционные решетки, в других вариантах реализации для разделения света, полученного на каждом плече системы 200 визуализации SIM можно использовать другие элементы разделения луча, например куб или пластину расщепителя луча.

[00109] Каждый излучатель 210A-210B света может быть некогерентным излучателем света (например, излучать лучи света, выводимые одним или более возбуждающими диодами) или когерентным излучателем света, таким как излучатель света, испускаемого одним или более лазерами или лазерными диодами. В примере системы 200 каждый излучатель 210A-210B света представляет собой оптическое волокно, которое выводит оптический луч, коллимированный соответствующим коллиматором 220A-220B.

[00110] В некоторых вариантах осуществления каждое оптическое волокно может быть оптически соединено с соответствующим источником света (не показан), таким как лазер. Во время визуализации каждое оптическое волокно может быть включено или выключено с помощью высокоскоростного затвора (не показан), расположенного на оптическом пути между волокном и источником света, или путем импульсного включения во время визуализации соответствующего источника света на волоконном канале с заданной частотой. В некоторых вариантах осуществления каждый оптоволоконный канал может быть оптически соединен с одним и тем же источником света. В таких вариантах осуществления для направления света от источника в каждый оптоволоконный канал можно использовать разделитель луча или другой подходящий оптический элемент. В таких примерах каждый оптоволоконный канал может быть включен или выключен с помощью высокоскоростного затвора (не показан), расположенного на оптическом пути между волоконным каналом и разделителем лучей.

[00111] В примере системы 200 визуализации SIM первое плечо содержит фиксированную вертикальную решетку 230A для проецирования структурированного рисунка освещения или решетчатого рисунка в первой ориентации (например, вертикального рисунка интерференционных полос) на образец, а второе плечо содержит фиксированную горизонтальную решетку 230B для проецирования структурированного рисунка освещения или решетчатого рисунка во второй ориентации (например, горизонтального рисунка интерференционных полос) на образец 271. Решетки системы 200 визуализации SIM не нужно механически вращать или перемещать, и это может улучшать характеристики скорости, надежности и повторяемости системы.

[00112] В альтернативных вариантах реализации решетки 230A и 230B могут быть установлены на соответствующих линейных подвижных столиках, которые могут перемещаться для изменения длины оптического пути (и, следовательно, фазы) света, излучаемого решетками 230A и 230B. Ось линейного движения столиков может быть перпендикулярна или иным образом смещена относительно ориентации их соответствующей решетки, чтобы рисунок решетки можно было передать вдоль образца 271.

[00113] Решетки 230A-230B могут представлять собой светопроницаемые дифракционные решетки с множеством дифракционных элементов (например, параллельных прорезей или канавок), образованных в стеклянную подложку или другую подходящую поверхность. Решетки могут быть реализованы в виде фазовых решеток, которые обеспечивают периодическое изменение показателя преломления материала решетки. Шаг канавок или элементов может быть выбран так, чтобы она рассеивала свет под подходящими углами и была настроена для минимального размера разрешения образцов, изображение которых формируют, для работы системы 200 визуализации SIM. В других вариантах реализации решетки могут представлять собой отражательные дифракционные решетки.

[00114] В примере системы 200 визуализации SIM вертикальные и горизонтальные рисунки смещены приблизительно на 90 градусов. В других вариантах осуществления для создания смещения приблизительно 90 градусов можно использовать другие ориентации решеток. Например, решетки могут быть ориентированы таким образом, что они проецируют изображения, которые смещены ±45 градусов от плоскости x или y образца 271. Конфигурация примера системы 200 визуализации SIM может быть особенно выигрышной при использовании образца 271 с регулярным рисунком и элементами на прямоугольной решетке, поскольку структурированное улучшение разрешения может быть достигнуто с использованием только двух перпендикулярных решеток (например, вертикальной и горизонтальной).

[00115] Решетки 230A-230B в примере системы 200 выполнены с возможностью рассеяния входных лучей в ряде порядков (например, 0 порядка, ±1 порядка, ±2 порядка и т. д.), из которых лучи ±1 порядка могут быть проецированы на образец 271. Как показано в данном примере, вертикальная решетка 230A рассеивает коллимированный луч света в рассеянные лучи первого порядка (±1 порядка), распределяя первые порядки на плоскости страницы, а горизонтальная решетка 230B рассеивает коллимированный луч света в рассеянные лучи первого порядка, распределяя порядки на плоскости страницы (т. е. в плоскости, перпендикулярной странице). Для повышения эффективности системы можно блокировать лучи нулевого порядка и все другие рассеянные лучи более высокого порядка (например, ±2 порядка и выше), например отфильтровывать рисунок освещения, проецируемый на образец 271. Например, элемент блокирования луча (не показан), такой как фильтр порядка, может быть вставлен в оптический путь после каждой дифракционной решетки для блокирования луча нулевого порядка и лучей более высокого порядка. В некоторых вариантах реализации дифракционные решетки 230A-230B могут быть выполнены с возможностью рассеяния лучей только в лучи первых порядков, а луч нулевого порядка (нерассеянный луч) может быть заблокирован некоторым элементом, блокирующим луч.

[00116] Каждое плечо содержит модулятор оптической фазы или фазовращатель 240A-240B для фазового сдвига рассеянного света каждой из решеток 230. Например, во время структурированной визуализации оптическая фаза каждого рассеянного луча может быть сдвинута на некоторую часть (например, на 1/2, 1/3, 1/4 и т. д.) шага (λ) каждой интерференционной полосы структурированного рисунка. В примере на ФИГ. 3 фазовые модуляторы 240A и 240B реализованы в виде вращающихся окон, которые могут использовать гальванометр или другой вращательный приводной механизм для вращения и модуляции длины оптического пути для каждого рассеянного луча. Например, окно 240A может вращаться вокруг вертикальной оси для сдвига изображения, проецируемого вертикальной решеткой 230A на образце 271 слева или справа, а окно 240B может вращаться вокруг горизонтальной оси для смещения изображения, проецируемого горизонтальной решеткой 230B на образец 271 вверх или вниз.

[00117] В других вариантах реализации могут быть использованы другие фазовые модуляторы, которые изменяют длину оптического пути рассеянного света (например, линейные подвижные столики, клинья и т. д.). Кроме того, хотя модуляторы с оптической фазой 240A-240B показаны после решетки 230A-230B, в других вариантах реализации они могут быть размещены в других местах в системе освещения.

[00118] В альтернативных вариантах реализации однофазный модулятор может работать в двух разных направлениях для разных рисунков интерференционных полос, или однофазный модулятор может использовать одно движение для регулировки длины обоих путей. Например, большое вращающееся оптическое окно может быть расположено после зеркала 260 с отверстиями 261. В этом случае большое окно может быть использовано вместо окон 240A и 240B для модуляции фаз обоих наборов рассеянных лучей, испускаемых вертикальными и горизонтальными дифракционными решетками. Ось вращения большого вращающегося окна может не быть параллельной относительно оптической оси одной из решеток, но может быть смещена на 45 градусов (или с другим угловым смещением) от оптической оси каждой вертикальной и горизонтальной решетки для обеспечения сдвига фазы вдоль обоих направлений по одной общей оси вращения большого окна. В некоторых вариантах реализации большое вращающееся окно может быть заменено на клиновидное оптическое устройство, вращающееся вокруг номинальной оси луча.

[00119] В примере системы 200 зеркало 260 с отверстиями 261 объединяет два плеча в оптический путь без потерь (например, без значительной потери оптической силы, кроме небольшого поглощения отражающим покрытием). Зеркало 260 может быть расположено таким образом, что рассеянные лучи разного порядка от каждой из решеток пространственно разворачиваются, а нежелательные лучи разного порядка могут быть заблокированы. Зеркало 260 пропускает лучи первых порядков, испускаемые первым плечом через отверстия 261. Зеркало 260 отражает лучи первых порядков, испускаемые вторым плечом. Таким образом, структурированный рисунок освещения может быть переключен с вертикальной ориентации (например, решетки 230A) на горизонтальную ориентацию (например, решетку 230B), путем включения или выключения каждого излучателя или путем открытия и закрытия оптического затвора, который направляет свет от источника через оптоволоконный кабель. В других вариантах осуществления структурированный рисунок освещения может быть переключен с помощью оптического переключателя для изменения плеча, которое освещает образец.

[00120] Также в качестве примера система 200 визуализации представляет собой трубчатую линзу 265, полуотражающее зеркало 280, объект 270 и камеру 290. Например, трубчатая линза 265 может быть выполнена с возможностью поворота вдоль оси z для регулировки формы и траектории структурированного луча. Полуотражающее зеркало 280 может представлять собой дихроичное зеркало для отражения структурированного света, принятого от каждого плеча, до объектива 270 для проекции на образец 271 и прохождения через свет, излучаемый образцом 271 (например, флуоресцентный свет, длина волны которого отличается от длины волны возбуждения) на камеру 290.

[00121] Выходные данные (например, изображения) из камеры 290 могут быть переданы в компонент формирования изображений SIM в режиме реального времени (не показан), который может быть реализован в виде программного приложения, которое, как дополнительно описано ниже, может реконструировать изображения, захваченные во время каждого цикла формирования изображений, чтобы создавать изображение, имеющее более высокое пространственное разрешение. Реконструированные изображения могут учитывать изменения параметров структурированного освещения, которые предсказывают с течением времени. Кроме того, компонент формирования изображений SIM в режиме реального времени может быть использован для отслеживания предсказываемых параметров SIM и/или для предсказания параметров SIM с учетом предыдущих оцененных и/или предсказанных параметров SIM.

[00122] Для управления работой системы 200 визуализации со структурированным освещением, в том числе синхронизацией различных оптических компонентов системы 200, может быть предусмотрен контроллер (не показан). Контроллер может быть реализован в целях управления работой системы, такой как, например, конфигурация каждого оптического плеча (например, включение/выключение каждого оптического плеча во время захвата фазовых изображений, приведение в действие модуляторов фазы 240A-240B), перемещение трубчатой линзы 265, перемещение столика (если они используются) образца 271 и операции визуализации. Контроллер может быть также выполнен с возможностью управления элементами оборудования системы 200 для коррекции изменений параметров структурированного освещения со временем. Например, контроллер может быть выполнен с возможностью передачи сигналов управления на устройства (например, на модуляторы фазы 240A-240B), управляющие конфигурацией каждого оптического плеча или некоторыми другими элементами системы 100, для коррекции или компенсации изменений фазы, частоты и/или ориентации структурированного освещения со временем. В качестве другого примера, когда решетки 230A-230B установлены на линейных подвижных столиках (например, вместо использования модуляторов фазы 240A-240B), контроллер может быть выполнен с возможностью управления линейными подвижными столиками для коррекции или компенсации изменений фазы. В вариантах реализации эти сигналы могут быть переданы в соответствии с параметрами структурированного освещения, предсказанными с использованием компонента формирования изображения SIM. В некоторых вариантах реализации контроллер может включать память для хранения предсказанных или оцененных параметров структурированного освещения, соответствующих различным моментам времени и/или положениям образца.

[00123] Следует отметить, что для простоты оптические компоненты системы 200 визуализации SIM могут быть исключены из предшествующего описания. Кроме того, хотя в этом примере система 200 проиллюстрирована в виде одноканальной системы, в других вариантах реализации она может быть реализована в виде многоканальной системы (например, с использованием двух различных камер и источников света, излучающих волны двух разных длин).

[00124] Хотя система 200 иллюстрирует структурированную систему освещения с двумя плечами, которая включает в себя две решетки, ориентированные под двумя разными углами, следует отметить, что в других вариантах реализации технология, описанная в настоящем документе, может быть реализована в виде систем, в которых используется более двух плеч. В случае образца с регулярным рисунком и элементами на прямоугольной сетке улучшение разрешения может быть достигнуто только с двумя перпендикулярными углами (например, вертикальной решеткой и горизонтальной решеткой), как описано выше. С другой стороны, для улучшения разрешения изображения во всех направлениях для других образцов (например, образцов с прямоугольными рисунками) можно использовать три угла освещения. Например, система с тремя плечами может включать в себя три излучателя света и три фиксированные дифракционные решетки (по одной на плечо), где каждая дифракционная решетка ориентирована вокруг оптической оси системы для проецирования соответствующей ориентации рисунка на образец (например, рисунок под углом 0°, рисунок под углом 120° или рисунок под углом 240°). В таких системах для объединения дополнительных изображений дополнительных решеток в систему без потерь могут быть использованы дополнительные зеркала с отверстиями. В альтернативном варианте осуществления в такие системах можно использовать один или более поляризационных элементов разделения луча для объединения изображений каждой из решеток.

[00125] На ФИГ. 4A и 4B показана схема, иллюстрирующая пример оптической конфигурации системы 500 визуализации SIM с двумя оптическими решетками для слайдов, которая может реализовывать структурированное прогнозирование параметров освещения в соответствии с некоторыми вариантами реализации, описанными в настоящем документе. В примере системы 500 все изменения структурированного рисунка освещения или рисунка решетки, проецируемого на образец 570 (например, фазовые сдвиги или вращения рисунка), могут быть выполнены путем линейного перемещения подвижного столика 530 вдоль одной оси движения для выбора решетки 531 или 532 (т. е. выбора ориентации решетки) или фазового сдвига одной из решеток 531-532.

[00126] Система 500 содержит излучатель 510 света (например, оптоволоконный канал, оптически соединенный с источником света), первый оптический коллиматор 520 (например, коллимирующую линзу) для коллимирования выходного сигнала света излучателем 510, линейный подвижный столик 530 с первой дифракционной решеткой 531 (например, горизонтальной) и второй дифракционной решеткой 532 (например, вертикальной), трубчатую линзу 540, полуотражающее зеркало 550 (например, дихроичное зеркало), объект 560, образец 570 и камеру 580. Для простоты оптические компоненты системы 500 визуализации SIM могут быть не показаны на ФИГ. 4A. Кроме того, хотя в этом примере система 500 проиллюстрирована в виде одноканальной системы, в других вариантах реализации она может быть реализована в виде многоканальной системы (например, с использованием двух различных камер и источников света, излучающих волны двух разных длин).

[00127] Как показано на ФИГ. 4A, решетка 531 (например, горизонтальная дифракционная решетка) может рассеивать коллимированный световой пучок в рассеянные лучи света первого порядка (на плоскости страницы). Как показано на ФИГ. 4B, дифракционная решетка 532 (например, вертикальная дифракционная решетка) может отклонять луч в лучи первого порядка (выше и ниже плоскости страницы). В этой конфигурации для изображения образца 570 требуется только одно оптическое плечо с одним излучателем 510 (например, оптическим волокном) и одним линейным подвижным столиком, что может обеспечивать преимущества системы, такие как уменьшение количества движущихся частей для повышения скорости, упрощения и снижения стоимости. Кроме того, в системе 500 отсутствие поляризатора может обеспечить ранее упомянутое преимущество: высокую оптическую эффективность. Конфигурация примера системы 200 визуализации SIM может быть особенно выигрышной при использовании образца 570 с регулярным рисунком и элементами на прямоугольной решетке, поскольку структурированное улучшение разрешения может быть достигнуто с использованием только двух перпендикулярных решеток (например, вертикальной и горизонтальной).

[00128] Для повышения эффективности системы можно блокировать лучи нулевого порядка и все другие рассеянные лучи более высокого порядка (например, ±2 порядка и выше), формируемые каждой решеткой (например, отфильтровывать рисунок освещения, проецируемый на образец 570). Например, после подвижного столика 530 в оптический путь может быть вставлен элемент, блокирующий луч (не показан), такой как фильтр порядка. В некоторых вариантах реализации дифракционные решетки 531-532 могут быть выполнены с возможностью рассеяния лучей только в лучи первых порядков, а луч нулевого порядка (нерассеянный луч) может быть заблокирован некоторым элементом, блокирующим луч.

[00129] В примере системы 500 две решетки могут быть расположены приблизительно под углом ±45° от оси движения (или под другим углом от оси движения, например около +40°/-50°, около +30°/-60° и т. д.), так что фазовый сдвиг может быть реализован для каждой решетки 531 и 532 вдоль одной оси линейного движения. В некоторых вариантах осуществления две решетки могут быть объединены в один физический оптический элемент. Например, одна сторона физического оптического элемента может иметь структурированный рисунок освещения или решетчатый рисунок в первой ориентации, а смежная сторона физического оптического элемента может иметь структурированный рисунок освещения или решетчатый рисунок во второй ориентации, расположенной под прямым углом к первой ориентации.

[00130] Линейный подвижный столик 530 с одной осью может содержать один или несколько исполнительных механизмов, позволяющих ему перемещаться по оси X относительно плоскости образца или по оси Y относительно плоскости образца. Во время работы линейный подвижный столик 530 может обеспечивать достаточное перемещение (например, приблизительно 12-15 мм) и точность (например, повторяемость с приблизительной погрешностью менее 0,5 микрометра), чтобы вызвать проецирование точных рисунков освещения для эффективной реконструкции изображения. В вариантах реализации, в которых подвижный столик 530 используют в автоматизированной системе визуализации, например флуоресцентном микроскопе, он может обеспечивать высокую скорость работы, минимальную вибрацию и продолжительный срок службы. В вариантах реализации линейный подвижный столик 530 может включать в себя скрещенные роликовые опоры, линейный двигатель, линейный кодер с высокой точностью и/или другие компоненты. Например, подвижный столик 530 может быть реализован в виде высокоточного подвижного столика со ступенчатым или пьезоприводом, который можно перемещать с помощью контроллера.

[00131] Выходные данные (например, изображения) из камеры 580 могут быть переданы в компонент формирования изображений SIM в режиме реального времени (не показан), который может быть реализован в виде программного приложения, которое, как дополнительно описано ниже, может реконструировать изображения, захваченные во время каждого цикла формирования изображений, чтобы создавать изображение, имеющее более высокое пространственное разрешение. Реконструированные изображения могут учитывать изменения параметров структурированного освещения, которые предсказывают с течением времени. Кроме того, компонент формирования изображений SIM в режиме реального времени может быть использован для отслеживания предсказываемых параметров SIM и/или для предсказания параметров SIM с учетом предыдущих оцененных и/или предсказанных параметров SIM.

[00132] Для управления работой системы 500 визуализации со структурированным освещением, в том числе синхронизацией различных оптических компонентов системы 500, может быть предусмотрен контроллер (не показан). Контроллер может быть реализован в целях управления работой системы, например перемещением линейного подвижного столика 530, перемещением трубчатой линзы 540, перемещением столика (если он используется) образца 570 и операциями визуализации. Контроллер может быть также выполнен с возможностью управления элементами оборудования системы 500 для коррекции изменений параметров структурированного освещения со временем. Например, контроллер может быть выполнен с возможностью передачи сигналов управления устройствам (например, линейному подвижному столику 530) для коррекции или компенсации изменений фазы, частоты и/или ориентации структурированного освещения со временем. В вариантах реализации эти сигналы могут быть переданы в соответствии с параметрами структурированного освещения, предсказанными с использованием компонента формирования изображения SIM. В некоторых вариантах реализации контроллер может включать память для хранения предсказанных или оцененных параметров структурированного освещения, соответствующих различным моментам времени и/или положениям образца.

[00133] Хотя пример на ФИГ. 4A-4B иллюстрирует систему визуализации с двумя оптическими решетками для слайдов, которая может реализовывать структурированное прогнозирование параметров освещения, структурированное прогнозирование параметров освещения может быть реализовано в системах визуализации SIM, которые используют привод линейного движения, установленный с более чем двумя дифракционными решетками.

Оценка параметров проекции

[00134] Оценка параметров для обработки изображения SIM может потребоваться для коррекции нежелательных изменений параметров структурированного освещения с течением времени. В качестве примера на ФИГ. 5A-5C показаны нежелательные изменения частоты или разноса пика освещения (ФИГ. 5A), фазы или фазового смещения (ФИГ. 5B) и ориентации или угла пика освещенности (ФИГ. 5C), которые могут происходить с течением времени в системе визуализации SIM, которая проецирует одномерный структурированный рисунок освещения на образец с регулярным рисунком. В частности, на ФИГ. 5A представлен образец 50 с элементами 51, освещенными одномерным структурированным рисунком освещения с интерференционными полосами 60 до и после сдвигов частоты. Перед любыми смещениями частоты смежные интерференционные полосы 60 имеют шаг или межцентровое расстояние P, соответствующее начальной частоте f. Со временем при изменении температуры в системе шаг P может увеличиваться или уменьшаться. Например, тепловое расширение может привести к увеличению шага P до P + ΔP₁, соответственно уменьшая частоту f до f - Δf₁. И наоборот, тепловое сжатие может привести к уменьшению шага P до P - ΔP₁, соответственно увеличивая частоту f до f + Δf₂.

[00135] На ФИГ. 5B показан образец 50, освещенный одномерным структурированным рисунком освещения с интерференционными полосами 60 до и после изменений фазы. Как показано, перед смещением фазы первое фазовое состояние Φ может соответствовать интерференционным полосам, полностью освещающим каждый второй столбец элементов 51 образца 50. Со временем положение интерференционных полос 60 относительно образца 50 может смещаться таким образом, что все изображения фаз смещаются на ΔΦ. Например, механические колебания в системе визуализации SIM (например, в траектории луча возбуждения), погрешность столика поступательного перемещения, используемого решеткой или столиком для образцов, термические вариации и/или другие факторы могут вызывать нежелательное изменение фазы. После изменения фазы на ΔΦ состояние первой фазы меняется до Φ+ ΔΦ, интерференционные полосы смещаются от центра в каждом втором столбце элементов.

[00136] На ФИГ. 5C показан образец 50, освещенный одномерным структурированным рисунком освещения с интерференционными полосами 60 до и после изменений ориентации. Как показано, до изменения ориентация интерференционных полос относительно образца 50 является полностью вертикальной. Со временем ориентация может изменяться из-за таких факторов, как изменения в траектории луча возбуждения, перемещения образца, тепловые вариации и/или другие факторы. После поворота ориентации на угол Δθ интерференционные полосы становятся не полностью вертикальными относительно образца.

[00137] Оценка параметров во время процесса визуализации SIM для точного учета изменений в параметрах структурированного освещения, как описано выше, помогает обеспечить отсутствие артефактов и точную реконструкцию изображения из выборки изображений. Однако такой процесс подразумевает затратные вычисления и часто выполняется после получения изображения. Для критически важных систем визуализации SIM, которые включают обработку и реконструкцию изображений в реальном времени, и, таким образом, оценку в реальном времени таких параметров, как частота, фаза, ориентация и порядок модуляции, эти вычислительные требования могут привести к потере пропускной способности для передачи данных (например, в единицу времени может обрабатываться меньше данных). В таких системах скорость, при которой формируются образцы, может превышать скорость, при которой параметры структурированного освещения могут быть непосредственно оценены из полученных изображений. Таким образом, существует потребность в способе генерирования оценки параметров с низкой сложностью и низким временем обработки.

[00138] С этой целью варианты реализации технологии, описанной в настоящем документе, направлены на прогнозирование параметров структурированного освещения для конкретной точки во времени, пространстве и/или температуре с использованием оценок параметров структурированного освещения, полученных из изображений, захваченных системой структурированного освещения. Конкретные варианты реализации направлены на прогнозирование структурированного освещения, фазы, ориентации и/или параметров порядка модуляции.

[00139] В соответствии с некоторыми вариантами реализации параметр структурированного освещения может быть предсказан для заданной точки во времени, пространстве и/или температуре путем интерполяции оценок параметра структурированного освещения из захвата изображения. Например, первая частота может быть оценена из первого выбранного изображения, вторая частота может быть оценена из второго выбранного изображения, а частота, соответствующая точке времени между первым захваченным изображением и вторым захваченным изображением (например, частота для изображения, выполненного между первым и вторым изображениями), может быть предсказана путем интерполяции с использованием по меньшей мере определенной скорости изменения частоты между первым захваченным изображением и вторым захваченным изображением.

[00140] В соответствии с некоторыми вариантами реализации параметр структурированного освещения может быть предсказан для заданной точки во времени, пространстве и/или температуре путем экстраполяции с использованием оценок параметра структурированного освещения, полученного из двух захватов изображения. Например, первая ориентация может быть оценена из первого выбранного изображения, вторая ориентация может быть оценена из второго выбранного изображения, а ориентация, соответствующая точке времени после первого и второго захваченных изображений (например, ориентация для третьего изображения, полученного после первого и второго изображений), может быть предсказана путем экстраполяции с использованием по меньшей мере определенной скорости изменения ориентации от первого захваченного изображения до второго захваченного изображения. Во втором примере первая ориентация может быть оценена из первого выбранного изображения, вторая ориентация может быть оценена из второго выбранного изображения, а ориентация, соответствующая точке во времени после первого и второго захваченных изображений (например, ориентация для третьего изображения, полученного после первого и второго изображений), может быть предсказана путем удержания значения из второго захваченного изображения.

[00141] В примерах реализации оцененные и прогнозируемые параметры структурированного освещения могут быть использованы для узкого пространства поиска для других параметров структурированного освещения, которые прогнозируются. Например, учитывая оцененное значение параметра структурированного освещения для первой точки во времени, пространстве и/или температуре, значение параметра структурированного освещения для второй точки во времени, пространстве и/или температуре, которые находятся рядом с первой точкой во времени, пространстве и/или температуре могут быть предсказаны с учетом прогнозируемого или оцененного значения в первой точке во времени, пространстве и/или температуре.

[00142] В примерах реализации оцененные и прогнозируемые параметры структурированного освещения могут храниться в запоминающем устройстве системы структурированного освещения для последующего использования системой. Например, прогнозируемые и оцененные параметры могут храниться в файле истории, таком как таблица поиска. Прогнозируемые параметры, которые хранятся в памяти, могут быть определены из оцененных параметров, или они могут быть установлены на основании физических характеристик системы структурированного освещения. Например, можно хранить номинальное расстояние между решетками системы структурированного освещения. После этого сохраненные параметры могут быть привязаны к выполнению операций, таких как: калиброванное восстановление изображения, предоставление обратной связи к аппаратному компоненту для коррекции изменений параметров структурированного освещения и сужения пространства поиска при прогнозировании дополнительных параметров структурированного освещения.

Рисунки интерференционных полос освещения

[00143] На ФИГ. 6 представлены упрощенные рисунки интерференционных полос освещения, которые можно проецировать на плоскость образца 271 посредством вертикальной решетки 230A и горизонтальной решетки 230B системы 200 визуализации SIM во время одного цикла визуализации для использования структурированного света для создания изображения высокого разрешения. В этом примере три фазовых изображения с вертикальной ориентацией освещения могут быть захвачены с использованием вертикальной решетки 230A, а трехмерные изображения с горизонтальной ориентацией освещения могут быть захвачены с помощью горизонтальной решетки 230B. Для каждой ориентации проецируемые интерференционные полосы могут быть сдвинуты с шагом 1/3λ (например, путем установки модулятора фазы 230A или 230B в три разных положения) для захвата трех фазовых изображений рисунка ориентации.

[00144] Во время захвата каждого фазового изображения любой свет, излучаемый образцом, может быть захвачен камерой 290. Например, флуоресцентные красители, расположенные на различных элементах образца 271, могут флуоресцировать, а полученный свет может быть собран линзой 270 объектива и направлен на датчик изображения камеры 290 для обнаружения флуоресценции. Полученные шесть изображений можно использовать для формирования изображения всего образца или определения местоположения большего образца.

[00145] После захвата всех изображений для цикла визуализации (в данном примере шести изображений) изображение высокого разрешения может быть составлено из захваченных изображений. Например, изображение высокого разрешения может быть восстановлено из шести изображений, показанных на ФИГ. 6. Подходящие алгоритмы могут использоваться для объединения этих различных изображений для синтеза одного изображения образца со значительно более высоким пространственным разрешением, чем любое из отдельных изображений компонента.

[00146] Во время составления изображения высокого разрешения нежелательные сдвиги или изменения в параметрах структурированного освещения (таких как угол, разнос и фаза) могут быть компенсированы с помощью алгоритма с параметрами структурированного освещения, предсказанными в соответствии с данным изобретением (например, предсказанные изменения угла, разноса или фазы). Например, могут быть компенсированы смещения в фазах, угле и/или разносе вертикальных изображений освещения и/или горизонтальных изображений освещения.

[00147] В некоторых вариантах реализации нежелательные сдвиги или изменения в параметрах структурированного освещения могут быть компенсированы до захвата изображения путем управления одним или несколькими аппаратными элементами системы 200 для компенсации этих изменений в системе визуализации SIM. Например, перед последовательностью визуализации и/или между захватом изображений последовательности визуализации изменение фазы может быть компенсировано для каждого оптического плеча путем регулирования элемента фазового сдвига (например, вращающегося зеркала, линейного исполнительного механизма и т. д.). В некоторых вариантах осуществления может быть реализована комбинация аппаратных и алгоритмических компенсаций.

[00148] На ФИГ. 6 представлен вариант осуществления, в котором проточная кювета содержит симметрично расположенные нанолунки. В некоторых вариантах осуществления нанолунки могут быть расположены асимметрично, например, нанолунки могут иметь форму или конфигурацию для образования удлиненной структуры. Удлиненная структура относится к форме, в которой размер по первой оси больше размеров по второй оси. Асимметрично расположенные нанолунки могут быть эллиптическими, прямоугольными и т. д. В таких вариантах осуществления образец может быть развернут вдоль направления или оси длинной стороны, а SIM используется для увеличения разрешения вдоль короткой стороны. Если более короткая сторона нанолунок расположена вдоль оси x, а более длинная сторона вдоль оси y, шаг Px асимметрично расположенной проточной кюветы узкий или плотный, что приводит к увеличению разрешения, при этом по оси y шаг Py больше. Соответственно, разрешение увеличивают вдоль оси x и фиксируют только три изображения для надлежащего развертывания образца, содержащегося в нанолунках проточной кюветы.

[00149] На ФИГ. 7 представлены упрощенные рисунки интерференционных полос освещения, которые могут быть проецированы на плоскость образца 570 первой дифракционной решеткой и второй дифракционной решеткой системы 500 визуализации SIM с двумя оптическими решетками для слайдов для визуализации в процессе захвата изображения для цикла визуализации структурированного освещения. Например, система 500 визуализации SIM может использовать первую дифракционную решетку 531 и вторую дифракционную решетку 532 для создания рисунков освещения, показанных на ФИГ. 7. Как показано в примере на ФИГ. 7, две решетки проецируют перпендикулярные рисунки интерференционных полос на поверхность образца 570 и расположены приблизительно под углом ±45° от оси движения линейного подвижного столика 530.

[00150] Первая решетка (например, решетка 531) может проецировать интерференционные полосы освещения первого порядка на образец 570. Любой свет, излучаемый образцом, может быть захвачен камерой 580, а первое изображение фазы первого рисунка (например, рисунка под углом +45°) может быть захвачено для создания первого изображения фазы. Чтобы захватывать дополнительные изображения со сдвигом фазы, рисунок, проецируемый решеткой, может быть сдвинут по фазе путем перемещения линейного подвижного столика. Эти перемещения фазового сдвига проиллюстрированы как этапы 1 и 2 на ФИГ. 7. Перемещение фазовых сдвигов может обеспечивать небольшие (например, приблизительно от 3 до 5 микрометров или меньше) перемещения решеток для небольшого сдвига рисунка интерференционных полос, проецируемого на решетку.

[00151] После захвата всех изображений со сдвигом фаз для дифракционной решетки система 500 может переключать дифракционные решетки путем перемещения линейного подвижного столика 530 для оптического соединения другой дифракционной решетки с источником света системы визуализации (например, переход от ФИГ. 4A к 4B). Это движение показано как этап 3 в примере на ФИГ. 7. В случае изменения дифракционной решетки линейный подвижный столик может обеспечивать относительно большое перемещение (например, порядка 12-15 мм).

[00152] Затем можно захватить серию фазовых изображений для следующей решетки. Например, как показано на ФИГ. 7, вторая дифракционная решетка может проецировать световые интерференционные полосы первого порядка на образец, а положение проецируемых интерференционных полос изменить путем перемещения линейного подвижного столика 530 для захвата трех фазовых изображений рисунка решетки (например, этапы 4 и 5 на ФИГ. 7).

[00153] После захвата всех изображений для цикла визуализации (в данном примере шести изображений) изображение высокого разрешения может быть составлено из захваченных изображений. Например, изображение высокого разрешения может быть восстановлено из шести изображений, показанных на ФИГ. 7. Подходящие алгоритмы могут использоваться для объединения этих различных изображений для синтеза одного изображения образца со значительно более высоким пространственным разрешением, чем любое из отдельных изображений компонента.

[00154] Во время составления изображения высокого разрешения нежелательные сдвиги или изменения в параметрах структурированного освещения (таких как угол, разнос и фаза) могут быть компенсированы с помощью алгоритма с параметрами структурированного освещения, оцененными в соответствии с данным изобретением (например, предсказанные изменения угла, разноса или фазы). Например, могут быть компенсированы смещения в фазах, угле и/или разносе вертикальных изображений освещения и/или горизонтальных изображений освещения. В одном варианте осуществления одно или несколько смещений в фазах, угле и/или разносе изображений могут быть рассчитаны периодически, например в первом цикле прогона секвенирования. Частота этих оценок может быть увеличена или уменьшена на основе факторов окружающей среды, влияющих на стабильность процесса.

[00155] В некоторых вариантах реализации нежелательные сдвиги или изменения в параметрах структурированного освещения могут быть компенсированы до захвата изображения путем управления одним или несколькими аппаратными элементами системы 500 для компенсации этих изменений в системе визуализации SIM. Например, перед последовательностью визуализации и/или между захватом изображений последовательности визуализации изменение фазы может быть компенсировано путем перемещения линейного подвижного столика 530. В некоторых вариантах осуществления может быть реализована комбинация аппаратных и алгоритмических компенсаций.

[00156] В соответствии с описанными в настоящем документе вариантами реализации параметры структурированного освещения могут быть предсказаны для конкретной точки времени с использованием оценок параметров структурированного освещения, полученных из изображений, захваченных до и/или после этого времени. Например, ограничения вычислительных ресурсов могут ограничивать скорость, с которой система визуализации SIM (например, система 100, 200 или 500) может непосредственно оценивать параметры структурированного освещения, такие как фаза, частота и/или ориентация, из захваченных изображений. В некоторых случаях система визуализации SIM может непосредственно оценивать или измерять параметр структурированного освещения на каждом фазовом изображении, в этом случае может не потребоваться прогнозирование параметров структурированного освещения. Однако в других случаях система визуализации SIM может непосредственно оценивать или измерять параметр структурированного освещения для некоторых фазовых изображений цикла визуализации, один раз в цикл визуализации или даже реже (например, каждые 3, 5, 10, 50 или 100 циклов визуализации). В таких случаях для поддержания скорости выборки изображения системы может быть целесообразно использовать прямую оценку параметра структурированного освещения, который был получен для конкретной точки во времени и/или пространстве, чтобы сделать прогнозы о параметре структурированного освещения в других точках во времени и/или пространстве.

[00157] Для математического описания одного примера этого основного значения одним из способов оценки параметров структурированного освещения является корреляция относительно эталона.

где h(x) представляет собой эталон, который может быть либо известен, либо получен из данных изображения, c(x) получают из данных изображения, которые коррелируют с эталоном, а представляет собой значение, которое должно быть оценено (в данном примере - частота). Следует отметить, что в соответствии с данным изобретением можно использовать другие альтернативные методики оценки.

[00158] В примере уравнения (1) один вывод корреляции может быть сгенерирован для каждого из ряда гипотетических значений . Оценку параметров можно получить в виде значения , что максимизирует величину корреляции. Однако во многих случаях необходимо попытаться увеличить количество гипотетических значений для максимизации корреляционного выходного сигнала. Большое пространство поиска может увеличить вычислительные требования и в результате привести к снижению производительности системы (т. е. в единицу времени может обрабатываться меньше данных).

Искажение оптического средства (в частности, линзы)

[00159] В следующих двух разделах представлены методики оценки параметров для реконструкции изображения SIM. Некоторые из раскрытых методик компенсируют линии пиков интерференционных полос, которые искажены или искривлены из-за несовершенств линзы. Линии рисунка, которые должны быть параллельными, остаются таковыми возле центра изображения, но обычно сходятся или становятся непараллельными возле краев линзы. Это влияет на угол или ориентацию пика освещенности, разнос пика освещенности и фазовое смещение. На ФИГ. 8A показано разделение фрагмента изображения на перекрывающиеся области, называемые субфрагментами, субокнами или субобластями. Субфрагменты достаточно малы, чтобы можно было установить параметры, которые дадут удовлетворительную реконструкцию для всего субфрагмента. Оценка параметров может быть выполнена в два этапа. Сначала можно выполнить оценку параметров для ближайшего к центру субфрагмента изображения. Затем можно выполнить оценку параметров для других субфрагментов и сравнить с ближайшим к центру субфрагментом, чтобы определить искажения и поправки на искажения относительно параметров для ближайшего к центру субфрагмента.

[00160] Чтобы проиллюстрировать реализацию этих методик, авторы настоящего изобретения представляют пример псевдокода для оценки параметров в алгоритме «сопоставление угла и разноса субфрагмента» (который также называют алгоритмом 2A) и в алгоритме «сопоставление фаз субфрагмента» (который также называют алгоритмом 2B). В качестве примера авторы также представляют псевдокод для определения искажений и коррекции искажений в оцененных параметрах для нецентральных субфрагментов в сравнении с ближайшими к центру субфрагментами в «алгоритме калибровки окончательного искажения» (который также называют алгоритмом 1).

[00161] На ФИГ. 8A-8C показаны физические аспекты полного поля обзора (FOV). В одном варианте осуществления используют прямоугольный датчик размером 5472 пикселя на 3694 пикселя. Конечно, может быть использован квадратный или иного размера датчик, например 5472 × 5472 пикселя или 4800 × 4800 пикселей. При использовании прямоугольного датчика искажение больше всего к краям линзы. Линза часто бывает круглой, поэтому прямоугольный датчик не приближается к краю линзы на длинной стороне так близко, как на короткой стороне.

[00162] На ФИГ. 8A представлены две иллюстрации, которые показывают искажение разноса интерференционных полос по всему полю обзора (FOV). Фигура 801 слева представляет собой упрощенное изображение 801 параллельных линий, изогнутых из-за искажения увеличивающей линзы. Изображенные линии должны быть параллельными в плоскости изображения. При просмотре через линзу они кажутся сходящимися на правом и левом концах по сравнению с разносом в центре. Фигура 805 справа представляет собой еще один преувеличенный пример. На этой фигуре интерференционные полосы ориентированы по диагонали между верхним левым и нижним правым углами. Разнос интерференционных полос преувеличен, чтобы было легче увидеть. Линии интерференционных полос сходятся в верхнем левом и нижнем правом углах относительно центра. Для линз конкретного изготовителя рисунок интерференционных полос может быть неоднородным.

[00163] На ФИГ. 8B и 8C изображены измерения разноса на изображении между номинально параллельными пиками интерференционных полос в плоскости изображения для освещения зеленым и синим лазерами. Цветная шкала указывает вариацию разноса между 2,08 и 2,22 (пикселя датчика). На обоих рисунках цветовая шкала указывает, что центральный разнос между параллельными линиями составляет приблизительно 2,14. Неоднородность при освещении с длиной волны зеленого света видна в верхнем правом углу на ФИГ. 8B. Более существенная неоднородность при освещении с длиной волны синего света видна на ФИГ. 8C вдоль правого и левого краев. На этих фигурах рисунок интерференционных полос представляет собой ряд параллельных линий из нижнего левого угла в верхний правый угол фигур. Таким образом, разнос измеряют в нормальном положении относительно общего направления стрелки на ФИГ. 8C. Эти фигуры обосновывают коррекцию искажений, вызываемых линзой. Поскольку линзы изготавливают и устанавливают индивидуально, после сборки желательна калибровка и коррекция отдельных систем.

[00164] ФИГ. 8B в оттенках серого иллюстрирует три концептуальных контурных овала с основной осью вдоль диагональной поверхности из левого верхнего в правый нижний угол. Линии контура приблизительно указывают области с разным разнесением между параллельными линиями. В предварительной заявке на приоритет с цветными чертежами на цветной схеме более детально прорисованы оцененные вариации. Рисунок интерференционных полос представляет собой ряд параллельных линий под углом 45° из левого нижнего угла в правый верхний угол фигуры. Разнесение между параллельными линиями увеличивается в центральной зоне, как показано более светлым оттенком серого. При переходе от центральной зоны к правому верхнему или левому нижнему участкам разнесение между линиями интерференционных полос уменьшается. Основные оси трех контурных линий приблизительно перпендикулярны направлению линий интерференционных полос. Расстояние между размерами уменьшается по мере выхода из области в центральной контурной линии. ФИГ. 8C серого цвета также содержит контурные линии. Контурные линии на ФИГ. 8C имеют такое же значение, как описано выше, и указывают области с разными диапазонами искажений между разносами.

[00165] На ФИГ. 8D показаны субфрагменты или субполя полного поля обзора (FOV) на фрагменте изображения. На этой фигуре показан субфрагмент размером 512 пикселей на 512 пикселей. Эти субфрагменты могут разбивать поле обзора, как показано, или могут перекрываться. Субфрагменты могут быть больше или меньше. Например, было показано, что можно работать с субфрагментами 400 × 400 и 1024 × 1024. На фигуре показано 5 × 7 субфрагментов. Более крупный датчик, названный выше, может иметь 8 × 11 субфрагментов. Могут быть использованы другие конфигурации субфрагментов, такие как 3 × 3, 5 × 5, 5 × 7, 9 × 9, 9 × 16. Более крупные датчики могут быть разделены на большее количество субфрагментов. Субфрагменты могут перекрываться по меньшей мере 2 пикселями оптического датчика. Для перекрытия между субфрагментами можно использовать большее и меньшее количество пикселей. Например, для субфрагмента шириной 512 пикселей можно использовать перекрытие вплоть до 256 пикселей, а для субфрагмента шириной 1024 пикселя можно использовать перекрытие вплоть до 256 пикселей. В соответствии с ФИГ. 8B и 8C существуют несколько потенциально пригодных близких к центру субфрагментов 803, причем все они находятся в зоне наилучшего восприятия линзы, включая центральный субфрагмент в массиве субфрагментов с нечетным количеством строк и столбцов. Используемый в настоящем документе ближайший к центру субфрагмент включает центральный пиксель датчика или примыкает к субфрагменту, который включает центральный пиксель. В некоторых оптических системах, которые являются плоскими и имеют малую ошибку, субфрагмент, находящийся дальше от субфрагментов, смежных с центральным субфрагментом, может быть использован в качестве опорного без оказания влияния на общую компенсацию искажения.

[00166] Описанная технология включает сопоставление искажения, измеренного практически по всему полному полю обзора, захватываемому датчиком. Три параметра, от которых зависит реконструкция SIM с улучшенным разрешением на основе правильно структурированного освещения, включают разнос интерференционных полос, угол интерференционных полос и фазовое смещение рисунка интерференционных полос. Эти переменные также называют разносом, углом и фазовым смещением рисунка структурированного освещения или решетки. Отклонения разноса и угла от значения центрального фрагмента могут быть аппроксимированы по всему полю обзора с использованием полиномиальных поверхностей. Были исследованы как квадратичные, так и кубические поверхности. Также можно использовать полиномиальные поверхности высшего порядка.

[00167] Как разнос интерференционных полос, так и угол интерференционных полос на фрагменте изображения могут быть аппроксимированы квадратичными поверхностями. Анализ чувствительности показывает, что квадратичные поверхности аппроксимируются очень близко, как и кубические поверхности. Квадратичная поверхность соответствует уравнению:

f(x,y) = c0 + (c1*x) + (c2*y) + (c3*x*y) + (c4 *x²) + (c5*y²). (2)

В последующих циклах визуализации можно охарактеризовать сжатие или расширение разноса между центральным субфрагментом из-за изменений температуры и применить такую же коррекцию отклонения к остальной части изображения. В зависимости от сокращения и расширения вблизи центрального субфрагмента коррекция отклонения может быть изменена и перенесена соответствующим образом. Авторы наблюдали относительные отклонения в субфрагментах по отношению к центральному или ближайшему к центру субфрагменту, который используется в качестве эталона.

[00168] ФИГ. 9 иллюстрирует изображение поверхности с цветовой кодировкой, которая соответствует измеренным точкам данных, показанным красным цветом. Так как это трехмерная поверхность, рекомендуется обратиться к цветной версии фигуры для понимания контуров. Темные участки на ФИГ. 9, показанные в оттенках серого, представляют темные цвета в верхней и нижней частях трехмерного графика. Например, темный правый верхний участок графика на ФИГ. 9 обозначает темно-красный цвет, а темный участок внизу обозначает синие цвета на цветном графике. В момент подачи приоритетной заявки USPTO (Ведомство США по патентам и товарным знакам) сохранило цветную версию на вкладке дополнительного содержимого онлайн-системы PAIR, где позднее она станет общедоступной.

[00169] На практике было отмечено, что разность искажений в поле обзора может быть представлена в форме чаши или перевернутой чаши, в то время как искажение угла обычно представлено в форме седла. ФИГ. 10A и 10В в форме перевернутой чаши иллюстрируют измеренный разнос относительно разноса в субфрагменте, расположенном близко к центру. ФИГ. 12A и 12В в форме седла иллюстрируют измеренные углы относительно угла рисунка интерференционных полос в субфрагменте, расположенном близко к центру.

[00170] На ФИГ. 10A и 10B ось x соответствует длине датчика. Ось y идет вдоль ширины датчика. Метки на оси x и оси y представляют собой индексы субфрагмента. Разнос по вертикальной оси нормализован до 1,000 разноса на оси z между регулярно разнесенными интерференционными полосами, наблюдаемыми в ближайшем к центру субфрагменте. На ФИГ. 10A показаны измеренные точки данных без сглаживания путем аппроксимации кривой. Это показывает изменение приблизительно в 1,2 процента по наблюдаемому разносу интерференционных полос между измерениями в центральном и правом нижнем участках датчика. На ФИГ. 10B фактические точки данных, показанные синим цветом, показаны в сравнении с квадратично аппроксимированной поверхностью. В следующем разделе авторы представляют измерение искажений разноса и угла для полного FOV в сравнении с ближайшим к центру субфрагментом. Черно-белые версии ФИГ. 10A и 10B имеют темные участки в верхней и нижней частях графиков. Темный оттенок в верхних частях представляет красный цвет, а темный оттенок в нижней части - синий цвет.

Калибровка искажения разноса и угла

[00171] В данном разделе дополнительно описаны способы калибровки полного поля зрения (FOV) датчика, применяемые для захвата структурированного освещения и обеспечения соответствия функции нелинейных эффектов, вызванных искажением линзы. Структурированное освещение включает в себя проецирование рисунка с регулярным разнесением и наклоном на плоскость изображения. Фрагмент изображения - это захваченная часть проецированного рисунка структурированного освещения. Из полного поля обзора выбирают ближайший к центру субфрагмент. Измеряют разнос и угол субфрагмента, включая вариацию в самом субфрагменте. Затем определяют разнос и угол рисунка других субфрагментов в полном поле обзора. Разнос и угол рисунка в полном поле обзора выражают относительно разноса и угла рисунка ближайшего к центру субфрагмента. Многократно подгоняют полиномиальные поверхности к разносу и углу рисунка практически по всему полному полю обзора.

[00172] На ФИГ. 11A, 11В и 11С приведено сравнение измеренного искажения разноса с аппроксимацией квадратичной и кубической поверхностей. Изменение цвета практически незаметно на трех фигурах, поскольку отклонение разноса в поле обзора меньше 2% на всех трех фигурах. Визуальный анализ этих фигур и расчет ошибок аппроксимации позволяют предположить, что квадратичная полиномиальная поверхность обеспечивает достаточно хорошую аппроксимацию искажения разноса. Сущность и методика настоящего описания охватывают полиномиальные поверхности высшего порядка и альтернативные схемы аппроксимации, которые могут давать несколько лучшие или худшие результаты, чем при использовании квадратичной полиномиальной поверхности. Черно-белые версии ФИГ. 11A, 11B и 11C включают темные тона в центральных участках, которые представляют темно-красный цвет, а внешние участки справа вверху и слева внизу имеют более светлые тона, которые представляют светло-красный цвет, переходящий в оранжевый и желтый вблизи границ.

[00173] ФИГ. 12A и 12B имеют одинаковую конфигурацию осей x и y с ФИГ. 10A и 10B. Вертикальная ось на этих фигурах указывает угол ориентации интерференционных полос, наблюдаемых в поле обзора. Номинальный угол можно принять за 45° Диапазон измеренных углов составляет от 44,85 до 45,15 градуса, что представляет собой отклонение в 0,6%. На ФИГ. 12A показаны измеренные точки данных без сглаживания путем аппроксимации кривой. На ФИГ. 12B фактические точки данных, показанные синим цветом, показаны в сравнении с квадратично аппроксимированной поверхностью. Черно-белые версии ФИГ. 12A и 12B имеют темные участки в верхней и нижней частях графиков. Темные тона в верхней части обозначает темно-красный цвет, а темные тона в нижней части - темно-синий цвет.

[00174] На ФИГ. 13A-13E и 14B-14H показано, как обрезка вдоль границы датчика может улучшить аппроксимацию кривой для разноса и угла интерференционных полос в диапазоне датчика. Оси x и y графиков на этих фигурах представляют положения пикселей по длине и ширине датчика. Как показано на ФИГ. 8C, обрезка обозначена границей вблизи краев датчика. На фигуре показано, что эта обрезка или усадка удаляет деформацию вблизи краев изображения, захваченного датчиком. На следующих фигурах показано, как это уменьшение изображения обеспечивает хорошую аппроксимацию данных FOV на модели поверхности. Коэффициент усадки или блок усадки могут быть равны усадке изображения на один шаг раздвижного окна. Значение шага может быть выбрано по размеру субфрагментов или эмпирическим путем на основании количества пикселей на краях датчика, которые могут вызывать искажение. Например, если выбран шаг в 200 пикселей, то один блок усадки может удалить внешние 200 пикселей данных изображения с низким качеством со всех сторон изображения. Можно использовать шаг менее 200 пикселей, например, 25, 50 или 100 пикселей, или более 200 пикселей, например 225, 250 или 300 пикселей.

[00175] На ФИГ. 13A синим пунктиром показана квадратичная поверхность модели для аппроксимации искажения разноса по данным изображения для полного поля обзора (FOV) без обрезки. Для этих данных изображения полного FOV не применяют коэффициент усадки, т. е. коэффициент усадки равен нулю. Как показано на ФИГ. 13A, данные полного FOV не обеспечивают хорошую аппроксимацию для модели. По мере увеличения коэффициента усадки от 1 до 4 (ФИГ. 13B-13E) можно улучшить аппроксимацию между моделью и точками данных без обрезки. Поскольку обрезка устраняет внешние точки данных, шкала по оси z уменьшается, что указывает на меньшую вариацию среди субфрагментов. Как показано на ФИГ. 8C, внешние точки данных расположены вдоль краев датчика, где применяется обрезка. На ФИГ. 13C видно намного больше внешних точек данных, чем на ФИГ. 13D-E. Как показано на ФИГ. 13E, значение MSE снизилось до 0,000001, а шкала по оси z опустилась немного ниже, чем на ФИГ. 13D. Черно-белые версии ФИГ. 13A-13E, 14B-14H, и 15A-15B имеют темные участки в верхней и нижней частях графиков. Темные тона в верхней части обозначают темные цвета в верхней и нижней частях графиков. Некоторые из этих графиков имеют светлые и темные окружности, расположенные на графиках или близко к ним. Светлые и темные цвета окружностей не указывают на какую-либо разницу между этими окружностями. Некоторые окружности изображены темным цветом для наглядности.

[00176] ФИГ. 14B-14H иллюстрируют улучшение квадратичной аппроксимации поверхности для углового искажения путем постепенного увеличения коэффициента усадки, примененного к данным изображения полного FOV. По мере увеличения коэффициента усадки шкала по оси z снова уменьшается, и массив точек данных смещается ближе к аппроксимированной поверхности. Исключение внешних искаженных значений по краям датчика значительно улучшает аппроксимацию поверхности. На ФИГ. 14B-E искажение заметно по точкам данных синего цвета в плоскости ниже аппроксимированной поверхности. При увеличении коэффициента усадки с 1 (ФИГ. 14C) до 3 (ФИГ. 14E) шкала по оси z уменьшается наполовину: с [-45, -20] до [-44, -40]. На ФИГ. 14F обрезка, в конечном итоге, позволяет сблизить точки данных и аппроксимированную поверхность. На ФИГ. 14F MSE снижается до 0,000033. В настоящем документе квадратичная модель поверхности для искажения угла соответствует измеренным данным, представленным в виде синих точек. На ФИГ. 14H при увеличении коэффициента усадки на 6 улучшение незначительно. На фигурах коэффициент усадки 4 или более дает положительный результат. Для выбора коэффициента усадки или определения влияния коэффициентов усадки на разрешающую способность можно использовать пороговое значение на основании процентного или абсолютного улучшения MSE. Выбор коэффициента усадки может быть автоматизирован с использованием подхода, основанного на соотношении или пороговом значении.

[00177] Определение характеристик системы визуализации путем подбора поверхностей искажения может быть выполнено до и/или во время работы прибора. Периодически повторяют оценку разноса и угла рисунка в ближайшем к центру субфрагменте и с использованием экстраполированных факторов для определения разноса и угла рисунка в полном поле обзора. Коэффициенты экстраполяции могут быть применены без оценки разноса и угла рисунка за пределами ближайшего к центру субфрагмента. Субфрагменты полного поля обзора могут перекрывать друг друга. Во время калибровки разнос и угол рисунка рассчитывают независимо для перекрывающихся субфрагментов. При таком подходе можно использовать два угла ориентации для рисунка структурированного освещения, так чтобы два угла были практически выровнены с противоположными углами прямоугольного или четырехугольного рисунка нанолунок.

[00178] Таким образом, описанная технология включает калибровку и повторную калибровку прибора для определения вариации среди субфрагментов фрагмента. Характерное искажение разноса и углов применить таким образом, чтобы значительно уменьшить потребность в оценке параметров во время работы инструмента. Характерные значения/калибровку можно улучшить путем обрезки пикселей по краю датчика, которые настолько искажены, что не аппроксимируются на поверхности сопоставления, то есть обрезки пикселей, которые препятствуют аппроксимации.

Применение калиброванного разноса и угла

[00179] Описанная технология позволяет эффективно реконструировать улучшенное изображение практически по всей площади полного поля обзора. Для этой цели полное поле обзора разделяют по меньшей мере на девять субфрагментов или субполей для независимой реконструкции на основе субфрагмента. Можно оценить или получить предварительно оцененные параметры разноса и параметры угла рисунка, просматривая рисунок структурированного освещения с регулярным разносом и углом для ближайшего к центру субфрагмента. Для переноса параметров ближайшего к центру субфрагмента на другие субфрагменты в поле обзора применяют экстраполированные коэффициенты. Для выполнения улучшенной реконструкции изображения из множества изображений используются параметры оценки ближайшего к центру субфрагмента и экстраполированные параметры, других субфрагментов. Множество изображений просматривают под множеством углов рисунка в периодически смещающихся фазах рисунка соответствующих углов рисунка путем применения анализа микроскопии структурированного освещения (SIM) к множеству изображений. В одном варианте реализации описанная выше технология позволяет дополнительно оценивать периодическое смещение рисунка фаз соответствующих углов рисунка. Описанная выше технология может быть расширена для объединения субфрагментов путем выявления регулярного рисунка шума вдоль границ объединения и устранения шума.

[00180] На ФИГ. 15A и 15B представлены примеры моделей искажения, аппроксимированные из реальных данных, которые были собраны с приборов секвенирования. Фиг. 15A иллюстрирует квадратичную аппроксимацию реакционной поверхности, полученную путем аппроксимации искажения разноса интерференционных полос в полном поле обзора (FOV). Фиг. 15B иллюстрирует квадратичную аппроксимацию реакционной поверхности, полученную путем аппроксимации искажения угла интерференционных полос в FOV.

Оценка фазового смещения

[00181] Фазовое смещение - это оставшийся, третий входной параметр для реконструкции изображения SIM. В этом разделе существующие методики адаптируются для оценки фазового смещения. Описанная технология позволяет выполнить оценку по субфрагментам, поэтому дополнительно разработана методика установления общих критериев для оценки фазового смещения по субфрагментам относительно фрагмента полного FOV. В одном варианте реализации оценки фазы использована методика, предложенная Wicker et al., 2013 г. в их статье, озаглавленной Phase optimisation for structured illumination microscopy, раздел 3. Уравнения из статьи Lal et al., 2015 г. под названием Structured illumination microscopy image reconstruction algorithm и статьи Wicker et. al., 2013 г. позволяют лучше понять оценку фазы по Уикеру.

[00182] Нижеприведенное уравнение (3), взятое из статьи Lal et al., 2015 г., разделяет три полосы частотных компонентов: (k)(k); (k-p _θ)(k); (k+p _θ)(k), из полученных изображений . Матрица смешивания использует оценки фаз , и изображений, захваченных с использованием рисунка с синусоидальной интенсивностью освещения I _{θ , Φ} (r), соответствующие углу или ориентации рисунка, равным θ. Wicker et. al., 2013 г. имеется ссылка на фазу для n^го изображения в ориентации . Если фазы не известны с достаточной точностью, процесс устранения смешивания или разделения полосы не идеально разделит компоненты пространственной частоты на основании наблюдаемых изображений в частотной области. На практике три пространственно-частотные компонента (k)(k); (k-p _θ)(k); (k+p _θ)(k) в той или иной мере будут содержать остаточную информацию из других компонентов, что обозначается термином «шум».

Это выражение с тремя составляющими вытекает из преобразования Фурье для синусоидального или косинусоидального освещения. Другие функции освещения могут изменять эти уравнения.

[00183] Поэтому важна информация о фазах рисунка с синусоидальной интенсивностью освещения. Поскольку не всегда возможно точно управлять этими фазами в экспериментальной установке, желательно определять фазы рисунка освещения из полученных данных изображения. Wicker et. al., 2013 г. представили методику оценки фазы для данных SIM, полученных с использованием когерентного синусоидального освещения при выбранной частоте. Когерентное освещение дает хорошую контрастность рисунка от решеток с очень маленьким разносом пика освещения «s», который улучшает разрешение при реконструкции. Восстановлена фазу рисунка освещения n^го изображения, с использованием пиковой частоты рисунка освещения. Пиковую частоту рисунка освещения также называют пиком Фурье.

[00184] Нижеприведенное уравнение (4) из статьи Wicker et. al., 2013 г., представляет обобщенную форму уравнения (3) с полученными изображениями _n() по всем частотам в частотной области. Каждое изображение содержит три компонента, которые называются _-1(), ₀(), ₊₁() накладываемые с разными фазами. Следует отметить, что указанные три компонента являются теми же компонентами, что и (k)(k); (k-p _θ)(k); (k+p _θ)(k) в уравнении (4).

[00185] Следует отметить, что «c» в уравнении (4) называют контрастностью рисунка освещения. При отсутствии шума «c» совпадает с коэффициентом «m» модуляции в матрице M смешивания в уравнении (3). Чтобы определить , частоту в уравнении (4) заменяют на , что представляет собой пиковую частоту рисунка освещения, получаемую из уравнения (5).

[00186] Уравнение (5) показывает, что фаза рисунка приблизительно равна фазе полученного изображения _n() на частоте . Эта приблизительная оценка фазы рисунка может давать хорошие результаты при соблюдении трех рекомендаций. Во-первых, контрастность «c» рисунка освещения должна быть достаточно высокой. Во-вторых, спектральная мощность образца должна быстро убывать с ростом частоты. Когда эти две рекомендации соблюдены, в уравнении (5) преобладает последний член, и поэтому его можно упростить:

Для любого вещественнозначного образца центральная частота () будет вещественнозначной. Кроме того, если функция рассеяния точки (PSF) h() является вещественной и симметричной, то оптическая передаточная функция (OTF) () будет вещественной. OTF является сверткой функции рассеяния точки (PSF). Функция рассеяния точки представляет собой версию оптической передаточной функции системы визуализации в пространственной области. Название «функция рассеяния точки» указывает на то, что все физические оптические системы размывают (рассеивают) точку света в некоторой степени, причем величина размытия определяется качеством оптических компонентов. Разрешение системы формирования изображения ограничивается размером PSF. Для асимметричных PSF следует учитывать фазы OTF.

[00187] В-третьих, OTF при частоте рисунка () должна быть достаточно большой, чтобы преодолевать шум. Если OTF слишком маленькая, шум в получаемом изображении может значительно изменять фазу, измеряемую при . Этот способ оценки фазы не может быть использован для частот рисунка вне пределов поддержки обнаружения OTF. Для таких частот, () = 0.

[00188] OTF оптической системы может быть определена экспериментально. Например, Lal et al., 2015 г. вычисляют OTF путем получения нескольких изображений образцов с помощью пространственно распределенных флуоресцентных микросфер размером 100 нм. Затем распределение интенсивности, соответствующее более чем 100 микросферам, накладывали и усредняли для получения аппроксимации для PSF системы. Преобразование Фурье этой PSF дает оценку OTF системы. С этой целью можно применять методику оценки фазы, описанную для субфрагментов.

Перенос фаз субфрагментов на общие критерии

[00189] Может быть полезным оценить фазовый сдвиг фрагментов относительно всего поля обзора (FOV), так что измерение фазы в одном субфрагменте можно экстраполировать на другие субфрагменты во фрагменте. Угол пика освещения и разнос пика освещения для полного FOV можно оценивать на основании угла пика освещенности и разноса пика освещенности субфрагмента с использованием квадратичных моделей, представленных выше. Фазовое смещение может быть менее регулярным, поскольку оно зависит от геометрии пикселей субфрагмента, которые могут давать функцию с неравномерным шагом вместо сглаженной функции. Каждая фазовая оценка имеет «критерий», закрепленный с левым верхним углом изображения, используемого для оценки фазы. В результате, если требуется исправить различия в фазе геометрически по всему изображению, то фазы, оцененные по каждому субфрагменту, необходимо сравнивать с эталонной фазой (из центрального субокна или субфрагмента оценки) в общем критерии. Оценку фазы каждого субфрагмента переносят в одно и то же геометрическое местоположение для достижения общего критерия. Для переноса фазы требуется точная оценка угла и разноса интерференционных полос для каждого субфрагмента. Угол и разнос интерференционных полос могут быть получены из моделей искажения квадратичной поверхности, которые были откалиброваны в результате процесса калибровки искажений.

[00190] Оценку фаз обозначают с помощью общих критериев по всем субфрагментам изображения полного FOV. Пространство координат субфрагментов сопоставляют с пространством координат полного FOV. В этом разделе проиллюстрирован перенос точек координат из одного пространства в другое. На ФИГ. 16A представлена общая настройка окна субфрагмента в окне изображения полного FOV и соответствующих переменных, а также скорректированная формула фазового смещения, которая переносит координаты между локальным и общим эталонами. На ФИГ. 16A показана граница 1603, представляющая полное поле обзора, которое содержит субфрагмент, показанный границей 1605. Угол обрезки α определяется линией 1606, соединяющей левый верхний угол окна 1603 полного FOV и левый верхний угол окна 1605 субфрагмента. Длина линии 1606 измеряется в пикселях и обозначается «а».

[00191] Угол пика освещения β образуется между верхней границей датчика, окном 1603 и линией 1607, перпендикулярной линии пика интерференционной полосы 1609 в левом верхнем углу окна 1605 субфрагмента. Эта линия пика интерференционной полосы будет параллельна фактическим пикам интерференционной полосы и, вероятно, будет смещена от пиков. Длина линии 1607 от левого верхнего угла 1603 до 1609 представляет собой проецируемое расстояние «b». Разность фаз между левыми верхними углами фрагмента 1603 и субфрагмента 1605 представляет собой функцию разноса «s» и расстояние «b». В формуле (7) разнос пика освещения представлен как «s» в пикселях, а фаза - в градусах:

Эта формула выведена и описана ниже. Она может быть применена для переноса фазового смещения из координат субфрагмента в координаты полного FOV. Перенос между системами координат показан в двух следующих примерах.

[00192] При реконструкции SIM одномерная (1D) решетка может быть описана с помощью функции интенсивности, например:

где параметры имеют следующее значение:

• - глубина модуляции;

• - разнос фазы освещения;

• - единичный вектор

• - угол пика освещения

[00193] Выделенные жирным шрифтом x, u представляют следующие векторы: x - это вектор в пространстве изображения, выражающий положение в пространстве изображения, в котором определяется интенсивность; u - это единичный вектор. Значения интенсивности синусоидального освещения являются положительными в масштабном диапазоне от +M (яркого) до -M (темного).

[00194] Когда разность фазового смещения между субфрагментами охарактеризована, необходимо оценить только фазовое смещение в ближайших к центру субфрагментах, поскольку фазовые смещения других субфрагментов могут быть экстраполированы из ближайшего к центру субфрагмента.

[00195] Следующие расчеты относятся к оценке фазового смещения . Вместо оценки фазового смещения с помощью данных полного изображения (полного FOV) можно использовать данные только из фрагмента изображения. Смещение фазы субфрагмента связано с фазовым смещением полного FOV, но не идентично ему. Для восстановления фазового смещения полного FOV по фазовому смещению субфрагмента необходимо определить, как изменяются фазовые смещения при пространственном переносе. Следующая математическая модель представляет собой этот пространственный перенос с субфрагмента на полное FOV.

Деривация трансформации координат

[00196] Рассмотрим следующую функцию, которая генерирует линии решетки в ориентации показанной на ФИГ. 16A. Двумерное (2D) пространство полного FOV представлено пространством координат O_x с координатами (x₁, x₂), как показано на ФИГ. 16B. Точка 1611 представлена положением (x ₁, x ₂) относительно O_x. Функцию f(x ₁, x ₂) можно определить ниже, как показано в уравнении (9). Эту функцию можно использовать для создания линий рисунка освещения в ориентации, показанной на ФИГ. 16A.

[00197] Одномерная периодичность вышеописанной функции f представлена функцией в уравнении (10). Как показано на ФИГ. 16A, эта функция представляет собой повторение линий рисунка освещения, проходящих вдоль линии 1607 на ФИГ. 16A, которая перпендикулярна линиям рисунка освещения. Эта функция может определять разнос «s» между двумя линиями путем определения положения, в котором повторяется конкретное значение интенсивности. В уравнении (10) показана периодичность интенсивности рисунка освещения. В уравнении (10) линия, перпендикулярная пикам интенсивности, имеет угол 45 градусов, проходящий вниз и вправо от левого верхнего угла, поэтому интенсивность в точке (x ₁, x ₂) повторяют в следующей точке (x ₁ , x ₂ ) вниз и вправо вдоль линии 1607.

[00198] Пространство пика освещения «s», определяемое вышеописанной функцией, показано в уравнении (11). Для удобства систему координат можно масштабировать для соответствия разносу рисунка освещения, как показано в уравнении (11).

[00199] Угол пика освещения определяется уравнением (12). Угол пика освещения формируется между верхней границей (горизонтальной линией) полного FOV и линией, перпендикулярной линиям рисунка освещения, как показано на ФИГ. 16A. Уравнение (12) показывает этот угол -45 градусов для рисунка структурированного освещения, генерируемого функцией периодичности 1D в уравнении (9).

[00200] Нулевой набор линий рисунков, образованных функцией периодичности из уравнения (9) представляет собой соединение линий и представлено уравнением (13).

[00201] Нулевой набор содержит линии рисунка структурированного освещения, расположенные на расстоянии «s» друг от друга. Линии рисунков образованы точками, в которых значение функции 1D f(x ₁ , x ₂ ) в уравнении (9) равно нулю. Единичный вектор, перпендикулярный решетке, определяется уравнением (14).

[00202] Теперь предлагаем два примера переноса фазового смещения субфрагмента из пространства координат O_y субфрагмента, определенного координатами (y₁, y₂), в пространство координат O_x полного FOV На ФИГ. 16B показана точка 1611, которая может быть представлена в координатах субфрагмента вектором , выходящим из левого верхнего угла окна 1605 субфрагмента. Одна и та же точка 1611 может быть представлена в координатах полного FOV вектором , выходящим из левого верхнего окна 1603 для изображения полного FOV. Вектор соединяет левый верхний угол окна 1603 изображения полного FOV с окном 1605 субфрагмента, как показано на ФИГ. 16B. В следующих разделах предложены примеры положения точки 1611, которую можно перенести из одной системы координат в другую.

Первый пример

[00203] Пусть , представляет собой левый верхний угол субфрагмента 1605 на ФИГ. 16B. Это означает, что левый верхний угол субфрагмента 1605 смещен из левого верхнего угла окна 1603 полного FOV на расстояние «a» вдоль горизонтальной оси x₁ и на расстояние «-a» вдоль вертикальной оси x₂. Теперь переносим точку (x ₁ , x ₂ ) из пространства координат O_x полного FOV в точку (y ₁ , y ₂ ) в пространстве координат O_y субфрагмента. Рассмотрим изменение координат как:

[00204] Теперь можно представить функцию 1D периодичности уравнения (10) в пространстве координат Oy субфрагмента как:

[00205] Как видно, фазовое смещение, введенное путем изменения координат, задается как:

Второй пример

[00206] Теперь рассмотрим другое положение субфрагмента относительно левого верхнего угла окна полного FOV. Пусть , в этом случае изменение координат дано как:

[00207] Функцию периодичности 1D из уравнения (10) теперь можно представить в пространстве координат Oy субфрагмента как:

[00208] В этом случае фазовое смещение, введенное путем изменения координат, задается как:

где представляет собой скалярное произведение вектора u на вектор a. Скалярное произведение определяется как сумма соответствующих компонентов двух векторов.

Общий пример

[00209] Теорема 1.

[00210] Уравнение (21) показывает функцию периодичности относительно пространства координат Ox полного FOV и имеет фазовое смещение . Уравнение (22) показывает функцию периодичности для пространства координат субфрагмента и имеет фазовое смещение .

[00211] Доказательство (a) Разнос пиков освещения представляет собой длину основного периода для . Вектор представляет собой период длины , так как

Любой меньший период будет означать период менее для синуса.

(b) Одно из решений:

[00212] Отношения, полученные выше, можно использовать для переноса фазового смещения, оцененного в первом пространстве координат, во второе пространство координат, например между субфрагментом и изображением полного FOV. Это полезно, поскольку фазовое смещение также подвергается искажению между ближайшим к центру субфрагментом и краем линзы. В следующем разделе авторы представляют справочную таблицу отклонения фазы, которая может охватывать взаимосвязь между значениями фазового смещения для нецентральных субфрагментов относительно центральных субфрагментов.

Оценка отклонения фазы

[00213] Описанная технология включает оценку фазы для каждого субфрагмента с последующим переносом фазового смещения в систему координат полного FOV, чтобы представить спрогнозированные значения фазового смещения в общих критериях. Сохраняется разница между значениями фазового смещения для нецентральных субфрагментов и ближайшего к центру субфрагмента в справочной таблице отклонения фазы или разности фаз для каждого угла рисунка освещения. В некоторых случаях влияние факторов окружающей среды может повысить нестабильность системы. В таких случаях справочная таблица отклонения фазы генерируется чаще для компенсации повышенной нестабильности системы. Например, таблица отклонения фазы может быть сгенерирована в первом цикле каждого прогона секвенирования. Частота генерации справочной таблицы отклонения фазы может быть увеличена или уменьшена в зависимости от стабильности системы.

[00214] На ФИГ. 17 приведен пример справочной таблицы 1701 отклонения фазы с цветовой кодировкой различий фаз от ближайшего к центру субфрагмента в точке 3, 5, которая имеет нулевое значение. В справочной таблице 1701 содержится одно и то же количество ячеек, что и количество субфрагментов на изображении полного FOV, в этом примере - 7 x 9 в субфрагментах. Положение ячейки в таблице 1701 может соответствовать положению субфрагмента на изображении полного FOV. В справочной таблице фаз хранятся различия в фазе между каждым из субфрагментов относительно расчетной фазы центрального окна (3, 5). Представленная в качестве примера таблица содержит отклонение фазы для одного угла структурированного освещения. Аналогичная таблица отклонения фазы будет храниться для каждого угла рисунка структурированного освещения. Значения фазы зависят от общей погрешности в расчетных значениях других параметров (угол и разнос). Следует отметить, что фазы могут иметь значения от 0 градусов до 360 градусов. Фаза центрального субфрагмента показана в примере таблицы как 0 градусов. Цветовая кодировка обозначает степень различий в фазах субфрагментов, соответствующих центральному субфрагменту. Для оценки отклонения фазы требуются параметры угла, разноса, фазы интерференционных полос центрального субфрагмента или субокна, а также модель искажения (которая, как предполагается, не изменяется). В следующих разделах представлены примеры алгоритмов оценки параметров угла, разноса и фазы.

[00215] В приведенных выше разделах авторы описали способы оценки параметров для субфрагментов в изображении полного FOV. В псевдокоде, который будет приведен далее, авторы дополнительно иллюстрируют оценку параметров угла, разноса и фазы для субфрагментов. Пример псевдокода для оценки параметров угла и разноса представлен ниже и упоминается как «сопоставление угла субфрагмента и разноса» (также называется алгоритмом 2A). Для оценки коэффициентов искажения параметров угла и разноса для субфрагментов авторы используют полиномиальную аппроксимацию квадратичной или кубической поверхности. Пример псевдокода, реализующий метод оценки фазы, представлен ниже и называется алгоритмом «сопоставления фаз субфрагмента» (также называется алгоритмом 2B). Оценки смещения фаз могут храниться в справочной таблице отклонения фазы для каждого угла или ориентации рисунка освещения. В одном варианте реализации отдельная справочная таблица может быть использована для каждого фрагмента секвенирования на проточной кювете для учета минимальных различий в ориентации проточной кюветы, дефектов поверхности и других неидеальных свойств, которые могут искажать результаты расчетов. Псевдокод для примера алгоритма окончательной калибровки искажений представлен последним и называется «конечной калибровкой искажений с помощью квадратичной аппроксимации и справочной таблицы» (также называется алгоритмом 1 и алгоритмом 2C).

Алгоритм 1: Конечная калибровка искажений с помощью квадратичной аппроксимации

[00216] В первом псевдокоде мы можем наносить обрезку для удаления искажений вблизи краев изображения. Это обеспечивает хорошую аппроксимацию данных полного FOV на квадратичные модели поверхности для оценки угла и разноса при калибровке/определении характеристик.

Входные данные Набор изображений, например для 2 углов и 3 фаз на угол.

Выходные данные Коэффициенты искажения модели.

Алгоритм

1. Создание следующих изображений/фильтров (размер соответствует субобласти).

a. OTF

2. Разделение изображения на перекрывающиеся субобласти одинакового размера, например 512 x 512, с использованием способа скользящего окна.

3. Расчетные параметры в центре используемого изображения, например окна 512 x 512 (см. алгоритм сопоставления субфрагмента и разноса и алгоритм сопоставления фаз субфрагмента ниже).

a. Расчетный угол и разнос пика освещения для каждого угла.

b. Расчетная модуляция для каждого угла.

c. Расчетная фаза для каждого изображения.

4. Для каждой субобласти

a. Выполнение оценки параметров этапа 3

b. Сохранение координат x, y субфрагмента, угла интерференционных полос (на угол), разноса (на угол) и фазы 0 (на угол) оценки фазы по Уикеру в массивах (2d-массивы).

5. Для разноса и угла интерференционных полос

a. Вычитание значения из таблицы на этапе 4 по расчетным значениям центрального окна из этапа 3.

b. Выполнение оптимальной оценки усадки квадратичной поверхности

i. Аппроксимация квадратичной поверхности по регрессии наименьших квадратов в функциональной форме (x,y) = a + b*x² + c*y² + d*xy + e*x + f*y для каждого массива (назовем это Z, например, разнос интерференционных полос от угла 0) на Этапе 4 (с использованием того же массива X и Y, который соответствует координатам центра x,y субобласти).

ii. Оценка коэффициента R² определения из этапа i.

iii. Сжатие массива X, Y, Z (удаление внешних крайних элементов) и повтор этапа (i), пока не будет выполнено количество сжатий N (N = 3-5, и этот параметр можно регулировать).

iv. По мере сжатия массива к центральной части данных ожидается, что качество аппроксимации повысится, и выбирают коэффициенты в точке изгиба (минимизация количества сжатий при одновременном увеличении R²), где аппроксимация модели достаточно хорошая (текущие критерии определяют на уровне менее 5% относительно значению R².

Другие критерии соответствия, которые могут быть использованы в данном документе, включают:

• Улучшение среднеквадратичной погрешности аппроксимации (следующая итерация среднеквадратичной погрешности меньше, чем текущая итерация среднеквадратичной погрешности на некоторое предварительно заданное пороговое значение).

• Улучшение максимальной погрешности аппроксимации квадратичной поверхности (каждая последующая итерация должна уменьшать эту ошибку и увеличить аппроксимацию, если обнаружено, что последовательные улучшения стабилизируются).

• Регуляризованный показатель погрешности, например MAE (средняя абсолютная погрешность) вместо MSE (среднеквадратичная погрешность), с использованием порогового значения улучшения, аналогичного двум предыдущим критериям.

6. Оптимальные коэффициенты на этапе 5 представляют собой вывод алгоритма калибровки окончательного искажения.

Алгоритм 2A. Сопоставление угла и разноса субфрагмента

[00217] Используется следующий псевдокод для реализации пикового угла освещения и оценки разноса субфрагментов, используемых на этапах 3-4 выше и во время работы.

Входные данные Сбор изображений для того же угла, который использовался для фаз каждого изображения, равномерно распределенного от 0 до 360 градусов.

Выходные данные

1. Местоположение пика в пространстве Фурье (или разнос и угол решетки).

2. Модуляция пика Фурье.

3. Фазовое смещение первого изображения.

Алгоритм

1. Быстрое преобразование Фурье каждого изображения.

2. Выполнение разделения полос.

3. Берутся изображения из двух компонентов:

a. 0 (широкое поле) и +1 (часть с высоким разрешением).

b. Маскирование всех компонентов Фурье каждого изображения, которые не перекрываются (также называется общей областью).

c. Маскирование низкочастотных компонентов вокруг DC и вокруг расчетного пика интерференционных полос.

d. Применение инвертированной OTF.

4. Повтор для уменьшения толщины решетки вокруг начальной точки.

a. Для каждой точки в решетке 10 x 10 равномерно выбирают некоторый диапазон.

i. Применение фазового сдвига к одной из двух фаз изображений.

ii. Умножение одного изображения на конъюгат другого.

iii. Сложение результата.

iv. Нормализация по отношению к сумме маскированного изображения Фурье широкого поля.

v. Сохранение сдвига обеспечивает максимальное абсолютное значение нормализованной комплексной корреляции.

1. Абсолютное значение этого числа представляет собой модуляцию.

2. Угол этого комплексного числа представляет собой смещение фазы.

Алгоритм 2B. Сопоставление фаз субфрагмента

[00218] Псевдокод для примера реализации оценки фазового сдвига субфрагментов. Описанная технология позволяет использовать для такого сопоставления недавние лучшие оценки значений параметров разноса и угла. Система также может получать расчетные значения параметров разноса и угла с использованием модели искажения и параметров центрального субокна или субфрагмента.

Входные данные

1. Сбор изображений для одного угла.

2. Пик разноса и угла освещения, рассчитанный по ранее описанному алгоритму.

Выходные данные Фазовое смещение каждого изображения в наборе.

Алгоритм

1. Выполнение быстрого преобразования Фурье (FFT) каждого изображения.

2. Создание копии изображения FFT.

3. Применение OTF к каждому изображению.

4. Смещение одного изображения.

5. Перемножение обоих изображений с использованием конъюгата и суммарного абсолютного значения каждого комплексного числа.

6. Фаза представляет собой угол полученного комплексного числа.

Алгоритм 2C. Изучение справочной таблицы отклонения фазы

[00219] Для отклонения фазы выполняют следующие этапы для фрагмента на проточной кювете во время визуализации первого цикла прогона секвенирования.

Входные данные Набор изображений, например для 2 углов и 3 фаз на угол, от каждого фрагмента проточной кюветы секвенирования, калиброванная модель искажения из алгоритма 1.

Выходные данные Справочная таблица отклонения фазы.

Алгоритм

• Для каждого фрагмента секвенирования (не следует путать с субфрагментом реконструкции SIM).

i. Применение этапа 3 алгоритма 1 для оценки параметров SIM центрального окна (разноса, угла, фаз каждой пары «угол - канал») фрагмента.

ii. Разделение изображения на субфрагменты; для каждого субфрагмента:

a. Применение модели искажения с помощью алгоритма 2A для получения разноса и угла интерференционных полос субфрагмента.

b. Выполнение оценки фазы по Уикеру на первом изображении фазы каждой пары «канал - угол» с использованием заданных параметров интерференционных полос из этапа a. на локальном субфрагменте.

c. Вычисление разности между фазой, полученной на этапе iib, и фазой 0 центрального окна, полученной на этапе i, и сохранение отклонения фазы в соответствующем массиве 2d для отклонения фазы.

iii. Сохранение заполненной справочной таблицы отклонения фазы в памяти с идентификатором фрагмента в качестве записи для дальнейшего использования.

• Повтор этапа 1 для каждого второго субфрагмента, встречающегося во всей проточной кювете.

Примечание. Для повышения эффективности мы оцениваем поиск отклонения фазы для каждого фрагмента в первом цикле прогона секвенирования; однако частоту обучения также можно скорректировать для обучения на каждом цикле N, если существуют проблемы со стабильностью.

[00220] В этих псевдокодах авторы представили методы оценки и сопоставления пика угла освещения, пика разноса освещения и параметры смещения фаз. Расчетные параметры используют в качестве входных данных для реконструкции изображения с помощью микроскопии структурированного освещения (SIM). В следующем разделе представлен предлагаемый алгоритм реконструкции изображения SIM, который позволяет эффективно восстанавливать изображения субфрагментов с высоким разрешением, а затем объединять эти изображения субфрагментов для реконструкции изображения с высоким разрешением полного FOV.

Реконструкция изображений SIM

[00221] Описанная технология восстановления изображения SIM использует угол, разнос и оценки фазы субфрагментов для реконструкции изображений высокого разрешения. Описанная технология может создавать изображение высокого разрешения полного FOV за два этапа. Сначала изображение SIM высокого разрешения восстанавливается для субфрагмента с использованием параметров субфрагмента. Затем изображения высокого разрешения для субфрагментов можно объединить для построения изображения полного FOV. В альтернативном варианте осуществления субфрагменты высокого разрешения можно обрабатывать без объединения. Этот раздел начинается с примера псевдокода для реконструкции изображения SIM субфрагмента. Это называется алгоритмом реконструкции субфрагмента. В описанной технологии применяются эрмитовой симметрии в пространстве Фурье с использованием неизбыточных данных в частотной области. Это почти наполовину уменьшает количество вычислений, необходимых для некоторых ключевых операций. В этом разделе также представлен пример псевдокода для объединения изображений SIM для субфрагментов, используемых для реконструкции изображения высокого разрешения для полного изображения. Такой метод называется алгоритмом восстановления полного поля обзора. Следует отметить, что методы оценки параметров, описанные выше, можно использовать с традиционными избыточными или описанными неизбыточными способами реконструкции изображений SIM.

Алгоритм 3: Восстановление субфрагмента

[00222] Далее описан псевдокод для одного варианта реализации реконструкции изображения с высоким разрешением с помощью микроскопии структурированного освещения в виде субфрагмента.

Входные данные

a. Набор изображений образца с некоторым профилем решетки (I_{угол, фаза}). Для каждого угла нам необходимо по меньшей мере 3 фазовых изображения, разнесенных равномерно от 0 до 360 градусов.

b. Параметры:

i. Пик разноса и угла освещения для группы изображений, соответствующих углу

ii. Фаза для каждого изображения.

Выходные данные Одно реконструированное изображение с высоким разрешением для субфрагмента.

Алгоритм

1. Предварительная обработка изображений (например, фильтр с высоким уровнем пропускания).

2. Создание буфера для изображения Фурье большого размера (его размер будет зависеть от конечного значения коэффициента повышения разрешения) и инициализации до 0.

3. Для каждого угла

a. Для набора изображений с уникальной фазой для решетки под заданным углом

i. Выполнение быстрого преобразования Фурье на каждом изображении

b. Выполнение разделения полос на наборе изображений (n >= 3 входных изображений → 3 выходных изображения или изображения компонентов)

ii. Два из трех выходных изображений содержат информацию в высоком разрешении.

iii. Оставшееся изображение содержит всю стандартную информацию (изображение в исходном разрешении).

iv. Необходимая фаза для каждого изображения и модуляции для всего набора

c. Применение MTF к каждому изображению компонентов

d. Смещение каждого изображения компонентов из разделения полос в их правильное местоположение в буфере для изображений Фурье большего размера и суммирование компонентов.

4. Создание фильтра Винера из входного MTF путем сдвига и суммирования двумерного изображения MTF в большое изображение Фурье

a. Мы делаем это для каждого входного изображения под каждым углом

b. Не нужно выполнять эту операцию для каждой реконструкции, ее можно выполнить один раз и использовать в виде входного параметра

5. Применение фильтров Винера и аподизации в пространстве Фурье к большому представлению Фурье восстановленного изображения.

6. Выполнение обратного быстрого преобразования Фурье на буфере изображения Фурье большого размера для получения изображения высокого разрешения.

[00223] Для этого неизбыточного псевдокода для восстановления субфрагмента приведено более подробное описание, чем для другого псевдокода, поскольку описанную технологию невозможно объяснить посредством ссылки на предшествующий уровень техники. Описанная технология использует симметрию в пространстве Фурье для повышения эффективности в отношении реконструкции изображения SIM и снижения вычислительной нагрузки. На ФИГ. 18 представлен поверхностный обзор неизбыточной технологии построения субфрагмента. Для каждого субфрагмента на угол получают три изображения 1811, 1813, 1815, предпочтительно с равномерно разделенными фазами. Мы применяем дискретное быстрое преобразование Фурье (FFT) для преобразования данных изображения из пространственной области (реального пространства) к частотной области (комплексному пространству). Мы используем симметрию FFT данных, представляющих три изображения в частотной области. Мы повышаем эффективность реконструкции изображения SIM высокого разрешения субфрагмента, используя неизбыточные части данных изображения в частотной области. Ниже представлены детали этапов алгоритма обработки неизбыточного восстановления субфрагмента.

Входные данные

1-а. Набор изображений

[00224] Изображения образцов, разделенные на субфрагменты, приведены в качестве входных данных для алгоритма восстановления субфрагментов. Изображения разделены на субфрагменты, субокна или субобласти предварительно заданного размера, например 512 x 512 пикселей. Можно использовать субфрагменты другого размера.

[00225] Набор фрагментов изображения расширяет предшествующие технологии, поскольку для захвата и построения плоскости изображения требуется множество фрагментов. В одном варианте осуществления фрагменты изображения получают с помощью дифракционной решетки, которая образует рисунок интенсивности синусоидального освещения I _{θ , Φ} (r). Интенсивность изменяется в зависимости от местоположения (x, y), представленного вектором r, который представляет собой двумерный пространственный вектор положения. Для сравнения, Lal et al. 2015 представляет собой базовый алгоритм реконструкции с помощью микроскопии структурированного освещения, который обозначен как «алгоритм 1 SIM-RA». Для объяснения этапов нашего алгоритма реконструкции изображений SIM мы использовали математическое описание из Lal et al. 2015. Следует отметить, что алгоритм реконструкции, представленный Lal et al. 2015, применяют к полному изображению, в то время как наша технология восстановления субфрагмента реконструирует субфрагменты SIM высокого разрешения.

[00226] Математическое описание для I _{θ , Φ} (r) представлено в уравнении (1) Lal et al. 2015. Для каждой ориентации рисунка θ синусоидального освещения получают три изображения SIM образца, соответствующие трем различным фазам освещения. В одном варианте осуществления получают два набора изображений с использованием двух углов ориентации рисунка синусоидального освещения, т. е. θ₁ = 45°, а θ₂ = 135° соответственно. Угол ориентации θ также называют пиком угла освещения β. В таком варианте осуществления нанолунки могут быть расположены в углах квадрата или, в более общем смысле, прямоугольника или четырехугольника. Углы ориентации выбирают таким образом, что изображения получают вдоль линий, соединяющих противоположные углы прямоугольника. Это увеличивает видимое расстояние между нанолунками.

[00227] В другом варианте реализации три набора изображений могут быть получены под тремя углами ориентации, например θ₁ = 0°, θ₂ = 60°, θ₃ = 120° или θ₁ = 30°, θ₂ = 90°, θ₃ = 150°. В этом варианте осуществления нанолунки могут быть расположены в противоположных углах шестиугольника. Изображения выполняются вдоль линий, соединяющих противоположные концы шестиугольника. Как правило, наборы изображений могут быть выбраны таким образом, чтобы соответствовать количеству диагоналей, соединяющих противоположные концы фигуры, в которых расположены нанолунки.

[00228] Для каждой ориентации θ получают по меньшей мере три изображения, разнесенные от 0° до 360°, соответствующие трем различным фазам освещения = 0°, = 120° и = 240°. Предпочтительным является равномерное разнесение фаз. Дополнительные изображения, например пять, шесть или семь, могут быть получены с использованием меньшего этапа фазы.

1-b (i). Параметры угла и разноса рисунка структурированного освещения

[00229] Разнос пика освещения «s», который определяет периодичность решетки или освещение рисунка с синусоидальной интенсивностью I _{θ , Φ} (r) также вводят в качестве входных данных. Разнос пика освещения «s» и угол пика освещения θ для субфрагментов оценивают с использованием алгоритма «сопоставление угла и разноса субфрагмента», представленного выше (также называемого алгоритмом 2A). Алгоритм «конечная калибровка искажений с помощью квадратичной аппроксимации и справочной таблицы» (также называемая алгоритмом 1) применяют для компенсации ошибок при оценке параметров угла и разноса для нецентральных субфрагментов из-за искажений оптического восприятия. Примеры псевдокода для алгоритмов «сопоставление угла и разноса субфрагмента» и «конечная калибровка искажений с помощью квадратичной аппроксимации и справочной таблицы» представлены выше.

1-b (ii). Параметр фазового смещения

[00230] Фазовое смещение (также называемое фазой решетки) «» для рисунка интенсивности структурированного освещения I _{θ , Φ} (r) также вводят в качестве входных данных. Значения фазы для субфрагментов оценивают с использованием алгоритма «сопоставление фаз субфрагмента» (также называемого алгоритмом 2B). Алгоритм «конечная калибровка искажений с помощью квадратичной аппроксимации и справочной таблицы» (также называемая алгоритмом 1) применяют для компенсации ошибок при оценке параметра фазы для нецентральных субфрагментов из-за искажений оптического восприятия. Разница между фазой нецентральных субфрагментов и центрального субфрагмента на угол сохраняется в справочной таблице. Пример псевдокода для алгоритма «сопоставление фаз субфрагмента» представлен выше. Переходим к обработке с использованием описанных входных данных.

Этап обработки 1: Предварительная обработка изображений (фильтр с высоким уровнем пропускания)

[00231] Обработку для восстановления субфрагмента можно начать с предварительной обработки изображения. Псевдокод, который, по существу, соответствует данному описанию, следует за пояснением. Реконструкция улучшенного изображения выполняется в пространстве Фурье. Но перед применением преобразования Фурье для получения данных изображения из пространственной области в частотную область мы можем применить этап предварительной обработки, как описано ниже, для фрагментов изображения. Приведенные ниже описания основаны на трех изображениях с различными значениями фазы вдоль одного угла. Будут использованы две или более ориентаций, как описано выше.

[00232] Полученные изображения могут быть предварительно обработаны для удаления шума. Шум имеет множество источников. Например, воздействие интенсивного возбуждающего света может приводить к фотообесцвечиванию, которое снижает интенсивность излучения из флуорофоров. Пример шума в полученных изображениях SIM показан на Фиг. 6 Lal et al. 2015. Верхнее левое изображение на Фиг. 6, обозначенное (a), показывает необработанное изображение SIM с фоновой флуоресценцией. Это приводит к появлению больших ошибок в частотном содержании необработанных изображений SIM в небольшом окружении около нулевой частоты или частоты DC. Для предварительной обработки необработанных изображений SIM можно использовать фильтр высоких частот, такой как фильтр высоких частот Гаусса или фильтр высоких частот Баттерворта. Второе изображение на Фиг. 6, обозначенное как (b), показывает необработанное изображение SIM после удаления фона. Как видно, спектр Фурье обоих изображений (a) и (b) одинаковый. Подробное описание фильтров высоких частот см. главу 4 Gonzales and Woods 2008, Digital Image Processing, 3^е издание. В главе 4 Gonzales and Woods представлена иллюстрация на Фиг. 4.52, которая включает в себя графики, изображения и поперечные сечения идеальных фильтров высоких частот Баттерворта и Гаусса.

Этап обработки 2: Создание буфера большого изображения Фурье

[00233] Можно зарезервировать и инициализировать буфер в памяти для получения улучшенного изображения Фурье. Размер буфера памяти зависит от коэффициента повышения частоты, степени усиления. По методу реконструкции изображения SIM теоретически можно создавать усиленное разрешение вдоль каждого угла или ориентации трех изображений, которое в 2 раза превышает разрешение полученных изображений вдоль ориентации. Для двух или трех наборов из трех изображений мы можем зарезервировать буфер для хранения изображения высокого разрешения с коэффициентом повышения частоты 2.

Этап обработки 3: Циклическое выполнение этапов 3-a-3-d для каждого угла θ

[00234] Этапы обработки 3-a–3-d выполняются циклически. В одной итерации этапы обработки выполняют для трех изображений субфрагмента, полученного на угол. Далее описаны детали этапов циклической обработки.

Этап 3-a (быстрое преобразование Фурье)

[00235] Дискретное быстрое преобразование Фурье (FFT) применяют к набору изображений, полученных с одинаковым углом или ориентацией θ. Как описано выше, мы получаем по меньшей мере три изображения с различными фазами по каждой ориентации. Каждое изображение преобразуется из пространственной области в частотную область. Для изображения N x N порядок сложности вычисления двумерного преобразования Фурье (DFT) представляет собой O(N⁴), который можно уменьшить до O(N³ ) путем использования общих выражений от строки к строке и от столбца к столбцу. Дополнительное увеличение скорости может быть достигнуто, если N имеет степень 2. Алгоритм быстрого преобразования Фурье (FFT) может достигать порядка сложности O(N²log₂N) для изображения N x N, когда N имеет степень 2. Пример использования общих выражений в строках и столбцах заключается в использовании «вычислений бабочкой». Подробнее см. Heckbert 1995, Fourier Transforms and the Fast Fourier Transform (FFT) Algorithm по адресу: http://www.cs.cmu.edu/afs/andrew/scs/cs/15-463/2001/pub/www/notes/fourier/fourier.pdf. Таким образом, при выборе размера субфрагмента, например 512 x 512 пикселей, более высокое разрешение по частоте получается за счет увеличения времени вычисления. Можно использовать субфрагменты с размером стороны 128, 256, 512, 1024, 2048, 4096 или в диапазоне от 128 до 4096 пикселей.

[00236] Данные изображения в пространственной области представлены в виде реальных чисел. При выполнении преобразования Фурье полученные данные в частотной области представлены в виде комплексных чисел. Комплексное число z может быть представлено как z = x + iy, где x и y являются его реальной и воображаемой частями. Конъюгат указанного комплексного числа z представлен как z* = x - iy.

[00237] Два примера матрицы домена Фурье с угловым смещением показаны на ФИГ.°19, изображающие матрицы с четными (1910) и нечетными (1920) значениями N для иллюстрации симметрии в пространстве Фурье. Эти изображения в частотной области представлены матрицами N x N. Верхняя строка и левый столбец обеих матриц 1910 и 1920 называются строкой DC и столбцом DC, соответствующими компонентам нулевой частоты или частоты DC. В отличие от указанных матриц с угловым смещением значений, графики в частотной области обычно показывают нулевую частоту или частоту DC в центре окружности.

[00238] Матрицы на ФИГ. 9 демонстрируют эрмитовой симметрии в области Фурье или частотной области. Строка DC и столбец DC в матрицах 1910 и 1920 имеет симметрию конъюгата слева направо и сверху вниз. Матрица 1910 с четным количеством строк и столбцов имеет средний столбец, который также имеет симметрию конъюгата сверху вниз. Помимо верхней строки и левого столбца (1910, 1920) и среднего столбца (1910) в четной матрице, остальные части или блоки каждой матрицы имеют симметрию конъюгата на 180 градусов. Эти части двух 1910 и 1920 показаны жирными линиями и иногда называют первым блоком и вторым блоком.

[00239] Разделение полной матрицы в частотной области на две половины после установки строки и столбца(-ов) дает правую половину, которая после вращения на 180 градусов представляет собой конъюгат левой половины. ФИГ. 19 иллюстрирует полуматрицы (1911, 1912) и (1921, 1922) для четных и нечетных матриц (1910, 1920). Значения для правой половины можно рассматривать из данных для левой половины. С учетом этого левая полуматрица представляет собой так называемые неизбыточные данные, а правая полуматрица представляет собой избыточные данные. Количество столбцов в левой половине (немного больше половины) представляет собой ((N/2) + 1), а столбцы в правой половине представляют собой (N - (N/2) - 1). Описанная технология позволяет отслеживать симметрии для уменьшения вычислительной нагрузки.

[00240] При восстановлении изображений SIM мы работаем на нерезервированной левой половине матриц полного изображения в пространстве Фурье. Это повышает эффективность, поскольку количество требуемых вычислений значительно уменьшается. В следующих этапах реконструкции SIM авторы более подробно описывают использование симметрий в пространстве Фурье.

Этап 3-b (разделение полос)

[00241] В каждом захваченном изображении присутствуют компоненты со смещением и без него, поскольку положения источников распределены случайным образом относительно пиков интерференционных полос освещения. На этом этапе компоненты со сдвигом и без него разделены в представлении с частотным доменом полученных изображений с использованием матрицы разделения полос M ^-1 . Матрица разделения полос также называется матрицей обратного смешивания (Wicker et. al. 2013) или матрицей реконструкции (Lal et al. 2015). Gustafsson et. al. 2000 в документе «Doubling the lateral resolution of wide-field fluorescence microscopy using structured illumination» иллюстрируют процесс разделения полос на Фиг. 5 документа. На фигуре показаны отдельные компоненты частоты из наблюдаемых изображений. Разделение полос можно понять из уравнения (31) ниже, взятого из Lal et al. 2015. В уравнении показано, что три компонента (k)(k); (k-p _θ)(k); (k+p _θ)(k) отделены от трех наблюдаемых изображений с правой стороны уравнения. Три изображения получают с использованием угла θ рисунка освещения.

[00242] Первый компонент, извлеченный из уравнения (31) представляет собой так называемый DC-компонент (k)(k). Это компонент с пространственными частотами без смещения. При разделении с использованием точных параметров фазы и модуляции этот компонент не включает в себя частоты, превышающие дифракционный предел Аббе. Второй и третий компоненты (k-p _θ)(k); (k+p _θ)(k) содержат высокочастотное содержание, сдвинутое в область прохождения полос дифракционного предела Аббе.

[00243] На этапе разделения полос используют описанную технологию реконструкции изображений SIM, как показано на ФИГ. 20-22. Предположим, что полная матрица каждого изображения субфрагмента в пространстве Фурье имеет 512 строк и 512 столбцов, как показано на ФИГ. 20. Мы разделяли положения матриц в трех матрицах частотной области, соответствующих трем изображениям, полученным в трех фазах, для одного угла в неизбыточные и избыточные половины, как описано выше. Каждая неизбыточная полуматрица имеет 512 строк и 257 столбцов, включая два столбца и одну строку компонентов DC, и в ней преобладают неизбыточные коэффициенты, которые имеют ответные коэффициенты конъюгата в избыточной полуматрице. Мы модифицировали каждую неизбыточную полуматрицу в вектор и объединяли три вектора для трех полуматриц в матрицу, имеющую 3 строки и 131584 столбца, как показано на ФИГ. 21. Затем мы перемножали обратную матрицу разделения полос M^-1 с объединенной матрицей для получения итогового компонента разделенной матрицы такого же размера, также с 3 строками и 131584 столбцами. Разделенная матрица соответствует левой стороне уравнения (31). Затем мы изменяли три строки матрицы для получения неизбыточных левых половин матриц, соответствующих трем частотным компонентам (k)(k); (k-p _θ)(k); (k+p _θ)(k). Три неизбыточных матрицы показаны на ФИГ. 22 (и ФИГ. 18) как 1831, 1833 и 1835. В нашем случае разделенные компоненты находятся в форме неизбыточных полуматриц.

[00244] Как показано на ФИГ. 18, после этапа 3-b обработки полная матрица для так называемого компонента частоты DC может быть представлена как квадратная матрица, которая объединяет неизбыточную полуматрицу 1831 (левая половина) и избыточную полуматрицу 1832 (правая половина), или она может представлять собой прямоугольную матрицу. Матрица частоты DC не подвергается одному и тому же смещению в виде высокочастотных матриц, поэтому половины DC могут быть собраны раньше или позже без дополнительных вычислений. Для двух высокочастотных компонентов симметрия обрабатывается по-разному, уменьшая вычислительную нагрузку.

[00245] После этапа 3-b обработки полная матрица высокочастотных компонентов выполнена с возможностью объединения частей из двух полос, таких как неизбыточная полуматрица (1) 1843 от первого высокочастотного изображения и избыточная полуматрица (2′) 1844 от второго высокочастотного изображения. Аналогично, можно совместить неизбыточную полуматрицу (2) 1845 от второго высокочастотного компонента и избыточную полуматрицу (1′) 1846 от первого высокочастотного компонента.

[00246] Хотя на ФИГ. 18 показаны три полных матрицы для компонентов DC и высоких частот, операции на этапах 3b, 3c и 3d могут быть обработаны с использованием симметрии, обработки полос частотных компонентов с использованием половины данных.

[00247] Аналогичный способ может быть применен к пяти изображениям со структурированным освещением 1D с этапами фаз вдоль угла, разделенного на частотные компоненты, или большим количеством изображений вдоль угла. Можно использовать другую функцию, кроме синусоидально или косинусоидально изменяющегося освещения. Описанная технология также может быть применена для наборов изображений, созданных с помощью двумерного структурированного освещения.

Этап 3-c (применение функции передачи модуляции)

[00248] Ниже описаны два варианта применения функции модуляции (MTF) и/или функции оптической передачи (OTF): двухэтапное применение независимой MTF с последующим фильтрацией Винера для снижения шума и одноэтапного применения MTF, встроенного в фильтр Винера. Оба этих варианта могут использовать преимущества описанных неизбыточных вычислений.

[00249] В этой двухэтапной реализации мы умножим (MTF), что представляет собой амплитуду или абсолютное значение функции оптической передачи (OTF), причем каждый из трех компонентов (k)(k); (k-p _θ)(k); (k+p _θ)(k) получен после этапа 3-b. Следует отметить, что этапы 3-b и 3-c объединены, как показано на ФИГ. 18, поскольку применение MTF не влияет на симметрию в матрицах.

[00250] Функция модуляции линзы представляет собой измерение ее способности передавать контраст на конкретное разрешение от объекта к изображению. Другими словами, MTF представляет собой способ включения разрешения и контраста в одно описание. Разрешение представляет собой способность системы визуализации различать детали объекта. Это может быть выражено в виде числа пар линий на миллиметр (пл/мм), где пара линий представляет собой последовательность одной черной и одной белой линии. Этот способ измерения в парах линий на миллиметр также называют частотой. Обратная величина частоты дает разнос в миллиметрах между двумя развернутыми линиями. Для тестирования производительности системы часто используют столбчатые цели с рядом одинаковых промежутков, чередующиеся белые и черные столбцы (также известные как цель USAF 1951 или решетка Ронки). По мере уменьшения расстояния между линиями (т. е. с увеличением частоты на цели) линзе становится сложнее эффективно переносить это снижение на контраст; в результате MTF уменьшается.

[00251] Для получения дополнительной информации о функции модуляции см. статью «Introduction to Modulation Transfer Function» по адресу: https://www.edmundoptics.com/resources/application-notes/optics/introduction-to-modulation-transfer-function/. На Фиг. 5 в приведенном выше документе показано, что при увеличении пространственной частоты линий контраст изображения уменьшается. Чтобы изображение было четким, черный цвет должен быть действительно черным, а белый - белым, с минимальным количеством серого цвета. На Фиг. 6 данной статьи показана MTF изображения без аберраций с прямоугольной линзой. MTF уменьшается при увеличении пространственного разрешения. Важно отметить, что имеющиеся системы не являются полностью аберрационными.

[00252] Этот этап двухэтапного применения MTF и фильтрации Винера можно заменить одним этапом, который представлен на этапе 15 SIM-RA (алгоритм 1) Lal et al. 2015. Опять же, этап 3-c представляет собой первую часть алгоритма, выполняющий два этапа фильтрации Винера. Альтернативно, этот этап может быть выполнен после этапа 3-d без какого-либо влияния на качество восстановленного изображения SIM.

[00253] Этот двухэтапный подход (т. е. применение MTF отдельно от фильтрации Винера) был рекомендован в литературе по реконструкции изображения SIM. Например, M.G.L. Gustafsson рекомендовал этот двухэтапный подход в своей работе под названием «Surpassing the lateral resolution limit by factor of two using structured illumination microscopy», опубликованной в Journal of Microscopy, том 198, часть 2, май 2000 г., стр. 82-87. Для реконструкции изображений SIM эта работа предполагает умножение каждого из трех частотных компонентов на OTF микроскопа. После этого компоненты складывают в местах, где они перекрываются. Наконец, сумму компонентов делят на сумму квадратов OTF и небольшой постоянной. В работе дополнительно указано, что этот процесс эквивалентен одноэтапной фильтрации Винера.

[00254] Фильтрация Винера трех компонентов в уравнениях 32, 33 и 34 показана ниже (взята из Lal et al. 2015):

[00255] Три частотных компонента (k-p _θ)(k); (k+p _θ)(k), полученные в левой стороне уравнений 32, 33 и 34, обозначаются в Lal et al. 2015 как так называемые неклассифицированные оценки расчетных значений шума (k)(k); (k-p _θ)(k); (k+p _θ)(k) путем применения фильтрации Винера. Термин «неклассифицированный», по-видимому, заимствован из неклассифицированных сеток анализа методом конечных элементов. Алгоритм 1 (SIM-RA) из Lal et al. 2015 работает с допущением того, что необработанные изображения SIM повреждены белым шумом. Выражение в квадратных скобках в уравнениях 32, 33 и 34 называют фильтром Винера, а m представляет собой коэффициент модуляции.

[00256] Оценки шумовых характеристик (k-p _θ)(k); В своей книге «Digital Image Processing» в разделе 5.7 на стр. 351 Gonzales и Woods называют (k+p _θ)(k) искаженными изображениями. Gonzales и Woods ссылаются на функцию ухудшения качества OTF (k). В идеальной системе без шума можно применять простой «обратный фильтр» для получения неискаженного изображения. Однако в большинстве реальных систем в полученных изображениях присутствует шум. Таким образом, обратный фильтр не может использоваться для восстановления неискаженных компонентов (k-p _θ) и (k+p _θ). Фильтр Винера восстанавливает определенное изображение таким образом, что среднеквадратичная погрешность между искаженным изображением и классифицированным изображением сводится к минимуму. Таким образом, фильтр Винера также называют фильтром «минимальной среднеквадратичной погрешности». Подробнее о фильтре Винера рассказано в разделе 5.8 на странице 352 книги «Digital Image Processing» (авторы Gonzales и Woods).

[00257] Фильтрация Винера или двухэтапный способ Густафссона позволяет восстанавливать компоненты близко к неискаженным, которые называются неклассифицированными расчетами в левых сторонах уравнений 32, 33 и 34 Lal et al. 2015, как показано выше.

[00258] Другое важное наблюдение из уравнений 32, 33 и 34 Lal et al. 2015 г. заключается в том, что числители уравнений 32, 33 и 34 представляют собой конъюгаты (k). Если функция распределения точек (PSF) H(r) оптической системы является реальной и симметричной, то подразумевается, что (k) является реальной. Для реальных значений OTF равна ее конъюгату, т. е. (k) = ^*(k). Кроме того, если OTF положительная, то MTF (абсолютное значение OTF) равна OTF, т. е. |(k)| = (k). Исходя из нашего предыдущего наблюдения, это дополнительно подразумевает, что (k)| = ^*(k). Это наблюдение показывает, что MTF можно использовать в качестве числителя в уравнении 32, 33, 34 (когда OTF является реальной и положительной), что означает, что этап 3-c обработки эквивалентен умножению числителя уравнений 32, 33 и 34 на три искаженных компонента (k-p _θ)(k); (k+p _θ)(k) соответственно в трех уравнениях 32, 33 и 34.

[00259] В алгоритме восстановления субфрагмента SIM без избыточности мы перемножаем неизбыточные матрицы 1831, 1833 и 1835, полученные после этапа разделения полос (этап 3-b). Это скалярное умножение по элементам, и оно не изменяет размеры полученных неизбыточных матриц. После этого умножения мы получаем три неизбыточных полуматрицы 1831, 1833 и 1835, которые показаны на ФИГ. 18. После применения OTF симметрии в трех полных матрицах остаются такими же, как описано на этапе разделения полос.

Усреднение первого и среднего столбцов

[00260] Теперь мы предлагаем вычислительную функцию, которая может улучшить качество восстановленных изображений с использованием алгоритма реконструкции изображений SIM без избыточности. На ФИГ. 23B представлены матрицы Фурье из двух высокочастотных изображений. В алгоритме без избыточности используют левые половины двух матриц, обозначенных как 1843 (левый полублок 1) и 1845 (левый полублок 2). Эти левые половины иногда называют первыми блоками комплексных коэффициентов. Эти две матрицы показаны в верхней строке ФИГ. 23B вместе с разделенными правыми полуматрицами 1846 (правый блок 1’) и 1844 (правый полублок 2’). Эти правые половинки иногда называют вторыми блоками комплексных коэффициентов. Маркировка левой и правой половин двух матриц соответствует ФИГ. 18 (четвертая строка сверху). Неизбыточный алгоритм использует левые или первые половины двух высокочастотных матриц во время восстановления изображения. Из-за симметрии Фурье симметрии правых или вторых полуматриц могут быть восстановлены с использованием поиска аналогов левых полуматриц. Во второй строке матриц на ФИГ. 23B показано соединение левой полуматрицы одного высокочастотного изображения с правой полуматрицей второго высокочастотного изображения во время реконструкции изображения. Эти соединенные матрицы также показаны в 3^-ей и 4^-ой строках на ФИГ. 18.

[00261] В левых полуматрицах двух высокочастотных изображений в этом варианте реализации столбцов на два больше, чем в их соответствующих правых полуматрицах. Эти два столбца представляют собой первый и средний столбцы, которые показаны с заштрихованным рисунком на ФИГ. 23B. Первый и средний столбцы 1843 и 1845 представляют собой компоненты DC, которые должны совпадать при использовании идеальных приборов и измерений. Поскольку инструменты, используемые для захвата изображений (на разных фазах), несовершенны, а в процессе может присутствовать шум, эти две высокочастотные матрицы могут иметь различные значения в первом и среднем столбцах. Реконструкцию можно улучшить, принудительно выровняв значения первого и среднего столбцов матриц 1843 и 1845.

[00262] Усреднение первого и среднего столбцов неизбыточных компонентов матриц для двух высокочастотных компонентов является одним из способов выравнивания значений этих столбцов в матрицах 1843 и 1845 для улучшения качества восстановленного изображения путем введения симметрии в значениях этих столбцов. На ФИГ. 23C показано усреднение первого и среднего столбцов из левых полуматриц двух высокочастотных изображений в пространстве Фурье. Усредненные значения в первых и средних столбцах двух матриц делают полученные матрицы удовлетворяющими симметрии пространства Фурье. Первый и последний столбцы после усреднения показаны заштрихованными на ФИГ. 23C.

[00263] Другие методики также могут быть использованы для выравнивания значений этих столбцов в матрицах 1843 и 1845. Например, мы можем использовать значения в первом и среднем столбцах либо первого, либо второго высокого частотного изображения и использовать эти значения в обеих матрицах 1843 и 1845. Можно также использовать взвешенную комбинацию значений первых и средних столбцов двух высокочастотных изображений. Например, объединив значения путем назначения двух третей веса на значения одного высокочастотного изображения и одной трети веса к значениям другого высокочастотного изображения. Следует понимать, что различные относительные весовые коэффициенты могут быть назначены для объединения значений соответствующих столбцов.

Этап 3-d (смещение субпикселей)

[00264] На этом этапе каждый из высокочастотных компонентов (k-p _θ)(k); (k+p _θ)(k) сдвигают для преодоления эффектов квантования дискретного быстрого преобразования Фурье. Поскольку положения пикселей в матрице пространства Фурье соответствуют дискретным частотным блокам, мы обозначаем это как смещение субпикселей. Чтобы объяснить это, Karras et. al. 2019, в своей работе «Successful optimization of reconstruction parameters in structured illumination microscopy - A practical guide», опубликованной в журнале Optics Communications, демонстрирует смещение более высоких частотных компонентов в полосу частот OTF при использовании структурированного освещения (см. Фиг. 1 в Karras et al. 2019). Во время смещения субпикселей истинные положения высокочастотных компонентов центрированы на частотах p _θ и p _θ соответственно в частотной области. Это смещение проиллюстрировано в уравнениях 35 и 36, взятых из Lal et. al. 2015.

[00265] В алгоритмах восстановления изображения предшествующего уровня техники, таких как алгоритм 1 SIM-RA, представленный в Lal et al. 2015, выполняют две операции преобразования Фурье на одно высокочастотное изображение для смещения высокочастотного содержимого в нужное положение, как показано в уравнениях 35 и 36. Свойство сдвига преобразования Фурье позволяет нам сдвигать сигнал. Смещение может быть выполнено путем переноса информации из частотной области в пространственную область, а затем применения умножения (также называемого применением вектора смещения). Затем для этого смещенного сигнала применяют преобразование Фурье, чтобы вернуть его обратно в частотную область. Более подробная информация о свойстве смещения преобразования Фурье приведена на странице http://www.thefouriertransform.com/transform/properties.php. Смещение высокочастотного содержания фактически выполняется в реальном пространстве путем выполнения обратного преобразования Фурье на неклассифицированных изображениях, чтобы не ограничивать вектор смещения на целые пиксели в дискретных преобразованиях Фурье. Таким образом, мы можем достичь смещения пикселей в реальном пространстве. Затем смещенные высокочастотные компоненты преобразуются в частотную область путем преобразования Фурье.

[00266] Мы улучшаем эффективность реконструкции изображений SIM и уменьшаем требуемые вычислительные ресурсы с помощью симметрии в пространстве Фурье. Таким образом, так называемый частотный компонент DC не должен быть смещен в виде субпикселя, как показано на ФИГ. 18. Матрицы высокочастотных компонентов смещены относительно матрицы частотных компонентов DC.

[00267] В описании алгоритма без избыточности мы смещаем только одну матрицу высокочастотных компонентов после объединения неизбыточных половин ответных матриц со смещенными фазами высокочастотных компонентов, показанных на ФИГ. 18. Объединенные половины высокочастотных компонентов показаны в виде левой половины 1833 и правой половины 1834 или матрицы с меткой 1|2', показанной в среднем столбце третьей строки на ФИГ. 18. Эта матрица смещена из области Фурье в пространственную область и обратно, вместо двух матриц в алгоритмах реконструкции изображений SIM предшествующего уровня техники. Смещенная матрица 1|2' показана в среднем столбце четвертой строки на ФИГ. 18 двумя стрелками, указывающими по диагонали вверх по направлению к верхним левым углам. Эта матрица состоит из левой полуматрицы 1843 и правой полуматрицы 1844. Вторая высокочастотная матрица, которая состоит из левой полуматрицы 1845 и 1846 или обозначена как 2|1', получена с использованием симметрии пространства Фурье и конъюгации матрицы 1|2'. Мы сдвигаем ее на такое же расстояние, как и матрицу 1|2', но в противоположном направлении, которое обозначено двумя диагональными стрелками по направлению к нижнему правому углу.

[00268] Этапы 3a-3d обработки повторяют циклически вдоль углов пика освещения. В этом примере мы используем два угла или ориентации, поэтому мы выполняем вышеуказанные этапы для второго набора из трех изображений, полученных со второй ориентацией рисунка структурированного освещения.

Этап обработки 4: Сумма реконструкции и создание фильтра Винера

[00269] Фильтр Винера можно создать один раз и затем многократно применять к фильтровальным изображениям даже при изменении параметров. Дополнительный материал для работы Karras et. al. 2019 под названием «Successful optimization of reconstruction parameters in structured illumination microscopy - A practical guide», опубликованной в журнале Optics Communications, иллюстрирует настройку параметра фильтра Винера(w), которая является постоянной частью знаменателя в уравнениях 32, 33 и 34. Фиг. S1 этого дополнительного материала для Karras et. al. 2019 иллюстрирует влияние различных значений параметра фильтра Винера (w) на извлеченных спектрах изображения. Низкое значение параметра фильтра Винера может привести к шуму в извлеченных спектрах. Слишком высокое значение может привести к потере данных изображения. Значение параметра фильтра Винера может быть определено эмпирически, как описано в Lal et al. 2015 и дополнительных материалах Karras et. al. 2019. В альтернативном варианте осуществления для снижения шума можно использовать другие типы фильтров нижних частот Фурье. Например, фильтр нижних частот Гаусса, фильтр нижних частот Баттерворта или фильтр нижних частот Хэмминга. Подробная информация об этих фильтрах доступна по адресу http://fourier.eng.hmc.edu/e101/lectures/Fourier_Analysis/node10.html.

[00270] Только части матриц, которые включают в себя высокочастотные компоненты, перекрываются с так называемой матрицей частоты DC. Расширенная матрица, в которой объединены коэффициенты из множества частотных матриц области Фурье, шире и больше отдельных матриц до объединения с помощью коэффициента усиления, что отражает усиление развернутого изображения. Коэффициент повышения частоты может составлять от 1,0 до 2,0 ширины и высоты отдельных матриц. Если коэффициент повышения частоты равен 1,0, улучшение разрешения изображения отсутствует. Высокочастотные компоненты и изображения на всех фазах вдоль ориентации не перекрывают друг друга. Когда коэффициент повышения частоты равен 2,0, смещенные матрицы высокочастотных компонентов отделены друг от друга таким образом, что их края (или границы) касаются центра матрицы без смещения. Это означает, что ширина и высота восстановленного изображения высокого разрешения увеличиваются в два раза по сравнению с отдельными матрицами изображения. Эта комбинированная матрица показана в виде большой матрицы 1850 на ФИГ. 18. Матрица 1850 в два раза шире и выше, чем отдельные матрицы, обозначенные 1|2' и 2|1', чтобы показать, что восстановленное изображение улучшено. Когда коэффициент повышения частоты для улучшения разрешения изображения больше 1,0 и меньше 2,0, смещенные матрицы 1|2' и 2|1' расположены ближе и перекрывают друг друга в центре большой матрицы 1850.

[00271] На ФИГ. 18 показано построение матрицы 1850 из матриц для трех изображений в первом углу. Неизбыточная половина компонента DC для первого угла показана как 1841 на ФИГ. 18. Затем мы помещаем коэффициенты смещения субпикселя для одного высокочастотного изображения в верхнюю левую часть матрицы 1850, а для другого высокочастотного изображения - в нижнюю правую часть. Избыточные компоненты конъюгата, необходимые для завершения 1850, могут быть рассмотрены в комплементарных неизбыточных компонентах, поддерживая отслеживание положений матрицы комплементарных компонентов (коэффициентов) и применение измененного знака к любой воображаемой части скопированных коэффициентов.

[00272] При добавлении второго, перпендикулярного угла и трех дополнительных изображений (которые не показаны) квадрат будет заполнен. Мы помещаем полную матрицу для одного высокочастотного компонента для второго угла в нижнюю левую часть матрицы 1850, а второй высокочастотный компонент - в верхнюю правую часть.

[00273] Комбинирование девяти изображений проиллюстрировано в Lal et al. 2015. Коэффициенты в позициях перекрывающихся матриц объединяют в матрице 1850. Это изменение шести изображений для двух углов вместо трех.

[00274] Визуализация объединяемых матриц наиболее четкая, когда коэффициенты изображены со смещением от центра, где среднее значение диапазона частот находится в центре матрицы, но при этом можно фактически выполнять расчеты с использованием матриц с угловым смещением с наименьшим частотным компонентом, например в верхнем левом или нижнем правом углу. Реконструкция матрицы 1850 изображения с улучшенным разрешением проиллюстрировано на ФИГ. 18 путем помещения низкочастотных компонентов в центр, а высокочастотных компонентов - за пределы центра. Такое расположение частотного содержимого называют спектром со смещением от центра. Применение быстрого преобразования Фурье (FFT) для данных изображения в пространственной области приводит к получению спектра со смещением к углу, в котором амплитуды низкочастотных компонентов заканчиваются в углах двумерного спектра в пространстве Фурье (или частотной области). Высокочастотные компоненты расположены ближе к центру двумерного спектра. Для простоты понимания полезно визуализировать частотное содержимое в частотной области в качестве спектра со смещением от центра, в котором низкочастотные компоненты расположены близко к центру, а высокочастотные - за пределами центра. Симметрия квадрантов в спектре со смещением к углу позволяет заменять квадранты по диагонали для перемещения низкочастотных компонентов ближе к центру. Таким образом, спектр со смещением к углу может быть прямо преобразован в спектр со смещением от центра и наоборот. Конъюгированные симметрия и избыточные области имеются как в спектре со смещением к углу, так и в спектре со смещением от центра. Спектр со смещением от центра на ФИГ. 18 представлен для облегчения понимания читателя.

[00275] Фильтр Винера может быть построен для комбинированного изображения с использованием одного этапа (Lal et al. 2015) или двух этапов (Gustafsson 2000), представленных выше для изображений с разделением полос на этапе 3-c. Например, в одном варианте реализации фильтр Винера может быть создан с использованием MTF (функция передачи модуляции), которая представляет собой амплитуду или абсолютное значение OTF (функция оптической передачи). В этом варианте реализации мы выполняем процесс восстановления, чтобы вычислить перекрывающиеся частотные данные в фильтре Винера. Мы применяем весовые коэффициенты фильтра Винера для изображений с разделением полос на OTF совмещенного изображения, чтобы создать фильтр Винера для совмещенного изображения. Фильтр Винера применяют к совмещенному изображению в следующем этапе.

Этап обработки 5: Применение фильтра Винера и фильтра аподизации

[00276] На этом этапе мы применяем фильтр Винера или альтернативный фильтр, созданный в предыдущем этапе, к совмещенному изображению в пространстве Фурье. На этапе 3-c мы разделяли фильтрацию Винера на два этапа путем применения независимой MTF. См. уравнения 32, 33 и 34 на этапе 3-c. В качестве обработки с двухэтапной фильтрацией этот этап включает в себя применение оставшихся частей фильтра Винера (представленных в уравнениях 32, 33 и 34) к совмещенному изображению в пространстве Фурье. В альтернативном варианте осуществления мы можем применять фильтр Винера к изображениям Фурье из трех частотных компонентов на угол перед их объединением с образованием совмещенного изображения. При применении на ранних этапах мы можем применить фильтр Винера только к неизбыточным половинам матриц для частот с разделением полос.

[00277] Применение фильтра Винера усиливает сигнал, но он также может увеличивать шум на изображениях. Предварительно сконструированный фильтр аподизации помогает устранить резкие края на изображениях, которые появляются из-за высокой частоты. Фильтр аподизации представляет собой фильтр нижних частот, который удаляет частотное содержимое за пределами предварительно заданного радиуса в пространстве Фурье. Фильтр аподизации снижает погрешности, введенные фильтром Винера. Кроме того, для уменьшения погрешностей из-за фильтра Винера можно применять другие фильтры нижних частот, например фильтр нижних частот в реальном пространстве Хэмминга или фильтр Гаусса. Следует отметить, что фильтр аподизации необязателен и не используется некоторыми алгоритмами реконструкции SIM, такими как алгоритм 1 (SIM-RA) Lal et al. 2015. В альтернативном варианте осуществления фильтр аподизации может быть применен только к неизбыточным половинам матрицы для трех компонентов частоты ранее в цепочке.

Этап обработки 6. Выполнение обратной FFT

[00278] На этом этапе мы применяем обратное преобразование Фурье в матрицу 1850 для полного изображения в частотной области. Применение обратного быстрого преобразования Фурье (IFFT) превращает компоненты матриц из области Фурье в изображение в пространственной области (в реальном пространстве). Полученная матрица 1860 представляет собой восстановленное изображение SIM высокого разрешения. При использовании субфрагментов она является частью большего фрагмента.

Реконструкция изображений SIM для изображения полного FOV

[00279] Субфрагменты изображений SIM высокого разрешения могут быть объединены для реконструкции изображения высокого разрешения полного FOV. Ниже представлен псевдокод для одного варианта реализации описанной технологии для реконструкции полного поля обзора с высоким разрешением из множества изображений субфрагментов. Представленный ниже алгоритм называется алгоритмом реконструкции поля обзора (алгоритмом 4). Он расширяет алгоритм 3 для восстановления субфрагмента. В качестве входных данных используют полученные изображения и коэффициенты искажения для параметров оценки. Оценка коэффициентов искажения для параметров угла и разноса (входные данные 2) и таблицы фазового смещения (входные данные 3) представлена выше. Алгоритм разделяет изображения полного FOV на субфрагменты областей одинакового размера. Изображения SIM реконструируют для субфрагментов, представленных выше в алгоритме 3. Наконец, изображения SIM высокого разрешения субфрагментов объединяют для реконструкции изображения SIM высокого разрешения полного FOV (этап 4b алгоритма).

Алгоритм 4. Реконструкция полного поля обзора

Входные данные

1. Набор изображений, например для 2 углов и 3 фаз на угол.

2. Коэффициенты искажения для угла/разноса (см. алгоритм «Калибровка искажений с помощью квадратичной аппроксимации и справочной таблицы»).

3. Справочная таблица искажений для фазы (см. алгоритм «Калибровка искажений с помощью квадратичной аппроксимации и справочной таблицы»).

4. Параметры фильтра Винера и аподизации.

Выходные данные Реконструированное изображение.

Алгоритм

1. Создание следующих изображений/фильтров (размер соответствует субобласти).

a. OTF

b. Винеровская

c. Аподизация

2. Разделение изображения на субобласти одинакового размера, например 512 x 512.

a. Если изображение невозможно равномерно разделить по размеру субобласти, на правой кромке или в нижней части сместите субобласть влево (или вверх), чтобы она была на изображении.

b. Настройте книгу учета для граничных субобластей, чтобы копировались только неперекрывающиеся части для правой или нижней крайней субобласти.

3. Расчетные параметры в центре используемого изображения, например окна 512 × 512 (см. алгоритм сопоставления субфрагмента и разноса и алгоритм сопоставления фаз субфрагмента).

a. Расчетный угол и разнос пика освещения для каждого угла.

b. Расчетная модуляция для каждого угла.

c. Расчетная фаза для каждого изображения.

4. Для каждой субобласти

a. Восстановление субобласти более высокого разрешения с использованием алгоритма восстановления субфрагмента

i. Использование решетки и угла, полученных на этапе 3, и заданных коэффициентов деформации для оценки локальной решетки и угла.

ii. Использование фазы, полученной на этапе 3, и заданной таблицы искажений для расчета правильной фазы.

iii. С учетом ранее построенной OTF, применение фильтра Винера и аподизации для субобласти.

b. Копирование выходных данных из (a) в большое изображение

i. В случае граничной субобласти будут копированы только недостающие данные.

[00280] В контексте предыдущих описаний этот псевдокод не требует пояснений.

Потенциальные усовершенствования алгоритма реконструкции изображений SIM

[00281] Мы предлагаем потенциальные усовершенствования алгоритма реконструкции изображений SIM (SIR), описанного в предварительной заявке на патент США № 62/924,130, под заголовком «СИСТЕМЫ И СПОСОБЫ МИКРОСКОПИИ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ» (номер патентного реестра ILLM 1012-1); и предварительной заявке на патент США № 62/924,138 под заголовком «ПОВЫШЕННАЯ ЭФФЕКТИВНОСТЬ РАСЧЕТА ДЛЯ МИКРОСКОПИИ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ» (номер патентного реестра ILLM 1022-1). Обе предварительные заявки были поданы 21 октября 2019 года.

[00282] Первое возможное улучшение относится к справочной таблице отклонения фазы. На основании алгоритма SIR в исходном режиме используют справочную таблицу отклонения фазы. Предположение в исходной модели заключается в том, что отклонение фазы и искажение могут быть получены один раз и сохранены в справочной таблице. Предполагается, что значения в справочной таблице стабильны и применимы к множеству циклов секвенирования. Исходный алгоритм SIR предполагает, что справочная таблица (LUT) отклонения фазы остается стабильной в пространственной области. Это означает, что одну и ту же справочную таблицу можно применять к фрагментам проточной кюветы. Второе предположение в исходном алгоритме заключается в том, что LUT остается стабильной в множестве циклов секвенирования. Эксперименты показали, что эти предположения могут не быть истинными для всех проточных кювет и прогонов секвенирования. Фрагменты в проточной кювете могут иметь различия или другие искажения. На значения в справочной таблице могут влиять различные факторы окружающей среды, которые изменяются при выполнении нескольких прогонов секвенирования.

[00283] Таким образом, универсальный алгоритм SIM включает в себя составление справочной таблицы отклонения фазы для каждого прогона секвенирования на фрагмент, когда новая проточная кювета загружена в секвенсер и запущено секвенирование. Это может увеличить время обработки, необходимое для первого прогона секвенирования. Однако наблюдается значительное улучшение частоты появления ошибок и увеличение процентного содержания кластеров, которые проходят фильтрацию (или %PF), как показано в следующих абзацах.

[00284] Второе потенциальное улучшение связано с геометрическим искажением, которое приводит к тому, что параллельные линии изгибаются или иным образом искажаются. Геометрическое искажение может вызывать искажения в визуализации или оптическом пути и в проточной кювете. В некоторых случаях все или некоторые фрагменты в проточной кювете могут иметь наклонные элементы и не быть плоскими. Это может привести к геометрическому искажению. Определение характеристик всех фрагментов в проточной кювете является предпочтительным, поскольку в проточной кювете могут быть вариации от фрагмента к фрагменту. Ранний вариант коррекции предполагает, что геометрическое искажение может быть получено один раз и использовано для множества прогонов секвенирования. Эксперименты показали, что это предположение может не быть истинным для всех прогонов секвенирования. Таким образом, универсальный алгоритм включает в себя получение геометрического искажения для каждого фрагмента в проточной кювете в первом цикле прогона секвенирования.

[00285] Третье потенциальное улучшение связано с объединением изображений субфрагментов и получением изображения полного поля обзора (FOV). В исходном алгоритме SIM, когда обратное быстрое преобразование Фурье (IFFT) применяют к субфрагментам в частотной области, края субфрагментов появляются в пространственной области. Таким образом, на объединенных субфрагментах в полном поле обзора видны линии объединения на краях субфрагментов. Проблема объединения вызывает появление темных артефактов вдоль границы субфрагментов. Универсальный алгоритм SIM решает проблему объединения с помощью перекрытия субфрагментов. Например, перекрытие субфрагментов может составлять от 5 до 15 пикселей. В одном варианте реализации субфрагменты перекрываются на 8 пикселей вдоль границы. При восстановлении изображения полного поля обзора (FOV) универсальный алгоритм может не учитывать внешние 8 пикселей для субфрагментов и использовать внутреннюю область для восстановления изображения полного FOV в пространственной области. В этом варианте реализации размер субфрагмента можно сделать больше 512 x 512 пикселей путем добавления граничных пикселей (например, 8 пикселей) с каждой стороны. В другом варианте реализации граничные пиксели субфрагментов могут быть усреднены вместо удаления граничных пикселей.

[00286] Четвертое потенциальное улучшение связано с оптимизацией фильтров Винера и аподизации. Параметры фильтра зависят от повышения частоты. Исходный алгоритм SIM использует 1,2-кратное повышение частоты, которое может обрезать частичный пиксель. При объединении изображений фрагментов в пространственной области это может вызвать смещение изображений и проблемы с выравниванием. Обрезка пикселя связана с повышением коэффициента повышения частоты (т. е. 1,2), который обеспечивает нецелое число пикселей. Универсальный алгоритм SIM использует 1,5-кратное повышение частоты для преодоления проблемы частичной обрезки пикселей с использованием коэффициента повышение частоты, который генерирует целое число пикселей. Таким образом, обеспечиваются более четкие изображения субфрагмента для объединения. В других вариантах реализации можно использовать другие значения коэффициента повышения частоты, такие как увеличение в 1,25 раза, что также может создавать целое число пикселей.

[00287] В некоторых вариантах осуществления описанная технология может использовать линейное изменение дозы для компенсации повреждения нуклеотидов, вызванных циклами воздействия в прогоне секвенирования. При линейном увеличении дозы возрастает оптическая сила лазеров синего и зеленого канала.

Результаты сравнения производительности

[00288] Мы сравнивали производительность исходного алгоритма SIM с универсальным алгоритмом SIM. Два алгоритма сравнивают по качеству результатов секвенирования, на которое указывает частота появления ошибок и процент кластеров, проходящих через фильтр (%PF). Частота появления ошибок измеряет процент базовых вызовов, которые были ошибочными по сравнению с известным эталонным геномом в процессе секвенирования. Кластеры, проходящие через фильтр, или показатель %PF указывают на качество сигнала от каждого кластера молекул в проточной кювете. Низкая частота появления ошибок и более высокие значения %PF являются желательными, поскольку они указывают на хорошее выходное значение секвенирования с высоким качеством базовых вызовов. Из более чем сотен фрагментов на проточной кювете мы выбрали результаты для лучшего фрагмента в каждом прогоне секвенирования для сравнения алгоритмов. Фрагменты в проточной кювете могут иметь различия с точки зрения плоскостности, наклона, гладкости поверхности и других факторов окружающей среды. Причина выбора наилучшего фрагмента для сравнения из более 100 фрагментов заключается в уменьшении различий, вызванных другими внешними факторами, посредством статистической агрегации.

[00289] На ФИГ. 25A представлена частота появления ошибок для исходного уровня и всех алгоритмов для трех циклов секвенирования, обозначенных как A, B и C. Для каждого цикла секвенирования частота появления ошибок для наилучшего фрагмента представлена для двух алгоритмов. Верхний столбец указывает на частоту появления ошибок для лучшего фрагмента во всем алгоритме, а нижний столбец указывает на частоту появления ошибок для наилучшего фрагмента в алгоритме исходного уровня для соответствующего прогона секвенирования. Таблица в нижней части графика показывает количественные улучшения частоты появления ошибок лучшего фрагмента, когда используется универсальный алгоритм. Например, частота появления ошибок лучшего фрагмента для прогона секвенирования A составляет 1,85%, когда используется исходный алгоритм. Частота появления ошибок лучшего фрагмента для прогона секвенирования A составляет 1,18% при использовании всех алгоритмов, что указывает на секвенирование более высокого качества при меньшей частоте появления ошибок. Аналогичные улучшения в виде уменьшения частоты появления ошибок наблюдаются в прогонах секвенирования B и C при использовании универсального алгоритма.

[00290] На ФИГ. 25B представлены кластеры, проходящие через фильтр (или %PF), для получения лучшего фрагмента в трех прогонах секвенирования для двух алгоритмов. В нижней таблице представлены значения %PF для лучшего фрагмента в соответствующем секвенировании для двух алгоритмов. Универсальный алгоритм приводит к более высоким значениям %PF для всех прогонов секвенирования. В частности, значение %PF для первого цикла A прогона секвенирования - 82,7, и это говорит о том, что 82,7% кластеров на фрагменте проточной кюветы считаются высококачественными кластерами для генерации информации о базовых вызовах. Значение %PF для лучшего фрагмента в прогоне секвенирования составляет только 70,1. Чем выше значение %PF, тем больше кластеров проходят через фильтр, тем самым увеличивая пропускную способность секвенирования. Проточные кюветы с рисунком могут иметь теоретический максимальный предел количества кластеров, равный количеству нанолунок, в которых могут образовываться кластеры молекул. Результаты на ФИГ. 25A и 25B показывают, что результаты универсального алгоритма приводят к более низкой частоте появления ошибок и более высокой пропускной способности (из-за более высоких значений %PF) по сравнению с исходным алгоритмом.

[00291] На ФИГ. 26A, 26B и 26C представлена частота появления ошибок лучшего фрагмента для циклов в прогонах секвенирования A, B и C соответственно. Отдельный временной ряд частоты появления ошибок в прогонах секвенирования представлен для исходного и универсального алгоритмов. Результаты на ФИГ. 26A-26C иллюстрируют, что универсальный алгоритм уменьшает частоту появления ошибок при прогонах секвенирования. Снижение частоты появления ошибок при использовании универсального алгоритма для лучшего фрагмента может варьироваться от цикла к циклу. Как показано на ФИГ. 26A, для начальных 25 циклов частота появления ошибок исходного и универсального алгоритмов почти одинакова, однако при увеличении числа прогонов секвенирования частота появления ошибок для универсального алгоритма уменьшается по сравнению с частотой появления ошибок для исходного алгоритма. На ФИГ. 26B показано, что частота появления ошибок для универсального алгоритма немного меньше в начальных циклах. В более поздних циклах прогонов секвенирования универсальный алгоритм показывает себя лучше, чем исходный алгоритм. На ФИГ. 26C представлены значения частоты появления ошибок лучшего фрагмента для циклов в прогоне секвенирования C для двух алгоритмов. Эффективность универсального алгоритма значительно выше, чем исходного алгоритма, для большинства циклов. Графики также иллюстрируют конкретные циклы, для которых универсальный алгоритм имеет более низкую частоту появления ошибок. Эти результаты могут помочь специалистам или исследователям сконцентрировать внимание на проблемах качества, что приводит к снижению частоты появления ошибок для конкретных циклов.

[00292] На ФИГ. 26D представлены улучшения частоты появления ошибок, достигаемые с помощью конкретных обновлений универсального алгоритма по сравнению с исходным алгоритмом. Например, левый график показывает улучшения частоты появления ошибок для прогона секвенирования A путем последовательного включения в него методов фазового обучения и локального устранения проблем. Фазовое обучение относится к оценке смещения фазы, которая может улавливать взаимосвязь между значениями смещения фаз для нецентральных субфрагментов относительно центральных субфрагментов. Для каждого фрагмента проточной кюветы генерируется и хранится отдельная справочная таблица отклонения фазы. Частота появления ошибок для исходного алгоритма прогона секвенирования A составляет 1,85, как показано в первом столбце на ФИГ. 24A. Снижение частоты появления ошибок при включении фазового обучения в алгоритм исходного уровня составляет 0,65 или 32%, а при включении локального устранения проблем в базовую модель снижение частоты появления ошибок в алгоритме исходного уровня составляет 0,19 или 10%. График также можно интерпретировать как снижение частоты появления ошибок на 0,65 при фазовом обучении и на 0,19 при локальном устранении проблем в алгоритме исходного уровня. Остаточная частота появления ошибок после включения двух методик составляет 1,18.

[00293] График справа на ФИГ. 26D демонстрирует снижение частоты появления ошибок, при использовании методов фазового обучения и локального устранения проблем для прогона секвенирования B. Включение фазового обучения в алгоритм исходного уровня уменьшает частоту появления ошибок на 0,227 или 33%. Включение локального устранения проблем в алгоритм исходного уровня уменьшает частоту появления ошибок на 0,039 или 6%. Остаточная частота появления ошибок после включения обеих методик составляет 0,414. Ниже представлено обсуждение влияния описанной технологии при применении расчета параметров SIM и способов реконструкции изображений для обработки изображений из прогона секвенирования.

Влияние описываемой технологии

[00294] Упрощенные примеры представлены для иллюстрации того, как описанная технология может снижать требования к вычислительным ресурсам для улучшения изображения структурированного освещения в проточной кювете в течение нескольких циклов и несколько часов. Возможности машины различаются, поэтому для удобства интерпретации примеров вычислений выбраны круглые числа. Следует помнить, что описанные технологии могут быть применены независимо или в комбинации друг с другом. В некоторых вариантах реализации параметры могут быть рассчитаны чаще для компенсации нестабильности системы из-за факторов окружающей среды. Например, как описано выше, для расчета справочной таблица отклонения фазы в первом цикле каждого прогона секвенирования используется универсальный алгоритм SIM. Это может увеличить продолжительность первого цикла до 30 процентов. Однако может быть достигнуто значительное снижение частоты появления ошибок и улучшение показателей %PF.

[00295] Предположим, прогон секвенирования включает в себя 150 циклов анализа с двумя частотами освещения со скоростью 6 минут на цикл. Базовый захват фрагментов изображения в 150 циклов занимает 15 часов. Предположим, что для структурированного освещения используют два угла +/-45 градусов с тремя изображениями на угол в каждом цикле. Количество изображений на фрагмент в течение 150 циклов составляет 1800. Предположим, что имеется 70 субфрагментов в решетке 7 x 10. Потребность в обработке составляет 126000 субфрагментов в течение 900 минут.

[00296] В первом варианте осуществления предполагается, что система откалибрована до прогона, и что на протяжении всего прогона можно использовать квадратичную аппроксимацию и справочную таблицу, сгенерированную для различий разноса, угла и фазы. В этом варианте осуществления ближайший к центру субфрагмент будет подвергаться оценке пика интерференционных полос 1800 раз. Это количество раз, когда происходит изменение положения проточной кюветы или источника освещения, или проецируемой фазы структурированного освещения.

[00297] В этом первом примере система не будет выполнять пиковой оценки интерференционных полос 69 из 70 раз. Для 124200 изображений субфрагментов другие субфрагменты будут использовать предварительно вычисленное отношение с ближайшим к центру субфрагментом для определения параметров реконструкции. Оценка параметров реконструкции является более затратной, чем фактическая реконструкция. Таким образом, вычислительные требования снижаются более чем на половину. Дополнительное уменьшение может быть достигнуто при использовании описанной зависимости от симметрии.

[00298] Применение симметрии позволяет рассматривать значения пары конъюгатов, а не вычисление с помощью FFT и других способов. Особую осторожность следует проявлять с секциями субфрагментов, которые имеют отраженную симметрию, а не поворот на 180 градусов и симметрию изменения знака, которая преобладает. При наличии четного числа строк и столбцов в пространстве преобразования Фурье, смещенном к углу, верхняя строка и левый и средний + 1 столбец обрабатываются по-разному из-за отраженной, а не вращательной симметрии. См. ФИГ. 19. При наличии нечетного числа строк и столбцов в пространстве преобразования Фурье, смещенном к углу, верхняя строка и левый столбец обрабатываются по-разному из-за отраженной, а не вращательной симметрии. См. ФИГ. 19 и 23A. Другие симметрии могут быть применены к пространству преобразования Фурье, смещенному от центра.

[00299] Центральный столбец на ФИГ. 18 иллюстрирует, как можно избежать половины расчетов в частотной области на различных этапах путем фокусировки на неизбыточных данных. Предположим, что это снижает расчетную величину на 40 процентов и коэффициент накопления изображения на 50 процентов во время этих этапов до восстановления всего изображения на 1850, 1860. Пары конъюгата не обязательно должны быть включены в расчеты во время этапов 3b-3d, поскольку для пар конъюгатов может быть применена оценка значений, если значения необходимы в 1850, 1860.

[00300] Таким образом, одна описанная технология может сэкономить 50 процентов требуемых вычислительных ресурсов, а другая может сэкономить 40 процентов. В совокупности расчетные затраты на реконструкцию SIM могут быть уменьшены более чем на две трети.

[00301] Во втором варианте осуществления предположим, что система калибруется в начале прогона и снова в средней точке для обновления квадратичной аппроксимации и справочной таблицы. Предположим, что эта калибровка занимает 8 минут, поскольку она включает в себя пиковую оценку интерференционных полос всех 70 субфрагментов, а затем аппроксимацию и создание справочной таблицы. Эта оценка продолжается с 15 часов до 15 часов 16 минут. Если вместо применения описанной технологии проводили оценку для каждого субфрагмента и частоты воздействия, один раз для каждого трио изображений, в общей сложности 300 параметров, время прогона будет более чем втрое больше.

[00302] Во втором варианте реализации влияние применения симметрии не изменяется.

[00303] Ожидается, что комбинированное влияние описанных технологий будет заключаться в обеспечении в режиме реального времени обработки фрагментов изображения с использованием ЦП без добавления GPU, FPGA или CGRA к системе. В альтернативном варианте осуществления можно использовать более простые вычислительные ресурсы, даже если выбран GPU, FPGA или CGRA. Это может снизить сложность системы и облегчить сохранение форм-фактора существующих машин при одновременном увеличении их возможностей обработки в реальном времени.

Конкретные варианты реализации

Субфрагменты полного поля обзора, захваченные датчиком

[00304] Описанная технология субфрагментов может быть описана с точки зрения калибровки и/или производства с использованием калиброванного сканера.

[00305] В одном варианте реализации описанной технологии описан способ калибровки или характеризации сканера, определяющего флуоресценцию миллионов образцов, распределенных по проточной кювете, или, в более общем случае, плоскости визуализации, на изображениях, собранных в течение нескольких циклов. Структурированное освещение используют для улучшения разрешения между флуоресцентными образцами, расположенными ближе друг к другу, чем дифракционный предел Аббе для оптического разрешения. Этот способ калибровки сканера для использования по существу полного поля обзора, проецируемого линзой на оптический датчик в сканере, включает в себя захват фрагментов изображения под структурированным освещением при множестве углов и смещений фаз структурированного освещения. Варианты по способу могут использовать 2D-структурированное освещение и различную диаграмму сдвига фазы. Способ включает вычисление оптического искажения по фрагменту изображения, включая измерение расстояния между пиками интенсивности и углом пиков интенсивности по меньшей мере в 9 субфрагментах изображения, включая ближний к центру субфрагмент, и аппроксимацию поверхности разноса и поверхности угла к измеренному разносу и углу, соответственно. Конечно, можно использовать другие конфигурации для разделения изображения, например, 3 x 3, 5 x 5, 5 x 7, 9 x 9, 8 x 11, 9 x 16 субфрагментов. Изображения, захваченные более крупными датчиками, делятся на больше число субфрагментов, не ограничиваясь перечисленными в списке массивами субфрагментов. Аппроксимированная поверхность разноса и аппроксимированная поверхность угла выражают коррекцию искажений в субфрагментах фрагмента изображения. Полученные коэффициенты соответствия сохраняются, включая результаты аппроксимации, которые относятся к разносу пиков интенсивности и углу пиков интенсивности по меньшей мере у 9 субфрагментов по отношению к ближайшему к центру субфрагменту. Калибровка дополнительно включает измерение фазовых смещений структурированного освещения на множестве углов и смещений фаз внутри субполей и сохранение справочной таблицы, которая выражает различия между фазовым смещением в ближайшем к центру субфрагменте и фазовым смещением в других субфрагментах фрагмента изображения. Эта калибровка подготавливает сканер для производства, для анализа флуоресценции миллионов образцов, распределенных по проточной кювете или плоскости визуализации, на изображениях, собранных в течение нескольких циклов.

[00306] В варианте осуществления способ обеспечивает улучшенные изображения флуоресценции миллионов образцов, распределенных по проточной кювете или плоскости визуализации, из изображений, собранных в течение нескольких циклов. Это включает в себя обработку захваченных элементов изображения на проточной кювете, причем фрагменты изображения захватываются при множестве углов и смещений фаз структурированного освещения в течение нескольких циклов. Эта обработка предназначена для субфрагментов каждого фрагмента изображения. Она включает в себя доступ к сохраненным результатам оценки аппроксимации или генерированию оцененных результатов аппроксимации, которые выражают разнос между ближайшим к центру субфрагментом и другими субфрагментами. Подходящие результаты могут представлять собой коэффициенты аппроксимации или значений полиномиальной поверхности в справочной таблице. Этот способ также включает в себя доступ к сохраненной справочной таблице или созданию справочной таблицы, которая выражает разность фаз между ближайшим к центру субфрагментом и другими субфрагментами. Результаты аппроксимации и справочной таблицы объединяют с измерениями для ближайшего к центру фрагмента каждого захваченного фрагмента изображения, разноса между пиками интенсивности, угла пиков интенсивности и смещения фазы структурированного освещения. Параметры восстановления определяют на основе субфрагмента для каждого захваченного фрагмента изображения, а затем применяют в реконструкции SIM. Этот способ позволяет получить изображения улучшенного разрешения для субфрагментов в плоскости проточной кюветы или в плоскости визуализации в течение нескольких циклов, при этом степень разрешения превышает дифракционный предел Аббе.

[00307] Например, для фрагмента изображения, деленного на 9 субфрагментов, способ включает получение оцененных параметров восстановления для по меньшей мере 8 дополнительных субфрагментов изображения в дополнение к центральному субфрагменту. Расчетные параметры реконструкции разноса и угла для дополнительных субфрагментов получают путем объединения доступных или расчетных параметров для ближайшего к центру субфрагмента с сохраненными результатами аппроксимации, которые относятся к параметрам разноса и параметрам угла для по меньшей мере 8 дополнительных субфрагментов относительно ближайшего к центру субфрагмента. Расчетные параметры реконструкции фазового смещения для дополнительных субфрагментов получают путем объединения доступных или расчетных параметров для ближайшего к центру субфрагмента с сохраненной справочной таблицей для измерений фазового смещения для по меньшей мере 8 дополнительных субфрагментов относительно ближайшего к центру субфрагмента. Как описано выше, можно использовать другие конфигурации для разделения изображения без влияния на процесс оценки параметров, описанный выше.

[00308] Изображения с улучшенным разрешением могут быть использованы для последовательности образцов в нескольких циклах или для изучения флуоресценции над плоскостью изображения, захваченной несколькими десятками, сотнями или даже тысячами фрагментов изображения.

[00309] В комбинированной калибровочной и производственной реализации действия, описанные выше, комбинируют, поэтому сканер калибруют, а затем используют в производстве. Описанная технология включает в себя реализацию способа, который улучшает эффективность сканера, определяющего флуоресценцию миллионов образцов, распределенных по поточной кювете, на изображениях, собранных в течение нескольких циклов. Структурированное освещение используют для улучшения разрешения между флуоресцентными образцами, расположенными ближе друг к другу, чем дифракционный предел Аббе для оптического разрешения. С помощью этой технологии калибровка сканера для использования по существу полного поля обзора, проецируемого линзой на оптический датчик в сканере, включает в себя захват фрагментов изображения под структурированным освещением при множестве углов и смещений фаз структурированного освещения. Она включает вычисление оптического искажения по фрагменту изображения, включая измерение расстояния между пиками интенсивности и углом пиков интенсивности по меньшей мере в 9 субфрагментах изображения, включая ближний к центру субфрагмент, и аппроксимацию поверхности разноса и поверхности угла к измеренному разносу и углу, соответственно. Конечно, изображение фрагмента может быть разделено на большее число субфрагментов, как описано выше. Аппроксимированная поверхность разноса и поверхность угла выражают коррекцию искажений в субфрагментах фрагмента изображения. Полученные коэффициенты аппроксимации сохраняются. Калибровка дополнительно включает измерение фазовых смещений структурированного освещения на множестве углов и смещений фаз внутри субполей и сохранение справочной таблицы, которая выражает различия между фазовым смещением в ближайшем к центру субфрагменте и фазовым смещением в других субфрагментах фрагмента изображения.

[00310] Способ реализуется при обработке захваченных элементов изображения на проточной кювете, причем фрагменты изображения захватывают на множестве углов и фазовых смещений структурированного освещения в течение нескольких циклов. Он включает объединение сохраненных результатов аппроксимации и сохраненной справочной таблицы с измерениями для каждого захваченного фрагмента изображения в ближайшем к центру фрагменте, разноса между пиками интенсивности, углом пиков интенсивности и смещением фазы структурированного освещения, для определения параметров восстановления для каждого захваченного изображения на основе субфрагмента. Он дополнительно включает в себя получение изображений с улучшенным разрешением для субфрагментов в положениях по проточной кювете в течение нескольких циклов при более высокой разрешающей способности, чем дифракционный предел Аббе, и с использованием изображений улучшенного разрешения для последовательности выборок в течение нескольких циклов.

[00311] Каждый из вариантов реализации комбинированной калибровочной и производственной реализации, представленных выше, имеет отдельную полезность. Например, первый объект может доставлять и калибровать сканер для использования вторым объектом. Первый объект может использовать другой подход калибровки для определения и выражения разносов и зависимости отклонения от угла наклона и различий по фазе между ближайшим к центру субфрагментом и другими субфрагментами, а описанная технология производства все еще может использоваться. Можно использовать описанную технологию калибровки, затем второй объект может использовать откалиброванный сканер другим способом. Таким образом, описанная технология включает в себя варианты калибровки и/или производства.

[00312] Этот способ и другие варианты реализации описанной технологии могут включать в себя один или более следующих признаков и/или признаков, описанных в связи с дополнительными описанными способами. В целях краткости описания, комбинации признаков, описанных в настоящей заявке, не нумеруются по отдельности и не повторяются с каждым базовым набором признаков. Читателю будет понятно, как признаки, указанные в этом разделе, можно легко комбинировать с наборами базовых признаков, указанных в других вариантах реализации.

[00313] Когда плоскость визуализации представляет собой проточную кювету, образцы могут быть распределены в миллионах нанолунок через проточную кювету. По меньшей мере некоторые адгезионные пары нанолунок могут быть расположены ближе друг к другу, чем дифракционный предел Аббе для оптического разрешения. Структурированное освещение обеспечивает такое близкое расположение. В альтернативном варианте осуществления образцы могут быть распределены случайным образом по проточной кювете.

[00314] Каждый фрагмент содержит по меньшей мере 512 х 512 пикселей оптического датчика. Могут быть использованы большие или меньшие количества, включая 256, 400, 1024, 2048 и 4096 или в диапазоне от 256 до 4096 пикселей. Эффективность может быть улучшена, когда степень размера субфрагмента составляет 2, практические диапазоны, которые признаны годными, составляют 512 и 1024 пикселей.

[00315] Субфрагменты могут перекрываться по меньшей мере 2 пикселями оптического датчика. Можно использовать большее или меньшее количество. Например, для окна шириной 512 пикселей можно использовать перекрытие вплоть до 256 пикселей, а для ширины 1024 пикселя можно использовать перекрытие вплоть до 512 пикселей.

[00316] Результаты аппроксимации поверхности разноса и поверхности угла могут храниться в виде коэффициентов квадратичной, кубической аппроксимации или аппроксимации более высокого порядка, а также в справочной таблице, рассчитанной из полиномиальной аппроксимации поверхностей разноса и угла.

[00317] В некоторых вариантах осуществления можно выполнить прогон секвенирования один раз или более для повторного измерения разноса между пиками интенсивности и углом пиков интенсивности в субфрагментах, повторной аппроксимации поверхности разноса и поверхности угла и сохранения результатов повторной аппроксимации для использования при обработке последующих захваченных фрагментов изображений. Это может быть выполнено, например, на промежуточном цикле, например 50-м цикле или более в пределах по меньшей мере 100 циклов. В некоторых вариантах осуществления повторное измерение может быть выполнено при наличии вычислительных ресурсов, например в конце цикла секвенирования или между двумя считываниями при выполнении этапа химического анализа для следующего считывания.

[00318] Нанолунки могут быть расположены в виде правильного повторяющегося рисунка. В случае прямоугольного рисунка могут быть использованы два угла структурированного освещения, по существу, вдоль двух диагоналей, соединяющих противоположные углы прямоугольника в рисунке, чтобы пики интенсивности структурированного освещения были ориентированы по существу нормально двум диагоналям. В случае повторяющейся шестиугольной структуры нанолунок с тремя диагоналями, соединяющими противоположные углы шестиугольников в рисунке, могут быть использованы три угла структурированного освещения с пиками интенсивности, которые ориентированы, по существу, нормально трем диагоналям. В альтернативном варианте осуществления образцы могут быть распределены случайным образом на плоскости формирования изображения без нанолунок. Или образцы могут быть расположены в правильном порядке на плоскости формирования изображения в виде структуры, отличной от структуры нанолунок.

[00319] Способ может дополнительно включать объединение изображений улучшенного разрешения для субфрагментов в изображение улучшенного разрешения для фрагмента и использование фрагмента изображения улучшенного разрешения для дальнейшего анализа. Дополнительный анализ может включать секвенирование образцов при одном положении на цикл.

[00320] В качестве улучшения аппроксимации поверхностей способ может дополнительно включать определение обрезки края и применение обрезки края для удаления из вычислений пикселей вокруг краев датчика, прежде чем аппроксимировать поверхность разноса и поверхность угла к измеренным значениям разноса и угла. Край может быть однородным вокруг краев датчика или может изменяться по краю, например быть шире на концах прямоугольного датчика, чем вдоль длинного края.

[00321] Способ может дополнительно включать измерение разноса между пиками интенсивности и углом пиков интенсивности по меньшей мере на субфрагментах изображения размером 8 х 11. Могут быть использованы другие конфигурации для разделения фрагмента изображения на субфрагменты, как описано выше.

[00322] Описанная технология субфрагментов может быть использована для получения изображения улучшенного разрешения на целевых изображениях, захваченных при структурированном освещении. В одном варианте реализации описанной технологии приведен способ разделения захваченного целевого изображения, захваченного оптическим датчиком, на 9 или более субфрагментов и обработки каждого из 9 или более субфрагментов независимо. Как описано выше, для дополнительного разделения захваченного изображения можно использовать больше субфрагментов. Способ включает преобразование в соответствующем субфрагменте по меньшей мере трех целевых изображений в области Фурье для получения по меньшей мере трех матриц частотной области соответствующего субфрагмента. Изображения захватываются датчиком в пространственной области при применении по меньшей мере трех фазовых перемещений структурированного освещения вдоль одного угла. Матрицу обратного смешивания рассчитывают с использованием расчетных параметров реконструкции. Обратная матрица применяется к матрицам частотной области для получения по меньшей мере трех матриц с разделением фаз в области Фурье, которые являются несмещенными и смещенными матрицами. Выполняется смещение субпикселей по меньшей мере на одной смещенной матрице. Перемещение субпикселей включает преобразование смещенной матрицы из области Фурье в пространственную область, применение вектора смещения к данным в пространственной области и преобразование переносимых данных из данных пространственной области. Смещение субпикселей приводит к получению двух или более перестроенных смещенных матриц в области Фурье. Способ включает выравнивание и суммирование значений перекрытия несмещенной матрицы и перестроенных смещенных матриц с получением расширенной матрицы покрытия частот. Расширенную матрицу покрытия частот обратно преобразуют из области Фурье для получения субфрагмента улучшенного разрешения в пространственной области. Дополнительно целевое изображение улучшенного разрешения может быть получено путем объединения субфрагментов расширенного разрешения для 9 или более субфрагментов.

[00323] Этот способ и другие варианты реализации описанной технологии могут включать в себя один или более следующих признаков и/или признаков, описанных в связи с дополнительными описанными способами. В целях краткости описания, комбинации признаков, описанных в настоящей заявке, не нумеруются по отдельности и не повторяются с каждым базовым набором признаков. Читателю будет понятно, как признаки, указанные в этом разделе, можно легко комбинировать с наборами базовых признаков, указанных в других вариантах реализации.

[00324] Этапы способа могут быть многократно применены для получения последовательности изображений улучшенного разрешения. Последовательность изображений улучшенного разрешения может быть использована для последовательности выборок, визуализируемых датчиком в течение нескольких циклов.

[00325] Каждый фрагмент содержит по меньшей мере 512 х 512 пикселей оптического датчика. Могут быть использованы большие или меньшие количества, включая 256, 1024, 2048 и 4096 или в диапазоне от 256 до 4096 пикселей. Эффективность может быть улучшена, когда степень размера субфрагмента составляет 2, практические диапазоны, которые признаны годными, составляют 512 и 1024 пикселей.

[00326] Субфрагменты могут перекрываться по меньшей мере 2 пикселями оптического датчика. Можно использовать большее или меньшее количество. Например, для 512 может подойти перекрытие в 256 пикселей, а для 1024 - в 512 пикселей.

[00327] Способ может дополнительно включать объединение изображений улучшенного разрешения для субфрагментов в агрегированное изображение с усиленным разрешением и использование агрегированного изображения улучшенного разрешения для секвенирования образца в течение нескольких циклов.

[00328] Способ можно дополнительно применять к типам изображений в положениях в проточной кювете, которые улавливают флуоресценцию миллионов образцов, распределенных по проточной кювете. Такое применение способа обеспечивает улучшенные изображения проточной кюветы.

[00329] Когда плоскость визуализации представляет собой проточную кювету, образцы могут быть распределены в миллионах нанолунок через проточную кювету. По меньшей мере некоторые адгезионные пары нанолунок могут быть расположены ближе друг к другу, чем дифракционный предел Аббе для оптического разрешения. Структурированное освещение обеспечивает такое близкое расположение. В альтернативном варианте осуществления образцы могут быть распределены случайным образом по проточной кювете. В таком варианте осуществления способ дополнительно включает в себя получение последовательностей улучшенных изображений для проточной кюветы и использование последовательностей улучшенных изображений для вызова последовательностей образцов.

[00330] Описанные выше способы вычислений могут быть реализованы в системе, которая включает в себя компьютерное оборудование. В системе с компьютером можно реализовывать один или более несколько способов, описанных выше. Система с компьютером может включать в себя любой из способов, описанных непосредственно выше или в рамках настоящей заявки, которые применимы к способу, реализованному системой. Для краткости альтернативные комбинации элементов системы не перечислены отдельно. Признаки, применимые к системам, способам и изделиям промышленного производства, не повторяются для каждого набора базовых признаков класса патентоспособных объектов изобретения. Читателю будет понятно, как признаки, указанные в данных примерах реализации, можно легко комбинировать с базовыми признаками указанных в других классах патентоспособных объектов изобретения.

[00331] Как готовое изделие, а не способ, энергонезависимый машиночитаемый носитель (CRM) может быть загружен программными командами, исполняемыми процессором. При исполнении программных команд они реализуют один или более реализуемых на компьютере способов, описанных выше. В альтернативном варианте осуществления программные команды могут быть загружены на энергонезависимый CRM и при объединении с надлежащим оборудованием могут стать компонентом одной или более реализуемых на компьютере систем, которые практически осуществляют описанные способы.

[00332] Каждый из признаков, обсуждаемых в конкретном разделе реализации для других вариантов реализации, в равной степени применим к данному варианту реализации. Как указано выше, все признаки в настоящем документе не повторяются для краткости, и их следует рассматривать как повторяемые путем ссылки.

Применение реконструкции изображений SIM без избыточности

[00333] Описанная технология относится к уменьшению вычислительных ресурсов, необходимых для получения улучшенного изображения разрешения из структурированного освещения цели.

[00334] В одном варианте реализации описанная технология субфрагментов может быть использована для получения изображения улучшенного разрешения на целевых изображениях, захваченных при структурированном освещении. Этот способ применяет одно или несколько преобразований в неизбыточные данные, а затем восстанавливает избыточные данные из неизбыточных после преобразований.

[00335] Способ включает преобразование по меньшей мере трех целевых изображений, захваченных датчиком в пространственной области. Этот датчик захватывает изображения от по меньшей мере трех фазовых смещений структурированного освещения вдоль одного угла. Три захваченных изображения в пространственной области преобразуются в область Фурье для получения по меньшей мере трех матриц частотной области. Эти матрицы частотной области включают в себя по меньшей мере неизбыточные компоненты и избыточные компоненты конъюгата. Избыточные компоненты конъюгата представляют собой конъюгаты в положениях комплементарных матриц неизбыточных компонентов. Способ дополнительно включает в себя использование расчетных параметров реконструкции для создания обратной матрицы смешивания и применения обратной матрицы смешивания по меньшей мере к неизбыточным компонентам. Это позволяет получить по меньшей мере три матрицы с разделением фаз в области Фурье, которые являются несмещенными и смещенными матрицами. Эти матрицы включают неизбыточные компоненты без смещения и неизбыточные компоненты пространственной частоты со смещением, полученные путем применения обратной матрицы смешивания к неизбыточным компонентам матрицы частотной области.

[00336] Способ также включает выполнение одного или нескольких промежуточных преобразований по меньшей мере неизбыточных компонентов матриц с разделением фаз. Одна промежуточная операция представляет собой смещение субпикселей. Она включает преобразование из области Фурье в пространственную область по меньшей мере неизбыточных компонентов пространственной частоты смещенных матриц. Затем применяется вектор смещения к данным в пространственной области и происходит преобразование переносимых данных из данных пространственной области в одну или более перестроенных смещенных матриц обратно в область Фурье. Применение вектора смещения эффективно выравнивает значения перекрытия в смещенных матрицах в области Фурье с несмещенной матрицей точнее, чем положения целых матриц дискретных преобразований Фурье. Резервные компоненты конъюгата могут быть извлечены после промежуточных преобразований из неизбыточных компонентов путем копирования преобразованных значений из неизбыточных компонентов в положение комплементарных матриц из избыточных компонентов конъюгата и изменения знака воображаемых частей скопированных значений для получения преобразованных избыточных компонентов конъюгата. Это снижает ресурсы, необходимые во время промежуточных преобразований. Построение изображения улучшенного разрешения дополнительно включает в себя выравнивание и суммирование перекрывающихся значений несмещенной матрицы и смещенных матриц для получения расширенной матрицы покрытия частоты, а затем обратное преобразование расширенной матрицы покрытия частоты из области Фурье для получения изображения улучшенного разрешения в пространственной области.

[00337] В некоторых вариантах реализации ряд изображений улучшенного разрешения получают путем многократного применения предшествующих действий. Дополнительно, например при секвенировании путем синтеза, описанная технология может быть применена для использования серии изображений улучшенного разрешения для секвенирования образцов, полученных датчиком в течение нескольких циклов.

[00338] Этот способ и другие варианты реализации описанной технологии могут включать в себя один или более следующих признаков и/или признаков, описанных в связи с дополнительными описанными способами. В целях краткости описания, комбинации признаков, описанных в настоящей заявке, не нумеруются по отдельности и не повторяются с каждым базовым набором признаков. Читателю будет понятно, как признаки, указанные в этом разделе, можно легко комбинировать с наборами базовых признаков, указанных в других вариантах реализации.

[00339] Описанная технология может быть применена к компонентам, расположенным в матрице, смещенной к углу, когда положения комплементарных матриц из избыточных компонентов конъюгата повернуты на 180 градусов по отношению к положению матрицы неизбыточных компонентов.

[00340] Способ может дополнительно включать применение в ходе промежуточных операций одно- или двухэтапной фильтрации Винера для снижения шума. При применении двухэтапной фильтрации Винера независимую функцию модуляции для разделения фаз можно применять к разделенным фазам в виде промежуточного преобразования для компенсации оптической передачи контраста с помощью линзы объектива, которая обладает сниженной способностью к переносу контраста с увеличением пространственной частоты. Компоненты удаления шума при фильтрации Винера могут быть применены отдельно позднее. Промежуточные операции могут дополнительно включать применение фильтрации аподизации.

[00341] В некоторых вариантах реализации матрицы с разделением фаз в области Фурье включают в себя четное число строк и четное число столбцов. Для этих четных матриц усреднение столбца может быть применено в виде промежуточной операции для усреднения столбца DC, компонентов DC со средним столбцом, одним столбцом за пределами центра четной матрицы. Это усреднение столбца может предшествовать смещению субпикселя.

[00342] В некоторых вариантах реализации матрицы с разделением фаз в области Фурье смещены к углу. Затем компоненты DC появляются в верхней строке или в нижней строке, а также в левом столбце или в правом столбце матриц, и избыточные компоненты конъюгата появляются в блоке, повернутом на 180 градусов относительно ориентации неизбыточных компонентов.

[00343] В некоторых вариантах реализации матрицы с разделением фаз в области Фурье включают в себя нечетное число строк и нечетное число столбцов без столбца между блоками неизбыточных компонентов и избыточных компонентов конъюгата. В нечетных матрицах избыточные компоненты конъюгата также появляются в блоке, повернутом на 180 градусов относительно ориентации неизбыточных компонентов.

[00344] В вариантах реализации, в которых цель включает в себя регулярно разнесенные нанолунки, расположенные в прямоугольном рисунке, способ может быть применен к наборам по меньшей мере трех изображений от смещения фазы вдоль двух углов структурированного освещения цели, причем два угла расположены вдоль диагоналей между противоположными углами прямоугольников. Кроме того, в вариантах реализации, в которых цель включает в себя регулярно разнесенные нанолунки, расположенные в шестиугольном рисунке, способ может быть применен к наборам по меньшей мере трех изображений от смещения фазы вдоль трех углов структурированного освещения цели, причем три угла расположены вдоль диагональных каналов между противоположными углами шестиугольников.

[00345] Способ может дополнительно включать применение фильтрации Винера во время промежуточных операций в два этапа. Выполнение двух этапов включает применение независимой функции передачи модуляции к разделенным фазам для компенсации оптической передачи контраста, которая уменьшается с увеличением пространственной частоты, с помощью линзы объектива, переносящей цель под структурированным освещением на датчик. Оно дополнительно включает в себя применение компонентов удаления шума из фильтрации Винера или другого эквивалентного фильтра.

[00346] Способ может дополнительно включать применение фильтра аподизации во время промежуточных операций.

[00347] Матрицы с разделением фаз в области Фурье включают в себя четное число строк и четное число столбцов. Для таких четных матриц способ может дополнительно включать в себя применение усреднения столбца во время промежуточных операций для усреднения столбца DC, компонентов DC со средним столбцом, между блоками неизбыточных компонентов и избыточных компонентов конъюгата. Усреднение столбца может предшествовать смещению субпикселя.

[00348] Когда матрицы с разделением фаз в области Фурье смещены к левому верхнему углу, компоненты DC могут отображаться в верхней строке и левом столбце матриц, и избыточные компоненты конъюгата - в блоке, повернутом на 180 градусов относительно его ориентации в качестве неизбыточных компонентов. В альтернативном варианте осуществления матрицы с разделением фаз могут быть смещены к правому нижнему углу.

[00349] Матрицы с разделением фаз в области Фурье могут также включать нечетное число строк и нечетное число столбцов. Такие нечетные матрицы не содержат средний столбец между блоками неизбыточных компонентов и избыточных компонентов конъюгата.

[00350] Способ дополнительно можно применять к наборам по меньшей мере трех целевых изображений, захваченных линзой с помощью датчика в пространственной области, из фазовых смещений вдоль двух углов структурированного освещения цели. Когда цель содержит регулярно разнесенные нанолунки, два угла могут быть ориентированы в основном вдоль диагоналей между противоположными углами четырехугольников среди нанолунок, расположенных на равном расстоянии друг от друга. Эти четырехугольники могут быть квадратами, а два угла могут быть в основном прямоугольными с погрешностью в пределах одного-трех градусов. Также способ может быть применен для наборов изображений из фазовых смещений вдоль трех углов структурированного освещения цели. Это полезно, когда цель включает в себя нанолунки, расположенные на равном расстоянии друг от друга в виде шестиугольника. При этом рисунке три угла могут быть вдоль диагоналей между противоположными углами шестиугольников.

[00351] Описанные выше способы вычислений могут быть реализованы в системе, которая включает в себя компьютерное оборудование. В системе с компьютером можно реализовывать один или более несколько способов, описанных выше. Система с компьютером может включать в себя любой из способов, описанных непосредственно выше или в рамках настоящей заявки, которые применимы к способу, реализованному системой. Для краткости альтернативные комбинации элементов системы не перечислены отдельно. Признаки, применимые к системам, способам и изделиям промышленного производства, не повторяются для каждого набора базовых признаков класса патентоспособных объектов изобретения. Читателю будет понятно, как признаки, указанные в данных примерах реализации, можно легко комбинировать с базовыми признаками указанных в других классах патентоспособных объектов изобретения.

[00352] Как готовое изделие, а не способ, энергонезависимый машиночитаемый носитель (CRM) может быть загружен программными командами, исполняемыми процессором. При исполнении программных команд они реализуют один или более реализуемых на компьютере способов, описанных выше. В альтернативном варианте осуществления программные команды могут быть загружены на энергонезависимый CRM и при объединении с надлежащим оборудованием могут стать компонентом одной или более реализуемых на компьютере систем, которые практически осуществляют описанные способы.

[00353] Каждый из признаков, обсуждаемых в конкретном разделе реализации для других вариантов реализации, в равной степени применим к данному варианту реализации. Как указано выше, все признаки в настоящем документе не повторяются для краткости, и их следует рассматривать как повторяемые путем ссылки.

[00354] Представленное выше описание приведено для обеспечения возможности получения и использования описанной технологии. Специалистам в данной области будут очевидны различные модификации описанных вариантов реализации, а общие принципы, определенные в настоящем документе, можно применить к другим вариантам реализации и применения без отступления от сущности и объема описываемой технологии. Таким образом, описываемая технология не ограничена представленными вариантами реализации, но должна охватывать все количество возможных вариантов, согласованных с принципами и признаками, описанными в данном документе. Объем описанной технологии определяется прилагаемой формулой изобретения.

Компьютерная система

[00355] ФИГ. 24 представляет собой упрощенную блок-схему компьютерной системы, которая может использоваться для реализации описанной технологии. Компьютерная система обычно включает по меньшей мере один процессор, который обменивается данными с несколькими периферийными устройствами посредством подсистемы шины. Эти периферийные устройства могут включать подсистему хранения, включая, например, запоминающие устройства, и подсистему хранения файлов, устройства ввода пользовательского интерфейса, устройства вывода пользовательского интерфейса и подсистему сетевого интерфейса. Устройства ввода и вывода обеспечивают взаимодействие пользователя с компьютерной системой. Подсистема сетевого интерфейса обеспечивает интерфейс с внешними сетями, включая интерфейс с соответствующими интерфейсными устройствами в других компьютерных системах.

[00356] В одном варианте реализации инструмент оценки параметров 2401 для расчета трех параметров (угол, разнос и фазовое смещение) соединен с подсистемой хранения и устройствами ввода пользовательского интерфейса для обмена данными.

[00357] Устройства ввода пользовательского интерфейса могут включать клавиатуру; указывающие устройства, такие как мышь, шаровой манипулятор, сенсорную панель или графический планшет; сканер; сенсорный экран, встроенный в дисплей; устройства аудиоввода, такие как системы распознавания голоса и микрофоны; а также устройства ввода других типов. В целом использование термина «устройство ввода» подразумевает включение всех возможных типов устройств и способов ввода информации в компьютерную систему.

[00358] Устройства вывода пользовательского интерфейса могут включать подсистему отображения, принтер, факсимильную машину или невизуальные устройства отображения, такие как устройства вывода звука. Подсистема отображения может включать электронно-лучевую трубку (ЭЛТ), плоскопанельное устройство, такое как жидкокристаллический дисплей (ЖКД), проекционное устройство или какой-либо другой механизм для создания видимого изображения. Подсистема отображения может также обеспечивать невизуальное отображение, такое как устройства вывода звука. В целом использование термина «устройство вывода» подразумевает включение всех возможных типов устройств и способов вывода информации из компьютерной системы пользователю или на другую машину либо компьютерную систему.

[00359] В подсистеме хранения данных хранятся программные конструкты и конструкты данных, обеспечивающие функциональность некоторых или всех из модулей и способов, описанных в настоящем документе. Как правило, эти программные модули исполнены процессором самостоятельно или в комбинации с другими процессорами.

[00360] Запоминающее устройство, используемое в подсистеме хранения данных, может включать некоторое количество запоминающих устройств, включая основное оперативное запоминающее устройство (ОЗУ) для хранения команд и данных во время исполнения программы, и постоянное запоминающее устройство (ПЗУ), в котором хранятся фиксированные команды. Подсистема хранения файлов может обеспечивать постоянное запоминающее устройство для файлов программ и данных и может включать накопитель на жестком диске, накопитель на гибких дисках вместе со связанными съемными носителями, накопитель CD-ROM, оптический диск или картриджи съемных носителей. Модули, реализующие функциональные возможности определенных вариантов реализации, могут храниться подсистемой хранения файлов в подсистеме хранения данных или в других машинах, доступных процессору.

[00361] Подсистема шины обеспечивает механизм, позволяющий различным компонентам и подсистемам компьютерной системы взаимодействовать друг с другом в соответствии с назначением. Хотя подсистема шины схематически показана в виде одной шины, в альтернативных вариантах реализации подсистемы шины можно использовать множество шин.

[00362] Компьютерная система сама по себе может относиться к различным типам, включая персональный компьютер, портативный компьютер, рабочую станцию, компьютерный терминал, сетевой компьютер, телевизор, центральную систему, группу серверов, широко рассредоточенный набор слабо связанных сетевых компьютеров или любую другую систему обработки данных или пользовательское устройство. Из-за постоянно меняющегося характера компьютеров и сетей пример компьютерной системы, описанный на ФИГ. 24, предназначен только в качестве конкретного примера в целях иллюстрации описанной технологии. Многие другие конфигурации компьютерной системы могут содержать большее или меньшее количество компонентов, чем компьютерная система, показанная на ФИГ. 24.

[00363] Процессоры глубокого обучения могут представлять собой GU или FPGA и размещаться на облачной платформе глубокого обучения, такой как Google Cloud Platform, Xilinx и Cirrascale. Примеры процессоров глубокого обучения включают Tensor Processing Unit (TPU) от Google, монтируемые на стойках решения, такие как GX4 Rackmount Series, GX8 Rackmount Series, NVIDIA DGX-1, Stratix V FPGA от Microsoft, Intelligent Processor Unit (IPU) от Graphcore, платформа Zeroth от Qualcomm с процессорами Snapdragon, NVIDIA Volta, NVIDIA DRIVE PX, NVIDIA JETSON TX1/TX2 MODULE, Intel Nirvana, Movidius VPU, Fujitsu DPI, ARM DynamicIQ, IBM TrueNorth и другие.

Claims (43)

1. Способ получения изображения улучшенного разрешения из целевых изображений, захваченных при структурированном освещении, включающий:

преобразование по меньшей мере трех целевых изображений, захваченных датчиком в пространственной области, из по меньшей мере трех фазовых смещений структурированного освещения вдоль одного угла, в область Фурье для получения по меньшей мере трех матриц частотной области, каждая из которых включает в себя первые блоки комплексных коэффициентов и избыточные вторые блоки комплексных коэффициентов, которые являются конъюгатами с первыми блоками;

использование расчетных параметров реконструкции, применение обратной матрицы смешивания к первым блокам для получения по меньшей мере трех полуматриц с разделением фаз в области Фурье, которые являются несмещенными полуматрицами и смещенными полуматрицами;

выполнение одного или более промежуточных превращений на полуматрицах с разделением фаз, включая:

смещение подпикселей путем преобразования смещенных полуматриц из области Фурье в пространственную область, применение вектора переноса к данным в пространственной области и преобразование переведенных данных из данных пространственной области обратно в область Фурье для получения повторно выровненных смещенных полуматриц, при этом применение вектора переноса компенсирует ограниченное пространственное разрешение датчика, захватывающего изображения, и

вычисление комплексных коэффициентов вторых блоков в области Фурье для получения полных матриц из полуматриц после промежуточных преобразований путем копирования комплексных коэффициентов из несмещенной полуматрицы и выровненных смещенных полуматриц как конъюгатов в соответствующие положения вторых блоков для получения смещенных и несмещенных полных матриц из полуматриц, в том числе с изменением знака мнимых частей копируемых комплексных коэффициентов;

выравнивание и суммирование перекрывающихся комплексных коэффициентов несмещенной полной матрицы и смещенных полных матриц для получения расширенной матрицы покрытия частот; и

обратное преобразование расширенной матрицы покрытия частот из области Фурье для получения изображения улучшенного разрешения в пространственной области.

2. Способ по п. 1, дополнительно включающий использование последовательности изображений улучшенного разрешения, полученных путем многократного применения действий по п. 1, для последовательности выборок, визуализируемых датчиком в течение нескольких циклов.

3. Способ по любому из пп. 1, 2, в котором положения комплексных коэффициентов во вторых блоках, когда они размещены в матрице со смещенным углом, повернуты на 180 градусов относительно положений комплексных коэффициентов в первых блоках.

4. Способ по любому из пп. 1-3, дополнительно включающий применение в ходе промежуточных операций одно- или двухэтапной фильтрации Винера для снижения шума.

5. Способ по п. 4, дополнительно включающий применение двухэтапной фильтрации Винера, включая:

применение независимой функции передачи модуляции к матрицам с разделением фаз для компенсации оптической передачи контраста, которая уменьшается с увеличением пространственной частоты, с помощью линзы объектива, переносящей цель под структурированным освещением на датчик; и затем последующее применение компонентов удаления шума из фильтрации Винера.

6. Способ по любому из пп. 1-3, дополнительно включающий применение фильтра аподизации во время промежуточных операций.

7. Способ по любому из пп. 1-6, в котором матрицы с разделением фаз в области Фурье включают четное число рядов и четное число столбцов, дополнительно включающий настройку равенства между смещенными матрицами столбца DC, комплексных коэффициентов DC и среднего столбца, других комплексных коэффициентов.

8. Способ по п. 7, дополнительно включающий усреднение по смещенным матрицам значений в столбце DC, комплексных коэффициентов DC и среднего столбца, других комплексных коэффициентов до установления равенства.

9. Способ по п. 7, дополнительно включающий копирование значений в столбце DC, комплексных коэффициентов DC и в средний столбец, других комплексных коэффициентов из одной из смещенных полуматриц в другую из смещенных полуматриц.

10. Способ по п. 7, дополнительно включающий вычисление средневзвешенного значения по смещенным полуматрицам значений в столбце DC, комплексных коэффициентов DC и в среднем столбце, других комплексных коэффициентов до установления равенства.

11. Способ по п. 7, в котором усреднение столбца предшествует смещению подпикселя.

12. Способ по любому из пп. 1-6, в котором по меньшей мере одна матрица с разделением фаз в области Фурье смещена к углу, комплексные коэффициенты DC отображаются в верхней строке и левом столбце матриц, а избыточные комплексные коэффициенты конъюгата отображаются во втором блоке, повернутом на 180 градусов относительно ориентации первого блока.

13. Способ по п. 12, в котором матрицы с разделением фаз в области Фурье включают в себя нечетное число строк и нечетное число столбцов без среднего столбца между первыми блоками и вторыми блоками.

14. Способ по любому из пп. 1-6 или 13, дополнительно включающий применение способа к наборам по меньшей мере трех изображений мишени, захваченных через линзу с помощью датчика в пространственной области, от смещения фаз вдоль двух углов структурированного освещения мишени, причем мишень включает нанолунки, расположенные на равном расстоянии друг от друга, а два угла структурированного освещения расположены вдоль диагоналей между противоположными углами четырехугольников среди нанолунок, расположенных на равном расстоянии друг от друга.

15. Способ по любому из пп. 1-13, дополнительно включающий применение способа к наборам по меньшей мере трех изображений мишени, захваченных через линзу с помощью датчика в пространственной области, от смещения фаз вдоль трех углов структурированного освещения мишени, причем мишень включает нанолунки, расположенные на равном расстоянии друг от друга, а три угла расположены вдоль диагоналей между противоположными углами шестиугольников среди нанолунок, расположенных на равном расстоянии друг от друга.

16. Способ получения изображения улучшенного разрешения из целевых изображений, захваченных при структурированном освещении, включающий:

преобразование по меньшей мере трех целевых изображений, захваченных датчиком в пространственной области, по меньшей мере из трех фазовых смещений структурированного освещения вдоль одного угла, в область Фурье для получения по меньшей мере трех матриц частотной области, каждая из которых включает в себя первые блоки комплексных коэффициентов и избыточные вторые блоки комплексных коэффициентов, которые являются конъюгатами с первыми блоками;

использование оцененных параметров восстановления, в которых применяют матрицу обратного смешивания к первым блокам для получения по меньшей мере трех полуматриц с разделением фаз в области Фурье, включая одну несмещенную и по меньшей мере две смещенные полуматрицы, полученные из первых блоков полуматриц с разделением фаз;

выполнение преобразования смещением подпикселей смещенных полуматриц, включая преобразование из области Фурье в пространственную область смещенных полуматриц, применение вектора переноса к данным в пространственной области и преобразование переведенных данных обратно в область Фурье для получения повторно выровненных смещенных полуматриц;

восстановление избыточных комплексных коэффициентов конъюгата из несмещенной полуматрицы и повторно выровненных смещенных полуматриц в виде конъюгатов путем копирования преобразованных комплексных коэффициентов в соответствующие положения второго блока для получения смещенных и несмещенных полных матриц из полуматриц, включая изменение знака мнимых частей скопированных преобразованных комплексных коэффициентов;

выравнивание и суммирование перекрывающихся комплексных коэффициентов несмещенной полной матрицы и смещенных полных матриц для получения расширенной матрицы покрытия частот; и

обратное преобразование расширенной матрицы покрытия частот в пространственную область для получения изображения улучшенного разрешения.

17. Способ по п. 16, дополнительно включающий использование последовательности изображений улучшенного разрешения, полученных путем многократного применения действий по п. 16, для последовательности выборок, визуализируемых датчиком в течение нескольких циклов.

18. Способ по любому из пп. 16, 17, в котором положения комплексных коэффициентов во вторых блоках, когда они размещены в матрице со смещенным углом, повернуты на 180 градусов относительно положений комплексных коэффициентов в первых блоках.

19. Способ по любому из пп. 16-18, дополнительно включающий применение до операций смещения подпикселей одно- или двухэтапной фильтрации Винера для снижения шума.

20. Способ по п. 19, дополнительно включающий применение двухэтапной фильтрации Винера, включая: применение независимой функции передачи модуляции к матрицам с разделением фаз для компенсации оптической передачи контраста, которая уменьшается с увеличением пространственной частоты, с помощью линзы объектива, переносящей цель под структурированным освещением на датчик; и затем последующее применение компонентов удаления шума из фильтрации Винера.

21. Способ по любому из пп. 16-18, дополнительно включающий применение перед операцией смещения подпикселей фильтрации аподизации.

22. Способ по любому из пп. 16-21, в котором матрицы с разделением фаз в области Фурье включают четное число рядов и четное число столбцов, дополнительно включающий настройку равенства между смещенными матрицами столбца DC, комплексных коэффициентов DC и среднего столбца, других комплексных коэффициентов.

23. Способ по п. 22, дополнительно включающий усреднение по смещенным матрицам значений в столбце DC, комплексных коэффициентов DC и среднего столбца, других комплексных коэффициентов до установления равенства.

24. Способ по п. 22, дополнительно включающий копирование значений в столбце DC, комплексных коэффициентов DC и в средний столбец, других комплексных коэффициентов из одной из смещенных полуматриц в другую из смещенных полуматриц.

25. Способ по п. 22, дополнительно включающий вычисление средневзвешенного значения по смещенным полуматрицам значений в столбце DC, комплексных коэффициентов DC и в среднем столбце, других комплексных коэффициентов до установления равенства.

26. Способ по любому из пп. 16-25, в котором по меньшей мере одна матрица с разделением фаз в области Фурье смещена к углу, комплексные коэффициенты DC отображаются в верхней строке и левом столбце матриц, а избыточные комплексные коэффициенты конъюгата отображаются во втором блоке, повернутом на 180 градусов относительно ориентации первого блока.

27. Способ по любому из пп. 16-21 или 26, в котором матрицы с разделением фаз в области Фурье включают в себя нечетное число строк и нечетное число столбцов без среднего столбца между первыми блоками и вторыми блоками.

28. Способ по любому из пп. 16-27, дополнительно включающий применение способа к наборам по меньшей мере трех изображений мишени, захваченных через линзу с помощью датчика в пространственной области, от смещения фаз вдоль двух углов структурированного освещения мишени, причем мишень включает нанолунки, расположенные на равном расстоянии друг от друга, а два угла расположены вдоль диагоналей между противоположными углами четырехугольников среди нанолунок, расположенных на равном расстоянии друг от друга.

29. Способ по любому из пп. 16-27, дополнительно включающий применение способа к наборам по меньшей мере трех изображений мишени, захваченных через линзу с помощью датчика в пространственной области, от смещения фаз вдоль трех углов структурированного освещения мишени, причем мишень включает нанолунки, расположенные на равном расстоянии друг от друга, а три угла расположены вдоль диагоналей между противоположными углами шестиугольников среди нанолунок, расположенных на равном расстоянии друг от друга.