RU2767711C1 - Method of determining state of readiness and quality of food - Google Patents
Method of determining state of readiness and quality of food Download PDFInfo
- Publication number
- RU2767711C1 RU2767711C1 RU2020135699A RU2020135699A RU2767711C1 RU 2767711 C1 RU2767711 C1 RU 2767711C1 RU 2020135699 A RU2020135699 A RU 2020135699A RU 2020135699 A RU2020135699 A RU 2020135699A RU 2767711 C1 RU2767711 C1 RU 2767711C1
- Authority
- RU
- Russia
- Prior art keywords
- food
- readiness
- state
- sensors
- camera
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/02—Food
Landscapes
- Engineering & Computer Science (AREA)
- Food Science & Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Medicinal Chemistry (AREA)
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY
Настоящее техническое решение относится к области контроля за состоянием процесса приготовления и качества продуктов питания, в частности к способам определения состояния готовности и качества продуктов питания.The present technical solution relates to the field of monitoring the state of the cooking process and the quality of food products, in particular, to methods for determining the state of readiness and quality of food products.
УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE INVENTION
Подходы к контролю за состоянием процесса приготовления пищи, с применением компьютерного зрения и методов анализа состава газовой среды, мало разработаны, однако, могут оказаться очень полезными для автоматизации процесса приготовления пищи.Approaches to monitoring the state of the cooking process, using computer vision and methods for analyzing the composition of the gaseous medium, have been little developed, however, they can be very useful for automating the cooking process.
Существует теория, что в зависимости от времени приготовления продукт питания, например, курица гриль, имеет разный профиль запаха и цвет. Совместное применение методов анализа газовой среды и методов компьютерного зрения может помочь в определении состояния готовности и качества продуктов питания.There is a theory that, depending on the cooking time, a food product, such as grilled chicken, has a different smell profile and color. The combined application of gas environment analysis methods and computer vision methods can help in determining the state of readiness and quality of food products.
Существуют различные подходы контроля за состоянием процесса приготовления пищи, использующие только методы анализа газовой среды или только методы компьютерного зрения.There are various approaches to monitoring the state of the cooking process, using only gaseous medium analysis methods or only computer vision methods.
Так, например, из уровня техники известен источник информации US 2020/0183925 A1, опубликованный 11.06.2020, раскрывающий устройство для определения запахов, в котором могут быть идентифицированы внешние данные, связанные с запахами - c находящимися в воздухе химическими веществами. Посредством работы устройства создается модель (объект, который может являться источником запаха). Определение запаха может быть получено на основе поиска и совпадений данных запаха с моделью.So, for example, the source of information US 2020/0183925 A1, published on 06/11/2020, is known from the prior art, disclosing an odor detection device in which external data associated with odors - with chemicals in the air - can be identified. Through the operation of the device, a model is created (an object that can be a source of odor). An odor definition can be obtained based on searching and matching the odor data with the model.
Из источника информации CN103592227 B, опубликованного 03.02.2016, известна система определения внешнего вида и соответствия требованиям продуктов питания. Заявленная система включает в себя сенсорный экран контроля цвета продуктов питания на универсальной панели управления печи, кнопку выбора режима приготовления, систему управления процессом приготовления, систему сбора видеоизображений в печи и систему обработки приготовленных продуктов питания. Система видеонаблюдения содержит камеру и светодиодную лампу, которая расположена прямо под камерой. Заявленное изобретение может контролировать в реальном времени внешний вид и цвет продуктов питания.From the information source CN103592227 B, published on 02/03/2016, a system for determining the appearance and compliance with food requirements is known. The claimed system includes a touch screen for food color control on the universal control panel of the oven, a cooking mode selection button, a cooking process control system, a video image acquisition system in the oven, and a cooked food processing system. The video surveillance system contains a camera and an LED lamp, which is located directly below the camera. The claimed invention can control the appearance and color of food products in real time.
Предлагаемое решение основано на объединении двух подходов, использования системы анализа газовой среды и анализа изображений, которые посредством обработки методами распознавания образов и/или машинного обучения, например, линейного дискриминантного анализа (ЛДА), определяют состояния готовности и качества продуктов питания.The proposed solution is based on the combination of two approaches, the use of a gas environment analysis system and image analysis, which, through processing by pattern recognition and / or machine learning methods, such as linear discriminant analysis (LDA), determine the states of readiness and quality of food products.
СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION
Технической проблемой, на решение которой направлено заявленное техническое решение, является создание способа определения состояния готовности и качества продуктов питания, который охарактеризован в независимом пункте формулы. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.The technical problem to be solved by the claimed technical solution is the creation of a method for determining the state of readiness and quality of food products, which is described in an independent claim. Additional embodiments of the present invention are presented in dependent claims.
Технический результат заключается в повышении точности определения состояния готовности и/или качества продуктов питания. Дополнительно технический результат заключается в реализации назначения.The technical result consists in increasing the accuracy of determining the state of readiness and/or quality of food products. Additionally, the technical result consists in the implementation of the destination.
Заявленный результат достигается за счет осуществления способа определения состояния готовности и качества продуктов питания, содержащий этапы, на которых:The claimed result is achieved through the implementation of a method for determining the state of readiness and quality of food, containing the steps in which:
получают профиль запаха продуктов питания посредством обработки сигнала, полученного от по меньшей мере трех датчиков;obtaining a food odor profile by processing a signal received from at least three sensors;
получают данные изображений с камеры, для отслеживания спектральных характеристик продуктов питания;receive image data from the camera, to track the spectral characteristics of food;
полученные данные с по меньшей мере трех датчиков и с камеры объединяются и обрабатываются с использованием алгоритмов распознавания образов и/или машинного обучения, для определения состояния готовности продуктов и/или порчи продуктов.the received data from at least three sensors and from the camera are combined and processed using pattern recognition and/or machine learning algorithms to determine the state of readiness of the products and/or spoilage of the products.
В частном варианте реализации предлагаемого способа, по меньшей мере три датчика представляют собой хеморезистивные датчики.In a particular embodiment of the proposed method, at least three sensors are chemoresistive sensors.
В другом частном варианте реализации предлагаемого способа, камера является мультиспектральной камерой.In another particular embodiment of the proposed method, the camera is a multispectral camera.
В другом частном варианте реализации предлагаемого способа, данные изображений представлены в ИК диапазоне.In another particular embodiment of the proposed method, the image data is in the IR range.
В другом частном варианте реализации предлагаемого способа, данные изображений представлены виде переменных цветовых моделей RGB и/или LAB.In another particular embodiment of the proposed method, the image data is represented as variable RGB and/or LAB color models.
В другом частном варианте реализации предлагаемого способа, состояние готовности/испорченности продуктов питания определяется согласно мониторингу выделяемых газов и изменения цвета продуктов питания во времени.In another particular embodiment of the proposed method, the state of readiness/spoilage of food products is determined according to the monitoring of emitted gases and color changes of food products over time.
В другом частном варианте реализации предлагаемого способа, дополнительно состояние готовности или испорченности продуктов питания может определяться согласно времени температурной обработки.In another particular embodiment of the proposed method, additionally, the state of readiness or spoilage of food products can be determined according to the time of heat treatment.
В другом частном варианте реализации предлагаемого способа, при обработке полученных данных, посредством методов распознавания образов и/или машинного обучения используют Линейный дискриминантный анализ (ЛДА).In another particular embodiment of the proposed method, when processing the received data, using the methods of pattern recognition and/or machine learning, Linear Discriminant Analysis (LDA) is used.
ОПИСАНИЕ ЧЕРТЕЖЕЙDESCRIPTION OF THE DRAWINGS
Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи.The implementation of the invention will be described hereinafter in accordance with the accompanying drawings, which are presented to explain the essence of the invention and in no way limit the scope of the invention. The following drawings are attached to the application.
Фиг. 1 иллюстрирует анализ состояния приготовления курицы-гриль посредством метода анализа газовой среды.Fig. 1 illustrates the analysis of the cooking state of grilled chicken by the gaseous analysis method.
Фиг. 2 иллюстрирует анализ состояния приготовления курицы-гриль посредством метода компьютерного зрения.Fig. 2 illustrates the analysis of the cooking state of the grilled chicken by the computer vision method.
Фиг. 3 иллюстрирует график распознавания степени прожарки курицы-гриль посредством предлагаемого способа.Fig. 3 illustrates a grilled chicken doneness recognition graph by the proposed method.
Фиг. 4 иллюстрирует общую схему работы вычислительного устройства.Fig. 4 illustrates the general scheme of operation of the computing device.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF THE INVENTION
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.In the following detailed description of the implementation of the invention, numerous implementation details are provided to provide a clear understanding of the present invention. However, one skilled in the art will appreciate how the present invention can be used, both with and without these implementation details. In other instances, well-known methods, procedures, and components have not been described in detail so as not to unnecessarily obscure the features of the present invention.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.Furthermore, it will be clear from the foregoing that the invention is not limited to the present implementation. Numerous possible modifications, changes, variations and substitutions that retain the spirit and form of the present invention will be apparent to those skilled in the subject area.
Предлагаемый способ определения состояния готовности и качества продуктов питания выполняются на вычислительном устройстве.The proposed method for determining the state of readiness and quality of food products is performed on a computing device.
В предлагаемом способе используются следующие устройства: по меньшей мере три хеморезистивных датчика, которые в совокупности представляют газоаналитическую систему, камера и вычислительное устройство.The proposed method uses the following devices: at least three chemoresistive sensors, which together represent a gas analytical system, a camera and a computing device.
Газоаналитическая система представляет собой совокупность хеморезистивных датчиков, которые установлены в металлическом корпусе для обеспечения постоянного потока воздуха, поддерживаемого вентилятором. Питание системы анализа состава газовой среды осуществлялось через USB-интерфейс или другой интерфейс, известный из уровня техники, подключенный к вычислительному устройству, который используется для сбора данных с датчиков.The gas analysis system is a collection of chemoresistive sensors that are installed in a metal case to provide a constant air flow supported by a fan. The system for analyzing the composition of the gaseous medium was powered through a USB interface or another interface known from the prior art, connected to a computing device that is used to collect data from sensors.
Хеморезистивные датчики как правило, работают при относительно высоких температурах (250-450°C), имеют температурную зависимость чувствительности с ярко выраженным максимумом, крайне низкую селективность и приемлемую стабильность.Chemoresistive sensors, as a rule, operate at relatively high temperatures (250-450°C), have a temperature dependence of sensitivity with a pronounced maximum, extremely low selectivity and acceptable stability.
Хеморезистивные датчики, могут быть представлены, по меньшей мере, но не ограничиваясь, следующими датчиками: датчик широкого спектра газов (MQ-2), датчик паров спирта (MQ-3), датчик природного газа (метан, природный газ) (MQ-4), датчик горючих газов (MQ-5), датчик угарного газа (MQ-7), датчик водорода (MQ-8), датчик горючих и угарного газов (MQ-9), датчик углекислого газа (MQ-135), а также датчик температуры и датчик влажности.Chemoresistive sensors can be represented by at least, but not limited to, the following sensors: wide spectrum gas sensor (MQ-2), alcohol vapor sensor (MQ-3), natural gas sensor (methane, natural gas) (MQ-4 ), combustible gas sensor (MQ-5), carbon monoxide sensor (MQ-7), hydrogen sensor (MQ-8), combustible and carbon monoxide sensor (MQ-9), carbon dioxide sensor (MQ-135), and temperature sensor and humidity sensor.
Специалисту в данной области техники должно быть известно, что использование других датчиков также возможно в рамках реализации предлагаемого решения.A person skilled in the art should be aware that the use of other sensors is also possible within the implementation of the proposed solution.
С каждого датчика получают сигналы, а именно изменение сопротивления датчика во времени. Совокупность данных сигналов представляет собой профиль запаха, и далее нормируется и обрабатывается методом ЛДА или другими методами, известными из уровня техники, с введением классов в зависимости от степени готовности/испорченности продуктов питания.Signals are received from each sensor, namely, the change in the resistance of the sensor over time. The set of these signals is an odor profile, and is further normalized and processed by the LDA method or other methods known from the prior art, with the introduction of classes depending on the degree of readiness/spoilage of food products.
В материалах настоящей заявки, под классами понимается время от начала процесса приготовления продукта питания.In the materials of this application, classes are understood as the time from the start of the food preparation process.
Передают на вычислительное устройство данные изображений с камеры, для отслеживания изменения цвета внешнего вида продуктов питания во времени. Данные изображений представлены в виде переменных цветовых моделей RGB (R - красный, G - зеленый, B - синий) и/или LAB (L - освещенность, A - положение цвета от зеленого до красного, B - положение цвета от синего до желтого). Например, на цвет курицы-гриль влияют химический состав, содержание воды, температура гриля и время приготовления. В предлагаемом способе также может быть использована мультиспектральная камера. С мультиспектральных камер могут получать данные изображений по меньшей мере 2-х различных длинах волн в течение заранее заданного времени, а также данные в ИК - диапазоне.Transmitting to the computing device image data from the camera to track the change in color of the appearance of food products over time. Image data is represented as variable color models RGB (R - red, G - green, B - blue) and/or LAB (L - luminance, A - color position from green to red, B - color position from blue to yellow). For example, the color of grilled chicken is affected by the chemical composition, water content, grill temperature, and cooking time. In the proposed method, a multispectral camera can also be used. Multispectral cameras can receive image data of at least 2 different wavelengths for a predetermined time, as well as data in the IR range.
Например, состояние испорченности мяса, можно определить с помощью анализа изображений, полученных мультиспектральной камерой в 8ми различных длинах волн от 500 до 830 нм. (559, 595, 632, 672, 714, 751, 790 и 828 нм). Полученные изображения передаются на компьютер через USB- интерфейс или другой интерфейс, известный из уровня техники.For example, the spoilage state of meat can be determined by analyzing images taken with a multispectral camera at 8 different wavelengths from 500 to 830 nm. (559, 595, 632, 672, 714, 751, 790 and 828 nm). The resulting images are transferred to a computer via a USB interface or other interface known in the art.
Общие характеристики спектра мультиспектральных камер показывают изменения отражения в области длин волн, соответствующих конкретному цвету. Это уменьшение отражательной способности может свидетельствовать о происходящих с продуктом изменениях (степень готовности, испорченность).The general characteristics of the spectrum of multispectral cameras show changes in reflection in the region of wavelengths corresponding to a particular color. This decrease in reflectivity may indicate changes occurring with the product (degree of readiness, spoilage).
Полученные данные изображения с камер объединяются с профилем запаха, посредством объединения, любым известным из уровня техники способом, временных рядов изменения сопротивления каждого датчика с временными рядами изменения данных RGB или Lab, или данных изображений в разных диапазонах длин волн в один массив данных. Объединение происходит посредством добавления к колонкам с изменением сопротивления во времени для каждого датчика колонок с изменением во времени каждой характеристики (L, a, b, R, G, B). Данный этап может осуществляться в режиме реального времени.The obtained image data from the cameras are combined with the odor profile by combining, in any way known in the art, the resistance change time series of each sensor with the RGB or Lab data time series, or image data in different wavelengths into one dataset. Combining occurs by adding to the columns with a change in resistance over time for each sensor of the columns with a change in time each characteristic (L, a, b, R, G, B). This step can be carried out in real time.
В материалах заявки описано низкоуровневое объединение данных, когда данные объединяются из нескольких источников необработанных данных для создания новых необработанных данных. Стоит отметить, что предлагаемый способ также может осуществлять высокоуровневое объединение данных, когда объединяются уже обработанные (классифицированные/распознанные) данные изображений с камер и данные с датчиков.The application materials describe low-level data aggregation, where data is combined from multiple raw data sources to create new raw data. It is worth noting that the proposed method can also perform high-level data fusion, when already processed (classified/recognized) image data from cameras and data from sensors are combined.
Объединенные данные изображения с камер и профиль запаха обрабатываются посредством алгоритмов распознавания образов / машинного обучения, для определения состояния готовности и/или испорченности продуктов питания. Для определения состояния готовности и/или испорченности продуктов питания использовался метод ЛДА, данный метод позволяет классифицировать характерные паттерны за счет уменьшения размерности пространства многомерного пространства данных в пространстве образов (например, N-датчиков и до 7-и сигналов с камеры, RGB&L*a*b*R) в таком виде, чтобы получить максимальное соотношение между разбросом точек внутри между классами и внутри классов. При объединении данных изображений с камеры и данных, полученных от по меньшей мере трех датчиков наблюдается более точная классификация состояния готовности и/или испорченности продуктов питания с использованием метод ЛДА. Стоит отметить, что также могут быть использованы и другие методы, известные из уровня техники, для определения состояния готовности и/или испорченности продуктов питания. Данный этап может осуществляться в режиме реального времени.The combined image data from the cameras and the odor profile are processed through pattern recognition/machine learning algorithms to determine whether the food is done and/or spoiled. To determine the state of readiness and / or spoilage of food, the LDA method was used, this method allows you to classify characteristic patterns by reducing the dimension of the space of the multidimensional data space in the space of images (for example, N-sensors and up to 7 signals from the camera, RGB&L*a* b*R) in such a way as to obtain the maximum ratio between the spread of points inside between classes and within classes. By combining the image data from the camera and the data obtained from at least three sensors, a more accurate classification of the state of readiness and/or spoilage of food using the LDA method is observed. It is worth noting that other methods known in the art can also be used to determine the state of readiness and/or spoilage of foodstuffs. This step can be carried out in real time.
При определении состояния готовности продукта использовались рекомендации Министерства сельского хозяйства США (USDA) по которым выбиралось время температурной обработки продуктов питания и согласно которым «обучали» алгоритм. Определение испорченности продукта, т.е. отнесения данных к классу испорченному, определялись, связано с изменением в цвете и запахе продукта питания, так при процессах, связанных с порчей продукта (гниением), выделяется значительное количество газов, например, такие как аммиак, углекислый газ и т.д. Мониторинг сигналов датчиков ведется по отношению ко всей смеси газов, исходящей из продуктов питания, во времени.When determining the state of readiness of the product, the recommendations of the United States Department of Agriculture (USDA) were used, according to which the time of thermal processing of food products was chosen and according to which the algorithm was “trained”. Determining the spoilage of the product, i.e. classification of data as spoiled, was determined, is associated with a change in the color and smell of the food product, so during the processes associated with spoilage of the product (rotting), a significant amount of gases is released, for example, such as ammonia, carbon dioxide, etc. Monitoring of sensor signals is carried out in relation to the entire mixture of gases emanating from food products over time.
Так, например, для приготовления курицы-гриль USDA рекомендует готовить 10-15 минут с каждой стороны. Было сделано предположение и установлены следующие предполагаемые классы для приготовления курицы-гриль: 10 минут - это еще недожаренная курица, 20 - 30 минут - хорошо приготовленная курица, 40 минут - пережаренная курица.For example, for grilled chicken, the USDA recommends cooking 10-15 minutes per side. An assumption has been made and the following suggested cooking classes for grilled chicken have been established: 10 minutes is still undercooked chicken, 20-30 minutes is well-cooked chicken, 40 minutes is overcooked chicken.
При анализе предполагаемые классы по времени разделялись при выбранном времени в пространстве первых двух LDA компонент. Так происходило обучение датчика. Далее, в ходе тестов, устройство относило данные к какому-либо выбранному классу. Степень готовности и испорченности продукта питания определяется на основе отнесения полученного массива данных для продукта с тем массивом, на который была «обучена» система. Обучение датчика может происходить в режиме реального времени.During the analysis, the estimated classes in time were separated at the chosen time in the space of the first two LDA components. This is how the sensor was trained. Further, during the tests, the device attributed the data to any selected class. The degree of readiness and spoilage of a food product is determined based on the assignment of the received data array for the product with the array for which the system was “trained”. Sensor training can take place in real time.
Далее будет представлен пример анализа состояния приготовления курицы-гриль посредством метода анализа газовой среды, метода компьютерного зрения, и посредством совмещения метода анализа газовой среды и метода компьютерного зрения.Next, an example of analyzing the cooking state of grilled chicken by the gas environment analysis method, the computer vision method, and by combining the gas environment analysis method and the computer vision method will be presented.
Фиг. 1 иллюстрирует пример анализ состояния приготовления курицы-гриль посредством метода анализа газовой среды.Fig. 1 illustrates an example of the analysis of the cooking state of grilled chicken by the gas environment analysis method.
Были получены данные с восьми датчиков датчик широкого спектра газов (MQ-2 (smoke)), датчик паров спирта (MQ-3 (alcohol)), датчик природного газа (метан, природный газ) (MQ-4 (CH4)), датчик горючих газов (MQ-5 (LPG)), датчик угарного газа (MQ-7 (CO)), датчик водорода (MQ-8 (H2)), датчик горючих и угарного газов (MQ-9 (CO-II (включающий CO, CH4, LPG)), датчик углекислого газа (MQ-135 (NH3, CO2, NOx)), а также датчик температуры (temperature) и датчик влажности (humidity).Data were received from eight sensors: a wide range gas sensor (MQ-2 (smoke)), an alcohol vapor sensor (MQ-3 (alcohol)), a natural gas sensor (methane, natural gas) (MQ-4 (CH 4 )), combustible gas detector (MQ-5 (LPG)), carbon monoxide detector (MQ-7 (CO)), hydrogen detector (MQ-8 (H 2 )), combustible carbon monoxide detector (MQ-9 (CO-II ( including CO, CH 4 , LPG)), a carbon dioxide sensor (MQ-135 (NH 3 , CO 2 , NOx)), as well as a temperature sensor (temperature) and a humidity sensor (humidity).
a. Представлены типичные транзиенты сопротивления датчиков во время приготовления курицы-гриль, представленные в виде нормализованного сопротивления. Цвета, обозначающие разницу во времени приготовления с зеленой зоной, показывают сенсорный отклик при времени до 10 мин, синий и красный цвета представляют 20-30 мин, а желтая зона соответствует 40 мин времени приготовления.a. Typical resistance transients of sensors during grilled chicken cooking are shown, represented as normalized resistance. Colors indicating cooking time differences with green zone showing sensory response up to 10 minutes, blue and red representing 20-30 minutes, and yellow zone representing 40 minutes cooking time.
b. Отображены сигналы с датчиков анализа газовой среды, обработанные ЛДА и проецируемые в систему координат первых двух компонентов ЛДА.b. The signals from the sensors for analyzing the gaseous medium, processed by LDA and projected into the coordinate system of the first two components of the LDA, are displayed.
с. Проиллюстрирован вклад датчиков в массиве в селективное распознавание смеси газов, распределенный по времени приготовления курицы-гриль.from. The contribution of sensors in the array to the selective recognition of a mixture of gases, distributed over the cooking time of the grilled chicken, is illustrated.
d. Отображена чувствительность каждого датчика при различных периодах приготовления курицы-гриль, представленная как ΔR/R0, где ΔR - это сопротивление датчика при воздействии летучих соединений в смеси с воздухом, а R0 - это сопротивление в воздухе (в отсутствие летучих веществ).d. The sensitivity of each sensor at various grilled chicken cooking times is shown, represented as ΔR/R0, where ΔR is the resistance of the sensor when exposed to volatile compounds mixed with air, and R0 is the resistance in air (in the absence of volatiles).
e. Обзор используемых датчиков.e. An overview of the sensors used.
Фиг. 2 иллюстрирует пример анализа состояния приготовления курицы-гриль посредством метода компьютерного зрения, на котором отражены данные изображений с камер, обработанные ЛДА и проецируемые в систему координат первых двух компонентов ЛДА. Фиг. 3 иллюстрирует пример работы предлагаемого способа при распознавании степени прожарки курицы-гриль.Fig. 2 illustrates an example of analysis of the cooking state of a grilled chicken by a computer vision method, which reflects camera image data processed by LDA and projected into the coordinate system of the first two LDA components. Fig. 3 illustrates an example of the operation of the proposed method when recognizing the degree of doneness of grilled chicken.
Были получены данные с пяти датчиков, которые дают наибольший вклад в селективное определение степени готовности (датчик паров спирта (MQ-3), датчик горючих газов (MQ-5), датчик угарного газа (MQ-7), датчик водорода (MQ-8), датчик углекислого газа (MQ-135)) и данные изображений цветовой модели RGB в разное время приготовления. Полученные данные были объединены и направлены на обработку алгоритмом ЛДА.Data were obtained from five sensors that contribute most to the selective determination of the degree of readiness (alcohol vapor sensor (MQ-3), combustible gas sensor (MQ-5), carbon monoxide sensor (MQ-7), hydrogen sensor (MQ-8 ), carbon dioxide sensor (MQ-135)) and RGB color model image data at different cooking times. The obtained data were combined and sent for processing by the LDA algorithm.
На Фиг. 3 показано, что все стадии приготовления разделены на различные кластеры: хорошо приготовлена, недожарена и пережарена. Каждому кластеру соответствует время приготовления. Время приготовления от 10 до 40 минут.On FIG. 3 shows that all stages of cooking are divided into different clusters: well cooked, undercooked and overcooked. Each cluster has a corresponding cooking time. Cooking time from 10 to 40 minutes.
Стоит отметить, что объединение метода анализа газовой среды и метода компьютерного зрения повышает точность определения состояния готовности и/или качества продуктов питания. Так комбинация системы анализа состава газовой среды и компьютерного зрения обеспечивает большую избирательность, проявляющуюся в увеличенном расстоянии Махаланобиса между кластерами на графике ЛДА.It should be noted that the combination of the method of analysis of the gaseous environment and the method of computer vision increases the accuracy of determining the state of readiness and / or quality of food products. Thus, the combination of the system for analyzing the composition of the gaseous medium and computer vision provides greater selectivity, which manifests itself in an increased Mahalanobis distance between clusters on the LDA plot.
Фиг. 4 иллюстрирует общую схему вычислительного устройства (400), обеспечивающего обработку данных, необходимую для реализации заявленного решения.Fig. 4 illustrates the general scheme of the computing device (400) providing the data processing necessary to implement the claimed solution.
В общем случае устройство (400) содержит такие компоненты, как: один или более процессоров (401), по меньшей мере одну память (402), средство хранения данных (403), интерфейсы ввода/вывода (404), средство В/В (405), средства сетевого взаимодействия (406).In general, the device (400) contains such components as: one or more processors (401), at least one memory (402), data storage medium (403), input/output interfaces (404), I/O means ( 405), networking tools (406).
Процессор (401) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (400) или функциональности одного или более его компонентов. Процессор (401) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (402).The processor (401) of the device performs the basic computing operations necessary for the operation of the device (400) or the functionality of one or more of its components. The processor (401) executes the necessary machine-readable instructions contained in the main memory (402).
Память (402), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.The memory (402) is typically in the form of RAM and contains the necessary software logic to provide the desired functionality.
Средство хранения данных (403) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (403) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.The data storage means (403) can be in the form of HDD, SSD disks, raid array, network storage, flash memory, optical information storage devices (CD, DVD, MD, Blue-Ray disks), etc. The means (403) allows long-term storage of various types of information, for example, the above-mentioned files with user data sets, a database containing records of time intervals measured for each user, user identifiers, etc.
Интерфейсы (404) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.Interfaces (404) are standard means for connecting and working with the server part, for example, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire, etc.
Выбор интерфейсов (404) зависит от конкретного исполнения устройства (400), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.The choice of interfaces (404) depends on the specific implementation of the device (400), which can be a personal computer, mainframe, server cluster, thin client, smartphone, laptop, and the like.
В качестве средств В/В данных (405) в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.As means of I/O data (405) in any embodiment of the system that implements the described method, the keyboard must be used. The keyboard hardware can be any known: it can be either a built-in keyboard used on a laptop or netbook, or a separate device connected to a desktop computer, server, or other computer device. In this case, the connection can be either wired, in which the keyboard connection cable is connected to the PS / 2 or USB port located on the system unit of the desktop computer, or wireless, in which the keyboard exchanges data via a wireless communication channel, for example, a radio channel, with base station, which, in turn, is directly connected to the system unit, for example, to one of the USB ports. In addition to the keyboard, the following I/O devices can also be used: joystick, display (touchscreen), projector, touchpad, mouse, trackball, light pen, speakers, microphone, etc.
Средства сетевого взаимодействия (406) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (405) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.Network communication means (406) is selected from a device that provides network data reception and transmission, for example, an Ethernet card, WLAN/Wi-Fi module, Bluetooth module, BLE module, NFC module, IrDa, RFID module, GSM modem, etc. With the help of means (405) the organization of data exchange over a wired or wireless data transmission channel, for example, WAN, PAN, LAN (LAN), Intranet, Internet, WLAN, WMAN or GSM, is provided.
Компоненты устройства (400) сопряжены посредством общей шины передачи данных (410).The components of the device (400) are coupled via a common data bus (410).
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.In these application materials, a preferred disclosure of the implementation of the claimed technical solution was presented, which should not be used as limiting other, private embodiments of its implementation, which do not go beyond the scope of the requested legal protection and are obvious to specialists in the relevant field of technology.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020135699A RU2767711C1 (en) | 2020-10-29 | 2020-10-29 | Method of determining state of readiness and quality of food |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020135699A RU2767711C1 (en) | 2020-10-29 | 2020-10-29 | Method of determining state of readiness and quality of food |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2767711C1 true RU2767711C1 (en) | 2022-03-18 |
Family
ID=80737350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020135699A RU2767711C1 (en) | 2020-10-29 | 2020-10-29 | Method of determining state of readiness and quality of food |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2767711C1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180053140A1 (en) * | 2016-08-18 | 2018-02-22 | Intel Corporation | Food storage method and apparatus with sensors |
| US10373472B2 (en) * | 2016-03-14 | 2019-08-06 | Amazon Technologies, Inc. | Scent-based spoilage sensing refrigerator |
| RU2699690C2 (en) * | 2014-02-20 | 2019-09-09 | Марк ОЛЕЙНИК | Methods and systems for cooking in robotic kitchen |
| WO2020060090A1 (en) * | 2018-09-21 | 2020-03-26 | Samsung Electronics Co., Ltd. | Method and system for providing information related to state of object in refrigerator |
-
2020
- 2020-10-29 RU RU2020135699A patent/RU2767711C1/en active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2699690C2 (en) * | 2014-02-20 | 2019-09-09 | Марк ОЛЕЙНИК | Methods and systems for cooking in robotic kitchen |
| US10373472B2 (en) * | 2016-03-14 | 2019-08-06 | Amazon Technologies, Inc. | Scent-based spoilage sensing refrigerator |
| US20180053140A1 (en) * | 2016-08-18 | 2018-02-22 | Intel Corporation | Food storage method and apparatus with sensors |
| WO2020060090A1 (en) * | 2018-09-21 | 2020-03-26 | Samsung Electronics Co., Ltd. | Method and system for providing information related to state of object in refrigerator |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dutkiewicz et al. | Ocean colour signature of climate change | |
| Andersen et al. | Variable selection in regression—a tutorial | |
| CN107873101B (en) | Imaging system for object recognition and evaluation | |
| CN101296302B (en) | Information processing apparatus and method | |
| WO2018200685A4 (en) | Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations | |
| US10539520B2 (en) | Sample-analyzing system | |
| CN105849516B (en) | Use the normalized coating surface texture analysis of pivot | |
| US20190073763A1 (en) | System and method for urine analysis and personal health monitoring | |
| EP3775810B1 (en) | Calibrated brightness estimation using ambient color sensors | |
| CN104568824B (en) | Shrimps grade of freshness detection method and device based on Vis/NIR | |
| Hao et al. | Investigation of the data fusion of spectral and textural data from hyperspectral imaging for the near geographical origin discrimination of wolfberries using 2D-CNN algorithms | |
| Diakite-Kortlever et al. | Forecast accuracy of existing luminance-related spectral sky models and their practical implications for the assessment of the non-image-forming effectiveness of daylight | |
| Jakubiec | Data-driven selection of typical opaque material reflectances for lighting simulation | |
| RU2767711C1 (en) | Method of determining state of readiness and quality of food | |
| Trentanni Hansen et al. | NIR-based Sudan I to IV and Para-Red food adulterants screening | |
| Riefolo et al. | Investigation of soil surface organic and inorganic carbon contents in a low-intensity farming system using laboratory visible and near-infrared spectroscopy | |
| US11232596B2 (en) | Search quality improvement using color synonyms | |
| Annas et al. | Principal component analysis and self-organizing map for visualizing and classifying fire risks in forest regions | |
| Griffin | Reconciling the statistics of spectral reflectance and colour | |
| Bodrogi et al. | Correlations among lighting quality metrics for interior lighting | |
| CN110967285A (en) | Smoke concentration quantization standard experimental box based on image recognition | |
| US11974732B2 (en) | System and method for urine analysis and personal health monitoring | |
| Gassmann et al. | Comparison of luminous intensity distributions | |
| Prades et al. | Evaluation of parameters that determine cork plank quality (Quercus suber L.) by near infrared spectroscopy | |
| Liu et al. | Feasibility of nondestructive detection of apple crispness based on spectroscopy and machine vision |