RU2794161C2 - Program and system of information processing - Google Patents

Abstract

FIELD: medicine.

SUBSTANCE: invention relates to medical information processing systems. The proposed system causes the computer to function as a measurement means for estimating the meaning of a user's facial expression contained in a captured image, a display means for displaying the captured image and a value of a facial expression estimated by the measurement means, an instruction means for instructing the user to capture an image of the user's face with the imaging device by assigning a value of a facial expression to be estimated by the measuring means, extracting means for analysing the face image of the user captured by the imaging device and extracting the locations of a plurality of feature points on the face image, computing means for calculating a value indicative of stress using the locations of the set characteristic points extracted by the extraction means, and an output means for outputting a value indicative of the stress calculated by the computing means, wherein the calculation means calculates, as a value serving as an indicator of stress, a value representing the skewness of the face according to the plurality of characteristic points obtained from the face image when the user makes a facial expression with the assigned facial expression value.

EFFECT: group of inventions improves the quality and efficiency of medical information processing.

22 cl, 24 dwg

Description

ОБЛАСТЬ ТЕХНИКИFIELD OF TECHNOLOGY

[0001] Настоящее изобретение относится к программе и системе обработки информации.[0001] The present invention relates to an information processing program and system.

УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE INVENTION

[0002] Психологический стресс или нервно-психическое напряжение без сомнения в некоторой степени влияет на здоровье человека в современном мире. Увеличение стресса может вызвать сильные эмоциональные взлеты и падения и даже физические расстройства, такие как усталость, потеря аппетита, лихорадка или бессонница, сопровождаемые, в этом случае, заболеваниями, ухудшающими качество жизни, такими как ожирение и диабет. Если такое эмоциональное состояние не лечить, может развиться психическое расстройство, как правило представленное депрессией. Соответственно, в последние годы все более пропагандируется важность психиатрической помощи, и не только каждый индивид должен управлять своим стрессом, но также и различные организации должны понимать и должным образом управлять уровнем стресса у соответствующих сотрудников.[0002] Psychological stress or neuropsychiatric tension undoubtedly affects human health to some extent in the modern world. An increase in stress can cause intense emotional ups and downs and even physical disturbances such as fatigue, loss of appetite, fever or insomnia, accompanied, in this case, by conditions that impair quality of life such as obesity and diabetes. If this emotional state is left untreated, a psychiatric disorder, usually represented by depression, may develop. Accordingly, in recent years, the importance of mental health care has been increasingly promoted, and not only does each individual need to manage their own stress, but also different organizations need to understand and properly manage the stress levels of their respective employees.

[0003] Например, в патентном документе 1 в качестве средства оценки уровня стресса у человека описано измерительное устройство, которое анализирует комбинацию вызванных стрессом переменных в информации о частоте сердечных сокращений и дыхании. Кроме того, также предложены способы оценки состояния стресса (депрессии) с использованием состояния экспрессии генов, связанных со стрессом, и/или изменения концентрации конкретной аминокислоты в крови (патентные документы 2 и 3).[0003] For example, Patent Document 1 describes a measurement device that analyzes a combination of stress-induced variables in heart rate and respiration information as a means of estimating a person's stress level. In addition, methods for assessing the state of stress (depression) using the state of expression of genes associated with stress and/or changes in the concentration of a particular amino acid in the blood are also proposed (patent documents 2 and 3).

[0004] При чрезмерном стрессе увеличивается величина секреции кортизола, который является гормоном, секретируемым из коры надпочечников, и который также называется гормоном стресса. Предпринимаются попытки измерить уровень стресса на основании концентрации кортизола в биологических жидкостях организма, таких как кровь, моча и слюна, и сообщается, что концентрация кортизола, особенно в слюне, более точно отражает уровень стресса (непатентные документы 1 и 2). Кроме того, также предложено устройство, способное снизить нагрузку на пациента при отборе пробы для измерения концентрации кортизола в биологической жидкости организма (патентный документ 4).[0004] When excessive stress increases the amount of secretion of cortisol, which is a hormone secreted from the adrenal cortex, and which is also called stress hormone. Attempts are being made to measure the level of stress based on the concentration of cortisol in body fluids such as blood, urine and saliva, and it is reported that the concentration of cortisol, especially in saliva, more accurately reflects the level of stress (Non-Patent Documents 1 and 2). In addition, a device capable of reducing the burden on a patient when taking a sample to measure the concentration of cortisol in a body fluid has also been proposed (Patent Document 4).

[0005] Однако традиционные методы, описанные выше, не являются широко распространенными для повседневного управления стрессом, потому что необходимо приобрести конкретное устройство для измерения стресса, а для получения пробы для фактического измерения неизбежна инвазивная процедура, например, включающая забор крови.[0005] However, the traditional methods described above are not widely used for everyday stress management because a specific stress measurement device must be purchased and an invasive procedure, such as blood sampling, is unavoidable to obtain a sample for actual measurement.

[0006] Распространено мнение, что выражение лица меняется или появляется гримаса при большом количестве стрессов. По общему признанию, когда сохраняется состояние высокого напряжения из-за стресса, мышцы, отвечающие за выражения лица (мимические мышцы), становятся напряженными, что может привести к такому явлению, как застывшее (напряженное) выражение лица. Однако до сих пор не существует никакого технологического примера, количественно связывающего изменение лица (выражения и т.п.) и стресс друг с другом.[0006] It is widely believed that facial expression changes or grimace appears with a lot of stress. Admittedly, when a state of high tension due to stress persists, the muscles responsible for facial expressions (facial muscles) become tense, which can lead to the phenomenon of a frozen (tense) facial expression. However, there is still no technological example that quantitatively relates facial change (expressions, etc.) and stress to each other.

Документы предшествующего уровня техникиPrior Art Documents

Патентная литератураPatent Literature

[0007][0007]

PTL 1: выложенная заявка на патент Японии №2010-234000PTL 1: Japanese Patent Application Laid-Open No. 2010-234000

PTL 2: выложенная заявка на патент Японии №2013-110969PTL 2: Japanese Patent Application Laid-Open No. 2013-110969

PTL 3: заявка на патент Японии №5856364PTL 3: Japanese Patent Application No. 5856364

PTL 4: выложенная заявка на патент Японии №2012-251857PTL 4: Japanese Patent Application Laid-Open No. 2012-251857

Непатентная литератураNon-Patent Literature

[0008][0008]

NPL 1: Ross F. Vining и др., Ann. Clin. Biochem, Vol. 20, PP. 329-335 (1983)NPL 1: Ross F. Vining et al., Ann. Clin. Biochem, Vol. 20, P.P. 329-335 (1983)

NPL 2: J. Gonzalez-Cabrera и др., STRESS: The International Journal on the Biology of Stress, Vol. 17, Issue 2, pp. 149-156 (2014)NPL 2: J. Gonzalez-Cabrera et al., STRESS: The International Journal on the Biology of Stress, Vol. 17, Issue 2, pp. 149-156 (2014)

СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

Техническая проблемаTechnical problem

[0009] В свете предшествующего уровня техники, описанного выше, целью настоящего изобретения является обеспечение программы, способной оценивать уровень стресса у пациента простым и неинвазивным образом.[0009] In light of the prior art described above, it is an object of the present invention to provide a program capable of assessing a patient's stress level in a simple and non-invasive manner.

Решение проблемыSolution

[0010] В ходе проверки влияния стресса на разум и тело человека авторы настоящего изобретения сфокусировались на корреляции между изменениями лица (выражения лица и т.п.) пациента и его стрессом и выполнили интенсивные исследования. В результате было найдено, что стресс у пациента влияет на перекошенность правой стороны лица относительно левой стороны лица и действия (движения) для позиционирования прямо в направлении устройства формирования изображения и т.п. В результате авторы изобретения впервые обнаружили, что может быть получен показатель, позволяющий количественно оценивать уровень стресса наряду с хорошо воспроизводимыми результатами, путем применения параметров, полученных посредством обработки изображения лица пациента, полученного при постоянном условии, в результате чего было получено настоящее изобретение.[0010] In testing the effect of stress on the human mind and body, the inventors of the present invention focused on the correlation between facial changes (facial expressions, etc.) of a patient and their stress, and performed intensive studies. As a result, it has been found that stress in a patient affects the skewness of the right side of the face relative to the left side of the face and actions (movements) for positioning straight towards the imaging device and the like. As a result, the inventors discovered for the first time that an index capable of quantifying the level of stress along with highly reproducible results can be obtained by applying the parameters obtained by processing the image of a patient's face obtained under a constant condition, whereby the present invention was obtained.

[0011] А именно, настоящее изобретение обеспечивает программу, предписывающую компьютеру функционировать как средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении, средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения, средство инструктирования для предоставления пользователю инструкции захватить изображение лица пользователя с помощью устройства получения изображения путем назначения значения выражения лица, которое должно быть оценено средством измерения, средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений множества характерных точек на изображении лица, вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений множества характерных точек, извлеченных средством извлечения, и средство вывода для вывода значения, служащего показателем стресса, вычисленного средством вычисления, при этом средство вычисления вычисляет в качестве значения, служащего показателем стресса, значение, представляющее собой перекошенность лица, по множеству характерных точек, полученных из изображения лица, когда пользователь делает выражение лица с назначенным значением выражения лица.[0011] Namely, the present invention provides a program for causing a computer to function as a measurement means for estimating a facial expression value of a user contained in a captured image, a display means for displaying a captured image and a facial expression value estimated by the measuring means, an instruction means for providing instructions to a user capturing an image of the user's face by the imaging device by assigning a value of the facial expression to be estimated by the measurement means, extracting means for analyzing the face image of the user captured by the imaging device and extracting the locations of a plurality of feature points in the face image, computing means for calculating the value , serving as a stress indicator, using the locations of the plurality of feature points extracted by the extractor, and an output means for outputting a value serving as a stress indicator calculated by the calculation means, wherein the calculating means calculates, as a value serving as a stress indicator, a value representing a facial skewness , according to the set of characteristic points obtained from the face image when the user makes a facial expression with the assigned facial expression value.

[Эффект изобретения][Invention Effect]

[0012] Программа в соответствии с настоящим изобретением может оценивать стресс у пациента полностью неинвазивным образом, не требуя пробы жидкости организма, такой как кровь, или специальное устройство для измерения.[0012] The program in accordance with the present invention can assess stress in a patient in a completely non-invasive manner, without requiring a sample of body fluid such as blood, or a special measurement device.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS

[0013][0013]

Фиг. 1 является схематическим чертежом процедурного способа настоящего изобретения, включающим в себя извлечение характерных точек из изображения лица, полученного, когда пациент имеет максимальный уровень улыбки, и вычисление значения для показателя стресса с помощью характерных точек.Fig. 1 is a schematic drawing of a procedural method of the present invention, including extracting feature points from a face image taken when a patient has a maximum smile level and calculating a value for a stress score using the feature points.

Фиг. 2 является схематическим чертежом процедурного способа согласно настоящему изобретению, включающим в себя извлечение характерных точек из изображения лица, полученного, когда пациент находится в нормальном (серьезном) состоянии, и вычисление значения в качестве показателя стресса по характерным точкам.Fig. 2 is a schematic drawing of a procedural method according to the present invention, including extracting feature points from a face image obtained when the patient is in a normal (serious) condition and calculating a value as a stress score from the feature points.

Фиг. 3 является графиком, показывающим корреляцию между значением показателя стресса пациента и концентрацией кортизола в слюне пациента в соответствии с первым аспектом (пример 1) настоящего изобретения.Fig. 3 is a graph showing the correlation between the patient's stress score value and the patient's saliva cortisol concentration according to the first aspect (Example 1) of the present invention.

Фиг. 4 является графиком, показывающим корреляцию между значением показателя стресса пациента и концентрацией кортизола в слюне пациента в соответствии со вторым аспектом (пример 2) настоящего изобретения.Fig. 4 is a graph showing the correlation between the patient's stress score value and the patient's saliva cortisol concentration according to the second aspect (Example 2) of the present invention.

Фиг. 5 является графиком, показывающим корреляцию между значением показателя стресса пациента и концентрацией кортизола в слюне пациента в соответствии с третьим аспектом (пример 3) настоящего изобретения.Fig. 5 is a graph showing the correlation between the patient's stress score value and the patient's saliva cortisol concentration according to the third aspect (Example 3) of the present invention.

Фиг. 6А является схемой конфигурации примера системы обработки информации в соответствии с настоящим вариантом осуществления.Fig. 6A is a configuration diagram of an example of an information processing system according to the present embodiment.

Фиг. 6B является схемой конфигурации примера системы обработки информации в соответствии с настоящим вариантом осуществления.Fig. 6B is a configuration diagram of an example of an information processing system according to the present embodiment.

Фиг. 7А является схемой конфигурации аппаратного обеспечения примера компьютера.Fig. 7A is a hardware configuration diagram of an example computer.

Фиг. 7B является схемой конфигурации аппаратного обеспечения примера компьютера.Fig. 7B is a hardware configuration diagram of an example computer.

Фиг. 8 является схемой конфигурации аппаратного обеспечения примера компьютера.Fig. 8 is a hardware configuration diagram of an example computer.

Фиг. 9 является функциональной блок-схемой примера устройства обработки информации в соответствии с настоящим вариантом осуществления.Fig. 9 is a functional block diagram of an example of an information processing apparatus according to the present embodiment.

Фиг. 10 является блок-схемой последовательности операций примера общего процесса устройства обработки информации в соответствии с настоящим вариантом осуществления.Fig. 10 is a flowchart of an example of a general process of an information processing apparatus according to the present embodiment.

Фиг. 11 является блок-схемой последовательности операций примера процесса позиционирования лица.Fig. 11 is a flowchart of an example of a face positioning process.

Фиг. 12 является иллюстративным изображением экрана приложения диагностики стресса во время процесса позиционирования лица.Fig. 12 is an exemplary screen shot of a stress diagnosis application during a face positioning process.

Фиг. 13 является блок-схемой последовательности операций примера процесса сбора данных.Fig. 13 is a flowchart of an example of a data collection process.

Фиг. 14 является иллюстративным изображением экрана приложения диагностики стресса во время процесса сбора данных.Fig. 14 is an exemplary screen shot of a stress diagnostics application during the data collection process.

Фиг. 15 является иллюстративным изображением экрана приложения диагностики стресса, когда лицо пациента маскируется.Fig. 15 is an exemplary screen shot of a stress diagnosis application when the patient's face is masked.

Фиг. 16 является блок-схемой последовательности операций примера процесса анализа данных.Fig. 16 is a flowchart of an example data analysis process.

Фиг. 17А является иллюстративным изображением экрана приложения диагностики стресса для отображения изображения процесса анализа данных, выполняемого при максимальном уровне улыбки.Fig. 17A is an exemplary screen shot of a stress diagnostics application for displaying an image of a data analysis process performed at the maximum smile level.

Фиг. 17B является иллюстративным изображением экрана приложения диагностики стресса для отображения изображения процесса анализа данных, выполняемого при минимальном уровне улыбки.Fig. 17B is an exemplary screen shot of a stress diagnostics application for displaying an image of a data analysis process performed at a minimum smile level.

Фиг. 18 является блок-схемой последовательности операций примера процесса вывода отчета.Fig. 18 is a flowchart of an example of a report output process.

Фиг. 19 является иллюстративным изображением экрана приложения диагностики стресса во время отображения общего отчета.Fig. 19 is an exemplary screen shot of a stress diagnosis application during display of the general report.

Фиг. 20 является иллюстративным изображением экрана опроса.Fig. 20 is an exemplary image of a polling screen.

Фиг. 21 является иллюстративным изображением экрана для отображения результата диагностики стресса на основании анализа изображения лица и результата диагностики стресса на основании опроса.Fig. 21 is an exemplary screen for displaying a stress diagnosis result based on face image analysis and a stress diagnosis result based on the interrogation.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯIMPLEMENTATION OF THE INVENTION

[0014] [Первый вариант осуществления][0014] [First Embodiment]

Коротко говоря, метод оценки стресса настоящего изобретения содержит следующие шаги с (1) по (4):Briefly, the stress assessment method of the present invention comprises the following steps (1) to (4):

(1) этап предоставления пациенту инструкции;(1) the step of providing instructions to the patient;

(2) этап визуализации лица пациента с помощью устройства визуализации;(2) the step of visualizing the patient's face with the imaging device;

(3) этап обработки полученного изображения лица для получения параметра, отражающего стресс; и(3) the step of processing the obtained face image to obtain a parameter reflecting stress; And

(4) этап вычисления значения показателя стресса с помощью параметра, полученного на этапе (3) (обработка изображения).(4) a step of calculating a stress score value using the parameter obtained in step (3) (image processing).

[0015] В первом аспекте способа настоящего изобретения на этапе (1) пациента инструктируют принять положение прямо, лицом к устройству визуализации, с максимальным уровнем улыбки. В ответ на эту инструкцию пациент перемещается в положение прямо, лицом к устройству визуализации, чтобы быть лицом к устройству визуализации, и принимает выражение лица с максимальной улыбкой (далее называемое максимальным уровнем улыбки).[0015] In the first aspect of the method of the present invention, in step (1), the patient is instructed to assume a straight position, facing the imaging device, with a maximum smile level. In response to this instruction, the patient moves to a straight position facing the imaging device to be facing the imaging device, and assumes a facial expression with a maximum smile (hereinafter referred to as the maximum smile level).

[0016] Инструкция на этапе (1) может включать в себя не только инструкцию принять положение лицом к устройству визуализации с максимальным уровнем улыбки, но также и инструкцию поместить изображение в определенное место и инструкцию не двигать лицо, пока получение изображения на этапе (2) не будет завершено.[0016] The instruction in step (1) may include not only an instruction to assume a position facing the imaging device with a maximum smile level, but also an instruction to place the image in a specific location and an instruction not to move the face until the image is acquired in step (2) will not be completed.

[0017] Затем на этапе (2) лицо пациента отображается с использованием устройства визуализации. Желательно, чтобы полученное изображение лица было сохранено в запоминающем устройстве, соединенном с устройством визуализации.[0017] Next, in step (2), the patient's face is displayed using the imaging device. Desirably, the resulting face image is stored in a storage device connected to the imaging device.

[0018] Затем, на этапе (3), полученное изображение лица обрабатывается. Способ обработки изображения будет описан со ссылкой на фиг. 1.[0018] Next, in step (3), the acquired face image is processed. An image processing method will be described with reference to FIG. 1.

[0019] (3-1) Сначала идентифицируются местоположения внешнего угла (a1) глаза и угла (b1) рта с одной стороны и внешнего угла (a2) другого глаза и противоположного угла (b2) рта с другой стороны в качестве характерных точек на изображении лица.[0019] (3-1) First, the locations of the outer corner (a1) of the eye and the corner (b1) of the mouth on one side and the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth on the other side are identified as feature points in the image faces.

[0020] На фиг. 1 для удобства внешний угол глаза и угол рта на правой стороне лица относительно пациента обозначены как (a1) и (b1), а внешний угол глаза и угол рта на левой стороне относительно пациента обозначены как (a2) и (b2), но такие обозначения не являются фиксированными, правую и левую стороны можно поменять местами.[0020] FIG. 1 for convenience, the outer corner of the eye and the corner of the mouth on the right side of the face relative to the patient are indicated as (a1) and (b1), and the outer corner of the eye and the corner of the mouth on the left side relative to the patient are indicated as (a2) and (b2), but such designations are not fixed, the right and left sides can be swapped.

[0021] (3-2) Затем проводится линия (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линия (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны.[0021] (3-2) Then a line (a1-b1) is drawn which passes through the outer corner (a1) of the eye and the corner (b1) of the mouth on one side, and a line (a2-b2) which passes through the outer corner ( a2) eyes and corner (b2) of the mouth on the other side.

[0022] (3-3) Далее измеряется угол (θ1) между линией (a1-b1) в (3-2) и опорной линией и угол (θ2) между линией (a2-b2) и опорной линией, и полученные значения «θ1» и «θ2» являются параметрами.[0022] (3-3) Next, the angle (θ1) between the line (a1-b1) in (3-2) and the reference line and the angle (θ2) between the line (a2-b2) and the reference line are measured, and the obtained values are " θ1" and "θ2" are parameters.

[0023] Опорная линия в первом аспекте является горизонтальной линией на изображении (т.е. линией A-A на фиг. 1).[0023] The reference line in the first aspect is a horizontal line in the image (ie line A-A in Fig. 1).

[0024] Кроме того, предполагается, что углом между линией (a1-b1) и опорной линией и углом между линией (a2-b2) и опорной линией в настоящем патентном описании называется угол, который не больше 90 градусов из двух углов, формируемых, когда линия (a1-b1) или линия (a2-b2) пересекает опорную линию (A-A) (т.е. дополнительных углов, образующих развернутый угол).[0024] In addition, it is assumed that the angle between the line (a1-b1) and the reference line and the angle between the line (a2-b2) and the reference line in the present patent specification is called the angle that is not more than 90 degrees of the two angles formed, when the line (a1-b1) or the line (a2-b2) intersects the reference line (A-A) (i.e. additional angles forming a straight angle).

[0025] Наконец, на этапе (4) вычисляется значение показателя стресса по θ1 и θ2, которые являются параметрами, полученными на этапе (3). Значением показателя стресса в первом аспекте является разность (θ1-θ2) углов θ1 и θ2.[0025] Finally, in step (4), the value of the stress score over θ1 and θ2, which are the parameters obtained in step (3), is calculated. The value of the stress index in the first aspect is the difference (θ1-θ2) of the angles θ1 and θ2.

[0026] Было подтверждено, что разность (θ1-θ2) углов, т.е. значение показателя стресса, вычисленное с помощью способа первого аспекта, увеличивается, когда возникает стресс, и соответствующее увеличение и уменьшение разности углов соответствуют изменению концентрации кортизола, гормона стресса, в слюне, и, другими словами, было подтверждено, что значение показателя стресса (θ1-θ2) отражает уровень стресса у пациента.[0026] It has been confirmed that the (θ1-θ2) angle difference, i. the stress index value calculated by the method of the first aspect increases when stress occurs, and the corresponding increase and decrease in the angle difference correspond to a change in the concentration of cortisol, a stress hormone, in saliva, and in other words, it was confirmed that the stress index value (θ1- θ2) reflects the patient's stress level.

[0027] Значение показателя стресса, полученное в первом аспекте, вычисляется на основании углов относительно опорной линии, которая является горизонтальной линией (A-A) на изображении, так что такое значение показателя может отражать перекошенность правой стороны лица относительно левой и наклон всего лица при максимальном уровне улыбки. Обоснование, что такое значение может быть выбрано в качестве показателя стресса, основано на результатах наблюдений (опыте), в которых когда у пациента возникает стресс, в выражении лица может появляться перекошенность правой стороны относительно левой, когда пациент полагает, что у него максимальный уровень улыбки, и пациенту может быть трудно сделать движение, чтобы быть лицом к устройству визуализации.[0027] The stress index value obtained in the first aspect is calculated based on the angles relative to the reference line, which is the horizontal line (A-A) in the image, so that this index value can reflect the skewness of the right side of the face relative to the left and the slope of the entire face at the maximum level smiles. The rationale that such a value can be chosen as an indicator of stress is based on observations (experience) in which when a patient is stressed, facial expressions may appear skewed on the right side relative to the left, when the patient believes that he has a maximum smile level. , and it may be difficult for the patient to move to face the imaging device.

[0028] Второй аспект способа настоящего изобретения включает в себя этапы с (1) по (4), также как и первый аспект.[0028] The second aspect of the method of the present invention includes steps (1) to (4), as well as the first aspect.

[0029] Однако дополнительно указываются соответствующие положения центральной точки (c1) правого глаза и центральной точки (c2) левого глаза в дополнение к местоположениям внешнего угла (a1) глаза и угла (b1) рта с одной стороны и внешнего угла (a2) глаза и угла (b2) рта с другой стороны в (3-1) на этапе (3).[0029] However, the respective positions of the center point (c1) of the right eye and the center point (c2) of the left eye are additionally indicated in addition to the locations of the outer corner (a1) of the eye and the corner (b1) of the mouth on one side and the outer corner (a2) of the eye and corner (b2) of the mouth on the other side in (3-1) in step (3).

[0030] В (3-2) на этапе (3) дополнительно обеспечивается (дополнительная) линия, проходящая через центральную точку (c1) правого глаза и центральную точку (c2) левого глаза (далее называемая линией центров глаз, линия A'-A' на фиг. 1), в дополнение к линии (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линии (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны.[0030] In (3-2), step (3) further provides an (additional) line passing through the center point (c1) of the right eye and the center point (c2) of the left eye (hereinafter referred to as the eye center line, line A'-A ' in Fig. 1), in addition to the line (a1-b1) that passes through the outer corner (a1) of the eye and the corner (b1) of the mouth on one side, and the line (a2-b2) that passes through the outer corner ( a2) eyes and corner (b2) of the mouth on the other side.

[0031] Во втором аспекте опорной линией является линия центров глаз (A'-A'). Соответственно, в (3-3) на этапе (3) измеряются угол (θ1' на фиг. 1) между линией (a1-b1) и опорной линией (линией A'-A' на фиг. 1) и угол (θ2' на фиг. 1) между линией (a2-b2) и опорной линией (линией A'-A' на фиг. 1), так что параметрами могут быть значения θ1 и θ2.[0031] In the second aspect, the reference line is the eye center line (A'-A'). Accordingly, in (3-3), in step (3), the angle (θ1' in Fig. 1) between the line (a1-b1) and the reference line (line A'-A' in Fig. 1) and the angle (θ2' in Fig. 1) between the line (a2-b2) and the reference line (line A'-A' in Fig. 1), so that the values of θ1 and θ2 can be parameters.

[0032] На этапе (4) во втором аспекте вычисляется значение показателя стресса по θ1' и θ2', которые являются параметрами, полученными в (3-3). Значение показателя стресса во втором аспекте является разностью (θ1'-θ2') углов θ1' и θ2'.[0032] In step (4), in the second aspect, the value of the stress index is calculated from θ1' and θ2', which are the parameters obtained in (3-3). The value of the stress index in the second aspect is the difference (θ1'-θ2') of the angles θ1' and θ2'.

[0033] Было подтверждено, что разность (θ1'-θ2') углов, т.е. значение показателя стресса, вычисленное способом второго аспекта, увеличивается, когда возникает стресс, и соответствующее увеличение и уменьшение разности углов соответствует изменению концентрации кортизола, гормона стресса, в слюне, и, другими словами, было подтверждено, что значение показателя стресса (θ1'-θ2') отражает уровень стресса у пациента.[0033] It was confirmed that the difference (θ1'-θ2') angles, i.e. the stress index value calculated by the method of the second aspect increases when stress occurs, and the corresponding increase and decrease in the angle difference corresponds to a change in the concentration of cortisol, a stress hormone, in saliva, and in other words, it was confirmed that the stress index value (θ1'-θ2 ') reflects the patient's stress level.

[0034] Значение показателя стресса, полученное в настоящем аспекте, вычисляется на основании углов относительно линии центров глаз (линия A'-A' на фиг. 1), так что может быть компенсировано (убрано) влияние наклона всего лица, и в результате такое значение показателя стресса может отражать только перекошенность правой стороны лица относительно левой.[0034] The stress score value obtained in the present aspect is calculated based on the angles relative to the line of eye centers (line A'-A' in Fig. 1), so that the influence of the tilt of the entire face can be compensated (removed), and as a result such the value of the stress indicator can only reflect the skewness of the right side of the face relative to the left.

[0035] Также как первый аспект и второй аспект, третий аспект способа настоящего изобретения включает в себя этапы с (1) по (4). Однако дополнительно вычисляется значение показателя стресса путем получения параметра, полученного при максимальном уровне улыбки, и параметра, полученного при нейтральном выражении. Подробное описание дано ниже.[0035] As well as the first aspect and the second aspect, the third aspect of the method of the present invention includes steps (1) to (4). However, the value of the stress score is additionally calculated by obtaining the parameter obtained at the maximum smile level and the parameter obtained at the neutral expression. A detailed description is given below.

[0036] Также как в первом аспекте и втором аспекте, этапы (1) и (2) включают в себя (1А): предоставление пациенту инструкции принять положение прямо, лицом к устройству визуализации, с максимальным уровнем улыбки и (2А): получение изображения с максимальным уровнем улыбки. Кроме того, также выполняются (1B): предоставление пациенту инструкции принять нейтральное выражение и (2B): получение изображения с нейтральным выражением. Нейтральным выражением здесь называется состояние, в котором пациент полностью расслаблен и мышцы лица не напряжены (т.е. состояние с ничего не выражающим лицом).[0036] As well as in the first aspect and the second aspect, steps (1) and (2) include (1A): instructing the patient to take a position straight, facing the imaging device, with a maximum smile level, and (2A): obtaining an image with the highest level of smile. In addition, (1B): instructing the patient to adopt a neutral expression and (2B): obtaining an image with a neutral expression are also performed. Neutral expression here refers to a state in which the patient is completely relaxed and the muscles of the face are not tense (i.e., a state with nothing expressive face).

[0037] На этапе (3) выполняется обработка каждого из изображений с максимальным уровнем улыбки, полученном в (2А), и нормальным выражением лица, полученным в (2B). Обработка изображения с максимальным уровнем улыбки будет описана со ссылкой на фиг. 1, а обработка изображения с нейтральным выражением будет описана со ссылкой на фиг. 2.[0037] In step (3), each of the images with the maximum smile level obtained in (2A) and the normal facial expression obtained in (2B) is processed. The maximum smile level image processing will be described with reference to FIG. 1, and the neutral expression image processing will be described with reference to FIG. 2.

[0038] (3А): Что касается изображения с максимальным уровнем улыбки (фиг. 1), даны линия (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линия (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны, и для получения конкретных параметров измеряются угол (θ1) между линией (a1-b1) и опорной линией (A-A на фиг. 1) и угол (θ2) между линией (a2-b2) и опорной линией (A-A на фиг. 1).[0038] (3A): Regarding the image with the maximum smile level (FIG. 1), given a line (a1-b1) that passes through the outer corner (a1) of the eye and the corner (b1) of the mouth on the one hand, and the line ( a2-b2) that passes through the outer corner (a2) of the eye and the corner (b2) of the mouth on the other side, and to obtain specific parameters, the angle (θ1) between the line (a1-b1) and the reference line (A-A in Fig. 1) is measured ) and the angle (θ2) between the line (a2-b2) and the reference line (A-A in Fig. 1).

[0039] (3B): Что касается изображения с нейтральным выражением (фиг. 2), проводятся линия (a1"-b1"), которая проходит через внешний угол (a1") глаза и угол (b1") рта с одной стороны, и линия (a2"-b2"), которая проходит через внешний угол (a2") глаза и угол (b2") рта с другой стороны, и для получения конкретных параметров измеряются угол (θ1") между линией (a1"-b1") и опорной линией (A-A на фиг. 2) и угол (θ2") между линией (a2"-b2") и опорной линией (A-A на фиг. 2).[0039] (3B): With regard to the image with a neutral expression (Fig. 2), a line (a1"-b1") is drawn, which passes through the outer corner (a1") of the eye and the corner (b1") of the mouth on one side, and a line (a2"-b2") that passes through the outer corner (a2") of the eye and the corner (b2") of the mouth on the other side, and the angle (θ1") between the line (a1"-b1" is measured to obtain specific parameters ) and the reference line (A-A in Fig. 2) and the angle (θ2") between the line (a2"-b2") and the reference line (A-A in Fig. 2).

[0040] Кроме того, также на фиг. 2 для удобства внешний угол глаза и угол рта с правой стороны лица пациента даны как (a1") и (b1"), а внешний угол глаза и угол рта с левой стороны даны как (a2") и (b2"), но правую и левую стороны можно поменять местами.[0040] In addition, also in FIG. 2 for convenience, the outer corner of the eye and the corner of the mouth on the right side of the patient's face are given as (a1") and (b1"), and the outer corner of the eye and the corner of the mouth on the left side are given as (a2") and (b2"), but the right and the left side can be swapped.

[0041] На этапе (4) вычисляется значение показателя стресса с помощью параметров (θ1, θ2) при максимальном уровне улыбки, полученных в (3А), и параметров (θ1", θ2") при нейтральном выражении, полученных в (3B). То есть вычисляются разность (θ1-θ2) углов θ1 и θ2 на изображении с максимальным уровнем улыбки и разность (θ1"-θ2") углов θ1" и θ2" на изображении с нормальным выражением лица, так что может быть вычислена разность ((θ1-θ2)-(θ1"-θ2")) разности (θ1-θ2) углов и разности (θ1"-θ2") углов, и в результате может быть указано значение показателя стресса в третьем аспекте.[0041] In step (4), the stress score value is calculated using the parameters (θ1, θ2) at the maximum smile level obtained in (3A) and the parameters (θ1", θ2") at the neutral expression obtained in (3B). That is, the difference (θ1-θ2) of the angles θ1 and θ2 in the image with the maximum smile level and the difference (θ1"-θ2") of the angles θ1" and θ2" in the image with a normal facial expression are calculated, so that the difference ((θ1 -θ2)-(θ1"-θ2")) angle difference (θ1-θ2) and angle difference (θ1"-θ2"), and as a result, the value of the stress index in the third aspect can be indicated.

[0042] Поскольку здесь значение ((θ1-θ2)-(θ1"-θ2")) показателя стресса способа настоящего аспекта является разностью значения показателя для нейтрального выражения и значения показателя для максимального уровня улыбки, то может быть компенсировано изменение чисел из-за наклона лица. Соответственно, опорная линия в третьем аспекте может быть как горизонтальной линией (A-A) на изображении первого аспекта, так и линией (A'-A') центров глаз второго аспекта.[0042] Since here the value of ((θ1-θ2)-(θ1"-θ2")) of the stress score of the method of the present aspect is the difference of the score value for the neutral expression and the score value for the maximum smile level, the change in numbers due to face tilt. Accordingly, the reference line in the third aspect can be both the horizontal line (A-A) in the image of the first aspect and the line (A'-A') of the eye centers of the second aspect.

[0043] Было подтверждено, что ((θ1-θ2)-(θ1"-θ2")), т.е. значение показателя стресса, вычисленное способом третьего аспекта, увеличивается, когда возникает стресс, и соответствующие увеличение и уменьшение ((θ1-θ2)-(θ1"-θ2")) соответствуют изменению концентрации кортизола, гормона стресса, в слюне, и, другими словами, было подтверждено, что значение ((θ1-θ2)-(θ1"-θ2")) показателя стресса отражает уровень стресса у пациента.[0043] It has been confirmed that ((θ1-θ2)-(θ1"-θ2")), i.e. the value of the stress index calculated by the method of the third aspect increases when stress occurs, and the corresponding increase and decrease ((θ1-θ2)-(θ1"-θ2")) correspond to a change in the concentration of cortisol, a stress hormone, in saliva, and in other words , it was confirmed that the value of ((θ1-θ2)-(θ1"-θ2")) of the stress index reflects the stress level of the patient.

[0044] Способ третьего аспекта берет разность значения показателя для максимального уровня улыбки и значения показателя для нейтрального выражения в качестве показателя стресса, так что влияние наклона всего лица может быть устранено, также как и во втором аспекте, и может быть отражено такое состояние, как как ригидность мышц лица из-за стресса.[0044] The method of the third aspect takes the difference of the index value for the maximum smile level and the index value for the neutral expression as a stress index, so that the influence of the slope of the whole face can be eliminated, as well as in the second aspect, and a condition such as like facial stiffness due to stress.

[0045] С помощью способа согласно настоящему изобретению получается множество изображений при многократном повторении этапа (1) и этапа (2), и среднее значение параметров, полученных из соответствующих изображений на этапе (3), применяется в вычислении на этапе (4), так что может быть устранена погрешность измерения в первом, втором и третьем аспектах.[0045] With the method of the present invention, a plurality of images are obtained by repeatedly repeating step (1) and step (2), and the average value of the parameters obtained from the respective images in step (3) is applied in the calculation in step (4), so that the measurement error in the first, second and third aspects can be eliminated.

[0046] Число повторений не указывается конкретно, но может быть, например, от 2 до 10 раз, или более предпочтительно от 3 до 9 раз, или более предпочтительно от 4 до 8 раз, или еще более предпочтительно от 5 до 7 раз.[0046] The number of repetitions is not specified, but may be, for example, 2 to 10 times, or more preferably 3 to 9 times, or more preferably 4 to 8 times, or even more preferably 5 to 7 times.

[0047] Настоящее изобретение также обеспечивает систему и компьютерную программу (программное обеспечение) для реализации способа оценки стресса, описанного выше, и носитель данных, хранящий компьютерную программу.[0047] The present invention also provides a system and a computer program (software) for implementing the stress assessment method described above, and a storage medium storing the computer program.

[0048] Система согласно настоящему изобретению включает в себя средство предоставления инструкции для предоставления пациенту инструкции, средство получения изображений для получения изображения лица пациента, средство обработки изображений для обработки полученного изображения лица и вычислительное средство для выполнения вычислений с использованием параметра, полученного путем обработки изображения.[0048] The system of the present invention includes an instruction providing means for providing an instruction to a patient, an image acquisition means for obtaining an image of the patient's face, an image processing means for processing the acquired face image, and a computing means for performing calculations using a parameter obtained by image processing.

[0049] Средство для предоставления инструкции пациенту может быть документом (руководством), прикрепленным к устройству получения изображений, или такое средство может быть устройством отображения изображений, соединенным с устройством получения изображений, отображающим инструкцию, или устройством воспроизведения звука, дающим инструкцию посредством звука.[0049] The means for providing instructions to the patient may be a document (manual) attached to the imaging device, or such means may be an image display device connected to the image acquisition device displaying the instruction, or an audio playback device giving instruction through sound.

[0050] Средство получения изображений является предпочтительно устройством получения изображений, таким как цифровой фотоаппарат. Кроме того, предпочтительным является монитор для отображения изображения, полученного с использованием камеры, в режиме реального времени, так что может быть предпочтительным, чтобы пациент мог отрегулировать положение лица относительно центра камеры, сверяясь с монитором. При этом часть, включающая глаза, нос и рот пациента, отображаемая на мониторе, предпочтительно должна быть замаскирована, чтобы предотвратить намеренные изменения со стороны пациента, такие как наклон лица и само выражение лица при взгляде на монитор. Маскирование может быть обеспечено, например, посредством прикрепления маскирующего элемента на экране монитора или посредством функции отображения изображения с маской на мониторе.[0050] The imaging means is preferably an imaging device such as a digital camera. In addition, a monitor is preferred to display the image obtained using the camera in real time, so it may be preferable that the patient can adjust the position of the face relative to the center of the camera by referring to the monitor. In this case, the part including the eyes, nose and mouth of the patient displayed on the monitor should preferably be masked in order to prevent intentional changes on the part of the patient, such as the tilt of the face and the facial expression itself when looking at the monitor. Masking can be provided, for example, by attaching a masking element to the monitor screen or by displaying a masked image on the monitor.

[0051] Система согласно настоящему изобретению предпочтительно включает в себя средство хранения для хранения данных, относящихся к полученному изображению лица.[0051] The system according to the present invention preferably includes a storage means for storing data related to the received face image.

[0052] Средство обработки изображений включает в себя средство для определения местоположений характерных точек на полученном изображении лица (внешние углы правого и левого глаз, правый и левый углы рта и центральные точки глаз в зависимости от ситуации) и средство для оценки предварительно определенных углов относительно этих местоположений.[0052] The image processing means includes means for determining the locations of feature points on the acquired face image (outer corners of the right and left eyes, right and left corners of the mouth, and center points of the eyes, as appropriate) and means for estimating predetermined angles with respect to these locations.

[0053] Вычислительное средство включает в себя средство для вычисления значения показателя стресса путем выполнения предварительно определенного вычисления с использованием в качестве параметров углов, полученных при обработке изображений.[0053] The computing means includes means for calculating a stress score value by performing a predetermined calculation using angles obtained from image processing as parameters.

[0054] Система согласно настоящему изобретению предпочтительно включает в себя устройство отображения, которое отображает значение показателя стресса, полученное с использованием вычислительного средства.[0054] The system of the present invention preferably includes a display device that displays a stress score value obtained using a computational tool.

[0055] Кроме того, значение показателя стресса каждого пациента может быть сохранено в запоминающее устройстве, и могут быть обеспечены средство для сравнения полученного в настоящее время значения показателя стресса и ранее полученного (и сохраненного) значения показателя стресса и предупреждение пациенту на основе изменения.[0055] In addition, each patient's stress score value may be stored in a memory, and a means may be provided to compare the currently obtained stress score value with the previously obtained (and stored) stress score value and alert the patient based on the change.

[0056] Система согласно настоящему изобретению может быть персональным компьютером (PC), планшетом или смартфоном, включающим в себя средство отображения, средство получения изображений, средство хранения и вычислительное средство, и система согласно настоящему изобретению может быть выполнена с возможностью загрузки программы (приложения) для реализации способа оценки стресса согласно настоящему изобретению в PC, планшет или смартфон.[0056] The system of the present invention may be a personal computer (PC), tablet or smart phone, including a display means, an image acquisition means, a storage means, and a computing means, and the system of the present invention may be configured to download a program (application) to implement the stress assessment method according to the present invention in a PC, tablet or smart phone.

[0057] Компьютерная программа согласно настоящему изобретению включает в себя: (1) этап предоставления инструкции пациенту; (2) этап обработки изображения лица пациента, полученного с помощью устройства получения изображений, и вывода параметра, отражающего стресс у пациента; и (3) этап вычисления значения показателя стресса путем выполнения вычисления (операции) с использованием параметров, полученных в качестве выходных данных при выполнении обработки изображений, и[0057] The computer program of the present invention includes: (1) the step of providing instructions to a patient; (2) a step of processing an image of the patient's face acquired by the imaging apparatus and outputting a parameter indicative of the patient's stress; and (3) a step of calculating a stress score value by performing a calculation (operation) using parameters obtained as output when performing image processing, and

на этапе (2) этап определения местоположений внешних углов правого и левого глаз и правого и левого углов рта и центральных точек правого и левого глаз на изображении лица, этап обеспечения линии (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линии (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны, этап измерения угла (θ1) между линией (a1-b1) и опорной линией и угла (θ2) между линией (a2-b2) и опорной линией и этап вывода значений θ1 и θ2 в качестве параметров, и на этапе (3) этап вычисления значения показателя стресса с помощью этих параметров (θ1 и θ2).in step (2), the step of locating the outer corners of the right and left eyes and the right and left corners of the mouth and the center points of the right and left eyes in the face image, the step of providing a line (a1-b1) that passes through the outer corner (a1) of the eye, and the corner (b1) of the mouth on one side and the line (a2-b2) that passes through the outer corner (a2) of the eye and the corner (b2) of the mouth on the other side, the step of measuring the angle (θ1) between the line (a1-b1) and the reference line and the angle (θ2) between the line (a2-b2) and the reference line, and a step of outputting the values of θ1 and θ2 as parameters, and in step (3), a step of calculating a stress index value using these parameters (θ1 and θ2).

ПРИМЕРЫEXAMPLES

[0058] Далее настоящее изобретение будет описано более подробно со ссылкой на конкретные аспекты, но настоящее изобретение никоим образом не ограничивается приведенными ниже аспектами.[0058] Hereinafter, the present invention will be described in more detail with reference to specific aspects, but the present invention is in no way limited to the following aspects.

[0059] Можно придумать множество способов, как создать стресс для верификации психологических и физических изменений, вызванных стрессом, и, в частности, например, кандидат в астронавты помещался в закрытую среду, где не возможен никакой контакт извне, и он был вынужден провести там предварительно определенный период времени. Например, см. подробности в Inoue N и др., Aviation, Space, and Environmental Medicine, Vol. 84, No. 8, pp. 867-871 (2013), Tamiyasu Shimamiya и др., "Psycho-physiological stress assessment in closed habitation", Space Utiliz. Res., 24 (2008).[0059] You can think of many ways how to create stress to verify the psychological and physical changes caused by stress, and, in particular, for example, an astronaut candidate was placed in a closed environment where no contact from the outside is possible, and he was forced to spend there beforehand a certain period of time. For example, see Inoue N et al., Aviation, Space, and Environmental Medicine, Vol. 84, no. 8, pp. 867-871 (2013), Tamiyasu Shimamiya et al., "Psycho-physiological stress assessment in closed habitation", Space Utiliz. Res. 24 (2008).

[0060] Аналогичная методология применялась для проверки способа настоящего изобретения, т.е. тест на стресс проводился над группой, совместно проживающей в среде, изолированной от внешнего мира. А именно, пациенты (23 человека) как совместная группа были вынуждены жить в среде, изолированной от внешнего мира, при этом продовольствие, часы сна и задания строго контролировались. Соответствующие значения показателя стресса измерялись в конкретное время каждый день, когда наступало время измерения, по изображению лица с помощью способа в соответствии с настоящим изобретением за один день до помещения в среду, изолированную от внешнего мира, (L-1), во время проживания в течение двух недель в среде, изолированной от внешнего мира, (с C1 по C14), один день (R+1) после выхода из среды, изолированной от внешнего мира, и семь дней (R+7) после этого, и, кроме того, одновременно с захватом изображения лица измерялась концентрация кортизола в слюне каждого пациента.[0060] A similar methodology was applied to test the method of the present invention, ie. the stress test was conducted on a group living together in an environment isolated from the outside world. Namely, patients (23 people) as a collaborative group were forced to live in an environment isolated from the outside world, while food, sleep hours and tasks were strictly controlled. Corresponding stress score values were measured at a specific time each day when the measurement time came from a face image using the method according to the present invention one day before being placed in an environment isolated from the outside world (L-1), while living in within two weeks in the isolated environment (C1 to C14), one day (R+1) after exiting the isolated environment, and seven days (R+7) thereafter, and in addition , while capturing the image of the face, the concentration of cortisol in the saliva of each patient was measured.

[0061] (Пример 1)[0061] (Example 1)

На фиг. 3 представлен график, показывающий значения (θ1-θ2, обращаясь к фиг. 1) показателя стресса, измеренные в соответствии с первым аспектом способа согласно настоящему изобретению, и изменения концентрации кортизола в слюне, при этом оба измерялись одновременно.In FIG. 3 is a graph showing the values (θ1-θ2, referring to FIG. 1) of the stress score measured according to the first aspect of the method of the present invention and changes in salivary cortisol concentration, both measured simultaneously.

[0062] Как показано на фиг. 1, при обработке изображения в соответствии с аспектом задаются линия (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линия (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны, и вычисляется значение (θ1-θ2) показателя стресса по углу (θ1) между линией (a1-b1) и горизонтальной линией (A-A) на изображении и углу (θ2) между линией (a2-b2) и горизонтальной линией (A-A) на изображении.[0062] As shown in FIG. 1, when processing the image according to the aspect, a line (a1-b1) that passes through the outer corner (a1) of the eye and a corner (b1) of the mouth on one side, and a line (a2-b2) that passes through the outer corner ( a2) eyes and angle (b2) of the mouth on the other side, and the value (θ1-θ2) of the stress index for the angle (θ1) between the line (a1-b1) and the horizontal line (A-A) in the image and the angle (θ2) between the line (a2-b2) and a horizontal line (A-A) on the image.

[0063] В соответствии с данными на фиг. 3, значение показателя стресса становится высоким за один день перед помещением в среду, изолированную от внешнего мира, (L-1), и, похоже, стресс снижается в течение первой недели после помещения (C2-C7), увеличивается по истечении первой недели (C8-14), снижается после выхода из среды, изолированной от внешнего мира, (R+1), и затем еще уменьшается через семь дней (R+7). Изменение (значения стресса) совпадает с изменением концентрации кортизола в том же направлении.[0063] Referring to the data in FIG. 3, the value of the stress index becomes high one day before placement in an environment isolated from the outside world (L-1), and it seems that stress decreases during the first week after placement (C2-C7), increases after the first week ( C8-14), decreases after leaving the environment isolated from the outside world (R + 1), and then decreases again after seven days (R + 7). The change (stress value) coincides with the change in cortisol concentration in the same direction.

[0064] (Пример 2)[0064] (Example 2)

На фиг. 4 представлен график, показывающий значение (θ1'-θ2', обращаясь к фиг. 1) показателя стресса, измеренное в соответствии со вторым аспектом способа согласно настоящему изобретению, и концентрация кортизола в слюне, при этом оба измерялись одновременно.In FIG. 4 is a graph showing the value (θ1'-θ2', referring to FIG. 1) of the stress score measured in accordance with the second aspect of the method of the present invention and salivary cortisol concentration, both measured simultaneously.

[0065] Как показано на фиг. 1, при обработке изображений в соответствии с аспектом задаются линия (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, линия (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны, и, кроме того, линия, проходящая через центральные точки (c1 и c2) глаз (линия центров глаз; A'-A' на фиг. 1), и вычисляется значение (θ1'-θ2') показателя стресса по углу (θ1') между линией (a1-b1) и линией центров глаз (A'-A') и углу (θ2') между линией (a2-b2) и линией центров глаз (A'-A').[0065] As shown in FIG. 1, when processing images according to the aspect, a line (a1-b1) that passes through the outer corner (a1) of the eye and a corner (b1) of the mouth on one side, a line (a2-b2) that passes through the outer corner (a2 ) eyes and corner (b2) of the mouth on the other side, and in addition, a line passing through the center points (c1 and c2) of the eyes (eye center line; A'-A' in Fig. 1), and the value (θ1 '-θ2') stress score for the angle (θ1') between the line (a1-b1) and the line of eye centers (A'-A') and the angle (θ2') between the line (a2-b2) and the line of eye centers (A '-A').

[0066] В соответствии с данными на фиг. 4, значение показателя стресса является относительно маленьким за день перед помещением в среду, изолированную от внешнего мира, (L-1), тогда как стресс увеличивается после помещения (C2-7, первая неделя) и дополнительно увеличивается на второй неделе (C8-14). Однако стресс уменьшается после выхода из среды, изолированной от внешнего мира, (R+1 и R+7). Изменение показателя стресса хорошо совпадают с изменением концентрации кортизола (с такой же тенденцией).[0066] As shown in FIG. 4, the value of the stress score is relatively small the day before exposure to the isolated environment (L-1), while the stress increases after exposure (C2-7, first week) and further increases in the second week (C8-14 ). However, stress decreases after leaving the environment isolated from the outside world (R + 1 and R + 7). The change in the stress score is in good agreement with the change in the concentration of cortisol (with the same trend).

[0067] (Пример 3)[0067] (Example 3)

На фиг. 5 представлен график, показывающий значение ((θ1-θ2)-(θ1"-θ2"), обращаясь к фиг. 1 и 2) показателя стресса, измеренное в соответствии с третьим аспектом способа согласно настоящему изобретению, и концентрацию кортизола в слюне, при этом оба измерялись одновременно.In FIG. 5 is a graph showing the value ((θ1-θ2)-(θ1"-θ2"), referring to FIGS. 1 and 2) of the stress score measured according to the third aspect of the method of the present invention, and salivary cortisol concentration, at both were measured at the same time.

[0068] При обработке изображений в соответствии с этим аспектом, изображение с максимальным уровнем улыбки и изображение с нейтральным выражением получались семь раз каждое, и каждое изображение обрабатывалось также, как в примере 1. Соответствующие углы, полученные из семи изображений при максимальном уровне улыбки, усреднялись для обеспечения параметров (θ1 и θ2), углы, полученные из семи изображений при нейтральном выражении, усреднялись для обеспечения параметров (θ1" и θ2"), и по этим параметрам вычислялось значение ((θ1-θ2)-(θ1"-θ2")) показателя стресса.[0068] When processing images according to this aspect, an image with a maximum smile level and an image with a neutral expression were obtained seven times each, and each image was processed in the same way as in Example 1. The corresponding angles obtained from the seven images at the maximum smile level, were averaged to provide the parameters (θ1 and θ2), the angles obtained from the seven images in neutral expression were averaged to provide the parameters (θ1" and θ2"), and the value ((θ1-θ2)-(θ1"-θ2) was calculated from these parameters. ")) is an indicator of stress.

[0069] В соответствии с данными на фиг. 5, значение показателя стресса является отрицательной величиной за день перед помещением в среду, изолированную от внешнего мира, (L-1), но после помещения величина становится положительной, и значение показателя увеличивается на второй неделе (C8-14) еще более, чем на первой неделе (C2-7). Стресс уменьшается после выхода из среды, изолированной от внешнего мира, (R+1), и стресс дополнительно уменьшается на седьмой день после выхода (R+7). Изменение (значения стресса) хорошо совпадает с изменением концентрации кортизола.[0069] As shown in FIG. 5, the value of the stress index is a negative value on the day before placement in an environment isolated from the outside world (L-1), but after placement, the value becomes positive, and the value of the index increases in the second week (C8-14) by more than first week (C2-7). Stress decreases after leaving the environment isolated from the outside world (R + 1), and stress further decreases on the seventh day after leaving (R + 7). The change (stress value) matches well with the change in cortisol concentration.

[Второй вариант осуществления][Second Embodiment]

Во втором варианте осуществления стресс у пациента диагностируется с использованием способа оценки стресса в соответствии с первым вариантом осуществления с помощью приложения диагностики стресса, которое является примером программы. Описание того же самого содержания, что было в первом варианте осуществления, при необходимости будет опускаться.In the second embodiment, the patient's stress is diagnosed using the stress assessment method according to the first embodiment with the stress diagnosis application, which is an example program. Description of the same contents as in the first embodiment will be omitted as necessary.

[0070] <Конфигурация системы>[0070] <System Configuration>

Фиг. 6А и фиг. 6B являются схемами конфигурации примера системы обработки информации в соответствии с настоящим вариантом осуществления. Система обработки информации в соответствии с настоящим вариантом осуществления может состоять из одного только устройства 1 обработки информации, как изображено на фиг. 6А, или может состоять из одного или нескольких клиентских терминалов 2 для пациентов, серверного устройства 3 и клиентского терминала 4 для лица, проводящего тест, которые соединяются с помощью сети 5, как изображено на фиг. 6B.Fig. 6A and FIG. 6B are configuration diagrams of an example of an information processing system according to the present embodiment. The information processing system according to the present embodiment may be composed of the information processing apparatus 1 alone, as shown in FIG. 6A, or may consist of one or more patient client terminals 2, a server device 3, and a tester client terminal 4, which are connected via a network 5 as shown in FIG. 6b.

[0071] Устройство 1 обработки информации на фиг. 6А реализовано, например, с помощью компьютера, имеющего возможность исполнять приложение диагностики стресса в соответствии с настоящим вариантом осуществления. Устройство 1 обработки информации является компьютером, таким как PC, смартфон, планшет и т.п.[0071] The information processing device 1 in FIG. 6A is implemented, for example, by a computer capable of executing a stress diagnostic application according to the present embodiment. The information processing device 1 is a computer such as a PC, smartphone, tablet, or the like.

[0072] Клиентские терминалы 2 и 4 системы обработки информации на фиг. 6B реализованы с помощью компьютера, имеющего возможность исполнять приложение диагностики стресса в соответствии с настоящим вариантом осуществления, такого как PC, смартфон и планшет. Серверное устройство 3 управляет приложением диагностики стресса, используемым пациентами и лицом, проводящим тест, с помощью клиентских терминалов 2 и 4.[0072] The client terminals 2 and 4 of the information processing system in FIG. 6B are implemented by a computer capable of executing a stress diagnosis application according to the present embodiment, such as a PC, smartphone, and tablet. The server device 3 controls the stress diagnostic application used by the patients and the tester using the client terminals 2 and 4.

[0073] Таким образом система обработки информации в соответствии с настоящим вариантом осуществления может быть реализована посредством только одного устройства 1 обработки информации, изображенного на фиг. 6А, или может быть реализована как клиент-серверная архитектура, изображенная на фиг. 6B. Система обработки информации на фиг. 6А и фиг. 6B является примером, и следует понимать, что существуют различные примеры конфигурации системы в соответствии с применениями и целями. Например, функции серверного устройства 3 на фиг. 6B могут быть распределены между множеством компьютеров.[0073] Thus, the information processing system according to the present embodiment can be implemented by only one information processing apparatus 1 shown in FIG. 6A, or may be implemented as the client/server architecture shown in FIG. 6b. The information processing system in FIG. 6A and FIG. 6B is an example, and it should be understood that there are various system configuration examples according to applications and purposes. For example, the functions of the server device 3 in FIG. 6B may be distributed among multiple computers.

[0074] <Конфигурация аппаратного обеспечения>[0074] <Hardware configuration>

<<Устройство обработки информации и клиентские терминалы пациента>><<Information Processing Device and Patient Client Terminals>>

Устройство 1 обработки информации и клиентский терминал 2 пациента реализованы, например, посредством компьютеров, имеющих конфигурацию аппаратного обеспечения, как изображено на фиг. 7А и фиг. 7B. Фиг. 7А и фиг. 7B являются схемами конфигурации аппаратного обеспечения пример компьютера.The information processing device 1 and the patient client terminal 2 are implemented, for example, by computers having a hardware configuration as shown in FIG. 7A and FIG. 7B. Fig. 7A and FIG. 7B are hardware configuration diagrams of an example computer.

[0075] Компьютер на фиг. 7А включают в себя устройство 501 ввода, устройство 502 отображения, внешний интерфейс 503, RAM 504, ROM 505, CPU 506, интерфейс 507 связи, жесткий диск (HDD) 508, устройство 509 получения изображений и т.п., которые соединены друг с другом через шину B. Следует отметить, что устройство 501 ввода и устройство 502 отображения могут быть встроенными или могут подключаться и использоваться при необходимости.[0075] The computer of FIG. 7A include an input device 501, a display device 502, an external interface 503, a RAM 504, a ROM 505, a CPU 506, a communication interface 507, a hard disk drive (HDD) 508, an image acquisition device 509, and the like, which are connected to each other. the other via bus B. It should be noted that the input device 501 and the display device 502 may be built-in or may be connected and used as needed.

[0076] Устройство 501 ввода является сенсорной панелью, клавишами и кнопками управления, клавиатурой и мышью, используемыми пациентом для ввода различных сигналов. Устройство 502 отображения является отображающим экран дисплеем, таким как жидкокристаллический дисплей или органический EL-дисплей. Интерфейс 507 связи является интерфейсом для соединения с сетью 5, такой как локальная сеть (local area network, LAN) или Интернет. Компьютер на фиг. 7А может осуществлять связь через сеть 5 с использованием интерфейса 507 связи.[0076] The input device 501 is a touch pad, control keys and buttons, a keyboard and a mouse used by the patient to input various signals. The display device 502 is a screen display such as a liquid crystal display or an organic EL display. The communication interface 507 is an interface for connecting to a network 5 such as a local area network (LAN) or the Internet. The computer in Fig. 7A can communicate through the network 5 using the communication interface 507 .

[0077] Жесткий диск (HDD) 508 является примером энергонезависимых запоминающих устройств, хранящих программы и т.п. Программы, сохраненные на жестком диске (HDD) 508, включают в себя операционную систему, приложение диагностики стресса и т.п. Жесткий диск (HDD) 508 может быть заменен запоминающим устройством, таким как дисковое устройство (например, твердотельный накопитель), использующее флэш-память в качестве носителя данных, или картой памяти. Внешний интерфейс 503 является интерфейсом к внешнему устройству, такому как носитель 503А информации. Компьютер на фиг. 7А может читать и/или записывать на носитель 503А информации с использованием внешнего интерфейса 503.[0077] A hard disk drive (HDD) 508 is an example of non-volatile storage devices storing programs and the like. The programs stored on the hard disk drive (HDD) 508 include an operating system, a stress diagnosis application, and the like. The hard disk drive (HDD) 508 may be replaced by a storage device such as a disk device (eg, a solid state drive) using flash memory as a storage medium, or a memory card. The external interface 503 is an interface to an external device such as a storage medium 503A. The computer in Fig. 7A can read and/or write to storage medium 503A using external interface 503.

[0078] Носитель 503А информации включает в себя гибкий диск, CD, DVD, карту памяти SD, память USB и т.п. ROM 505 является примером энергонезависимой полупроводниковой памяти (запоминающим устройством), которое может хранить программы и т.п. даже тогда, когда питание выключено. ROM 505 хранит программы, такие как BIOS, исполняемые при запуске, и различные параметры, таких как параметры OS и параметры сети. RAM 504 является примером энергозависимой полупроводниковой памяти (запоминающим устройством) для того, чтобы временно хранить программы и т.п. CPU 506 является процессорным блоком, который считывает программу из запоминающее устройства, такого как ROM 505 и жесткий диск 508, в RAM 504 и выполняет процессы. Устройство 509 получения изображений получает изображение с помощью камеры.[0078] The storage medium 503A includes a floppy disk, CD, DVD, SD memory card, USB memory, and the like. ROM 505 is an example of a non-volatile semiconductor memory (memory device) that can store programs and the like. even when the power is off. The ROM 505 stores programs such as the BIOS executable at startup and various settings such as OS settings and network settings. RAM 504 is an example of a volatile semiconductor memory (memory) for temporarily storing programs and the like. The CPU 506 is a processing unit that reads a program from a storage device such as a ROM 505 and a hard disk 508 into a RAM 504 and executes processes. The image acquisition device 509 acquires an image using a camera.

[0079] Устройство 1 обработки информации и клиентский терминал 2 в соответствии с настоящим вариантом осуществления могут исполнять различные процессы, как описано ниже, путем исполнения приложения диагностики стресса в упомянутой выше конфигурации аппаратного обеспечения. Следует отметить, что компьютер на фиг. 7А включают в себя устройство 509 получения изображений (т.е. оно обеспечено во встроенном виде), но, например, как изображено на фиг. 7B, компьютер может использовать устройство 509 получения изображений, подключенное через внешний интерфейс 503. Компьютер на фиг. 7B отличается от компьютера, изображенного на фиг. 7А, тем, что устройство 509 получения изображений является внешним.[0079] The information processing apparatus 1 and the client terminal 2 according to the present embodiment can execute various processes as described below by executing the stress diagnosis application in the above-mentioned hardware configuration. It should be noted that the computer in FIG. 7A include an image acquisition device 509 (i.e., it is provided in an embedded form), but, for example, as shown in FIG. 7B, the computer may use an image acquisition device 509 connected via the external interface 503. The computer in FIG. 7B is different from the computer shown in FIG. 7A in that the image acquisition device 509 is external.

[0080] <<Клиентский терминал лица, проводящего тест, и серверное устройство>>[0080] <<Test Provider Client Terminal and Server Device>>

Серверное устройство 3 и клиентский терминал 4 лица, проводящего тест, реализованы, например, посредством компьютеров, имеющих конфигурацию аппаратного обеспечения, изображенную на фиг. 8. Фиг. 8 является схемой конфигурации аппаратного обеспечения примера компьютера. Описание таких же частей, как на фиг. 7А и фиг. 7B, опускается.The server device 3 and the client terminal 4 of the tester are implemented, for example, by computers having the hardware configuration shown in FIG. 8. FIG. 8 is a hardware configuration diagram of an example computer. Description of the same parts as in Fig. 7A and FIG. 7B is omitted.

[0081] Компьютер на фиг. 8 включает в себя устройство 601 ввода, устройство 602 отображения, внешний интерфейс 603, RAM 604, ROM 605, CPU 606, интерфейс 607 связи, жесткий диск (HDD) 608 и т.п., которые соединены друг с другом через шину B. Компьютер на фиг. 8 является конфигурацией компьютера, изображенного на фиг. 7А и фиг. 7B, без устройства 509 получения изображений. Компьютер на фиг. 8 осуществляет связь через сеть 5 с использованием интерфейса 607 связи.[0081] The computer of FIG. 8 includes an input device 601, a display device 602, an external interface 603, a RAM 604, a ROM 605, a CPU 606, a communication interface 607, a hard disk drive (HDD) 608, and the like, which are connected to each other via bus B. The computer in Fig. 8 is the configuration of the computer shown in FIG. 7A and FIG. 7B without the image acquisition device 509. The computer in Fig. 8 communicates through the network 5 using the communication interface 607 .

[0082] <Конфигурация программного обеспечения>[0082] <Software Configuration>

Здесь будет объяснена конфигурация программного обеспечения устройства 1 обработки информации, изображенного на фиг. 6А. Фиг. 9 является функциональной блок-схемой примера устройства обработки информации в соответствии с настоящим вариантом осуществления. Устройство 1 обработки информации включает в себя блок 10 приема операций, блок 12 ввода изображения, блок 14 измерения значения улыбки, блок 16 выделения характерных точек, блок 18 инструкций, блок 20 генерации содержания, блок 22 вычисления показателя стресса, блок 24 отображения содержания и блок 26 хранения показателя стресса.Here, the software configuration of the information processing apparatus 1 shown in FIG. 6A. Fig. 9 is a functional block diagram of an example of an information processing apparatus according to the present embodiment. The information processing apparatus 1 includes an operation receiving unit 10, an image input unit 12, a smile value measurement unit 14, a feature point extracting unit 16, an instruction unit 18, a content generation unit 20, a stress index calculation unit 22, a content display unit 24, and a 26 storage indicator of stress.

[0083] Блок 10 приема операций принимает операции от пациентов. Например, блок 10 приема операций принимает операцию для запуска диагностики стресса от пациента. Когда блок 10 приема операций принимает от пациента, например, операцию для запуска диагностики стресса, блок 10 приема операций уведомляет блок 14 измерения значения улыбки и блок 18 инструкций о запуске диагностики стресса для запуска процесса диагностики стресса.[0083] The operation receiving unit 10 receives operations from patients. For example, the operation receiving unit 10 receives an operation for triggering a stress diagnosis from a patient. When the operation receiving unit 10 receives from the patient, for example, an operation to start the stress diagnosis, the operation receiving unit 10 notifies the smile value measurement unit 14 and the instruction unit 18 to start the stress diagnosis to start the stress diagnosis process.

[0084] Блок 12 ввода изображения получает изображение (входное изображение), захваченное устройством 509 получения изображений. Блок 12 ввода изображения предоставляет входное изображение блоку 14 измерения значения улыбки, блоку 16 извлечения характерных точек и блоку 20 генерации содержания. Блок 20 генерации содержания генерирует изображение содержания из входного изображения, обеспеченного блоком 12 ввода изображения, как описано ниже. Блок 24 отображения содержания предписывает устройству 502 отображения отображать изображение содержания, генерируемое блоком 20 генерации содержания.[0084] The image input unit 12 receives an image (input image) captured by the image acquisition device 509 . The image input unit 12 provides an input image to the smile value measurement unit 14, the feature point extraction unit 16, and the content generation unit 20 . The content generation unit 20 generates a content image from the input image provided by the image input unit 12 as described below. The content display unit 24 causes the display device 502 to display the content image generated by the content generation unit 20 .

[0085] Блок 14 измерения значения улыбки оценивает значение улыбки на изображении лица, содержащемся во входном изображении, полученном от блока 12 ввода изображения. Следует отметить, что методики для оценки значения улыбки по изображению лица известны, и их описание опускается. Значение улыбки, оцененное блоком 14 измерения значения улыбки (далее называемое оцененным значением улыбки), предоставляется блоку 20 генерации содержания и отображается на изображении содержания, как описано ниже. Блок 14 измерения значения улыбки предоставляет оцененное значение улыбки блоку 16 извлечения характерных точек и блоку 18 инструкций.[0085] The smile value measurement unit 14 evaluates the smile value of the face image contained in the input image received from the image input unit 12 . It should be noted that techniques for estimating the value of a smile from a face image are known and their description is omitted. The smile value estimated by the smile value measurement unit 14 (hereinafter referred to as the estimated smile value) is provided to the content generation unit 20 and displayed on the content image as described below. The smile value measurement unit 14 provides the estimated smile value to the feature point extraction unit 16 and the instruction unit 18 .

[0086] Блок 18 инструкций предоставляет целевое значение значения улыбки (далее целевое значение улыбки) блоку 20 генерации содержания после того, как началась диагностика стресса. Целевое значение улыбки, предоставленное блоку 20 генерации содержания, отображается на изображении содержания, как описано ниже. Поэтому пациент может корректировать улыбку так, чтобы оцененное значение улыбки достигло целевого значения улыбки, пока пациент видит изображение содержания, отображаемое на устройстве 502 отображения.[0086] The instruction block 18 provides the smile value target value (hereinafter, the smile target value) to the content generation block 20 after the stress diagnosis has started. The smile target value provided to the content generation unit 20 is displayed on the content image as described below. Therefore, the patient can adjust the smile so that the estimated smile value reaches the target smile value while the patient sees the content image displayed on the display device 502 .

[0087] Блок 16 извлечения характерных точек принимает оцененное значение улыбки от блока 14 измерения значения улыбки и целевое значение улыбки от блока 18 инструкций. В момент времени, когда оцененное значение улыбки достигает целевого значения улыбки, блок 16 извлечения характерных точек извлекает местоположения внешних углов правого и левого глаз, углов рта, центров глаз и т.п. в качестве местоположения характерных точек в соответствии с первым вариантом осуществления из изображения лица пациента, содержащегося во входном изображении.[0087] The feature point extraction unit 16 receives the estimated smile value from the smile value measurement unit 14 and the target smile value from the instruction unit 18 . At the point in time when the estimated smile value reaches the target smile value, the feature point extractor 16 extracts the locations of the outer corners of the right and left eyes, the corners of the mouth, the centers of the eyes, and the like. as the location of the feature points according to the first embodiment from the image of the patient's face contained in the input image.

[0088] Например, в случае, когда используется первый аспект способа оценки стресса в соответствии с первым вариантом осуществления, определяются следующие местоположения: местоположения внешнего угла (a1) одного из глаз и угла (b1) рта; и местоположения внешнего угла (a2) другого глаза и противоположного угла (b2) рта. В случае, когда используется второй аспект способа оценки стресса в соответствии с первым вариантом осуществления, извлекаются следующие местоположения: местоположения внешнего угла (a1) одного из глаз, угла (b1) рта и местоположение центра (c1) этого одного из глаз; и местоположения внешнего угла (a2) другого глаза, противоположного угла (b2) рта и местоположение центра (c2) другого глаза.[0088] For example, in the case where the first aspect of the stress assessment method according to the first embodiment is used, the following locations are determined: the locations of the outer corner (a1) of one of the eyes and the corner (b1) of the mouth; and the location of the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth. In the case where the second aspect of the stress estimation method according to the first embodiment is used, the following locations are retrieved: the locations of the outer corner (a1) of one of the eyes, the corner (b1) of the mouth, and the location of the center (c1) of that one of the eyes; and the location of the outer corner (a2) of the other eye, the opposite corner (b2) of the mouth, and the location of the center (c2) of the other eye.

[0089] Блок 22 вычисления показателя стресса вычисляет значение (значение показателя стресса), служащее в качестве показателя стресса, в соответствии со способом оценки стресса первого варианта осуществления по местоположению характерных точек, извлеченных блоком 16 извлечения характерных точек. Например, в случае, когда используется первый аспект способа оценки стресса в соответствии с первым вариантом осуществления, блок 22 вычисления показателя стресса проводит линию (a1-b1), проходящую через внешний угол (a1) одного из глаз и угол (b1) рта, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта.[0089] The stress index calculation unit 22 calculates a value (stress index value) serving as a stress index according to the stress evaluation method of the first embodiment from the location of feature points extracted by the feature point extractor 16 . For example, in the case where the first aspect of the stress evaluation method according to the first embodiment is used, the stress index calculation unit 22 draws a line (a1-b1) passing through the outer corner (a1) of one of the eyes and the corner (b1) of the mouth, and a line (a2-b2) passing through the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth.

[0090] Затем блок 22 вычисления показателя стресса измеряет: угол (θ1), образованный проведенной линией (a1-b1) и опорной линией; и угол (θ1), образованный проведенной линией (a2-b2) и опорной линией. Блок 22 вычисления показателя стресса устанавливает в качестве параметров измеренные значения углов «θ1» и «θ2». Блок 22 вычисления показателя стресса вычисляет в качестве значения показателя стресса разность (θ1-θ2) углов θ1 и θ2, которые являются полученными параметрами.[0090] Then, the stress index calculation unit 22 measures: the angle (θ1) formed by the drawn line (a1-b1) and the reference line; and an angle (θ1) formed by the drawn line (a2-b2) and the reference line. The stress index calculation unit 22 sets the measured values of the angles "θ1" and "θ2" as parameters. The stress index calculation unit 22 calculates, as the stress index value, the difference (θ1-θ2) of the angles θ1 and θ2, which are obtained parameters.

[0091] В случае, когда используется второй аспект способа оценки стресса в соответствии с первым вариантом осуществления, блок 22 вычисления показателя стресса проводит: линию (a1-b1), проходящую через внешний угол (a1) одного из глаз и угол (b1) рта; линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта; и линию центра глаз, проходящую через местоположение центра (c1) одного из глаз и местоположение центра (c2) другого глаза.[0091] In the case where the second aspect of the stress assessment method according to the first embodiment is used, the stress index calculation unit 22 draws: a line (a1-b1) passing through the outer corner (a1) of one of the eyes and the corner (b1) of the mouth ; a line (a2-b2) passing through the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth; and an eye center line passing through the center location (c1) of one of the eyes and the center location (c2) of the other eye.

[0092] Затем блок 22 вычисления показателя стресса вычисляет: угол (θ1'), образованный проведенной линией (a1-b1) и линией центра глаз, т.е. опорной линией; и угол (θ2'), образованный проведенной линией (a2-b2) и линией центра глаз, т.е. опорной линией. Блок 22 вычисления показателя стресса устанавливает в качестве параметров значения измеренных углов «θ1'» и «θ2'». Блок 22 вычисления показателя стресса вычисляет в качестве значения показателя стресса разность (θ1'-θ2') углов θ1' и θ2', которые являются полученными параметрами.[0092] Then, the stress index calculation unit 22 calculates: the angle (θ1') formed by the drawn line (a1-b1) and the eye center line, i.e. baseline; and the angle (θ2') formed by the drawn line (a2-b2) and the center line of the eyes, i. e. base line. The stress index calculation unit 22 sets the values of the measured angles "θ1'" and "θ2'" as parameters. The stress index calculation unit 22 calculates, as the stress index value, the difference (θ1'-θ2') of the angles θ1' and θ2', which are obtained parameters.

[0093] Далее, в случае, когда используется третий аспект способа оценки стресса согласно первому варианту осуществления, вычисляется параметр, полученный, когда пациент имеет максимальный уровень улыбки, и параметр, полученный, когда пациент имеет нейтральное выражение, с использованием первого аспекта или второго аспекта, объясненных выше, и вычисляется разность параметров в качестве значения показателя стресса. Блок 26 хранения показателя стресса сохраняет значение показателя стресса, вычисленное блоком 22 вычисления показателя стресса, как исторические данные, связанные с данными о дате и т.п.[0093] Next, in the case where the third aspect of the stress assessment method according to the first embodiment is used, the parameter obtained when the patient has the maximum smile level and the parameter obtained when the patient has a neutral expression are calculated using the first aspect or the second aspect explained above, and the parameter difference is calculated as the value of the stress index. The stress score storage unit 26 stores the stress score value calculated by the stress score calculation unit 22 as historical data associated with date data or the like.

[0094] Был показан пример, в котором устройство 1 обработки информации на фиг. 9 извлекает местоположения характерных точек первого варианта осуществления, извлеченные блоком 16 извлечения характерных точек из изображения лица пациента, содержащегося во входном изображении, в момент времени, когда оцененное значение улыбки достигает целевого значения улыбки, но эти процессы не обязательно должны выполняться в режиме реального времени. Например, блок 16 извлечения характерных точек может сохранить в качестве исторического изображения изображение лица пациента в момент времени, когда оцененное значение улыбки достигло целевое значение улыбки, и блок 22 вычисления показателя стресса может позже выполнить обработку.[0094] An example has been shown in which the information processing apparatus 1 in FIG. 9 extracts the feature point locations of the first embodiment extracted by the feature point extractor 16 from the patient's face image contained in the input image at the point in time when the estimated smile value reaches the target smile value, but these processes need not be performed in real time. For example, the feature point extractor 16 may store as a historical image an image of the patient's face at the point in time when the estimated smile value reached the target smile value, and the stress score calculator 22 may later perform processing.

[0095] <Процессы>[0095] <Processes>

<<Общие процессы>><<General Processes>>

Устройство 1 обработки информации в соответствии с настоящим вариантом осуществления выполняет процессы, например, в соответствии с процедурой, изображенной на фиг. 10. Фиг. 10 является блок-схемой последовательности операций примера общего процесса устройства обработки информации в соответствии с настоящим вариантом осуществления. Когда устройство 1 обработки информации принимает операцию для запуска диагностики стресса после того, как пациент выполняет приложение диагностики стресса, устройство 1 обработки информации переходит к этапу S10 для выполнения процесса позиционирования лица, описанного ниже, для позиционирования изображения лица пациента, отображаемого на изображении содержания.The information processing apparatus 1 according to the present embodiment executes processes, for example, in accordance with the procedure shown in FIG. 10. FIG. 10 is a flowchart of an example of a general process of an information processing apparatus according to the present embodiment. When the information processing device 1 receives an operation to start the stress diagnosis after the patient executes the stress diagnosis application, the information processing device 1 proceeds to step S10 to execute the face positioning process described below to position the patient's face image displayed on the content image.

[0096] Переходя к этапу S12, устройство 1 обработки информации выполняет процесс сбора данных, описанный ниже, для получения изображения лица пациента, когда оцененное значение улыбки достигает целевого значения улыбки. Переходя к этапу S14, устройство 1 обработки информации выполняет процесс анализа данных путем вычисления значения показателя стресса по изображению лица, снятом при целевом значении улыбки пациента, полученном на этапе S12. Переходя к этапу S16, устройство 1 обработки информации выполняет процесс вывода отчета для вывода в качестве отчета исторических данных значения показателя стресса, вычисленных на этапе S14.[0096] Advancing to step S12, the information processing device 1 performs the acquisition process described below to acquire an image of the patient's face when the estimated smile value reaches the target smile value. Advancing to step S14, the information processing apparatus 1 performs a data analysis process by calculating a stress score value from a face image taken with the patient's target smile value obtained in step S12. Advancing to step S16, the information processing apparatus 1 executes a report output process to output as a report of the historical data the stress index value calculated in step S14.

[0097] <<S10: Процесс позиционирования лица>>[0097] <<S10: Face positioning process>>

Фиг. 11 является блок-схемой последовательности операций примера процесса позиционирования лица. На этапе S20 блок 12 ввода изображения устройства 1 обработки информации принимает изображение (входное изображение), захваченное устройством 509 получения изображений в блоках кадров. Блок 12 ввода изображения предоставляет входное изображение блоку 20 генерации содержания и отображает изображение содержания, как изображено на фиг. 12, на экране 1000 приложения диагностики стресса. Фиг. 12 является иллюстративным изображением экрана приложения диагностики стресса во время процесса позиционирования лица. На экране 1000 приложения диагностики стресса отображается рамка 1002, которая является целевым местоположением изображения лица, содержащегося во входном изображении.Fig. 11 is a flowchart of an example of a face positioning process. In step S20, the image input unit 12 of the information processing apparatus 1 receives an image (input image) captured by the image acquisition apparatus 509 in blocks of frames. The image input unit 12 provides an input image to the content generation unit 20 and displays the content image as shown in FIG. 12, on the screen 1000 of the stress diagnosis application. Fig. 12 is an exemplary screen shot of a stress diagnosis application during a face positioning process. On the screen 1000 of the stress diagnosis application, a frame 1002 is displayed, which is the target location of the face image contained in the input image.

[0098] Переходя к этапу S22, блок 14 измерения значения улыбки выполняет анализ изображения лица входного изображения, предоставленного блоком 12 ввода изображения, и обнаруживает изображение лица, содержащееся во входном изображении. Процесс на этапах с S20 по S24 повторяется до тех пор, пока не будет обнаружено изображение лица. Когда изображение лица обнаружено, блок 14 измерения значения улыбки переходит к этапу S26 для обнаружения области (общего местоположения) обнаруженного изображения лица.[0098] Advancing to step S22, the smile value measuring unit 14 analyzes the face image of the input image provided by the image input unit 12 and detects the face image contained in the input image. The process in steps S20 to S24 is repeated until a face image is detected. When the face image is detected, the smile value measuring unit 14 proceeds to step S26 to detect an area (general location) of the detected face image.

[0099] Переходя к этапу S28, блок 14 измерения значения улыбки определяет, находится ли общее местоположение обнаруженного изображения лица внутри рамки 1002. Процесс этапов с S20 по S28 повторяется до тех пор, пока общее местоположение обнаруженного изображения лица не будет внутри рамки 1002. Когда определено, что общее местоположение обнаруженного изображения лица находится внутри рамки 1002, блок 20 генерации содержания переходит к этапу S30 для отображения «Индикатор OK», чтобы сообщить пациенту, что местоположение изображения лица находится внутри рамки 1002 (было выполнено позиционирование изображения лица).[0099] Moving on to step S28, the smile value measuring unit 14 determines whether the common location of the detected face image is within the frame 1002. The process of steps S20 to S28 is repeated until the common location of the detected face image is within the frame 1002. When it is determined that the general location of the detected face image is within the frame 1002, the content generation unit 20 proceeds to step S30 to display "OK Indicator" to inform the patient that the location of the face image is within the frame 1002 (positioning of the face image has been performed).

[0100] Переходя к этапу S32, когда блок 10 приема операций устройства 1 обработки информации принимает инструкцию начать захват изображения пациента при отображении «Индикатор OK», блок 10 приема операций заканчивает процесс позиционирования лица на фиг. 11 и начинает процесс сбора данных, как изображено на этапе S12 на фиг. 10.[0100] Proceeding to step S32, when the operation receiving unit 10 of the information processing apparatus 1 receives an instruction to start capturing an image of the patient when "OK indicator" is displayed, the operation receiving unit 10 ends the face positioning process in FIG. 11 and starts the data acquisition process as shown in step S12 in FIG. 10.

[0101] <<S12: Процесс сбора данных>>[0101] <<S12: Data collection process>>

Фиг. 13 является блок-схемой последовательности операций примера процесса сбора данных. На этапе S40 блок 12 ввода изображения устройства 1 обработки информации принимает изображения (входные изображения), захваченные устройством 509 получения изображений, которые вводятся в блоках кадров. Блок 12 ввода изображения предоставляет входное изображение блоку 20 генерации содержания и отображает изображение содержания, как изображено на фиг. 14, на экране 1000 приложения диагностики стресса. Фиг. 14 является иллюстративным изображением экрана приложения диагностики стресса во время процесса сбора данных. На экране 1000 приложения диагностики стресса отображаются целевое значение 1004 улыбки и оцененное значение 1006 улыбки. На фиг. 14 «значение улыбки» отображается как «ОЦЕНКА УЛЫБКИ».Fig. 13 is a flowchart of an example of a data collection process. In step S40, the image input unit 12 of the information processing apparatus 1 receives images (input images) captured by the image acquisition apparatus 509, which are input in blocks of frames. The image input unit 12 provides an input image to the content generation unit 20 and displays the content image as shown in FIG. 14, screen 1000 of the stress diagnosis application. Fig. 14 is an exemplary screen shot of a stress diagnostics application during the data collection process. On the screen 1000 of the stress diagnostic application, the target smile value 1004 and the estimated smile value 1006 are displayed. In FIG. 14 "smile value" is displayed as "SMILE RATING".

[0102] Экран 1000 приложения диагностики стресса с левой стороны является примером целевого значения 1004 улыбки, предоставляющего пациенту инструкцию обеспечить максимальный уровень улыбки. Экран 1000 приложения диагностики стресса справа является примером целевого значения 1004 улыбки, предоставляющего пациенту инструкцию обеспечить минимальный уровень улыбки (нейтральное выражение). Оцененное значение 1006 улыбки является значением улыбки в режиме реального времени, оцененным блоком 14 измерения значения улыбки.[0102] The stress diagnostic application screen 1000 on the left side is an example of a smile target 1004 instructing the patient to achieve the maximum smile level. The stress diagnostic application screen 1000 on the right is an example of a smile target 1004 instructing the patient to achieve a minimum smile level (neutral expression). The estimated smile value 1006 is a real-time smile value estimated by the smile value measurement unit 14 .

[0103] Переходя к этапу S42, блок 14 измерения значения улыбки выполняет анализ изображения лица на входном изображении, предоставленном блоком 12 ввода изображения, и обнаруживает изображение лица, содержащееся во входном изображении. Процесс этапов с S40 по S44 повторяется до тех пор, пока не будет обнаружено изображения лица. Когда изображение лица обнаружено, блок 14 измерения значения улыбки переходит к этапу S46 для оценки значения улыбки обнаруженного изображения лица.[0103] Advancing to step S42, the smile value measuring unit 14 performs face image analysis on the input image provided by the image input unit 12 and detects the face image contained in the input image. The process of steps S40 to S44 is repeated until a face image is detected. When the face image is detected, the smile value measuring unit 14 proceeds to step S46 to evaluate the smile value of the detected face image.

[0104] Процесс этапов с S40 по S48 повторяется до тех пор, пока оцененное значение 1006 улыбки не достигнет целевого значения 1004 улыбки. Когда оцененное значение 1006 улыбки достигло целевого значения 1004 улыбки, блок 16 извлечения характерных точек переходит к этапу S50 для сохранения изображения лица в качестве исторического изображения и значения улыбки пациента в момент времени, когда оцененное значение 1006 улыбки достигло целевого значения 1004 улыбки. Процесс этапов с S40 по S52 повторяется, когда целевое значение 1004 улыбки, отображаемое на экране 1000 приложения диагностики стресса, переключается на целевое значение 1004 улыбки для того, чтобы предоставить пациенту инструкцию обеспечить максимальный уровень улыбки, и целевое значение 1004 улыбки для того, чтобы предоставить пациенту инструкцию обеспечить минимальный уровень улыбки.[0104] The process of steps S40 to S48 is repeated until the estimated smile value 1006 reaches the target smile value 1004. When the estimated smile value 1006 has reached the target smile value 1004, the feature point extractor 16 proceeds to step S50 to store the face image as a historical image and the smile value of the patient at the point in time when the estimated smile value 1006 has reached the target smile value 1004. The process of steps S40 to S52 is repeated when the smile target 1004 displayed on the stress diagnosis application screen 1000 switches to the smile target 1004 in order to instruct the patient to provide the maximum smile level, and the smile target 1004 to provide the patient is instructed to ensure a minimum smile level.

[0105] Соответственно, на этапе S50 изображение лица пациента, полученное в момент, когда оцененное значение 1006 улыбки достигает максимального уровня улыбки или минимального уровня улыбки, может быть сохранено как историческое изображение. Когда ввод входного изображения закончен, процесс сбора данных на фиг. 13 завершается, и начинается процесс анализа данных, изображенный на этапе S14 на фиг. 10.[0105] Accordingly, in step S50, the patient's face image obtained at the time when the estimated smile value 1006 reaches the maximum smile level or the minimum smile level can be stored as a historical image. When the input image input is completed, the data acquisition process in FIG. 13 ends and the data analysis process shown in step S14 in FIG. 10.

[0106] Как было объяснено в первом варианте осуществления, экраном 1000 приложения диагностики стресса на фиг. 14 может быть экран 1000 приложения диагностики стресса на фиг. 15 для предотвращения намеренного изменения выражения лица пациентом при взгляде на монитор. Фиг. 15 является иллюстративным изображением экрана приложения диагностики стресса, на котором лицо пациента маскируется. Экран 1000 приложения диагностики стресса на фиг. 15 является примером, в котором применяется маскирование 1008 для сокрытия изображения лица, включая глаза, нос и рот пациента, отображаемого на устройстве 502 отображения.[0106] As explained in the first embodiment, the stress diagnosis application screen 1000 in FIG. 14 may be the stress diagnostic application screen 1000 of FIG. 15 to prevent the patient from intentionally changing facial expressions when looking at the monitor. Fig. 15 is an exemplary screen of a stress diagnosis application in which the patient's face is masked. The stress diagnostic application screen 1000 in FIG. 15 is an example in which masking 1008 is applied to hide the image of the face, including the eyes, nose, and mouth of the patient, displayed on the display device 502.

[0107] <<S14: процесс анализа данных>>[0107] <<S14: data analysis process>>

Фиг. 16 является блок-схемой последовательности операций примера процесса анализа данных. Блок 16 извлечения характерных точек устройства 1 обработки информации на этапе S60 считывает историческое изображение, сохраненное в процессе сбора данных этапа S12. Переходя к этапу S62, блок 16 извлечения характерных точек выполняет анализ изображения лица на историческом изображении, считанном на этапе S60, для обнаружения изображения лица, содержащегося в историческом изображении. Процессы этапов с S60 по S64 повторяются до тех пор, пока не будет обнаружено изображение лица.Fig. 16 is a flowchart of an example data analysis process. The feature point extraction unit 16 of the information processing apparatus 1 in step S60 reads the historical image stored in the data acquisition process of step S12. Advancing to step S62, the feature point extractor 16 performs face image analysis on the history image read in step S60 to detect a face image included in the history image. The processes of steps S60 to S64 are repeated until a face image is detected.

[0108] Когда изображение лица обнаружено, блок 16 извлечения характерных точек переходит к этапу S66 для извлечения из обнаруженного изображения лица местоположений (данных опознавательных точек) характерных точек, таких как внешние углы правого и левого глаз, углы рта, местоположения центра глаз и т.п. Этап S66 является обработкой для извлечения местоположений характерных точек из изображения лица пациента с максимальным уровнем улыбки или минимальным уровнем улыбки. В процессе извлечения местоположений характерных точек из изображения лица на этапе S66 возможно более точное извлечение путем использования AI (машинного обучения).[0108] When the face image is detected, the feature point extractor 16 proceeds to step S66 to extract from the detected face image the locations (identification point data) of the feature points such as the outer corners of the right and left eyes, the corners of the mouth, the locations of the center of the eyes, etc. P. Step S66 is processing for extracting feature point locations from a face image of a patient with a maximum smile level or a minimum smile level. In the process of extracting the locations of feature points from the face image in step S66, more accurate extraction is possible by using AI (machine learning).

[0109] Переходя к этапу S68, блок 22 вычисления показателя стресса вычисляет значение (значение показателя стресса), служащее в качестве показателя стресса в способе оценки стресса первого варианта осуществления, по местоположениям характерных точек, извлеченных блоком 16 извлечения характерных точек. Переходя к этапу S70, блок 22 вычисления показателя стресса сохраняет, как исторические данные, вычисленное значение показателя стресса в блоке 26 хранения показателя стресса. Когда считывание исторического изображения завершено, завершается процесс анализа данных на фиг. 16.[0109] Proceeding to step S68, the stress index calculation unit 22 calculates a value (stress index value) serving as a stress index in the stress estimation method of the first embodiment from the locations of the feature points extracted by the feature point extractor 16. Advancing to step S70, the stress score calculation unit 22 stores, as historical data, the calculated stress score value in the stress score storage unit 26 . When the reading of the historical image is completed, the data analysis process in FIG. 16.

[0110] Изображение процесса анализа данных на фиг. 16 может отображаться на экране 1000 приложения диагностики стресса, например, как изображено на фиг. 17А и фиг. 17B. Фиг. 17А является иллюстративным изображением экрана приложения диагностики стресса для отображения изображения процесса анализа данных, выполняемого при максимальном уровне улыбки. Фиг. 17B является иллюстративным изображением экрана приложения диагностики стресса для отображения изображения процесса анализа данных, выполняемого при минимальном уровне улыбки.[0110] The image of the data analysis process in FIG. 16 may be displayed on the stress diagnostic application screen 1000, such as shown in FIG. 17A and FIG. 17b. Fig. 17A is an exemplary screen shot of a stress diagnostics application for displaying an image of a data analysis process performed at the maximum smile level. Fig. 17B is an exemplary screen shot of a stress diagnostics application for displaying an image of a data analysis process performed at a minimum smile level.

[0111] Экран 1000 приложения диагностики стресса на фиг. 17А и 17B изображает: в качестве характерных точек местоположения внешнего угла одного из глаз, угол рта, местоположение центра одного из глаз; и местоположения внешнего угла другого глаза, противоположного угла рта, местоположение центра другого глаза, которые были объяснены в первом варианте осуществления. Экран 1000 приложения диагностики стресса на фиг. 17А и 17B изображает линию, проходящую через внешний угол одного из глаз и угол рта, линию, проходящую через внешний угол другого глаза и противоположный угол рта, горизонтальную линию на изображении и линию центра глаз, проходящую через местоположения центров обоих глаз.[0111] The stress diagnostic application screen 1000 of FIG. 17A and 17B depict: as representative points of the location of the outer corner of one of the eyes, the corner of the mouth, the location of the center of one of the eyes; and the locations of the outer corner of the other eye, the opposite corner of the mouth, the location of the center of the other eye, which were explained in the first embodiment. The stress diagnostic application screen 1000 in FIG. 17A and 17B depict a line through the outer corner of one of the eyes and the corner of the mouth, a line through the outer corner of the other eye and the opposite corner of the mouth, a horizontal line in the image, and an eye center line through the center locations of both eyes.

[0112] На экране 1000 приложения диагностики стресса на фиг. 17А и 17B обеспечены: кнопка 1010 для переключения между историческим изображением с максимальным уровнем улыбки и историческим изображением с минимальным уровнем улыбки; и кнопка 1012 для переключения исторических изображений в случае, когда имеется несколько исторических изображений с максимальным уровнем улыбки или минимальным уровнем улыбки.[0112] On the screen 1000 of the stress diagnostic application in FIG. 17A and 17B are provided: a button 1010 for switching between a maximum smile level historical image and a minimum smile level historical image; and a button 1012 for switching historical images in the case where there are multiple historical images with a maximum smile level or a minimum smile level.

[0113] <<S16: Процесс вывода отчета>>[0113] <<S16: Report output process>>

Фиг. 18 является блок-схемой последовательности операций примера процесса вывода отчета. На этапе S80 блок 20 генерации содержания устройства 1 обработки информации считывает исторические данные значения показателя стресса, сохраненные на этапе S14, из блока 26 хранения показателя стресса.Fig. 18 is a flowchart of an example of a report output process. In step S80, the content generation unit 20 of the information processing apparatus 1 reads the stress index value historical data stored in step S14 from the stress index storage unit 26 .

[0114] Переходя к этапу S82, блок 20 генерации содержания сравнивает значение показателя стресса в текущем состоянии (сегодня) со значением показателя стресса в прошлом. Переходя к этапу S84, блок 20 генерации содержания генерирует график отчета на основании результата сравнения этапа S82. Процессы этапов с S80 по S86 повторяются до тех пор, пока не будут считаны все исторические данные пациента.[0114] Moving on to step S82, the content generation unit 20 compares the stress score value in the current state (today) with the stress score value in the past. Proceeding to step S84, the content generation unit 20 generates a report graph based on the comparison result of step S82. The processes of steps S80 to S86 are repeated until all of the patient's historical data has been read.

[0115] После считывания всех исторических данных пациента блок 24 отображения содержания переходит к этапу S88 для отображения общего отчета 1020, как изображено на фиг. 19, включающего в себя график отчета, сгенерированный блоком 20 генерации содержания. Фиг. 19 является иллюстративным изображением экрана приложения диагностики стресса во время отображения общего отчета. Общий отчет 1020 на фиг. 19 отображает изменения значения показателя стресса в хронологическом порядке. В общем отчете 1020 на фиг. 19 значение показателя стресса выражено как степень искажения улыбки. Как изображено в общем отчете 1020 на фиг. 19, изменения значения показателя стресса выражены в виде диаграммы, которая позволяет пациенту легко распознать изменения стресса.[0115] After reading all of the patient's historical data, the content display unit 24 proceeds to step S88 to display the general report 1020 as shown in FIG. 19 including a report graph generated by the content generation unit 20 . Fig. 19 is an exemplary screen shot of a stress diagnosis application during display of the general report. General report 1020 in FIG. 19 displays the changes in the value of the stress index in chronological order. In the general report 1020 in FIG. 19, the value of the stress index is expressed as the degree of smile distortion. As depicted in general report 1020 in FIG. 19, the changes in the value of the stress index are expressed as a chart, which makes it easy for the patient to recognize the changes in stress.

[0116] Например, приложение диагностики стресса в соответствии с настоящим вариантом осуществления может быть предоставлено с функцией проведения опроса для диагностики стресса на экране 1030 опроса, как изображено на фиг. 20, и может выполнять диагностику стресса на основании опроса.[0116] For example, the stress diagnostics application according to the present embodiment may be provided with a polling function for stress diagnostics on the polling screen 1030 as shown in FIG. 20 and can perform stress diagnosis based on the survey.

[0117] В этом случае, например, блок 24 отображения содержания может отображать результат 1040 диагностики стресса на основании анализа изображения лица и результат 1042 диагностики стресса на основании опроса, как изображено на фиг. 21.[0117] In this case, for example, the content display unit 24 may display a stress diagnosis result 1040 based on the face image analysis and a stress diagnosis result 1042 based on a survey, as shown in FIG. 21.

[0118] Настоящее изобретение не ограничивается раскрытыми выше вариантами осуществления, и могут быть сделаны различные модификации и изменения, не отступая от объема формулы изобретения. Например, в вариантах осуществления в качестве примера было объяснено устройство 1 обработки информации, но следует понимать, что функциональные блоки, изображенные на фиг. 9, могут быть организованы в распределенном виде как клиентский терминал 2, серверное устройство 3 и клиентский терминал 4, как изображено на фиг. 6B.[0118] The present invention is not limited to the embodiments disclosed above, and various modifications and changes can be made without departing from the scope of the claims. For example, in the embodiments, the information processing apparatus 1 has been explained as an example, but it should be understood that the functional blocks shown in FIG. 9 may be distributed as a client terminal 2, a server device 3, and a client terminal 4 as shown in FIG. 6b.

[0119] В системе обработки информации, изображенной на фиг. 6B, одинаковый общий отчет 1020 может отображаться клиентским терминалом 2 пациента и клиентским терминалом 4 лица, проводящего тест, или могут отображаться общие отчеты 1020 с различным содержанием для пациента и лица, проводящего тест. В настоящем варианте осуществления используется термин «показатель стресса», но следует понимать, что это может быть термин, составленный из синонима или антонима термина стресс.[0119] In the information processing system shown in FIG. 6B, the same general report 1020 may be displayed by the patient client terminal 2 and the tester client terminal 4, or the general reports 1020 may be displayed with different content for the patient and the tester. In the present embodiment, the term "stress indicator" is used, but it should be understood that this may be a term made up of a synonym or antonym of the term stress.

[0120] В настоящем варианте осуществления была описана улыбка, которая является примером выражения лица. Однако настоящее изобретение также может применяться к выражениям лица помимо улыбок. Программное обеспечение и услуги анализа выражения лица, которые выдают степени эмоций по выражению лица, являются хорошо известными методиками. Кроме того, в настоящем варианте осуществления была описана «перекошенность правой стороны лица относительно левой», которая является примером «перекошенности лица», но настоящий вариант осуществления также может применяться к «перекошенности» помимо «перекошенности правой стороны лица относительно левой». Например, смещение вертикального и горизонтального положения углов рта и внешних углов глаз относительно виртуального центра лица может рассматриваться как «перекошенность».[0120] In the present embodiment, a smile has been described, which is an example of a facial expression. However, the present invention can also be applied to facial expressions other than smiles. Facial analysis software and services that yield degrees of emotion from facial expressions are well known techniques. In addition, in the present embodiment, "skewness of the right side of the face relative to the left", which is an example of "skewness of the face", has been described, but the present embodiment can also be applied to "skewness" other than "skewness of the right side of the face relative to the left". For example, a shift in the vertical and horizontal position of the corners of the mouth and the outer corners of the eyes relative to the virtual center of the face can be considered as "skewness".

[0121] Как описано выше, настоящее изобретение было описано на основании вариантов осуществления. Однако настоящее изобретение не ограничивается вышеупомянутыми вариантами осуществления, и в рамках формулы изобретения могут быть сделаны различные модификации. Настоящая заявка испрашивает приоритет на основании заявки на патент Японии №2017-196505, поданной 10 октября 2017, которая включена в настоящий документ посредством ссылки.[0121] As described above, the present invention has been described based on the embodiments. However, the present invention is not limited to the above embodiments, and various modifications can be made within the scope of the claims. The present application claims priority based on Japanese Patent Application No. 2017-196505, filed October 10, 2017, which is incorporated herein by reference.

Промышленная применимостьIndustrial Applicability

[0122] Способ оценки стресса в соответствии с настоящим изобретением может оценивать значение показателя стресса простым и неинвазивным способом с использованием PC, планшета, смартфона и т.п., и поэтому он полезен для индивидуального управления стрессом каждым человеком и для надлежащего управления уровнями стресса сотрудников со стороны компаний.[0122] The stress assessment method of the present invention can estimate the value of a stress score in a simple and non-invasive way using a PC, tablet, smart phone, or the like, and is therefore useful for individual stress management for each person and for proper management of employee stress levels. from companies.

Список обозначенийList of symbols

[0123][0123]

1 устройство обработки информации1 information processing device

2, 4 клиентский терминал2, 4 client terminal

3 серверное устройство3 server device

5 сеть5 network

10 блок приема операций10 block receiving operations

12 блок ввода изображения12 image input block

14 блок измерения значения улыбки14 smile value measurement unit

16 блок извлечения характерных точек16 feature point extractor

18 блок инструкций18 instruction block

20 блок генерации содержания20 content generation block

22 блок вычисления показателя стресса22 stress indicator calculation block

24 блок отображения содержания24 content display unit

26 блок хранения показателя стресса26 stress indicator storage unit

501, 601 устройство ввода501, 601 input devices

502, 602 устройство отображения502, 602 display device

503, 603 внешний интерфейс503, 603 external interface

503А, 603А носитель информации503A, 603A storage media

504, 604 RAM504, 604 RAM

505, 605 ROM505, 605ROM

506, 606 CPU506, 606 CPU

507, 607 интерфейс связи507, 607 communication interface

508, 608 жесткий диск (HDD)508, 608 hard disk drive (HDD)

509 устройство получения изображений509 imaging device

1000 экран приложения диагностики стресса1000 stress diagnostic app screen

1002 рамка1002 frame

1004 целевое значение улыбки1004 smile target

1006 оцененное значение улыбки1006 estimated smile value

1008 маскирование1008 masking

1010, 1012 кнопки переключения1010, 1012 switch buttons

1020 общий отчет1020 general report

1030 экран опроса1030 polling screen

1040 результат диагностики стресса посредством анализа изображения лица1040 result of stress diagnosis by face image analysis

1042 результат диагностики стресса посредством опроса1042 result of stress diagnosis through a survey

B шинаB bus

Claims (138)

1. Носитель информации, хранящий компьютерную программу для оценки стресса пациента, предписывающую компьютеру функционировать как:1. A storage medium that stores a computer program for assessing patient stress, instructing the computer to function as: средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;measuring means for judging the value of the facial expression of the user contained in the captured image; средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;a display means for displaying the captured image and the facial expression value estimated by the measurement means; средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем отображения сообщения для инструктирования пользователя сделать выражение лица таким образом, чтобы значение выражения лица достигло целевого значения выражения лица, причем целевое значение выражения лица представляет собой значение выражения лица, которое должно быть оценено средством измерения;instructing means for instructing the user to capture an image of the user's face with the image acquisition apparatus by displaying a message for instructing the user to make a facial expression such that the value of the facial expression reaches the target facial expression value, wherein the target facial expression value is the facial expression value to be evaluated by the measuring instrument; средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;extraction means for analyzing the face image of the user captured by the image acquisition device and extracting the locations of feature points on the face image; вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; иcomputing means for calculating a value indicative of stress using the locations of the feature points extracted by the extractor; And средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,an output means for outputting a value indicative of the stress calculated by the computing means, при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда значение выражения лица достигает целевого значения выражения лица,wherein the computing means calculates, as a value serving as a stress indicator, a value representing the facial skewness from the feature points obtained from the face image when the facial expression value reaches the target facial expression value, причем средство отображения отображает захваченное изображение, маскируя при этом часть лица пользователя, содержащегося в захваченном изображении,wherein the display means displays the captured image while masking part of the user's face contained in the captured image, при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией, иwherein the computing means draws a line (a1-b1) passing through the outer corner (a1) of the eye and the corner (b1) of the mouth on the right side, and a line (a2-b2) passing through the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth on the left side of the face image extracted by the feature dot extractor, and calculates, as a value serving as a stress indicator, a value representing the facial skewness obtained when the user makes a facial expression with the assigned facial expression value based on from the angle (θ1) formed by the line (a1-b1) and the reference line and the angle (θ2) formed by the line (a2-b2) and the reference line, and при этом опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.wherein the reference line is a horizontal line of the face image or an eye center line passing through the center location (c1) of the right eye and the center location (c2) of the left eye in the face image extracted as feature points by the extraction means. 2. Носитель информации по п. 1, при этом средство инструктирования инструктирует пользователя захватить изображение лица пользователя с помощью устройства получения изображений путем назначения двух типов значений выражения лица, которые должны оцениваться средством измерения, и вычислительное средство вычисляет в качестве значения, служащего показателем стресса, разность значений, выражающих перекошенность лица, по характерным точкам, полученным из соответствующих изображений лица, когда пользователь делает выражение лица с назначенными двумя типами значений выражения лица.2. The storage medium according to claim 1, wherein the instructing means instructs the user to capture an image of the user's face with the imaging device by assigning two types of facial expression values to be evaluated by the measuring means, and the computing means calculates as a value indicative of stress, a difference of facial skewness expression values from the characteristic points obtained from the respective facial images when the user makes a facial expression with the two types of facial expression values assigned. 3. Носитель информации, хранящий компьютерную программу для оценки стресса пациента, предписывающую компьютеру функционировать как:3. A storage medium that stores a computer program for assessing patient stress, instructing the computer to function as: средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;measuring means for judging the value of the facial expression of the user contained in the captured image; средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;a display means for displaying the captured image and the facial expression value estimated by the measuring means; средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем отображения сообщения для инструктирования пользователя сделать выражение лица таким образом, чтобы значение выражения лица достигло целевого значения выражения лица, причем целевое значение выражения лица представляет собой значение выражения лица, которое должно быть оценено средством измерения;instructing means for instructing the user to capture an image of the user's face with the image acquisition apparatus by displaying a message for instructing the user to make a facial expression such that the value of the facial expression reaches the target facial expression value, wherein the target facial expression value is the facial expression value to be evaluated by the measuring instrument; средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;extraction means for analyzing the face image of the user captured by the image acquisition device and extracting the locations of feature points on the face image; вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; иcomputing means for calculating a value indicative of stress using the locations of the feature points extracted by the extractor; And средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,an output means for outputting a value indicative of the stress calculated by the computing means, при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда значение выражения лица достигает целевого значения выражения лица,wherein the computing means calculates, as a value serving as a stress indicator, a value representing the facial skewness from the feature points obtained from the face image when the facial expression value reaches the target facial expression value, при этом средство инструктирования инструктирует пользователя захватить изображение лица пользователя с помощью устройства получения изображений путем назначения двух типов значений выражения лица, которые должны оцениваться средством измерения, и вычислительное средство вычисляет в качестве значения, служащего показателем стресса, разность значений, выражающих перекошенность лица, по характерным точкам, полученным из соответствующих изображений лица, когда пользователь делает выражение лица с назначенными двумя типами значений выражения лица,wherein the instruction means instructs the user to capture an image of the user's face with the imaging apparatus by assigning two types of facial expression values to be evaluated by the measurement means, and the computing means calculates, as a value serving as a stress indicator, a difference of values expressing facial skewness by characteristic points obtained from the corresponding facial images when the user makes a facial expression with two types of facial expression values assigned, при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией, иwherein the computing means draws a line (a1-b1) passing through the outer corner (a1) of the eye and the corner (b1) of the mouth on the right side, and a line (a2-b2) passing through the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth on the left side of the face image extracted by the feature dot extractor, and calculates, as a value serving as a stress indicator, a value representing the facial skewness obtained when the user makes a facial expression with the assigned facial expression value based on from the angle (θ1) formed by the line (a1-b1) and the reference line and the angle (θ2) formed by the line (a2-b2) and the reference line, and опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.the reference line is a horizontal line of a face image or an eye center line passing through the center location (c1) of the right eye and the center location (c2) of the left eye in the face image extracted as feature dots by the extractor. 4. Носитель информации по п. 3, причем средство отображения отображает захваченное изображение, маскируя при этом часть лица пользователя, содержащегося в захваченном изображении.4. The storage medium according to claim 3, wherein the display means displays the captured image while masking part of the user's face contained in the captured image. 5. Носитель информации, хранящий компьютерную программу для оценки стресса пациента, предписывающую компьютеру функционировать как:5. A storage medium that stores a computer program for assessing patient stress, instructing the computer to function as: средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;measuring means for judging the value of the facial expression of the user contained in the captured image; средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;a display means for displaying the captured image and the facial expression value estimated by the measurement means; средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем назначения значения выражения лица, которое должно быть оценено средством измерения;instructing means for instructing the user to capture an image of the user's face with the image acquisition device by assigning a facial expression value to be estimated by the measurement means; средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;extraction means for analyzing the face image of the user captured by the image acquisition device and extracting the locations of feature points on the face image; вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; иcomputing means for calculating a value indicative of stress using the locations of the feature points extracted by the extractor; And средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,an output means for outputting a value indicative of the stress calculated by the computing means, при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда пользователь делает выражение лица с назначенным значением выражения лица,wherein the computing means calculates, as a value indicative of stress, a value representing the facial skewness from the feature points obtained from the face image when the user makes a facial expression with the assigned facial expression value, при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией.wherein the computing means draws a line (a1-b1) passing through the outer corner (a1) of the eye and the corner (b1) of the mouth on the right side, and a line (a2-b2) passing through the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth on the left side of the face image extracted by the feature dot extractor, and calculates, as a value serving as a stress indicator, a value representing the facial skewness obtained when the user makes a facial expression with the assigned facial expression value based on from the angle (θ1) formed by the line (a1-b1) and the reference line, and the angle (θ2) formed by the line (a2-b2) and the reference line. 6. Носитель информации по п. 5, причем средство отображения отображает захваченное изображение, маскируя при этом часть лица пользователя, содержащегося в захваченном изображении.6. The storage medium according to claim 5, wherein the display means displays the captured image while masking part of the user's face contained in the captured image. 7. Носитель информации по п. 5 или 6, при этом средство инструктирования инструктирует пользователя захватить изображение лица пользователя с помощью устройства получения изображений путем назначения двух типов значений выражения лица, которые должны оцениваться средством измерения, и вычислительное средство вычисляет в качестве значения, служащего показателем стресса, разность значений, выражающих перекошенность лица, по характерным точкам, полученным из соответствующих изображений лица, когда пользователь делает выражение лица с назначенными двумя типами значений выражения лица.7. The storage medium according to claim 5 or 6, wherein the instructing means instructs the user to capture an image of the user's face with the imaging device by assigning two types of facial expression values to be evaluated by the measuring means, and the computing means calculates as a value serving as an indicator stress, the difference of the values expressing the skewed face, according to the characteristic points obtained from the corresponding images of the face, when the user makes a facial expression with assigned two types of facial expression values. 8. Носитель информации по п. 5, при этом опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.8. The storage medium according to claim 5, wherein the reference line is a horizontal line of the face image or an eye center line passing through the center location (c1) of the right eye and the center location (c2) of the left eye in the face image extracted as feature points by the means extraction. 9. Носитель информации, хранящий компьютерную программу для оценки стресса пациента, предписывающую компьютеру функционировать как:9. A storage medium that stores a computer program for assessing patient stress, instructing the computer to function as: средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;measuring means for judging the value of the facial expression of the user contained in the captured image; средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;a display means for displaying the captured image and the facial expression value estimated by the measurement means; средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем назначения значения выражения лица, которое должно быть оценено средством измерения;instructing means for instructing the user to capture an image of the user's face with the image acquisition device by assigning a facial expression value to be estimated by the measurement means; средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;extraction means for analyzing the face image of the user captured by the image acquisition device and extracting the locations of feature points on the face image; вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; иcomputing means for calculating a value indicative of stress using the locations of the feature points extracted by the extractor; And средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,an output means for outputting a value indicative of the stress calculated by the computing means, при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда пользователь делает выражение лица с назначенным значением выражения лица,wherein the computing means calculates, as a value indicative of stress, a value representing the facial skewness from the feature points obtained from the face image when the user makes a facial expression with the assigned facial expression value, при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией, при этом опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.wherein the computing means draws a line (a1-b1) passing through the outer corner (a1) of the eye and the corner (b1) of the mouth on the right side, and a line (a2-b2) passing through the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth on the left side of the face image extracted by the feature dot extractor, and calculates, as a value serving as a stress indicator, a value representing the facial skewness obtained when the user makes a facial expression with the assigned facial expression value based on from the angle (θ1) formed by the line (a1-b1) and the reference line, and the angle (θ2) formed by the line (a2-b2) and the reference line, while the reference line is the horizontal line of the face image or the center line of the eyes passing through the location of the center (c1) of the right eye and the location of the center (c2) of the left eye in the face image extracted as feature dots by the extractor. 10. Носитель информации по п. 9, причем средство отображения отображает захваченное изображение, маскируя при этом часть лица пользователя, содержащегося в захваченном изображении.10. The storage medium according to claim 9, wherein the display means displays the captured image while masking part of the user's face contained in the captured image. 11. Носитель информации по п. 9 или 10, при этом средство инструктирования инструктирует пользователя захватить изображение лица пользователя с помощью устройства получения изображений путем назначения двух типов значений выражения лица, которые должны оцениваться средством измерения, и вычислительное средство вычисляет в качестве значения, служащего показателем стресса, разность значений, выражающих перекошенность лица, по характерным точкам, полученным из соответствующих изображений лица, когда пользователь делает выражение лица с назначенными двумя типами значений выражения лица.11. The storage medium according to claim 9 or 10, wherein the instructing means instructs the user to capture an image of the user's face using the image acquisition device by assigning two types of facial expression values to be evaluated by the measuring means, and the computing means calculates as a value serving as an indicator stress, the difference of the values expressing the skewed face, according to the characteristic points obtained from the corresponding images of the face, when the user makes a facial expression with assigned two types of facial expression values. 12. Система оценки стресса пациента, в которой серверное устройство и клиентское устройство соединяются через сеть, причем система обработки информации содержит:12. A patient stress assessment system, in which the server device and the client device are connected via a network, and the information processing system comprises: средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;measuring means for judging the value of the facial expression of the user contained in the captured image; средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;a display means for displaying the captured image and the facial expression value estimated by the measuring means; средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем отображения сообщения для инструктирования пользователя сделать выражение лица таким образом, чтобы значение выражения лица достигло целевого значения выражения лица, причем целевое значение выражения лица представляет собой значение выражения лица, которое должно быть оценено средством измерения;instructing means for instructing the user to capture an image of the user's face with the image acquisition apparatus by displaying a message for instructing the user to make a facial expression such that the value of the facial expression reaches the target facial expression value, wherein the target facial expression value is the facial expression value to be evaluated by the measuring instrument; средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;extraction means for analyzing the face image of the user captured by the image acquisition device and extracting the locations of feature points on the face image; вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; иcomputing means for calculating a value indicative of stress using the locations of the feature points extracted by the extractor; And средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,an output means for outputting a value indicative of the stress calculated by the computing means, при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда значение выражения лица достигает целевого значения выражения лица,wherein the computing means calculates, as a value serving as a stress indicator, a value representing the facial skewness from the feature points obtained from the face image when the facial expression value reaches the target facial expression value, причем средство отображения отображает захваченное изображение, маскируя при этом часть лица пользователя, содержащегося в захваченном изображении,wherein the display means displays the captured image while masking part of the user's face contained in the captured image, при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией, иwherein the computing means draws a line (a1-b1) passing through the outer corner (a1) of the eye and the corner (b1) of the mouth on the right side, and a line (a2-b2) passing through the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth on the left side of the face image extracted by the feature dot extractor, and calculates, as a value serving as a stress indicator, a value representing the facial skewness obtained when the user makes a facial expression with the assigned facial expression value based on from the angle (θ1) formed by the line (a1-b1) and the reference line and the angle (θ2) formed by the line (a2-b2) and the reference line, and при этом опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.wherein the reference line is a horizontal line of the face image or an eye center line passing through the center location (c1) of the right eye and the center location (c2) of the left eye in the face image extracted as feature points by the extraction means. 13. Система оценки стресса пациента, в которой серверное устройство и клиентское устройство соединяются через сеть, причем система обработки информации содержит:13. A patient stress assessment system, in which the server device and the client device are connected via a network, and the information processing system comprises: средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;measuring means for judging the value of the facial expression of the user contained in the captured image; средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;a display means for displaying the captured image and the facial expression value estimated by the measuring means; средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем отображения сообщения для инструктирования пользователя сделать выражение лица таким образом, чтобы значение выражения лица достигло целевого значения выражения лица, причем целевое значение выражения лица представляет собой значение выражения лица, которое должно быть оценено средством измерения;instructing means for instructing the user to capture an image of the user's face with the image acquisition apparatus by displaying a message for instructing the user to make a facial expression such that the value of the facial expression reaches the target facial expression value, wherein the target facial expression value is the facial expression value to be evaluated by the measuring instrument; средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;extraction means for analyzing the face image of the user captured by the image acquisition device and extracting the locations of feature points on the face image; вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; иcomputing means for calculating a value indicative of stress using the locations of the feature points extracted by the extractor; And средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,an output means for outputting a value indicative of the stress calculated by the computing means, при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда значение выражения лица достигает целевого значения выражения лица,wherein the computing means calculates, as a value serving as a stress indicator, a value representing the facial skewness from the feature points obtained from the face image when the facial expression value reaches the target facial expression value, при этом средство инструктирования инструктирует пользователя захватить изображение лица пользователя с помощью устройства получения изображений путем назначения двух типов значений выражения лица, которые должны оцениваться средством измерения, и вычислительное средство вычисляет в качестве значения, служащего показателем стресса, разность значений, выражающих перекошенность лица, по характерным точкам, полученным из соответствующих изображений лица, когда пользователь делает выражение лица с назначенными двумя типами значений выражения лица,wherein the instruction means instructs the user to capture an image of the user's face with the imaging apparatus by assigning two types of facial expression values to be evaluated by the measurement means, and the computing means calculates, as a value serving as a stress indicator, a difference of values expressing facial skewness by characteristic points obtained from the corresponding facial images when the user makes a facial expression with two types of facial expression values assigned, при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией, иwherein the computing means draws a line (a1-b1) passing through the outer corner (a1) of the eye and the corner (b1) of the mouth on the right side, and a line (a2-b2) passing through the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth on the left side of the face image extracted by the feature dot extractor, and calculates, as a value serving as a stress indicator, a value representing the facial skewness obtained when the user makes a facial expression with the assigned facial expression value based on from the angle (θ1) formed by the line (a1-b1) and the reference line and the angle (θ2) formed by the line (a2-b2) and the reference line, and при этом опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.wherein the reference line is a horizontal line of the face image or an eye center line passing through the center location (c1) of the right eye and the center location (c2) of the left eye in the face image extracted as feature points by the extraction means. 14. Система оценки стресса пациента, в которой серверное устройство и клиентское устройство соединяются через сеть, причем система содержит:14. A patient stress assessment system, wherein a server device and a client device are connected via a network, the system comprising: средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;measuring means for judging the value of the facial expression of the user contained in the captured image; средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;a display means for displaying the captured image and the facial expression value estimated by the measuring means; средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем назначения значения выражения лица, которое должно быть оценено средством измерения;instructing means for instructing the user to capture an image of the user's face with the image acquisition device by assigning a facial expression value to be estimated by the measurement means; средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;extraction means for analyzing the face image of the user captured by the image acquisition device and extracting the locations of feature points on the face image; вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; иcomputing means for calculating a value indicative of stress using the locations of the feature points extracted by the extractor; And средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,an output means for outputting a value indicative of the stress calculated by the computing means, при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда пользователь делает выражение лица с назначенным значением выражения лица,wherein the computing means calculates, as a value indicative of stress, a value representing the facial skewness from the feature points obtained from the face image when the user makes a facial expression with the assigned facial expression value, при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией.wherein the computing means draws a line (a1-b1) passing through the outer corner (a1) of the eye and the corner (b1) of the mouth on the right side, and a line (a2-b2) passing through the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth on the left side of the face image extracted by the feature dot extractor, and calculates, as a value serving as a stress indicator, a value representing the facial skewness obtained when the user makes a facial expression with the assigned facial expression value based on from the angle (θ1) formed by the line (a1-b1) and the reference line, and the angle (θ2) formed by the line (a2-b2) and the reference line. 15. Система оценки стресса пациента, в которой серверное устройство и клиентское устройство соединяются через сеть, причем система обработки информации содержит:15. A patient stress assessment system, in which the server device and the client device are connected via a network, the information processing system comprising: средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;measuring means for judging the value of the facial expression of the user contained in the captured image; средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;a display means for displaying the captured image and the facial expression value estimated by the measuring means; средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем назначения значения выражения лица, которое должно быть оценено средством измерения;instructing means for instructing the user to capture an image of the user's face with the image acquisition device by assigning a facial expression value to be estimated by the measurement means; средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;extraction means for analyzing the face image of the user captured by the image acquisition device and extracting the locations of feature points on the face image; вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; иcomputing means for calculating a value indicative of stress using the locations of the feature points extracted by the extractor; And средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,an output means for outputting a value indicative of the stress calculated by the computing means, при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда пользователь делает выражение лица с назначенным значением выражения лица,wherein the computing means calculates, as a value indicative of stress, a value representing the facial skewness from the feature points obtained from the face image when the user makes a facial expression with the assigned facial expression value, при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией, при этом опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.wherein the computing means draws a line (a1-b1) passing through the outer corner (a1) of the eye and the corner (b1) of the mouth on the right side, and a line (a2-b2) passing through the outer corner (a2) of the other eye and the opposite corner (b2) of the mouth on the left side of the face image extracted by the feature dot extractor, and calculates, as a value serving as a stress indicator, a value representing the facial skewness obtained when the user makes a facial expression with the assigned facial expression value based on from the angle (θ1) formed by the line (a1-b1) and the reference line, and the angle (θ2) formed by the line (a2-b2) and the reference line, while the reference line is the horizontal line of the face image or the center line of the eyes passing through the location of the center (c1) of the right eye and the location of the center (c2) of the left eye in the face image extracted as feature dots by the extractor. 16. Способ оценки стресса пациента, содержащий:16. A method for assessing a patient's stress, comprising: (1) этап, на котором инструктируют пациента направить лицо прямо к устройству получения изображений с максимальным уровнем улыбки;(1) a step in which the patient is instructed to direct the face directly towards the imaging device with a maximum smile level; (2) этап, на котором захватывают изображение лица пациента с помощью устройства получения изображений;(2) a step of capturing an image of the patient's face with the imaging device; (3) этап, на котором обрабатывают захваченное изображение лица для получения параметра, отражающего стресс; и(3) a step in which the captured face image is processed to obtain a parameter indicative of stress; And (4) этап, на котором вычисляют значение показателя стресса путем вычисления с использованием упомянутого параметра, полученного путем обработки упомянутого изображения лица, при этом:(4) a step in which the stress index value is calculated by calculating using said parameter obtained by processing said face image, wherein: этап (3) дополнительно содержит:step (3) further comprises: этап, на котором задают соответствующие местоположения внешнего угла правого глаза и левого глаза, правого угла рта и левого угла рта на упомянутом изображении лица;a step of specifying the respective locations of the outer corner of the right eye and the left eye, the right corner of the mouth and the left corner of the mouth in said face image; этап, на котором проводят линию (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линию (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны;a step in which a line (a1-b1) is drawn which passes through the outer corner (a1) of the eye and the corner (b1) of the mouth on one side, and a line (a2-b2) which passes through the outer corner (a2) of the eye and the corner (b2) mouth on the other side; этап, на котором измеряют угол (θ1) между линией (a1-b1) и опорной линией и угол (θ2) между линией (a2-b2) и опорной линией; иa step of measuring the angle (θ1) between the line (a1-b1) and the reference line and the angle (θ2) between the line (a2-b2) and the reference line; And этап, на котором задают значения θ1 и θ2 в качестве параметра на этапе (4).a step in which the values of θ1 and θ2 are set as a parameter in step (4). 17. Способ по п. 16, в котором:17. The method according to claim 16, in which: опорная линия на этапе (3) является горизонтальной линией на упомянутом изображении, иthe reference line in step (3) is a horizontal line in said image, and этап вычисления на этапе (4) содержит этап, на котором вычисляют разность (θ1-θ2) углов θ1 и θ2, иthe calculation step of step (4) comprises a step of calculating the difference (θ1-θ2) of the angles θ1 and θ2, and при этом разность (θ1-θ2) углов является значением показателя стресса.wherein the difference (θ1-θ2) of the angles is the value of the stress index. 18. Способ по п. 16, в котором:18. The method according to claim 16, in which: этап (3) дополнительно содержит:step (3) further comprises: этап, на котором задают местоположения центральной точки (c1) правого глаза и центральной точки (c2) левого глаза на упомянутом захваченном изображении; иa step of specifying the locations of the center point (c1) of the right eye and the center point (c2) of the left eye in said captured image; And этап, на котором обеспечивают линию центров глаз, проходящую через центральную точку (c1) правого глаза и центральную точку (c2) левого глаза, при этом:a step at which a line of eye centers is provided passing through the center point (c1) of the right eye and the center point (c2) of the left eye, while: опорная линия на этапе (3) является линией центров глаз, иthe reference line in step (3) is the eye center line, and упомянутое вычисление на этапе (4) содержит этап, на котором вычисляют разность (θ1-θ2) углов θ1 и θ2, иsaid calculation in step (4) comprises the step of calculating the difference (θ1-θ2) of the angles θ1 and θ2, and при этом разность (θ1-θ2) углов является значением показателя стресса.wherein the difference (θ1-θ2) of the angles is the value of the stress index. 19. Способ оценки стресса пациента, содержащий:19. A method for assessing a patient's stress, comprising: (1А) этап, на котором инструктируют пациента сориентировать лицо прямо к устройству получения изображений с максимальным уровнем улыбки;(1A) a step in which the patient is instructed to orient the face directly towards the imaging device with a maximum smile level; (2А) этап, на котором захватывают изображение с максимальным уровнем улыбки с помощью устройства получения изображений;(2A) a step in which an image with a maximum smile level is captured by the imaging device; (1B) этап, на котором инструктируют пациента принять нейтральное выражение;(1B) the stage at which the patient is instructed to assume a neutral expression; (2B) этап, на котором захватывают изображение с нейтральным выражением с помощью устройства получения изображений;(2B) a step in which an image with a neutral expression is captured by the image acquisition device; (3А) этап, на котором выполняют обработку изображения в отношении изображения с максимальным уровнем улыбки, захваченного на этапе (2А), для получения параметра, отражающего стресс;(3A) a step in which image processing is performed on the maximum smile level image captured in step (2A) to obtain a parameter indicative of stress; (3B) этап, на котором выполняют обработку изображения в отношении изображения с нейтральным выражением, захваченного на этапе (2B), для получения параметра, отражающего стресс; и(3B) a step of performing image processing on the neutral expression image captured in step (2B) to obtain a parameter indicative of stress; And (4) этап, на котором выполняют вычисления с использованием упомянутых параметров, полученных с помощью упомянутой обработки изображений, для вычисления значения показателя стресса, при этом:(4) a step of performing calculations using said parameters obtained by said image processing to calculate a stress score value, wherein: этап (3А) дополнительно содержит:step (3A) further comprises: этап, на котором обеспечивают линию (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны на изображении с максимальным уровнем улыбки, захваченном на этапе (2А), и линию (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны на изображении, захваченном на этапе (2А);a step that provides a line (a1-b1) that passes through the outer corner (a1) of the eye and the corner (b1) of the mouth on one side in the image with the maximum smile level captured in step (2A), and the line (a2-b2 ) that passes through the outer corner (a2) of the eye and the corner (b2) of the mouth on the other side in the image captured in step (2A); этап, на котором измеряют угол (θ1) между линией (a1-b1) и опорной линией и угол (θ2) между линией (a2-b2) и опорной линией; иa step of measuring the angle (θ1) between the line (a1-b1) and the reference line and the angle (θ2) between the line (a2-b2) and the reference line; And этап, на котором берут каждый из угла θ1 и угла θ2 в качестве параметра,a step of taking each of the angle θ1 and the angle θ2 as a parameter, при этом этап (3B) содержит:wherein step (3B) comprises: этап, на котором обеспечивают линию (a1''-b1''), которая проходит через внешний угол (a1'') глаза и угол (b1'') рта с одной стороны на изображении с нейтральным выражением, захваченном на этапе (2B), и линию (a2''-b2''), которая проходит через внешний угол (a2'') глаза и угол (b2'') рта с другой стороны на изображении, захваченном на этапе (2B);a step in which a line (a1''-b1'') is provided that passes through the outer corner (a1'') of the eye and the corner (b1'') of the mouth on one side in the neutral expression image captured in step (2B) , and a line (a2''-b2'') that passes through the outer corner (a2'') of the eye and the corner (b2'') of the mouth on the other side in the image captured in step (2B); этап, на котором измеряют угол (θ1'') между линией (a1''-b1'') и упомянутой опорной линией и угол (θ2'') между линией (a2''-b2'') и упомянутой опорной линией; иa step of measuring the angle (θ1'') between the line (a1''-b1'') and said reference line and the angle (θ2'') between the line (a2''-b2'') and said reference line; And этап, на котором берут каждый из угла θ1'' и угла θ2'' в качестве параметра, иa step of taking each of the angle θ1'' and the angle θ2'' as a parameter, and при этом упомянутое вычисление на этапе (4) дополнительно содержит:wherein said calculation in step (4) further comprises: этап, на котором вычисляют разность (θ1-θ2) углов θ1 и θ2, которые являются параметрами для максимального уровня улыбки, полученными на этапе (3А), и разность (θ1''-θ2'') углов θ1'' и θ2'', которые являются параметрами для нейтрального выражения, полученными на этапе (3B);a step of calculating the difference (θ1-θ2) of the angles θ1 and θ2, which are the parameters for the maximum smile level obtained in step (3A), and the difference (θ1''-θ2'') of the angles θ1'' and θ2'' , which are the parameters for the neutral expression obtained in step (3B); этап, на котором вычисляют разность ((θ1-θ2)-(θ1''-θ2'')) упомянутых разностей углов; иa step of calculating a difference ((θ1-θ2)-(θ1''-θ2'')) of said angle differences; And этап, на котором используют разность ((θ1-θ2)-(θ1''-θ2'')) в качестве значения показателя стресса.a step in which a difference ((θ1-θ2)-(θ1''-θ2'')) is used as a stress index value. 20. Способ по п. 19, в котором этапы (1А), (2А), (1B) и (2B) последовательно многократно повторяются в этом порядке, и упомянутый параметр на этапе (3А) является средним значением угла θ1 и угла θ2, полученных в каждом измерении в соответствующих циклах, и упомянутый параметр на этапе (3B) является средним значением угла θ1'' и угла θ2'', полученных в каждом измерении в соответствующих циклах.20. The method of claim 19, wherein steps (1A), (2A), (1B), and (2B) are repeated multiple times in that order, and said parameter in step (3A) is the average of the angle θ1 and the angle θ2, obtained in each measurement in the respective cycles, and said parameter in step (3B) is the average of the angle θ1'' and the angle θ2'' obtained in each measurement in the respective cycles. 21. Система оценки стресса пациента для реализации способа по любому из пп. 16-20, содержащая:21. The system for assessing the stress of the patient to implement the method according to any one of paragraphs. 16-20 containing: средство для выдачи инструкции пациенту;means for issuing instructions to the patient; средство получения изображений для захвата изображения лица пациента;an imaging means for capturing an image of the patient's face; средство обработки изображений для обработки захваченного изображения лица; иan image processing means for processing the captured face image; And вычислительное средство для выполнения вычислений в отношении параметра, полученного посредством обработки изображений.computing means for performing calculations on the parameter obtained by image processing. 22. Носитель информации, хранящий компьютерную программу для оценки стресса пациента для реализации способа по любому из пп. 16-20, содержащую:22. A storage medium that stores a computer program for assessing the patient's stress for implementing the method according to any one of paragraphs. 16-20 containing: выдачу инструкции пациенту;issuing instructions to the patient; обработку изображения лица пациента, захваченного устройством получения изображений, для вывода параметра, отражающего стресс пациента; иprocessing an image of the patient's face captured by the imaging device to output a parameter indicative of the patient's stress; And выполнение вычислений с использованием упомянутого параметра, полученного в результате упомянутой обработки изображений, для вычисления значения показателя стресса.performing calculations using said parameter resulting from said image processing to calculate a stress score value.

Images