RU2673010C1 - Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления - Google Patents
Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления Download PDFInfo
- Publication number
- RU2673010C1 RU2673010C1 RU2017132098A RU2017132098A RU2673010C1 RU 2673010 C1 RU2673010 C1 RU 2673010C1 RU 2017132098 A RU2017132098 A RU 2017132098A RU 2017132098 A RU2017132098 A RU 2017132098A RU 2673010 C1 RU2673010 C1 RU 2673010C1
- Authority
- RU
- Russia
- Prior art keywords
- data
- user
- event
- events
- user behavior
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 title claims abstract description 20
- 230000003993 interaction Effects 0.000 title description 3
- 238000003860 storage Methods 0.000 claims abstract description 17
- 238000013480 data collection Methods 0.000 claims abstract description 11
- 238000012546 transfer Methods 0.000 claims abstract description 5
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 230000008451 emotion Effects 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 239000000126 substance Substances 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 56
- 238000004891 communication Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000013100 final test Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/40—Data acquisition and logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24558—Binary matching operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Изобретение относится к средствам мониторинга поведения пользователя при взаимодействии с контентом. Технический результат заключается в расширении арсенала средств мониторинга поведения пользователя при взаимодействии с контентом на пользовательском устройстве. Система содержит сервер, снабженный базой данных и центральным блоком хранения условий наступления событий поведения пользователя, и по меньшей мере одно пользовательское устройство, снабженное блоком сбора данных, блоком распознавания событий, локальным блоком хранения условий наступления событий поведения пользователя. Блок сбора данных предназначен для проведения сбора первичных данных. Блок распознавания событий предназначен для извлечения признаков событий поведения пользователя, формирования вектора значений таких признаков, сопоставления вектора с предварительно заданными условиями наступления событий, передачи данных о наступлении события на сервер. 2 н. и 14 з.п. ф-лы, 3 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Заявляемая группа изобретений относится к информационным технологиям и может быть использована для мониторинга поведения пользователя при взаимодействии с контентом с целью получения обратной связи от потребителей контента, в том числе, на основе невербальных сигналов в области образования, маркетинга, социологии, управления производственными процессами. Таким контентом могут являться образовательные материалы, включающие мультимедийные онлайн-лекции и материалы дистанционных испытаний, а также материалы маркетинговых и социологических исследований.
ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
Текущий уровень развития информационных технологий (ИТ) определяет тренды развития науки и техники в большинстве отраслей сферы услуг и промышленности, в том числе, современном академическом и корпоративном образовании.
Применение современных инфокоммуникационных технологий для поддержки учебного процесса является на текущий момент одной из наиболее динамично развивающихся сфер применения ИТ, поскольку позволяет решить значительное число проблем, связанных с применением технологий дистанционного обучения. К таким проблемам могут относиться автоматизация сбора, учета и анализа данных об успеваемости обучаемых субъектов, автоматизация наблюдения за ходом дистанционных испытаний, а также повышение эффективности и измерения результативности собственно процесса обучения и, что немаловажно, оценки удовлетворенности обучаемых самим образовательным процессом в онлайн-режиме.
Частично данные проблемы разрешимы путем применения технологий, связанных с системами управления обучением (англ. Learning Management Systems (LMS)), дистанционного надзора в ходе проверочных испытаний – прокторинга (англ. Proctoring), онлайн-лекций – вебинаров и т.д.
Однако в большинстве случаев, в частности в K-12 и корпоративном обучении контроль финальных тестов не решает основную задачу – повысить уровень успеваемости учеников. Кроме того, для некоторых дисциплин и предметов финальные тесты невозможно провести в онлайн формате.
Существующие технические решения позволяют использовать данные об обучаемых, собранные в ходе процесса обучения, либо для обнаружения нечестного поведения в ходе сдачи экзаменов и тестов, либо задействуют не все каналы получения полезных данных об обучаемых, как, к примеру, в случае с биометрическими данными. Общей проблемой, которой обладают такие технические решения, также является проблема, связанная со сбором избыточных данных на файловые серверы, например, необработанных звуковых и видеоданных, которые по объективным причинам занимают значительный объем на средствах хранения данных. Как следствие, вышеописанное приводит к чрезмерной загрузке канала связи между пользовательским устройством и сервером приложений, и к ограничениям при обработке первичных данных, накладываемых аппаратным обеспечением сервера.
Следует отметить, что по существу, обозначенные выше проблемы характерны не только для образовательного процесса, но и для исследований, например, в областях маркетинга и социологии, иными словами – в тех областях, в которых от пользователя для достижения поставленных целей требуется взаимодействие с мультимедийным контентом, предоставляемым в режиме онлайн.
Таким образом, существует необходимость в создании способа и системы сбора данных о поведении пользователей при взаимодействии с онлайн-контентом, рационально использующих вычислительные мощности серверов и пропускную способность каналов связи, причем, способа и системы, предназначенных для получения релевантной обратной связи от пользователя, например:
- получение и анализ данных о степени вовлеченности слушателей в онлайн-лекцию/вебинар;
- получение и анализ данных о степени вовлеченности слушателей в процесс изучения онлайн курсов (в том числе, МООК);
- получение и анализ данных о поведении обучаемого.
Из уровня техники известна система для наблюдения за ходом экзамена (заявка на патент США US 2014/0240507 A1), которая выполнена с возможностью отслеживания и распознавания лица, слежения за монитором компьютера, распознавания речи, обнаружения активных окон во время проведения экзамена. Наблюдение организовано при помощи двух камер, первую камеру надевает экзаменуемый субъект, вторая камера устанавливают с возможностью съемки лица экзаменуемого субъекта. Однако в данной системе сбор всех видеоданных осуществляется на сервер прокторинга, что может привести к чрезмерной загрузке канала связи и к избыточному накоплению мультимедийных данных на сервере.
Известен способ сбора данных о поведении пользователей при просмотре онлайн-контента (заявка на патент США US 2007/0124202), в котором проводят сбор данных о действиях пользователей при просмотре контента, включающих действия, осуществленные при помощи методов “focus” и “blur” языка JavaScript. Однако данный способ предусматривает сбор действий, которые обусловлены исключительно действиями на веб-сайте, например, как часто пользователь осуществляет скроллинг на странице, сворачивает/разворачивает окна, осуществляет переход между различными приложениями.
Известен способ показа рекламы на основе сбора данных о поведении пользователя (заявка на патент США US 2014/0337128), предназначенный для сбора обратной связи от пользователя на основе поведения пользователя на веб-сайте. Способ предполагает сбор данных о предпочтениях пользователей при взаимодействии с рекламными объявлениями, размещенными на веб-сайте, и передает полученные данные на сервер, где они хранятся в агрегированном виде. Однако данный способ не предполагает сбора биометрических данных пользователей, на основе которых можно было бы судить о тех эмоциях (например, уровень внимания или вовлеченности), которые пользователь испытывает при просмотре контента.
Известен способ измерения уровня внимания пользователя (заявка на патент США US 2017/171620). Способ предполагает передачу на пользовательские устройства контента и получение от таких устройств обратной связи в виде данных о том, взаимодействуют ли пользователи каким-либо образом с контентом или отказываются от просмотра, что позволяет оценить уровень внимания и вовлеченности пользователей в процесс взаимодействия с контентом. Однако при осуществлении данного способа невозможно провести сбор биометрических данных пользователей, на основе которых можно было бы судить, например, об уровне вовлеченности пользователя при взаимодействии с контентом, а первичные данные от пользовательских устройств передают на центральный вычислительный узел с целью их последующей обработки.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Задачами, на решение которых направлено настоящее изобретение, являются:
– расширение арсенала средств мониторинга поведения пользователя при взаимодействии с контентом;
– обеспечение мониторинга действий пользователя при взаимодействии с контентом;
- разгрузка канала связи;
- уменьшение объема хранимых данных о поведении пользователя на сервере и снижение технических требований к аппаратному обеспечению сервера при обработке данных.
Технический результат заключается в упрощении процедуры передачи данных о поведении пользователя от пользовательского устройства к серверу при единовременном ее ускорении.
Под пользовательским устройством понимается любое устройство, способное предоставлять контент для пользователя, включая настольные компьютеры, портативные компьютеры, планшеты, смартфоны, игровые консоли или «умные» телевизоры.
Под контентом понимается содержимое любого типа и формы, включая текст, аудио, видео, интерактивные приложения или игры.
Под признаком понимается измеримое свойство или характеристика наблюдаемого явления.
По первому аспекту заявленного изобретения, технический результат достигается тем, что способ мониторинга поведения пользователя при взаимодействии с контентом включает в себя этапы, на которых:
на каждом пользовательском устройстве проводят сбор первичных данных посредством программных и аппаратных средств пользовательского устройства,
извлекают признаки событий поведения пользователя из собранных данных;
формируют вектор значений таких признаков;
сопоставляют сформированный вектор значений признаков с предварительно заданными на пользовательском устройстве условиями наступления событий поведения пользователя;
в случае если при таком сопоставлении найдено соответствие вектора значений признаков, по меньшей мере, одному условию наступления события, передают данные о наступлении такого события на сервер;
проводят запись данных о наступлении такого события в базу данных на сервере.
В предпочтительном случае осуществления изобретения проводят сбор первичных данных, включающих данные о действиях пользователя, совершенные с использованием аппаратных и программных средств пользовательского устройства, биометрические данные пользователя и данные об окружении пользователя. Указанные данные по существу могут быть собраны в форме аудио- и видеоданных, графических и текстовых данных, в том числе биометрических данных пользователя, но не ограничиваться лишь такими формами.
В частном случае осуществления заявленного изобретения дополнительно проводят биометрическую идентификацию пользователя путем сопоставления полученных первичных данных, являющихся биометрическими данными пользователя, с соответствующими эталонными биометрическими данными.
В другом частном случае проводят агрегацию полученных данных о событиях поведения пользователя при накоплении значительного объема таких данных в базе данных на сервере.
По второму аспекту заявленного изобретения технический результат достигается тем, что система мониторинга поведения пользователя при взаимодействии с контентом, содержит:
сервер, снабженный базой данных и центральным блоком хранения условий наступления событий поведения пользователя;
по меньшей мере, одно пользовательское устройство, связанное с сервером, при этом такое устройство снабжено:
блоком сбора данных, предназначенным для:
- проведения сбора первичных данных посредством аппаратных и программных средств пользовательских устройств;
блоком распознавания событий, связанным с блоком сбора данных и предназначенным для:
- извлечения признаков событий поведения пользователя из собранных данных;
- формирования вектора значений таких признаков;
- сопоставления сформированного вектора значений признаков с предварительно заданными условиями наступления событий поведения пользователя;
- передачи данных о наступлении события на сервер, в случае если при сопоставлении найдено соответствие вектора значений признаков, по меньшей мере, одному условию наступления события;
локальным блоком хранения условий наступления событий поведения пользователя, связанным с блоком распознавания событий и центральным блоком хранения условий наступления событий поведения пользователя.
В предпочтительном случае осуществления изобретения блок сбора данных выполнен с возможностью проведения сбора первичных данных, включающих данные о действиях пользователя, совершенных с использованием аппаратных и программных средств пользовательского устройства, биометрические данные пользователя и данные об окружении пользователя. Указанные данные по существу могут быть собраны в форме аудио- и видеоданных, графических и текстовых данных, в том числе биометрических данных пользователя, но не ограничиваться лишь такими формами.
В частном случае осуществления заявленного изобретения, сервер дополнительно снабжен центральным блоком хранения эталонных биометрических данных;
и по меньшей мере, одно пользовательское устройство дополнительно снабжено:
локальным блоком хранения эталонных биометрических данных, связанным с центральным блоком хранения эталонных биометрических данных;
блоком биометрической идентификации пользователя, связанным с локальным блоком хранения эталонных биометрических данных и предназначенного для
- сопоставления первичных данных, которые являются биометрическими данными, с эталонными биометрическими данными;
- передачи данных о наступлении события на сервер, являющегося событием биометрической идентификации пользователя.
В другом частном случае сервер дополнительно снабжен блоком агрегации данных, соединенным с базой данных и предназначенным для агрегации полученных данных о событиях поведения пользователя при накоплении значительного объема таких данных в базе данных на сервере.
Под событиями поведения пользователей для целей настоящей заявки следует понимать события поведения пользователей, включающие, в том числе, подключение дополнительного аппаратного обеспечения к пользовательскому устройству, вызов неразрешенного программного обеспечения на таком устройстве, появление/изменение эмоции на лице пользователя, изменение направления взгляда пользователя, успешное/неуспешное событие идентификации пользователя, но не ограничивающиеся лишь перечисленными событиями.
Под данными о событиях поведения пользователей для целей настоящей заявки следует понимать атрибуты событий поведения пользователей, включающие идентификатор события, наименования события, момент времени или временной интервал возникновения события, значения признаков события, но не ограничивающиеся лишь перечисленными атрибутами.
Также следует отметить, что целесообразной является передача на сервер данных о событиях поведения пользователей, имеющих ненулевое (непустое) значение, и с заранее заданной периодичностью.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Сущность технического решения поясняется чертежами, которые поясняют, но не ограничивают заявляемое изобретение, где:
Фиг. 1 – функциональная схема мониторинга поведения пользователя при взаимодействии с контентом в вычислительной сети;
Фиг. 2 – блок-схема способа мониторинга поведения пользователя при взаимодействии с контентом;
Фиг. 3 – структурная схема системы мониторинга поведения пользователя при взаимодействии с контентом.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
На практике мониторинг поведения пользователя при взаимодействии с контентом предназначен для решения ряда задач, связанных с получением релевантной обратной связи от потребителя такого контента – например, ученика, студента, соискателя при приеме на работу, участника маркетингового или социологического исследования. Для решения таких задач настоящее изобретение может быть использовано в составе систем более общего назначения.
При использовании настоящего изобретения в системах онлайн-прокторинга для контроля экзаменационных испытаний решается задача автоматического распознавания типовых событий поведения студента, что позволяет повысить уровень доверия к документам, подтверждающим преодоление такого испытания.
При использовании настоящего изобретения в системах управления персоналом решается задача автоматизированного контроля тестирования соискателей, в том числе, подтверждения самостоятельности при прохождении тестирования и использования разрешенных регламентом средств.
При использовании настоящего изобретения в системах тестирования для получения сертификации вендоров решается задача оценки реального качества знаний ИТ-специалистов.
При использовании настоящего изобретения в системах управления обучением решается задача информирования лектора о степени вовлеченности и уровне внимания пользователя при участии в онлайн-лекции/вебинаре и массовом открытом онлайн-курсе.
При использовании настоящего изобретения в системах управления производством решается задача мониторинга вовлеченности оператора в производственный процесс, например, при работе с опасными объектами, такими как АЭС, эскалаторы, производственное оборудование. Сигналы о потере концентрации или отсутствии оператора могут доставляться руководству или передаваться на контроллер.
Также настоящее изобретение может быть использовано при проведении маркетинговых или социологических исследований для мониторинга вовлеченности человека и анализа дополнительных факторов (цвет кожи, пол, возраст и т.д.).
Функциональная схема мониторинга поведения пользователя при взаимодействии с контентом в вычислительной сети изображена на фиг. 1. В соответствии с описанными примерами пользователь 100 может являться, в том числе, студентом, соискателем, оператором. Персональные компьютеры 101, ноутбуки 102, портативные устройства 103 являются пользовательскими устройствами (101-103) и могут быть связаны с сервером 104 посредством канала связи 105. Сервер 105, пользовательские устройства (101-103) и соответствующие сетевые соединения могут образовывать локальную вычислительную сеть (LAN) или входить в глобальную вычислительную сеть (WAN). Канал связи 105 может включать сетевые интерфейсы пользовательских устройств (101-103) и сервера 105, устройства коммутации и маршрутизации, проводные и беспроводные линии связи. Обмен данными между названными устройствами может происходить согласно стандартному стеку протоколов, например, TCP/IP.
В предпочтительном случае осуществления изобретения пользовательское устройство (101-103) снабжено средством записи видеоданных, например, веб-камерой, средством записи звуковых данных, например, микрофоном, средством записи рабочего стола, причем названные средства могут являться внешними по отношению к пользовательскому устройству (101-103) или встроенными.
В частном случае осуществления изобретения пользовательское устройство снабжено средствами считывания биометрических данных, которыми могут являться, в том числе, сканер отпечатков пальцев, веб-камера или микрофон.
Перед началом сеанса взаимодействия с контентом в рамках какого-либо мероприятия пользователю 100 обеспечивают возможность предварительной проверки технических параметров пользовательского устройства (101-103) и сети на предмет возможности участия в мероприятии согласно регламенту такого мероприятия. Без успешно пройденной предварительной проверки пользователь 100 может, например, не получить доступ для прохождения экзамена.
Блок-схема способа мониторинга поведения пользователя при взаимодействии с контентом изображена на фиг. 2.
Выполнение действий в способе начинается с проведения сбора первичных данных 200 посредством программных и аппаратных средств пользовательских устройств (101-103). Предпочтительно первичные данные включает в себя данные о действиях пользователя 100, совершенные с использованием аппаратных и программных средств пользовательского устройства (101-103), биометрические данные пользователя 100 и данные о его окружении. Указанные данные по существу могут быть собраны в форме аудио- и видеоданных, графических и текстовых данных, в том числе биометрических данных, но не ограничиваться лишь такими формами.
Затем извлекают признаки событий поведения пользователя из собранных данных 205 и формируют вектор значений таких признаков 210. Каждое событие поведения – это несколько размерностей в векторе. Допустим, для события i определено N значений признаков в векторе. Тогда за событие i отвечает значение из вектора V: V(i,1),…,V(i,N), который соответствует моментам времени t1,…,tN.
Например, вектор значений признаков, описывающий координаты ключевых точек лица пользователя может быть сформирован в следующем общем виде: [x1,y1, …, xm,ym], x ∈ [0, W], y ∈ [0, H] где
m – количество ключевых точек лица;
W – максимальное значение координаты по горизонтали;
H – максимальное значение координаты по вертикали.
Вектор значений признаков, описывающий угол поворота головы пользователя: [roll, yaw, pitch], где переменные принимают значения из диапазона от -90° до 90° или от 0 до 180° в высоту, ширину и глубину.
Вектор значений признаков, описывающий уровень вовлеченности пользователя в процесс взаимодействия с контентом: [e, a], e, a ∈ [0, 100] где
e – уровень экспрессии лица пользователя;
a – уровень внимательности пользователя.
Вектор значений признаков, описывающий количество одновременно подключенных к пользовательскому устройству дополнительных устройств произвольного назначения в определенный момент времени: [d], где
d – количество устройств.
Список событий и соответствующих условий наступления события может быть загружен на пользовательское устройство (101-103) с сервера 104 перед началом мероприятия, при котором происходит взаимодействие пользователя с контентом, в соответствии с регламентом такого мероприятия.
Событиями поведения пользователя в зависимости от регламента мероприятия могут являться, в том числе:
- подключение дополнительно устройства к устройству пользователя, например, второго монитора;
- изменение направления взгляда пользователя;
- изменение количества пользователей в кадре;
- изменение угла поворота головы пользователя;
- изменение уровня экспрессиилица пользователя;
- появление человеческой речи или постороннего шума;
- включение или выключение микрофона;
- включение или выключения веб-камеры;
- переключение активного окна.
После формирования вектора значений признаков сопоставляют такой вектор с предварительно заданными условиями наступления событий поведения пользователя 215.
В частном случае осуществления настоящего изобретения проводят биометрическую идентификацию пользователя 220 путем сопоставления первичных данных, являющихся биометрическими данными пользователя, эталонным биометрическим данным пользователя, предварительно загруженным на пользовательское устройство (101-103) или на сервер 104. Событиями биометрической идентификации могут являться:
- успешная идентификация пользователя;
- неуспешная идентификация пользователя;
- отказ от прохождения идентификации пользователем.
В случае если при сопоставлении 215 найдено соответствие вектора значений признаков, по меньшей мере, одному условию наступления события, передают данные о наступлении такого события в базу данных на сервере 225.
Данные о наступлении события могут быть переданы на сервер в виде кортежа, состоящего из N значений, по одному значению на каждый атрибут кортежа, например, [date, time, event_code], где event_code – код события. Дополнительно упомянутый кортеж может включать значения вектора признаков. При этом целесообразно передавать на сервер данные о поведении пользователя, имеющие ненулевое (непустое) значение, и с заданной заранее периодичностью.
В случае если соответствие вектора значений признаков не было найдено ни одному условию наступления события, повторяют выполнение действий способа, начиная с проведения сбора первичных данных 200.
Затем проводят запись данных о событии поведения пользователя в базу данных на сервере 230.
В частном случае осуществления изобретения проводят агрегацию полученных данных о событиях поведения пользователя 235 при накоплении значительного объема таких данных в базе данных на сервере.
Выполнение действий в способе завершается в случае окончания мероприятия, при котором происходит взаимодействие пользователя с контентом.
Структурная схема системы мониторинга поведения пользователя при взаимодействии с контентом изображена на фиг. 3.
При этом упомянутая система содержит, по меньшей мере, одно пользовательское устройство (101-103), связанное с сервером 104. Каждое пользовательское устройство (101-103) снабжено блоком сбора данных 300, блоком распознавания событий 305 и локальным блоком хранения условий наступления событий 306. Сервер снабжен центральным блоком хранения условий наступления событий 307, базой данных 330 и блоком агрегации данных 335.
В частном случае осуществления настоящего изобретения пользовательское устройство (101-103) дополнительно снабжено блоком биометрической идентификации пользователя 320, локальным блоком хранения эталонных биометрических данных 321, а сервер 104 снабжен центральным блоком хранения эталонных биометрических данных 322.
Блок сбора данных 300 предназначен для проведения сбора первичных данных посредством аппаратных и программных средств пользовательского устройства (101-103). Первичные данные включают данные о действиях пользователя, совершенных с использованием аппаратных и программных средств пользовательских устройств, биометрические данные пользователя и данные об окружении пользователя.
Во время мероприятия блок сбора данных 300 осуществляет сбор данных непрерывно в различной форме, к примеру, аудио- или видеоданных, получаемых от веб-камеры пользовательского устройства (101-103). Такие данные передаются блоку распознавания событий 305 и/или блоку биометрической идентификации 320.
Блок распознавания событий поведения пользователя 305 предназначен для извлечения признаков событий поведения пользователя из собранных первичных данных; формирования вектора значений таких признаков; сопоставления сформированного вектора значений признаков с предварительно заданными условиями наступления событий поведения пользователя; передачи данных о наступлении таких событий на сервер, в случае если при сопоставлении найдено соответствие вектора значений признаков, по меньшей мере, одному условию наступления события.
Локальный блок хранения условий наступления событий 306 предназначен для хранения на пользовательском устройстве предварительно заданных условий наступления событий поведения пользователя, которые определяются перед началом мероприятия в зависимости от регламента такого мероприятия.
Центральный блок хранения условий наступления событий 307 предназначен для хранения всего множества условий наступления событий, возможного для передачи на локальный блок 306.
Блок биометрической идентификации 320 предназначен для сопоставления первичных данных, являющихся биометрическими данными, с эталонными биометрическими данными, и передачи данных о наступлении события на сервер, являющегося событием биометрической идентификации.
Локальный блок хранения эталонных биометрических данных 321 предназначен для хранения эталонных биометрических данных пользователя на соответствующем пользовательском устройстве (101-103).
Центральный блок хранения эталонных биометрических данных 322 предназначен для хранения эталонных биометрических данных пользователя на сервере 104.
Блок агрегации данных 335 предназначен для агрегации полученных данных о событиях поведения пользователя при накоплении значительного объема таких данных в базе данных на сервере 104. Агрегированные данные в дальнейшем могут быть использованы для изучения статистики поведения пользователя, например, студента в ходе лекции, определения уровня вовлеченности пользователя в процесс, или, например, формирования рекомендаций лектору для повышения качества лекции.
Перед началом мероприятия, при котором происходит взаимодействие пользователя с контентом, лектор, проктор, администратор автоматизированной системы или иное уполномоченное лицо проводит выбор тех событий поведения пользователя, мониторинг которых необходим в соответствии с регламентом мероприятия. Центральный блок хранения условий наступления событий 307 передает выбранные события с сервера 104 в локальный блок хранения условий наступления событий 306 на пользовательском устройстве (101-103). Таким образом, в ходе мероприятия будут распознаны и переданы на сервер 104 только те события, которые присутствуют в регламенте мероприятия. Например, если в ходе экзамена студенту разрешено использовать бумагу или книги, то условия события, связанного с изменением направления взгляда пользователя, не будет загружено в локальный блок 306.
Введение в систему локального блока 306 позволяет проводить распознавание событий поведения на пользовательском устройстве (101-103), что исключает необходимость передачи первичных данных на сервер 104, и позволяет существенно разгрузить канал связи 105, а также оптимизировать требования к аппаратному обеспечению сервера 104. Последнее, в свою очередь, приведет к уменьшению задействованных мощностей сервера в ходе мероприятия.
Введение в систему блока распознавания событий 305, предназначенного, в том числе, для передачи данных о событиях поведения пользователя на сервер 104, позволяет также разгрузить канал связи 105 и существенно сократить объем хранимых данных о поведении пользователей на сервере 104, поскольку блок распознавания событий 305 передает на сервер 104 только данные, хранение которых осуществляется в табличном виде. Примером таких данных могут быть атрибуты событий поведения пользователей, включающие идентификатор события, наименования события, момент времени или временной интервал возникновения события, значения признаков события. К тому же, в случае потери связи пользовательского устройства (101-103) с сервером 104, процедура распознавания событий поведения пользователя не прекращается и может производиться «оффлайн». После восстановления связи с сервером 104 упомянутые данные могут быть переданы на сервер 104 в полном объеме.
Введение в систему локального блока 321 позволит исключить передачу биометрических данных пользователя на сервер 104, что в свою очередь упрощает процедуру биометрической идентификации пользователя.
Таким образом, настоящее изобретение при его осуществлении позволяет получить следующие результаты:
- обеспечение мониторинга поведения пользователя при взаимодействии с контентом;
- оптимизация и ускорение процедуры передачи данных о поведении пользователя от пользовательского устройства к серверу;
- разгрузка канала связи,
- уменьшение объема хранимых данных о поведении пользователя на сервере и снижение технических требований к аппаратному обеспечению сервера при обработке данных.
Следует отметить, что приведенные в описании сведения являются примерами, которые иллюстрируют, а не ограничивают объем настоящего изобретения, определенного формулой.
Claims (31)
1. Способ мониторинга поведения пользователя при взаимодействии с контентом, в котором на каждом пользовательском устройстве проводят сбор первичных данных посредством программных и аппаратных средств пользовательского устройства, извлекают признаки событий поведения пользователя из собранных данных, формируют вектор значений таких признаков, сопоставляют сформированный вектор значений признаков с предварительно заданными на пользовательском устройстве условиями наступления событий поведения пользователя, в случае если при таком сопоставлении найдено соответствие вектора значений признаков по меньшей мере одному условию наступления события, передают данные о наступлении такого события на сервер, проводят запись данных о наступлении такого события в базу данных.
2. Способ по п.1, в котором проводят сбор первичных данных, включающих, в том числе, данные о действиях пользователя, совершенные с использованием аппаратных и программных средств пользовательского устройства, биометрические данные пользователя и данные об окружении пользователя.
3. Способ по п.1, в котором проводят биометрическую идентификацию пользователя путем сопоставления полученных биометрических данных и соответствующих эталонных биометрических данных.
4. Способ по п.1, в котором события поведения пользователя являются событиями, включающими, в том числе, подключение дополнительного аппаратного обеспечения к пользовательскому устройству, вызов неразрешенного программного обеспечения на таком устройстве, появление/изменение эмоции на лице пользователя, изменение направления взгляда пользователя.
5. Способ по п.3, в котором события поведения пользователя являются событиями, включающими, в том числе, события биометрической идентификации пользователя.
6. Способ по п.1, в котором передают данные о событиях поведения пользователей, включающие, в том числе, идентификатор события, наименование события, момент времени или временной интервал возникновения события, значения признаков события.
7. Способ по п.6, в котором передают ненулевые значения данных о событиях поведения пользователя с заранее заданной периодичностью.
8. Способ по пп.6 и 7, в котором проводят агрегацию полученных данных о событиях поведения пользователя при накоплении значительного объема таких данных в базе данных на сервере.
9. Система мониторинга поведения пользователя при взаимодействии с контентом, которая содержит:
сервер, снабженный базой данных и центральным блоком хранения условий наступления событий поведения пользователя;
по меньшей мере одно пользовательское устройство, связанное с сервером, при этом такое устройство снабжено:
блоком сбора данных, предназначенным для:
- проведения сбора первичных данных посредством аппаратных и программных средств пользовательских устройств;
блоком распознавания событий, связанным с блоком сбора данных и предназначенным для:
- извлечения признаков событий поведения пользователей из собранных данных;
- формирования вектора значений таких признаков;
- сопоставления сформированного вектора значений признаков с предварительно заданными условиями наступления событий поведения пользователя;
- передачи данных о наступлении события на сервер, в случае если при сопоставлении найдено соответствие вектора значений признаков по меньшей мере одному условию наступления события;
локальным блоком хранения условий наступления событий поведения пользователя, связанным с блоком распознавания событий и центральным блоком хранения условий наступления событий поведения пользователя.
10. Система по п.9, в которой блок сбора данных выполнен с возможностью сбора первичных данных, включающих, в том числе, данные о действиях пользователя, совершенные с использованием аппаратных и программных средств пользовательского устройства, биометрические данные пользователя и данные об окружении пользователя.
11. Система по п.9, в которой сервер дополнительно снабжен центральным блоком хранения эталонных биометрических данных;
и по меньшей мере одно пользовательское устройство дополнительно снабжено:
локальным блоком хранения эталонных биометрических данных, связанным с центральным блоком хранения эталонных биометрических данных;
блоком биометрической идентификации пользователя, связанным с локальным блоком хранения эталонных биометрических данных и предназначенным для
- сопоставления первичных данных, которые являются биометрическими данными, с эталонными биометрическими данными;
- передачи данных о наступлении события на сервер, являющегося событием биометрической идентификации пользователя.
12. Система по п.9, в которой блок распознавания событий поведения пользователей выполнен с возможностью распознавания, в том числе, событий подключения дополнительного аппаратного обеспечения к пользовательскому устройству, вызова неразрешенного программного обеспечения на пользовательском устройстве, появления/изменения эмоции на лице пользователя, изменения направления взгляда пользователя.
13. Система по п.11, в которой блок распознавания событий поведения пользователей выполнен с возможностью распознавания, в том числе, событий биометрической идентификации пользователя.
14. Система по п.9, в которой блок передачи данных о событиях поведения пользователей выполнен с возможностью передачи данных о событиях поведения, включающих, в том числе, идентификатор события, наименование события, момент времени или временной интервал возникновения события, значения признаков события.
15. Система по п.14, в которой блок передачи данных о событиях поведения пользователей выполнен с возможностью передачи ненулевых значений данных о событиях поведения пользователя с заранее заданной периодичностью.
16. Система по пп.14 и 15, в которой сервер дополнительно снабжен блоком агрегации данных, соединенным с базой данных и предназначенным для агрегации полученных данных о событиях поведения пользователя при накоплении значительного объема таких данных в базе данных на сервере.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017132098A RU2673010C1 (ru) | 2017-09-13 | 2017-09-13 | Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления |
| US16/647,470 US11934405B2 (en) | 2017-09-13 | 2017-10-09 | Method for monitoring user behavior when interacting with content and a system for its implementation |
| PCT/RU2017/000747 WO2019054894A1 (ru) | 2017-09-13 | 2017-10-09 | Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления |
| US17/339,333 US12001434B2 (en) | 2017-09-13 | 2021-06-04 | Method for monitoring user behavior when interacting with content and a system for its implementation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017132098A RU2673010C1 (ru) | 2017-09-13 | 2017-09-13 | Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2673010C1 true RU2673010C1 (ru) | 2018-11-21 |
Family
ID=64556433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017132098A RU2673010C1 (ru) | 2017-09-13 | 2017-09-13 | Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US11934405B2 (ru) |
| RU (1) | RU2673010C1 (ru) |
| WO (1) | WO2019054894A1 (ru) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021194372A1 (en) * | 2020-03-26 | 2021-09-30 | Ringcentral, Inc. | Methods and systems for managing meeting notes |
| RU2778208C1 (ru) * | 2021-04-05 | 2022-08-15 | федеральное государственное бюджетное образовательное учреждение высшего образования "Нижегородский государственный технический университет им. Р.Е. Алексеева" (НГТУ) | Система интеллектуального мониторинга поведения пользователя при взаимодействии с контентом |
| US11461794B2 (en) | 2019-02-15 | 2022-10-04 | Yandex Europe Ag | Method and system for verifying accuracy of information associated with digital item |
| US11934405B2 (en) | 2017-09-13 | 2024-03-19 | Alemira Ag | Method for monitoring user behavior when interacting with content and a system for its implementation |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190385711A1 (en) | 2018-06-19 | 2019-12-19 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
| EP3811245A4 (en) | 2018-06-19 | 2022-03-09 | Ellipsis Health, Inc. | MENTAL HEALTH ASSESSMENT SYSTEMS AND METHODS |
| CN111177544B (zh) * | 2019-12-24 | 2023-07-28 | 浙江禾连网络科技有限公司 | 一种基于用户行为数据和用户画像数据的运营***及方法 |
| US11743280B1 (en) * | 2022-07-29 | 2023-08-29 | Intuit Inc. | Identifying clusters with anomaly detection |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070124202A1 (en) * | 2005-11-30 | 2007-05-31 | Chintano, Inc. | Systems and methods for collecting data and measuring user behavior when viewing online content |
| US20080319827A1 (en) * | 2007-06-25 | 2008-12-25 | Microsoft Corporation | Mining implicit behavior |
| US20140337128A1 (en) * | 2003-07-22 | 2014-11-13 | Google Inc. | Content-targeted advertising using collected user behavior data |
| US20160022193A1 (en) * | 2014-07-24 | 2016-01-28 | Sackett Solutions & Innovations, LLC | Real time biometric recording, information analytics and monitoring systems for behavioral health management |
| RU2015138958A (ru) * | 2013-03-15 | 2017-04-19 | Джеймс КАРЕЙ | Способ формирования анализа поведения в системе наблюдения и мониторинга |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9124447B2 (en) * | 2002-07-26 | 2015-09-01 | International Business Machines Corporation | Interactive client computer communication |
| US9684775B2 (en) * | 2014-10-15 | 2017-06-20 | Qualcomm Incorporated | Methods and systems for using behavioral analysis towards efficient continuous authentication |
| US20160128617A1 (en) * | 2014-11-10 | 2016-05-12 | Intel Corporation | Social cuing based on in-context observation |
| US9699178B2 (en) * | 2014-11-25 | 2017-07-04 | International Business Machines Corporation | Temporal modification of authentication challenges |
| AU2016205850B2 (en) * | 2015-01-06 | 2018-10-04 | David Burton | Mobile wearable monitoring systems |
| RU2673010C1 (ru) | 2017-09-13 | 2018-11-21 | Дмитрий Владимирович Истомин | Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления |
-
2017
- 2017-09-13 RU RU2017132098A patent/RU2673010C1/ru active
- 2017-10-09 US US16/647,470 patent/US11934405B2/en active Active
- 2017-10-09 WO PCT/RU2017/000747 patent/WO2019054894A1/ru active Application Filing
-
2021
- 2021-06-04 US US17/339,333 patent/US12001434B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140337128A1 (en) * | 2003-07-22 | 2014-11-13 | Google Inc. | Content-targeted advertising using collected user behavior data |
| US20070124202A1 (en) * | 2005-11-30 | 2007-05-31 | Chintano, Inc. | Systems and methods for collecting data and measuring user behavior when viewing online content |
| US20080319827A1 (en) * | 2007-06-25 | 2008-12-25 | Microsoft Corporation | Mining implicit behavior |
| RU2015138958A (ru) * | 2013-03-15 | 2017-04-19 | Джеймс КАРЕЙ | Способ формирования анализа поведения в системе наблюдения и мониторинга |
| US20160022193A1 (en) * | 2014-07-24 | 2016-01-28 | Sackett Solutions & Innovations, LLC | Real time biometric recording, information analytics and monitoring systems for behavioral health management |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11934405B2 (en) | 2017-09-13 | 2024-03-19 | Alemira Ag | Method for monitoring user behavior when interacting with content and a system for its implementation |
| US12001434B2 (en) | 2017-09-13 | 2024-06-04 | Alemira Ag | Method for monitoring user behavior when interacting with content and a system for its implementation |
| US11461794B2 (en) | 2019-02-15 | 2022-10-04 | Yandex Europe Ag | Method and system for verifying accuracy of information associated with digital item |
| RU2793601C1 (ru) * | 2019-02-15 | 2023-04-04 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и система для проверки точности информации, связанной с цифровым элементом |
| WO2021194372A1 (en) * | 2020-03-26 | 2021-09-30 | Ringcentral, Inc. | Methods and systems for managing meeting notes |
| RU2778208C1 (ru) * | 2021-04-05 | 2022-08-15 | федеральное государственное бюджетное образовательное учреждение высшего образования "Нижегородский государственный технический университет им. Р.Е. Алексеева" (НГТУ) | Система интеллектуального мониторинга поведения пользователя при взаимодействии с контентом |
| RU2795165C1 (ru) * | 2022-06-28 | 2023-04-28 | Общество с ограниченной ответственностью "АМБРЕЛЛА АЛЬЯНС" | Трекер RomDo |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210294806A1 (en) | 2021-09-23 |
| US11934405B2 (en) | 2024-03-19 |
| US12001434B2 (en) | 2024-06-04 |
| WO2019054894A1 (ru) | 2019-03-21 |
| US20200278970A1 (en) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2673010C1 (ru) | Способ мониторинга поведения пользователя при взаимодействии с контентом и система для его осуществления | |
| CN107680019B (zh) | 一种考试方案的实现方法、装置、设备及存储介质 | |
| Bahreini et al. | Towards multimodal emotion recognition in e-learning environments | |
| CN104463423B (zh) | 一种格式化的视频简历采集方法及*** | |
| US20180308114A1 (en) | Method, device and system for evaluating product recommendation degree | |
| Sheard et al. | Inferring student learning behaviour from website interactions: A usage analysis | |
| CN110807090A (zh) | 一种面向在线考试的无人监考方法 | |
| CN111144781A (zh) | 一种基于云端数据的智能人才测评筛选方法 | |
| CN112150331A (zh) | 面向教育目标进行层级分配的教育资源远程共享*** | |
| US20210304339A1 (en) | System and a method for locally assessing a user during a test session | |
| CN111369408A (zh) | 一种医院本科实习生教学管理***及方法 | |
| Slavko et al. | Digitalization of Electrical Engineering Education and Automatic Assessment of Study Results | |
| CN117745494A (zh) | 一种多端融合的3d视频数字化osce考站*** | |
| CN110111011B (zh) | 一种教学质量监管方法、装置及电子设备 | |
| CN111353439A (zh) | 一种教学行为的分析方法、装置、***及设备 | |
| CN109949189A (zh) | 一种线上教学互动效果评价方法与装置 | |
| CN113257060A (zh) | 一种答疑解决方法、装置、设备和存储介质 | |
| Karim et al. | A robust user authentication technique in online examination | |
| CN115204650A (zh) | 一种教学质量的评价方法及装置和电子设备 | |
| CN113268512B (zh) | 基于互联网平台的企业岗位职业技能培训*** | |
| CN108335243A (zh) | 在线学习考试*** | |
| Thombare et al. | Exam proctoring system | |
| CN111209817A (zh) | 基于人工智能的考核方法、装置、设备及可读存储介质 | |
| CN113554909A (zh) | 一种在线教育平台 | |
| CN112116505A (zh) | 一种防作弊在线竞赛***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20200122 |