RU2703969C1 - Способ и система оценки качества обслуживания клиентов на основе анализа видео- и аудиопотоков с помощью инструментов машинного обучения - Google Patents
Способ и система оценки качества обслуживания клиентов на основе анализа видео- и аудиопотоков с помощью инструментов машинного обучения Download PDFInfo
- Publication number
- RU2703969C1 RU2703969C1 RU2018144230A RU2018144230A RU2703969C1 RU 2703969 C1 RU2703969 C1 RU 2703969C1 RU 2018144230 A RU2018144230 A RU 2018144230A RU 2018144230 A RU2018144230 A RU 2018144230A RU 2703969 C1 RU2703969 C1 RU 2703969C1
- Authority
- RU
- Russia
- Prior art keywords
- client
- employee
- dialogue
- video
- analysis
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Developmental Disabilities (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Child & Adolescent Psychology (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Изобретение относится к способу и системе оценки качества обслуживания клиентов. Технический результат заключается в повышении точности определения оценки качества обслуживания клиентов на основе анализа видео- и аудиопотоков с помощью инструментов машинного обучения в режиме реального времени. Способ, при котором в фоновом режиме в реальном времени получают данные от источника данных, содержащие видео- и аудиозапись пространства с рабочим местом сотрудника; передают полученные данные на сервер; с помощью вычислительного устройства определяют момент начала и момент окончания диалога клиента с сотрудником, сохраняют этот видеофайл диалога клиента с сотрудником; извлекают из видеозаписи параметры поведения клиента; оценивают на основе извлеченных выше параметров поведение клиента в начале диалога и отслеживают динамику изменения поведения клиента в течение всего диалога; рассчитывают интегральный уровень удовлетворенности клиента, с помощью обученной нейронной сети, на основе анализа перечисленных выше параметров; записывают результаты анализа в базу данных. 2 н. и 12 з.п. ф-лы, 2 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
[0001] Настоящее техническое решение относится к области обработки цифровых данных на базе алгоритмов машинного обучения, в частности, к способу и системе оценки качества обслуживания клиентов на основе анализа видео и аудио потоков с помощью инструментов машинного обучения.
УРОВЕНЬ ТЕХНИКИ
[0002] В качестве решений на текущем уровне техники, локально решающих вопросы определения эмоций человека, можно рассматривать публикации, в которых описываются методы определения эмоций человека. Такие решения, например, раскрыты на следующих сайтах компаний: Affectiva (https://www.affectiva.com/), Kairos (https://www.kairos.com/), Nviso (https://www.nviso-insights.com/en), VisionLabs (https://visionlabs.ai/ru/), NTechLab (https://ntechlab.ru/).
[0003] Известны также решения, раскрывающие речевую аналитику. Такие решения, например, раскрыты на следующих сайтах компаний: Nice (https://www.nice.com/), Verint (https://ru.verint.com/), Nuance (https://www.nuance.com/index.html).
[0004] Ключевым недостатком таких решений является то, что они предоставляют только один аналитический инструмент, а именно, либо оценку эмоций, либо речевую аналитику. Также, они не ориентированы на оценку качества обслуживания клиентов и должны быть кастомизированы.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0005] Технической проблемой, на решение которой направлено заявленное техническое решение, является создание способа и системы оценки качества обслуживания клиентов на основе анализа видеопотока с помощью инструментов машинного обучения.
[0006] Технический результат заключается в повышении точности определения оценки качества обслуживания клиентов на основе анализа видео и аудио потоков с помощью инструментов машинного обучения в режиме реального времени.
[0007] В предпочтительном варианте реализации заявлен компьютерно-реализуемый способ оценки качества обслуживания клиентов на основе анализа видео и аудио потоков с помощью инструментов машинного обучения, заключающийся в выполнении этапов, на которых:
- в фоновом режиме в реальном времени получают данные от источника данных, содержащие видео и аудио запись пространства с рабочим местом сотрудника;
- передают полученные данные на сервер, содержащий вычислительное устройство и базу данных;
с помощью вычислительного устройства:
- обрабатывают полученные данные с использованием нейронных сетей в режиме реального времени, а именно определяют момент начала и момент окончания диалога клиента с сотрудником, сохраняют этот видеофайл диалога клиента с сотрудником;
- анализируют сохраненный видеофайл с использованием нейронных сетей, а именно:
- извлекают из видеозаписи следующие параметры: социально-демографические признаки, мимические эмоции клиента и их изменения в течение диалога, количество эмоциональных состояний клиента в рамках этого диалога, повороты головы и направление взгляда, позу клиента и ее изменение в течение этого диалога;
- извлекают из аудиозаписи следующие параметры: тон голоса клиента и его изменения в течение диалога, скорость речи клиента и ее изменения в течение диалога, длительность пауз между репликами клиента в течение диалога, доля позитивных и негативных эмоций клиента, позитивность содержания речи клиента, тон голоса сотрудника и его изменения в течение диалога, скорость речи сотрудника и ее изменения в течение диалога, длительность пауз между репликами сотрудника в течение диалога, доля позитивных и негативных эмоций сотрудника, позитивность содержания речи сотрудника, количество перебиваний со стороны сотрудника;
- оценивают на основе извлеченных выше параметров поведение клиента в начале диалога и отслеживают динамику изменения поведения клиента в течение всего диалога;
- рассчитывают интегральный уровень удовлетворенности клиента, с помощью обученной нейронной сети, на основе анализа перечисленных выше параметров;
- записывают результаты анализа в базу данных.
[0008] В частном варианте время включения системы и выхода из нее конкретным сотрудником приравнивается к общему времени работы данного сотрудника.
[0009] В другом частном варианте дополнительно подсчитывают общее время всех диалогов с различными клиентами, которые состоялись у одного конкретного сотрудника в течение одного рабочего дня и определяют общий процент диалогов данного сотрудника.
[0010] В другом частном варианте при анализе лица клиента различают, по меньшей мере, восемь различных эмоций.
[0011] В другом частном варианте при анализе социально-демографических параметров определяют возрастную категорию, пол и расу клиента.
[0012] В другом частном варианте при анализе интегрального уровня удовлетворенности клиента дополнительно учитывают тип компании, страну ее нахождения, сферу деятельности.
[0013] В другом частном варианте интегральный уровень удовлетворенности клиента может быть скорректирован на основании ввода дополнительных данных: самостоятельной оценки сотрудником, оценки клиентом, оценки внешним экспертом.
[0014] В другом частном варианте при анализе речи клиента дополнительно выявляют ключевые фразы, выделено интонационно, и проверяют их на соответствие с библиотекой скриптов, при этом может быть использована стандартная библиотека, встроенная в систему, либо библиотека, самостоятельно созданная компанией-клиентом, с учетом синонимом.
[0015] В другом частном варианте при анализе речи сотрудника дополнительно выявляют ключевые фразы, выделено интонационно, и проверяют их на соответствие с библиотекой скриптов, при этом может быть использована стандартная библиотека, встроенная в систему, либо библиотека, самостоятельно созданная компанией-клиентом, с учетом синонимом.
[0016] В другом частном варианте системе дополнительно используются нейронные сети для определения индивидуальных рекомендаций каждому сотруднику по улучшению качества клиентского сервиса.
[0017] В другом частном варианте дополнительно рассчитывают среднюю загрузку сотрудника с клиентской работой на основании отношения общего процента диалогов сотрудника к общему времени работы системы.
[0018] В другом частном варианте в системе дополнительно отображают общую загруженность всего офиса, которую определяют на основе анализа процента длительности всех диалогов сотрудников компании от общего времени работы всех сотрудников в течение выбранного промежутка времени.
[0019] В другом частном варианте источником данных может выступать:
- стационарная веб-камера;
- мобильная камера телефона;
- экран сотрудника, с использованием видеосвязи;
- планшет, направленный на клиента, с встроенной веб-камерой на лицевой стороне экрана.
[0020] Заявленное решение также осуществляется за счет системы оценки качества обслуживания клиентов на основе анализа видео и аудио потоков с помощью инструментов машинного обучения, содержащая:
- источник данных, выполненный с возможностью фиксации видео- аудио данных;
- сервер, связанный каналом передачи данных с источником данных, и содержащий базу данных и вычисли тельное устройство, причем вычислительное устройство выполнено с возможностью выполнения способа по любому из пп. 1-13.
ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0021] Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:
Фиг. 1 иллюстрирует общий вид заявленной системы;
Фиг 2. иллюстрирует общую схему вычислительного устройства.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0022] В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.
[0023] Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.
[0024] Настоящее изобретение направлено на обеспечение компьютерно-реализуемого способа и системы оценки качества обслуживания клиентов на основе анализа видео и аудио потоков с помощью инструментов машинного обучения.
[0025] Заявленное решение может быть реализовано на платформе облачной инфраструктуры. Облачные технологии предоставляют пользователю удобную виртуальную среду для хранения и обработки информации, объединяющую в себе аппаратные средства, программное обеспечение, каналы связи, а также службу технической поддержки. Хранение информации в «облаке» при наличии выхода в Интернет дает возможность доступа к ней из любой точки планеты практически с любого вычислительного устройства.
[0026] Как представлено на Фиг. 1, заявленная система (100) включает источник данных (101) от которого поступают данные, содержащие видео и аудио запись пространства с рабочим местом сотрудника. При этом, источник данных связан с сервером (102), содержащем вычислительное устройство (103) и базу данных (104).
[0027] Компоненты системы соединяются посредством средств передачи данных, которые выбираются из средств, предназначенных для реализации процесса коммуникации между различными блоками посредством проводной и/или беспроводной связи, в частности, такими типами связи могут являться: GSM, GPRS, LTE, 5G, WLAN, Wi-Fi, Bluetooth, BLE, спутниковая связь, NFC, Ethernet, USB, IrDa, Lightning, UART, CAN и т.п.
[0028] Архитектурно программная часть вычислительного устройства (103) представляет собой совокупность программных модулей, обеспечивающих функциональную часть его работы.
[0029] Источник данных (101) выполнен в виде камеры, которая может быть стационарной или мобильной веб-камерой, расположенной, например, в банке или аптеке, или МФЦ, или магазинах, или тому подобных предприятий обслуживания клиентов.
[0030] Далее раскрыт пример работы заявленного способа.
[0031] Видео- и аудио запись пространства с рабочим местом сотрудника получают от камеры (101) и передают на сервер (102).
[0032] На сервере (102) с помощью вычислительного устройства (103) осуществляют обработку полученных от камеры (101) данных в режиме реального времени. Обрабатывают полученные данные с использованием нейронных сетей в режиме реального времени, а именно определяют момент начала и момент окончания диалога клиента с сотрудником, и сохраняют этот видеофайл диалога клиента с сотрудником.
[0033] Нейронные сети - это алгоритмы обучения, которые созданы на основе модели человеческого мозга и направлены на решение многоклассовой, двухклассовой и регрессионной задач.
[0034] Далее анализируют этот сохраненный видеофайл с использованием нейронных сетей, а именно: извлекают из видеозаписи следующие параметры: социально-демографические признаки, мимические эмоции клиента и их изменения в течение диалога, количество эмоциональных состояний клиента в рамках этого диалога, повороты головы и направление взгляда, позу клиента и ее изменение в течение этого диалога.
[0035] Ниже приведен пример на повороте головы:
Голова каждого человека имеет характерную симметричность, поэтому можно определить продольную ось, вертикальную ось и поперечную ось вращения головы человека, относительно которых и определяются три угла поворота головы. Нейронная сеть была обучена на размеченных данных, в которых были определены три угла поворота, и на выходе находит по каждому изображению углы отклонения от соответствующих осей.
[0036] По мимическим эмоциям:
Система извлекает из диалога кадры каждые три секунды. В результате, по каждому кадру, обученная нейронная сеть получает мимические эмоции, при условии, если на кадре имеется лицо человека. Таким образом, в течение всего диалога система имеет возможность оценивать эмоции клиента и их изменение.
[0037] По количеству эмоциональных состояний:
В каждом кадре система находит следующие эмоциональные состояния
- гнев/ярость (Anger);
- презрение (Contempt);
- отвращение (Disgust);
- страх (Fear);
- счастье (Happiness);
- незаинтересованность (Neutral);
- печаль/грусть (Sadness);
- удивление (Surprise)
и строит вероятностное распределение всех данных эмоций для каждого кадра.
[0038] Обученная нейронная сеть эмоционального содержимого в пределах лица включает обнаружение по меньшей мере, восьми различных эмоций из таких, например, как, грусть, стресс, счастье, гнев, разочарование, путаница, колебание, когнитивная перегрузка, фокусировка, участие, внимание, скука, исследование, уверенность, доверие, восторг, отвращение, скептицизм, сомнение, удовлетворение, волнение, смех, спокойствие, любопытство, юмор, грусть, острота или веселье.
[0039] Обученной нейронной сетью может являться сверточная нейронная сеть, дерево решений или любой другой классифицирующий алгоритм, то есть алгоритм, способный классифицировать входные данные на конечное множество классов.
[0040] Нейронная сеть обучена на большом наборе данных. Нейронная сеть может работать как с цветными изображениями, так и с изображениями в градации серого.
[0041] При этом, при анализе социально-демографических параметров с помощью обученной нейронной сети определяют возрастную категорию, пол и расу клиента.
[0042] Для определения возраста, пола и расы человека по его изображению используется нейронная сеть, которая строится на основании большой выборки размеченных данных лиц людей всех рас, полов и возрастов. По каждому новому изображению лица человека нейронная сеть находит ряд характерных принципов, которые свойственны той или иной расе, полу или возрасту и строит распределение вероятностей соответствия итоговому результату. Например, типичный результат работы нейронной сети - это тройка показателей: раса - европеец (90%), пол - мужской (99%), возраст - 30 (80%).
[0043] Далее извлекают из аудиозаписи следующие параметры: тон голоса клиента и его изменения в течение диалога, скорость речи клиента и ее изменения в течение диалога, длительность пауз между репликами клиента в течение диалога, доля позитивных и негативных эмоций клиента, позитивность содержания речи клиента, тон голоса сотрудника и его изменения в течение диалога, скорость речи сотрудника и ее изменения в течение диалога, длительность пауз между репликами сотрудника в течение диалога, доля позитивных и негативных эмоций сотрудника, позитивность содержания речи сотрудника, количество перебиваний со стороны сотрудника.
[0044] При анализе голоса используются две нейронные сети.
1. Анализ тона речи. В ее основе лежат размеченные данные - небольшие фрагменты аудиозаписей, которые выражают те или иные эмоции, например, страх или радость. По данным размеченным данным находятся некоторые признаки, которые соответствуют тем или иным категориям эмоций. В результате, по каждой аудиозаписи можно получить средние показатели различных категорий эмоций.
2. Распознание речи.
[0045] На основе данных нейросетей возможно вычислить следующие показатели:
1. Скорость речи. Система указывает время начала и окончания каждого произнесенного слова, поэтому можно определить количество произнесенных звуков в секунду, а также контролировать изменение скорости речи.
2. Позитивность/негативность эмоций. Результаты нейронной сети по анализу тона речи как раз и находят позитивные/негативные эмоции в речи.
3. Позитивность содержания. По каждому слову строится его векторный вид. Смысл векторного вида слов заключается в том, что расстояние между векторами похожих слов мало (например, красивый и прекрасный). В результате, все слова кластеризуются по похожим типам и внутри каждого кластера определяется уровень позитивности (например, все слова, синонимичные слову красивый, имеют большой положительные уровень позитивности, а слова, синонимичные слову плохой, имеют отрицательный уровень позитивности). В итоге все вектора слов в тексте складываются и по итоговому показателю строится показатель позитивности содержания.
[0046] Оценивают на основе всех извлеченных выше параметров поведение клиента в начале диалога и отслеживают динамику изменения поведения клиента в течение всего диалога.
[0047] Рассчитывают интегральный уровень удовлетворенности клиента, с помощью обученной нейронной сети и записывают результаты анализа в базу данных (104), расположенную на сервере.
[0048] Для расчета интегрального показателя была разработана специальная методика, которая позволяла при просмотре диалога выставлять оценку диалогу по 10 балльной шкале, в зависимости оттого, как прошел диалог. Несколько независимых между собой людей проставляли оценки диалогов, согласно разработанной методике. Кроме того, диалоги оценивали и сами участники диалога (клиент и сотрудник). В результате, по полученным показателям была построена нейронная сеть, которая оценивает интегральный показатель диалога в зависимости от многих входных параметров, описанных выше.
[0049] Помимо описанного выше, в системе дополнительно осуществлена возможность для каждого сотрудника определять время включения системы и выхода из нее конкретным сотрудником, что приравнивается к общему времени работы данного сотрудника.
[0050] Дополнительно подсчитывают общее время всех диалогов с различными клиентами, которые состоялись у одного конкретного сотрудника в течение одного рабочего дня и определяют общий процент диалогов данного сотрудника.
[0051] Общий процент загруженности данного сотрудника - отношение времени диалогов, в которых принимал участи сотрудник, к общему времени работы в течение дня.
[0052] Дополнительно при анализе интегрального уровня удовлетворенности клиента могут учитывать такие параметры, как тип компании, страну ее нахождения, сферу деятельности. Также интегральный уровень удовлетворенности клиента может быть скорректирован на основании ввода дополнительных данных: самостоятельной оценки сотрудником, оценки клиентом, оценки внешним экспертом.
[0053] При анализе речи клиента дополнительно выявляют ключевые фразы, выделено интонационно, и проверяют их на соответствие с библиотекой скриптов, при этом может быть использована стандартная библиотека, встроенная в систему, либо библиотека, самостоятельно созданная компанией-клиентом, с учетом синонимом. Для этого все слова приводятся в инфинитив и происходит поиск по всем фразам из библиотеки скриптов компании или стандартной библиотеки скриптов с возможностью замены некоторых слов на синонимы. Также при поиске фраз учитывается, помимо синонимов, количество дополнительных слов, которые могут быть включены во фразу (например, фразу "как дела?" можно найти в предложении "как ваши, уважаемый Иван Иванович, дела?", несмотря на то, что слова "как" и "дела" стоят не рядом).
[0054] При анализе речи сотрудника дополнительно выявляют ключевые фразы, выделено интонационно, и проверяют их на соответствие с библиотекой скриптов, при этом может быть использована стандартная библиотека, встроенная в систему, либо библиотека, самостоятельно созданная компанией-клиентом, с учетом синонимом.
[0055] Дополнительно в системе используется нейронная сеть для формирования и предоставления персональных советов (индивидуальных рекомендаций) каждому сотруднику по улучшению качества клиентского сервиса. Рекомендации выставляются в результате анализа 3 главных составляющих диалога:
- мимики;
- тона;
- содержания (текста) речи.
По каждому из этих показателей при обучении нейронной сети выставляется эталон, который считается идеальным диалогом. В последующем, если в мимике, например, больше на 10% плохих эмоций, чем в эталоне, то дается подсказка: «Больше улыбайтесь», если же в тоне больше на 20% напуганности, чем в эталоне, то дается подсказка: «Говорите спокойнее».
[0056] В системе также дополнительно по каждому сотруднику компании, помимо среднего показателя удовлетворенности, может быть реализована возможность построения средней загруженности по каждому сотруднику и показатель кросс-продаж, в части, процента диалогов, в которых прозвучала кросс-продажа. После этого, на основе трех показателей строится линейная модель, в которой эффективность - сумма вышеизложенных показателей с заданными весами.
[0057] Средняя загрузка сотрудника клиентской работой определяется следующим образом:
1. Фиксируется время включения системы сотрудником и выхода из нее (общее время работы);
2. Берется общее время всех диалогов, которые состоялись у данного сотрудника в течение одного дня (общий процент диалогов);
3. Время диалогов делится на общее время работы, получается процент загрузки сотрудника клиентской работой.
[0058] В системе можно найти информацию по загруженности всего офиса, которая определяется на основе анализа процента длительности всех диалогов компании от общего времени работы всех сотрудников в течение выбранного промежутка времени (сколько человек работало и сколько было диалогов в определенный промежуток времени). Если загруженность больше 80%, система выдает рекомендацию о выводе дополнительных сотрудников в этот временной промежуток.
[0059] Источником данных может также выступать стационарная веб-камера; мобильная камера телефона/планшета; экран сотрудника, с использованием видеосвязи.
[0060] Заявленное решение позволяет с высокой точностью определять оценку качества обслуживания клиентов на основе анализа видеопотока с помощью инструментов машинного обучения в режиме реального времени.
[0061] Кроме того, использование заявленного решения дополнительно позволяет: выявить удовлетворенность клиентов в различных сферах обслуживания и выявлять причины высокой и низкой удовлетворенности клиента; позволяет провести рейтингование сотрудников по качеству обслуживания и использованию скриптов продаж, определять нагрузку при работе с клиентами.
[0062] На Фиг. 2 далее будет представлена общая схема компьютерного устройства (200), обеспечивающего обработку данных, необходимую для реализации заявленного решения.
[0063] В общем случае устройство (200) содержит такие компоненты, как: один или более процессоров (201), по меньшей мере одну память (202), средство хранения данных (203), интерфейсы ввода/вывода (204), средство В/В (205), средства сетевого взаимодействия (206).
[0064] Процессор (201) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (200) или функционала одного или более его компонентов. Процессор (201) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (202).
[0065] Память (202), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.
[0066] Средство хранения данных (203) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (203) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки транзакционных запросов (логов), идентификаторов пользователей и т.п.
[0067] Интерфейсы (204) представляют собой стандартные средства для подключения и работы с серверной частью (102), например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.
[0068] Выбор интерфейсов (204) зависит от конкретного исполнения устройства (200), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.
[0069] В качестве средств В/В данных (205) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
[0070] Средства сетевого взаимодействия (206) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (205) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.
[0071] Компоненты устройства (200) сопряжены посредством общей шины передачи данных (210).
[0072] В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.
Claims (30)
1. Способ оценки качества обслуживания клиентов на основе анализа видео- и аудиопотоков с помощью инструментов машинного обучения, заключающийся в выполнении этапов, на которых:
- в фоновом режиме в реальном времени получают данные от источника данных, содержащие видео- и аудиозапись пространства с рабочим местом сотрудника;
- передают полученные данные на сервер, содержащий вычислительное устройство и базу данных;
с помощью вычислительного устройства:
- обрабатывают полученные данные с использованием нейронных сетей в режиме реального времени, а именно определяют момент начала и момент окончания диалога клиента с сотрудником, сохраняют этот видеофайл диалога клиента с сотрудником;
- анализируют сохраненный видеофайл с использованием нейронных сетей, а именно:
- извлекают из видеозаписи следующие параметры: социально-демографические признаки, мимические эмоции клиента и их изменения в течение диалога, количество эмоциональных состояний клиента в рамках этого диалога, повороты головы и направление взгляда, позу клиента и ее изменение в течение этого диалога;
- извлекают из аудиозаписи следующие параметры: тон голоса клиента и его изменения в течение диалога, скорость речи клиента и ее изменения в течение диалога, длительность пауз между репликами клиента в течение диалога, доля позитивных и негативных эмоций клиента, позитивность содержания речи клиента, тон голоса сотрудника и его изменения в течение диалога, скорость речи сотрудника и ее изменения в течение диалога, длительность пауз между репликами сотрудника в течение диалога, доля позитивных и негативных эмоций сотрудника, позитивность содержания речи сотрудника, количество перебиваний со стороны сотрудника;
- оценивают на основе извлеченных выше параметров поведение клиента в начале диалога и отслеживают динамику изменения поведения клиента в течение всего диалога;
- рассчитывают интегральный уровень удовлетворенности клиента, с помощью обученной нейронной сети, на основе анализа перечисленных выше параметров;
- записывают результаты анализа в базу данных.
2. Способ по п. 1, характеризующийся тем, что время включения системы и выхода из нее конкретным сотрудником приравнивается к общему времени работы данного сотрудника.
3. Способ по п. 1, характеризующийся тем, что дополнительно подсчитывают общее время всех диалогов с различными клиентами, которые состоялись у одного конкретного сотрудника в течение одного рабочего дня и определяют общий процент диалогов данного сотрудника.
4. Способ по п. 1, характеризующийся тем, что при анализе лица клиента различают, по меньшей мере, восемь различных эмоций.
5. Способ по п. 1, характеризующийся тем, что при анализе социально-демографических параметров определяют возрастную категорию, пол и расу клиента.
6. Способ по п. 1, характеризующийся тем, что при анализе интегрального уровня удовлетворенности клиента дополнительно учитывают тип компании, страну ее нахождения, сферу деятельности.
7. Способ по п. 1, характеризующийся тем, что интегральный уровень удовлетворенности клиента может быть скорректирован на основании ввода дополнительных данных: самостоятельной оценки сотрудником, оценки клиентом, оценки внешним экспертом.
8. Способ по п. 1, характеризующийся тем, что при анализе речи клиента дополнительно выявляют ключевые фразы, выделено интонационно, и проверяют их на соответствие с библиотекой скриптов, при этом может быть использована стандартная библиотека, встроенная в систему, либо библиотека, самостоятельно созданная компанией-клиентом, с учетом синонимов.
9. Способ по п. 1, характеризующийся тем, что при анализе речи сотрудника дополнительно выявляют ключевые фразы, выделено интонационно, и проверяют их на соответствие с библиотекой скриптов, при этом может быть использована стандартная библиотека, встроенная в систему, либо библиотека, самостоятельно созданная компанией-клиентом, с учетом синонимов.
10. Способ по п. 1, характеризующийся тем, что в системе дополнительно используются нейронные сети для определения индивидуальных рекомендаций каждому сотруднику по улучшению качества клиентского сервиса.
11. Способ по п. 1, характеризующийся тем, что дополнительно рассчитывают среднюю загрузку сотрудника с клиентской работой на основании отношения общего процента диалогов сотрудника к общему времени работы системы.
12. Способ по п. 1, характеризующийся тем, что в системе дополнительно отображают общую загруженность всего офиса, которую определяют на основе анализа процента длительности всех диалогов сотрудников компании от общего времени работы всех сотрудников в течение выбранного промежутка времени.
13. Способ по п. 1, характеризующийся тем, что источником данных может выступать:
- стационарная веб-камера;
- мобильная камера телефона;
- экран сотрудника, с использованием видеосвязи;
- планшет, направленный на клиента, с встроенной веб-камерой на лицевой стороне экрана.
14. Система оценки качества обслуживания клиентов на основе анализа видео- и аудиопотоков с помощью инструментов машинного обучения, содержащая:
- источник данных, выполненный с возможностью фиксации видео- и аудиоданных;
- сервер, связанный каналом передачи данных с источником данных и содержащий базу данных и вычислительное устройство, причем вычислительное устройство выполнено с возможностью выполнения способа по любому из пп. 1-13.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018144230A RU2703969C1 (ru) | 2018-12-13 | 2018-12-13 | Способ и система оценки качества обслуживания клиентов на основе анализа видео- и аудиопотоков с помощью инструментов машинного обучения |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018144230A RU2703969C1 (ru) | 2018-12-13 | 2018-12-13 | Способ и система оценки качества обслуживания клиентов на основе анализа видео- и аудиопотоков с помощью инструментов машинного обучения |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2703969C1 true RU2703969C1 (ru) | 2019-10-22 |
Family
ID=68318300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018144230A RU2703969C1 (ru) | 2018-12-13 | 2018-12-13 | Способ и система оценки качества обслуживания клиентов на основе анализа видео- и аудиопотоков с помощью инструментов машинного обучения |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2703969C1 (ru) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110718293A (zh) * | 2019-10-23 | 2020-01-21 | 合肥盛东信息科技有限公司 | 一种护理员服务质量监测评价*** |
| RU2720400C1 (ru) * | 2019-12-30 | 2020-04-29 | Общество с ограниченной ответственностью "ЛАБОРАТОРИЯ ЭМОЦИОНАЛЬНОГО ИНТЕЛЛЕКТА" | Способ повышения эффективности человека на основе оценки и развития эмоционального интеллекта |
| RU2768545C1 (ru) * | 2021-07-19 | 2022-03-24 | Общество С Ограниченной Ответственностью "Инновационный Центр Философия.Ит" | Способ и система распознавания эмоционального состояния сотрудников |
| RU2787530C1 (ru) * | 2021-12-06 | 2023-01-10 | Общество с ограниченной ответственностью фирма "Интерсвязь" | Платформа автоматизации контакт-центров с использованием речевой аналитики |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103040477A (zh) * | 2011-10-12 | 2013-04-17 | 沈金根 | 一种利用手机进行测谎的方法及*** |
| CN104644189A (zh) * | 2015-03-04 | 2015-05-27 | 刘镇江 | 一种心理活动的分析方法 |
| CN105069318A (zh) * | 2015-09-12 | 2015-11-18 | 宁波江东泓源工业设计有限公司 | 一种情绪分析方法 |
| CN106920074A (zh) * | 2017-03-07 | 2017-07-04 | 佛山市融信通企业咨询服务有限公司 | 一种具有心理辅助判断的远程面试方法 |
| RU2672171C1 (ru) * | 2017-10-27 | 2018-11-12 | Игорь Валентинович Михайлов | Способ подготовки рекомендаций для принятия решений на основе компьютеризированной оценки способностей пользователей |
-
2018
- 2018-12-13 RU RU2018144230A patent/RU2703969C1/ru not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103040477A (zh) * | 2011-10-12 | 2013-04-17 | 沈金根 | 一种利用手机进行测谎的方法及*** |
| CN104644189A (zh) * | 2015-03-04 | 2015-05-27 | 刘镇江 | 一种心理活动的分析方法 |
| CN105069318A (zh) * | 2015-09-12 | 2015-11-18 | 宁波江东泓源工业设计有限公司 | 一种情绪分析方法 |
| CN106920074A (zh) * | 2017-03-07 | 2017-07-04 | 佛山市融信通企业咨询服务有限公司 | 一种具有心理辅助判断的远程面试方法 |
| RU2672171C1 (ru) * | 2017-10-27 | 2018-11-12 | Игорь Валентинович Михайлов | Способ подготовки рекомендаций для принятия решений на основе компьютеризированной оценки способностей пользователей |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110718293A (zh) * | 2019-10-23 | 2020-01-21 | 合肥盛东信息科技有限公司 | 一种护理员服务质量监测评价*** |
| RU2720400C1 (ru) * | 2019-12-30 | 2020-04-29 | Общество с ограниченной ответственностью "ЛАБОРАТОРИЯ ЭМОЦИОНАЛЬНОГО ИНТЕЛЛЕКТА" | Способ повышения эффективности человека на основе оценки и развития эмоционального интеллекта |
| RU2768545C1 (ru) * | 2021-07-19 | 2022-03-24 | Общество С Ограниченной Ответственностью "Инновационный Центр Философия.Ит" | Способ и система распознавания эмоционального состояния сотрудников |
| RU2787530C1 (ru) * | 2021-12-06 | 2023-01-10 | Общество с ограниченной ответственностью фирма "Интерсвязь" | Платформа автоматизации контакт-центров с использованием речевой аналитики |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11914962B2 (en) | Reduced training intent recognition techniques | |
| US10319366B2 (en) | Predicting recognition quality of a phrase in automatic speech recognition systems | |
| CN106685916B (zh) | 电子会议智能装置及方法 | |
| CN111641514B (zh) | 会议智能***、用于会议智能的方法和存储介质 | |
| US10346539B2 (en) | Facilitating a meeting using graphical text analysis | |
| US20200075040A1 (en) | Automatic speech-based longitudinal emotion and mood recognition for mental health treatment | |
| US10771627B2 (en) | Personalized support routing based on paralinguistic information | |
| US11392970B2 (en) | Administering a digital survey over voice-capable devices | |
| US20200218781A1 (en) | Sentiment adapted communication | |
| US11709875B2 (en) | Prioritizing survey text responses | |
| US20190341036A1 (en) | Modeling multiparty conversation dynamics: speaker, response, addressee selection using a novel deep learning approach | |
| US8977573B2 (en) | System and method for identifying customers in social media | |
| US20170213190A1 (en) | Method and system for analysing subjects | |
| WO2021000497A1 (zh) | 检索方法、装置、计算机设备和存储介质 | |
| RU2703969C1 (ru) | Способ и система оценки качества обслуживания клиентов на основе анализа видео- и аудиопотоков с помощью инструментов машинного обучения | |
| WO2018184518A1 (zh) | 微博数据处理方法、装置、计算机设备及存储介质 | |
| US20190079916A1 (en) | Using syntactic analysis for inferring mental health and mental states | |
| US20210110415A1 (en) | Enhanced survey information synthesis | |
| US20220201121A1 (en) | System, method and apparatus for conversational guidance | |
| CN111461636A (zh) | 基于虚拟机器人的政务服务平台及应用 | |
| US11361754B2 (en) | Method and system for speech effectiveness evaluation and enhancement | |
| US10674952B1 (en) | Detection and management of memory impairment | |
| US20230067687A1 (en) | System and method and apparatus for integrating conversational signals into a dialog | |
| US20240005911A1 (en) | Systems and methods to improve trust in conversations with deep learning models | |
| US11481460B2 (en) | Selecting items of interest |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20201214 |