JP7156743B1 - Video image analysis system - Google Patents
Video image analysis system Download PDFInfo
- Publication number
- JP7156743B1 JP7156743B1 JP2022046383A JP2022046383A JP7156743B1 JP 7156743 B1 JP7156743 B1 JP 7156743B1 JP 2022046383 A JP2022046383 A JP 2022046383A JP 2022046383 A JP2022046383 A JP 2022046383A JP 7156743 B1 JP7156743 B1 JP 7156743B1
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- unit
- user
- moving image
- biological reaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010191 image analysis Methods 0.000 title claims description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 118
- 238000006243 chemical reaction Methods 0.000 claims abstract description 114
- 230000009471 action Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 13
- 230000008859 change Effects 0.000 description 70
- 238000011156 evaluation Methods 0.000 description 44
- 230000008451 emotion Effects 0.000 description 32
- 230000008921 facial expression Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 230000002996 emotional effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008512 biological response Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】オンラインコミュニケーションが主となる状況において、より効率的なコミュニケーションを行うために、これらのコミュニケーションを客観的に評価すること。【解決手段】本開示のシステムは、ユーザの動作に応じて所定の出力を行う外部デバイスと;複数のユーザでオンラインセッションが行われる環境においてオンラインセッション中にユーザが画面に表示されているか否かによらずユーザを撮影することによって得られる動画像をもとにユーザの反応を解析する解析装置と;を含む動画像分析システムである。取得された動画像に基づいて、ユーザについて生体反応の変化を解析し、生体反応の変化を入力信号に変換し外部デバイスに提供する。外部デバイスは、前記解析結果に基づいて特有の出力を行う。【選択図】図1[Problem] To objectively evaluate these communications in order to conduct more efficient communication in a situation where online communication is the main one. A system according to the present disclosure includes an external device that outputs a predetermined output in accordance with a user's operation; and an analysis device for analyzing a user's reaction based on a moving image obtained by photographing the user regardless of the user's behavior. Based on the acquired moving image, changes in the user's biological reaction are analyzed, the changes in the biological reaction are converted into input signals, and provided to the external device. The external device produces a specific output based on the analysis results. [Selection drawing] Fig. 1
Description
本発明は、複数人の参加者でオンラインセッションが行われる環境において、オンラインセッション中に参加者が画面に表示されているか否かによらず、参加者を撮影することによって得られる動画像をもとに参加者の反応を解析する動画像分析システムに関する。 The present invention provides moving images obtained by photographing participants in an environment where an online session is held by a plurality of participants, regardless of whether or not the participants are displayed on the screen during the online session. It relates to a moving image analysis system that analyzes participants' reactions to and.
発言者の発言に対して他者が受ける感情を解析する技術が知られている(例えば、特許文献1参照)。また、対象者の表情の変化を長期間にわたり時系列的に解析し、その間に抱いた感情を推定する技術も知られている(例えば、特許文献2参照)。さらに、感情の変化に最も影響を与えた要素を特定する技術も知られている(例えば、特許文献3~5参照)。さらにまた、対象者の普段の表情と現在の表情とを比較して、表情が暗い場合にアラートを発する技術も知られている(例えば、特許文献6参照)。また、対象者の平常時(無表情時)の表情と現在の表情とを比較して、対象者の感情の度合いを判定するようにした技術も知られている(例えば、特許文献7~9参照)。更に、また、組織としての感情や、個人が感じるグループ内の雰囲気を分析する技術も知られている(例えば、特許文献10、11参照)。
There is known a technique for analyzing the emotions others receive in response to a speaker's utterances (see, for example, Patent Literature 1). There is also known a technique for analyzing changes in facial expressions of a subject in chronological order over a long period of time and estimating the emotions held during that period (see, for example, Patent Literature 2). Furthermore, there are known techniques for identifying factors that have the greatest influence on changes in emotions (see Patent Documents 3 to 5, for example). Furthermore, there is also known a technology that compares the subject's usual facial expression with the current facial expression and issues an alert when the facial expression is dark (see, for example, Patent Document 6). There is also known a technique for determining the degree of emotion of a subject by comparing the subject's normal (expressionless) facial expression with the current facial expression (for example, Patent Documents 7 to 9). reference). Furthermore, there is also known a technique for analyzing the feeling of an organization and the atmosphere within a group that an individual feels (see
上述したすべての技術は、現実空間におけるコミュニケーションが主である状況におけるサブ的な機能にすぎない。即ち、昨今の業務のDX(Digital Transformation)化や、世界的な感染症の流行等を受け、業務や授業等のコミュニケーションがオンラインで行われることが主とされる状況に生まれたものではない。 All the above-mentioned technologies are only secondary functions in situations where communication in the real space is the main activity. In other words, due to the recent DX (Digital Transformation) of business and the worldwide epidemic of infectious diseases, it is not a situation where communication such as business and classes is mainly conducted online.
本発明は、会議や講義等、オンラインコミュニケーションが主となる状況において、より効率的なコミュニケーションを行うために、これらのコミュニケーションを客観的に評価することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to objectively evaluate such communication in order to conduct more efficient communication in situations such as meetings and lectures where online communication is the main focus.
本発明によれば、
ユーザの動作に応じて所定の出力を行う外部デバイスと;複数のユーザでオンラインセッションが行われる環境においてオンラインセッション中にユーザが画面に表示されているか否かによらず前記ユーザを撮影することによって得られる動画像をもとに前記ユーザの反応を解析する解析装置と;を含む動画像分析システムであって、
前記解析装置は、
複数の前記ユーザの夫々について、前記オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、
前記動画像取得部により取得された動画像に基づいて、前記ユーザについて生体反応の変化を解析する解析部と、
前記解析部による解析結果を前記外部デバイスに提供する提供部と、を備えており、
前記外部デバイスは、前記解析結果に基づいて特有の出力を行う、
動画像分析システムが得られる。
According to the invention,
an external device that outputs a predetermined output in response to a user's actions; and by photographing a user during an online session, regardless of whether the user is displayed on the screen in an environment where an online session is conducted by a plurality of users. An analysis device that analyzes the reaction of the user based on the obtained moving image, and a moving image analysis system comprising:
The analysis device is
a moving image acquisition unit that acquires a moving image obtained by photographing the user during the online session for each of the plurality of users;
an analysis unit that analyzes changes in biological reactions of the user based on the moving image acquired by the moving image acquisition unit;
a providing unit for providing the analysis result by the analysis unit to the external device;
The external device performs a specific output based on the analysis result.
A moving image analysis system is obtained.
本開示によれば、ビデオセッションの動画像を分析評価することにより、特に内容に関する評価を客観的に行うことができる。 According to the present disclosure, an objective assessment can be made, particularly regarding content, by analyzing the moving images of a video session.
特に、本発明によれば、オンラインコミュニケーションが主となる状況において、より効率的なコミュニケーションを行うために、交わされたコミュニケーションを客観的に評価することができる。 In particular, according to the present invention, exchanged communication can be objectively evaluated in order to conduct more efficient communication in a situation where online communication is the main activity.
本開示の実施形態の内容を列記して説明する。本開示は、以下のような構成を備える。
[項目1]
ユーザの動作に応じて所定の出力を行う外部デバイスと;複数のユーザでオンラインセッションが行われる環境においてオンラインセッション中にユーザが画面に表示されているか否かによらず前記ユーザを撮影することによって得られる動画像をもとに前記ユーザの反応を解析する解析装置と;を含む動画像分析システムであって、
前記解析装置は、
複数の前記ユーザの夫々について、前記オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、
前記動画像取得部により取得された動画像に基づいて、前記ユーザについて生体反応の変化を解析する解析部と、
前記解析部による解析結果を前記外部デバイスに提供する提供部と、を備えており、
前記外部デバイスは、前記解析結果に基づいて特有の出力を行う、
動画像分析システム。
[項目2]
請求項1に記載の動画像分析システムであって、
前記外部デバイスは、
ユーザの動作を検出するセンサ部を含むハードウェア入力部と、
前記ハードウェア入力部より入力された入力信号に基づいて所定の評価を行うハードウェア処理部と、
前記所定の評価に基づいて当該外部デバイスを駆動して所定の動作を行わせる駆動信号を生成するハードウェア出力部とを備えており、
前記解析装置は、
前記解析結果を前記入力信号に変換する変換部と、
変換された入力信号をネットワークを介して前記ハードウェア入力部に送信する変換信号送信部と、
を備える、
動画像分析システム。
[項目3]
請求項1又は請求項2に記載の動画像分析システムであって、
前記外部デバイスは、ユーザの動作に応じて動く愛玩用ロボットであり、
前記ハードウェア入力部に入力できない前記ユーザの反応を、前記解析装置を利用することによって前記ハードウェア入力部又は前記ハードウェア処理部に入力することを可能とする、
動画像分析システム。
[項目4]
請求項1乃至請求項3のいずれかに記載の動画像分析システムであって、
前記解析部による解析の結果に基づいて、前記外部デバイスの動作の定義を含む動作信号を生成する動作信号生成部を更に備え、
前記変換部は、前記入力信号に前記動作信号を含める、
動画像分析システム。
[項目5]
請求項1乃至請求項4のいずれかに記載の動画像分析システムであって、
前記解析装置は、前記外部デバイスと同一の筐体内に保持されている、
動画像分析システム。
[項目6]
請求項1乃至請求項5のいずれかに記載の動画像分析システムであって、
前記解析部は、前記複数のユーザの夫々について目線の動きを解析して目線の方向を示す目線情報を生成し、
前記変換部は、前記目線情報を前記入力信号に変換する、
動画像分析システム。
[項目7]
請求項1乃至請求項6のいずれかに記載の動画像分析システムであって、
前記解析部により前記ユーザについて解析された前記生体反応の変化に基づいて、複数のユーザ間で平準化された評価基準に従って前記ユーザの感情の度合いを評価する感情評価部を更に備え、
前記感情評価部は、平常時の生体反応に対する現在の生体反応の違いの大きさに基づく感情の程度であって、前記ユーザによる同じ感情の生起しやすさに応じて調整された感情の度合いを評価し、
前記変換部は、前記評価を前記入力信号に変換する、
動画像分析システム。
[項目8]
請求項1乃至請求項7のいずれかに記載の動画像分析システムであって、
一のオンラインセッションに関して前記ユーザについて解析された前記生体反応の変化が、前記一のオンラインセッションより時間的に前のオンラインセッションに関して前記ユーザについて解析された前記生体反応の変化と比べて特異的か否かを判定する特異判定部と、
前記特異判定部により特異的であると判定された生体反応の変化の内容および以前からの変化の大きさに基づいて、前記生体反応の変化パターンをクラスタリングするクラスタリング部とを更に備え、
前記変換部は、前記クラスタリングの結果を前記入力信号に変換する、
動画像分析システム。
[項目9]
項目1に記載の動画像分析システムの構成を備えた動画像分析装置。
[項目10]
項目1に記載の動画像分析システムの構成を動画像分析装置に機能させる動画像分析プログラム。
[項目11]
項目1に記載の動画像分析システムの構成をステップとして実行する動画像分析方法。
The contents of the embodiments of the present disclosure are listed and described. The present disclosure has the following configurations.
[Item 1]
an external device that outputs a predetermined output in response to a user's actions; and by photographing a user during an online session, regardless of whether the user is displayed on the screen in an environment where an online session is conducted by a plurality of users. An analysis device that analyzes the reaction of the user based on the obtained moving image, and a moving image analysis system comprising:
The analysis device is
a moving image acquisition unit that acquires a moving image obtained by photographing the user during the online session for each of the plurality of users;
an analysis unit that analyzes changes in biological reactions of the user based on the moving image acquired by the moving image acquisition unit;
a providing unit for providing the analysis result by the analysis unit to the external device;
The external device performs a specific output based on the analysis result.
Video image analysis system.
[Item 2]
The moving image analysis system according to
The external device is
a hardware input unit including a sensor unit for detecting user movement;
a hardware processing unit that performs a predetermined evaluation based on the input signal input from the hardware input unit;
a hardware output unit that generates a drive signal for driving the external device to perform a predetermined operation based on the predetermined evaluation,
The analysis device is
a conversion unit that converts the analysis result into the input signal;
a converted signal transmission unit that transmits a converted input signal to the hardware input unit via a network;
comprising
Video image analysis system.
[Item 3]
The moving image analysis system according to
The external device is a pet robot that moves according to the user's motion,
The user reaction that cannot be input to the hardware input unit can be input to the hardware input unit or the hardware processing unit by using the analysis device.
Video image analysis system.
[Item 4]
The moving image analysis system according to any one of
further comprising an operation signal generation unit that generates an operation signal including a definition of the operation of the external device based on the result of the analysis by the analysis unit;
wherein the conversion unit includes the operation signal in the input signal;
Video image analysis system.
[Item 5]
The moving image analysis system according to any one of
The analysis device is held in the same housing as the external device,
Video image analysis system.
[Item 6]
The moving image analysis system according to any one of
The analysis unit analyzes line-of-sight movements for each of the plurality of users to generate line-of-sight information indicating a line-of-sight direction,
The conversion unit converts the line-of-sight information into the input signal,
Video image analysis system.
[Item 7]
The moving image analysis system according to any one of
an emotion evaluation unit that evaluates the degree of emotion of the user according to an evaluation standard that is leveled among a plurality of users based on the change in the biological reaction of the user analyzed by the analysis unit;
The emotion evaluation unit determines the degree of emotion based on the magnitude of the difference between the current biological reaction and the normal biological reaction, and the degree of emotion adjusted according to the likelihood of the same emotion occurring by the user. evaluate and
The conversion unit converts the evaluation into the input signal.
Video image analysis system.
[Item 8]
The moving image analysis system according to any one of
Whether the change in the biological reaction analyzed for the user with respect to one online session is specific compared to the change in the biological reaction analyzed for the user with respect to an online session temporally earlier than the one online session a peculiar determination unit that determines whether
A clustering unit that clusters the change pattern of the biological reaction based on the content of the change in the biological reaction determined to be specific by the specific determination unit and the magnitude of the change from before,
The conversion unit converts the clustering result into the input signal.
Video image analysis system.
[Item 9]
A moving image analysis device having the configuration of the moving image analysis system according to
[Item 10]
A moving image analysis program that causes a moving image analysis device to function as the configuration of the moving image analysis system according to
[Item 11]
A moving image analysis method for executing the configuration of the moving image analysis system according to
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.
<基本機能>
本実施形態のビデオセッション評価システムは、複数人でビデオセッション(以下、一方向及び双方向含めてオンラインセッションという)が行われる環境において、当該複数人の中の解析対象者について他者とは異なる特異的な感情(自分または他人の言動に対して起こる気持ち。快・不快またはその程度など)を解析し評価するシステムである。オンラインセッションは、例えばオンライン会議、オンライン授業、オンラインチャットなどであり、複数の場所に設置された端末をインターネットなどの通信ネットワークを介してサーバに接続し、当該サーバを通じて複数の端末間で動画像をやり取りできるようにしたものである。オンラインセッションで扱う動画像には、端末を使用するユーザの顔画像や音声が含まれる。また、動画像には、複数のユーザが共有して閲覧する資料などの画像も含まれる。各端末の画面上に顔画像と資料画像とを切り替えて何れか一方のみを表示させたり、表示領域を分けて顔画像と資料画像とを同時に表示させたりすることが可能である。また、複数人のうち1人の画像を全画面表示させたり、一部または全部のユーザの画像を小画面に分割して表示させたりすることが可能である。端末を使用してオンラインセッションに参加する複数のユーザのうち、何れか1人または複数人を解析対象者として指定することが可能である。例えば、オンラインセッションの主導者、進行者または管理者(以下、まとめて主催者という)が何れかのユーザを解析対象者として指定する。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。なお、解析対象者を指定せず全ての参加者を解析対象としてもよい。また、オンラインセッションの主導者、進行者または管理者(以下、まとめて主催者という)が何れかのユーザを解析対象者として指定することも可能である。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。
<Basic functions>
In the video session evaluation system of the present embodiment, in an environment where a video session (hereinafter referred to as an online session including one-way and two-way sessions) is held by a plurality of people, the person to be analyzed among the plurality of people is different from the others. It is a system that analyzes and evaluates specific emotions (feelings that occur in response to one's own or others' words and actions. Pleasant/unpleasant, or their degree). Online sessions are, for example, online meetings, online classes, online chats, etc. Terminals installed in multiple locations are connected to a server via a communication network such as the Internet, and moving images are transmitted between multiple terminals through the server. It's made to be interactable. Moving images handled in online sessions include facial images and voices of users using terminals. Moving images also include images such as materials that are shared and viewed by a plurality of users. It is possible to switch between the face image and the document image on the screen of each terminal to display only one of them, or to divide the display area and display the face image and the document image at the same time. In addition, it is possible to display the image of one user out of a plurality of users on the full screen, or divide the images of some or all of the users into small screens and display them. It is possible to designate one or a plurality of users among a plurality of users participating in an online session using terminals as analysis subjects. For example, an online session leader, moderator, or manager (hereinafter collectively referred to as the organizer) designates any user as an analysis subject. Hosts of online sessions are, for example, instructors of online classes, chairpersons and facilitators of online meetings, coaches of sessions for coaching purposes, and the like. An online session host is typically one of the users participating in the online session, but may be another person who does not participate in the online session. It should be noted that all participants may be subject to analysis without specifying the person to be analyzed. In addition, it is also possible for an online session leader, moderator, or administrator (hereinafter collectively referred to as the organizer) to designate any user as an analysis subject. Hosts of online sessions are, for example, instructors of online classes, chairpersons and facilitators of online meetings, coaches of sessions for coaching purposes, and the like. An online session host is typically one of the users participating in the online session, but may be another person who does not participate in the online session.
本実施の形態によるビデオセッション評価システムは、複数の端末間においてビデオセッションセッションが確立された場合に、当該ビデオセッションから取得される少なくとも動画像を表示される。表示された動画像は、端末によって取得され、動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別される。その後、識別された顔画像に関する評価値が算出される。当該評価値は必要に応じて共有される。特に、本実施の形態においては、取得した動画像は当該端末に保存され、端末上で分析評価され、その結果が当該端末のユーザに提供される。従って、例えば個人情報を含むビデオセッションや機密情報を含むビデオセッションであっても、その動画自体を外部の評価機関等に提供することなく分析評価できる。また、必要に応じて、当該評価結果(評価値)だけを外部端末に提供することによって、結果を可視化したり、クロス分析等行うことができる。 The video session evaluation system according to this embodiment displays at least moving images obtained from a video session established between a plurality of terminals. The displayed moving image is acquired by the terminal, and at least a face image included in the moving image is identified for each predetermined frame unit. An evaluation value for the identified face image is then calculated. The evaluation value is shared as necessary. In particular, in this embodiment, the acquired moving image is stored in the terminal, analyzed and evaluated on the terminal, and the result is provided to the user of the terminal. Therefore, for example, even a video session containing personal information or a video session containing confidential information can be analyzed and evaluated without providing the moving image itself to an external evaluation agency or the like. In addition, by providing only the evaluation result (evaluation value) to the external terminal as necessary, the result can be visualized and cross-analysis can be performed.
図1に示されるように、本実施の形態によるビデオセッション評価システムは、少なくともカメラ部及びマイク部等の入力部と、ディスプレイ等の表示部とスピーカー等の出力部とを有するユーザ端末10、20と、ユーザ端末10、20に双方向のビデオセッションを提供するビデオセッションサービス端末30と、ビデオセッションに関する評価の一部を行う評価端末40とを備えている。
As shown in FIG. 1, the video session evaluation system according to the present embodiment includes
<ハードウェア構成例>
以下に説明する各機能ブロック、機能単位、機能モジュールは、例えばコンピュータに備えられたハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。本明細書において説明するシステム及び端末による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報共有支援装置10の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することが可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
<Hardware configuration example>
Each functional block, functional unit, and functional module described below can be configured by any of hardware, DSP (Digital Signal Processor), and software provided in a computer, for example. For example, when configured by software, it is actually configured with a computer CPU, RAM, ROM, etc., and is realized by running a program stored in a recording medium such as RAM, ROM, hard disk, or semiconductor memory. A series of processes by the systems and terminals described herein may be implemented using software, hardware, or a combination of software and hardware. It is possible to create a computer program for realizing each function of the information sharing
本実施の形態による評価端末は、ビデオセッションサービス端末から動画像を取得し、当該動画像内に含まれる少なくとも顔画像を所定のフレーム単位ごとに識別すると共に、顔画像に関する評価値を算出する(詳しくは後述する)。 The evaluation terminal according to the present embodiment acquires a moving image from a video session service terminal, identifies at least a face image included in the moving image for each predetermined frame unit, and calculates an evaluation value for the face image ( will be described in detail later).
<動画の取得方法>
図3に示されるように、ビデオセッションサービス端末が提供するビデオセッションサービス(以下、単に「本サービス」と言うことがある」)は、ユーザ端末10、20に対して双方向に画像および音声によって通信が可能となるものである。本サービスは、ユーザ端末のディスプレイに相手のユーザ端末のカメラ部で取得した動画像を表示し、相手のユーザ端末のマイク部で取得した音声をスピーカーから出力可能となっている。また、本サービスは双方の又はいずれかのユーザ端末によって、動画像及び音声(これらを合わせて「動画像等」という)を少なくともいずれかのユーザ端末上の記憶部に記録(レコーディング)することが可能に構成されている。記録された動画像情報Vs(以下「記録情報」という)は、記録を開始したユーザ端末にキャッシュされつついずれかのユーザ端末のローカルのみに記録されることとなる。ユーザは、必要があれば当該記録情報を本サービスの利用の範囲内で自分で視聴、他者に共有等行うこともできる。
<How to get videos>
As shown in FIG. 3, the video session service provided by the video session service terminal (hereinafter sometimes simply referred to as "this service") provides
<機能構成例1>
図4は、本実施形態による構成例を示すブロック図である。図4に示すように、本実施形態のビデオセッション評価システムは、ユーザ端末10が有する機能構成として実現される。すなわち、ユーザ端末10はその機能として、動画像取得部11、生体反応解析部12、特異判定部13、関連事象特定部14、クラスタリング部15および解析結果通知部16を備えている。
<Functional configuration example 1>
FIG. 4 is a block diagram showing a configuration example according to this embodiment. As shown in FIG. 4, the video session evaluation system of this embodiment is implemented as a functional configuration of the
動画像取得部11は、オンラインセッション中に各端末が備えるカメラにより複数人(複数のユーザ)を撮影することによって得られる動画像を各端末から取得する。各端末から取得する動画像は、各端末の画面上に表示されるように設定されているものか否かは問わない。すなわち、動画像取得部11は、各端末に表示中の動画像および非表示中の動画像を含めて、動画像を各端末から取得する。
The moving
生体反応解析部12は、動画像取得部11により取得された動画像(画面上に表示中のものか否かは問わない)に基づいて、複数人のそれぞれについて生体反応の変化を解析する。本実施形態において生体反応解析部12は、動画像取得部11により取得された動画像を画像のセット(フレーム画像の集まり)と音声とに分離し、それぞれから生体反応の変化を解析する。
The biological
例えば、生体反応解析部12は、動画像取得部11により取得された動画像から分離したフレーム画像を用いてユーザの顔画像を解析することにより、表情、目線、脈拍、顔の動きの少なくとも1つに関する生体反応の変化を解析する。また、生体反応解析部12は、動画像取得部11により取得された動画像から分離した音声を解析することにより、ユーザの発言内容、声質の少なくとも1つに関する生体反応の変化を解析する。
For example, the biological
人は感情が変化すると、それが表情、目線、脈拍、顔の動き、発言内容、声質などの生体反応の変化となって現れる。本実施形態では、ユーザの生体反応の変化を解析することを通じて、ユーザの感情の変化を解析する。本実施形態において解析する感情は、一例として、快/不快の程度である。本実施形態において生体反応解析部12は、生体反応の変化を所定の基準に従って数値化することにより、生体反応の変化の内容を反映させた生体反応指標値を算出する。
When people's emotions change, it appears as changes in biological reactions such as facial expressions, eyes, pulse, facial movements, content of remarks, and voice quality. In this embodiment, changes in the user's emotions are analyzed through analysis of changes in the user's biological reactions. The emotion analyzed in this embodiment is, for example, the degree of comfort/discomfort. In the present embodiment, the biological
表情の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、事前に機械学習させた画像解析モデルに従って特定した顔の表情を複数に分類する。そして、その分類結果に基づいて、連続するフレーム画像間でポジティブな表情変化が起きているか、ネガティブな表情変化が起きているか、およびどの程度の大きさの表情変化が起きているかを解析し、その解析結果に応じた表情変化指標値を出力する。 Analysis of changes in facial expressions is performed, for example, as follows. That is, for each frame image, a facial region is identified from the frame image, and the identified facial expressions are classified into a plurality of types according to an image analysis model machine-learned in advance. Then, based on the classification results, it analyzes whether positive facial expression changes occur between consecutive frame images, whether negative facial expression changes occur, and to what extent the facial expression changes occur, A facial expression change index value corresponding to the analysis result is output.
目線の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から目の領域を特定し、両目の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、目線の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。目線の変化はユーザの集中度にも関連する。生体反応解析部12は、目線の変化の解析結果に応じた目線変化指標値を出力する。
The analysis of changes in line of sight is performed, for example, as follows. That is, for each frame image, the eye region is specified in the frame image, and the orientation of both eyes is analyzed to analyze where the user is looking. For example, it analyzes whether the user is looking at the face of the speaker being displayed, whether the user is looking at the shared material being displayed, or whether the user is looking outside the screen. Also, it may be analyzed whether the eye movement is large or small, or whether the movement is frequent or infrequent. A change in line of sight is also related to the user's degree of concentration. The biological
脈拍の変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定する。そして、顔の色情報(RGBのG)の数値を捉える学習済みの画像解析モデルを用いて、顔表面のG色の変化を解析する。その結果を時間軸に合わせて並べることによって色情報の変化を表した波形を形成し、この波形から脈拍を特定する。人は緊張すると脈拍が速くなり、気持ちが落ち着くと脈拍が遅くなる。生体反応解析部12は、脈拍の変化の解析結果に応じた脈拍変化指標値を出力する。
Analysis of changes in pulse rate is performed, for example, as follows. That is, for each frame image, the face area is specified in the frame image. Then, using a trained image analysis model that captures numerical values of face color information (G of RGB), changes in the G color of the face surface are analyzed. By arranging the results along the time axis, a waveform representing changes in color information is formed, and the pulse is identified from this waveform. When a person is tense, the pulse speeds up, and when the person is calm, the pulse slows down. The biological
顔の動きの変化の解析は、例えば以下のようにして行う。すなわち、フレーム画像ごとに、フレーム画像の中から顔の領域を特定し、顔の向きを解析することにより、ユーザがどこを見ているかを解析する。例えば、表示中の話者の顔を見ているか、表示中の共有資料を見ているか、画面の外を見ているかなどを解析する。また、顔の動きが大きいか小さいか、動きの頻度が多いか少ないかなどを解析するようにしてもよい。顔の動きと目線の動きとを合わせて解析するようにしてもよい。例えば、表示中の話者の顔をまっすぐ見ているか、上目遣いまたは下目使いに見ているか、斜めから見ているかなどを解析するようにしてもよい。生体反応解析部12は、顔の向きの変化の解析結果に応じた顔向き変化指標値を出力する。
Analysis of changes in facial movement is performed, for example, as follows. That is, for each frame image, the face area is specified in the frame image, and the direction of the face is analyzed to analyze where the user is looking. For example, it analyzes whether the user is looking at the face of the speaker being displayed, whether the user is looking at the shared material being displayed, or whether the user is looking outside the screen. Further, it may be analyzed whether the movement of the face is large or small, or whether the movement is frequent or infrequent. The movement of the face and the movement of the line of sight may be analyzed together. For example, it may be analyzed whether the face of the speaker being displayed is viewed straight, whether the face is viewed with upward or downward gaze, or whether the face is viewed obliquely. The biological
発言内容の解析は、例えば以下のようにして行う。すなわち、生体反応解析部12は、指定した時間(例えば、30~150秒程度の時間)の音声について公知の音声認識処理を行うことによって音声を文字列に変換し、当該文字列を形態素解析することにより、助詞、冠詞などの会話を表す上で不要なワードを取り除く。そして、残ったワードをベクトル化し、ポジティブな感情変化が起きているか、ネガティブな感情変化が起きているか、およびどの程度の大きさの感情変化が起きているかを解析し、その解析結果に応じた発言内容指標値を出力する。
Analysis of the content of the statement is performed, for example, as follows. That is, the biological
声質の解析は、例えば以下のようにして行う。すなわち、生体反応解析部12は、指定した時間(例えば、30~150秒程度の時間)の音声について公知の音声解析処理を行うことによって音声の音響的特徴を特定する。そして、その音響的特徴に基づいて、ポジティブな声質変化が起きているか、ネガティブな声質変化が起きているか、およびどの程度の大きさの声質変化が起きているかを解析し、その解析結果に応じた声質変化指標値を出力する。
Analysis of voice quality is performed, for example, as follows. That is, the biological
生体反応解析部12は、以上のようにして算出した表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値、声質変化指標値の少なくとも1つを用いて生体反応指標値を算出する。例えば、表情変化指標値、目線変化指標値、脈拍変化指標値、顔向き変化指標値、発言内容指標値および声質変化指標値を重み付け計算することにより、生体反応指標値を算出する。
The biological
特異判定部13は、解析対象者について解析された生体反応の変化が、解析対象者以外の他者について解析された生体反応の変化と比べて特異的か否かを判定する。本実施形態において、特異判定部13は、生体反応解析部12により複数のユーザのそれぞれについて算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する。
The
例えば、特異判定部13は、生体反応解析部12により複数人のそれぞれについて算出された生体反応指標値の分散を算出し、解析対象者について算出された生体反応指標値と分散との対比により、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する。
For example, the
解析対象者について解析された生体反応の変化が他者と比べて特異的である場合として、次の3パターンが考えられる。1つ目は、他者については特に大きな生体反応の変化が起きていないが、解析対象者について比較的大きな生体反応の変化が起きた場合である。2つ目は、解析対象者については特に大きな生体反応の変化が起きていないが、他者について比較的大きな生体反応の変化が起きた場合である。3つ目は、解析対象者についても他者についても比較的大きな生体反応の変化が起きているが、変化の内容が解析対象者と他者とで異なる場合である。 The following three patterns are conceivable as a case where the change in the biological reaction analyzed for the person to be analyzed is more specific than that for the other person. The first is a case where a relatively large change in biological reaction occurs in the subject of analysis, although no particularly large change in biological reaction has occurred in the other person. The second is a case where a particularly large change in biological reaction has not occurred in the subject of analysis, but a relatively large change in biological reaction has occurred in the other person. The third is a case where a relatively large change in biological reaction occurs in both the subject of analysis and the other person, but the content of the change differs between the subject of analysis and the other person.
関連事象特定部14は、特異判定部13により特異的であると判定された生体反応の変化が起きたときに解析対象者、他者および環境の少なくとも1つに関して発生している事象を特定する。例えば、関連事象特定部14は、解析対象者について特異的な生体反応の変化が起きたときにおける解析対象者自身の言動を動画像から特定する。また、関連事象特定部14は、解析対象者について特異的な生体反応の変化が起きたときにおける他者の言動を動画像から特定する。また、関連事象特定部14は、解析対象者について特異的な生体反応の変化が起きたときにおける環境を動画像から特定する。環境は、例えば画面に表示中の共有資料、解析対象者の背景に写っているものなどである。
The related
クラスタリング部15は、特異判定部13により特異的であると判定された生体反応の変化(例えば、目線、脈拍、顔の動き、発言内容、声質のうち1つまたは複数の組み合わせ)と、当該特異的な生体反応の変化が起きたときに発生している事象(関連事象特定部14により特定された事象)との相関の程度を解析し、相関が一定レベル以上であると判定された場合に、その相関の解析結果に基づいて解析対象者または事象をクラスタリングする。
The
例えば、特異的な生体反応の変化がネガティブな感情変化に相当するものであり、当該特異的な生体反応の変化が起きたときに発生している事象もネガティブな事象である場合には一定レベル以上の相関が検出される。クラスタリング部15は、その事象の内容やネガティブな度合い、相関の大きさなどに応じて、あらかじめセグメント化した複数の分類の何れかに解析対象者または事象をクラスタリングする。
For example, if a change in a specific biological reaction corresponds to a negative emotional change, and the event occurring when the specific change in biological reaction occurs is also a negative event, a certain level The above correlation is detected. The
同様に、特異的な生体反応の変化がポジティブな感情変化に相当するものであり、当該特異的な生体反応の変化が起きたときに発生している事象もポジティブな事象である場合には一定レベル以上の相関が検出される。クラスタリング部15は、その事象の内容やポジティブな度合い、相関の大きさなどに応じて、あらかじめセグメント化した複数の分類の何れかに解析対象者または事象をクラスタリングする。
Similarly, if a specific change in biological reaction corresponds to a positive emotional change and the event occurring when the specific change in biological reaction occurs is also a positive event, Level or higher correlations are detected. The
解析結果通知部16は、特異判定部13により特異的であると判定された生体反応の変化、関連事象特定部14により特定された事象、およびクラスタリング部15によりクラスタリングされた分類の少なくとも1つを、解析対象者の指定者(解析対象者またはオンラインセッションの主催者)に通知する。
The analysis
例えば、解析結果通知部16は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたとき(上述した3パターンの何れか。以下同様)に発生している事象として解析対象者自身の言動を解析対象者自身に通知する。これにより、解析対象者は、自分がある言動を行ったときに他者とは違う感情を持っていることを把握することができる。このとき、解析対象者について特定された特異的な生体反応の変化も併せて解析対象者に通知するようにしてもよい。さらに、対比される他者の生体反応の変化を更に解析対象者に通知するようにしてもよい。
For example, the analysis
例えば、解析対象者が普段どおりの感情で特に意識せずに行った言動、または、解析対象者がある感情を伴って特に意識して行った言動に対して他者が受けた感情と、言動の際に解析対象者自身が抱いていた感情とが相違している場合に、そのときの解析対象者自身の言動が解析対象者に通知される。これにより、自分の意識に反して他者の受けが良い言動や他者の受けが良くない言動などを発見することも可能である。 For example, the words and deeds of the person to be analyzed performed without being particularly conscious of their usual emotions, or the words and deeds of the person to be analyzed consciously accompanied by certain emotions, and the emotions and behaviors that others received When the emotion held by the person to be analyzed is different from the feeling held by the person to be analyzed at the time, the person to be analyzed is notified of the speech and behavior of the person to be analyzed at that time. As a result, it is possible to discover behaviors that are well received by others or behaviors that are not well received by others, contrary to one's own consciousness.
また、解析結果通知部16は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたときに発生している事象を、特異的な生体反応の変化と共にオンラインセッションの主催者に通知する。これにより、オンラインセッションの主催者は、指定した解析対象者に特有の現象として、どのような事象がどのような感情の変化に影響を与えているのかを知ることができる。そして、その把握した内容に応じて適切な処置を解析対象者に対して行うことが可能となる。
In addition, the analysis
また、解析結果通知部16は、解析対象者について他者とは異なる特異的な生体反応の変化が起きたときに発生している事象または解析対象者のクラスタリング結果をオンラインセッションの主催者に通知する。これにより、オンラインセッションの主催者は、指定した解析対象者がどの分類にクラスタリングされたかによって、解析対象者に特有の行動の傾向を把握したり、今後起こり得る行動や状態などを予測したりすることができる。そして、それに対して適切な処置を解析対象者に対して行うことが可能となる。
In addition, the analysis
なお、上記実施形態では、生体反応の変化を所定の基準に従って数値化することによって生体反応指標値を算出し、複数人のそれぞれについて算出された生体反応指標値に基づいて、解析対象者について解析された生体反応の変化が他者と比べて特異的か否かを判定する例について説明したが、この例に限定されない。例えば、以下のようにしてもよい。 In the above embodiment, the biological reaction index value is calculated by quantifying the change in biological reaction according to a predetermined standard, and the analysis subject is analyzed based on the biological reaction index value calculated for each of the plurality of people. Although the example of determining whether the change in the biological reaction received is specific compared to others has been described, the present invention is not limited to this example. For example, it may be as follows.
すなわち、生体反応解析部12は、複数人のそれぞれについて目線の動きを解析して目線の方向を示すヒートマップを生成する。特異判定部13は、生体反応解析部12により解析対象者について生成されたヒートマップと他者について生成されたヒートマップとの対比により、解析対象者について解析された生体反応の変化が、他者について解析された生体反応の変化と比べて特異的か否かを判定する。
In other words, the biological
このように、本実施の形態においては、ビデオセッションの動画像をユーザ端末10のローカルストレージに保存し、ユーザ端末10上で上述した分析を行うこととしている。ユーザ端末10のマシンスペックに依存する可能性があるとはいえ、動画像の情報を外部に提供することなく分析することが可能となる。
Thus, in this embodiment, moving images of a video session are stored in the local storage of the
<機能構成例2>
図5に示すように、本実施形態のビデオセッション評価システムは、機能構成として、動画像取得部11、生体反応解析部12および反応情報提示部13aを備えていてもよい。
<Functional configuration example 2>
As shown in FIG. 5, the video session evaluation system of this embodiment may include a moving
反応情報提示部13aは、画面に表示されていない参加者を含めて生体反応解析部12aにより解析された生体反応の変化を示す情報を提示する。例えば、反応情報提示部13aは、生体反応の変化を示す情報をオンラインセッションの主導者、進行者または管理者(以下、まとめて主催者という)に提示する。オンラインセッションの主催者は、例えばオンライン授業の講師、オンライン会議の議長やファシリテータ、コーチングを目的としたセッションのコーチなどである。オンラインセッションの主催者は、オンラインセッションに参加する複数のユーザの中の一人であるのが普通であるが、オンラインセッションに参加しない別人であってもよい。 The reaction information presentation unit 13a presents information indicating changes in biological reactions analyzed by the biological reaction analysis unit 12a, including those of participants not displayed on the screen. For example, the reaction information presenting unit 13a presents information indicating changes in biological reactions to an online session leader, moderator, or administrator (hereinafter collectively referred to as the organizer). Hosts of online sessions are, for example, instructors of online classes, chairpersons and facilitators of online meetings, coaches of sessions for coaching purposes, and the like. An online session host is typically one of the users participating in the online session, but may be another person who does not participate in the online session.
このようにすることにより、オンラインセッションの主催者は、複数人でオンラインセッションが行われる環境において、画面に表示されていない参加者の様子も把握することができる。 By doing so, the host of the online session can also grasp the state of the participants who are not displayed on the screen in an environment where the online session is held by a plurality of people.
<機能構成例3>
図6は、本実施形態による構成例を示すブロック図である。図6に示すように、本実施形態のビデオセッション評価システムは、機能構成として、上述した実施の形態1と類似する機能については同一つの参照符号を付して説明を省略することがある。
<Functional configuration example 3>
FIG. 6 is a block diagram showing a configuration example according to this embodiment. As shown in FIG. 6, in the video session evaluation system of the present embodiment, functions similar to those of the above-described first embodiment are given the same reference numerals, and explanations thereof may be omitted.
本実施の形態によるシステムは、ビデオセッションの映像を取得するカメラ部及び音声を取得するマイク部と、動画像を分析及び評価する解析部、取得した動画像を評価することによって得られた情報に基づいて表示オブジェクト(後述する)を生成するオブジェクト生成部、前記ビデオセッション実行中にビデオセッションの動画像と表示オブジェクトの両方を表示する表示部と、を備えている。 The system according to this embodiment includes a camera unit that acquires images of a video session, a microphone unit that acquires audio, an analysis unit that analyzes and evaluates moving images, and information obtained by evaluating the acquired moving images. an object generator for generating a display object (described below) based on the display; and a display for displaying both the moving image of the video session and the display object during execution of the video session.
解析部は、上述した説明と同様に、動画像取得部11、生体反応解析部12、特異判定部13、関連事象特定部14、クラスタリング部15および解析結果通知部16を備えている。各要素の機能については上述したとおりである。
The analysis unit includes a moving
図7に示されるように、オブジェクト生成部は、解析部によってビデオセッションから取得される動画像を解析した結果に基づいて、必要に応じて、当該認識した顔の部分を示すオブジェクト50と、上述した分析・評価した内容を示す情報100を当該動画像に重畳して表示する。当該オブジェクト50は、複数人の顔が動画像内に移っている場合には、複数人全員の顔を識別し、表示することとしてもよい。
As shown in FIG. 7, the object generation unit generates an
また、オブジェクト50は、例えば、相手側の端末において、ビデオセッションのカメラ機能を停止している場合(即ち、物理的にカメラを覆う等ではなく、ビデオセッションのアプリケーション内においてソフトウェア的に停止している場合)であっても、相手側のカメラで相手の顔を認識していた場合には、相手の顔が位置している部分にオブジェクト50やオブジェクト100を表示することとしてもよい。これにより、カメラ機能がオフになっていたとしても、相手側が端末の前にいることがお互い確認することが可能となる。この場合、例えば、ビデオセッションのアプリケーションにおいては、カメラから取得した情報を非表示にする一方、解析部によって認識された顔に対応するオブジェクト50やオブジェクト100のみを表示することとしてもよい。また、ビデオセッションから取得される映像情報と、解析部によって認識され得られた情報とを異なる表示レイヤーに分け、前者の情報に関するレイヤーを非表示にすることとしてもよい。
In addition, the
オブジェクト50やオブジェクト100は、複数の動画像を表示する領域がある場合には、すべての領域又は一部の領域のみに表示することとしてもよい。例えば、図8に示されるように、ゲスト側の動画像のみに表示することとしてもよい。
If there are multiple moving image display areas, the
以上説明した基本構成例1乃至基本構成例3において説明した発明の実施の形態は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置(例えばクラウドサーバ)等により実現されてもよい。例えば、各端末10の制御部110およびストレージ130は、互いにネットワークで接続された異なるサーバにより実現されてもよい。即ち、本システムは、ユーザ端末10、20と、ユーザ端末10、20に双方向のビデオセッションを提供するビデオセッションサービス端末30と、ビデオセッションに関する評価を行う評価端末40とを含んでいるところ、以下のような構成のバリエーション組み合わせが考えられる。
(1)すべてをユーザ端末のみで処理
図8に示されるように、解析部による処理をビデオセッションを行っている端末で行うことにより、(一定の処理能力は必要なものの)ビデオセッションを行っている時間と同時に(リアルタイムに)分析・評価結果を得ることができる。
(2)ユーザ端末と評価端末とで処理
図9に示されるように、ネットワーク等で接続された評価端末に解析部を備えさせることとしてもよい。この場合、ユーザ端末で取得された動画像は、ビデオセッションと同時に又は事後的に評価端末に共有され、評価端末における解析部によって分析・評価されたのちに、オブジェクト50及びオブジェクト100の情報がユーザ端末に動画像データと共に又は別に(即ち、少なくとも解析データを含む情報が)共有され表示部に表示される。
The embodiments of the invention described in Basic Configuration Example 1 to Basic Configuration Example 3 described above may be implemented as a single device, or a plurality of devices (for example, cloud servers) partially or entirely connected by a network. and the like. For example, the control unit 110 and the storage 130 of each terminal 10 may be realized by different servers connected to each other via a network. That is, the system includes
(1) Processing everything only on the user terminal As shown in FIG. 8, by performing the processing by the analysis unit on the terminal that is performing the video session (although a certain processing capacity is required), the video session can be performed. Analysis/evaluation results can be obtained at the same time (in real time) as you are.
(2) Processing by User Terminal and Evaluation Terminal As shown in FIG. 9, an analysis unit may be provided in an evaluation terminal connected via a network or the like. In this case, the moving images acquired by the user terminal are shared with the evaluation terminal at the same time as or after the video session, and are analyzed and evaluated by the analysis unit in the evaluation terminal. Together with or separately from the moving image data (that is, information including at least analysis data) is shared with the terminal and displayed on the display unit.
上述した機能構成例1乃至機能構成例3の各構成又はそれらの組み合わせを用いて、以下のシステムが実現する。 The following system is realized by using each configuration of functional configuration example 1 to functional configuration example 3 or a combination thereof.
<実施の形態>
本発明の実施の形態による動画像分析システム(以下、単に「システム」という)は、複数人の参加者でオンラインセッションが行われる環境において、当該参加者の全員又は特定の参加者のみを撮影することによって得られる動画像をもとに参加者の反応を解析・分析するものである。分析は、オンラインセッション中に参加者が画面に表示されているか否かによらず行われるものとしてもよい。
<Embodiment>
A moving image analysis system (hereinafter simply referred to as "system") according to an embodiment of the present invention captures all participants or only a specific participant in an environment where an online session is held with a plurality of participants. Participants' reactions are analyzed based on the moving images obtained by this process. The analysis may occur whether or not participants are on screen during the online session.
特に、図10に示されるように、システムは、ユーザの動作に応じて所定の出力を行う外部デバイスと;複数のユーザでオンラインセッションが行われる環境においてオンラインセッション中にユーザが画面に表示されているか否かによらずユーザを撮影することによって得られる動画像をもとにユーザの反応を解析する解析装置(図示される評価手段。以下同様。)と;を含んでいる。 In particular, as shown in FIG. 10, the system includes an external device that outputs a predetermined output in accordance with user actions; an analysis device (illustrated evaluation means; the same shall apply hereinafter) for analyzing the reaction of the user based on the moving image obtained by photographing the user regardless of whether or not the user is present;
図11に示されるように、外部デバイスは、ユーザの動作を検出するセンサ部を含むハードウェア入力部と、ハードウェア入力部より入力された入力信号に基づいて所定の評価を行うハードウェア処理部と、所定の評価に基づいて当該外部デバイスを駆動して所定の動作を行わせる駆動信号を生成するハードウェア出力部とを備えている。 As shown in FIG. 11, the external device includes a hardware input unit including a sensor unit that detects user actions, and a hardware processing unit that performs a predetermined evaluation based on the input signal input from the hardware input unit. and a hardware output unit for generating a drive signal for driving the external device to perform a predetermined operation based on a predetermined evaluation.
解析装置は、複数のユーザの夫々についてオンラインセッション中にユーザを撮影することによって得られる動画像を取得する動画像取得部と、動画像取得部により取得された動画像に基づいて、ユーザについて生体反応の変化を解析する解析部と、解析部による解析結果を外部デバイスに提供する提供部と、を備えている。 The analysis device includes a moving image acquisition unit that acquires a moving image obtained by photographing each of a plurality of users during an online session; It comprises an analysis unit that analyzes changes in reactions, and a provision unit that provides the analysis result of the analysis unit to an external device.
外部デバイスは、解析結果に基づいて特有の出力を行う。例えば、当該ユーザのオンラインセッションにおいてユーザが喜んでいる一面があった場合や、怒っていた場合など、外部デバイスが検知できない状況ではあるものの解析装置において所定の感情や特定の発話内容を検知した場合には、当該内容に応じた動作(話しかけ、動作、)
The external device produces a specific output based on the analysis results. For example, when the user is happy or angry during the user's online session, or when the analysis device detects a predetermined emotion or specific utterance content, even though the external device cannot detect it. , the action according to the content (speak, action,)
本実施の形態においては、解析装置は、解析結果を入力信号に変換する変換部と、変換された入力信号をネットワークを介してハードウェア入力部又はハードウェア処理部に出力する変換信号出力部と、を更に備えている。即ち、解析装置は、解析の結果をAPI(Application Programming Interface)として、外部デバイスに提供する。 In the present embodiment, the analysis device includes a conversion unit that converts the analysis result into an input signal, and a conversion signal output unit that outputs the converted input signal to a hardware input unit or a hardware processing unit via a network. , is further provided. That is, the analysis device provides the analysis result to the external device as an API (Application Programming Interface).
本実施の形態による外部デバイスとしては、例えば、ユーザの動作に応じて動く愛玩用ロボットとしてもよい。当該ロボットのセンサ類では検知できない特徴を解析装置を利用することによって事後的に負荷することが可能となる。即ち、ハードウェア入力部に入力できないユーザの反応を、解析装置を利用することによってハードウェア入力部又はハードウェア処理部に入力することが可能となる。 The external device according to this embodiment may be, for example, a pet robot that moves according to the user's motion. By using an analysis device, it is possible to post-load features that cannot be detected by the sensors of the robot. In other words, it becomes possible to input a user reaction that cannot be input to the hardware input section to the hardware input section or the hardware processing section by using the analysis device.
また、本実施の形態においては、解析部による解析の結果に基づいて、外部デバイスの動作の定義を含む動作信号を生成する動作信号生成部を更に備えていてもよい。これにより、外部デバイスには備えていない動作を行わせることができる。 Further, the present embodiment may further include an operation signal generator that generates an operation signal including the definition of the operation of the external device based on the analysis result of the analysis unit. As a result, it is possible to cause the external device to perform an operation that is not provided.
図12に示されるように、解析装置は、外部デバイスと同一の筐体内に保持されていてもよい。 As shown in FIG. 12, the analyzer may be held within the same housing as the external device.
解析部は、複数のユーザの夫々について目線の動きを解析して目線の方向を示す目線情報を生成し、変換部は目線情報を入力信号に変換してもよい。 The analysis unit may analyze eye movement of each of the plurality of users to generate line-of-sight information indicating the line-of-sight direction, and the conversion unit may convert the line-of-sight information into an input signal.
解析部によりユーザについて解析された生体反応の変化に基づいて、複数のユーザ間で平準化された評価基準に従ってユーザの感情の度合いを評価する感情評価部を更に備えている。 The apparatus further includes an emotion evaluation unit that evaluates the user's degree of emotion according to an evaluation criterion leveled among a plurality of users based on changes in the user's biological reaction analyzed by the analysis unit.
感情評価部は、平常時の生体反応に対する現在の生体反応の違いの大きさに基づく感情の程度であって、ユーザによる同じ感情の生起しやすさに応じて調整された感情の度合いを評価し、変換部は、評価を入力信号に変換する。 The emotion evaluation unit evaluates the degree of emotion based on the magnitude of the difference between the current biological reaction and the normal biological reaction, and the degree of emotion adjusted according to the likelihood of the same emotion occurring by the user. , the converter converts the estimate into an input signal.
また、システムは、一のオンラインセッションに関してユーザについて解析された生体反応の変化が、一のオンラインセッションより時間的に前のオンラインセッションに関してユーザについて解析された生体反応の変化と比べて特異的か否かを判定する特異判定部と、特異判定部により特異的であると判定された生体反応の変化の内容および以前からの変化の大きさに基づいて生体反応の変化パターンをクラスタリングするクラスタリング部とを更に備えていてもよい。変換部は、当該クラスタリングの結果を入力信号に変換する。 In addition, the system determines whether the changes in the biological reactions analyzed for the user regarding one online session are specific compared to the changes in the biological reactions analyzed for the user regarding the online session temporally earlier than the one online session. and a clustering unit for clustering the change pattern of the biological reaction based on the content of the change in the biological reaction determined to be specific by the peculiar determination unit and the magnitude of the change from before. It may be further provided. The conversion unit converts the clustering result into an input signal.
解析部は、複数のユーザの夫々について目線の動きを解析して目線の方向を示すヒートマップを生成し、当該ユーザについて生成されたヒートマップと他のユーザについて生成されたヒートマップとを対比する。対比の結果、ユーザについて解析された生体反応の変化が、他のユーザについて解析された生体反応の変化と比べて特異的か否かを判定する。変換部は、当該特異的な生体反応を入力信号に変換する。 The analysis unit analyzes eye movement of each of a plurality of users, generates a heat map indicating the direction of the eye line, and compares the heat map generated for the user with the heat maps generated for other users. . As a result of the comparison, it is determined whether or not the changes in the biological reactions analyzed for the user are specific compared to the changes in the biological reactions analyzed for other users. The converter converts the specific biological reaction into an input signal.
また、システムは、解析部によりユーザについて解析された生体反応の変化に基づいて、複数のユーザ間で平準化された評価基準に従ってユーザの感情の度合いを評価する感情評価部を更に備えていてもよい。感情評価部は、平常時の生体反応に対する現在の生体反応の違いの大きさに基づく感情の程度であって、ユーザによる同じ感情の生起しやすさに応じて調整された感情の度合いを評価する。変換部は、当該感情の度合いを入力信号に変換する。 Further, the system may further include an emotion evaluation unit that evaluates the degree of emotion of the user according to evaluation criteria leveled among a plurality of users based on changes in the user's biological reaction analyzed by the analysis unit. good. The emotion evaluation unit evaluates the degree of emotion based on the magnitude of the difference between the current biological reaction and the normal biological reaction, and the degree of emotion adjusted according to the likelihood of the same emotion occurring by the user. . The converter converts the degree of emotion into an input signal.
本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。 The processes described herein using flowchart illustrations do not necessarily have to be performed in the illustrated order. Some processing steps may be performed in parallel. Also, additional processing steps may be employed, and some processing steps may be omitted.
以上説明した実施の形態を適宜組み合わせて実施することとしてもよい。また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 The embodiments described above may be combined as appropriate for implementation. Also, the effects described herein are merely illustrative or exemplary, and are not limiting. In other words, the technology according to the present disclosure can produce other effects that are obvious to those skilled in the art from the description of this specification, in addition to or instead of the above effects.
10、20 ユーザ端末
30 ビデオセッションサービス端末
40 評価端末
10, 20
Claims (1)
前記解析装置は、
複数の前記ユーザの夫々について、前記オンラインセッション中に前記ユーザを撮影することによって得られる動画像を取得する動画像取得部と、
前記動画像取得部により取得された動画像に基づいて、前記ユーザについて生体反応の変化を解析する解析部と、
前記解析部による解析結果を前記外部デバイスに提供する提供部と、を備えており、
前記外部デバイスは、前記解析結果に基づいて特有の出力を行う、動画像分析システムにおいて、
前記解析装置は、前記解析結果に基づいて、前記外部デバイスに所定の動作を行わせるために前記外部デバイスの動作の定義を含む動作信号を生成する動作信号生成部を更に備えている、
動画像分析システム。 an external device that outputs a predetermined output in response to a user's actions; and by photographing a user during an online session, regardless of whether the user is displayed on the screen in an environment where an online session is conducted by a plurality of users. An analysis device that analyzes the reaction of the user based on the obtained moving image, and a moving image analysis system comprising:
The analysis device is
a moving image acquisition unit that acquires a moving image obtained by photographing the user during the online session for each of the plurality of users;
an analysis unit that analyzes changes in biological reactions of the user based on the moving image acquired by the moving image acquisition unit;
a providing unit for providing the analysis result by the analysis unit to the external device;
In the moving image analysis system, wherein the external device performs a specific output based on the analysis result,
The analysis device further comprises an operation signal generation unit that generates an operation signal including a definition of the operation of the external device to cause the external device to perform a predetermined operation based on the analysis result.
Video image analysis system.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022046383A JP7156743B1 (en) | 2021-04-29 | 2022-03-23 | Video image analysis system |
JP2022156757A JP2022180595A (en) | 2022-03-23 | 2022-09-29 | Moving image analysis system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/017122 WO2022230154A1 (en) | 2021-04-29 | 2021-04-29 | Video analysis system |
JP2021572317A JP7138990B1 (en) | 2021-04-29 | 2021-04-29 | Video image analysis system |
JP2022046383A JP7156743B1 (en) | 2021-04-29 | 2022-03-23 | Video image analysis system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021572317A Division JP7138990B1 (en) | 2021-04-29 | 2021-04-29 | Video image analysis system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022156757A Division JP2022180595A (en) | 2022-03-23 | 2022-09-29 | Moving image analysis system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7156743B1 true JP7156743B1 (en) | 2022-10-19 |
JP2022171563A JP2022171563A (en) | 2022-11-11 |
Family
ID=87798630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022046383A Active JP7156743B1 (en) | 2021-04-29 | 2022-03-23 | Video image analysis system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7156743B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005177129A (en) | 2003-12-19 | 2005-07-07 | Nippon Telegr & Teleph Corp <Ntt> | Pet communication apparatus |
US20120290508A1 (en) | 2011-05-09 | 2012-11-15 | Anurag Bist | System and Method for Personalized Media Rating and Related Emotional Profile Analytics |
JP2015186127A (en) | 2014-03-25 | 2015-10-22 | ブラザー工業株式会社 | Program and server device |
JP2021022909A (en) | 2019-07-30 | 2021-02-18 | 株式会社リコー | Information processing apparatus, information processing program, information processing system, and information processing method |
JP2021064067A (en) | 2019-10-10 | 2021-04-22 | 沖電気工業株式会社 | Apparatus, information processing method, program, information processing system, and method of information processing system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022046382A (en) * | 2020-09-10 | 2022-03-23 | 株式会社Nsパワー | Face shield |
-
2022
- 2022-03-23 JP JP2022046383A patent/JP7156743B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005177129A (en) | 2003-12-19 | 2005-07-07 | Nippon Telegr & Teleph Corp <Ntt> | Pet communication apparatus |
US20120290508A1 (en) | 2011-05-09 | 2012-11-15 | Anurag Bist | System and Method for Personalized Media Rating and Related Emotional Profile Analytics |
JP2015186127A (en) | 2014-03-25 | 2015-10-22 | ブラザー工業株式会社 | Program and server device |
JP2021022909A (en) | 2019-07-30 | 2021-02-18 | 株式会社リコー | Information processing apparatus, information processing program, information processing system, and information processing method |
JP2021064067A (en) | 2019-10-10 | 2021-04-22 | 沖電気工業株式会社 | Apparatus, information processing method, program, information processing system, and method of information processing system |
Also Published As
Publication number | Publication date |
---|---|
JP2022171563A (en) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7120693B1 (en) | Video image analysis system | |
JP7156743B1 (en) | Video image analysis system | |
JP7156742B1 (en) | Video image analysis system | |
JP7138990B1 (en) | Video image analysis system | |
JP7197950B2 (en) | Video image analysis system | |
JP7197947B2 (en) | Video image analysis system | |
JP7121436B1 (en) | Video analysis program | |
JP7121433B1 (en) | Video analysis program | |
WO2022201270A1 (en) | Video analysis program | |
JP7152819B1 (en) | Video analysis program | |
WO2022201264A1 (en) | Video analysis program | |
JP7138997B1 (en) | Video meeting evaluation terminal | |
WO2022230051A1 (en) | Video analysis system | |
WO2022254489A1 (en) | Video analysis system | |
WO2022230065A1 (en) | Video analysis system | |
JP7152817B1 (en) | Video analysis program | |
WO2022230138A1 (en) | Video analysis system | |
WO2023032056A1 (en) | Video analysis system | |
WO2022230050A1 (en) | Video analysis system | |
WO2022201274A1 (en) | Video analysis programme | |
WO2022201267A1 (en) | Video analysis program | |
WO2022254490A1 (en) | Video analysis system | |
WO2022201269A1 (en) | Video analysis program | |
WO2022254493A1 (en) | Video analysis system | |
WO2022201266A1 (en) | Video analysis program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220714 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220714 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7156743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |