JP2022156996A - Information processing method, program, and information processing device - Google Patents
Information processing method, program, and information processing device Download PDFInfo
- Publication number
- JP2022156996A JP2022156996A JP2021060980A JP2021060980A JP2022156996A JP 2022156996 A JP2022156996 A JP 2022156996A JP 2021060980 A JP2021060980 A JP 2021060980A JP 2021060980 A JP2021060980 A JP 2021060980A JP 2022156996 A JP2022156996 A JP 2022156996A
- Authority
- JP
- Japan
- Prior art keywords
- image
- question
- information processing
- user
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 127
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000009471 action Effects 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 73
- 230000008451 emotion Effects 0.000 claims description 72
- 238000004891 communication Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 abstract description 59
- 238000003860 storage Methods 0.000 description 72
- 230000005540 biological transmission Effects 0.000 description 32
- 230000008921 facial expression Effects 0.000 description 24
- 230000015654 memory Effects 0.000 description 16
- 230000004044 response Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000003930 cognitive ability Effects 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、撮影装置が撮影した画像の表示に係る処理を行う情報処理方法、プログラム、及び情報処理装置に関する。 The present invention relates to an information processing method, a program, and an information processing apparatus that perform processing related to display of an image captured by a photographing device.
発達心理学において、保育を通して非認知的能力を育むことの重要性が認識されている。特許文献１においては、非認知能力を診断するための手法が提案されている。
Developmental psychology recognizes the importance of fostering non-cognitive abilities through childcare.
このような非認知能力を育む契機となる機会を見つけることが難しい。特に、発達心理学の分野では、幼少期にある子供は褒められることにより非認知能力を育むことが期待できることが知られている。 It is difficult to find an opportunity to develop such non-cognitive abilities. Especially in the field of developmental psychology, it is known that children in childhood can be expected to develop non-cognitive abilities by being praised.
一方、子供は保育園や学童などの施設において過ごす時間が長く、保護者の目の届かないところで様々な経験を積む。そのため、保護者と子供との間の会話の話題を見つけて、子供を褒めることに繋げていくことは容易ではない。 On the other hand, children spend a lot of time in facilities such as nursery schools and schoolchildren, and gain various experiences out of the reach of their parents. Therefore, it is not easy to find a topic of conversation between the parent and the child and connect it to praising the child.
本発明は、上記の課題を鑑みてなされたものであり、保護者と子供との間の会話を促すことを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to encourage conversation between parents and children.
一実施形態にかかる情報処理装置が実行する情報処理方法は、施設の利用者を撮影した画像を、画像以外の情報と共に提供する方法であって、利用者が利用する施設に設置された撮影装置が撮影した画像から、抽出された画像を表示する処理と、前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を表示する処理と、前記利用者に対してとるアクションを表示する処理と、を含む。 An information processing method executed by an information processing apparatus according to an embodiment is a method of providing an image of a facility user photographed together with information other than the image, and is a method of providing a photographing apparatus installed in a facility used by the user. a process of displaying an image extracted from an image taken by the user; a process of displaying a first question about the image; and a first selection candidate as an answer to the first question; displaying actions to take on the .
一実施形態によれば、保護者と子供との間の会話を促すことが期待できる。 According to one embodiment, it can be expected to encourage conversation between parents and children.
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Hereinafter, each embodiment of the present invention will be described with reference to the accompanying drawings. Regarding the descriptions of the specifications and drawings according to each embodiment, components having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.
＜システム概要＞
図１は、本実施形態に係る情報処理システム１の構成の一例を示す図である。本実施形態に係る情報処理システム１は、施設に設置された撮影装置２０が撮影した画像を情報処理装置１０へ送信し、撮影装置２０から受信した画像を情報処理装置１０が処理してユーザの端末装置３０へ送信するシステムである。なお、画像は、静止画像、又は動画像である。
<System overview>
FIG. 1 is a diagram showing an example of the configuration of an
図１に例示するように、本実施形態に係る情報処理システム１は、情報処理装置１０、撮影装置２０、及び端末装置３０を備える。情報処理装置１０、撮影装置２０、及び端末装置３０は、ネットワークＮを介して相互に通信可能に接続される。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。また、情報処理装置１０と撮影装置２０とを接続するネットワークと、情報処理装置１０と端末装置３０とを接続するネットワークと、撮影装置２０と端末装置３０とを接続するネットワークとは、異なるものであってもよい。なお、図１の例では、情報処理システム１は、情報処理装置１０、撮影装置２０、及び端末装置３０をそれぞれ１つ備えるが、複数備えてもよい。
As illustrated in FIG. 1 , an
情報処理装置１０は、ネットワークＮを介して撮影装置２０から画像を受信し、受信した画像を記憶装置（後述するストレージ１０３）に記憶して蓄積し、ユーザが使用する端末装置３０に対して、蓄積した画像を送信する装置（コンピュータ）である。なお、情報処理装置１０は、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ、又はこれらの組み合わせである。情報処理装置１０について、詳しくは後述する。
The
撮影装置２０は、例えば１秒間に数回～数十回の周期で撮影を行い、撮影により得られた画像を情報処理装置１０へ送信する。また、撮影装置２０は、例えばカメラを有するスマートフォン又はタブレット型端末装置等の装置であってもよい。また、撮影装置２０は、撮影方向又は画角等が可変の装置であってよく、例えば所定の被写体を自動追跡して撮影を行うカメラであってもよい。また撮影装置２０は、例えば３６０°の範囲を撮影可能なカメラであってもよい。また、撮影装置２０は、例えばドローン等の移動体に搭載されるカメラであってよく、施設に設置された撮影装置２０には、このような移動体に搭載されたカメラにて施設の内外の撮影を行う装置が含まれ得る。また、施設には、上記のような種々の構成の撮影装置２０が複数設置されてよい。この撮影装置２０は単にカメラともいう。
The photographing
端末装置３０は、スマートフォン又はＰＣ（パーソナルコンピュータ）等の端末装置である。この端末装置３０は、一例として、施設を利用する子供（利用者）の保護者（関係者）等が所有しており、端末装置３０に対して提供される本サービスは子供と保護者とで使用する。なお、本実施形態において、ユーザとは、保護者、施設の利用者である子供、又は親子等である。端末装置３０は、情報処理装置１０によって送信された情報をネットワークＮを介して取得し、画面上に表示させる。また、撮影装置２０が撮影した画像を、ネットワークＮを介して情報処理装置１０から取得してもよい。これにより、例えば、保育園又は幼稚園等の施設に子供を預けている保護者は、当該施設で過ごす子供の様子を撮影装置２０にて撮影した画像を自身の撮影装置２０にて閲覧することができる。そして、本実施形態では、端末装置３０に表示される上述のような画像を保護者と子供とで共に閲覧することを想定している。
The
なお、本例では保育園又は幼稚園等の施設にて子供の撮影を行う場合について説明したが、本実施形態に係る情報処理システム１の適用は保育園又は幼稚園等の施設に限られない。施設は、例えば遊園地又はテーマパーク等の商業施設であってもよく、また例えばスポーツ又はイベント等が開催される会場等の施設であってもよく、また例えば利用者の自宅であってもよい。また撮影装置２０による撮影対象は、人でなくてもよく、例えば動物園の動物又は自宅のペット等であってもよい。
In this example, a case of photographing a child at a facility such as a nursery school or kindergarten has been described, but the application of the
＜ハードウェア構成＞
次に、情報処理装置１０のハードウェア構成について図２を用いて説明する。図２は、情報処理装置１０のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１０は、バスＢ１を介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。さらに、情報処理装置１０は、入力装置１０７と、出力装置１０８と、を備える。
<Hardware configuration>
Next, the hardware configuration of the
プロセッサ１０１は、ストレージ１０３に記憶されたプログラムをメモリ１０２に展開して実行することにより、情報処理装置１０の各構成を制御し、情報処理装置１０の機能を実現する。プロセッサ１０１が実行するプログラムは、ＯＳ（Operating System）及び表示制御等を行うためのサーバプログラムを含むが、これに限られない。プロセッサ１０１がサーバプログラムを実行することにより、本実施形態に係る制御が実現される。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。
The
メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、ＭＲＡＭ（Magnetoresistive RAM）、又はこれらの組み合わせである。
The
ストレージ１０３は、ＯＳ、サーバプログラム、及び各種のデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。
The
通信Ｉ／Ｆ１０４は、情報処理装置１０をネットワークＮに接続させるためのインタフェースである。
The communication I/
入出力Ｉ／Ｆ１０５は、情報処理装置１０に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。
The input/output I/
ドライブ装置１０６は、ディスクメディア１０９のデータを読み書きする。ディスクメディア１０９は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１０９は、例えば、ＣＤ、ＤＶＤ、ＦＤ、ＭＯ、又はこれらの組み合わせである。
The
入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、又はこれらの組み合わせである。
The
出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、又はこれらの組み合わせである。
なお、本実施形態において、サーバプログラムは、情報処理装置１０の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１０に提供されてもよいし、非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１０に提供されてもよい。
In this embodiment, the server program may be written in the
図３は、端末装置３０のハードウェア構成の一例を示す図である。図３に示すように、端末装置３０は、バスＢ３を介して相互に接続された、プロセッサ３０１と、メモリ３０２と、ストレージ３０３と、通信Ｉ／Ｆ３０４と、入出力Ｉ／Ｆ３０５と、を備える。さらに、端末装置３０は、入力装置３０７と、出力装置３０８と、を備える。
FIG. 3 is a diagram showing an example of the hardware configuration of the
プロセッサ３０１は、ストレージ３０３に記憶されたプログラムをメモリ３０２に展開して実行することにより、端末装置３０の各構成を制御し、端末装置３０の機能を実現する。プロセッサ３０１が実行するプログラムは、ＯＳ、及び表示制御プログラム等のサーバプログラムを含むが、これに限られない。プロセッサ３０１は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＳＩＣ、ＤＳＰ、又はこれらの組み合わせである。
The
メモリ３０２は、例えば、ＲＯＭ、ＲＡＭ、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ、ＳＲＡＭ、ＭＲＡＭ、又はこれらの組み合わせである。
ストレージ３０３は、ＯＳ、サーバプログラム、及び各種のデータを記憶する。ストレージ３０３は、例えば、フラッシュメモリ、ＨＤＤ、ＳＳＤ、ＳＣＭ、又はこれらの組み合わせである。
The
通信Ｉ／Ｆ３０４は、端末装置３０をネットワークＮに接続させるためのインタフェースである。通信Ｉ／Ｆ３０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、又はこれらの組み合わせによる無線通信が可能である。
A communication I/
入出力Ｉ／Ｆ３０５は、端末装置３０に入力装置３０７及び出力装置３０８を接続するためのインタフェースである。
The input/output I/
入力装置３０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、又はこれらの組み合わせである。
The
出力装置３０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、又はこれらの組み合わせである。
なお、本実施形態において、サーバプログラムは、端末装置３０の製造段階でメモリ３０２又はストレージ３０３に書き込まれてもよいし、ネットワークＮを介して端末装置３０に提供されてもよいし、非一時的でコンピュータ読み取り可能な記録媒体を介して端末装置３０に提供されてもよい。
In this embodiment, the server program may be written in the
＜機能構成＞
次に、情報処理装置１０、及び端末装置３０の機能構成についてそれぞれ説明する。図４は、情報処理装置１０の機能構成の一例を示す図である。図４に例示するように、情報処理装置１０は、通信部１１と、記憶部１２と、制御部１３と、を備える。
<Functional configuration>
Next, functional configurations of the
通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、種々の装置との間で通信を行う。本実施形態において、通信部１１は、ネットワークＮを介して、撮影装置２０から撮影された画像を受信する。また、通信部１１は、端末装置３０に対して情報を送信し、端末装置３０からユーザによるリクエストを受信する。このようにして、通信部１１は、ネットワークＮを介して、撮影装置２０や端末装置３０との間で情報の送受信を行う。また、通信部１１は、制御部１３から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを制御部１３へ与える。
記憶部１２は、メモリ１０２、及びストレージ１０３により実現される。記憶部１２は、制御部１３が実行する各種のプログラム、及び、制御部１３の処理に必要な各種のデータを記憶する。記憶部１２には、画像記憶部１２０、ユーザＤＢ１２１、サーバプログラム１２２、学習モデル１２３、質問情報記憶部１２４、及びアクション情報記憶部１２５が格納される。
The
画像記憶部１２０は、撮影装置２０から受信し、情報処理装置１０にて選別された画像を記憶する。画像記憶部１２０は、例えば撮影装置２０が設置された施設の識別子（ＩＤ）、撮影装置２０が複数設置される場合には各撮影装置２０のＩＤ、及び、画像が撮影された日時等により複数の画像を分類して記憶する。また本実施形態において画像記憶部１２０は、画像に写された人の識別結果、並びに、この人の表情又は行動等の識別結果等の情報を付随情報として画像に付して記憶してもよい。なお、本実施形態において、画像記憶部１２０は、画像記憶部１２０選別された画像に記憶するが、これに替えて、撮影装置２０が撮影した実体である画像を記憶したり、撮影装置２０が撮影した実体である画像を記憶する構成を別途設けてもよい。
The image storage unit 120 stores images received from the
ユーザＤＢ１２１は、本実施形態に係る情報処理システム１が提供するサービスについて利用登録を行ったユーザに関する情報を記憶するデータベースである。ユーザＤＢ１２１について、図５を用いて説明する。
The
図５は、ユーザＤＢ１２１の一構成例を示す模式図である。本実施形態に係るユーザＤＢ１２１は、例えば、「ユーザＩＤ」、「施設ＩＤ」、及び「対象者」の情報を対応付けて記憶する。「ユーザＩＤ」は、本実施形態に係る情報処理システム１が提供するサービスを利用するユーザに対して一意に付された識別情報である。上述したように、ユーザは、例えば、保育園を利用する子供の保護者を含み、本例ではユーザＩＤとして保護者００１、保護者００２等のＩＤが付されている。なお、図５に例示した「ユーザＩＤ」は一例であり、例えば保育士も本システムを利用する場合には、「ユーザＩＤ」は、保育士のＩＤをも含み得る。
FIG. 5 is a schematic diagram showing a configuration example of the
「施設ＩＤ」は、施設に対して一意に付された識別情報である。本例では施設ＩＤとして保育園ａ等のＩＤが付されている。 “Facility ID” is identification information uniquely attached to a facility. In this example, an ID such as nursery school a is assigned as the facility ID.
「対象者」は、施設に設置された撮影装置２０による撮影の対象となる利用者（子供）に関する情報であり、ユーザが画像を閲覧等することが可能な対象者に関する情報である。「対象者」には、例えば、名前が含まれ得る。名前は、対象者の本名、又は愛称等であり、本例では「ひなちゃん」、「たくやくん」等の愛称が設定されている。なお、図５に例示した「対象者」は一例であり、例えば、対象者の顔写真等から抽出された、対象者の顔の特徴を特徴量等の情報を含んでもよい。
The “target person” is information about a user (child) who is a target of imaging by the
なお、ユーザＤＢ１２１の構成は、図示のものに限らない。ユーザＤＢ１２１には、上記の情報以外にも、例えば、ユーザの名前、施設の名前、端末装置３０に付されたＩＤ、ユーザの住所、電話番号、もしくはメールアドレス等の連絡先、又は、サービスに対するログイン用のパスワード等の種々の情報が記憶され得る。
Note that the configuration of the
次に、記憶部１２の機能構成に関する説明にもどり、サーバプログラム１２２について説明する。本実施形態においてサーバプログラム１２２は、上述したように、プロセッサ１０１より実行されることにより、情報処理装置１０の各構成を制御し、情報処理装置１０の機能を実現するものである。サーバプログラム１２２は、メモリカード、又はディスクメディア１０９等の記録媒体に記録された態様で提供され、情報処理装置１０が、提供されたサーバプログラム１２２を取得して記憶部１２に記憶する。ただし、このサーバプログラム１２２は、例えば、情報処理装置１０の製造段階において記憶部１２に書き込まれてもよい。
Next, returning to the description of the functional configuration of the
また、例えば、サーバプログラム１２２は、遠隔の他のサーバ装置等により配信されてもよく、この場合、情報処理装置１０は、配信されるサーバプログラム１２２をネットワークＮを介して取得してもよい。また、例えば、サーバプログラム１２２は、ディスクメディア１０９等の記録媒体に記録されたものをドライブ装置１０６等が読み出して情報処理装置１０の記憶部１２に書き込まれてもよい。
Further, for example, the
学習モデル１２３は、本実施形態において用いる様々な学習モデルであり、詳しくは後述する。対象者の感情とユーザのアクションとの関係等を学習しており、対象者の感情に適したアクションを出力するように予め機械学習された学習済みの学習モデルである。
The
この学習モデルを、単に学習モデル、又はモデルともいう。モデルの学習処理及び再学習処理は、例えば、情報処理装置１０の制御部１３の後述する学習部１３７により行われるが、これに限られない。モデルの学習処理及び再学習処理は、情報処理装置１０以外の他の装置で行われ、情報処理装置１０に提供されてもよい。なお、記憶部１２の学習モデル１２３には、学習済みモデルに付随する重み等の情報も併せて格納される。
This learning model is simply called a learning model or a model. Model learning processing and relearning processing are performed by, for example, a later-described
また、このモデルは、例えば、ＤＮＮ（Deep Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＬＳＴＭ（Long Short-Term Memory）等のニューラルネットワークであるが、これに限られない。モデルは、決定木、ＳＶＭ（Support Vector Machine）等の学習モデルであってもよい。また、モデルの学習方法は、例えば、勾配降下法、確率的勾配降下法、又は誤差逆伝播法であるが、これに限られない。 Further, this model is, for example, a neural network such as DNN (Deep Neural Network), RNN (Recurrent Neural Network), CNN (Convolutional Neural Network), LSTM (Long Short-Term Memory), etc., but is not limited thereto. . The model may be a learning model such as a decision tree or SVM (Support Vector Machine). The model learning method is, for example, gradient descent, stochastic gradient descent, or error backpropagation, but is not limited thereto.
質問情報記憶部１２４は、ユーザに対して投げかける（表示する）質問や、当該質問の表示に用いるアイコンや文字列等を含む画像や文字列を記憶するデータベースである。
The question
アクション情報記憶部１２５は、提示（表示）するアクションや、当該アクションの表示に用いるアイコン等の画像を記憶するデータベースである。このアクション情報記憶部１２５に記憶された情報は、後述する第３質問に対する回答の選択肢として表示される情報である。なお、本実施形態では、後述する第１回答に対応させて、アクション情報記憶部１２５から複数のアクション（第３質問に対する回答の選択肢）を抽出しているが、これに替えて、第２回答に対応させて複数のアクションを抽出してもよい。 The action information storage unit 125 is a database that stores actions to be presented (displayed) and images such as icons used to display the actions. The information stored in the action information storage unit 125 is information displayed as options for answering a third question, which will be described later. In this embodiment, a plurality of actions (answer options for the third question) are extracted from the action information storage unit 125 in association with the first answer, which will be described later. A plurality of actions may be extracted corresponding to .
次に、情報処理装置１０の制御部１３について説明する。この制御部１３は、通信部１１から受信したデータを処理して、その処理結果を通信部１１へ与える処理を行う。制御部１３は、画像受信部１３０、画像識別部１３１、画像選別部１３２、画像送信部１３３、質問送信部１３４、回答受信部１３５、アクション送信部１３６、及び学習部１３７を含む。本実施形態に係る制御部１３は、記憶部１２に記憶されたサーバプログラム１２２を読み出して実行することにより、上述の画像受信部１３０、画像識別部１３１、画像選別部１３２、画像送信部１３３、質問送信部１３４、回答受信部１３５、アクション送信部１３６、及び学習部１３７等が、ソフトウェア的な機能部として制御部１３に実現される。
Next, the
画像受信部１３０は、撮影装置２０が送信する画像を通信部１１にて受信する処理を行う。例えば、画像受信部１３０は、受信した画像に付されたデータに基づいて、画像の撮影日時、撮影した撮影装置２０のＩＤや、撮影装置２０が設置された施設のＩＤ等に対応付けて、画像を分類して記憶部１２に一時的に記憶する。なお、画像受信部１３０によって記憶部１２に一時的に記憶された画像は、後述する画像選別処理により選別がなされ、記憶部１２の画像記憶部１２０に記憶して蓄積されるか、又は、記憶部１２から消去される。
The
画像識別部１３１は、撮影装置２０から取得した画像に対して、画像に写された人物を検出する処理、画像に写された人物が誰であるかを識別する処理、及び、画像に写された人物の表情を識別する処理等を行う。画像識別部１３１は、これらの処理結果に関する情報を画像にメタデータとして付してもよい。なお、本実施形態においては、これらの処理を情報処理装置１０が行うものとするが、これに限るものではなく、これらの処理の一部又は全部を予め撮影装置２０が行ってもよい。また、画像識別部１３１は、画像に写された人物の行動を識別する処理も行ってもよい。
The
画像識別部１３１は、例えば、予め機械学習がなされた学習モデルを用いて、画像から人物を検出する。学習モデルは、例えば画像のデータを入力として受け付け、この画像に含まれる人物が写された画像領域（を示す座標等のデータ）を出力するように予め機械学習がなされる。学習モデルは、例えば画像のデータと、この画像に含まれる人物が写された画像領域を示すデータとが対応付けられた教師データを用いて機械学習がなされる。
The
また、保育園、又は幼稚園等の施設にて撮影された画像を基に検出する対象の人物（対象者）を子供とする場合、子供が撮影された画像データを用いて教師データを作成することにより、子供の検出精度を高めることが期待できる。画像識別部１３１は、撮影装置２０から取得した画像を学習モデルへ入力し、学習モデルが出力する人物の検出結果を取得することで、画像に写された人物を検出する処理を行う。なお画像識別部１３１は、画像から人物が検出されなかった場合、即ち画像に人物が写されていない場合、この画像を除去して後続の処理の対象から外す。
In addition, when the target person (target person) to be detected based on the image taken at a nursery school or kindergarten is a child, by creating training data using the image data of the child , can be expected to increase the detection accuracy of children. The
また、画像識別部１３１は、例えば画像に写された人物の顔の特徴量に基づいて、画像に写された人物が誰であるかを識別する処理を行ってもよい。この場合、画像識別部１３１は、例えば画像に写された人物の顔の特徴量を抽出し、ユーザＤＢ１２１に登録された対象者の特徴量との比較を行う。
Further, the
また、画像識別部１３１は、例えば、予め機械学習がなされた学習モデルを用いて、画像に写された人物の表情を識別する処理を行う。例えば、学習モデルは、人物が写された画像を入力として受け付けて、この画像に写された人物の表情が所定の表情である確信度を出力するように予め機械学習がなされる。所定の表情については予め定義し得るが、例えば、笑顔、怒り又は悲しみ等である。この所定の表情については後述する。画像識別部１３１は、例えば１種類の表情について確信度を出力する学習モデルを複数用意して複数種類の表情の識別を行ってもよく、また例えば複数種類の表情について確信度をそれぞれ出力する１つの学習モデルを用意して識別を行ってもよい。
In addition, the
学習モデルは、例えば画像のデータと、この画像に写された人物の顔の表情が所定の表情であるか否かを示すラベル（所定の表情であればラベル１、所定の表情以外であればラベル０など）とを対応付けた教師データを用いて機械学習がなされる。本実施形態において画像識別部１３１は、撮影装置２０が撮影した画像を学習モデルへ入力し、学習モデルが出力する各表情の確信度を取得し、確信度が最も高い表情を画像に写された人物の表情と判断する。なお最も高い確信度が閾値を超えない場合には、画像識別部１３１は、画像に写された人物の表情が、学習モデルにて識別できるいずれの表情でもないと判断してよい。また、画像識別部１３１は、例えば予め機械学習がなされた学習モデルを用いて、画像に写された人物が行っている行動を識別する処理を行ってもよい。
The learning model includes, for example, image data and a label indicating whether or not the facial expression of a person captured in the image is a predetermined expression (
画像選別部１３２は、画像識別部１３１による識別結果に基づいて、撮影装置２０から取得した画像の中から、画像記憶部１２０に記憶して蓄積する画像を選別する処理を行う。画像選別部１３２は、各所定の表情について、所定数の画像を選定する。また、例えば画像選別部１３２は、スケジュールの各イベントについて、１人の利用者について所定数の画像を選別する。このときに画像選別部１３２は、例えば表情を識別する際に学習モデルが出力した確信度が高い画像を上位から所定数だけ選別することができる。また、例えば画像選別部１３２は、５分又は１０分等の間隔で確信度が最も高い画像を選別してもよい。画像選別部１３２による画像選別の方法は、上記の方法に限らず、どのような方法が採用されてもよい。
The
画像送信部１３３は、画像記憶部１２０に記憶した画像をユーザの端末装置３０へ送信する処理を行う。画像送信部１３３は、端末装置３０から画像の送信要求と共に与えられる条件を取得し、取得した条件を満たす画像を画像記憶部１２０に記憶された複数の画像の中から抽出して、要求元の端末装置３０へ送信する。端末装置３０から与えられる条件は、例えば「ポジティブ（な感情）」等である。画像送信部１３３は、画像識別部１３１が各画像に付したメタデータに基づいて、端末装置３０からの条件を満たす画像を抽出してもよい。
The
質問送信部１３４は、質問情報記憶部１２４に記憶した質問と、当該質問の表示に用いる文字列や文字列を含むアイコン等の画像とをユーザの端末装置３０へ送信する処理を行う。質問送信部１３４は、端末装置３０から、ユーザによる画像選択と共に与えられる条件を取得し、取得した条件を満たす質問と、当該質問の表示に用いる文字列や文字列を含むアイコン等の画像とを質問情報記憶部１２４の中から抽出して、要求元の端末装置３０へ送信する。例えば、端末装置３０によって所定の画像が選択された場合質問送信部１３４は、画像識別部１３１が各画像に付したメタデータ等に基づいて、端末装置３０から質問（第１質問）と、当該質問に対する回答として、例えば、「ポジティブ」、及び「ネガティブ」等の感情を示す文字列を含むアイコンを選択肢として左右に表示する。例えば「ポジティブ（な感情）」の条件が与えられた場合、画像送信部１３３は、画像識別部１３１が各画像に付したメタデータ等に基づいて、端末装置３０からポジティブな感情に関連する質問と、ポジティブな感情の表示に用いるアイコンとを抽出してもよい。
The
回答受信部１３５は、ユーザの端末装置３０が送信する回答（後述する、第１回答，第２回答，第３回答）を通信部１１にて受信する処理を行う。例えば、画像受信部１３０は、受信した回答と共に与えられる条件を取得する。
The
アクション送信部１３６は、アクション情報記憶部１２５に記憶したアクションと当該アクションの表示に用いるアイコン等の画像とをユーザの端末装置３０へ送信する処理を行う。アクション送信部１３６は、端末装置３０から質問（後述する第１質問）の回答（後述する第１回答）のための選択肢と共に与えられる条件を取得し、質問と共に、取得した条件を満たすアクションとアクションの表示に用いるアイコン等の画像とをアクション情報記憶部１２５に記憶された複数のアクションやアイコン等の画像の中から抽出して、要求元の端末装置３０へ送信する。
The
端末装置３０から与えられる条件が、例えば「ポジティブ」である場合、アクション送信部１３６は、アクション情報記憶部１２５から、質問と同時に、「ポジティブ」を詳細化した感情を示す選択肢を要求元の端末装置３０へ送信する。一方、端末装置３０から与えられる条件が、例えば「ネガティブ」である場合、アクション送信部１３６は、アクション情報記憶部１２５から、質問と同時に、「ネガティブ」を詳細化した感情を示す選択肢を要求元の端末装置３０へ送信する。アクション送信部１３６により送信される質問と、受信される回答とを、それぞれ、第３質問、及び第３回答ともいう。
When the condition given from the
学習部１３７は、記憶部１２に記憶される、上述した種々の学習モデル１２３に対して教師データを入力することにより、当該学習モデルを学習させる（訓練する）。
The
上述した通り、情報処理装置１０は、画像受信部１３０～学習部１３７を備えるが、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。
As described above, the
次に、端末装置３０の機能構成について説明する。図６は、端末装置３０の機能構成の一例を示す図である。図６に例示するように、端末装置３０は、通信部３１と、記憶部３２と、制御部３３と、操作部３４と、表示部３５と、を備える。
Next, the functional configuration of the
通信部３１は、通信Ｉ／Ｆ３０４により実現される。通信部３１は、ネットワークＮを介して、情報処理装置１０や撮影装置２０との間でデータの送受信を行う。
記憶部３２は、メモリ３０２及びストレージ３０３により実現される。記憶部３２は、ユーザプログラム３２０を備え、選択情報や受信した画像等を含む各種の情報を記憶してもよい。本実施形態において、ユーザプログラム３２０は遠隔のサーバ装置等により配信され、これを端末装置３０が通信にて取得し、記憶部３２に記憶する。ただしユーザプログラム３２０は、例えば、端末装置３０の製造段階において記憶部３２に書き込まれてもよい。例えば、ユーザプログラム３２０は、メモリカード、又は光ディスク等の記録媒体に記録されたユーザプログラム３２０を端末装置３０が読み出して記憶部３２に記憶してもよい。例えば、ユーザプログラム３２０は、記録媒体に記録されたものを書込装置が読み出して端末装置３０の記憶部３２に書き込んでもよい。また、ユーザプログラム３２０は、ネットワークを介した配信の態様で提供されてもよく、記録媒体に記録された態様で提供されてもよい。
The
制御部３３は、プロセッサ３０１がユーザプログラム３２０等のプログラムを実行し、他のハードウェア構成と協働することにより実現される。制御部３３は、端末装置３０の動作全体を制御する。この制御部３３は、表示制御部３３０と、条件取得部３３１と、を備える。
The
また、例えば、サーバプログラム１２２は、遠隔の他のサーバ装置等により配信されてもよく、この場合、情報処理装置１０は、配信されるサーバプログラム１２２をネットワークＮを介して取得してもよい。また、例えば、サーバプログラム１２２は、ディスクメディア１０９等の記録媒体に記録されたものをドライブ装置１０６等が読み出して情報処理装置１０の記憶部１２に書き込まれてもよい。
Further, for example, the
表示制御部３３０は、表示部３５に対して種々の文字、又は画像等を表示するための制御を行う。本実施形態において表示制御部３３０は、後述のＵＩ（User Interface）画面を表示部３５に表示すると共に、このＵＩ画面の所定領域に情報処理装置１０から取得した画像を表示する。
The display control unit 330 controls the
条件取得部３３１は、表示制御部３３０がＵＩ画面を表示部３５に表示している際に、操作部３４に対するユーザの操作に基づいて、ＵＩ画面に表示する一又は複数の画像に関する条件を取得する処理を行う。本実施形態に係る情報処理システム１では、表示する画像に関する条件として、選択された画像、回答、アイコン等の画像等を受け付けてもよい。条件取得部３３１は、取得した条件を付した画像の送信要求を情報処理装置１０へ与える。この要求に応じて情報処理装置１０は条件に適合する画像を端末装置３０へ送信し、この画像を受信した端末装置３０の表示制御部３３０が画像を表示する。
The
操作部３４は、端末装置３０を使用するユーザからの入力（操作）を受け付け、受け付けた入力を示す操作情報を制御部３３に供給する。
The operation unit 34 receives an input (operation) from the user using the
表示部３５は、上述の制御部３３による制御にしたがって種々の画面表示を行う。
The
なお、図示を省略したが、端末装置３０は、撮影機能等の他の機能を備えてもよい。
Although illustration is omitted, the
＜ＵＩ画面：画像表示処理＞
図７～図１１は、本実施形態に係る端末装置３０が表示するＵＩ画面の一例を示す模式図である。なお、図７～図１１に例示するＵＩ画面は、施設の利用者である「ひなちゃん」の保護者が使用する端末装置３０が表示するＵＩ画面の一例である。図７は第１質問表示画面の一例を示す図であり、図８及び図９は第２質問表示画面の一例を示す図であり、図１０及び図１１は第３質問表示画面の一例を示す図である。また、図８及び図１０は、後述する「ポジティブ」を選択した場合のＵＩ画面の一例であり、図９及び図１１は後述する「ネガティブ」を選択した場合のＵＩ画面の一例である。
<UI screen: image display processing>
7 to 11 are schematic diagrams showing examples of UI screens displayed by the
本実施形態に係る端末装置３０が表示するＵＩ画面は、日付表示領域１５１、主画像表示領域（第１の領域）１５２、質問表示領域（第２の領域）１５３、及び副画像表示領域（第３の領域）１５４等を含んで構成されている。
The UI screen displayed by the
図７に例示するＵＩ画面（第１質問表示画面）の次には、図８又は図９に例示するＵＩ画面（第２質問表示画面）が表示される。図８に例示するＵＩ画面は、図７に例示するＵＩ画面において、「ポジティブ」が選択された場合に表示されるものである。一方、図９に例示するＵＩ画面は、図７に例示するＵＩ画面において、「ネガティブ」が選択された場合に表示されるものである。そして、図８に例示するＵＩ画面の次には、図１０に例示するＵＩ画面（第３質問表示画面）が表示される。 After the UI screen (first question display screen) illustrated in FIG. 7, the UI screen (second question display screen) illustrated in FIG. 8 or 9 is displayed. The UI screen illustrated in FIG. 8 is displayed when "Positive" is selected on the UI screen illustrated in FIG. On the other hand, the UI screen illustrated in FIG. 9 is displayed when "negative" is selected in the UI screen illustrated in FIG. After the UI screen illustrated in FIG. 8, a UI screen (third question display screen) illustrated in FIG. 10 is displayed.
この図１０に例示する第３質問表示画面は、図７に例示するＵＩ画面において「ポジティブ」が選択された場合に、図８に例示するＵＩ画面の次に表示されるＵＩ画面である。一方、図９に例示するＵＩ画面の次に、図１１に例示するＵＩ画面（第３質問表示画面）が表示される。この図１０に例示する第３質問表示画面は、図７に例示するＵＩ画面において「ネガティブ」が選択された場合に、図９に例示するＵＩ画面の次に表示されるものである。なお、図９に例示するＵＩ画面の次には、図１１に例示するＵＩ画面（第３質問表示画面）が表示される。これらの図７～図１１に例示するＵＩ画面は、後述する質問表示領域１５３に表示される内容が異なっている。
The third question display screen illustrated in FIG. 10 is a UI screen displayed next to the UI screen illustrated in FIG. 8 when "positive" is selected on the UI screen illustrated in FIG. On the other hand, after the UI screen illustrated in FIG. 9, a UI screen (third question display screen) illustrated in FIG. 11 is displayed. The third question display screen illustrated in FIG. 10 is displayed after the UI screen illustrated in FIG. 9 when "negative" is selected on the UI screen illustrated in FIG. After the UI screen illustrated in FIG. 9, a UI screen (third question display screen) illustrated in FIG. 11 is displayed. The UI screens exemplified in FIGS. 7 to 11 differ in content displayed in a
日付表示領域１５１は、ＵＩ画面の上部に設けられており、本例では「２０２１年３１日 Monday」のように年月日及び曜日が表示されている。本実施形態に係る情報処理システム１では、本サービ日付表示領域１５１を利用するためにユーザが端末装置３０にてユーザプログラム３２０を起動した後、図示のＵＩ画面が表示される。このときにＵＩ画面の日付表示領域１５１には、例えば、今日の日付が表示される。
The
ユーザは施設の撮影装置２０が今日（これまで）に撮影した画像を閲覧することができる。ユーザは、日付表示領域１５１に対するタッチ操作やクリック操作等を行うことによって、日付を変更することができる。端末装置３０は、日付表示領域１５１に対する操作を受け付けた場合に、例えばカレンダー等を表示して日付の選択を受け付ける。日付の選択を受け付けた端末装置３０は、この日付の画像を送信する要求を情報処理装置１０へ与え、要求に応じて情報処理装置１０から送信される画像を受信して主画像表示領域１５２を表示する。
The user can browse the images captured today (so far) by the
主画像表示領域１５２は、ＵＩ画面において、日付表示領域１５１の下側に設けられており、本システムが自動的に抽出した１つの画像や、後述の副画像表示領域１５４にてユーザにより選択された１つの画像を表示する。本実施形態においては、主画像表示領域１５２に表示される画像を保護者と子供が一緒に閲覧することを想定している。
The main
また、本実施形態に係る情報処理システム１が記憶及び表示する画像は、静止画像又は動画像のいずれであってもよく、静止画及び動画像が混在していてもよい。端末装置３０は、主画像表示領域１５２に動画像を表示する場合、主画像表示領域１５２の中央又は下部に再生及び停止等の操作を受け付けるボタン、及び、再生時間を示すスライドバー等を表示する。そして、主画像表示領域１５２に動画像を表示する場合、再生前に主画像表示領域１５２に表示される画像は、当該動画像の最初のフレームでなくてもよく、当該動画像の特徴を最もよくあらわしている場面のフレームであってもよい。
Further, the images stored and displayed by the
質問表示領域１５３は、上述した主画像表示領域１５２の下側に設けられており、例えば、質問と共に、回答として、感情を示す文字列や、感情を示すアイコンや文字列を含む画像が選択肢として表示される。端末装置３０は、質問表示領域１５３に表示されたいずれかの選択肢に対するタッチ操作やクリック操作等を受け付けることにより、感情の選択を受け付ける。感情の選択を受け付けた端末装置３０は、この感情を示す文字列やアイコン等の画像を送信する要求を情報処理装置１０へ与え、当該要求に応じて情報処理装置１０から送信される画像を受信して表示する。
The
図７に示す第１質問表示画面に例示するように、質問表示領域１５３は、質問として、「ひなちゃんのこのときの気持ちはどっちかな？」が表示されている。同時に、回答として、「ポジティブ」、及び「ネガティブ」等の感情を示す文字列が選択肢として左右に表示されている。この上述した質問は第１質問、又は第１の質問といい、上述した選択肢は第１の選択候補、又は第１選択候補という。また、この第１の選択候補で選択し得る感情（「ポジティブ」、及び「ネガティブ」）を「第１の感情」という。端末装置３０は、質問表示領域１５３に表示されたいずれかの選択肢に対するタッチ操作やクリック操作等を受け付けることにより、感情の選択を受け付ける。感情の選択を受け付けた端末装置３０は、この感情を示す文字列やアイコン等の画像を送信する要求を情報処理装置１０へ与え、当該要求に応じて情報処理装置１０から送信される画像を受信して表示する。
As exemplified in the first question display screen shown in FIG. 7, the
本実施形態では、第１質問表示画面に表示する上述の質問は、保護者と子供とが主画像表示領域１５２に表示される画像を閲覧しながら回答することを想定している。具体的には、「ひなちゃんのこのときの気持ちはどっちかな？」のような質問は、保護者と子供とが主画像表示領域１５２に表示される画像を閲覧しながら、保護者が子供にその時の気持ちを問うものであるから、例えば、保護者が第１質問表示画面に表示される上述の質問をみながら、口頭で子供に問うこともできる。また、ＵＩ画面の質問の近くに、当該質問への理解を助けるコメント（例えば、「この時の気持ちを押してね。」）を添えることのできる領域を設けてもよい。
In this embodiment, it is assumed that the above-mentioned questions displayed on the first question display screen are answered while the parent and child browse the images displayed in the main
図８、及び図９に示す第２質問表示画面に例示するように、質問表示領域１５３は、質問として、「ひなちゃんのこのときの気持ちはどれかな？」が表示されている。図８に例示するＵＩ画面では、この質問と共に、回答として、「幸せ」、「楽しい」、「満足」、及び「嬉しい」等のポジティブな感情を示す文字列と画像とが選択肢として左右に表示されている。また、図９に例示するＵＩ画面では、この質問と共に、回答として、「怒っている」、「怖い」、「悲しい」、及び「つらい」等のネガティブな感情を示す文字列と画像とが選択肢として左右に表示されている。この上述した質問は第２質問、又は第２の質問といい、上述した選択肢は第２の選択候補、又は第２選択候補という。第２の質問は、第１の質問に関する回答を詳細に問うものである。また、この第３の選択候補で選択し得る感情を「第２の感情」という。
As exemplified in the second question display screens shown in FIGS. 8 and 9, the
すなわち、図７に例示した第１質問表示画面において、例えば「ポジティブ」が選択された場合には、次に表示される第２質問表示画面（図８参照）において具体的にどういったポジティブの感情であるのかを問うような具体的な質問を表示する。一方、図７に例示した第１質問表示画面において、例えば「ネガティブ」が選択された場合には、次に表示される第２質問表示画面（図９参照）において具体的にどういったネガティブの感情であるのかを問うような具体的な質問を表示する。 That is, in the first question display screen illustrated in FIG. 7, for example, when "positive" is selected, what kind of positive is specifically displayed in the second question display screen (see FIG. 8) displayed next? Display a specific question such as whether it is an emotion. On the other hand, in the first question display screen illustrated in FIG. 7, for example, when "negative" is selected, what kind of negative is specifically displayed in the second question display screen (see FIG. 9) displayed next? Display a specific question such as whether it is an emotion.
これらの質問（第２質問）はいずれも、保護者が子供のその時の感情を具体的に掘り下げて問うものである。これらの質問についても同様に、本実施形態では、保護者と子供とが主画像表示領域１５２に表示される画像を閲覧しながら具体的な感情を回答することを想定している。例えば、保護者は、回答の選択肢（「怒っている」、「怖い」、「悲しい」、及び「つらい」）を見て、子供に対し、「そのときの気持ちは怒っているかな？怖かったかな？悲しかったかな？それとも、つらかったかな？」と口頭で子供に問うこともできる。なお、図示する第１質問や第２質問の文言は一例にすぎず、例えば、同等の趣旨を問うために別の文言を用いてもよいし、文言ではなく音声にて質問を与えてもよい。
All of these questions (the second question) are questions in which the parent specifically delves into the feelings of the child at that time. As for these questions, in the present embodiment, it is assumed that the parent and the child view the images displayed in the main
このような具体的な感情を選択肢として用意することにより、回答する人物である子供や、質問を投げかける保護者の負荷が少なくなる。また、信州大学の『信州心理臨床紀要』に掲載された論文によれば、自身で思いついた言葉でなく選択肢をもとにして感情のラベリングすることにより、ストレス軽減の効果がある。本システムにおいて、ネガティブとポジティブのそれぞれについて、選択肢をもとにした感情のラベリングを行うことで、ストレス軽減につながる可能性がある。すなわち、ネガティブな経験をした子供に、その時の画像を用いて具体的な感情を選択してもらうことで、子供は保護者にストレスを軽減してもらったと感じられる可能性が高い。 By preparing such specific emotions as options, the burden on the child who is the person who answers and the guardian who poses the question is reduced. In addition, according to a paper published in Shinshu University's "Shinshu Psychological Clinical Bulletin", labeling emotions based on choices rather than words that come up by oneself has the effect of reducing stress. In this system, it is possible to reduce stress by labeling emotions based on options for both negative and positive. In other words, by asking a child who has had a negative experience to select a specific emotion using the image at that time, there is a high possibility that the child will feel that their parents have reduced their stress.
このように、本システムでは、親子で閲覧できる画像と、その画像に対する質問や回答の選択肢を親子に与えることにより、会話を促すことが期待できる。 In this way, the present system can be expected to promote conversation by providing the parent and child with an image that can be viewed by the parent and child and options for questions and answers to the image.
なお、本実施形態では、第１質問の回答として２つの選択肢を与えるものとしたが、これに限定されず、例えば、２つよりも多い選択肢を与えてもよい。また、本実施形態では、文字列を含むアイコンを選択肢として表示するものとしたが、これに替えて画像を表示するものとしてもよい。また、本実施形態では、第２質問の回答として４つの選択肢を与えるものとしたが、これに限定されず、例えば、４つ未満、又は４つよりも多い選択肢を与えてもよい。また、本実施形態では、感情を示すアイコンを含む画像を選択肢として表示するものとしたが、これに替えて文字列を表示するものとしてもよい。 In this embodiment, two options are given as an answer to the first question, but the present invention is not limited to this, and for example, more than two options may be given. Also, in the present embodiment, an icon including a character string is displayed as an option, but an image may be displayed instead. Also, in the present embodiment, four options are given as the answer to the second question, but the present invention is not limited to this, and for example, less than four or more than four options may be given. Also, in the present embodiment, an image including an icon representing an emotion is displayed as an option, but a character string may be displayed instead.
また、図１０及び図１１に示す第３質問表示画面に例示するように、質問表示領域１５３は、質問として、「どのアクションをとりますか？」が表示されている。図１０に例示するＵＩ画面では、この質問と共に、回答として、「共感する」、「プロセスを褒める」、「理由を聞く」、及び「期待を実感させる」等のネガティブな場合に保護者の取り得るアクションを示す文字列が選択肢として左右に表示されている。この上述した質問は第３質問、又は第３の質問といい、上述した選択肢は第３の選択候補、又は第３選択候補という。また、この第３の選択候補で選択し得る感情を「第３の感情」という。この質問（第３質問）は、本システムから保護者への問いであり、第１回答及び第２回答を受信して得た子供の感情や画像に写った行動に対して、いかに振舞うかを問うものである。
Further, as exemplified in the third question display screen shown in FIGS. 10 and 11, the
このような具体的なアクションを選択肢として用意することにより、保護者の入力することの負荷が減少する。また、保護者がとり得るアクションを示すことで、どのようなアクションをとればよいか思いつかない保護者に対する助言となる。 By providing such specific actions as options, the burden of inputting by parents is reduced. In addition, by showing possible actions that parents can take, it is possible to give advice to parents who cannot think of what actions to take.
副画像表示領域１５４は、質問表示領域１５３の下側に設けられており、情報処理装置１０により抽出された一又は複数の画像を上下方向に並べて一覧表示する領域である。本実施形態において、副画像表示領域１５４に表示される画像はユーザの閲覧当日に撮影されたものであるものとするが、これに限られない。一覧表示される各画像は、元の画像を縮小したもの、いわゆるサムネイルであってよく、サムネイル画像の作成は情報処理装置１０又は端末装置３０のいずれにより行われてもよい。図示の例では、副画像表示領域１５４に２つの画像が左右に並べて一覧表示されている。
The
なお、これ以上の数の画像を副画像表示領域１５４に一覧表示する場合に、端末装置３０は、例えば副画像表示領域１５４の側部にスクロールバー等を表示し、副画像表示領域１５４に対するスクロール操作を受け付けて、副画像表示領域１５４に表示する画像をスクロールさせて切り替えてもよい。また副画像表示領域１５４に一覧表示される複数の画像の表示順は、例えば撮影時刻に応じて決定してもよい。端末装置３０は、副画像表示領域１５４に一覧表示された一又は複数の画像に対するタッチ操作又はクリック操作等を受け付けることにより、ユーザによる画像の選択を受け付ける。端末装置３０は、副画像表示領域１５４にて選択された画像を、主画像表示領域１５２に表示する。
When displaying a list of more than this number of images in the
本実施形態に係る情報処理システム１では、端末装置３０が表示するＵＩ画面を利用してユーザが操作を行うことで、表示する画像の条件を設定することができる。例えばユーザは、日付表示領域１５１にて日付の条件を設定することができ、主画像表示領域１５２や質問表示領域１５３にて表示させる画像を選択することができ、質問表示領域１５３にて感情の条件を設定することができる。ユーザは、これら複数の条件を全て設定する必要はなく、適宜に一又は複数の条件を設定すればよい。
In the
また、ＵＩ上部には、主画像表示領域１５２、及び副画像表示領域１５４に表示可能な枚数を表示する。図７の例では、「１５枚」が表示可能な画像の枚数である。この表示可能な画像の枚数は、日付表示領域１５１に表示された日時に撮影された画像であり、情報処理装置１０により抽出され、端末装置３０に送信された画像の枚数である。
Also, the number of images that can be displayed in the main
また、図示は省略するが、端末装置３０は、イベント（カリキュラム）のスケジュールを表示する領域を設け、ユーザにより選択されたイベントに関連付けて表示させる画像を抽出してもよい。また、本実施形態に係る情報処理システム１では、所定のアクションをとった後のフィードバック、親子での会話、及び、対象者である子供の様子等をコメントとして入力することができる領域を設けてもよい。また、学習で表示させるアクションや画像を変更してもよい。また、本実施形態に係る情報処理システム１では、主画像表示領域１５２や副画像表示領域１５４に表示された画像に対してコメント等の情報を付すことができてもよい。
Also, although illustration is omitted, the
＜情報処理装置１０による画像記憶処理＞
図１２は、本実施形態に係る情報処理装置１０の制御部１３が行う画像記憶処理の手順を示すフローチャートである。この図１２を用いて、情報処理装置１０による画像記憶処理について説明する。
<Image Storage Processing by
FIG. 12 is a flowchart showing the procedure of image storage processing performed by the
（ステップＳ１０１）
本実施形態に係る情報処理装置１０の制御部１３の画像受信部１３０は、施設に設置された撮影装置２０が送信する画像を受信したか否かを判定する。撮影装置２０から画像を受信した場合（ステップＳ１０１：ＹＥＳ）、処理はステップＳ１０２に進む。一方、画像を受信していない場合（ステップＳ１０１：ＮＯ）、画像受信部１３０は、撮影装置２０から画像を受信するまで待機する。
(Step S101)
The
（ステップＳ１０２）
制御部１３の画像識別部１３１は、撮影装置２０が撮影した画像に写された人物を検出する処理を行う。処理はステップＳ１０３に進む。
(Step S102)
The
（ステップＳ１０３）
画像識別部１３１は、画像に人物が写っているか否かを判定する。画像に人物が写っている場合（ステップＳ１０３：ＹＥＳ）、処理はステップＳ１０４に進む。一方、画像に人物が写っていない場合（ステップＳ１０３：ＮＯ）、処理はステップＳ１０８に進む。
(Step S103)
The
（ステップＳ１０４）
画像識別部１３１は、例えば、画像に写された人物の特徴量を取得し、ユーザＤＢ１２１に記憶された特徴量に基づいて、画像に写された人物が誰であるかを識別する処理を行う。処理はステップＳ１０５に進む。
(Step S104)
The
（ステップＳ１０５）
画像識別部１３１は、画像に写された人物の表情を識別する処理を行う。処理はステップＳ１０６に進む。
(Step S105)
The
（ステップＳ１０６）
画像識別部１３１は、例えば、ステップＳ１０５にて識別した表情に基づいて画像のスコアリングを行い、スコアが閾値を超えるか否かを判定することによって、この画像を記憶するか否かを判定する。画像を記憶すると判定した場合（ステップＳ１０９：ＹＥＳ）、処理はステップＳ１０７に進む。一方、画像を記憶しないと判定した場合（ステップＳ１０９：ＮＯ）、処理はステップＳ１０８に進む。
(Step S106)
The
（ステップＳ１０７）
画像選別部１３２は、画像を画像記憶部１２０に記憶し、処理を終了する。なお、本実施形態では、ステップＳ１０６において画像を記憶しないと判定した場合、画像を破棄して処理を終了するものとしたが、ステップＳ１０１へ処理を戻し、画像を受信するまで待機するように構成してもよい。
(Step S107)
The
なお本実施形態においては、撮影装置２０が撮影した画像から人物を検出する処理、画像に写された人物が誰であるかを識別する処理、及び、画像に写された人物の表情を識別する処理等を情報処理装置１０が行うものとするが、これに限るものではない。これら複数の処理の一部又は全部は撮影装置２０にて行われてもよい。例えば、撮影装置２０は、自身が撮影した画像から人物を検出する処理を行い、人物が写されていない画像を情報処理装置１０へ送信せずに破棄してもよい。また、例えば撮影装置２０は画像に写された人物の表情の識別等の処理を行い、処理結果を画像に付して情報処理装置１０へ送信してもよい。
Note that in the present embodiment, processing for detecting a person from an image captured by the photographing
＜情報処理装置１０による画像表示処理＞
図１３は、本実施形態に係る情報処理装置１０が行う画像表示処理の手順を示すフローチャートである。この図１３を用いて、情報処理装置１０による画像表示処理について説明する。
<Image display processing by
FIG. 13 is a flowchart showing the procedure of image display processing performed by the
（ステップＳ２０１）
本実施形態に係る制御部１３の画像送信部１３３は、主画像表示領域１５２、及び副画像表示領域１５４に表示する画像を端末装置３０に対して送信する。本実施形態において、起動直後にＵＩ画面の主画像表示領域１５２、及び副画像表示領域１５４に表示する画像については、ランダムに抽出してもよいし、また、例えば、表情の識別（図１２のステップＳ１０５参照）を行った後に、笑顔の表情の画像と泣いている表情の画像との合計枚数が同じ枚数になるようにランダムに抽出してもよく、また、笑顔の表情の写っている画像のみを抽出してもよい。また、端末装置３０から画像の送信要求が与えられた場合には、画像送信部１３３は、送信要求に付された画像の条件を取得する。例えば、ユーザにより副画像表示領域１５４に表示される画像の中から特定の画像の送信要求が与えられた場合には、この画像を送信してもよい。また、ユーザにより日付表示領域１５１において対象の年月日が設定された場合には、この条件にて設定された画像を抽出し、端末装置３０に対して送信する。そして、処理がステップＳ２０２に進む。
(Step S201)
The
（ステップＳ２０２）
制御部１３の質問送信部１３４は、第１質問を端末装置３０に対して送信する。この第１質問とは、一例として、「ひなちゃんのこのときの気持ちはどっちかな？」である（図７参照）。同時に、質問送信部１３４は、「ポジティブ」、及び「ネガティブ」の選択肢（図７参照）を回答として端末装置３０に対して送信する。そして、処理がステップＳ２０２に進む。
(Step S202)
The
（ステップＳ２０３）
制御部１３の回答受信部１３５、第１質問の回答である第１回答を端末装置３０から受信した場合（ステップＳ２０３：ＹＥＳ）、処理がステップＳ２０４に進む。本例の場合、第１回答とは、「ポジティブ」という感情を示す情報と、「ネガティブ」という感情を示す情報のいずれかである。一方、第１回答を受信しなかった場合（ステップＳ２０３：ＮＯ）、第１回答を受信するまで待機する。なお、本実施形態では、第１回答を受信しなかった場合に第１回答を受信するまで待機するものとしたが、この場合、処置を終了してもよい。
(Step S203)
When the
（ステップＳ２０４）
質問送信部１３４は、第２質問を端末装置３０に対して送信する。この第２質問とは、一例として、「ひなちゃんのこのときの気持ちはどれかな？」である（図８，図９参照）。同時に、質問送信部１３４は、具体的な気持ちを示す画像からなるの４つの選択肢を端末装置３０に対して送信する。
(Step S204)
The
本実施形態において、例えば、回答受信部１３５が、ステップＳ２０３に示した第１回答として、ユーザから「ポジティブ」を受信した場合、図８に例示した（ポジティブ選択時の）第２質問表示画面を表示させる。そのため、質問送信部１３４は、第２質問と同時に送信する第２回答のための選択肢として、「幸せ」、「楽しい」、「満足」、及び「嬉しい」等のポジティブな感情を示す文字列と画像とを端末装置３０に対して送信する。
In this embodiment, for example, when the
一方、本実施形態において、例えば、回答受信部１３５が、ステップＳ２０３に示す第１回答として、ユーザから「ネガティブ」を受信した場合、図９に例示した（ネガティブ選択時の）第２質問表示画面を表示させる。そのため、質問送信部１３４は、第２質問と同時に送信する第２回答のための選択肢として、「怒っている」、「怖い」、「悲しい」、及び「つらい」等のネガティブな感情を示す文字列と画像とを端末装置３０に対して送信する。
On the other hand, in the present embodiment, for example, when the
（ステップＳ２０５）
回答受信部１３５が、第２質問の回答である第２回答を端末装置３０から受信した場合（ステップＳ２０５：ＹＥＳ）、処理がステップＳ２０に６進む。第２回答とは、「幸せ」、「楽しい」、「満足」、及び「嬉しい」等のポジティブな感情のうちのいずれか、又は、「怒っている」、「怖い」、「悲しい」、及び「つらい」等のネガティブな感情のうちのいずれかである。一方、第２回答を受信しなかった場合（ステップＳ２０５：ＮＯ）、第２回答を受信するまで待機するものとしたが、この場合、処理を終了してもよい。
(Step S205)
When the
（ステップＳ２０６）
質問送信部１３４は、第３質問を端末装置３０に対して送信する。この第３質問とは、一例として、「どのアクションをとりますか？」である（図１０，図１１参照）。同時に、質問送信部１３４は、具体的なアクションを示す画像からなるの４つの選択肢を端末装置３０に対して送信する。
(Step S206)
The
本実施形態において、例えば、回答受信部１３５が、ステップＳ２０３に示した第１回答として、ユーザから「ネガティブ」を受信した場合、図１０に例示した（ネガティブ選択時の）第３質問表示画面を表示させる。そのため、質問送信部１３４は、第３質問と同時に送信する第３回答のための選択肢として、「共感する」、「プロセスを褒める」、「理由を聞く」、及び「期待を実感させる」等のネガティブな場合に保護者の取り得るアクションを示す文字列を端末装置３０に対して送信する。
In this embodiment, for example, when the
一方、本実施形態において、例えば、回答受信部１３５が、ステップＳ２０３に示した第１回答として、ユーザから「ポジティブ」を受信した場合、図１１に例示した（ポジティブ選択時の）第３質問表示画面を表示させる。そのため、質問送信部１３４は、第３質問と同時に送信する第３回答のための選択肢として、「共感する」、「詳しく話を聞く」、「褒める」、及び「嬉しい感情を伝える」等のポジティブな場合に保護者の取り得るアクションを示す文字列を端末装置３０に対して送信する。
On the other hand, in the present embodiment, for example, when the
（ステップＳ２０７）
回答受信部１３５が、第３質問の回答である第３回答を端末装置３０から受信した場合（ステップＳ２０７：ＹＥＳ）、処理が終了する。第３回答とは、「共感する」、「詳しく話を聞く」、「褒める」、及び「嬉しい感情を伝える」等のポジティブな感情に対して保護者がとり得るアクションのうちのいずれか、又は、「共感する」、「プロセスを褒める」、「理由を聞く」、及び「期待を実感させる」等のネガティブな感情に対して保護者がとり得るアクションのうちのいずれかである。一方、第３回答を受信しなかった場合（ステップＳ２０７：ＮＯ）、第３回答を受信するまで待機するものとしたが、この場合、処理を終了してもよい。
(Step S207)
If the
＜端末装置３０における画像表示処理＞
図１４は、本実施形態に係る端末装置３０における画像表示処理の手順を示すフローチャートである。この図１４を用いて、端末装置３０における画像表示処理について説明する。
<Image display processing in
FIG. 14 is a flowchart showing the procedure of image display processing in the
本実施形態において、ユーザは本サービスを利用するにあたり、アプリケーションプログラム等のユーザプログラム３４０を起動する。当該アプリケーションプログラムが起動されると、制御部３３の表示制御部３３０は、端末装置３０に、図７に例示したＵＩ画面を表示する。なお、起動直後のＵＩ画面は、主画像表示領域１５２、及び副画像表示領域１５４にランダムに画像が表示されているものであってもよいし、また、例えば、表情の識別（図１２のステップＳ１０５参照）が行われた後に、笑顔の表情の画像と泣いている表情の画像との合計枚数が同じ枚数になるようにランダムに表示されるようにしてもよく、また、笑顔の表情のみが抽出されて表示されてもよい。また、主画像表示領域１５２、及び副画像表示領域１５４に画像が表示されていない状態であってもよい。
In this embodiment, the user activates a user program 340 such as an application program to use this service. When the application program is activated, the display control unit 330 of the
（ステップＳ３０１）
端末装置３０の操作部３４により、副画像表示領域１５４に一覧表示された画像の中から一つの画像が選択された場合、情報処理装置１０の条件取得部３３１は、ユーザにより選択されたことを検知すると共に、端末装置３０の表示制御部３３０は、選択された一の画像を主画像表示領域１５２に表示する。なお、このステップＳ３０１の処理はスキップしてもよく、その場合、本システムにより主画像表示領域１５２に画像が表示されたＵＩ画像の表示を継続する。そして、処理がステップＳ３０２に進む。なお、続くステップＳ３０２～Ｓ３０４では、ユーザは、主画像表示領域１５２に表示された画像に対する質問について操作部３４を用いて回答を行う。ステップＳ３０２～Ｓ３０４のそれぞれにおいて、表示される質問は異なり、これらの内容は以下に詳述する。
(Step S301)
When one image is selected from among the images displayed as a list in the
（ステップＳ３０２）
質問表示領域１５３に表示された第１質問に対して回答を行った場合（ステップＳ３０２：ＹＥＳ）、処理がステップＳ３０３に進む。具体的には、図７に例示したように、「ひなちゃんの気持ちはどっちかな？」という質問と同時に、「ポジティブ」か「ネガティブ」かを問う、第１回答のための選択肢が質問表示領域１５３に表示される。ここで、当該選択肢の中から操作部３４によりいずれかの感情が選択されると、第１回答を送信したことになり処理がステップＳ３０３に進む。
(Step S302)
If the first question displayed in the
一方、質問表示領域１５３に表示された第１質問に対して回答を行わなかった場合（ステップＳ３０２：ＮＯ）、処理が終了する。本実施形態において、回答を行わなかった場合に処理が終了するものとしたが、これに替えて、回答を行うまで待機しておいてもよいし、ステップＳ３０１に示す画像選択の処理に戻ってもよい。
On the other hand, if the first question displayed in the
（ステップＳ３０３）
質問表示領域１５３に表示された第２質問に対して回答を行った場合（ステップＳ３０３：ＹＥＳ）、処理がステップＳ３０４に進む。具体的には、図８に例示したように、「ひなちゃんの気持ちはどっちかな？」という質問と同時に、「幸せ」、「楽しい」、「満足」、及び「嬉しい」等のポジティブな感情のうちのいずれかを問う、第２回答のための選択肢が質問表示領域１５３に表示される。ここで、当該選択肢の中から操作部３４によりいずれかの感情が選択されると、第２回答を送信したことになり処理がステップＳ３０４に進む。あるいは、図９に例示したように、「ひなちゃんの気持ちはどっちかな？」という質問と同時に、「怒っている」、「怖い」、「悲しい」、及び「つらい」等のネガティブな感情のうちのいずれかを問う、第２回答のための選択肢が質問表示領域１５３に表示される。
(Step S303)
If the second question displayed in the
一方、質問表示領域１５３に表示された第２質問に対して回答を行わなかった場合（ステップＳ３０３：ＮＯ）、処理が終了する。本実施形態において、回答を行わなかった場合に処理が終了するものとしたが、これに替えて、回答を行うまで待機しておいてもよいし、ステップＳ３０１に示す画像選択の処理に戻ってもよい。
On the other hand, if the second question displayed in the
（ステップＳ３０４）
質問表示領域１５３に表示された第３質問に対して回答を行った場合（ステップＳ３０４：ＹＥＳ）、処理が終了する。具体的には、図１０に例示したように、「どのアクションをとりますか？」という質問と同時に、「共感する」、「詳しく話を聞く」、「褒める」、及び「嬉しい感情を伝える」等のポジティブな場合に保護者の取り得るアクションのうちのいずれかを問う、第３回答のための選択肢が質問表示領域１５３に表示される。ここで、当該選択肢の中から操作部３４によりいずれかの感情が選択されると、第３回答を送信したことになり処理が終了する。あるいは、図１１に例示したように、「どのアクションをとりますか？」という質問と同時に、「共感する」、「プロセスを褒める」、「理由を聞く」、及び「期待を実感させる」等のネガティブな場合に保護者の取り得るアクションを問う、第３回答のための選択肢が質問表示領域１５３に表示される。
(Step S304)
If the third question displayed in the
一方、質問表示領域１５３に表示された第３質問に対して回答を行わなかった場合（ステップＳ３０４：ＮＯ）、処理が終了する。本実施形態において、回答を行わなかった場合に処理が終了するものとしたが、これに替えて、回答を行うまで待機しておいてもよいし、ステップＳ３０１に示す画像選択の処理に戻ってもよい。
On the other hand, if the third question displayed in the
＜実施の形態２＞
上述した実施形態（実施の形態１ともいう）では、本システムにより抽出した画像、又は、ユーザにより選択された画像が主画像表示領域１５２に表示され、この主画像表示領域１５２に表示された画像に対して、質問表示領域１５３において質問が選択肢を表示してユーザが回答を行うものとした。実施の形態２では、本システムにより抽出した画像の中から、さらに本システム又はユーザプログラム３４０により所定の複数枚を選択し、ユーザがこれら複数枚の画像の中から、画像が撮影された時の気持ちを入力したい画像、又は、親子で話題に取り上げたい画像等を端末装置３０の操作部３４を用いて選択し、この選択された画像について質問や回答を行う。
<Embodiment 2>
In the above-described embodiment (also referred to as Embodiment 1), an image extracted by the system or an image selected by the user is displayed in the main
また、上述した実施の形態１では、１つのＵＩ画面上に、日付表示領域１５１、主画像表示領域１５２、質問表示領域１５３、及び副画像表示領域１５４を備えるものとしたが、実施の形態２では、各領域を１つのＵＩ画面上に表示するものとする。なお、このようなＵＩ画面上での領域の表示方法は一例にすぎず、複数の領域を組み合わせて表示させてもよい。
In the first embodiment described above, the
＜第２の実施形態に係るＵＩ画面：画像表示処理＞
図１５～図２０は、本実施形態に係る端末装置３０が表示するＵＩ画面の一例を示す模式図である。なお、この図１５～図２０に例示するＵＩ画面は、施設の利用者である「ひなちゃん」の保護者が使用する端末装置３０が表示するＵＩ画面の一例である。図１５は選択画面の一例を示す図であり、図１６は第１質問表示画面の一例を示す図であり、図１７及び図１８は第２質問表示画面の一例を示す図であり、図１９及び図２０は第３質問表示画面の一例を示す図である。また、図１７及び図１９は、「ポジティブ」を選択した場合のＵＩ画面の一例であり、図１８及び図２０は「ネガティブ」を選択した場合のＵＩ画面の一例である。図１５～図２０を用いて、第２の実施形態に係るＵＩ画面について説明する。
<UI Screen According to Second Embodiment: Image Display Processing>
15 to 20 are schematic diagrams showing examples of UI screens displayed by the
なお、第２の実施形態に係る情報処理システム１では、予め、本システムにより、上述した画像のスコアリングを行うことにより所定枚数の画像が抽出され、端末装置３０に送信される。
In the
質問画面について図１５を用いて説明する。この図１５に例示するように、質問画面は日付表示領域１５１と、選択対象画像表示領域１５５と、を備える。この選択対象画像表示領域１５５は、ＵＩ画面の中央に設けられており、所定枚数の画像がユーザにより選択可能な態様で表示されている。図１５に例示するＵＩ画面（選択画面）では、３枚の画像が選択可能な態様で表示されている。本実施形態に係る情報処理システム１からは、選択対象画像表示領域１５５に表示可能な枚数、又は、選択対象画像表示領域１５５に表示可能な枚数を超えた枚数の画像が端末装置３０に送られており、その中から本システムにより抽出された所定枚数の画像のみが、選択対象画像表示領域１５５に表示される。
The question screen will be described with reference to FIG. 15 . As exemplified in FIG. 15, the question screen includes a
また、図１５の例では、例えば、選択対象画像表示領域１５５の下に設けられているインジケーターを選択することにより、選択対象画像表示領域１５５に表示される画像が選択対象画像表示領域１５５に切り替わる。図１５に例示する選択可能な画像を表示する選択画面は一例であり、例えば、一度に選択可能な画像を表示させてもよい。また、インジケーターの個数は表示させる画面の個数と同一にしてもよい。
Further, in the example of FIG. 15, for example, by selecting an indicator provided under the selection target
この選択対象画像表示領域１５５の下には、「選択する」のボタンが設けられており、このボタンを押すことにより、その際、選択対象画像表示領域１５５に表示されている画像が、次に表示されるＵＩ画面に表示され、続く質問や回答の対象となる。
A "select" button is provided below the selection target
図１５に例示した選択画面にて次のＵＩ画面に表示される画像を選択すると、図１６に例示する第１質問表示画面が表示される。第１質問表示画面について、図１６を用いて説明する。 When an image displayed on the next UI screen is selected on the selection screen illustrated in FIG. 15, the first question display screen illustrated in FIG. 16 is displayed. The first question display screen will be explained using FIG. 16 .
図１６に例示するように、第１質問表示画面は、日付表示領域１５１と、主画像表示領域１５２と、質問表示領域１５３と、を備える。第１質問表示画面の質問表示領域１５３は、主画像表示領域１５２の下側に設けられており、例えば、質問と共に、回答として、感情を示す文字列や、感情を示すアイコンや文字列を含む画像が選択肢として表示される。端末装置３０は、質問表示領域１５３に表示されたいずれかの選択肢に対するタッチ操作やクリック操作等を受け付けることにより、感情の選択を受け付ける。感情の選択を受け付けた端末装置３０は、この感情を示す文字列やアイコン等の画像を送信する要求を情報処理装置１０へ与え、当該要求に応じて情報処理装置１０から送信される画像を受信して表示する。これらの第１質問やその回答、ＵＩ画面を構成する部品については第１の実施形態と同様であるため説明を省略する。
As illustrated in FIG. 16, the first question display screen includes a
図１６に例示した第１質問表示画面にて第１質問について回答（感情を選択）すると、図１７又は図１８に例示する第２質問表示画面が表示される。第２質問表示画面について、図１７及び図１８を用いて説明する。 When the first question is answered (emotion is selected) on the first question display screen illustrated in FIG. 16, the second question display screen illustrated in FIG. 17 or 18 is displayed. The second question display screen will be described with reference to FIGS. 17 and 18. FIG.
図１７及び図１８に例示するように、第２質問表示画面は、日付表示領域１５１と、主画像表示領域１５２と、質問表示領域１５３と、を備える。第２質問表示画面の質問表示領域１５３は、質問として、「ひなちゃんのこのときの気持ちはどれかな？」が表示されている。図１７に例示するＵＩ画面では、この質問と共に、回答として、「幸せ」、「楽しい」、「満足」、及び「嬉しい」等のポジティブな感情を示す文字列と画像とが選択肢として左右に表示されている。また、図１８に例示するＵＩ画面では、この質問と共に、回答として、「怒っている」、「怖い」、「悲しい」、及び「つらい」等のネガティブな感情を示す文字列と画像とが選択肢として左右に表示されている。この上述した質問は第２質問、又は第２の質問といい、上述した選択肢は第２の選択候補、又は第２選択候補という。第２の質問は、第１の質問に関する回答を詳細に問うものである。また、この第３の選択候補で選択し得る感情を「第２の感情」という。これらの第２質問やその回答、ＵＩ画面を構成する部品については第１の実施形態と同様であるため説明を省略する。
As illustrated in FIGS. 17 and 18, the second question display screen includes a
図１７又は図１８に例示した第２質問表示画面にて第２質問について回答（具体的な感情を選択）すると、図１９又は図２０に例示する第３質問表示画面が表示される。第３質問表示画面について、図１９及び図２０を用いて説明する。 When the second question is answered (specific emotion is selected) on the second question display screen illustrated in FIG. 17 or 18, the third question display screen illustrated in FIG. 19 or 20 is displayed. The third question display screen will be explained using FIGS. 19 and 20. FIG.
図１９及び図２０に例示するように、第３質問表示画面は、日付表示領域１５１と、主画像表示領域１５２と、質問表示領域１５３と、を備える。第３質問表示画面の質問表示領域１５３は、質問として、「どのアクションをとりますか？」が表示されている。図１０に例示するＵＩ画面では、この質問と共に、回答として、「共感する」、「プロセスを褒める」、「理由を聞く」、及び「期待を実感させる」等のネガティブな場合に保護者の取り得るアクションを示す文字列が選択肢として左右に表示されている。この上述した質問は第３質問、又は第３の質問といい、上述した選択肢は第３の選択候補、又は第３選択候補という。また、この第３の選択候補で選択し得る感情を「第３の感情」という。この質問（第３質問）は、本システムから保護者への問いであり、第１回答及び第２回答を受信して得た子供の感情や画像に写った行動に対して、いかに振舞うかを問うものである。これらの第３質問やその回答、ＵＩ画面を構成する部品については第１の実施形態と同様であるため説明を省略する。
As illustrated in FIGS. 19 and 20, the third question display screen includes a
図１９又は図２０に例示した第３質問表示画面にて第３質問について回答（具体的な感情を選択）すると、図２１に例示する抽出画像表示画面が表示される。抽出画像表示画面について、図２１を用いて説明する。 When the third question is answered (specific emotion is selected) on the third question display screen illustrated in FIG. 19 or 20, an extracted image display screen illustrated in FIG. 21 is displayed. The extraction image display screen will be described with reference to FIG. 21 .
図２１に例示するように、抽出画像表示画面は、日付表示領域１５１と、抽出画像表示領域１５６と、を備える。上述したように、予め本システムにより画像のスコアリングを行うことにより所定枚数の画像が抽出され、端末装置３０に送信されたが、これら抽出された画像（図２１の例では１５枚の画像）が、抽出画像表示画面の抽出画像表示領域１５６に表示される。また、この抽出画像表示領域１５の中から選択して親子の話題に取り上げたい画像がある場合などに、当該写真を選択することができてもよい。
As illustrated in FIG. 21, the extracted image display screen includes a
実施の形態２に係る情報処理装置１０による画像記憶処理は、実施の形態１の画像記憶処理（図１２参照）と同様であるため、説明を省略する。
The image storage processing by the
また、実施の形態２に係る情報処理装置１０による画像表示処理について図１３を用いて説明する。図１３は、実施の形態１の画像表示処理を示したものであるが、ステップＳ２０１のみ処理の内容が異なるためこれについて説明する。実施の形態２のステップＳ２０１では、画像識別部１３１が画像のスコアリングを行うことにより所定枚数の画像が抽出され、これら抽出された所定枚数の画像が端末装置３０に送信される。その際、抽出された所定枚数の画像の中から、本システムによりさらに抽出された所定枚数の画像のみが、選択対象画像表示領域１５５に表示される対象として送信される。これらの選択対象画像表示領域１５５に表示される対象である画像は、例えば、メタデータにある情報を付す等して判別可能な状態で端末装置３０に送信される。図１３に例示した他のステップについては第１の実施形態と同様であるため説明を省略する。
Also, image display processing by the
また、実施の形態２に係る端末装置３０による画像表示処理について図２２を用いて説明する。図２２は、に係る端末装置３０による画像表示処理を示したものであるが、ステップＳ３０２～Ｓ３０４は実施の形態１に係る端末装置３０による画像表示処理（図１４参照）と同様のため、説明を簡易化する。
Also, image display processing by the
図１５に例示した選択画面の選択対象画像表示領域１５５には、所定枚数の画像がユーザにより選択可能な態様で表示されている。ステップＳ３０１では、次のＵＩ画面で表示したい画像や、続く質問や回答の対象としたい（話題として取り上げた）画像を、例えばインジケーターを用いて切り替えて表示させ、「選択する」のボタンを押下すことで選択する。続くステップＳ３０２において、図１６に例示した第１質問表示画面が表示され、ユーザが第１質問に対して、「ポジティブ」又は「ネガティブの」感情を回答すれば、ステップＳ３０３に進む。ステップＳ３０３では、図１７又は図１８に例示した第２質問表示画面が表示され、ユーザが第２質問に対して、具体的な感情を回答すれば、ステップＳ３０４に進む。続くステップＳ３０４では、図１９又は図２０に例示した第３質問表示画面が表示され、ユーザが第３質問に対してアクションを回答すれば、ステップＳ３０５に進む。
In the selection target
ステップＳ３０５では、図２１に例示した抽出画像表示画面が表示される。予め本システムにより画像のスコアリングを行うことにより所定枚数の画像が抽出され、端末装置３０に送信されたが、これら抽出された画像（図２１の例では１５枚の画像）が、抽出画像表示画面の抽出画像表示領域１５６に表示される。また、この抽出画像表示領域１５の中から選択して親子の話題に取り上げたい画像がある場合などに、当該写真を選択することができてもよい。
In step S305, the extraction image display screen illustrated in FIG. 21 is displayed. A predetermined number of images were extracted by scoring the images in advance by this system and transmitted to the
＜その他＞
本実施形態において、１つのＵＩ画面上に、日付表示領域１５１、主画像表示領域１５２、質問表示領域１５３、及び副画像表示領域１５４を備えるものとしたが、これらはそれぞれ、異なるＵＩ画面上に備えられるものであってもよい。その場合、各領域を１つずつ備えたＵＩ画面を用意し、例えば、日付表示領域１５１を備えた１つのＵＩ画面を表示させた後に、主画像表示領域１５２を備えた１つのＵＩ画面を表示させ、その次に、質問表示領域１５３を備えた１つのＵＩ画面を表示させ、その次に、副画像表示領域１５４を備えた１つのＵＩ画面を表示させてもよい。また、これらの領域１５１～１５４のうち、複数の領域を組み合わせて１つのＵＩ画面を表示させてもよい。
<Others>
In this embodiment, the
また、本システムは保護者から第３回答、すなわち、具体的にとったアクションに関する情報を得るが、このアクションに関する情報と、例えば、その後の子供の笑顔が写っている写真の割合とを学習させ、その子供に適したアクションを示唆してもよい。また、例えば、本システムを利用する前後で子供に非認知能力を計測するためのテストを受講してもらい、そのテストのスコアと保護者がとったアクションとの関係を学習させ、その子供の非認知能力を高めるためのアクションを提示してもよい。 In addition, the system obtains a third answer from the parent, that is, information about the specific action taken. , may suggest appropriate actions for that child. In addition, for example, before and after using this system, the child may take a test to measure non-cognitive ability, learn the relationship between the score of the test and the action taken by the guardian, and learn the non-cognitive ability of the child. Actions to enhance cognitive ability may be presented.
また、ＵＩ画面上に、本システム利用後の保護者の所感をテキストで入力可能な領域を設けてもよい。例えば、入力されたテキストの数が多く、子供の感情がポジティブである場合、親子の会話が盛り上がったものと判断してもよいし、入力されたテキストの数が少なく、子供の感情がネガティブである場合、親子の会話が盛り上がらず会話が進まなかったものと判断してもよい。そしてさらに上記のような学習を取り入れることにより、子供に適したアクションを提示してもよい。 Also, on the UI screen, an area may be provided in which the parent's impression after using this system can be input in text. For example, if the number of input texts is large and the child's emotions are positive, it may be determined that the parent-child conversation is lively, and if the number of input texts is small and the child's emotions are negative, it may be determined that the conversation is lively. In some cases, it may be determined that the parent-child conversation did not progress and did not progress. Further, by incorporating the learning as described above, an action suitable for the child may be presented.
また、主画像表示領域１５２や副画像表示領域１５４に表示させる画像をチューニングしてもよい。例えば、上記テストやテキスト入力により会話が進んだか否か、又は、非認知能力が向上したか否かがわかる場合、会話が進む画像をより表示させるように画像を抽出したり、非認知能力が向上するような画像を表示させるように画像を抽出してもよい。
Also, the images displayed in the main
撮影装置２０が撮影した画像に写された人物を識別する際に、例えば画像中における人物の顔の大きさ又は向き等によっては識別精度が低下する可能性がある。そこで、情報処理装置１０は、例えば、画像に写された人物を追跡する処理（トラッキング処理）を併用して、人物の識別を行ってもよい。
When identifying a person in an image captured by the
情報処理装置１０は、画像に人物の顔が大きく写されている場合又は画像に写されている人物の顔が正面（撮影装置２０）を向いている場合等のように識別精度が高いことが期待できる画像に基づく人物の識別結果を基準とし、この画像に続く一又は複数の画像に対してトラッキング処理を行う。トラッキング処理は、連続的に撮影された複数の画像において、対象物の移動を追跡する処理であり、例えばＢｏｏｓｔｉｎｇ、ＭＩＬ（Multiple Instance Learning）、ＴＬＤ（Tracking Learning and Detection）、ＭｅｄｉａｎＦｌｏｗ又はＫＣＦ（Kernelized Correlation Filters）等の手法が用いられ得る。情報処理装置１０は、トラッキング処理により同じ人物が写されていると判断できる複数の画像に対して、基準となる画像における人物の識別結果（例えば識別の確信度等）を後続の画像についての識別結果とし、後続の画像に識別結果の情報を付して記憶してもよい。
The
＜まとめ＞
以上の構成の本実施形態に係る情報処理システム１では、情報処理装置１０が条件に応じて抽出した一又は複数の画像を端末装置３０がＵＩ画面の副画像表示領域１５４に一覧表示し、一覧表示した一又は複数の画像から一の画像の選択を受け付け、選択された画像を主画像表示領域１５２に表示する。これにより、ユーザが定めた条件に適合する画像が複数存在する場合に、ユーザは複数の画像の中から所望の一の画像を容易に選択することができる。
<Summary>
In the
また、本実施形態に係る情報処理システム１では、施設の利用者（子供）又はその関係者（保護者）が使用する端末装置３０は、この利用者に関する画像を表示する。これにより情報処理システム１は、端末装置３０の使用者に適切な画像表示を行うことが期待できる。
Further, in the
なお、本実施形態においては、撮影装置２０を設置する施設を保育園又は幼稚園等とし、撮影装置２０が施設を利用する子供の撮影を行う構成を示したが、施設は保育園又は幼稚園等に限らず、どのような施設であってもよい。施設は、屋内又は屋外のいずれのものであってもよい。また、施設には複数の撮影装置２０が設置されてよく、複数の撮影装置２０が情報処理装置１０へ撮影した画像を送信してよい。また、条件に応じた画像の抽出を情報処理装置１０が行うものとしたが、これに限るものではなく、端末装置３０が行ってもよい。
In the present embodiment, the facility in which the
また、図示したＵＩ画面は一例であって、これに限るものではなく、各領域の配置及びデザイン等は適宜に変更され得る。また、本実施形態においては、ＵＩ画面の質問表示領域１５３にて表情の選択を受け付けたが、表情の選択に代えて、又は、表情の選択と共に、画像に写された人の行動を条件として選択可能としてもよい。
Also, the illustrated UI screen is only an example, and the present invention is not limited to this, and the arrangement and design of each area may be changed as appropriate. In addition, in the present embodiment, the selection of the facial expression is accepted in the
今回開示された実施形態は例示であり、制限的なものではない。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time are illustrative and not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the above-described meaning, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.
また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 In addition, the present invention is not limited to the above-described embodiments, but can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. Embodiments are also included in the technical scope of the present invention.
１ 情報処理システム
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ 撮影装置
３０ 端末装置
３１ 通信部
３２ 記憶部
３３ 制御部
３４ 操作部
３５ 表示部
１０１ プロセッサ
１０２ メモリ
１０３ ストレージ
１０４ 通信Ｉ／Ｆ
１０５ 入出力Ｉ／Ｆ
１０６ ドライブ装置
１０７ 入力装置
１０８ 出力装置
１２０ 画像記憶部
１２１ ユーザＤＢ
１２２ サーバプログラム
１２３ 学習モデ
１２４ 質問情報記憶部
１２５ アクション情報記憶部
１３０ 画像受信部
１３１ 画像識別部
１３２ 画像選別部
１３３ 画像送信部
１３４ 質問送信部
１３５ 回答受信部
１３６ アクション送信部
１３７ 学習部
１５１ 日付表示領域
１５２ 主画像表示領域
１５３ 質問表示領域
１５４ 副画像表示領域
１５５ 選択対象画像表示領域
１５６ 抽出画像表示領域
３０１ プロセッサ
３０２ メモリ
３０３ ストレージ
３０４ 通信Ｉ／Ｆ
３０５ 入出力Ｉ／Ｆ
３０６ ドライブ装置
３０７ 入力装置
３０８ 出力装置
３０９ ディスクメディア
３４０ ユーザプログラム
３３０ 表示処理部
３３１ 条件取得部
1
105 input/output I/F
106
122
305 input/output I/F
306
一実施形態にかかる情報処理装置が実行する情報処理方法は、施設の利用者を撮影した画像を、画像以外の情報と共に提供する方法であって、利用者が利用する施設に設置された撮影装置が撮影した画像から、抽出された画像を表示する処理と、前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を表示する処理と、前記利用者の関係者に対してとり得るアクションを表示する処理と、を含む。 An information processing method executed by an information processing apparatus according to an embodiment is a method of providing an image of a facility user photographed together with information other than the image, and is a method of providing a photographing apparatus installed in a facility used by the user. a process of displaying an image extracted from an image taken by the user; a process of displaying a first question about the image; and a first selection candidate as an answer to the first question; and displaying possible actions to the parties involved .
一実施形態にかかる情報処理装置が実行する情報処理方法は、施設の子供を撮影した画像を、画像以外の情報と共に提供する方法であって、子供が利用する施設に設置された撮影装置が撮影した画像から、前記施設で過ごす前記子供の様子を撮影した画像を抽出して表示する処理と、前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を表示する処理と、前記子供に対して前記子供の保護者がとり得るアクションを表示する処理と、を含む。 An information processing method executed by an information processing apparatus according to an embodiment is a method of providing an image of a child photographed in a facility together with information other than the image . a process of extracting and displaying an image of the child spending time at the facility from the images taken, a first question about the image, and a first selection candidate as an answer to the first question; and displaying actions that the child 's parents can take on the child.
Claims (11)
利用者が利用する施設に設置された撮影装置が撮影した画像から、抽出された画像を表示し、
前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を表示し、
前記利用者に対してとるアクションを表示する、
情報処理方法。 The information processing device
Display an image extracted from an image captured by a camera installed in a facility used by the user,
displaying a first question about the image and a first selection candidate as an answer to the first question;
displaying actions to take for said user;
Information processing methods.
前記第１の選択候補に基づいて前記第１の感情の選択を受け付ける、
請求項１に記載の情報処理方法。 displaying a plurality of characters or images associated with the first emotion as the first selection candidates;
accepting selection of the first emotion based on the first selection candidate;
The information processing method according to claim 1 .
請求項２に記載の情報処理方法。 Displaying together with the first selection candidate, the number of images that can be displayed when the first selection candidate is selected;
The information processing method according to claim 2.
第２の感情に対応付けられた文字又は画像を第２の選択候補として複数表示し、
前記第２の選択候補に基づいて前記第２の感情の選択を受け付ける、
請求項２に記載の情報処理方法。 displaying a second question about the image;
displaying a plurality of characters or images associated with the second emotion as second selection candidates;
accepting selection of the second emotion based on the second selection candidate;
The information processing method according to claim 2.
前記第２の選択候補は前記第１の選択候補を具体化したものである、
請求項４に記載の情報処理方法。 the second emotion is an embodiment of the first emotion,
The second selection candidate is an embodiment of the first selection candidate,
The information processing method according to claim 4.
アクションに対応付けられた文字又は画像を第３の選択候補として複数表示し、
前記第３の選択候補に基づいて前記アクションの選択を受け付ける、
請求項１に記載の情報処理方法。 displaying a third question about the image;
displaying a plurality of characters or images associated with the action as third selection candidates;
accepting selection of the action based on the third selection candidate;
The information processing method according to claim 1 .
前記第３の選択候補として前記関係者がとり得るアクションの選択候補を表示する、
請求項６に記載の情報処理方法。 The action is an action taken by a related party of the user with respect to the user,
Displaying selection candidates of actions that the person concerned can take as the third selection candidates;
The information processing method according to claim 6.
前記画像についての第１の質問、第２の質問、又は第３の質問と、前記第１の選択候補、前記第２の選択候補、又は前記第３の選択候補と、を表示して前記利用者に関する感情の選択を受け付ける第２の領域と、
前記第１の領域にて抽出された画像と共に抽出された一又は複数の画像を一覧表示して一の画像の選択を受け付ける第３の領域と、
を含む画面を表示部に表示する、
請求項１から請求項６までのいずれか１つに記載の情報処理方法。 a first area displaying the extracted image;
a first question, a second question, or a third question about the image; and the first selection candidate, the second selection candidate, or the third selection candidate; a second area for receiving a selection of emotions about the person;
a third area for displaying a list of one or more images extracted together with the image extracted in the first area and accepting selection of one image;
display on the display a screen containing
The information processing method according to any one of claims 1 to 6.
第１の質問、及び第２の質問は前記利用者の感情を選択するものであり、
第３の質問は前記関係者が前記利用者に対してとるアクションを選択するものである、
請求項１から請求項７までのいずれか１つに記載の情報処理方法。 An information processing device used by a user who uses the facility or a person related to the user displays an image of the user,
The first question and the second question select the user's emotion,
A third question selects an action that the participant will take with the user.
The information processing method according to any one of claims 1 to 7.
利用者が利用する施設に設置された撮影装置が撮影した画像から、抽出された画像を表示する処理と、
前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を表示する処理と、
前記利用者に対してとるアクションを表示する処理と、
をコンピュータに実行させるためのプログラム。 to the computer,
A process of displaying an image extracted from an image captured by an imaging device installed in a facility used by a user;
a process of displaying a first question about the image and a first selection candidate as an answer to the first question;
a process of displaying actions to be taken to the user;
A program that causes a computer to run
前記画像受信部が取得した画像に写された利用者を識別する識別部と、
前記利用者が利用する施設に設置された撮影装置が撮影した画像から、抽出された画像を端末装置へ送信し、前記画像についての第１の質問と、前記第１の質問の回答として第１の選択候補と、を前記端末装置へ送信する通信部と、
を備える、情報処理装置。 an image receiving unit that acquires an image captured by an imaging device installed in a facility;
an identification unit that identifies a user appearing in the image acquired by the image reception unit;
An image extracted from an image captured by an image capturing device installed in a facility used by the user is transmitted to a terminal device, and a first question about the image and a first question as an answer to the first question are sent to the terminal device. a selection candidate for and a communication unit that transmits to the terminal device;
An information processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021060980A JP7064159B1 (en) | 2021-03-31 | 2021-03-31 | Information processing methods, programs, and information processing equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021060980A JP7064159B1 (en) | 2021-03-31 | 2021-03-31 | Information processing methods, programs, and information processing equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7064159B1 JP7064159B1 (en) | 2022-05-10 |
| JP2022156996A true JP2022156996A (en) | 2022-10-14 |
Family
ID=81535284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021060980A Active JP7064159B1 (en) | 2021-03-31 | 2021-03-31 | Information processing methods, programs, and information processing equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7064159B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4608655B2 (en) * | 2005-05-24 | 2011-01-12 | 国立大学法人広島大学 | Learning support device, learning support device control method, learning support device control program, and computer-readable recording medium |
| JP2012089909A (en) * | 2010-10-15 | 2012-05-10 | Sony Corp | Information processor, and synchronization method and program |
| JP2018156453A (en) * | 2017-03-17 | 2018-10-04 | グローリー株式会社 | System, method, and program for providing images |
| US20210043106A1 (en) * | 2019-08-08 | 2021-02-11 | COGNITIVEBOTICS Technologies Pvt. Ltd. | Technology based learning platform for persons having autism |
-
2021
- 2021-03-31 JP JP2021060980A patent/JP7064159B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4608655B2 (en) * | 2005-05-24 | 2011-01-12 | 国立大学法人広島大学 | Learning support device, learning support device control method, learning support device control program, and computer-readable recording medium |
| JP2012089909A (en) * | 2010-10-15 | 2012-05-10 | Sony Corp | Information processor, and synchronization method and program |
| JP2018156453A (en) * | 2017-03-17 | 2018-10-04 | グローリー株式会社 | System, method, and program for providing images |
| US20210043106A1 (en) * | 2019-08-08 | 2021-02-11 | COGNITIVEBOTICS Technologies Pvt. Ltd. | Technology based learning platform for persons having autism |
Non-Patent Citations (1)
| Title |
|---|
| [ONLINE]KIDSLY 保育園向けサービス, JPN6021023667, 23 December 2019 (2019-12-23), ISSN: 0004650957 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7064159B1 (en) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240054117A1 (en) | Artificial intelligence platform with improved conversational ability and personality development | |
| CN107316520B (en) | Video teaching interaction method, device, equipment and storage medium | |
| JP7070652B2 (en) | Information processing systems, information processing methods, and programs | |
| TW201104644A (en) | Interactive information system, interactive information method, and computer readable medium thereof | |
| JP6649005B2 (en) | Robot imaging system and image management method | |
| Foster | It's all in a meme: A content analysis of memes posted to 2012 presidential election Facebook pages | |
| Isabella et al. | Emotional contagion and socialization: Reflection on virtual interaction | |
| CN111369275B (en) | Group identification and description method, coordination device and computer readable storage medium | |
| Allen | Tweeting, Texting, and Facebook Postings: Stirring the Pot with Social Media to Make Drama-Case Study and Participant Observation. | |
| JP7064159B1 (en) | Information processing methods, programs, and information processing equipment | |
| Syeda et al. | Photo Alive!: elderly oriented social communication service | |
| JP7141921B2 (en) | Picture book reading system and program | |
| JP7371770B2 (en) | Avatar control program, avatar control method, and information processing device | |
| Foley et al. | Bridging the gap: Design for intergenerational engagement in dementia care | |
| KR101912554B1 (en) | Fairy tale creation and sharing system | |
| Glasser | Empirical Investigations and Dataset Collection for American Sign Language-Aware Personal Assistants | |
| Donaldson et al. | ECHOES: encouraging companionship, home organization, and entertainment in seniors | |
| Mochocki | Heritage, authenticity, and the fiction/nonfiction Dualism in Attentat 1942 | |
| JPWO2021229692A5 (en) | ||
| Gao et al. | Designing to enhance student participation in campus heritage using augmented reality | |
| JP2019023876A (en) | Image management system and image management method | |
| Patel et al. | A study of cultural effects on mobile-collocated group photo sharing | |
| JP7044337B1 (en) | Content usage record analysis system, content usage record analysis method and content usage record analysis program | |
| Chiou | Enhancing the museum experience through seamless and intuitive digital guidance | |
| Opeyemi et al. | WeChat Uses and Gratifications Among Young Malaysian Adults In Klang Valley, Malaysia |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210331 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220309 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220404 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7064159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |