JP2019045769A - 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム - Google Patents

電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム Download PDF

Info

Publication number
JP2019045769A
JP2019045769A JP2017170638A JP2017170638A JP2019045769A JP 2019045769 A JP2019045769 A JP 2019045769A JP 2017170638 A JP2017170638 A JP 2017170638A JP 2017170638 A JP2017170638 A JP 2017170638A JP 2019045769 A JP2019045769 A JP 2019045769A
Authority
JP
Japan
Prior art keywords
electronic device
control unit
watching
information
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017170638A
Other languages
English (en)
Other versions
JP7103769B2 (ja
Inventor
譲二 吉川
Joji Yoshikawa
譲二 吉川
雄紀 山田
Yuki Yamada
雄紀 山田
岡本　浩
Hiroshi Okamoto
浩 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2017170638A priority Critical patent/JP7103769B2/ja
Priority to US16/643,781 priority patent/US11410683B2/en
Priority to PCT/JP2018/032586 priority patent/WO2019049821A1/ja
Publication of JP2019045769A publication Critical patent/JP2019045769A/ja
Application granted granted Critical
Publication of JP7103769B2 publication Critical patent/JP7103769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/10—Telephonic communication systems specially adapted for combination with other electrical systems with dictation recording and playback systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0492—Sensor dual technology, i.e. two or more technologies collaborate to extract unsafe condition, e.g. video tracking and RFID tracking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Telephonic Communication Services (AREA)
  • Alarm Systems (AREA)
  • Telephone Function (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】見守り対象者の発する音声に対して音声認識処理を行う見守り方法、およびプログラムを提供する。【解決手段】制御部２４は、充電台１３からコミュニケーションモードへの移行指令を取得すると、コミュニケーションモードにおける多様な機能を実行するために、電子機器１４の各構成要素を制御する。なお、コミュニケーションモードとは、電子機器１４を充電台１３とともに、特定のユーザとの対話、特定ユーザの監視、当該ユーザへのメッセージ発信、および見守り対象者の感情に関する情報の作成などを実行させるモードである。制御部２４は、コミュニケーションモードを実行するユーザの登録のための登録処理を実行する。制御部２４は、例えば、入力部２２へのユーザ登録を要求する入力の検出などにより、登録処理を開始する。【選択図】図３

Description

本発明は、電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラムに関するものである。
スマートホン、タブレット、ノートパソコンなどの携帯端末が普及している。子供などの見守り対象者の移動履歴および購買履歴などに基づいて、見守り対象者の行動を監督者に通知する携帯端末が提案されている（特許文献１参照）。
特開２０１５−１４２２２１号公報
しかし、特許文献１により提案された携帯端末による見守り機能には改善の余地があった。
本開示は、機能を向上した電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラムを提供する。
本開示の第１の観点に係る電子機器は、
見守り対象者の発する音声に対して音声認識処理を行い、前記音声認識処理に基づいて前記見守り対象者の感情に関する情報を作成する見守り処理を実行可能な制御部を備える。
本開示の第２の観点に係る携帯端末は、
見守り対象者の発する音声に対して音声認識処理を行い、前記音声認識処理に基づいて前記見守り対象者の感情に関する情報を作成する見守り処理を実行可能な制御部を有する電子機器から前記感情に関する情報を取得する通信部と、
前記感情に関する情報に基づく画像を表示するディスプレイと、を備える。
本開示の第３の観点に係るコミュニケーションシステムは、
携帯端末と、
前記携帯端末と通信する通信部と、見守り対象者の発する音声に対して音声認識処理を行い、前記音声認識処理に基づいて前記見守り対象者の感情に関する情報を作成する見守り処理を実行可能であり、前記感情に関する情報を前記携帯端末に送るように前記通信部を駆動する制御部とを有する電子機器と、を備え、
前記携帯端末は、前記電子機器から取得した前記感情に関する情報を表示するディスプレイを有する。
上述したように本開示の解決手段を装置、及びシステムとして説明してきたが、本開示は、これらを含む態様としても実現し得るものであり、また、これらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。
本開示の第６の観点に係る見守り方法は、
見守り対象者の発する音声に対して音声認識処理を行うステップと、
前記音声認識処理に基づいて前記見守り対象者の感情に関する情報を作成する見守り処理を実行するステップと、を備える。
本開示の第７の観点に係るプログラムは、
見守り対象者の発する音声に対して音声認識処理を行い、前記音声認識処理に基づいて前記見守り対象者の感情に関する情報を作成する見守り処理を実行するように電子機器を機能させる。
本開示に係る電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラムによれば、電子機器における見守り機能を向上し得る。
一実施形態に係る電子機器を含むコミュニケーションシステムの外観を示す正面図である。 図１の電子機器を載置している充電台の側面図である。 図１の電子機器および充電台の内部構成を概略的に示す機能ブロック図である。 図３の電子機器のディスプレイに表示される総合評価画像の概念図である。 図３における電子機器の制御部が実行する初期設定処理を説明するためのフローチャートである。 図３における充電台の制御部が実行する発話等実行判別処理を説明するためのフローチャートである。 図３における電子機器の制御部が実行する見守り実行判別処理を説明するためのフローチャートである。 図３における電子機器の制御部が実行する第２の電子機器用の感情に関する情報の作成のサブルーチンを説明するためのフローチャートである。 図３における電子機器の制御部が実行する第１の電子機器用の感情に関する情報の作成のサブルーチンを説明するためのフローチャートである。
以下、本開示の実施形態について、図面を参照して説明する。
図１に示すように、本開示の電子機器１４を含むコミュニケーションシステム１０は、第１の電子機器１１、第２の電子機器１２、充電台１３を含んでいる。以後の説明において、特に区別しない限り、第１の電子機器１１および第２の電子機器１２を電子機器１４と呼ぶ。なお、第１の電子機器１１は、後述する、保護観察者が所有する電子機器１４である。第２の電子機器１２は、後述する、見守り対象者が所有する電子機器１４である。
図２に示すように、電子機器１４を充電台１３に載置している間、充電台１３は電子機器１４の内蔵のバッテリを充電する。また、電子機器１４を充電台１３に載置する場合、コミュニケーションシステム１０はユーザと対話し得る。
図３に示すように、電子機器１４は、例えば、携帯端末である。電子機器１４は、通信部１５、受電部１６、バッテリ１７、マイク１８、スピーカ１９、カメラ２０、ディスプレイ２１、入力部２２、記憶部２３、および制御部２４などを含んでいる。
通信部１５は、音声、文字、および画像などを通信可能な通信インタフェースを含む。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（Ｂｒｉｔｉｓｈ Ｎａｖａｌ Ｃｏｎｎｅｃｔｏｒ、またはＢａｂｙ‐ｓｅｒｉｅｓ Ｎ Ｃｏｎｎｅｃｔｏｒなど）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。
通信部１５は、自身の電子機器１４の外部機器、例えば、充電台１３および他の電子機器１４と通信する。言い換えると、第１の電子機器１１の通信部１５と、第２の電子機器１２の通信部１５と、充電台１３の通信部２５とが、相互に通信する。通信部１５は、有線通信または無線通信により、外部機器と通信する。なお、通信部１５は、充電台１３と有線通信をする構成においては、電子機器１４を充電台１３の正規の位置及び姿勢で載置することにより、充電台１３の通信部２５に接続され、通信し得る。また、通信部１５は、無線通信により、直接的に、または、例えば、基地局、およびインターネット回線または電話回線を介して間接的に、外部機器と通信してよい。
受電部１６は、充電台１３から供給する電力を受電する。受電部１６は、例えば、コネクタを有し、有線を介して充電台１３から電力を受電する。または、受電部１６は、例えば、コイルなどを有し、電磁誘導方式および磁界共振方式などの無線給電方法により充電台１３から電力を受電する。受電部１６は、受電した電力をバッテリ１７に蓄電する。
バッテリ１７は、受電部１６から供給される電力を蓄電する。バッテリ１７は、蓄電した電力を放電することにより、電子機器１４の各構成要素に、当該構成要素を機能させるために必要な電力を供給する。
マイク１８は、電子機器１４の周囲で発生する音声を検出して、電気信号に変換する。マイク１８は、検出した音声を制御部２４に出力する。
スピーカ１９は、制御部２４の制御に基づいて、音声を発する。スピーカ１９は、例えば、後述する発話機能を実行している場合、制御部２４が発話を決定した言葉を発する。また、スピーカ１９は、例えば、他の電子機器との通話を実行している場合、当該電子機器から取得する音声を発する。
カメラ２０は、撮像範囲内の被写体を撮像する。カメラ２０は、静止画像および動画像のいずれも撮像可能である。カメラ２０は、動画像の撮像時に、例えば６０ｆｐｓで、被写体を連続的に撮像する。カメラ２０は、撮像した画像を制御部２４に出力する。
ディスプレイ２１は、例えば液晶ディスプレイ（ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ））、または、有機若しくは無機ＥＬディスプレイである。ディスプレイ２１は、制御部２４の制御に基づいて、画像を表示する。
入力部２２は、例えば、ディスプレイ２１と一体化したタッチパネルである。入力部２２は、ユーザによる電子機器１４に関する多様な要求または情報の入力を検出する。入力部２２は、検出した入力を制御部２４に出力する。
記憶部２３は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部２３は、例えば、後述する、登録処理、発話処理、音声認識処理、監視処理、見守り処理、データ通信処理、および通話処理などを実行するための多様な情報を記憶する。
制御部２４は、１又は複数のプロセッサを含む。制御部２４は、種々の処理のためのプログラム及び演算中の情報を記憶する１又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ； Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ； Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）が含まれる。ＰＬＤには、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が含まれる。制御部２４は、一つ又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）、及びＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってよい。
制御部２４は、例えば、後述するように充電台１３からコミュニケーションモードへの移行指令を取得すると、コミュニケーションモードにおける多様な機能を実行するために、電子機器１４の各構成要素を制御する。なお、コミュニケーションモードとは、電子機器１４を充電台１３とともに、特定のユーザとの対話、特定ユーザの監視、当該ユーザへのメッセージ発信、および見守り対象者の感情に関する情報の作成などを実行させるモードである。
制御部２４は、コミュニケーションモードを実行するユーザの登録のための登録処理を実行する。制御部２４は、例えば、入力部２２へのユーザ登録を要求する入力の検出などにより、登録処理を開始する。
例えば、制御部２４は、登録処理において、ユーザにカメラ２０のレンズを見るようにメッセージを発し、カメラ２０を駆動することによりユーザの顔を撮像する。さらに、制御部２４は、撮像した画像を、ユーザの名称および属性などのユーザ情報と関連付けて記憶する。属性とは、例えば、電子機器１４の所有者および当該所有者に対する続柄、性別、年齢層、身長、体重などである。制御部２４は、ユーザ情報を、入力部２２へのユーザによる入力により取得する。
また、制御部２４は、登録処理において、見守り情報を、撮像した画像およびユーザ情報に関連付けて記憶し得る。見守り情報とは、登録者が見守り対象者であることの当否、および見守り対象者と関連する電子機器の電話番号などの識別子である。見守り対象者と関連する電子機器とは、当該制御部２４を含む電子機器１４以外の電子機器であって、見守り対象者の所有する第２の電子機器１２または見守り対象者の保護監督者の所有する第１の電子機器１１である。制御部２４は、複数のユーザに対して別々の見守り情報を取得し、撮像した画像およびユーザ情報に関連付けて記憶し得る。
制御部２４は、見守り情報を、入力部２２へのユーザによる入力により取得する。なお、制御部２４は、見守り情報を取得する場合、登録の可否を問合せる画像などをディスプレイ２１に表示させ、保護監督者による登録を許可する入力を入力部２２が検出する場合に、当該見守り情報を、画像およびユーザ情報に関連付けて、記憶部２３に記憶させる。
制御部２４は、登録処理において、さらに、登録された画像を、関連付けたユーザ情報とともに充電台１３に転送する。また、制御部２４は、見守り情報を取得した場合、登録された画像を、関連付けたユーザ情報と見守り情報とともに充電台１３に転送する。
充電台１３に付与するために、制御部２４は、充電台１３と通信可能であるかを判別する。制御部２４は、充電台１３と通信できない場合に、通信可能とさせるメッセージをディスプレイ２１に表示させる。例えば、電子機器１４が充電台１３と有線通信を行う構成において電子機器１４と充電台１３とが接続されていない場合、制御部２４は接続を要求するメッセージをディスプレイ２１に表示させる。また、電子機器１４が充電台１３と無線通信を行う構成において電子機器１４と充電台１３とが通信できない程度に離れている場合、制御部２４は充電台１３に近付くことを要求するメッセージをディスプレイ２１に表示させる。
制御部２４は、電子機器１４および充電台１３が通信可能である場合、登録された画像およびユーザ情報を充電台１３に向けて転送させ、転送中であることをディスプレイ２１に表示させる。さらに、制御部２４は、転送の完了の通知を充電台１３から取得する場合、初期設定完了のメッセージをディスプレイ２１に表示させる。
制御部２４は、コミュニケーションモードに移行している間、発話処理および音声認識処理の少なくとも一方を実行することにより、電子機器１４を特定のユーザと対話させる。
制御部２４は、発話処理において、現在時刻、充電台１３の設置された場所、充電台１３に特定された対話対象のユーザ、電子機器１４が受信したメールおよび電話、電子機器１４に登録されたメモおよびスケジュール、当該ユーザの発した音声、ならびに当該ユーザの過去の会話内容に基づいて、発話する言葉を決定する。なお、充電台１３に特定された対話対象のユーザは、後述される。制御部２４は、決定した言葉を発するように、スピーカ１９を駆動する。
また、制御部２４は、音声認識処理において、マイク１８が検出する音声の形態素解析を行い、ユーザの発話内容を認識する。制御部２４は、認識した発話内容に基づいて、所定の処理を実行する。所定の処理は、例えば、前述のように認識した発話内容に対する発話処理、ならびに所望の情報の探索、所望の画像の表示、および所望の相手への電話およびメールの発信を実行するための処理である。
また、制御部２４は、音声認識処理において、マイク１８が検出する声質、認識した発話内容の明暗、発話における『バカ』および『アホ』などの不適切言語の含有度合、発話における発話量および語彙の量、ならびに応答速度の少なくとも１つを測定する。マイク１８が検出する声質とは、例えば、声のトーンおよび大きさである。発話内容の明暗とは、発話において含まれる単語の肯定性または否定性の度合いである。発話内容の明暗は、例えば、『勝つ』、『楽しい』、『嬉しい』、および『有難う』などの肯定的意味の単語と、『負ける』、『つまらない』、『悲しい』、および『ごめん』などの否定的意味の単語との含有度合である。
また、制御部２４は、コミュニケーションモードに移行している間、連続的に実行した、上述の発話処理および音声認識処理を記憶部２３に記憶させ、特定された対話対象のユーザに対する会話内容を学習する。制御部２４は、学習した会話内容に基づいて、以後の発話処理において発話する言葉の決定に活用する。また、制御部２４は、学習した会話内容を、充電台１３に転送してよい。
また、制御部２４は、コミュニケーションモードに移行している間、特定された対話対象のユーザに対する会話内容および当該ユーザとの対話時にカメラ２０に撮像させる画像などから、当該ユーザの生活習慣などを学習する。制御部２４は、学習した生活習慣に基づいて、当該ユーザに対するアドバイスなどを報知する。アドバイスの報知は、スピーカ１９による音声の発話でも、ディスプレイ２１への画像の表示であってもよい。なお、アドバイスは、例えば、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案などである。
また、制御部２４は、コミュニケーションモードに移行している間、電子機器１４の現在位置を検出する。現在位置の検出は、例えば、通信中の基地局の設置位置または電子機器１４が備え得るＧＰＳに基づく。制御部２４は、検出した現在位置に関連付けられた地域情報をユーザに報知する。地域情報の報知は、スピーカ１９による音声の発話でも、ディスプレイ２１への画像の表示であってもよい。なお、地域情報は、例えば、近隣店舗の特売情報などである。
また、制御部２４は、コミュニケーションモードに移行している間に特定の対象に対する監視処理の開始要求を入力部２２が検出する場合、当該開始要求を充電台１３に通知する。特定の対象とは、例えば、登録された特定のユーザ、および充電台１３が設置された部屋などである。
監視処理は電子機器１４の載置の有無に関わらず、充電台１３により実行される。制御部２４は、監視処理を実行させている充電台１３から特定の対象が異常状態である通知を取得する場合、その旨をユーザに報知する。ユーザへの報知は、スピーカ１９による音声の発信でも、ディスプレイ２１への警告画像の表示であってもよい。
制御部２４は、コミュニケーションモードに移行している間に、見守り対象者に対する見守り処理を実行する。制御部２４は、見守り処理において、見守り対象者との対話に基づいて、当該見守り対象者の感情に関する情報を作成する。見守り処理を実行する電子機器１４が第１の電子機器１１である場合、制御部２４は、マイク１８が検出する保護監督者の音声による命令により、見守り処理の実行を開始する。また、制御部２４は、マイク１８が検出する保護観察者の音声による命令により、見守り処理の実行を終了する。また、見守り処理を実行する電子機器１４が第２の電子機器１２である場合、制御部２４は充電台１３に載置されている間、見守り処理を実行する。
制御部２４は、見守り処理において、音声認識処理により測定された見守り対象者の声質、認識した発話内容の明暗、発話における発話量および語彙の量、ならびに応答速度の少なくとも１つに基づいて、見守り対象者の感情に関する情報を作成する。制御部２４は、見守り対象者の感情に関する情報の作成に、さらに、カメラ２０が撮像する見守り対象者の表情を用いてもよい。
制御部２４は、感情に関する情報の作成のために、見守り対象者の声質、認識した発話内容の明暗、発話における発話量および語彙の量、ならびに応答速度の少なくとも１つを、登録済みの見守り対象者別に、記憶部２３に蓄積する。制御部２４は、蓄積した当該少なくとも１つの平均値を、登録済みの見守り対象者別に算出する。制御部２４は、見守り処理の実行中に取得する見守り対象者の声質、認識した発話内容の明暗、発話における発話量および語彙の量、ならびに応答速度の少なくとも１つを記憶部２３に蓄積した平均値と、登録済みの見守り対象者別に比較することにより、感情に関する情報を作成する。
制御部２４は、感情に関する情報として、例えば、段階的な元気度および感情度などを作成する。本実施形態において、制御部２４は、感情に関する情報として、元気度および感情度を作成する。
制御部２４は、感情に関する情報を、例えば、連続する対話毎に作成する。具体的には、制御部２４は、今日の出来事、しりとりゲーム、およびアニメなどの雑談に関する対話毎に、段階的な元気度および感情度を算出することにより、感情に関する情報を作成する。
制御部２４は、定期的または周期的に、感情に関する情報に基づいて、総合評価を作成する。総合評価は、例えば、作成時以前の所定の時間の間に作成された、感情に関する情報の総合的な評価である。総合評価は、具体的には、例えば、当該所定の時間の間に作成された感情に関する情報の平均である。
見守り処理を実行する電子機器１４が第１の電子機器１１である場合、制御部２４は、保護観察者の閲覧要求に基づいて、作成した感情に関する情報および総合評価を報知する。なお、保護観察者の閲覧要求は、例えば、入力部２２への入力およびマイク１８への音声による入力の少なくともいずれかが検出される。感情に関する情報および総合評価は、スピーカ１９による音声の発生およびディスプレイ２１への画面の表示により、報知される。
本実施形態において、制御部２４は、例えば、図４に示す、総合評価画像をディスプレイ２１に表示させる。なお、総合評価画像においては、総合評価は見守り履歴として表示される。また、総合評価画像ＴＩには、総合評価の作成時期Ｔｍ、総合評価としての元気度Ｆｉおよび感情度Ｅｉ、言語力としての語彙の量および応答速度ＬＡ、対話毎の感情に関する情報ｐＥＩ、対話毎の開始時刻ｐＴｍ、対話の話題Ｔｐ、詳細表示ボタンＢｔが含まれる。制御部２４は、感情度Ｅｉを、表情を示すアイコンによって示してよい。制御部２４は、総合評価としての元気度Ｆｉおよび感情度Ｅｉ、および言語力がそれぞれの平均から外れる場合に、色付けして表示させてよい。制御部２４は、詳細表示ボタンＢｔの接触が検出される場合、対話の詳細をディスプレイ２１に表示させる。
見守り処理を実行する電子機器１４が第２の電子機器１２である場合、制御部２４は、作成した感情に関する情報および総合評価を、見守り情報として記憶した保護監督者の所有する第１の電子機器１１に送るように、通信部１５を駆動する。
第１の電子機器１１は、第２の電子機器１２から感情に関する情報および総合評価を取得することにより、感情に関する情報および総合評価を第１の電子機器１１の所有者である保護監督者に報知可能となる。なお、第１の電子機器１１における感情に関する情報および総合評価は、充電台１３に載置される場合と同様に、スピーカ１９による音声の発生およびディスプレイ２１への画面の表示により、報知され得る。
また、制御部２４は、見守り処理において、マイク１８が検出する周囲の音声、およびカメラ２０が撮像する周囲の画像に基づいて、見守り対象者に異常が発生しているか否かを判別する。なお、見守り対象者の異常とは、例えば、見守り対象者を検出できない、見守り対象者の動作速度が閾値動作速度より小さい、見守り対象者の表情が悲痛である、見守り対象者の会話に強い否定の単語が継続している、見守り対象者が救助を求めている、および見守り対象者および保護監督者以外の人物が検出されている、状態の少なくともいずれかが所定時間以上継続する状態である。
見守り処理を実行する電子機器１４が第１の電子機器１１であってかつ見守り処理において異常が発生していると判別する場合、制御部２４は保護監督者に異常の発生を報知する。異常の発生は、スピーカ１９による音声の発生およびディスプレイ２１への画面の表示により、報知される。
見守り処理を実行する電子機器１４が第２の電子機器１２であってかつ見守り処理において異常が発生していると判別する場合、制御部２４は、見守り情報として記憶した保護監督者の所有する第１の電子機器１１に向かって異常の発生を通知するように、通信部１５を駆動する。
第１の電子機器１１は、第２の電子機器１２から異常の発生を通知されることにより、異常の発生を第１の電子機器１１の所有者である保護監督者に報知可能となる。なお、第１の電子機器１１における、異常の発生の報知は、充電台１３に載置される場合と同様に、スピーカ１９による音声の発生およびディスプレイ２１への画面の表示による。
また、制御部２４は、コミュニケーションモードへの移行の有無に関わらず、入力部２２への入力に基づいて、メールの送受信およびブラウザを用いた画像表示などのデータ通信処理、ならびに他の電話との通話処理を実行する。
充電台１３は、通信部２５、給電部２６、変動機構２７、マイク２８、スピーカ２９、カメラ３０、人感センサ３１、載置センサ３２、記憶部３３、および制御部３４などを含んでいる。
通信部２５は、電子機器１４の通信部１５と同様に、音声、文字、および画像などを通信可能な通信インタフェースを含む。通信部２５は、有線通信または無線通信により、電子機器１４と通信する。通信部２５は、有線通信または無線通信により、外部機器と通信してもよい。
給電部２６は、充電台１３に載置された電子機器１４の受電部１６に電力を供給する。給電部２６は、上述のように、有線または無線により受電部１６に電力を供給する。
変動機構２７は、充電台１３に載置される電子機器１４の向きを変動させる。変動機構２７は、充電台１３に対して定められる下底面ｂｓ（図１、２参照）に対して定められる上下方向および左右方向の少なくとも一方に沿って、電子機器１４の向きを変動可能である。変動機構２７はモータを内蔵しており、モータの駆動により電子機器１４の向きを変動させる。
マイク２８は、充電台１３の周囲で発生する音声を検出して、電気信号に変換する。マイク２８は、検出した音声を制御部３４に出力する。
スピーカ２９は、制御部３４の制御に基づいて、音声を発する。
カメラ３０は、撮像範囲内の被写体を撮像する。カメラ３０は、静止画像および動画像のいずれも撮像可能である。カメラ３０は、動画像の撮像時に、例えば６０ｆｐｓで、被写体を連続的に撮像する。カメラ３０は、撮像した画像を制御部３４に出力する。
人感センサ３１は、例えば、赤外線センサであり、熱の変化を検出することにより、充電台１３の周囲における人の存在を検出する。人感センサ３１は、人の存在を検出する場合、その旨を制御部３４に通知する。なお、人感センサ３１は、赤外線センサ以外のセンサであってよく、例えば、超音波センサであってもよい。または、人感センサ３１は、連続的に撮像される画像の変化に基づいて人の存在を検出するようにカメラ３０を機能させる構成であってよい。または、人感センサ３１は、検出する音声に基づいて人の存在を検出するようにマイク２８を機能させる構成であってよい。
載置センサ３２は、充電台１３において、例えば、電子機器１４の載置面に設けられており、電子機器１４の載置の有無を検出する。載置センサ３２は、例えば圧電素子などにより構成されている。載置センサ３２は、電子機器１４が載置されるとき、その旨を制御部３４に通知する。
記憶部３３は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部３３は、例えば、電子機器１４から取得するユーザの登録に係る画像、ユーザ情報、および見守り情報を、電子機器１４毎および登録したユーザ毎に記憶する。また、記憶部３３は、例えば、電子機器１４から取得する会話内容をユーザ毎に記憶する。また、記憶部３３は、例えば、後述するように、カメラ３０による撮像結果に基づく変動機構２７の駆動のための情報を記憶する。
制御部３４は、電子機器１４の制御部２４と同様に、１又は複数のプロセッサを含む。制御部３４は、電子機器１４の制御部２４と同様に、種々の処理のためのプログラム及び演算中の情報を記憶する１又は複数のメモリを含んでよい。
制御部３４は、載置センサ３２が電子機器１４の載置を検出してから離脱を検出するまでの間、言い換えると、充電台１３に電子機器１４が載置されている場合、電子機器１４をコミュニケーションモードに維持させる。したがって、制御部３４は、充電台１３に電子機器１４が載置されている場合、電子機器１４に発話処理および音声認識処理の少なくとも一方を実行させ得る。
制御部３４は、充電台１３に電子機器１４が載置されている間、カメラ３０を起動して、周囲の画像を撮像させる。制御部３４は、撮像した画像中の人の顔を検出する。制御部３４は、検出した人の顔の画像を、記憶部３３に記憶させた顔の画像と比較することにより、撮像されたユーザを特定する。制御部３４は、特定したユーザを電子機器１４に通知する。
制御部３４は、撮像されたユーザの認識後、カメラ３０による撮像を継続させ、当該ユーザの顔を画像毎に探索する。制御部３４は、画像の中で探索された顔の位置に基づいて、電子機器１４のディスプレイ２１が当該ユーザの方向を向くように、変動機構２７を駆動する。
制御部３４は、載置センサ３２が電子機器１４の載置を検出する時、電子機器１４のコミュニケーションモードへの移行を開始させる。したがって、制御部３４は、充電台１３に電子機器１４が載置される時、電子機器１４に発話処理および音声認識処理の少なくとも一方の実行を開始させる。
制御部３４は、発話処理および音声認識処理の少なくとも一方の開始指示の条件に、人感センサ３１による人の検知を付加してよい。例えば、制御部３４は、電子機器１４の載置の認識後に、人感センサ３１が人を検出する場合に、発話処理などを開始させてもよい。
また、制御部３４は、載置センサ３２が電子機器１４の離脱を検出する時、電子機器１４におけるコミュニケーションモードを終了させる。したがって、制御部３４は、充電台１３から電子機器１４が離脱する時、電子機器１４に発話処理および音声認識処理の少なくとも一方の実行を終了させる。
また、制御部３４は、電子機器１４からユーザ毎の会話内容を取得する場合、当該会話内容を電子機器１４毎に記憶部３３に記憶させる。制御部３４は、必要に応じて、充電台１３と直接または間接的に通信する異なる電子機器１４間において記憶した会話内容を共有させる。なお、充電台１３と間接的に通信するとは、充電台１３が電話回線に繋がれており、当該電話回線を介して通信すること、および充電台１３に載置された電子機器１４を介して通信することの少なくとも一方を含む。
また、制御部３４は、電子機器１４から監視処理を実行する指令を取得する場合、監視処理を実行する。制御部３４は、監視処理において、カメラ３０を起動して、特定の対象の連続的な撮像を実行する。制御部３４は、カメラ３０が撮像した画像の中で特定の対象を抽出する。制御部３４は、抽出した特定の対象の状態を、画像認識などに基づいて、判断する。特定の対象の状態とは、例えば、特定のユーザが倒れたままなどの異常状態、留守中の部屋における動体の検出状態である。制御部３４は、特定の対象が異常状態であると判断する場合、監視処理の実行を指令した電子機器１４に、特定の対象が異常状態であることを通知する。
次に、本開示において電子機器１４の制御部２４が実行する、初期設定処理について、図５のフローチャートを用いて説明する。初期設定処理は、ユーザによる初期設定を開始する入力を入力部２２が検出する場合に開始する。
ステップＳ１００において、制御部２４は、電子機器１４のカメラ２０に顔を合わせるように要求するメッセージをディスプレイ２１に表示させる。ディスプレイ２１への表示後に、プロセスはステップＳ１０１に進む。
ステップＳ１０１では、制御部２４は、カメラ２０に撮像を実行させる。撮像後、プロセスはステップＳ１０２に進む。
ステップＳ１０２では、制御部２４は、ユーザの名称および属性を尋ねる質問をディスプレイ２１に表示させる。質問の表示後、プロセスはステップＳ１０３に進む。
ステップＳ１０３では、制御部２４は、ステップＳ１０２における質問に対する回答の有無を判別する。回答が無い時、プロセスはステップＳ１０３を繰返す。回答がある時、プロセスはステップＳ１０４に進む。
ステップＳ１０４では、制御部２４は、ステップＳ１０１において撮像した顔の画像を、ステップＳ１０３において検出された質問に対する回答をユーザ情報として関連付けて、記憶部２３に記憶させる。記憶後、プロセスはステップＳ１０５に進む。
ステップＳ１０５では、制御部２４は、充電台１３と通信可能であるか否かを判別する。通信不可能である時、プロセスはステップＳ１０６に進む。通信可能である時、プロセスはステップＳ１０７に進む。
ステップＳ１０６では、制御部２４は、ディスプレイ２１に充電台１３との通信を可能にさせる行動を要求するメッセージをディスプレイ２１に表示させる。通信を可能にさせる行動を要求するメッセージは、電子機器１４が充電台１３と有線通信を行う構成において、例えば、“充電台に載置してください”である。また、通信を可能にさせる行動を要求するメッセージは、電子機器１４が充電台１３と無線通信を行う構成において、例えば、“充電台に近付けてください”である。メッセージの表示後、プロセスはステップＳ１０５に戻る。
ステップＳ１０７では、制御部２４は、ステップＳ１０４において記憶した顔の画像、およびユーザ情報を充電台１３に転送する。また、制御部２４は、転送中であることを示すメッセージをディスプレイ２１に表示させる。転送の開始後にプロセスはステップＳ１０８に進む。
ステップＳ１０８では、制御部２４は、充電台１３から転送完了の通知を取得したか否かを判別する。取得していない時、プロセスはステップＳ１０８を繰返す。取得している時、プロセスはステップＳ１０９に進む。
ステップＳ１０９では、制御部２４は、初期設定の完了を示すメッセージをディスプレイ２１に表示させる。表示後、初期設定処理は終了する。
次に、本開示において充電台１３の制御部３４が実行する、発話等実行判別処理について、図６のフローチャートを用いて説明する。発話等実行判別処理は、周期的に開始する。
ステップＳ２００において、制御部３４は、電子機器１４の載置を載置センサ３２が検出しているか否かを判別する。検出している時、プロセスはステップＳ２０１に進む。検出していない時、発話等実行判別処理は終了する。
ステップＳ２０１では、制御部３４は、変動機構２７および人感センサ３１を駆動して、充電台１３の周囲に人がいるか否かの検出を行う。変動機構２７および人感センサ３１を駆動させた後、プロセスはステップＳ２０２に進む。
ステップＳ２０２では、充電台１３の周囲の人を人感センサ３１が検出しているか否かを判別する。周囲の人を検出する時、プロセスはステップＳ２０３に進む。周囲の人を検出しない時、発話等実行判別処理は終了する。
ステップＳ２０３では、制御部３４は、カメラ３０に周辺光景を撮像させる。撮像後、プロセスはステップＳ２０４に進む。
ステップＳ２０４では、制御部３４は、ステップＳ２０３において撮像により取得した画像内に含まれる人の顔を探索する。顔の探索後、プロセスはステップＳ２０５に進む。
ステップＳ２０５では、制御部３４は、ステップＳ２０４において探索した顔を、記憶部３３に記憶した登録済みの顔の画像と比較することにより、撮像されたユーザを特定する。特定後、プロセスはステップＳ２０６に進む。
ステップＳ２０６では、制御部３４は、ステップＳ２０４において探索した顔の位置に基づいて、電子機器１４のディスプレイ２１がステップＳ２０３において撮像されたユーザの顔の方向を向くように、変動機構２７を駆動させる。変動機構２７の駆動後、プロセスはステップＳ２０７に進む。
ステップＳ２０７では、制御部３４は、発話処理および音声認識処理の少なくとも一方を開始させる指令を電子機器１４に通知する。電子機器１４に通知後、プロセスはステップＳ２０８に進む。
ステップＳ２０８では、制御部３４は、ステップＳ２０５において特定したユーザを電子機器１４に通知する。通知後、プロセスはステップＳ２０９に進む。
ステップＳ２０９では、制御部３４は、電子機器１４の離脱を載置センサ３２が検出しているか否かを判別する。検出していない時、プロセスはステップＳ２０３に戻る。検出している時、プロセスはステップＳ２１０に進む。
ステップＳ２１０では、制御部３４は、発話処理および音声認識処理の少なくとも一方を終了させる指令を電子機器１４に通知する。電子機器１４に通知後、発話等実行判別処理は終了する。
次に、本開示において電子機器１４の制御部２４が実行する、見守り実行判別処理について、図７のフローチャートを用いて説明する。見守り実行判別処理は、所有者が保護観察者または見守り対象者である電子機器１４が充電台１３から発話処理および音声認識処理の開始指令の通知を取得する場合、開始する。また、見守り実行判別処理は、充電台１３から発話処理および音声認識処理の終了指令の通知を取得する場合、終了する。
ステップＳ３００において、制御部２４は、記憶部２３に記憶したユーザ情報および見守り情報に基づいて、電子機器１４の所有者が見守り対象者であるか否かを判別する。所有者が見守り対象者である場合、プロセスはステップＳ４００に進む。所有者が見守り対象者でない場合、プロセスはステップＳ３０２に進む。
ステップＳ４００では、制御部２４は、後述するように、第２の電子機器１２用の感情に関する情報の作成のサブルーチンを実行する。第２の電子機器１２用の感情に関する情報の作成のサブルーチンの実行後、プロセスはステップＳ３０１に進む。
ステップＳ３０１では、制御部２４は、ステップＳ４００において作成した、感情に関する情報および総合評価の少なくともいずれかを、所有者が保護観察者である第１の電子機器１１に通知するように、通信部１５を駆動する。駆動後、プロセスはステップＳ４００に戻る。
ステップＳ３０２では、制御部２４は、見守り処理の実行を命令する保護監督者の音声をマイク１８が検出しているか否かを判別する。検出していない場合、プロセスはステップＳ３０２に戻る。検出している場合、プロセスはステップＳ５００に進む。
ステップＳ５００では、制御部２４は、後述するように、第１の電子機器１１用の感情に関する情報の作成のサブルーチンを実行する。第１の電子機器１１用の感情に関する情報作成のサブルーチンの実行後、プロセスはステップＳ３０３に進む。
ステップＳ３０３では、制御部２４は、ステップＳ５００において作成した、感情に関する情報および総合評価の少なくとも一方を、記憶部２３に記憶させる。記憶後、プロセスはステップＳ３０４に進む。
ステップＳ３０４では、制御部２４は、見守り処理の終了を命令する保護監督者の音声をマイク１８が検出しているか否かを判別する。検出していない場合、プロセスはステップＳ３０３に戻る。検出している場合、プロセスはステップＳ３０２に戻る。
次に、本開示において電子機器１４の制御部２４が実行する、第２の電子機器１２用の感情に関する情報の作成のサブルーチンＳ４００について、図８のフローチャートを用いて説明する。
ステップＳ４０１では、制御部２４は、マイク１８が検出する周囲の音声およびカメラ２０が撮像する周囲の画像に基づく、見守り対象者に異常が発生しているか否かの判別を開始する。判別の開始後、プロセスはステップＳ４０２に進む。
ステップＳ４０２では、制御部２４は、音声認識処理による、見守り対象者の声質、認識した発話内容の明暗、発話における発話量および語彙の量、ならびに応答速度の少なくとも１つの測定を開始する。測定の開始後、プロセスはステップＳ４０３に進む。
ステップＳ４０３では、制御部２４は、見守り対象者に異常が発生しているか否かを判別する。異常が発生している場合、プロセスはステップＳ４０４に進む。異常が発生していない場合、プロセスはステップＳ４０５に進む。
ステップＳ４０４では、制御部２４は、見守り対象者に異常が発生していることを、所有者が保護観察者である第１の電子機器１１に通知するように、通信部１５を駆動する。駆動後、プロセスはステップＳ４０９に進む。
ステップＳ４０５では、制御部２４は、見守り対象者との対話が一時的に終了したか否かを判別する。制御部２４は、例えば、電子機器１４側からの発話に対して、見守り対象者からの返答が一定時間無い場合に対話が一時的に終了したと判別する。対話が終了していない場合、プロセスはステップＳ４０３に戻る。対話が終了している場合、プロセスはステップＳ４０６に進む。
ステップＳ４０６では、制御部２４は、ステップＳ４０５において終了したと判別した対話における感情に関する情報を作成する。作成後、プロセスはステップＳ４０７に進む。
ステップＳ４０７では、制御部２４は、総合評価を作成する時刻に到達したか否かを判別する。総合評価を作成する時刻とは、例えば、総合評価が定期的に作成される場合には定められた時刻である。また、総合評価を作成する時刻とは、例えば、総合評価が周期的に作成される場合には前回の作成時から定められた時間の経過時の時刻である。総合評価を作成する時刻に到達していない場合、プロセスはステップＳ４０３に戻る。総合評価を作成する時刻に到達している場合、プロセスはステップＳ４０８に進む。
ステップＳ４０８では、制御部２４は、総合評価を作成する。作成後、プロセスはステップＳ４０９に進む。
ステップＳ４０９では、制御部２４は、見守り対象者に異常が発生しているか否かの判別を終了する。判別の終了後、プロセスはステップＳ４１０に進む。
ステップＳ４１０では、制御部２４は、音声認識処理による、見守り対象者の声質、認識した発話内容の明暗、発話における発話量および語彙の量、ならびに応答速度の少なくとも１つの測定を終了する。測定の終了後、第２の電子機器１２用の感情に関する情報の作成のサブルーチンを終了して、見守り実行判別処理におけるステップＳ３０１（図７参照）に戻る。
次に、本開示において電子機器１４の制御部２４が実行する、第１の電子機器１１用の感情に関する情報の作成のサブルーチンＳ５００について、図９のフローチャートを用いて説明する。
ステップＳ５０１からＳ５０３において、制御部２４は、第２の電子機器１２用の感情に関する情報の作成のサブルーチンにおけるステップＳ４０１からＳ４０３と同じ制御を行う。ステップＳ５０３において異常が発生していると判別する場合、プロセスはステップＳ５０４に進む。
ステップＳ５０４では、制御部２４は、見守り対象者に異常が発生していることを、保護観察者に報知するように、スピーカ１９およびディスプレイ２１の少なくとも一方を駆動する。駆動後、プロセスはステップＳ５０９に進む。
ステップＳ５０５からＳ５１０において、制御部２４は、第２の電子機器１２用の感情に関する情報の作成のサブルーチンにおけるステップＳ４０５からＳ４１０と同じ制御を行う。ステップＳ５１０における測定の終了後、第１の電子機器１１用の感情に関する情報の作成のサブルーチンを終了して、見守り実行判別処理におけるステップＳ３０３（図７参照）に戻る。
以上のような構成の本実施形態に係る電子機器１４は、音声認識処理に基づいて、見守り対象者の感情に関する情報を作成する。このような構成により、電子機器１４は、特別な試験等を行うこと無く、見守り対象者の心情を容易に把握可能に加工された情報を取得し得る。したがって、電子機器１４は、保護観察者に、見守り対象者の心情を容易に把握させ得る。このように、電子機器１４は、従来の電子機器に比べて、機能が改善されている。
また、本実施形態に係る電子機器１４は、感情に関する情報を、他の電子機器である第１の電子機器１１に送る。このような構成により、電子機器１４は、第１の電子機器１１が見守り対象者から離れていても、感情に関する情報を通知し得る。したがって、電子機器１４は、見守り対象者から離れた位置にいる保護観察者に、見守り対象者の感情に関する情報を認知させ得る。
また、本実施形態に係る電子機器１４は、感情に関する情報を、ディスプレイ２１に表示する。したがって、電子機器１４は、当該電子機器１４を使用中の保護観察者に感情に関する情報を視認させ得る。
また、本実施形態に係る電子機器１４は、登録済みの前記見守り対象者別に、感情に関する情報の作成を行う。したがって、電子機器１４は、複数の見守り対象者の感情に関する情報を提供し得る。
また、本実施形態に係る電子機器１４は、見守り処理の実行中に、周囲の音声および周囲の画像に基づいて、見守り対象者に異常が発生しているか否かを判別する。このような構成により、電子機器１４は、保護観察者が状態および心情の見守りを所望する対象である、見守り対象者の感情に関する情報の作成とともに状態をも、把握させ得る。
また、本実施形態に係る電子機器１４は、見守り対象者に異常が発生していると判別する場合、異常の発生を、他の電子機器である第１の電子機器１１に通知する。したがって、電子機器１４は、第１の電子機器１１が見守り対象者から離れていても、異常の発生を通知し得る。したがって、電子機器１４は、見守り対象者から離れた位置にいる保護観察者に、見守り対象者の異常発生を認知させ得る。
また、本実施形態に係る電子機器１４は、見守り対象者に異常が発生していると判別する場合、異常の発生を報知する。したがって、電子機器１４は、当該電子機器１４を使用中の保護観察者が、見守り対象者を常に観察させること無く、見守り対象者の異常発生を認知させ得る。
また、本実施形態に係る電子機器１４は、感情に関する情報を、他の電子機器である第２の電子機器１２から取得し、当該情報を表示する。したがって、電子機器１４は、当該電子機器１４を使用中の保護観察者に、見守り対象者の感情に関する情報を視認させ得る。
また、本実施形態に係る充電台１３は、電子機器１４が載置されている場合、電子機器１４に発話処理および音声認識処理の少なくとも一方を実行させている。このような構成により、充電台１３は、単体で所定の機能を実行する電子機器１４とともにユーザとの対話相手になり得る。したがって、充電台１３は、例えば、一人暮らしの高齢者の食事中の対話相手となり、高齢者の孤食を防ぎ得る。このように、充電台１３は、従来の充電台に比べて、機能が改善されている。
また、本実施形態に係る充電台１３は、電子機器１４が載置される時、電子機器１４に発話処理および音声認識処理の少なくとも一方の実行を開始させている。したがって、充電台１３は、電子機器１４の載置により、煩雑な入力などを必要とすること無く、ユーザとの対話などを開始させ得る。
また、本実施形態に係る充電台１３は、電子機器１４が離脱する時、電子機器１４に発話処理及び音声認識処理の少なくとも一方の実行を終了させている。したがって、充電台１３は、電子機器１４の離脱のみにより、煩雑な入力などを必要とすること無く、ユーザとの対話などを終了させ得る。
また、本実施形態に係る充電台１３は、電子機器１４のディスプレイ２１が発話処理および音声認識処理の少なくとも一方の実行対象のユーザの方向を向くように変動機構２７を駆動する。したがって、充電台１３は、ユーザとの対話時に、充電台１３とともに、当該充電台１３に載置された電子機器１４を、実際に会話をする人のように、当該ユーザに認識させ得る。
また、本実施形態に係る充電台１３は、ユーザとの会話内容を、充電台１３と通信する異なる電子機器１４間において共有させ得る。このような構成により、充電台１３は、特定のユーザの会話内容を他のユーザに把握させ得る。したがって、充電台１３は、会話内容を遠隔地にいる家族などと共有させ得、家族間のコミュニケーションを円滑化し得る。
また、本実施形態に係る充電台１３は、特定の対象の状態を判断して異常状態である場合に電子機器１４のユーザに報知する。したがって、充電台１３は、特定の対象を見守りし得る。
また、本実施形態に係る電子機器１４は、当該電子機器１４が載置される充電台１３とともに、対話対象のユーザに対して、過去の会話内容、発した音声、および充電台１３の設置された場所などに基づいて、発する言葉を決める。このような構成により、充電台１３とともに、当該充電台１３に載置された電子機器１４は、対話中のユーザの現在の会話内容および過去の会話内容ならびに設置場所に合わせた会話を行い得る。
また、本実施形態に係る電子機器１４は、当該電子機器１４が載置される充電台１３とともに、特定のユーザの生活習慣などを学習して、ユーザへのアドバイスを出力する。このような構成により、充電台１３とともに、当該充電台１３に載置された電子機器１４は、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案を行うことにより、ユーザの忘却し易いこと、ユーザに未知のことを認識させ得る。
また、本実施形態に係る電子機器１４は、当該電子機器１４が載置される充電台１３とともに、現在位置に関連付けられた情報を報知する。このような構成により、充電台１３とともに、当該充電台１３に載置された電子機器１４は、ユーザの居住地近辺に特化した地域情報をユーザに教示し得る。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
例えば、本実施形態において、電子機器１４のマイク１８が検出した音声に対して、同じ電子機器１４の制御部２４が音声認識処理および見守り処理を実行しているが、２台の電子機器１４である第１の電子機器１１および第２の電子機器１２で一体的に行ってよい。例えば、第２の電子機器１２のマイク１８が検出した音声を、第１の電子機器１１が取得して、第１の電子機器１１の制御部２４が音声認識処理および見守り処理を実行してよい。また、例えば、第２の電子機器１２のマイク１８が検出した音声を、第２の電子機器１２の制御部が音声認識処理を行い、音声認識処理の結果を第１の電子機器１１が取得して、第１の電子機器１１の制御部２４が音声認識処理および見守り処理を実行してよい。
また、本実施形態において、電子機器１４の制御部２４が、発話処理、音声認識処理、会話内容の学習、生活習慣の学習および当該生活習慣の学習に基づくアドバイス、現在位置に関連付けられた情報の報知、ならびに見守り処理を実行するが、これらを充電台１３の制御部３４が実行してもよい。充電台１３の制御部３４が実行する構成においては、ユーザとの対話において充電台１３のマイク２８、スピーカ２９、およびカメラ３０を駆動してもよいし、電子機器１４のマイク１８、スピーカ１９、およびカメラ２０を通信部２５、１５を介して駆動してもよい。
また、本実施形態において、充電台１３の制御部３４が、発話処理および音声認識処理の少なくとも一方の実行の可否を判別するが、判別を電子機器１４の制御部２４に実行させてもよい。
また、本実施形態において、上記変形例を組合わせて、充電台１３の制御部３４が発話処理、音声認識処理、会話内容の学習、生活習慣の学習および当該生活習慣の学習に基づくアドバイス、現在位置に関連付けられた情報の報知、ならびに見守り処理を実行し、かつ電子機器１４の制御部２４が発話処理および音声認識処理の少なくとも一方の実行の可否を判別してもよい。
また、本実施形態において、電子機器１４の制御部２４が、登録処理を実行するが、充電台１３の制御部３４が実行してもよい。
１０ コミュニケーションシステム
１１ 第１の電子機器
１２ 第２の電子機器
１３ 充電台
１４ 電子機器
１５ 通信部
１６ 受電部
１７ バッテリ
１８ マイク
１９ スピーカ
２０ カメラ
２１ ディスプレイ
２２ 入力部
２３ 記憶部
２４ 制御部
２５ 通信部
２６ 給電部
２７ 変動機構
２８ マイク
２９ スピーカ
３０ カメラ
３１ 人感センサ
３２ 載置センサ
３３ 記憶部
３４ 制御部
Ｂｔ 詳細表示ボタン
Ｅｉ 感情度
Ｆｉ 元気度
ＬＡ 言語力
ｐＥＩ 対話毎の感情に関する情報
ｐＴｍ 対話毎の開始時刻
ＴＩ 総合評価画像
Ｔｍ 作成時期
Ｔｐ 話題

Claims (13)

  1. 見守り対象者の発する音声に対して音声認識処理を行い、前記音声認識処理に基づいて前記見守り対象者の感情に関する情報を作成する見守り処理を実行可能な制御部を備える
    電子機器。
  2. 請求項１に記載の電子機器において、
    携帯端末と通信する通信部を、さらに備え、
    前記制御部は、前記感情に関する情報を前記携帯端末に送るように前記通信部を駆動する
    電子機器。
  3. 請求項１に記載の電子機器において、
    前記制御部は、前記感情に関する情報をディスプレイに表示させる
    電子機器。
  4. 請求項１から３のいずれか１項に記載の電子機器において、
    前記制御部は、前記音声認識処理により認識した、前記見守り対象者の発する音声の、トーンおよび大きさ、肯定的意味の単語および否定的意味の単語の含有度合、語彙の量、ならびに速度の少なくとも１つに基づいて、前記感情に関する情報を作成する
    電子機器。
  5. 請求項４に記載の電子機器において、
    前記制御部は、
    前記トーンおよび大きさ、肯定的意味の単語および否定的意味の単語の含有度合、語彙の量、ならびに速度の少なくとも１つを蓄積し、蓄積した該１つの平均値を算出し、
    前記見守り処理の実行中の前記トーンおよび大きさ、肯定的意味の単語および否定的意味の単語の含有度合、語彙の量、ならびに速度の少なくとも１つを前記平均値と比較することにより、前記感情に関する情報を作成する
    電子機器。
  6. 請求項５に記載の電子機器において、
    前記制御部は、登録済みの前記見守り対象者別に、前記平均値を算出し、該平均値との比較による前記感情に関する情報の作成を行う
    電子機器。
  7. 請求項１から６のいずれか１項に記載の電子機器において、
    前記制御部は、前記見守り処理の実行中に、周囲の音声および周囲の画像に基づいて、前記見守り対象者に異常が発生しているか否かを判別する
    電子機器。
  8. 請求項７に記載の電子機器において、
    前記制御部は、前記見守り対象者に異常が発生していると判別する場合、異常が発生していることを携帯端末に通知する
    電子機器。
  9. 請求項７に記載の電子機器において、
    前記制御部は、前記見守り対象者に異常が発生していると判別する場合、異常が発生していることを報知させる
    電子機器。
  10. 請求項２に記載の電子機器から前記感情に関する情報を取得する通信部と、
    前記感情に関する情報に基づく画像を表示するディスプレイと、を備える
    携帯端末。
  11. 携帯端末と、
    前記携帯端末と通信する通信部と、見守り対象者の発する音声に対して音声認識処理を行い、前記音声認識処理に基づいて前記見守り対象者の感情に関する情報を作成する見守り処理を実行可能であり、前記感情に関する情報を前記携帯端末に送るように前記通信部を駆動する制御部とを有する電子機器と、を備え、
    前記携帯端末は、前記電子機器から取得した前記感情に関する情報を表示するディスプレイを有する
    コミュニケーションシステム。
  12. 見守り対象者の発する音声に対して音声認識処理を行うステップと、
    前記音声認識処理に基づいて前記見守り対象者の感情に関する情報を作成する見守り処理を実行するステップと、を備える
    見守り方法。
  13. 見守り対象者の発する音声に対して音声認識処理を行い、前記音声認識処理に基づいて前記見守り対象者の感情に関する情報を作成する見守り処理を実行するように電子機器を機能させる
    プログラム。

JP2017170638A 2017-09-05 2017-09-05 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム Active JP7103769B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017170638A JP7103769B2 (ja) 2017-09-05 2017-09-05 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム
US16/643,781 US11410683B2 (en) 2017-09-05 2018-09-03 Electronic device, mobile terminal, communication system, monitoring method, and program
PCT/JP2018/032586 WO2019049821A1 (ja) 2017-09-05 2018-09-03 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017170638A JP7103769B2 (ja) 2017-09-05 2017-09-05 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019045769A true JP2019045769A (ja) 2019-03-22
JP7103769B2 JP7103769B2 (ja) 2022-07-20

Family

ID=65634299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017170638A Active JP7103769B2 (ja) 2017-09-05 2017-09-05 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム

Country Status (3)

Country Link
US (1) US11410683B2 (ja)
JP (1) JP7103769B2 (ja)
WO (1) WO2019049821A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179532A (zh) * 2019-11-19 2020-05-19 广东小天才科技有限公司 一种监控方法及监控设备
JP2022048889A (ja) * 2020-09-15 2022-03-28 横河電機株式会社 装置、システム、方法およびプログラム
JP2022149749A (ja) * 2021-03-25 2022-10-07 カシオ計算機株式会社 情報処理方法、情報処理システムおよびプログラム
JP2023501535A (ja) * 2020-01-20 2023-01-18 ワンダフル プラットフォーム リミテッド クレードルの駆動パターンを用いた支援システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6939718B2 (ja) * 2018-06-26 2021-09-22 日本電信電話株式会社 ネットワーク機器及びネットワーク機器の設定方法
CN117316191A (zh) * 2023-11-30 2023-12-29 天津科立尔科技有限公司 一种情绪监测分析方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178063A (ja) * 2004-12-21 2006-07-06 Toyota Central Res & Dev Lab Inc 対話処理装置
JP2013072979A (ja) * 2011-09-27 2013-04-22 Fuji Xerox Co Ltd 音声解析システムおよび音声解析装置
WO2015037073A1 (ja) * 2013-09-11 2015-03-19 株式会社日立製作所 音声検索システム、音声検索方法、及びコンピュータ読み取り可能な記憶媒体
JP2015109040A (ja) * 2013-12-05 2015-06-11 富士通テレコムネットワークス株式会社 緊急通報装置および緊急通報システム
JP2015184597A (ja) * 2014-03-25 2015-10-22 国立大学法人埼玉大学 コミュニケーション支援ロボットシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283647A (ja) * 2004-03-26 2005-10-13 Matsushita Electric Ind Co Ltd 感情認識装置
CN101112078B (zh) * 2005-02-08 2012-04-18 日本电信电话株式会社 信息通信终端、信息通信***、信息通信方法、信息通信程序及存储该程序的记录媒体
CA2611259C (en) * 2005-06-09 2016-03-22 A.G.I. Inc. Speech analyzer detecting pitch frequency, speech analyzing method, and speech analyzing program
JP2007033754A (ja) * 2005-07-26 2007-02-08 Nec Corp 音声監視システムと方法並びにプログラム
US8140325B2 (en) * 2007-01-04 2012-03-20 International Business Machines Corporation Systems and methods for intelligent control of microphones for speech recognition applications
JP5834449B2 (ja) 2010-04-22 2015-12-24 富士通株式会社 発話状態検出装置、発話状態検出プログラムおよび発話状態検出方法
JP2015142221A (ja) 2014-01-28 2015-08-03 セントラル警備保障株式会社 携帯端末のコミュニケーション支援システム
KR102302871B1 (ko) * 2014-09-05 2021-09-16 삼성전자주식회사 사용자의 생체신호를 모니터링 및 분석하는 장치 및 방법
CN105744090A (zh) * 2014-12-09 2016-07-06 阿里巴巴集团控股有限公司 语音信息处理方法及装置
CN204425391U (zh) * 2014-12-11 2015-06-24 上海元趣信息技术有限公司 互动***及客户端
US20170046496A1 (en) * 2015-08-10 2017-02-16 Social Health Innovations, Inc. Methods for tracking and responding to mental health changes in a user
CN105334743B (zh) * 2015-11-18 2018-10-26 深圳创维－Rgb电子有限公司 一种基于情感识别的智能家居控制方法及其***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178063A (ja) * 2004-12-21 2006-07-06 Toyota Central Res & Dev Lab Inc 対話処理装置
JP2013072979A (ja) * 2011-09-27 2013-04-22 Fuji Xerox Co Ltd 音声解析システムおよび音声解析装置
WO2015037073A1 (ja) * 2013-09-11 2015-03-19 株式会社日立製作所 音声検索システム、音声検索方法、及びコンピュータ読み取り可能な記憶媒体
JP2015109040A (ja) * 2013-12-05 2015-06-11 富士通テレコムネットワークス株式会社 緊急通報装置および緊急通報システム
JP2015184597A (ja) * 2014-03-25 2015-10-22 国立大学法人埼玉大学 コミュニケーション支援ロボットシステム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179532A (zh) * 2019-11-19 2020-05-19 广东小天才科技有限公司 一种监控方法及监控设备
JP2023501535A (ja) * 2020-01-20 2023-01-18 ワンダフル プラットフォーム リミテッド クレードルの駆動パターンを用いた支援システム
JP7395214B2 (ja) 2020-01-20 2023-12-11 ワンダフル プラットフォーム リミテッド クレードルの駆動パターンを用いた支援システム
JP2022048889A (ja) * 2020-09-15 2022-03-28 横河電機株式会社 装置、システム、方法およびプログラム
JP7371595B2 (ja) 2020-09-15 2023-10-31 横河電機株式会社 装置、システム、方法およびプログラム
JP2022149749A (ja) * 2021-03-25 2022-10-07 カシオ計算機株式会社 情報処理方法、情報処理システムおよびプログラム
JP7322916B2 (ja) 2021-03-25 2023-08-08 カシオ計算機株式会社 情報処理方法、情報処理システムおよびプログラム

Also Published As

Publication number Publication date
JP7103769B2 (ja) 2022-07-20
US20200202888A1 (en) 2020-06-25
WO2019049821A1 (ja) 2019-03-14
US11410683B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
JP7103769B2 (ja) 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム
CN110826358B (zh) 动物情绪的识别方法、装置及存储介质
US20180285641A1 (en) Electronic device and operation method thereof
CN110288987A (zh) 用于处理声音数据的***和控制该***的方法
CN105721667A (zh) 移动终端及其控制方法
US20220277752A1 (en) Voice interaction method and related apparatus
CN108833262B (zh) 会话处理方法、装置、终端及存储介质
CN108683850B (zh) 一种拍摄提示方法及移动终端
US20200410980A1 (en) Interactive electronic apparatus, communication system, method, and program
JP2015002477A (ja) 情報処理装置、情報処理システムおよび情報処理方法
KR20180113503A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US9813546B2 (en) Electronic apparatus and method for controlling electronic apparatus
US20200211548A1 (en) Charging stand, mobile terminal, communication system, method, and program
JP6974073B2 (ja) 電子機器、充電台、コミュニケーションシステム、方法、およびプログラム
WO2019159384A1 (ja) Ｗｉ－Ｆｉドアベルの設定方法、ドアベル、集合住宅コミュニケーションシステム、及び気象情報提供システム
JP6942557B2 (ja) 対話型電子機器、コミュニケーションシステム、方法、およびプログラム
CN105608469A (zh) 图像分辨率的确定方法及装置
JP6974058B2 (ja) 充電台、コミュニケーションシステム、方法およびプログラム
CN115203573A (zh) 画像标签生成方法、模型训练方法、装置、介质及芯片
JP5579565B2 (ja) インターホン装置
JP6971088B2 (ja) 対話型電子機器、コミュニケーションシステム、方法、およびプログラム
JP2019140655A (ja) ドアベル
JP2021064947A (ja) 携帯端末およびプログラム
JP2010062797A (ja) インターホンシステム
JP6883485B2 (ja) 携帯端末およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220707

R150 Certificate of patent or registration of utility model

Ref document number: 7103769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150