CN118251615A - 推测方法、推测***和程序 - Google Patents

推测方法、推测***和程序 Download PDF

Info

Publication number
CN118251615A
CN118251615A CN202280075439.3A CN202280075439A CN118251615A CN 118251615 A CN118251615 A CN 118251615A CN 202280075439 A CN202280075439 A CN 202280075439A CN 118251615 A CN118251615 A CN 118251615A
Authority
CN
China
Prior art keywords
information
sound
living body
action
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280075439.3A
Other languages
English (en)
Inventor
谷川理佐子
石井育规
小塚和纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN118251615A publication Critical patent/CN118251615A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Operations Research (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Acoustics & Sound (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

推测方法包括：取得设施(9)内的与基于不可听频带的发信音而反射的反射音相关的第一声音信息(Is1)的步骤；以及通过对使用与该反射音相关的声音信息(Ls)和表示存在生命体的生命体区域的图像(Lm)进行了学习的第一已学习模型(M1)输入上述步骤中取得的第一声音信息(Is1)，输出表示生命体区域的图像信息(Ii)的步骤。

Description

推测方法、推测***和程序
技术领域
本公开涉及推测生命体的推测方法、推测***和程序。
背景技术
以往，已知有推测设施内的人的行动的装置。作为这种装置的一例，专利文献1公开了一种住宅内安全装置，该住宅内安全装置基于从对住宅内的状态进行拍摄的相机、检测住宅内的人的身体活动的红外线传感器、以及检测住宅内的周围声音的麦克风所得到的信息，来推测人的行动。
现有技术文献
专利文献
专利文献1：日本特开2005-309965号公报
发明内容
发明要解决的问题
本公开提供了一种保护隐私并且即使在生命体没有发出声音的情况下也能够推测生命体的推测方法等。
用于解决问题的手段
本公开的一个方式的推测方法是推测设施内的生命体的推测方法，包括：第一声音信息取得步骤，取得与基于所述设施内的不可听频带的发信音而反射的反射音相关的第一声音信息；生命体区域推测步骤，通过对第一已学习模型输入所述第一声音信息取得步骤中取得的所述第一声音信息，输出表示所述生命体区域的图像信息，所述第一已学习模型是使用与所述反射音相关的声音信息和表示存在所述生命体的生命体区域的图像进行了学习的模型。
本公开的一个方式的推测***是推测设施内的生命体的推测***，具备：第一声音信息取得部，取得与基于所述设施内的不可听频带的发信音而反射的反射音相关的第一声音信息；生命体区域推测部，通过对第一已学习模型输入所述第一声音信息取得步骤中取得的所述第一声音信息，输出表示所述生命体区域的图像信息，所述第一已学习模型是使用与所述反射音相关的声音信息和表示存在所述生命体的生命体区域的图像进行了学习的模型。
本公开的一个方式的程序使计算机执行上述推测方法。
另外，本公开的总体的或具体的方式可以通过***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过***、方法、集成电路、计算机程序和记录介质的任意组合来实现。
发明的效果
保护隐私并且即使在生命体没有发出声音的情况下也能够推测生命体。
附图说明
图1是表示实施方式1的推测***的图。
图2是表示成为行动推测的对象的人所利用的设施的一例的图。
图3是表示实施方式1的推测***以及推测***所具备的行动推测装置的功能结构的框图。
图4是表示由行动推测装置的第一声音信息取得部取得的第一声音信息的一例的图。
图5是表示由第一声音信息取得部取得的第一声音信息的另一例的图。
图6是表示在行动推测装置的生命体区域推测部中使用的第一已学习模型的图。
图7是表示用于生成第一已学习模型的输入数据和训练数据的图。
图8是表示在生命体区域推测部中，输入到第一已学习模型的第一声音信息和从第一已学习模型输出的图像信息的一例的图。
图9是表示在行动推测装置的生命体行动推测部中使用的第二已学习模型的图。
图10是表示用于生成第二已学习模型的输入数据和训练数据的图。
图11是表示在生命体行动推测部中，输入到第二已学习模型的图像信息和从第二已学习模型输出的行动信息的一例的图。
图12是表示推测***的信息终端所显示的画面的一例的图。
图13是表示实施方式1的推测方法的流程图。
图14是表示实施方式1的变形例1的推测方法的流程图。
图15是表示实施方式1的变形例2的推测方法的流程图。
图16A是表示在实施方式1的变形例2中，信息终端所显示的画面的一例的图。
图16B是表示在实施方式1的变形例2中，信息终端所显示的画面的另一例的图。
图17是表示实施方式1的变形例3的推测方法的流程图。
图18是表示实施方式2的推测***以及推测***所具备的行动推测装置的功能结构的框图。
图19是表示由行动推测装置的第二声音信息取得部取得的第二声音信息的一例的图。
图20是表示在行动推测装置的使用设备推测部中使用的第三已学习模型的图。
图21是表示用于生成第三已学习模型的输入数据和训练数据的图。
图22是表示在使用设备推测部中，输入到第三已学习模型的第二声音信息和从第三已学习模型输出的设备信息的一例的图。
图23是表示推测***的信息终端所显示的画面的一例的图。
图24是表示实施方式2的推测方法的流程图。
图25是表示实施方式2的变形例1的推测方法的流程图。
图26是表示实施方式2的变形例2的推测方法的流程图。
图27是表示实施方式2的变形例3的推测方法的流程图。
图28是表示实施方式3的推测***以及推测***所具备的行动推测装置的功能结构的框图。
图29是表示推测***的信息终端所显示的画面的一例的图。
图30是表示实施方式3的推测方法的流程图。
图31是表示实施方式3的变形例1的推测方法的流程图。
图32是表示在实施方式3的变形例1中使用的第四已学习模型的图。
图33是表示用于生成第四已学习模型的输入数据和训练数据的图。
图34是表示在详细行动输出部中，输入到第四已学习模型的设备信息和行动信息以及从第四已学习模型输出的详细行动信息的一例的图。
图35是表示实施方式4的推测***的功能结构的框图。
具体实施方式
最近，正在进行基于由传感器检测到的信息来推测人的行动并提供与人的移动相匹配的服务。作为传感器例如可使用相机，但若是使用相机来拍摄人，则会产生侵犯隐私的问题。另外，也有检测设施内的声音并基于检测到的声音来推测人的行动的方法，但在该方法中，在人不发出声音的时候难以推测人的行动。针对这些课题，本公开提供了一种保护隐私并且即使在人等生命体不发出声音的情况下也能够推测生命体的推测方法和推测***等。
本公开的一个方式的推测方法是推测设施内的生命体的推测方法，包括：第一声音信息取得步骤，取得与基于所述设施内的不可听频带的发信音而反射的反射音相关的第一声音信息；生命体区域推测步骤，通过对第一已学习模型输入所述第一声音信息取得步骤中取得的所述第一声音信息，输出表示所述生命体区域的图像信息，所述第一已学习模型是使用与所述反射音相关的声音信息和表示存在所述生命体的生命体区域的图像进行了学习的模型。
在该推测方法中，由于根据与基于不可听频带的发信音而反射的反射音相关的第一声音信息来输出表示生命体区域的图像信息，因此通过参照输出的图像信息，能够在保护隐私的同时掌握生命体信息。此外，在该推测方法中，由于根据基于发信音而反射的反射音来输出表示生命体区域的图像信息，因此即使当生命体没有发出声音时也能够推测生命体的状况。
此外，也可以是，推测方法还包括生命体行动推测步骤，所述生命体行动推测步骤通过对第二已学习模型输入所述生命体区域推测步骤中输出的所述图像信息，输出表示所述设施内的所述生命体的行动的行动信息，所述第二已学习模型是使用表示所述生命体区域的图像信息和表示所述生命体的行动的行动信息进行了学习的模型。
由此，由于基于图像信息输出生命体的行动信息，因此能够在保护隐私的同时推测生命体的行动。此外，由于基于图像信息输出生命体的行动信息，因此即使当生命体没有发出声音时也能够推测生命体的行动。
此外，也可以是，所述第一声音信息包含所述反射音的信号波形和表示所述反射音的到来方向的图像中的至少一个。
由此，能够在第一声音信息取得步骤中容易地生成第一声音信息。因此，能够容易地输出基于第一声音信息的表示生命体区域的图像信息，并容易地输出基于图像信息的信息。由此，能够容易地推测生命体。
此外，也可以是，在所述生命体行动推测步骤中对所述第二已学习模型输入的所述图像信息包含多张图像帧。
由此，能够增加对第二已学习模型输入的图像信息的信息量。因此，能够提高从第二已学习模型输出的行动信息的准确性。由此，能够提高推测生命体的行动时的推测精度。
此外，也可以是，在所述生命体行动推测步骤中，基于所述多张图像帧中的在时间顺序上处于前后的两个图像帧的所述生命体区域的像素数的差值，决定对所述第二已学习模型输入的所述图像帧的张数。
由此，能够使对第二已学习模型输入的图像信息成为适当的数据量。由此，能够使得在第二已学习模型中处理的数据量适当，并减少为了推测生命体的行动所需的数据处理量。
此外，也可以是，推测方法还包括帧选择步骤，所述帧选择步骤在所述生命体行动推测步骤中输出的所述行动信息与所述第二已学习模型学习时使用的所述行动信息不一致的情况下，从所述多张图像帧中选择对所述第二已学习模型重新输入的图像帧；所述帧选择步骤选择所述多张图像帧中的在时间顺序上处于前后的两个图像帧的所述生命体区域的像素数的差值小于规定的阈值的两个以上的图像帧，所述生命体行动推测步骤通过对所述第二已学习模型重新输入所述帧选择步骤中选择的所述两个以上的图像帧，输出与该重新输入相应的所述行动信息。
由此，例如，即使在对第二已学习模型输入的图像帧包含噪声的情况下，也能够排除包含噪声的图像帧，输出生命体的行动信息。由此，能够提高推测生命体的行动时的推测精度。
此外，也可以是，推测方法还包括第一通知步骤，所述第一通知步骤通知所述生命体行动推测步骤中输出的所述行动信息。
由此，能够将生命体的行动信息通知到外部。
此外，也可以是，推测方法还包括显示步骤，所述显示步骤显示所述第一通知步骤中通知的所述行动信息。
由此，能够使生命体的行动可视化并进行通知。
此外，也可以是，在所述行动信息中包含的行动是异常行动的情况下，所述第一通知步骤还通知所述生命体区域推测步骤中输出的所述图像信息。
这样，通过在生命体的行动异常时通知图像信息，能够将生命体的行动具体地通知到外部。由此，能够照看生命体的行动。
此外，也可以是，所述异常行动包括跌倒、跌落、行走困难、烧伤和误吞中的至少一个。
由此，当行动信息中包含跌倒、跌落、行走困难、烧伤和误吞等行动时，能够将生命体的行动具体地通知到外部。由此，能够照看生命体的行动。
另外，也可以是，推测方法还包括：第二声音信息取得步骤，从所述设施内的环境音中取得与除了所述反射音之外的环境音相关的第二声音信息；以及使用设备推测步骤，通过对第三已学习模型输入所述第二声音信息取得步骤中取得的所述第二声音信息，输出表示在所述设施内正在被使用的设备的设备信息，所述第三已学习模型是使用与除了该反射音之外的环境音相关的声音信息和表示可以在所述设施内使用的设备的设备信息进行了学习的模型。
在该推测方法中，由于基于与除了反射音之外的环境音相关的第二声音信息输出设备信息，因此能够在保护隐私的同时推测在设施内正在被使用的设备，并且推测生命体的行动。
此外，也可以是，所述第二声音信息包含表示所述环境音的频率和功率的频谱图像。
由此，在第二声音信息取得步骤中能够容易地生成第二声音信息。由此，能够容易地输出基于第二声音信息的设备信息，并且容易地推测在设施内正在被使用的设备。
此外，也可以是，推测方法还包括：异常有无判断步骤，基于所述生命体行动推测步骤中输出的所述行动信息和所述使用设备推测步骤中输出的所述设备信息，判断所述生命体的行动有无异常；以及第二通知步骤，在所述异常有无判断步骤中判断为所述生命体的行动异常的情况下，通知所述行动信息和所述设备信息。
这样，通过基于行动信息和设备信息来判断生命体的行动有无异常，能够提高生命体的行动有无异常的判断精度。此外，在生命体的行动异常的情况下，能够将生命体的行动信息通知到外部。
此外，也可以是，所述第二通知步骤在所述异常有无判断步骤中判断为所述生命体的行动异常的情况下，还通知所述生命体区域推测步骤中输出的所述图像信息。
这样，通过在行动异常时通知图像信息，能够将生命体的行动具体地通知到外部。由此，能够照看生命体的行动。
此外，也可以是，所述第二声音信息包含与除了所述反射音之外的环境音的到来方向相关的信息，所述第三已学习模型通过使用包含与除了所述反射音之外的环境音的到来方向相关的信息的声音信息、以及表示可以在所述设施内使用的设备的设备信息进行学习来生成。
这样，通过第二声音信息包含与除了反射音之外的环境音的到来方向相关的信息，能够提高推测在设施内正在被使用的设备时的推测精度。
此外，也可以是，推测方法还包括：存在有无判断步骤，在所述设备信息中包含的设备是通过所述生命体的持续操作而运行的设备的情况下，基于所述生命体区域推测步骤中输出的所述图像信息和所述第二声音信息取得步骤中取得的与所述环境音的到来方向相关的信息，判断有无在所述环境音的到来方向上的所述生命体的存在；第三通知步骤，在所述存在有无判断步骤中判断为不存在所述生命体的情况下，输出表示所述设备正在被异常使用的信息。
这样，通过判断在环境音的到来方向上有无生命体的存在，能够判断设备是否正在被异常使用。由此，能够推测包含了设备是否正在被异常使用的生命体的行动。此外，在设备正在被异常使用的情况下，能够将表示设备正在被异常使用的信息通知到外部。
另外，也可以是，推测方法还包括详细行动输出步骤，所述详细行动输出步骤基于所述使用设备推测步骤中输出的所述设备信息和所述生命体行动推测步骤中输出的所述行动信息，输出将所述行动信息中包含的行动进一步细分化后的信息即详细行动信息。
这样，通过使用行动信息和设备信息来推测生命体的行动，能够推测生命体的详细行动。
另外，也可以是，所述详细行动输出步骤通过对第四已学习模型输入所述使用设备推测步骤中输出的所述设备信息和所述生命体行动推测步骤中输出的所述行动信息，输出所述详细行动信息，所述第四已学习模型是使用所述设备信息和所述行动信息以及所述详细行动信息进行了学习的模型。
这样，通过使用行动信息和设备信息来推测生命体的行动，能够推测生命体的详细行动。
本实施方式的推测***是推测设施内的生命体的推测***，具备：第一声音信息取得部，取得与基于所述设施内的不可听频带的发信音而反射的反射音相关的第一声音信息；生命体区域推测部，通过对第一已学习模型输入所述第一声音信息取得步骤中取得的所述第一声音信息，输出表示所述生命体区域的图像信息，所述第一已学习模型是使用与所述反射音相关的声音信息和表示存在所述生命体的生命体区域的图像进行了学习的模型。
在该推测***中，由于根据与基于不可听频带的发信音而反射的反射音相关的第一声音信息来输出表示生命体区域的图像信息，因此通过参照输出的图像信息，能够在保护隐私的同时掌握生命体信息。另外，在该推测***中，由于根据基于发信音而反射的反射音来输出表示生命体区域的图像信息，因此即使当生命体没有发出声音时也能够推测生命体的状况。
此外，也可以是，推测***还具备：超声波发信器，发出所述发信音；以及麦克风，接收所述反射音。
根据该结构，通过第一声音信息取得部能够容易地取得第一声音信息。因此，能够容易地输出基于第一声音信息的表示生命体区域的图像信息，并且容易地输出基于图像信息的生命体的信息。由此，能够容易地推测生命体。
本实施方式的程序是用于使计算机执行上述推测方法的程序。
根据该程序，能够提供一种保护隐私并且即使在生命体没有发出声音的情况下也推测生命体的推测方法。
以下，参照附图具体说明本公开的一个方式的推测方法和推测***等。
此外，在下文中说明的实施方式均为本公开的一个具体例。以下实施方式中所示的数值、形状、材料、构成要素、构成要素的配置位置和连接形式、步骤、步骤的顺序等均为一例，其主旨并非限制本公开。另外，在以下的实施方式的构成要素中，将表示最上位概念的独立技术方案中未记载的构成要素记载为任意的构成要素。
(实施方式1)
[1.1推测***的结构]
参照图1至图12说明实施方式1的推测***。
图1是表示实施方式1的推测***1的图。
实施方式1的推测***1是推测设施9内的人的行动的***。通过推测人的行动，例如能够照看利用设施9的人的行动或者对人的健康进行管理。
设施9是供人利用的建筑物，例如住宅、公寓、病房、护理设施、以及住宿设施等。设施9的内部设置有房间、楼层、以及大厅等利用空间。在设施9内存在利用设施9的人以及宠物等动物。在本实施方式中，将人和动物包括在内称为生命体。此外，作为本实施方式中的行动推测的对象体的生命体不限于一个生命体，可以是多个生命体。在下文中，说明生命体是单个人，推测单个人类的行动的例子。
由该***推测的人的行动分为正常行动和异常行动。正常行动是指例如行走、睡觉、烹调、打扫、吃饭、看电视以及工作等日常行动或没有问题时的行动。异常行动是指例如跌倒、跌落、行走困难、烧伤以及误吞等突然的行动或发生错误时引起的行动。
图2是表示成为行动推测的对象的人所利用的设施9的一例的图。
在图2的设施9内配置有洗衣机、电动牙刷等设备。另外，作为配置在设施9内的设备，可以是如洗衣机、微波炉、冰箱、洗碗机等之类的自动化的电气设备，也可以是如电动牙刷、电动剃须刀、吹风机、烹饪加热器等那样的由于人的持续操作而运行的电器设备。从这些设备输出与各设备的使用状况相应的各种环境音。关于环境音将在后述的其他实施方式中说明。
图3是表示推测***1以及推测***1所具备的行动推测装置4的功能结构的框图。
推测***1具备超声波发信器2、麦克风3和行动推测装置4。另外，推测***1还具备管理装置6和信息终端7。
管理装置6设置在设施9的外部，经由信息通信网络与行动推测装置4通信连接。管理装置6例如是计算机，设置于进行安全管理的管理公司的建筑物中。管理装置6是用于确认利用设施9的人的安全的装置，向管理装置6通知表示由行动推测装置4推测出的人的行动的行动信息。
信息终端7经由信息通信网络与行动推测装置4通信连接。信息终端7例如是能够由人携带的智能手机或平板终端。将由行动推测装置4得到的各种信息发送至信息终端7，信息终端7显示从行动推测装置4发送的各种信息。信息终端7的持有者可以是利用设施9的人本身，也可以是利用设施9的人的护理者或监护人等不产生隐私方面的问题的人。
超声波发信器2是发射超声波作为发信音的超声波声纳。超声波发信器2例如发射频率为20kHz以上且100kHz以下的声波。从超声波发信器2发射的声音的信号波形可以是突发波，也可以是线性调频波。在本实施方式中，从超声波发信器2连续地输出例如以50ms为1个周期的突发波的声音。
超声波发信器2例如设置在设施9的墙壁上，向室内整个区域发射超声波。此外，在处于推测推测***1中人的行动的设定模式的情况下，超声波发信器2始终发射超声波。从超声波发信器2发射的发信音被处于室内的人反射，成为反射音被麦克风3收集。
麦克风3设置在设施9的墙壁上，接收(收集)上述的反射音。例如，麦克风3设置在与设置有超声波发信器2的墙壁相同的墙壁上。麦克风3例如是由三个以上的MEMS麦克风构成的麦克风阵列。在麦克风3的数量为三个的情况下，各麦克风3配置在三角形的各顶点的位置。为了容易地检测设施9内的铅垂方向及水平方向的反射音，可以沿着铅垂方向配置四个以上的麦克风3，并沿着水平方向配置另外四个以上的麦克风3。麦克风3通过接收反射音来生成接收音信号，并将接收音信号输出至行动推测装置4。
这样，在本实施方式中，由于使用超声波进行感测，因此能够检测人的头部、手臂、腿、躯干等的轮廓，但无法像相机那样识别人脸等。因此，能够进行考虑了隐私的感测。另外，在本实施方式中，基于超声波的发射来进行使用反射的反射音的主动感测，因此即使人停止说话时或不发出声音地移动时也能够感测到人。因此，即使在人没有发出声音时，也能够推测人的行动。以下，对行动推测装置4的结构进行说明。
行动推测装置4设置于设施9的墙壁、地板或天花板。另外，行动推测装置4不限于设置在设施9内，也可以设置在设施9的外部。
如图3所示，行动推测装置4具备数据处理部5，该数据处理部5具有第一声音信息取得部11、生命体区域推测部20、生命体行动推测部30和判断部40。另外，行动推测装置4还具备通信部80和存储器90。行动推测装置4由具有处理器等的计算机构成。上述的行动推测装置4的各个构成要素例如也可以是通过处理器执行记录在存储器90中的程序而实现的软件功能。
存储器90存放有用于在数据处理部5中进行数据处理的程序。另外，存储器90存储有以推测人的行动为目的而使用的第一已学习模型M1和第二已学习模型M2。已学习模型例如由输入层、中间层(隐藏层)和输出层构成。
第一声音信息取得部11取得设施9内的与基于不可听频带的发信音而反射的反射音相关的第一声音信息Is1。例如，第一声音信息取得部11通过对从麦克风3输出的接收音信号进行各种数据处理来生成第一声音信息Is1。具体而言，第一声音信息取得部11按每个周期将接收音信号划分为信号波形并取出，另外，第一声音信息取得部11从接收音信号提取发信音的频带的声音的信号。通过使用高通滤波器或带阻滤波器对接收音信号进行滤波(去除可听频带)来提取发信音的频带的声音的信号。
发信音的频带的声音是超声波发信器2的频带(20kHz以上且100kHz以下)，不包括声音频带。这样，在本实施方式中，由第一声音信息取得部11取得与不可听频带的声音相关的信息。通过取得与不可听频带的声音相关的信息，不收集与人的说话声相关的信息，从而能够保护设施9内的人的隐私。
图4是表示由行动推测装置4的第一声音信息取得部11取得的第一声音信息Is1的一例的图。
图4示出了突发波的信号波形。该图示出了由超声波发信器2发射的发信音的直达波和被人反射的反射音的反射波。另外，由于反射波的振幅比直达波的振幅小，因此在该图中将反射波的振幅放大来表示。信号波形的横轴是时间，纵轴是振幅。
图5是表示由第一声音信息取得部11取得的第一声音信息Is1的另一例的图。
在图5中，以黑白的深浅示出了表示反射音的到来方向的图像。该图中的白色区域为存在反射音的区域，黑色区域为不存在反射音的区域。通过对使用多个麦克风3接收到的接收音信号进行延迟和波束成形来生成表示反射音的到来方向的图像。该图像的横轴和纵轴分别是规定的利用空间的水平方向的位置坐标和铅垂方向的位置坐标，但是如果输入到学习模型的多个图像的比例尺相同，则不一定需要坐标轴和刻度。在下文中，说明使用表示反射音的到来方向的图像作为第一声音信息Is1的例子。
由第一声音信息取得部11取得的第一声音信息Is1输出到生命体区域推测部20。
生命体区域推测部20推测作为人等生命体存在的区域的生命体区域。具体地，生命体区域推测部20通过对第一已学习模型M1输入从第一声音信息取得部11输出的第一声音信息Is1，输出表示生命体区域的图像信息Ii。
图6是表示在行动推测装置4的生命体区域推测部20中使用的第一已学习模型M1的图。
图6所示的第一已学习模型M1是使用与反射音相关的学习用的声音信息Ls和表示人所存在的生命体区域的学习用的图像Lm进行了学习的推理模型。第一已学习模型M1由与行动推测装置4不同的其他计算机预先生成。另外，还预先制作用于生成第一已学习模型M1的输入数据和训练数据。
图7是表示用于生成第一已学习模型M1的输入数据和训练数据的图。图7示出了人在改变方向的同时行走时的学习用的声音信息Ls和学习用的图像Lm。
表示反射音的到来方向的图像被用作作为输入数据的学***方向双方的方向)的信息的学习模型。
这样，通过使用学习用的声音信息Ls和学习用的图像Lm进行机器学习来生成第一已学习模型M1。预先生成的第一已学习模型M1保存于存储器90。
生命体区域推测部20通过对如上所述生成的第一已学习模型M1输入由第一声音信息取得部11取得的第一声音信息Is1，输出表示生命体区域的图像信息Ii。图像信息Ii是表示人所存在的位置、人的形状和大小的信息，人在图像中占据的区域由图像中的各像素的明度(亮度)等来表示。
图8是表示在生命体区域推测部20中输入到第一已学习模型M1的第一声音信息Is1和从第一已学习模型M1输出的图像信息Ii的一例的图。
输入到第一已学习模型M1的第一声音信息Is1例如是如图8所示的表示反射音的到来方向的图像。该第一声音信息Is1在用位置坐标来表现反射音的到来方向这方面与学习用的声音信息Ls是相同种类的信息。
如图8所示，从第一已学习模型M1输出的图像信息Ii是表示推测为人所存在的生命体区域的图像。在图像信息Ii中，推测为存在人的生命体区域以白色示出，推测为不存在人的区域以黑色示出。图像信息Ii在表示生命体区域的图像这方面与学习用的图像Lm相同，但是人的轮廓不如学习用的图像Lm中那样鲜明。即，图像信息Ii不具有能够足以识别个人的信息。
这样，生命体区域推测部20基于第一声音信息Is1输出表示生命体区域的图像信息Ii。作为生命体区域推测部20的输出的图像信息Ii向生命体行动推测部30输出。此外，如果第一已学习模型M1是包含直达波和反射波的时间差数据进行了学习的模型，则可以对第一已学习模型M1输入包含直达波和反射波的时间差数据的第一声音信息Is1，并输出包含直达波和反射波的时间差数据而推理出的图像信息Ii。
生命体行动推测部30推测人等生命体的行动。具体地，生命体行动推测部30通过对第二已学习模型M2输入从生命体区域推测部20输出的图像信息Ii，输出表示人的行动的行动信息Ia。
图9是表示在行动推测装置4的生命体行动推测部30中使用的第二已学习模型M2的图。
图9所示的第二已学习模型M2是使用表示人的生命体区域的学习用的图像信息Li和表示人的行动的学习用的行动信息La进行了学习的推理模型。第二已学习模型M2由与行动推测装置4不同的其他计算机预先生成。另外，还预先制作用于生成第二已学习模型M2的输入数据和训练数据。
图10是表示用于生成第二已学习模型M2的输入数据和训练数据的图。图10示出了人改变方向的同时行走时的学习用的图像信息Li和学习用的行动信息La。
由生命体区域推测部20得到的图像信息Ii被用作作为输入数据的学习用的图像信息Li。例如，学习用的图像信息Li是由多个图像帧构成的动画图像。作为训练数据的学习用的行动信息La是表示行走、睡觉、烹调、打扫、吃饭、看电视以及工作等正常行动以及跌倒、跌落、行走困难、烧伤以及误吞等异常行动的信息。
这样，通过使用学习用的图像信息Li和学习用的行动信息La进行机器学习来生成第二已学习模型M2。预先生成的第二已学习模型M2保存于存储器90。
生命体行动推测部30通过对如上所述生成的第二已学习模型M2输入从生命体区域推测部20输出的图像信息Ii，输出表示人的行动的行动信息Ia。
图11是表示生命体行动推测部30中输入到第二已学习模型M2的图像信息Ii以及从第二已学习模型M2输出的行动信息Ia的一例的图。
如图11所示，输入到第二已学习模型M2的图像信息Ii是表示推测为人所存在的生命体区域的图像。该图像信息Ii是由多张图像帧构成的动画图像。然而，图像信息Ii不限于动画图像，也可以是由一张图像帧构成的静止图像。图像信息Ii在用图像表现生命体区域这方面与学习用的图像信息Li是相同种类的信息。
如图11所示，从第二已学习模型M2输出的行动信息Ia是表示设施9内的人的行动的信息。该行动信息Ia是在用文字表现人的行动这方面与学习用的行动信息La是相同种类的信息。
这样，生命体行动推测部30基于表示生命体区域的图像信息Ii，输出设施9内的人的行动信息Ia。作为生命体行动推测部30的输出的行动信息Ia向判断部40、存储器90和通信部80输出。
判断部40基于从生命体行动推测部30输出的行动信息Ia来进行各种判断。判断部40进行的各种判断步骤将在后面的变形例等中说明。
通信部80是通信模块，经由信息通信网络与管理装置6以及信息终端7通信连接。信息通信网络可以是有线的也可以包括无线的。通信部80将数据处理部5内生成的图像信息Ii和行动信息Ia向管理装置6和信息终端7输出。此外，在数据处理部5内生成的行动信息Ia在存储器90作为履历保存。
图12是表示推测***1的信息终端7所显示的画面的一例的图。
在图12的信息终端7中，经由通信部80从存储器90读出的人的行动信息Ia按每个日期及按每个小时示出。通过在信息终端7上显示行动信息Ia，信息终端7的持有者能够确认设施9内的人的行动信息Ia。
这样，本实施方式的推测***1具备第一声音信息取得部11、生命体区域推测部20和生命体行动推测部30。第一声音信息取得部11取得设施9内的与基于不可听频带的发信音而反射的反射音相关的第一声音信息Is1。生命体区域推测部20通过对第一已学习模型M1输入第一声音信息Is1来输出表示生命体区域的图像信息Ii。生命体行动推测部30通过对第二已学习模型M2输入图像信息Ii，输出表示设施9内的人的行动的行动信息Ia。
在该推测***1中，由于根据与基于不可听频带的发信音而反射的反射音相关的第一声音信息来输出表示人的区域的图像信息Ii，并基于图像信息Ii来输出行动信息Ia，因此能够在保护隐私的同时推测人的行动。另外，在该推测***1中，根据基于发信音而反射的反射音来输出表示生命体区域的图像信息Ii，并且基于图像信息Ii输出行动信息Ia，因此即使在人不发出声音时也能够推测人的行动。
[1.2推测方法]
对实施方式1的推测方法进行说明。实施方式1的推测方法是推测设施9内的生命体的方法。
图13是表示实施方式1的推测方法的流程图。
实施方式1的推测方法包括第一声音信息取得步骤S11和生命体区域推测步骤S20。此外，该推测方法包括生命体行动推测步骤S30。在推测***1处于推测人的行动的设定模式的情况下，依次重复执行第一声音信息取得步骤S11、生命体区域推测步骤S20和生命体行动推测步骤S30。
另外，实施方式1的推测方法还包括通知步骤S80和显示步骤S90。根据需要执行通知步骤S80和显示步骤S90。以下说明各步骤。
在第一声音信息取得步骤S11中，由超声波发信器2向设施9内发射超声波，由麦克风3接收基于超声波的发信音而反射的反射音。然后，从接收到的声音中取得与反射音相关的第一声音信息Is1。第一声音信息Is1是包含如图4所示的声音的信号波形和如图5所示的表示声音的到来方向的图像中的至少一个的信息。此外，第一声音信息Is1不限于将声音图像化后的信息，也可以是音频数据。
在生命体区域推测步骤S20中，第一声音信息取得步骤S11中取得的第一声音信息Is1被输入到第一已学习模型M1，并将表示生命体区域的图像信息Ii从第一已学习模型M1输出。第一已学习模型M1是使用与基于不可听频带的发信音而反射的反射音相关的学习用的声音信息Ls和表示人所存在的生命体区域的学习用的图像Lm进行了学习的模型。通过该生命体区域推测步骤S20，推测设施9内人所存在的区域。
在生命体行动推测步骤S30中，生命体区域推测步骤S20中输出的图像信息Ii被输入到第二已学习模型M2，并从第二已学习模型M2输出表示设施9内的人的行动的行动信息Ia。第二已学习模型M2是使用表示生命体区域的学习用的图像信息Li和表示人的行动的学习用的行动信息La进行了学习的模型。
输入到第二已学习模型M2的图像信息Ii例如包含多张图像帧。在生命体行动推测步骤S30中，根据人的移动速度决定图像帧的张数。在该生命体行动推测步骤S30中，基于图像信息Ii中包含的多张图像帧中的在时间顺序上处于前后的两个图像帧的生命体区域的像素数的差值来决定对第二已学习模型M2输入的图像帧的张数。在时间顺序上处于前后的两个图像帧是当多张图像帧按时间顺序排列时相邻的图像帧。
具体的，将第一个图像帧的生命体区域的像素数与第二个图像的生命体区域的像素数进行比较，如果像素数的差值小于规定的值，则扩大时间间隔。例如，通常时每秒使用10张图像帧来进行推理，但是当像素数的差值接近0时，每秒使用5张图像帧来进行推理。另一方面，如果像素数的差值大于规定的值，则收窄时间间隔。例如，通常时每秒使用10张图像帧来进行推理，但如果像素数的差值较大，则每秒使用20张图像帧来进行推理。在本实施方式中，通过这样的生命体行动推测步骤S30的数据处理来推测设施9内的人的行动。
在通知步骤S80中，将生命体行动推测步骤S30中推测出的行动信息Ia向管理装置6或信息终端7输出。此外，在通知步骤S80中，可以输出包含过去履历的行动信息Ia。
在显示步骤S90中，在信息终端7上显示通知步骤S80中输出的行动信息Ia。
在该推测方法中，由于根据与基于不可听频带的发信音而反射的反射音相关的第一声音信息来输出表示生命体区域的图像信息Ii，并且基于图像信息Ii来输出行动信息Ia，因此能够在保护隐私的同时推测人的行动。另外，在该推测方法中，根据基于发信音而反射的反射音来输出表示生命体区域的图像信息Ii，并且基于图像信息Ii输出行动信息Ia，因此即使在人不发出声音时也能够推测人的行动。
[1.3实施方式1的变形例1]
说明实施方式1的变形例1。在该变形例中，说明例如生命体行动推测步骤S30中使用的图像帧中含有噪声而无法准确地推测人的行动的情况。
图14是表示实施方式1的变形例1的推测方法的流程图。
与实施方式1同样地，变形例1的推测方法包括第一声音信息取得步骤S11、生命体区域推测步骤S20、生命体行动推测步骤S30、通知步骤S80和显示步骤S90。另外，变形例1的推测方法在生命体行动推测步骤S30之后包括判断步骤S41和帧选择步骤S51。
在判断步骤S41中，判断生命体行动推测步骤S30中输出的行动信息Ia是否与学习第二已学习模型M2时使用的学习用的行动信息La一致。
在上述行动信息Ia与学习用的行动信息La一致的情况下(S41中的是)，视为能够准确地推测人的行动，前进至接下来的通知步骤S80。在上述行动信息Ia与学习用的行动信息La不一致的情况下(S41中的否)，视为不能推测人的行动。无法准确地推测人的行动的情况例如因图像帧中包含噪声时会引起。在这种情况下，排除包含噪声的图像帧，再次进行人的行动推测。具体地，在上述行动信息Ia与学习用的行动信息La不一致的情况下，执行帧选择步骤S51。
在帧选择步骤S51中，从生命体行动推测步骤S30中使用的多张图像帧中选择对第二已学习模型M2重新输入的图像帧。例如，在帧选择步骤S51中，选择多张图像帧中的两个以上的图像帧，所述两个以上的图像帧在时间顺序上处于前后的两个图像帧的生命体区域的像素数的差值小于规定的值。通过选择像素数的差值小于规定的阈值的图像帧，能够去除不具有连续性的图像帧即包含噪声的图像帧作为图像数据。
在生命体行动推测步骤S30中，帧选择步骤S51中选择的两个以上的图像帧被重新输入到第二已学习模型M2，并输出与该重新输入相应的行动信息Ia。
这样，即使在无法准确地推测人的行动的情况下，也能够通过排除成为无法推测的原因的图像帧并重新进行人的行动推测，来准确地推测人的行动。
此外，在多张图像帧中有很多包含噪声且没有应选择的图像帧的情况下，不进行向第二已学习模型M2重新输入图像帧，返回第一声音信息取得步骤S11，并执行接下来的处理。
[1.4实施方式1的变形例2]
说明实施方式1的变形例2。在该变形例中，对生命体行动推测步骤S30中输出的行动信息Ia的行动是异常行动的情况进行说明。
图15是表示实施方式1的变形例2的推测方法的流程图。
与实施方式1同样地，变形例2的推测方法包括第一声音信息取得步骤S11、生命体区域推测步骤S20和生命体行动推测步骤S30。另外，变形例2的推测方法在生命体行动推测步骤S30之后包括判断步骤S42和第一通知步骤S81。
在判断步骤S42中，判断生命体行动推测步骤S30中输出的行动信息Ia的行动是否是异常行动。异常行动例如是包括跌倒、跌落、行走困难、烧伤以及误吞中的至少一个的行动。异常行动包括例如生命体在0.05秒内移动0.5m以上等比日常移动速度快的移动，或者关节向与日常的关节活动不同的方向移动。
在判断为行动信息Ia的行动不是异常行动的情况下(S42中的否)，结束本流程中的处理。在判断为行动信息Ia的行动是异常行动的情况下(S42中的是)，执行第一通知步骤S81。
在第一通知步骤S81中，将生命体行动推测步骤S30中输出的行动信息Ia和生命体区域推测步骤S20中输出的图像信息Ii经由通信部80向管理装置6和信息终端7输出。
图16A是表示在实施方式1的变形例2中，信息终端7所显示的画面的一例的图。
图16A的信息终端7示出了人跌倒的状态。这样，信息终端7将经由通信部80输出的人的行动信息Ia和图像信息Ii通过实时(实况直播)来显示(显示步骤S90)。通过在信息终端7上显示行动信息Ia和图像信息Ii，信息终端7的持有者能够具体地确认设施9内的人的异常行动。另外，在管理装置6中，除了如行动信息Ia之类的文字信息以外，还能够取得图像信息Ii，因此能够具体地确认设施9内的人的异常行动。
图16B是表示在实施方式1的变形例2中信息终端所显示的画面的另一例的图。
图16B的信息终端7示出了狗和猫等宠物。如图16B所示，可以在信息终端7上实时显示宠物的行动信息Ia和图像信息Ii。信息终端7的持有者能够通过参照输出的图像信息来判别设施9内有无宠物或有无人。此外，通过在信息终端7上显示宠物的行动信息Ia和图像信息Ii，信息终端7的持有者能够具体地确认设施9内的宠物的异常行动。
[1.5实施方式1的变形例3]
说明实施方式1的变形例3。在该变形例中，说明使用推测方法的推测结果来进行健康管理的例子。
图17是表示实施方式1的变形例3的推测方法的流程图。
与实施方式1同样地，变形例3的推测方法包括第一声音信息取得步骤S11、生命体区域推测步骤S20和生命体行动推测步骤S30。另外，变形例3的推测方法在生命体行动推测步骤S30之后包括判断步骤S43。
在判断步骤S43中，判断生命体行动推测步骤S30中输出的行动信息Ia的行动是否是伴随运动的行动。伴随运动的行动是指例如行走、俯卧撑和仰卧起坐等与增强体力相关的行动。
在判断为行动信息Ia的行动不是伴随运动的行动的情况下(S43中的否)，结束该流程中的处理。在判断为行动信息Ia的行动是伴随运动的行动的情况下(S43中的是)，将包含时刻信息的运动履历保存于存储器90(保存步骤S55)。保存在存储器90中的运动履历经由通信部80显示在信息终端7上(显示步骤S90)。信息终端7的持有者能够基于所显示的运动履历，进行利用设施9的人的健康管理。
(实施方式2)
[2.1推测***的结构]
参照图18至图23说明实施方式2的推测***1A。在实施方式2中，说明使用环境音来推测在设施9内正在被使用的设备的例子。
图18是表示实施方式2的推测***1A以及推测***1A所具备的行动推测装置4A的功能结构的框图。
推测***1A具备超声波发信器2、麦克风3以及行动推测装置4A。另外，推测***1A具备管理装置6和信息终端7。超声波发信器2、管理装置6以及信息终端7的结构与实施方式1是同样的。
实施方式2的麦克风3不仅接收反射音，还接收环境音。
环境音包括设施9内设备发出的声音。环境音是例如冰箱、微波炉、洗碗器、洗衣机等自动化电器设备本身的声音、电器设备的操作输入音、以及开关门的声音。此外，环境音例如是电动牙刷、电动刮胡刀、吹风机、烹饪加热器等那样的由于人的持续操作而运行的电器设备本身的声音。从这些设备输出与各设备的使用状况相应的环境音。
此外，环境音包括以人为起因而发出的声音。在该***中想要接收到的环境音是例如人跌倒时的声音、跌落时的声音、表示行走困难的状态的声音、发生烧伤时的声音以及发生误吞时的声音那样的通常不会发生的异常声音。
如图18所示，行动推测装置4A具备数据处理部5，所述数据处理部5具有第一声音信息取得部11、生命体区域推测部20、生命体行动推测部30和判断部40。另外，行动推测装置4A具备通信部80和存储器90。第一声音信息取得部11、生命体区域推测部20和生命体行动推测部30的结构与实施方式1是同样的。
存储器90存放有用于在数据处理部5中进行数据处理的程序。另外，存储器90存储有以推测人的行动为目的而使用的第一已学习模型M1、第二已学习模型M2和后述的第三已学习模型M3。
实施方式2的行动推测装置4A还具备第二声音信息取得部12和使用设备推测部60。
第二声音信息取得部12从设施9内的环境音中取得与除了反射音之外的环境音相关的第二声音信息Is2。例如，第二声音信息取得部12通过对从麦克风3输出的接收音信号进行各种数据处理来生成第二声音信息Is2。具体地，第二声音信息取得部12从接收音信号中提取除了反射音之外的环境音的信号。
除了反射音之外的环境音不包括声音频带。这样，在本实施方式中，由第二声音信息取得部12取得与除了反射音之外的环境音相关的信息。通过取得与除了反射音之外的环境音相关的信息，不收集与人的说话声相关的信息，从而能够保护设施9内的人的隐私。
图19是表示由行动推测装置4A的第二声音信息取得部12取得的第二声音信息Is2的一例的图。
图19示出了表示声音的频率(kHz)和功率(dB/Hz)的频谱图像。图19是例如包括吸尘器的动作音的一分钟的声音信息。该图的横轴为时间，纵轴为频率，10kHz以下的频率被截止。在该图中，声音的功率通过颜色的深浅来表示，颜色越接近黑色，表示功率越高。此外，如果输入到后述的学习模型的多个图像的比例尺相同，则频谱图像不一定需要坐标轴和刻度。
由第二声音信息取得部12取得的第二声音信息Is2输出到使用设备推测部60。
使用设备推测部60推测在设施9内正在被使用的设备。具体地，使用设备推测部60通过对第三已学习模型M3输入从第二声音信息取得部12输出的第二声音信息Is2，输出表示在设施9内正在被使用的设备的设备信息Ie。
图20是表示在行动推测装置4A的使用设备推测部60中使用的第三已学习模型M3的图。
图20所示的第三已学习模型M3是使用与除了反射音之外的环境音相关的学习用的声音信息Ls、以及表示可以在设施9内使用的设备的学习用的设备信息Le进行了学习的推理模型。第三已学习模型M3由与行动推测装置4A不同的其他计算机预先生成。另外，还预先制作用于生成第三已学习模型M3的输入数据和训练数据。
图21是表示用于生成第三已学习模型M3的输入数据和训练数据的图。
频谱图像被用作作为输入数据的学习用的声音信息Ls。表示可以在设施9内使用的设备的信息被用作作为训练数据的学习用的设备信息Le。作为可以在设施9内使用的设备是例如洗衣机、微波炉、冰箱、洗碗机、电动牙刷、电动剃须刀、吹风机以及烹饪加热器等。
这样，通过使用学习用的声音信息Ls和学习用的设备信息Le进行机器学习来生成第三已学习模型M3。预先生成的第三已学习模型M3保存于存储器90。
使用设备推测部60通过对如上所述生成的第三已学习模型M3输入由第二声音信息取得部12取得的第二声音信息Is2，输出表示在设施9内正在被使用的设备的设备信息Ie。
图22是表示在使用设备推测部60中输入到第三已学习模型M3的第二声音信息Is2和从第三已学习模型M3输出的设备信息Ie的一例的图。
对第三已学习模型M3输入的第二声音信息Is2是频谱图像，如图21所示。该第二声音信息Is2在用频谱图表现环境音这方面与学习用的声音信息Ls是相同种类的信息。
如图21所示，从第三已学习模型M3输出的设备信息Ie是表示在设施9内正在被使用的设备的信息。该设备信息Ie在用文字表现正在被使用的设备这方面与学习用的设备信息Le是相同种类的信息。
这样，使用设备推测部60基于第二声音信息Is2输出表示在设施9内正在被使用的设备的设备信息Ie。作为使用设备推测部60的输出的设备信息Ie向判断部40、存储器90和通信部80输出。
判断部40基于从生命体行动推测部30输出的行动信息Ia和从使用设备推测部60输出的设备信息Ie来进行各种判断。
通信部80是通信模块，经由信息通信网络与管理装置6以及信息终端7通信连接。通信部80将在数据处理部5内生成的图像信息Ii、行动信息Ia以及设备信息Ie向管理装置6和信息终端7输出。此外，在数据处理部5内生成的行动信息Ia和设备信息Ie作为履历存储于存储器90。
图23是表示推测***1A的信息终端7所显示的画面的一例的图。
在图23的信息终端7中，经由通信部80从存储器90读出的行动信息Ia和设备信息Ie按每个日期及按每个小时示出。通过在信息终端7上显示行动信息Ia和设备信息Ie，信息终端7的持有者能够确认设施9内的行动信息Ia和设备信息Ie。
本实施方式的推测***1A具备第一声音信息取得部11、生命体区域推测部20、生命体行动推测部30、第二声音信息取得部12和使用设备推测部60。第二声音信息取得部12基于设施9内的环境音取得与除了反射音以外的环境音相关的第二声音信息Is2。使用设备推测部60通过对第三已学习模型M3输入第二声音信息Is2，输出表示在设施9内正在被使用的设备的设备信息Ie。
由于在该推测***1A中，基于与除了反射音之外的环境音相关的第二声音信息Is2来输出设备信息Ie，因此能够在保护隐私的同时推测在设施9内正在被使用的设备。
[2.2推测方法]
对实施方式2的推测方法进行说明。实施方式2的推测方法是推测设施9内的人的行动以及在设施9中正在被使用的设备的方法。
图24是表示实施方式2的推测方法的流程图。
与实施方式1同样地，实施方式2的推测方法包括第一声音信息取得步骤S11、生命体区域推测步骤S20和生命体行动推测步骤S30。此外，实施方式2的推测方法包括第二声音信息取得步骤S12、使用设备推测步骤S60、通知步骤S80和显示步骤S90。
在推测***1A为推测人的行动的设定模式的情况下，分别重复执行第一声音信息取得步骤S11、生命体区域推测步骤S20和生命体行动推测步骤S30、以及第二声音信息取得步骤S12和使用设备推测步骤S60。例如，第一声音信息取得步骤S11、生命体区域推测步骤S20和生命体行动推测步骤S30、以及第二声音信息取得步骤S12和使用设备推测步骤S60优选由计算机并行处理。
在第二声音信息取得步骤S12中，通过麦克风3接收设施9内的环境音。然后，从接收到的声音中取得与除了反射音之外的声音相关的第二声音信息Is2。第二声音信息Is2是包含表示如图19所示的声音的频率和功率的频谱图像的信息。此外，第二声音信息Is2不限于将声音图像化后的信息，也可以是音频数据。
在使用设备推测步骤S60中，对第三已学习模型M3输入第二声音信息取得步骤S12中取得的第二声音信息Is2，从第三已学习模型M3输出表示在设施9内正在被使用的设备的设备信息Ie。第三已学习模型M3是使用与除了反射音以外的环境音相关的学习用的声音信息Ls和可以在设施9内使用的学习用的设备信息Le进行了学习的模型。通过该使用设备推测步骤S60，推测在设施9内正在被使用的设备。
在通知步骤S80中，将生命体行动推测步骤S30中推测出的行动信息Ia和使用设备推测步骤S60中推测出的设备信息Ie向管理装置6或信息终端7输出。在通知步骤S80中，可以输出包含过去履历的行动信息Ia和设备信息Ie。
在显示步骤S90中，在信息终端7上显示通知步骤S80中输出的行动信息Ia和设备信息Ie。
在实施方式2的推测方法中，由于基于与除了反射音域以外的环境音相关的第二声音信息Is2输出设备信息Ie，因此能够在保护隐私的同时推测在设施9内正在被使用的设备。
[2.3实施方式2的变形例1]
说明实施方式2的变形例1。在该变形例中，说明使用设备信息Ie和行动信息Ia这两者的信息来判断人的行动是否异常的例子。
图25是表示实施方式2的变形例1的推测方法的流程图。
与实施方式2同样地，该变形例1的推测方法包括第一声音信息取得步骤S11、生命体区域推测步骤S20、生命体行动推测步骤S30、第二声音信息取得步骤S12和使用设备推测步骤S60。进一步地，该变形例1的推测方法在生命体行动推测步骤S30之后包括判断步骤S44和第二通知步骤S82。
在该变形例1的判断步骤S44中，基于生命体行动推测步骤S30中输出的行动信息Ia和使用设备推测步骤S60中输出的设备信息Ie，判断人的行动有无异常。例如，在推测为行动信息Ia的行动是跌倒等异常行动并且推测为设备信息Ie的设备是由于人的持续操作而运行的设备，该设备处于长时间工作的情况下，推测为人由于跌倒等理由而未能关闭设备的电源。在该变形例1中，由于使用行动信息Ia和设备信息Ie这两者的信息来判断人的行动是否异常，因此与仅基于行动信息Ia来判断人的行动的情况相比，能够提高判断结果的精度。
在判断步骤S44中判断为行动不是异常行动的情况下(S44中的否)，结束该流程中的处理。在判断步骤S44中判断为行动是异常行动的情况下(S44中的是)，执行第二通知步骤S82。
在第二通知步骤S82中，经由通信部80将行动信息Ia、设备信息Ie以及图像信息Ii向管理装置6和信息终端7输出。
信息终端7实时显示经由通信部80输出的人的行动信息Ia、设备信息Ie以及图像信息Ii(显示步骤S90)。通过在信息终端7上显示行动信息Ia、设备信息Ie以及图像信息Ii，信息终端7的持有者能够具体地确认设施9内的人的异常行动。另外，由于在管理装置6中，除了行动信息Ia以外，还能够取得设备信息Ie和图像信息Ii，因此能够具体地确认设施9内的人的异常行动。
[2.4实施方式2的变形例2]
说明实施方式2的变形例2。在该变形例中，说明使用与环境音的到来方向相关的信息来推测在设施9内正在被使用的设备的例子。
图26是表示实施方式2的变形例2的推测方法的流程图。
相对于实施方式2的推测方法，该变形例2的推测方法的第二声音信息取得步骤S12和使用设备推测步骤S60的处理稍有不同。
例如，在第二声音信息取得步骤S12中，与实施方式2的不同之处在于，第二声音信息Is2还包含与除了反射音之外的环境音的到来方向相关的信息。通过对使用多个麦克风3接收到的接收音信号进行延迟和波束成形，来取得与环境音的到来方向相关的信息。
另外，与实施方式2的不同之处在于，在使用设备推测步骤S60中，第三已学习模型M3使用包含与除了反射音之外的环境音的到来方向相关的信息的学习用的声音信息Ls、和表示可以在设施9内使用的设备的学习用的设备信息Le来进行学习。
这样，通过包含与环境音的到来方向相关的信息并推测在设施9内正在被使用的设备，能够提高设备信息Ie的精度。由此，例如，当基于行动信息Ia和设备信息Ie双方来推测人的行动时，能够提高推测精度。
[2.5实施方式2的变形例3]
对实施方式2的变形例3进行说明。在该变形例中，对判断设备的使用状态是否异常的例子进行说明。
图27是表示实施方式2的变形例3的推测方法的流程图。
与实施方式2的变形例2同样地，该变形例3的推测方法包括第一声音信息取得步骤S11、生命体区域推测步骤S20、第二声音信息取得步骤S12以及使用设备推测步骤S60。此外，该变形例3的推测方法包括两个判断步骤S45和S46以及第三通知步骤S83。
在第一个判断步骤S45中，判断设备信息Ie中包含的设备是否是由于人的持续操作而运行的设备。由于人的持续操作而运行的设备是指例如吹风机、电动剃须刀和电动牙刷等。
在判断步骤S45中判断为设备信息Ie中包含的设备不是由于人的持续操作而运行的设备的情况下(S45中的否)，与实施方式2的变形例2同样地，在生命体区域推测步骤S20之后执行生命体行动推测步骤S30。另一方面，在判断步骤S45中判断为设备信息Ie中包含的设备是由于人的持续操作而运行的设备的情况下(S45中的是)，执行第二个判断步骤S46。
在第二个判断步骤S46中，基于生命体区域推测步骤S20中输出的图像信息Ii和第二声音信息取得步骤S12中取得的与环境音的到来方向相关的信息，判断在环境音的到来方向上有无人的存在。
在判断步骤S46中判断为在环境音的到来方向上存在人的情况下(S46中的是)，由于设备的使用状态没有异常，与实施方式2的变形例2同样地，在生命体区域推测步骤S20之后执行生命体行动推测步骤S30。另一方面，在判断步骤S46中判断为在环境音的到来方向上不存在人的情况下(S46中的否)，视为设备的使用状态异常。例如，在由于人的持续操作而移动的吹风机正在工作但在该声音的到来方向上不存在人的情况下，可以认为吹风机的电源是接通的。在这种情况下，执行输出表示设备正在被异常使用的信息的第三通知步骤S83。
在第三通知步骤S83中，将行动信息Ia、设备信息Ie以及图像信息Ii经由通信部80向管理装置6和信息终端7输出。
在信息终端7上显示经由通信部80输出的行动信息Ia、设备信息Ie和图像信息Ii(显示步骤S90)。通过在信息终端7上显示行动信息Ia、设备信息Ie和图像信息Ii，信息终端7的持有者能够具体地确认设施9内的设备的使用状态是否异常。另外，由于在管理装置6中，除了行动信息Ia以外，还能够取得设备信息Ie和图像信息Ii，因此能够具体地确认设施9内的设备的使用状态是否异常。
(实施方式3)
[3.1推测***的结构]
参照图28和图29说明实施方式3的推测***1B。在实施方式3中，说明推测人的行动进一步细分化后的信息即人的详细行动的例子。
图28是表示实施方式3的推测***1B以及推测***1B所具备的行动推测装置4B的功能结构的框图。
与实施方式2同样地，推测***1B具备超声波发信器2、麦克风3、行动推测装置4B、管理装置6以及信息终端7。
与实施方式2同样地，行动推测装置4B具备数据处理部5，该数据处理部5具有第一声音信息取得部11、生命体区域推测部20、生命体行动推测部30、第二声音信息取得部12、使用设备推测部60以及判断部40。另外，行动推测装置4B还具备通信部80和存储器90。另外，实施方式3的行动推测装置4B具备详细行动输出部70。
详细行动输出部70基于由使用设备推测部60输出的设备信息Ie和由生命体行动推测部30输出的行动信息Ia来输出人的详细行动信息Iad。详细行动信息Iad是人的行动信息被进一步细分化后的信息。例如，在设备信息Ie的设备是微波炉并且行动信息Ia的行动是烹饪的情况下，详细行动输出部70输出设施9内的人正在使用微波炉进行加热烹调的详细行动信息Iad。详细行动输出部70的输出即详细行动信息Iad经由通信部80向信息终端7输出。
图29是表示推测***1B的信息终端7所显示的画面的一例的图。
图29的信息终端7显示设施9内的人“正在使用微波炉加热烹调食物”的信息。这样，在信息终端7上实时显示经由通信部80输出的详细行动信息Iad。通过在信息终端7上显示详细行动信息Iad，信息终端7的持有者能够更详细地确认设施9内的人的当前行动。
在实施方式3的推测***1B中，由于使用设备信息Ie和行动信息Ia这两者的信息来输出详细行动信息Iad，因此能够推测人的详细行动。
[3.2推测方法]
对实施方式3的推测方法进行说明。
图30是表示实施方式3的推测方法的流程图。
与实施方式2同样地，实施方式3的推测方法包括第一声音信息取得步骤S11、生命体区域推测步骤S20、生命体行动推测步骤S30、第二声音信息取得步骤S12和使用设备推测步骤S60。此外，实施方式3的推测方法包括详细行动输出步骤S70。
在详细行动输出步骤S70中，基于使用设备推测步骤S60中输出的设备信息Ie和生命体行动推测步骤S30中输出的行动信息Ia来输出人的详细行动信息Iad。详细行动输出步骤S70中输出的详细行动信息Iad经由通信部80向信息终端7输出。
在信息终端7上实时显示经由通信部80输出的详细行动信息Iad。通过在信息终端7上显示详细行动信息Iad，信息终端7的持有者能够更详细地确认设施9内的人的当前行动。
实施方式3的推测方法由于使用设备信息Ie和行动信息Ia这两者的信息来输出详细行动信息Iad，因此能够推测人的详细行动。
[3.3实施方式3的变形例1]
说明实施方式3的变形例1。在该变形例中，说明使用第四已学习模型M4来推测人的详细行动的例子。
图31是表示实施方式3的变形例1的推测方法的流程图。
与实施方式3同样地，该变形例1的推测方法包括第一声音信息取得步骤S11、生命体区域推测步骤S20、生命体行动推测步骤S30、第二声音信息取得步骤S12和使用设备推测步骤S60。另外，该变形例1的推测方法包括详细行动输出步骤S71。
在详细行动输出步骤S71中，对第四已学习模型M4输入使用设备推测步骤S60中输出的设备信息Ie和生命体行动推测步骤S30中输出的行动信息Ia，从第四已学习模型M4输出表示人的详细行动的详细行动信息Iad。
图32是表示在实施方式3的变形例1中使用的第四已学习模型M4的图。
图32所示的第四已学习模型M4是使用学习用的设备信息Le、学习用的行动信息La以及学习用的详细行动信息Lad进行了学习的推理模型。第四已学习模型M4由与行动推测装置4B不同的其他计算机预先生成。另外，还预先制作用于生成第四已学习模型M4的输入数据和训练数据。
图33是表示用于生成第四已学习模型M4的输入数据和训练数据的图。
在图33中，示出了如下例子：作为输入数据的学习用的行动信息La是“烹饪”，学习用的设备信息Le是“微波炉、搅拌机、热水器”，学习用的详细行动信息Lad是“加热烹调食材，打碎并搅拌混合食材，烧热水”。
这样，通过使用学习用的行动信息La、学习用的设备信息Le和学习用的详细行动信息Lad进行机器学习来生成第四已学习模型M4。预先生成的第四已学习模型M4保存于存储器90。
在详细行动输出步骤S71中，通过对如上所述生成的第四已学习模型M4输入使用设备推测步骤S60中输出的设备信息Ie和生命体行动推测步骤S30中输出的行动信息Ia，输出详细行动信息Iad。
图34是表示在详细行动输出部70中对第四已学习模型M4输入的设备信息Ie和行动信息Ia以及从第四已学习模型M4输出的详细行动信息Iad的一例的图。
如图34所示，输入第四已学习模型M4的设备信息Ie和行动信息Ia是在用文字分别表现正在被使用的设备和设施9内的人的行动这方面与学习用的行动信息La相同种类的信息。如图34所示，从第四已学习模型M4输出的详细行动信息Iad是在用文字表现人的详细行动信息这方面与学习用的详细行动信息Iad相同种类的信息。
由于在实施方式3的变形例1的推测***1B中，也使用设备信息Ie和行动信息Ia这两者的信息来输出详细行动信息Iad，因此能够推测人的详细行动。
(实施方式4)
参照图35说明实施方式4的推测***1C。在该实施方式中，说明管理装置6具备实施方式1所示的行动推测装置4的功能的情况的例子。
图35是表示实施方式4的推测***1C的功能结构的框图。
如图35所示，推测***1C具备超声波发信器2、麦克风3、通信装置8以及管理装置6。
管理装置6设置在设备9的外部，经由信息通信网络与通信装置8通信连接。管理装置6设置于进行安全管理的管理公司的建筑物。实施方式4的管理装置6具备实施方式1所示的行动推测装置4的功能。
超声波发信器2、麦克风3和通信装置8设置在设施9内。麦克风3通过接收声音来生成接收音信号，并将接收音信号输出至通信装置8。通信装置8是通信模块，将受理的接收音信号经由信息通信网络向管理装置6发送。
管理装置6经由通信装置8受理从麦克风3输出的接收音信号。
管理装置6具备数据处理部5，该数据处理部5具有第一声音信息取得部11、生命体区域推测部20、生命体行动推测部30和判断部40。另外，管理装置6还具备通信部80和存储器90。管理装置6由具有处理器等的计算机构成。管理装置6的各个构成要素例如也可以是通过处理器执行记录在存储器90中的程序而实现的软件功能。
管理装置6经由通信装置8受理从麦克风3输出的接收音信号，进行与实施方式1同样的数据处理，推测人的行动。
在实施方式4的推测***1C中也能够保护隐私并且即使在人不发出声音的情况下也推测人的行动。
(其他方式)
以上，说明了本公开的实施方式的推测方法等，但本公开不限定于各个实施方式。只要不脱离本公开的主旨，本领域技术人员所想到的对本实施方式实施的各种变形，或者通过组合不同实施方式中的构成要素而构建的方式也可以包括在本公开的一个或多个方面的范围内。
例如，在实施方式1的行动推测装置4中，生命体区域推测部20和生命体行动推测部30是独立的构成要素，但是生命体区域推测部20和生命体行动推测部30的功能也可以用一个构成要素来实现。
例如，在实施方式1中，示出了超声波发信器2和麦克风3为分开的构成要素的例子，但本发明并不限于此。也可以是超声波发信器2和麦克风3一体化的超声波传感器。
此外，在上述实施方式中，可以通过执行适合于各构成要素的软件程序来实现各构成要素。各构成要素可以通过CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质上的软件程序来实现。
另外，各构成要素可以通过硬件来实现。各构成要素可以是电路(或集成电路)。这些电路可以作为整体构成一个电路，也可以是各自单独的电路。此外，这些电路中的每一个可以是通用电路，也可以是专用电路。
此外，本公开的所有的或具体的方式可以通过***、装置、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现。此外，可以通过***、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。
例如，本公开可以实现为上述实施方式的数据处理部，也可以实现为上述实施方式的信息处理***。此外，本公开可以实现为由上述实施方式的信息处理***等的计算机执行的信息处理方法。本公开可以实现为用于使计算机执行这样的信息处理方法的程序，也可以实现为记录有这样的程序的计算机可读取的非临时记录介质。
工业上的可利用性
本公开的推测方法能够广泛地应用于例如住宅、公寓、医院、护理设施、以及住宿设施等中推测人和动物的行动的***中。
附图标记说明
1、1A、1B、1C 推测***
2 超声波发信器
3 麦克风
4、4A、4B 行动推测装置
5 数据处理部
6 管理装置
7 信息终端
8 通信装置
9 设施
11 第一声音信息取得部
12 第二声音信息取得部
20 生命体区域推测部
30 生命体行动推测部
40 判断部
60 使用设备推测部
70 详细行动输出部
80 通信部
90 存储器
Ia 行动信息
Iad 详细行动信息
Ie 设备信息
Ii 图像信息
Is1 第一声音信息
Is2 第二声音信息
La 学习用的行动信息
Lad 学习用的详细行动信息
Le 学习用的设备信息
Li 学习用的图像信息
Lm 学习用的图像
LS 学习用的声音信息
M1 第一已学习模型
M2 第二已学习模型
M3 第三已学习模型
M4 第四已学习模型

Claims (21)

1.一种推测方法，推测设施内的生命体，其中，包括：
第一声音信息取得步骤，取得与基于所述设施内的不可听频带的发信音而反射的反射音相关的第一声音信息；以及
生命体区域推测步骤，通过对第一已学习模型输入所述第一声音信息取得步骤中取得的所述第一声音信息，输出表示存在所述生命体的生命体区域的图像信息，所述第一已学习模型是使用与所述反射音相关的声音信息和表示所述生命体区域的图像进行了学习的模型。
2.根据权利要求1所述的推测方法，其中，
还包括生命体行动推测步骤，所述生命体行动推测步骤通过对第二已学习模型输入所述生命体区域推测步骤中输出的所述图像信息，输出表示所述设施内的所述生命体的行动的行动信息，所述第二已学习模型是使用表示所述生命体区域的图像信息和表示所述生命体的行动的行动信息进行了学习的模型。
3.根据权利要求1或2所述的推测方法，其中，
所述第一声音信息包含所述反射音的信号波形和表示所述反射音的到来方向的图像中的至少一个。
4.根据权利要求2所述的推测方法，其中，
在所述生命体行动推测步骤中对所述第二已学习模型输入的所述图像信息包含多张图像帧。
5.根据权利要求4所述的推测方法，其中，
在所述生命体行动推测步骤中，基于所述多张图像帧中的在时间顺序上处于前后的两个图像帧的所述生命体区域的像素数的差值，决定对所述第二已学习模型输入的所述图像帧的张数。
6.根据权利要求4所述的推测方法，其中，
还包括帧选择步骤，在所述生命体行动推测步骤中输出的所述行动信息与学习所述第二已学习模型时使用的所述行动信息不一致的情况下，所述帧选择步骤从所述多张图像帧中选择对所述第二已学习模型重新输入的图像帧；
所述帧选择步骤选择所述多张图像帧中的在时间顺序上处于前后的两个图像帧的所述生命体区域的像素数的差值小于规定的阈值的两个以上的图像帧，
所述生命体行动推测步骤通过对所述第二已学习模型重新输入所述帧选择步骤中选择的所述两个以上的图像帧，输出与该重新输入相应的所述行动信息。
7.根据权利要求2所述的推测方法，其中，
还包括第一通知步骤，所述第一通知步骤通知所述生命体行动推测步骤中输出的所述行动信息。
8.根据权利要求7所述的推测方法，其中，
还包括显示步骤，所述显示步骤显示所述第一通知步骤中通知的所述行动信息。
9.根据权利要求7或8所述的推测方法，其中，
在所述行动信息中包含的行动是异常行动的情况下，所述第一通知步骤还通知所述生命体区域推测步骤中输出的所述图像信息。
10.根据权利要求9所述的推测方法，其中，
所述异常行动包括跌倒、跌落、行走困难、烧伤和误吞中的至少一个。
11.根据权利要求2至10中任一项所述的推测方法，其中，还包括：
第二声音信息取得步骤，从所述设施内的环境音中取得与除了所述反射音之外的环境音相关的第二声音信息；以及
使用设备推测步骤，通过对第三已学习模型输入所述第二声音信息取得步骤中取得的所述第二声音信息，输出表示在所述设施内正在被使用的设备的设备信息，所述第三已学习模型是使用与除了所述反射音之外的环境音相关的声音信息和表示可以在所述设施内使用的设备的设备信息进行了学习的模型。
12.根据权利要求11所述的推测方法，其中，
所述第二声音信息包含表示所述环境音的频率和功率的频谱图像。
13.根据权利要求11或12所述的推测方法，其中，还包括：
异常有无判断步骤，基于所述生命体行动推测步骤中输出的所述行动信息和所述使用设备推测步骤中输出的所述设备信息，判断所述生命体的行动有无异常；以及
第二通知步骤，在所述异常有无判断步骤中判断为所述生命体的行动异常的情况下，通知所述设备信息和所述行动信息。
14.根据权利要求13所述的推测方法，其中，
在所述异常有无判断步骤中判断为所述生命体的行动异常的情况下，所述第二通知步骤还通知所述生命体区域推测步骤中输出的所述图像信息。
15.根据权利要求11至14中任一项所述的推测方法，其中，
所述第二声音信息包含与除了所述反射音之外的环境音的到来方向相关的信息，
所述第三已学习模型通过使用包含与除了所述反射音之外的环境音的到来方向相关的信息的声音信息、以及表示可以在所述设施内使用的设备的设备信息进行学习来生成。
16.根据权利要求15所述的推测方法，其中，还包括：
存在有无判断步骤，在所述设备信息中包含的设备是通过所述生命体的持续操作而运行的设备的情况下，基于所述生命体区域推测步骤中输出的所述图像信息和所述第二声音信息取得步骤中取得的与所述环境音的到来方向相关的信息，判断有无在所述环境音的到来方向上的所述生命体的存在；以及
第三通知步骤，在所述存在有无判断步骤中判断为不存在所述生命体的情况下，输出表示所述设备正在被异常使用的信息。
17.根据权利要求11至16中任一项所述的推测方法，其中，
还包括详细行动输出步骤，所述详细行动输出步骤基于所述使用设备推测步骤中输出的所述设备信息和所述生命体行动推测步骤中输出的所述行动信息，输出将所述行动信息中包含的行动进一步细分化后的信息即详细行动信息。
18.根据权利要求17所述的推测方法，其中，
所述详细行动输出步骤为，
通过对第四已学习模型输入所述使用设备推测步骤中输出的所述设备信息和所述生命体行动推测步骤中输出的所述行动信息，输出所述详细行动信息，所述第四已学习模型是使用所述设备信息和所述行动信息、以及所述详细行动信息进行了学习的模型。
19.一种推测***，推测设施内的生命体，其中，具备：
第一声音信息取得部，取得与基于所述设施内的不可听频带的发信音而反射的反射音相关的第一声音信息；以及
生命体区域推测部，通过对第一已学习模型输入由所述第一声音信息取得部取得的所述第一声音信息，输出表示存在所述生命体的生命体区域的图像信息，所述第一已学习模型是使用与所述反射音相关的声音信息和表示所述生命体区域的图像进行了学习的模型。
20.根据权利要求19所述的推测***，其中，还具备：
超声波发信器，发出所述发信音；以及
麦克风，接收所述反射音。
21.一种程序，其中，用于使计算机执行权利要求1至18中任一项所述的推测方法。
CN202280075439.3A 2021-11-16 2022-08-23 推测方法、推测***和程序 Pending CN118251615A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021186606 2021-11-16
JP2021-186606 2021-11-16
PCT/JP2022/031730 WO2023089892A1 (ja) 2021-11-16 2022-08-23 推定方法、推定システムおよびプログラム

Publications (1)

Publication Number Publication Date
CN118251615A true CN118251615A (zh) 2024-06-25

Family

ID=86396631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280075439.3A Pending CN118251615A (zh) 2021-11-16 2022-08-23 推测方法、推测***和程序

Country Status (3)

Country Link
JP (1) JPWO2023089892A1 (zh)
CN (1) CN118251615A (zh)
WO (1) WO2023089892A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798715B2 (en) * 2000-07-08 2004-09-28 Neptune Technologies, Inc. Biomimetic sonar system and method
US8907929B2 (en) * 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
US8400876B2 (en) * 2010-09-30 2013-03-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for sensing objects in a scene using transducer arrays and coherent wideband ultrasound pulses
US10528147B2 (en) * 2017-03-06 2020-01-07 Microsoft Technology Licensing, Llc Ultrasonic based gesture recognition
JP7080594B2 (ja) * 2017-07-06 2022-06-06 株式会社東芝 計測装置および方法
KR20210063341A (ko) * 2018-08-23 2021-06-01 보드 오브 리전츠, 더 유니버시티 오브 텍사스 시스템 음향 신호를 사용한 손 운동의 추적에 의한 기기의 제어
JP7285690B2 (ja) * 2018-08-28 2023-06-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置及びプログラム
WO2020235022A1 (ja) * 2019-05-21 2020-11-26 日本電信電話株式会社 深度推定装置、深度推定方法、及び深度推定プログラム

Also Published As

Publication number Publication date
JPWO2023089892A1 (zh) 2023-05-25
WO2023089892A1 (ja) 2023-05-25

Similar Documents

Publication Publication Date Title
US11776696B2 (en) System and method for processing wireless backscattered signal using artificial intelligence processing for activities of daily life
CN112166350B (zh) 智能设备中的超声感测的***和方法
US7106885B2 (en) Method and apparatus for subject physical position and security determination
WO2020253162A1 (zh) 机器人及其控制方法、智能家居控制***
US20210289290A1 (en) Sound reproduction device and sound reproduction system
CN107257651A (zh) 医学监测的场景检测
JP6720909B2 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
CN111643017B (zh) 基于日程信息的清扫机器人控制方法、装置和清扫机器人
US11257355B2 (en) System and method for preventing false alarms due to display images
CN114338585A (zh) 消息推送方法、装置、存储介质及电子装置
CN107111363B (zh) 用于监视的方法、装置和***
JP6142975B1 (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
CN118251615A (zh) 推测方法、推测***和程序
CN112925409A (zh) 信息处理装置以及计算机可读介质
EP3992987A1 (en) System and method for continously sharing behavioral states of a creature
JP2019220145A (ja) 操作端末、音声入力方法、及びプログラム
US12033490B2 (en) Information processing device, information processing method, and program
KR20190076380A (ko) 멀티모달 행위 검출 장치 및 방법
CN114782704A (zh) 状态信息的确定方法、装置、存储介质及电子装置
JP7180601B2 (ja) 睡眠状態検出装置および該方法ならびに被監視者監視支援システム
US20210063977A1 (en) Information processing apparatus and non-transitory computer readable medium storing program
CN110600024A (zh) 操作终端、语音输入方法以及计算机可读取的记录介质
JP7487577B2 (ja) 介護スタッフを割り当てるためにコンピューターで実行される方法、プログラム、情報処理装置、および見守りシステム
JP7409313B2 (ja) 情報管理方法、プログラム、情報処理装置、ケア情報管理システム、および、対話端末
US11450070B2 (en) Alerts of mixed reality devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication